當更新三角洲表附加到一個記錄

[Serhii]

我更新磚的三角洲表如下

segments_data.alias (“segments_old”)。合並(segments_data_new.alias(“更新”)、“segments_old。source_url =更新。source_url”)。whenMatchedUpdate(設置={“段”:“segments_old。段”+“updates.segments”} # <- the line is pseudocode, don't know correct API ).whenNotMatchedInsertAll().execute()

“段”是一個StructType列表在哪裏

StructField(“段”,StructType ([....

我如何添加到現有列表(即附加到“段”專欄segments_old從更新在“whenMatchedUpdate”?

而不是取代,“段”說:“更新。段“我想追加“段”:“segments_old。段”+“updates.segments”

提前謝謝你的建議!

[Hubert_Dudek1]

隻是相當於SQL UPDATE集合,所以設置一個值從一個表值的表達式。

所以你可以使用內置函數像坳或經驗值:

從pyspark.sql。功能導入*……設置={“性別”:坳(segments_old.segments) +坳(updates.segments)}或一組={“性別”:exp (segments_old。段+ updates.segments ')}

[Vidula_Khanna]

嗨@Sergii Ivakhno

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

[Serhii]

是的我們工作,謝謝