使用DeltaTable.merge()和生成代理鍵插入嗎?

[Dekova]

我用插入的數據合並到一個表:

DeltaTable

.forName ( DESTINATION_TABLE )

。 作為 ( “目標” )

.merge (merge_df。 作為 ( “源” ), ”源。主題=目標。主題和源。關鍵= target.key” )

.whenMatched ()

.updateAll ()

.whenNotMatched ()

.insertAll ()

. execute ()

下麵我想用一個生成的列上創建代理鍵插入:

1. surrogate_guid字符串生成總是像(uuid ())
2. surrogate_id bigint生成總是像身份

# 1不工作,我得到的錯誤“生成的列不能使用非確定性表達式”。
# 2不工作,我得到了錯誤“無法解決surrogate_id更新條款”

最佳實踐的合並和獲得一個惟一的標識符(最好是uuid)分配?

[daniel_sahal · Accepted solution]

@Dekova
1)uuid()是不確定的意義,它會給你不同的結果每次運行這個函數
2)每文檔“磚運行時的9.1及以上,合並操作支持spark.databricks.delta.schema.autoMerge.enabled設置為true時生成的列。”

這個情形是:我要做什麼
——創建一個列surrogate_id長整型數字生成的總是作為身份,
——創建一個基於surrogate_id列列surrogate_guid和散列。例如surrogate_guid字符串生成的總是作為用戶(sha2 ((surrogate_id字符串),512))