有什麼推薦的火花配置設置δ/磚嗎?

[alejandrofm]

這就跟你問聲好！我開始測試配置在磚上,例如,如果兩個進程試圖避免腐蝕數據寫在同一時間:

. config (“spark.databricks.delta.multiClusterWrites.enabled”,“假”)

或者我需要更多比默認的分區

. config (“spark.databricks.adaptive.autoOptimizeShuffle。啟用”、“真正的”)

有另一個推薦的默認設置嗎?(接著調整為每個工作)

謝謝!

[Ryan_Chynoweth · Accepted solution]

三角洲的表有樂觀並發控製。如果兩個進程試圖寫入相同的表是最好的同時處理但如果事務衝突就會失敗。你也可以改變隔離級別如果你想執行更多的控製。

[Hubert_Dudek1]

完全正確。可以容易的確認提交是三角洲日誌中寫入單獨的文件。

關於:

. config (“spark.databricks.adaptive.autoOptimizeShuffle。啟用”、“真正的”)

和其他引發優化解決方案請注意磚視頻https://www.youtube.com/watch?v=daXEp4HmS-E

[Kaniz]

嗨@Alejandro馬丁內斯,情況怎麼樣?醫生幫助你不管怎樣了嗎?

[alejandrofm]

它幫助但仍然測試不同的配置,謝謝!