我讀到三角洲支持並行寫入單獨的分區表,但這樣做時我得到一個錯誤

[Anand_Ladda]

我是並行運行的3個獨立的印度生物技術部流程。他們所有的人都從不同的databrick數據庫讀取數據,創建不同的分段表通過使用印度生物技術部別名,但最後他們都更新/插入到同一個目標表。3進程運行除了最後一步。有時候一個過程失敗的最後一步,有時2的失敗。

[Anand_Ladda · Accepted solution]

你可能遇到的問題在這裏和一個解決方案。雖然三角洲確實支持並發作家單獨的分區表,根據您的查詢結構連接/過濾器/在特定的,可能仍然需要掃描整個表。解決方案通常是明確的分區列上的過濾(您也使用在你的連接)。