從多個磚集群的並發寫同樣的δ在S3支持表嗎?

[ptambe]

磚有支持寫相同的三角洲表同時從多個集群。我特別想知道如果有任何解決方案https://github.com/delta-io/delta/issues/41實現數據磚或如果你有任何建議實現並發寫入相同的三角洲表S3。

[Kaniz]

你好@ptambe!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[Hubert_Dudek1]

通常是的。這取決於分區。如果你有2執行人(作家),其中每一個持有一些分區,必須附加到三角洲,同時編寫過程將每個分區。你也可以分析你的用例工作(和其他標簽)在引發UI。

[ptambe]

是的,相同的集群和多個執行器工作原理和我們使用replaceWhere覆蓋單獨分區。將相同的工作如果集群分區被寫入不同的工作。我上麵提到的問題,表明它不支持三角洲。

[User16830374456 · Accepted solution]

請注意,上麵所提到的問題(存儲係統)支持AWS S3(多個集群/司機/ jvm)三角洲湖OSS。指出在這個問題發行324在撰寫本文時,S3缺乏putIfAbsent事務的一致性。對於三角洲湖OSS,社區工作339年公關解決這一問題。

說這個問題,你的問題是特定於磚的δ,允許多個集群實現並發寫入相同的三角洲表使用S3提交服務。相關的報價是:

磚提交服務運行坐標寫入Amazon S3從多個集群。這個服務在磚運行控製飛機

有關更多信息,請參閱配置磚S3提交服務相關的設置