並發更新相同的蜂巢或deltalake表

[Autel]

你好,

我想知道如果多個執行人添加相同的蜂巢表使用saveAsTable或insertInto sparksql。會導致數據損壞嗎?我需要什麼配置啟用並發寫同樣的蜂巢表?

deltalake的同樣的問題呢?

[werners1 · Accepted solution]

蜂巢表不會這樣,作為底層數據拚花不酸兼容的格式。

然而三角洲湖是:

https://docs.delta.io/0.5.0/concurrency-control.html

你可以看到,插入不給衝突。

[Autel]

嗨

謝謝你的回答。

我發現在s3 deltalake aws頁麵上有以下警告。

“警告

表從多個並發寫入相同的三角洲火花司機可能導致數據丟失。”

對於單個驅動程序與多個執行器,將並發寫入相同的表是一個問題嗎?

[werners1]

沒有因為這是火花是如何工作的。

驅動程序定義了哪些工人寫什麼和速度發生了什麼。

這也是多個司機的原因(讀多個火花程序)可以給彼此衝突的司機不知道他們在做什麼。

[Kaniz]

嗨@Weide張,@ (werner)(客戶)的回複回答了你的問題?