之前做磚鎖Adls Gen 2中的文件編寫(附加)文件如果是的那麼我們如何獲取文件被鎖定

[Akshith_Rajesh]

我有一個要求,我運行2筆記本平行平行我想覆蓋文件。

如果2筆記本試圖覆蓋文件在同一時間,我將失去覆蓋的數據,因為文件在同一時間。

我想要覆蓋該文件通過閱讀和添加一些新行,然後覆蓋。

我們怎麼處理這種情況呢

[daniel_sahal]

@Rajesh Akshith

δ是酸的抱怨,所以寫入同一個文件平行可能導致失敗。

https://docs.m.eheci.com/lakehouse/acid.html how-does-databricks-implement-consistency

如何處理這種情況,這取決於用例。

我建議分區數據,所以並行進程將r / w不同的文件。

[Tayyab_Vohra]

嗨@Rajesh Akshith,

你不覺得更好的主意是同時運行的筆記本和寫在不同的文件中,在寫數據您可以添加datetime列,寫的專欄後,你可以將它們合並成一個文件。

整個過程可以實現在同一筆記本或不同取決於你的使用。

[Debayan]

你好,

ADLS gen1是有限的,用來鎖文件,然而,ADLS gen2支持並行運行到一個特定的大小。

我有兩個在線文章可以幫助:

https://stackoverflow.com/questions/58301154/datalake-locks-on-read-and-write-for-the-same-file

https://social.msdn.microsoft.com/forums/en us/8d354c9b - 588 d - 44 - de - 83 a1 - bac28acc2085/adls gen2 concur..。

請讓我們知道這有幫助。

也請標記@Debayan你的下一個反應,將通知我,謝謝!

[Vidula_Khanna]

嗨@Rajesh Akshith

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!