增量寫

[Nazar]

你好,

我每天有一個火花工作讀和加入3 - 4源表寫的df鑲花的格式。這個數據幀由100 +列。這份工作的日常運行,我們重複數據刪除邏輯標識的最新記錄每個源表,連接它們,最後覆蓋現有的鑲花文件。

問題就來了,有辦法實現增量寫隻在新記錄或更改的文件的現有記錄中的值。

[Kaniz]

你好@Nazar!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區有一個先回答你的問題。否則我將與我的團隊跟進,回到你soon.Thanks。

[Nazar]

謝謝,欣賞快速反應。

[Kaniz]

你是最受歡迎的@Nazar Shaik。

[werners1 · Accepted solution]

三角洲湖的合並功能是你正在尋找的。

https://docs.m.eheci.com/spark/latest/spark-sql/language-manual/delta-merge-into.html

https://docs.microsoft.com/en-us/azure/databricks/spark/latest/spark-sql/language-manual/delta-merge..。