取消
顯示的結果
而不是尋找
你的意思是:

冪等性是如何確保複製到命令嗎

User16869510359
尊敬的貢獻者
1接受解決方案

接受的解決方案

User16869510359
尊敬的貢獻者

複製到命令在內部使用鍵值存儲——RocksDB存儲輸入文件的詳細信息。這些信息存儲在三角洲表日誌目錄。這就像一個流的檢查點信息查詢。下次複製到命令觸發同一個表,作為第一步,RocksDB加載和比較的數據輸入文件。在引擎蓋下,執行dedupe邏輯確保冪等性。

更多細節在這裏:

https://docs.m.eheci.com/spark/latest/spark-sql/language-manual/delta-copy-into.html

COPY_OPTIONS,參數力如果設置為‘真’,冪等性是禁用的加載和文件無論他們之前已經加載。

在原帖子查看解決方案

1回複1

User16869510359
尊敬的貢獻者

複製到命令在內部使用鍵值存儲——RocksDB存儲輸入文件的詳細信息。這些信息存儲在三角洲表日誌目錄。這就像一個流的檢查點信息查詢。下次複製到命令觸發同一個表,作為第一步,RocksDB加載和比較的數據輸入文件。在引擎蓋下,執行dedupe邏輯確保冪等性。

更多細節在這裏:

https://docs.m.eheci.com/spark/latest/spark-sql/language-manual/delta-copy-into.html

COPY_OPTIONS,參數力如果設置為‘真’,冪等性是禁用的加載和文件無論他們之前已經加載。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map