取消
顯示的結果
而不是尋找
你的意思是:

如何寫更改數據從三角洲湖到aws dynamodb

哈裏
貢獻者

有一些直接的方式從DeltaLake AWS DynamoDB寫入數據。

如果沒有,有什麼辦法可以做同樣的事情。

1接受解決方案

接受的解決方案

werners1
尊敬的貢獻者三世
8回答說8

AmanSehgal
尊敬的貢獻者三世

這是可能實現的通過生活表和δ共享未來。

但是現在,你可以做的是跟蹤變化δ表當你做一個插入。

了解你要描述δ表是如何更新?源,在三角洲湖數據操作的頻率?

哈裏
貢獻者

數據將被更新為批次

AmanSehgal
尊敬的貢獻者三世

跟蹤方式插入/更新/刪除會將你的插入過程的3部分的過程。

步驟1:一個更新時間戳字段包含在您的目標表。

步驟2:在你輸入刷新數據,添加一個更新時間戳列並將其設置為當前時間戳。

更新數

步驟3:運行upsert工作隻有whenMatchedUpdate條款。當前的時間戳的行),則更新計數。

同時,得到一個提取與當前的時間戳的行——這些行你會在DyanmoDB更新

插入數

第五:表- RC1的行數。

第六段:運行upsert工作隻有whenNotMatchedInsert條款。插入- RC2後得到表的行數

插入數= RC2-RC1

得到一個與當前時間戳和提取的行執行left-anti加入更新df -這些行你會在DyanmoDB插入

刪除數

得到表的行數,沒有或正在穿衣RC1。

向運行upsert工作隻有whenNotMatchedDelete條款。插入- RC2後得到表的行數

刪除數= RC1-RC2

從你的源數據,會有一種方式來確定要刪除的記錄。抓住這些指數/主鍵刪除記錄。

werners1
尊敬的貢獻者三世

三角洲上有變化的數據提要表:

https://docs.m.eheci.com/delta/delta-change-data-feed.html

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map