增量加載在Azure沒有最後修改日期和主鍵字段數據工廠來創建青銅數據在數據磚

[selvakumar092]

我試圖在azure數據工廠做增量加載。大部分的Oracle數據庫中的表沒有最後修改日期和主鍵列。有什麼辦法可以做增量加載沒有最後修改日期和主鍵列?

[werners1]

哎喲,這是一個非常堅強的人。

如果你有一個cdc-system到位,可以摘錄(盡管您首先必須能夠連接到ADF)。否則這將會變得非常困難。

如果記錄在有關表的數量不是很大,我不會打擾增量。

[selvakumar092]

嗨@Werner Stinckens,

謝謝你的回應。表的數據量是巨大的,所以不能總是滿載。我提到的Oracle數據源表的視圖。我們不沒有CDC已經到位。是否有替代的工具(如Fivetran)幫助我們解決這個問題?

[werners1 · Accepted solution]

工作逐步你要麼需要某種增加鍵或一些寄存器CRUD操作在數據庫的係統,無論是Fivetran或者其他東西。

增加鍵隻解決插入,你提到你沒有這樣的事。

所以我添加一個lastmod列或安裝一些軟件,注冊變化對Oracle(遠東基於cdc係統)。

[selvakumar092]

非常感謝,會在這樣。