如何將曆史數據在三角洲住管道嗎?

[布萊克]

現在δ住管道我們期待GA將我們現有的流程來利用它。尚不清楚的一件事是如何填充新三角洲生活與曆史數據表?

目前我們正在尋求用疾控中心通過利用create_target_table apply_changes為銅和銀層保持曆史前進。當試圖合並到create_target_table DLT管道外的我得到一個錯誤說這一定是δ表而不是視圖。

我也試圖作為一個管理的三角洲表刪除視圖和重新創建。我能夠填充這個表曆史數據,但不能使用它的DLT管道。

我考慮的另一個選擇是有DLT管道執行一組不同的代碼,把從三角洲表一次,然後轉換為每日代碼之後。

我們在δ~ 150 m行表,我們想要融入DLT管道。我們如何填充DLT銀和銅層與曆史數據從一個托管三角洲表嗎?我想避免運行整個ETL過程的所有行。謝謝!

[Kaniz]

嗨@Blake布朗指南將演示如何利用變化數據捕獲三角洲住表中管道識別新記錄和捕捉更改數據集的數據。

三角洲生活表管道使您能夠開發可伸縮、可靠和低延遲數據管道在執行變化數據捕獲數據湖的最低要求計算資源和無縫的無序的數據處理。

注意:我們建議後開始與達美住表這解釋了創建可伸縮的、可靠的管道使用三角洲生活表(DLT)及其聲明ETL定義。

[Kaniz]

嗨@Blake布朗,我們還沒有收到你最後的回應我,我被檢查回看到如果你有一個決議。如果你有任何解決方案,請與社區分享,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。

[布萊克 · Accepted solution]

@Kaniz Fatma你好,抱歉延遲反應。導遊沒有回答如何整合現有表容器曆史數據為δ住管道。我們最終改變源數據將從現有的銅表作為工作

[jose_gonzalez]

謝謝你的回複。標記你的反應是最好的。