工作能幫三角洲住表所做的一切嗎?

[香]

你好,

我讀過的文章:

工作——三角洲生活差異表(m.eheci.com)

和

區別三角洲生活表和多任務工作(m.eheci.com)

我的理解是,達美住表更像是一個DSL simplfies工作流定義(json而不是代碼)。

請你翻譯工作能做的一切,三角洲生活表做的,而不是反之亦然?

[LandanG]

嗨@Xiang朱,

DLT (SQL或Python)是一種聲明性方法來構建數據管道磚使用三角洲表中每一個階段的管道和有許多特點和優點,在筆記本電腦中運行ETL管道可能沒有。工作是一種編排任務可能包括DLT管道磚等等。

因此,盡管可以使用工作時間表DLT管道,他們不會互相取代。工作不能做什麼DLT DLT無法做什麼工作。

工作文檔:https://docs.m.eheci.com/workflows/jobs/jobs.html

DLT文檔:https://docs.m.eheci.com/workflows/delta-live-tables/index.html

[香]

@Landan喬治

”工作不能做什麼DLT”,

我閱讀一些博客,也看了一些視頻,但我仍然無法找到工作與DLT的區別。這意味著沒有磚DLT,磚的工作不能處理δ表?

請您關注具體但工作不能DLT可以做什麼?隻是有些人就足夠了。

[LandanG]

@Xiang朱

從上麵的文檔:

三角洲生活表是一個框架為構建可靠、可維護、可測試的數據處理管道。你定義轉換執行數據,和δ生活表管理任務編排,集群管理、監控、數據質量和錯誤處理。

而不是定義你的數據管道使用Apache引發一係列單獨的任務,三角洲生活表管理您的數據是如何改變了基於目標模式定義為每個處理步驟。您還可以執行數據質量與達美住表預期。允許您定義預期的數據質量和預期指定如何處理失敗的記錄這些期望。

工作是一種交互的代碼在磚集群運行。例如,您可以運行一個提取、轉換和加載(ETL)工作負載交互地或時間表。您還可以交互式地在運行工作筆記本用戶界麵。

你的工作可以由一個任務或一個大的多任務工作流與複雜的依賴關係。磚管理任務的編排、集群管理、監視和錯誤報告所有的工作。你可以立即運行您的工作或定期通過一個易於使用的調度係統。