在磚編排數據處理工作流

數據處理和分析工作流與數據磚工作

您可以使用一個磚工作運行的數據處理和數據分析任務在磚與可伸縮集群的資源。你的工作可以由一個任務或一個大的多任務工作流與複雜的依賴關係。磚管理任務的編排、集群管理、監視和錯誤報告所有的工作。你可以立即運行您的工作或定期通過一個易於使用的調度係統。使用筆記本,你可以實現工作任務的壇子,三角洲生活表管道,或Python, Scala,火花提交和Java應用程序。

你通過UI的工作創造就業機會,就業API,或磚CLI。工作界麵允許您監控、測試和排除你的跑步和完成工作。

開始:

• 創建您的第一個磚工作流的工作快速入門。

• 學習如何創建、視圖和運行工作流與數據磚工作用戶界麵。

• 了解喬布斯API更新支持創建和管理工作流與數據磚工作。

• 學習如何使用印度生物技術部的轉換在一個工作流。

改變你的數據與達美住表

三角洲生活表是一個框架為構建可靠、可維護、可測試的數據處理管道。你定義轉換執行數據,和δ生活表管理任務編排,集群管理、監控、數據質量和錯誤處理。你可以建立你的整個數據處理流程與三角洲住表管道,或者你可以將你的管道集成到一個磚工作工作流編排複雜的數據處理工作流程。

開始,請參閱三角洲生活表的介紹。

與流行的編排工具集成

磚為集成提供了受歡迎的編製工具,如Apache氣流。看到數據管道管理依賴性。