什麼是Databricks工作流?

執行工作任務中的數據處理和分析

使用。實現數據處理和分析工作流任務。作業由一個或多個任務組成。您可以創建運行筆記本、jar、Delta Live Tables管道或Python、Scala、Spark提交和Java應用程序的作業任務。您的工作任務還可以編排Databricks SQL查詢、警報和儀表板來創建分析和可視化，或者您可以使用dbt任務在您的工作流中運行dbt轉換。還支持遺留Spark Submit應用程序。

您可以通過指定任務之間的依賴關係來控製任務的執行順序。您可以將任務配置為按順序或並行運行。

以交互方式、連續地或使用作業觸發器運行作業

您可以從jobs UI、API或CLI以交互方式運行作業，也可以運行連續的工作。你可以創建一個時間表定期運行作業或在何時運行作業新文件到達在外部位置，如Amazon S3或Azure存儲中。

使用通知監視作業進度

當作業或任務開始、完成或失敗時，您可以收到通知。您可以將通知發送到一個或多個電子郵件地址或係統目的地(例如，webhook目的地或Slack)。看到為工作事件添加電子郵件和係統通知。

使用Databricks計算資源運行作業

數據庫集群和SQL倉庫為你的作業提供計算資源。您可以使用作業集群、通用集群或SQL倉庫運行作業:

• 作業集群是用於作業或單個作業任務的專用集群。作業可以使用由所有任務共享的作業集群，也可以在創建或編輯任務時為單個任務配置集群。作業集群在作業或任務開始時創建，在作業或任務結束時終止。

• 通用集群是手動啟動和終止的共享集群，可以由多個用戶和作業共享。

為了優化資源使用，Databricks建議為作業使用作業集群。為了減少等待集群啟動的時間，可以考慮使用通用集群。看到集群配置技巧。

使用SQL倉庫運行Databricks SQL任務，如查詢、儀表板或警報。還可以使用SQL倉庫對dbt任務運行dbt轉換。

下一個步驟

開始Databricks的工作:

• 創建第一個Databricks作業工作流快速入門。

• 了解如何使用Databricks作業創建、查看和運行工作流用戶界麵。

使用Databricks job了解有關構建、管理和故障排除工作流的更多信息:

• 了解如何在Databricks作業中的任務之間通信信息任務值。

• 學習如何排除故障並修複失敗就業機會。

• 在作業運行開始、完成或失敗時獲得通知作業運行通知。

• 了解如何在新數據到達時運行Databricks作業文件到達觸發器。

• 了解job API更新支持使用Databricks作業創建和管理工作流。

• 使用操作指南和教程以了解有關使用Databricks Jobs實現數據工作流的更多信息。