集群

Databricks集群是一組計算資源和配置,您可以在其上運行數據工程、數據科學和數據分析工作負載,例如生產ETL管道、流分析、ad-hoc分析和機器學習。

將這些工作負載作為一組命令運行筆記本或者是自動的工作.Databricks做了一個區分通用的集群工作的集群.您可以使用通用集群來使用交互式筆記本協作分析數據。beplay娱乐ios您可以使用作業集群來運行快速且健壯的自動化作業。

  • 您可以創建一個通用的集群使用UI、CLI或REST API。您可以手動終止和重新啟動一個通用集群。多個用戶可以共享這樣的集群來進行協作交互分析。beplay娱乐ios

  • Databricks作業調度器創建作業集群當你運行一個工作在一個新的工作集群並在作業完成時終止集群。你不能重新啟動作業集群。

本節描述如何使用UI處理集群。其他方法請參見集群CLI集群API 2.0

本節還更多地關注萬能集群,而不是作業集群,盡管所描述的許多配置和管理工具同樣適用於這兩種集群類型。要了解有關創建作業集群的更多信息,請參見創建、運行和管理Databricks作業

重要的

Databricks保留了最近30天內終止的最多200個通用集群和最近由作業調度器終止的最多30個作業集群的集群配置信息。保持一個通用的集群配置,即使它已經終止管理員可以在30天以上使用一個集群到集群列表。