創建集群

進入創建集群界麵

要使用用戶界麵創建集群，您必須處於基於角色的數據科學與工程或機器學習環境中。使用角色切換器如果有必要的話)。

那麼你可以:

• 點擊計算在側邊欄然後創建計算在“計算池”頁麵。

• 點擊新>集群在側欄中。

集群政策

集群政策是一組規則，用於限製用戶在創建集群時可用的配置選項。集群策略具有acl，用於規範哪些特定用戶和組可以訪問某些策略。

默認情況下，所有用戶都可以訪問個人計算* * * *策略，允許它們創建單機計算資源。如果在創建集群時沒有將Personal Compute策略視為選項，則沒有授予您對該策略的訪問權。請與管理員聯係，請求訪問“個人計算”策略或相應的等效策略。

若要根據策略配置集群，請在列表中選擇集群策略政策下拉。

什麼是集群訪問模式?

的訪問模式下拉菜單取代了安全模式下拉。訪問模式標準化如下:

Databricks運行時版本號

Databricks運行時是運行在集群上的核心組件集。所有Databricks Runtime版本都包含Apache Spark，並添加了提高可用性、性能和安全性的組件和更新。詳細信息請參見磚運行時．

選項選擇集群的運行時和版本Databricks運行時版本下拉菜單，當您創建或編輯集群時。

集群節點類型

集群由一個驅動節點和零個或多個工作節點組成。您可以為驅動程序和工作節點選擇單獨的雲提供程序實例類型，盡管默認情況下驅動程序節點使用與工作節點相同的實例類型。不同的實例類型適用於不同的用例，例如內存密集型或計算密集型工作負載。

集群大小和自動縮放

創建Databricks集群時，可以為集群提供固定數量的工作人員，也可以為集群提供最小和最大數量的工作人員。

當您提供一個固定大小的集群時，Databricks確保您的集群具有指定數量的工人。當您為工作人員的數量提供一個範圍時，Databricks將選擇運行作業所需的適當數量的工作人員。這被稱為自動定量．

隨著自動伸縮，Databricks動態地重新分配工人，以說明你的工作的特點。管道的某些部分可能比其他部分更需要計算，Databricks會在工作的這些階段自動添加額外的工作人員(並在不再需要時刪除他們)。

自動伸縮可以更容易地實現高集群利用率，因為您不需要配置集群來匹配工作負載。這尤其適用於需求隨時間變化的工作負載(比如在一天中探索一個數據集)，但它也適用於一次性的較短工作負載，其配置需求未知。自動縮放提供了兩個優勢:

• 與固定大小的未配置的集群相比，工作負載可以更快地運行。

• 與靜態大小的集群相比，自動伸縮集群可以降低總體成本。

根據集群和工作負載的恒定大小，自動伸縮可以同時為您提供其中一種或兩種好處。當雲提供商終止實例時，集群大小可以低於所選擇的最小工作數。在這種情況下，Databricks會不斷嚐試重新提供實例，以保持最少的工作人員數量。

自動縮放本地存儲

如果不想在創建集群時分配固定數量的EBS卷，請使用自動伸縮本地存儲。通過自動伸縮本地存儲，Databricks可以監視集群Spark worker上可用的空閑磁盤空間的數量。如果一個worker的磁盤容量開始過低，Databricks會在它耗盡磁盤空間之前自動將一個新的EBS卷附加到這個worker上。每個實例(包括實例的本地存儲)所附加的EBS卷的總磁盤空間不超過5 TB。

如果需要配置自動伸縮存儲，請選擇啟用自動縮放本地存儲．

隻有當實例返回到AWS時，才會分離附加到實例的EBS卷。也就是說，隻要實例是運行中的集群的一部分，就不會從實例中分離EBS卷。為了減少EBS的使用，Databricks建議在配置了AWS Graviton實例類型或自動終止．

本地磁盤加密

用於運行集群的某些實例類型可能具有本地連接的磁盤。數據庫可以在這些本地連接的磁盤上存儲隨機數據或臨時數據。要確保對所有存儲類型(包括臨時存儲在集群本地磁盤上的隨機數據)的所有靜止數據進行加密，可以啟用本地磁盤加密。

啟用本地磁盤加密後，Databricks會在本地生成每個集群節點唯一的加密密鑰，用於加密存儲在本地磁盤上的所有數據。該鍵的作用域對於每個集群節點都是本地的，並且與集群節點本身一起銷毀。在其生命周期內，密鑰駐留在內存中進行加密和解密，並加密存儲在磁盤上。

若要啟用本地磁盤加密，必須使用集群API 2.0．在創建或編輯集群時，設置:

｛“enable_local_disk_encryption”：真正的｝

看到創建而且編輯關於如何調用這些API的示例，請參閱集群API參考。

下麵是一個集群創建調用的例子，它啟用了本地磁盤加密:

｛“cluster_name”：“my-cluster”，“spark_version”：“7.3.x-scala2.12”，“node_type_id”：“r3.xlarge”，“enable_local_disk_encryption”：真正的，“spark_conf”：｛“spark.speculation”：真正的}，“num_workers”：25｝

集群的標簽

集群標記允許您輕鬆監控組織中各個組使用的雲資源的成本。在創建集群時，可以將標記指定為鍵-值對，Databricks將這些標記應用於虛擬機和磁盤卷等雲資源DBU使用報告．

對於從池啟動的集群，自定義集群標記僅應用於DBU使用情況報告，而不會傳播到雲資源。

有關池和群集標記類型如何協同工作的詳細信息，請參見使用集群和池標記監視使用情況．

配置集群標簽。

1. 在標簽節中，為每個自定義標記添加一個鍵-值對。

2. 點擊添加．

AWS的配置

在配置集群的AWS實例時，可以選擇可用分區、最大現貨價格和EBS卷類型。這些設置在高級選項切換到實例選項卡。

火花配置

為了優化Spark作業，您可以提供自定義Spark配置屬性在集群配置中。

1. 2 .在集群配置界麵，單擊高級選項切換。

2. 單擊火花選項卡。

   

   在火花配置，以每行一個鍵值對的形式輸入配置屬性。

屬性配置集群時集群API 2.0中設置Spark屬性spark_conf在創建集群請求或編輯集群請求．

若要為所有集群設置Spark屬性，請創建全局初始化腳本：

dbutils．fs．把（“dbfs: /磚/ init / set_spark_params.sh”，”“”| # !/bin/bash||cat << 'EOF' > /databricks/driver/conf/00-custom-spark-driver-defaults.conf . |cat << 'EOF' > /databricks/driver/conf/00-custom-spark-driver-defaults.conf .conf . |cat|(司機){|“spark.sql.sources。partitionOverwriteMode" = "DYNAMIC"|}| EOF”“”．stripMargin，真正的）

從secret中檢索Spark配置屬性

Databricks建議將密碼等敏感信息存儲在數據庫中秘密而不是明文。要在Spark配置中引用一個秘密，請使用以下語法:

火花。<屬性名>{{秘密/ < scope-name > / <秘密名字>}}

例如，設置Spark配置屬性為密碼對儲存在裏麵的秘密的價值秘密/ acme_app /密碼：

火花。密碼{{秘密/ acme-app /密碼}}

有關更多信息，請參見在Spark配置屬性或環境變量中引用秘密的語法．

環境變量

您可以配置可以從中訪問的自定義環境變量init腳本在集群上運行。Databricks還提供預定義的環境變量你可以在初始化腳本中使用。不能重寫這些預定義的環境變量。

1. 2 .在集群配置界麵，單擊高級選項切換。

2. 單擊火花選項卡。

3. 中設置環境變量環境變量字段。

   

屬性設置環境變量spark_env_vars在創建集群請求或編輯集群請求集群API端點。

集群日誌傳遞

在創建集群時，可以指定Spark driver節點、worker節點和事件的日誌傳遞位置。日誌每5分鍾發送一次到您選擇的目的地。當一個集群被終止時，Databricks保證交付在集群被終止之前生成的所有日誌。

日誌的目的地取決於集群ID。如果指定的目標為dbfs: / cluster-log-delivery，集群日誌0630 - 191345 leap375送貨至dbfs: / cluster-log-delivery / 0630 - 191345 leap375．

設置日誌傳遞位置。

1. 2 .在集群配置界麵，單擊高級選項切換。

2. 單擊日誌記錄選項卡。

   

3. 選擇目標類型。

4. 輸入集群日誌路徑。

｛“版本”：“2012-10-17”，“聲明”：［｛“效應”：“允許”，“行動”：［“s3: ListBucket”]，“資源”：［“攻擊:aws: s3::: < my-s3-bucket >”］}，｛“效應”：“允許”，“行動”：［“s3: propertynames”，“s3: PutObjectAcl”，“s3: GetObject”，“s3: DeleteObject”]，“資源”：［“攻擊:aws: s3::: < my-s3-bucket > / *”］｝］｝