您的集群上運行自定義數據磚運行時

配置您的集群運行自定義數據磚運行時圖像通過UI或API。

寫的rakesh.parija

去年發表在:2022年10月26日

大多數磚客戶使用生產磚的運行時版本(beplay体育app下载地址AWS|Azure|GCP)集群。然而,可能有某些時候你被要求提出一個支持後運行一個定製的磚運行時的票。

刪除

警告

自定義數據磚運行時創建的特定圖像,短期修複和邊界情況。如果一個定製的圖像是合適的,它將由磚期間支持的情況下解決。

磚支持不能提供一個自定義圖像的需求。你不應該打開一個票來請求一個定製的磚運行時。

這篇文章解釋了如何使用自定義啟動集群磚後運行時圖像得到支持的運行時圖像名稱。

指令

使用工作空間界麵

遵循特定的瀏覽器添加的步驟定製的火花版本場的新的集群菜單。

後啟用定製的火花版本字段,你可以使用它來開始一個新的集群使用自定義數據磚運行時圖像你給出的支持。

刪除

信息

在本文中的步驟之後,您將會看到一個警告在瀏覽器的Javascript控製台,說:

不要複製粘貼任何東西。這可以用於您的帳戶妥協。

就可以進入本文中列出的命令。

Chrome /邊

  1. 登錄到你的磚工作區。
  2. 點擊計算。
  3. 點擊通用的集群。
  4. 點擊創建集群。
  5. 按命令+選項+ J (Mac)或控製+ Shift + (Windows、Linux ChromeOS)打開Javascript控製台。
  6. 輸入window.prefs.set (“enableCustomSparkVersions”,真的)在Javascript控製台並運行命令。
  7. 重新加載頁麵。
  8. 定製的火花版本現在出現在新的集群菜單。
  9. 輸入自定義數據磚運行時圖像名稱從磚的支持定製的火花版本字段。
  10. 繼續正常創建集群。

火狐

  1. 登錄到你的磚工作區。
  2. 點擊計算。
  3. 點擊通用的集群。
  4. 點擊創建集群。
  5. 按命令+選項+ K (Mac)或控製+ Shift + K (Windows、Linux)打開Javascript控製台。
  6. 輸入window.prefs.set (“enableCustomSparkVersions”,真的)在Javascript控製台並運行命令。
  7. 重新加載頁麵。
  8. 定製的火花版本現在出現在新的集群菜單。
  9. 輸入自定義數據磚運行時圖像名稱從磚的支持定製的火花版本字段。
  10. 繼續正常創建集群。

Safari

  1. 登錄到你的磚工作區。
  2. 點擊計算。
  3. 點擊通用的集群。
  4. 點擊創建集群。
  5. 按命令+選項+ C (Mac)打開Javascript控製台。
  6. 輸入window.prefs.set (“enableCustomSparkVersions”,真的)在Javascript控製台並運行命令。
  7. 重新加載頁麵。
  8. 定製的火花版本現在出現在新的集群菜單。
  9. 輸入自定義數據磚運行時圖像名稱從磚的支持定製的火花版本字段。
  10. 繼續正常創建集群。

使用API

您需要設置的自定義圖像spark_version屬性,當開始一個集群通過API。

您可以使用API來創建交互式集群和工作與一個定製的磚集群運行時的形象。

“spark_version”:“自定義:< custom-runtime-version-name >

示例代碼

此示例代碼顯示了spark_version屬性的上下文中使用集群通過API開始。

% sh curl - h”授權:無記名< token-id >”- x發布https:// < databricks-instance > / api / 2.0 /集群/創建- d ' {“cluster_name”:“堆”、“spark_version”:“自定義:< custom-runtime-version-name >”,“node_type_id”:“r3。超大”、“spark_conf ":{"火花。aws_attributes“投機”:真}:{“可用性”:“現貨”,“zone_id”:“us-west-2a”},“num_workers spark_env_vars“: 1,: {“SPARK_DRIVER_MEMORY”:“25 g”}}’


更多信息請查看創建集群API 2.0 (AWS|Azure|GCP)文檔。

這篇文章有用嗎?