集群節點初始化腳本

在環境變量中使用的秘密

您可以使用任何有效的變量名時引用一個秘密。秘密訪問環境變量中引用是由用戶的權限配置集群。秘密存儲在集群的所有用戶都可以訪問環境變量,但從明文以正常的方式顯示為編輯引用其他地方的秘密。

更多細節,請參閱在一個環境變量引用一個秘密。

Init腳本事件

集群事件日誌捕獲兩個init腳本事件:INIT_SCRIPTS_STARTED和INIT_SCRIPTS_FINISHED指示,腳本將執行和成功完成。INIT_SCRIPTS_FINISHED也抓住了執行時間。

全球init腳本顯示在日誌事件的關鍵細節“全球”和集群級init腳本顯示的關鍵“集群”。

Init腳本日誌

如果集群日誌交付被配置為一個集群,init腳本日誌寫入/ < cluster-log-path > / < cluster-id > / init_scripts。對集群中的每個容器都寫日誌一個子目錄init_scripts / < cluster_id > _ < container_ip >。例如,如果cluster-log-path被設置為cluster-logs日誌的路徑,為一個特定的容器將:dbfs: / cluster-logs / < cluster-id > / init_scripts / < cluster_id > _ < container_ip >。

如果集群配置DBFS寫日誌,您可以查看日誌使用文件係統實用程序(dbutils.fs)或者是DBFS CLI。例如,如果集群ID1001 - 234039 abcde739:

dbfs ls dbfs: / cluster-logs / 1001 - 234039 abcde739 / init_scripts

1001 - 234039 abcde739_10_97_225_1661001 - 234039 abcde739_10_97_231_881001 - 234039 abcde739_10_97_244_199

dbfs ls dbfs: / cluster-logs / 1001 - 234039 abcde739 / init_scripts / 1001 - 234039 abcde739_10_97_225_166

<時間> _ < log-id > _ < init-script-name > .sh.stderr.log<時間> _ < log-id > _ < init-script-name > .sh.stdout.log

當集群日誌交付不配置,日誌寫入/磚/ init_scripts。您可以使用標準shell命令在一個筆記本和查看日誌列表:

% sh ls /磚/ init_scripts /貓/磚/ init_scripts / <時間> _ < log-id > _ < init-script-name > .sh.stdout.log

每次啟動集群,它將日誌寫入init腳本日誌文件夾。

審計日誌

磚審計日誌捕捉全球init腳本創建、編輯和刪除事件在事件類型globalInitScripts。看到配置審計日誌記錄。

集群級init腳本的位置

你可以把init腳本在一個雲存儲目錄訪問集群。

# ! / bin / bash集交貨/磚/ python / bin / python - v。/磚/ conda / etc / profile.d / conda。sh conda激活/磚/ python conda安裝- c conda-forge - y astropy

配置一個集群級init腳本使用UI

本節包含指令配置集群運行init腳本使用磚UI。

使用用戶界麵配置集群運行init腳本:

1. 在集群配置頁麵,單擊高級選項切換。

2. 在頁麵的底部,單擊Init腳本選項卡。

3. 在目的地下拉,選擇S3目的地類型。

4. 指定一個路徑init腳本。

5. S3目的地類型:

   1. 選擇一個地區。

   2. 確保集群配置了一個實例配置文件有GetObject允許訪問桶。例如:

      {“版本”:“2012-10-17”,“聲明”:({“效應”:“允許”,“行動”:(“s3: GetObject”),“資源”:(“攻擊:aws: s3::: < my-s3-bucket > / *”]}]}

6. 點擊添加。

從集群配置中刪除一個腳本,點擊在正確的腳本。當你確認刪除係統將提示您重新啟動集群。你也可以選擇刪除你上傳的腳本文件的位置。

添加一個全球init腳本使用UI

配置全球init腳本使用管理設置:

1. 去管理設置並單擊全球Init腳本選項卡。

2. 點擊+添加。

3. 腳本名稱,輸入打字、粘貼或拖到一個文本文件腳本字段。

   請注意

   init腳本不能大於64 kb。如果一個腳本超過大小,出現當你試圖挽救一條錯誤消息。

4. 如果你有超過一個全球init腳本配置為您的工作空間,設置新的腳本將運行的順序。

5. 如果你想要為所有新啟用的腳本並重新啟動集群後保存,切換啟用。

   重要的

   當你添加一個全球init腳本或更改名稱、運行秩序,或啟動init腳本,這些變化不生效,直到您重新啟動集群。

6. 點擊添加。

添加一個全球使用起程拓殖init腳本

您可以添加一個全球init腳本使用磚起程拓殖的提供者和databricks_global_init_script。

編輯一個全球init腳本使用UI

1. 去管理設置並單擊全球Init腳本選項卡。

2. 單擊一個腳本。

3. 編輯腳本。

4. 點擊確認。

配置一個全球init腳本使用API

管理員可以添加、刪除重新訂貨,得到全球的信息在您的工作空間中使用init腳本2.0全球Init腳本API。

從遺留遷移到新的全球init腳本

如果你的磚工作區啟動2020年8月之前,你可能仍有遺留全球init腳本。遺留全球init腳本已被廢棄,不再提供新工作區。他們不應該被使用。