得到火花& Scala版本集群節點初始化腳本

[ahuarte]

你好,

我開發一個集群節點初始化腳本(https://docs.gcp.m.eheci.com/clusters/init-scripts.html環境變量),以便安裝一些自定義庫。

閱讀的文檔數據磚我們可以得到一些環境變量與數據相關的當前運行的集群節點。

但我需要找出引發& Scala版本目前被部署。這是可能的嗎?

謝謝提前

問候

[匿名]

謝謝你這麼多!你會很高興馬克無論答案是最好的在你的頭腦中?幫助新成員知道哪個是最有效的。

[User16764241763]

你應該能夠選擇相匹配的火花和Scala從maven版本。

這是一個簡單的辦法集群火花的版本

[sean_owen]

然而問題是關於一個init腳本

[Lingesh]

我們可以推斷出集群DBR版本使用env DATABRICKS_RUNTIME_VERSION美元。(確切的火花/ scala版本映射,您可以參考的DBR發布說明)

樣一個init腳本內使用,

DBR_10_4_VERSION = " 10.4 "如果[[" $ DATABRICKS_RUNTIME_VERSION " = = " $ DBR_10_4_VERSION " *]];然後回聲”運行10.4具體命令“其他與fi“跳過10.4具體的命令”