你好,
我開發一個集群節點初始化腳本(https://docs.gcp.m.eheci.com/clusters/init-scripts.html環境變量),以便安裝一些自定義庫。
閱讀的文檔數據磚我們可以得到一些環境變量與數據相關的當前運行的集群節點。
但我需要找出引發& Scala版本目前被部署。這是可能的嗎?
謝謝提前
問候
嗨@Sean歐文由於四個你的回複,
annihilate)你的想法可以工作,但有任何文件名與完整版的名字。我錯過了次要的部分:
yyyyyy_spark_3.2_2.12_xxxxx。jar - >版本是真的3.2.0火花
我已經配置了磚CLI的元數據集群的,我得到這個輸出:
{
:“cluster_id XXXXXXXXX”,
“spark_context_id”: YYYYYYYYYYYY,
:“cluster_name重擊——地理空間”,
:“spark_version 10.1.x-cpu-ml-scala2.12”, # # < - - - - - - ! ! ! !
....
}
“spark_version”屬性不包含信息的火花版本但是DBR: -(,有什麼想法?
謝謝提前
問候
Alvaro