取消
顯示的結果
而不是尋找
你的意思是:

有辦法在工作中使用集群政策api定義集群配置api本身而不是工作?

犁刀
新的貢獻者二世

我想創建一個引用的集群政策,我們的大多數回購/工作我們有一個地方更新每當有火花版本變化或當我們需要添加額外的火花配置。我認為集群政策可能是一個不錯的方法是創建一個單獨的圖書館將需要管道被觸發,當我們做編輯的圖書館在工作實際的更改生效。

這是集群政策我想使用:

{

“spark_conf.spark.databricks.cluster。配置文件":{

“類型”:“固定”,

“價值”:“singleNode”,

“隱藏”:沒錯

},

“spark_conf.spark。大師":{

“類型”:“固定”,

“價值”:“地方(* 4)”,

“隱藏”:沒錯

},

“spark_conf.spark.databricks.dataLineage。啟用":{

“類型”:“固定”,

“價值”:“真正的”,

“隱藏”:沒錯

},

" cluster_type ": {

“類型”:“固定”,

“價值”:“工作”

},

" spark_version ": {

“類型”:“固定”,

“價值”:“11.3.x-scala2.12”,

“隱藏”:沒錯

},

" node_type_id ": {

“類型”:“固定”,

“價值”:“i3.xlarge”,

“隱藏”:沒錯

},

“custom_tags。ResourceClass ": {

“類型”:“固定”,

“價值”:“singleNode”,

“隱藏”:沒錯

},

“aws_attributes。可用性":{

“類型”:“固定”,

“價值”:“SPOT_WITH_FALLBACK”,

“隱藏”:沒錯

},

“aws_attributes。first_on_demand ": {

“類型”:“固定”,

“價值”:1、

“隱藏”:沒錯

},

“aws_attributes。zone_id ": {

“類型”:“固定”,

“價值”:“汽車”,

“隱藏”:沒錯

},

“aws_attributes。spot_bid_price_percent ": {

“類型”:“固定”,

“價值”:100年,

“隱藏”:沒錯

}

}

這是喬布斯的JSON API如何我想用集群政策

json = {

“job_id”: job_id [0],

" new_settings ": {

“名稱”:job_config (“job_name”),

" new_cluster ": {

“cluster_policy_id”:“< cluster_policy_id >”,

" spark_conf ": {

“spark.databricks.sql.initial.catalog.name”: default_catalog

},

},

}

}

有人成功地利用集群政策與就業API指定集群參數而不是指定集群API本身參數?

3回複3

匿名
不適用

@Colter Nattrass:

是的,它是可以在工作中使用集群政策API定義集群配置API本身而不是工作。要做到這一點,您可以引用的集群政策ID new_cluster部分工作API請求而不是直接定義集群配置。這是一個例子:

json = {" job_id”: job_id [0],“new_settings”:{“名稱”:job_config [' job_name '],“new_cluster”: {“cluster_policy_id”:“< cluster_policy_id >”}}}

在cluster_policy_id領域,< cluster_policy_id >替換為實際的集群政策的ID。這將應用集群政策的配置設置集群使用的工作。

注意,一些配置設置不能通過集群政策和必須設置在工作中直接API請求。舉個例子,如果你需要指定一個特定版本的庫為您的工作,您需要指定集群中的API請求的工作而不是政策。

犁刀
新的貢獻者二世

我看到最後一段鋼筋問題的預期行為集群配置工作api與政策實際行為。我試圖指定集群政策的火花版本和省略從JobsAPI,這沒有工作。

雖然我會說它看起來不像任何配置傳入api-created-cluster甚至我火花配置傳入

Vidula_Khanna
主持人
主持人

嗨@Colter Nattrass

謝謝你發布你的問題在我們的社區!我們很高興幫助你。

幫助我們為您提供最準確的信息,請您花一些時間來回顧反應和選擇一個最好的回答了你的問題嗎?

這也將有助於其他社區成員可能也有類似的問題在未來。謝謝你的參與,讓我們知道如果你需要任何進一步的援助!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map