我想創建一個引用的集群政策,我們的大多數回購/工作我們有一個地方更新每當有火花版本變化或當我們需要添加額外的火花配置。我認為集群政策可能是一個不錯的方法是創建一個單獨的圖書館將需要管道被觸發,當我們做編輯的圖書館在工作實際的更改生效。
這是集群政策我想使用:
{
“spark_conf.spark.databricks.cluster。配置文件":{
“類型”:“固定”,
“價值”:“singleNode”,
“隱藏”:沒錯
},
“spark_conf.spark。大師":{
“類型”:“固定”,
“價值”:“地方(* 4)”,
“隱藏”:沒錯
},
“spark_conf.spark.databricks.dataLineage。啟用":{
“類型”:“固定”,
“價值”:“真正的”,
“隱藏”:沒錯
},
" cluster_type ": {
“類型”:“固定”,
“價值”:“工作”
},
" spark_version ": {
“類型”:“固定”,
“價值”:“11.3.x-scala2.12”,
“隱藏”:沒錯
},
" node_type_id ": {
“類型”:“固定”,
“價值”:“i3.xlarge”,
“隱藏”:沒錯
},
“custom_tags。ResourceClass ": {
“類型”:“固定”,
“價值”:“singleNode”,
“隱藏”:沒錯
},
“aws_attributes。可用性":{
“類型”:“固定”,
“價值”:“SPOT_WITH_FALLBACK”,
“隱藏”:沒錯
},
“aws_attributes。first_on_demand ": {
“類型”:“固定”,
“價值”:1、
“隱藏”:沒錯
},
“aws_attributes。zone_id ": {
“類型”:“固定”,
“價值”:“汽車”,
“隱藏”:沒錯
},
“aws_attributes。spot_bid_price_percent ": {
“類型”:“固定”,
“價值”:100年,
“隱藏”:沒錯
}
}
這是喬布斯的JSON API如何我想用集群政策
json = {
“job_id”: job_id [0],
" new_settings ": {
“名稱”:job_config (“job_name”),
" new_cluster ": {
“cluster_policy_id”:“< cluster_policy_id >”,
" spark_conf ": {
“spark.databricks.sql.initial.catalog.name”: default_catalog
},
},
}
}
有人成功地利用集群政策與就業API指定集群參數而不是指定集群API本身參數?
@Colter Nattrass:
是的,它是可以在工作中使用集群政策API定義集群配置API本身而不是工作。要做到這一點,您可以引用的集群政策ID new_cluster部分工作API請求而不是直接定義集群配置。這是一個例子:
json = {" job_id”: job_id [0],“new_settings”:{“名稱”:job_config [' job_name '],“new_cluster”: {“cluster_policy_id”:“< cluster_policy_id >”}}}
在cluster_policy_id領域,< cluster_policy_id >替換為實際的集群政策的ID。這將應用集群政策的配置設置集群使用的工作。
注意,一些配置設置不能通過集群政策和必須設置在工作中直接API請求。舉個例子,如果你需要指定一個特定版本的庫為您的工作,您需要指定集群中的API請求的工作而不是政策。