我想創建一個引用的集群政策,我們的大多數回購/工作我們有一個地方更新每當有火花版本變化或當我們需要添加額外的火花配置。我認為集群政策可能是一個不錯的方法是創建一個單獨的圖書館將需要管道被觸發,當我們做編輯的圖書館在工作實際的更改生效。
這是集群政策我想使用:
{
“spark_conf.spark.databricks.cluster。配置文件":{
“類型”:“固定”,
“價值”:“singleNode”,
“隱藏”:沒錯
},
“spark_conf.spark。大師":{
“類型”:“固定”,
“價值”:“地方(* 4)”,
“隱藏”:沒錯
},
“spark_conf.spark.databricks.dataLineage。啟用":{
“類型”:“固定”,
“價值”:“真正的”,
“隱藏”:沒錯
},
" cluster_type ": {
“類型”:“固定”,
“價值”:“工作”
},
" spark_version ": {
“類型”:“固定”,
“價值”:“11.3.x-scala2.12”,
“隱藏”:沒錯
},
" node_type_id ": {
“類型”:“固定”,
“價值”:“i3.xlarge”,
“隱藏”:沒錯
},
“custom_tags。ResourceClass ": {
“類型”:“固定”,
“價值”:“singleNode”,
“隱藏”:沒錯
},
“aws_attributes。可用性":{
“類型”:“固定”,
“價值”:“SPOT_WITH_FALLBACK”,
“隱藏”:沒錯
},
“aws_attributes。first_on_demand ": {
“類型”:“固定”,
“價值”:1、
“隱藏”:沒錯
},
“aws_attributes。zone_id ": {
“類型”:“固定”,
“價值”:“汽車”,
“隱藏”:沒錯
},
“aws_attributes。spot_bid_price_percent ": {
“類型”:“固定”,
“價值”:100年,
“隱藏”:沒錯
}
}
這是喬布斯的JSON API如何我想用集群政策
json = {
“job_id”: job_id [0],
" new_settings ": {
“名稱”:job_config (“job_name”),
" new_cluster ": {
“cluster_policy_id”:“< cluster_policy_id >”,
" spark_conf ": {
“spark.databricks.sql.initial.catalog.name”: default_catalog
},
},
}
}
有人成功地利用集群政策與就業API指定集群參數而不是指定集群API本身參數?
