你好,
沒有選擇要為一個新的工作流從池中vm (Azure雲)?
默認模式為一個新的集群:
{“num_workers”: 0,“spark_version”:“10.4.x-scala2.12”、“spark_conf”:{“火花。當地主”:“(* 4)”、“spark.databricks.cluster。概要”:“singleNode“}”, azure_attributes ": {“first_on_demand”: 1、“可用性”:“ON_DEMAND_AZURE”、“spot_bid_max_price”: 1},“node_type_id”:“Standard_DS3_v2”、“ssh_public_keys”: [],“custom_tags ": {“ResourceClass”:“singleNode”},“spark_env_vars ": {“PYSPARK_PYTHON”:“磚/ python3 / bin / python3”},“enable_elastic_disk”:真的,”cluster_source”:“工作”、“init_scripts”: [],“data_security_mode”:“SINGLE_USER”、“runtime_engine”:“標準”}
@Michal Mlaka我隻是檢查在UI和我能找到清單下工人池類型集群配置的工作。它應該工作。
嗨@Michal Mlaka,這應該是可能的。如果您正在使用api來啟動工作,消除“node_type_id”和“driver_node_type_id”從JSON和通過“instance_pool_id”和“driver_instance_pool_id”而不是集群從池中選擇虛擬機。
檢查這個文檔的結構——集群定義
https://learn.microsoft.com/en-gb/azure/databricks/dev-tools/api/latest/clusters——請求結構……
讓我知道如果這有幫助。請評論標記為“最佳答案”來解決查詢。