集群API 2.0

重要的

這篇文章的內容已經退休,可能不會被更新。看到集群磚的REST API參考。

集群API允許您創建、啟動、編輯、列表、終止和刪除集群。請求的最大允許大小的集群API是10 mb。

集群生命周期方法需要集群ID,回來創建。獲得一個集群列表,調用列表。

磚集群節點實例類型映射到計算單元稱為DBUs。看到實例類型的定價頁為支持的列表實例類型和相應的DBUs。例如供應商信息,請參閱AWS實例類型規格和定價。

磚都提供一年的棄用通知之前停止支持類型的一個實例。

警告

千萬不要硬編碼秘密或者存儲在純文本。使用秘密API 2.0管理的秘密磚CLI。使用秘密效用(dbutils.secrets)引用在筆記本和工作秘密。

重要的

訪問數據磚REST api,你必須進行身份驗證。

創建

端點	HTTP方法
`2.0 / /創建的集群`	`帖子`

創建一個新的集群Apache火花。這個方法獲得新實例從雲提供商,如果必要的。這個方法是異步的;返回的cluster_id可以用來調查集群狀態。這個方法返回時,集群中等待狀態。集群可用一旦進入運行狀態。看到ClusterState。

請注意

磚可能無法獲得的一些請求的節點,由於雲提供商的限製或瞬態網絡問題。如果磚獲得至少85%的點播請求節點,創建集群會成功。否則集群將終止信息的錯誤消息。

例子

              curl——netrc - x\https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/api/2.0/clusters/create\——數據@create-cluster.json
             

create-cluster.json:

              {“cluster_name”:“my-cluster”,“spark_version”:“7.3.x-scala2.12”,“node_type_id”:“i3.xlarge”,“spark_conf”:{“spark.speculation”:真正的},“aws_attributes”:{“可用性”:“現貨”,“zone_id”:“us-west-2a”},“num_workers”:25}
             

              {“cluster_id”:“1234 - 567890 cited123”}
             

這裏有一個例子為一個集群自動定量。這個集群將從兩個節點開始,最低。

              curl——netrc - x\https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/api/2.0/clusters/create\——數據@create-cluster.json
             

create-cluster.json:

              {“cluster_name”:“autoscaling-cluster”,“spark_version”:“7.3.x-scala2.12”,“node_type_id”:“i3.xlarge”,“自動定量”:{“min_workers”:2,“max_workers”:50}}
             

              {“cluster_id”:“1234 - 567890 batch123”}
             

這個示例創建了一個單節點集群。創建一個節點集群:

集spark_conf和custom_tags在這個例子中確切的值。
集num_workers來0。

              curl——netrc - x\https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/api/2.0/clusters/create\——數據@create-cluster.json
             

create-cluster.json:

              {“cluster_name”:“single-node-cluster”,“spark_version”:“7.6.x-scala2.12”,“node_type_id”:“i3.xlarge”,“num_workers”:0,“spark_conf”:{“spark.databricks.cluster.profile”:“singleNode”,“spark.master”:“地方(* 4)”},“custom_tags”:{“ResourceClass”:“SingleNode”}}
             

              {“cluster_id”:“1234 - 567890 ruins123”}
             

這個示例創建一個集群和掛載一個亞馬遜EFS文件係統。

              curl——netrc - x\https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/api/2.0/clusters/create\——數據@create-cluster.json
             

create-cluster.json:

              {“cluster_name”:“efs-cluster”,“spark_version”:“7.6.x-scala2.12”,“node_type_id”:“i3.xlarge”,“instance_type”:“i3.xlarge”,“cluster_mount_infos”:【{“network_filesystem_info”:{“server_address”:“hostname.efs.us -東- 1. amazonaws.com”,“mount_options”:“rsize = 1048576, wsize = 1048576,硬,timeo = 600”},“remote_mount_dir_path”:“/”,“local_mount_dir_path”:“/ mnt / efs-mount”}),“aws_attributes”:{“可用性”:“現貨”,“zone_id”:“us-east-2”},“num_workers”:25}
             

              {“cluster_id”:“1234 - 567890 pouch123”}
             

創建一個工作或提交一個新的集群運行使用政策和策略的默認值,設置policy_idID和政策apply_policy_default_values來真正的:

              curl——netrc - x\https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/api/2.0/clusters/create\——數據@create-cluster.json
             

create-cluster.json:

              {“num_workers”:零,“自動定量”:{“min_workers”:2,“max_workers”:8},“cluster_name”:“my-cluster”,“spark_version”:“7.3.x-scala2.12”,“spark_conf”:{},“aws_attributes”:{“first_on_demand”:1,“可用性”:“SPOT_WITH_FALLBACK”,“zone_id”:“us-west-2a”,“instance_profile_arn”:零,“spot_bid_price_percent”:One hundred.,“ebs_volume_count”:0},“node_type_id”:“i3.xlarge”,“ssh_public_keys”:[],“custom_tags”:{},“spark_env_vars”:{“PYSPARK_PYTHON”:“磚/ python3 / bin / python3”},“autotermination_minutes”:120年,“init_scripts”:[],“policy_id”:“C65B864F02000008”,“apply_policy_default_values”:真正的}
             

              {“cluster_id”:“1234 - 567890 buyer123”}
             

創建一個新的集群,集群定義的屬性new_cluster:

              curl——netrc - x\https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/api/2.0/jobs/create\——數據@create-job.json
             

create-job.json:

              {“run_name”:“我的任務”火花,“new_cluster”:{“spark_version”:“7.3.x-scala2.12”,“node_type_id”:“r3.xlarge”,“aws_attributes”:{“可用性”:“ON_DEMAND”},“num_workers”:10,“policy_id”:“ABCD000000000000”},“庫”:({“罐子”:“dbfs: / my-jar.jar”},{“專家”:{“坐標”:“org.jsoup: jsoup: 1.7.2”}}),“spark_jar_task”:{“main_class_name”:“com.databricks.ComputeModels”}}
             

              {“job_id”:244年}
             

請求的集群結構定義

字段名	類型	描述
num_workers或自動定量	`INT32`或自動定量	如果num_workers,工人數量節點集群應該。一個集群有一個火花司機和num_workers執行人總共num_workers + 1火花節點。注意:當閱讀一個集群的屬性,這一領域的反映所需的工人數量,而不是工人的實際數量。例如,如果一個集群的大小從5到10的工人,這一領域將立即被更新以反映目標大小為10的工人,而工人們中列出`執行人`將逐漸增加從5到10新節點配置。如果自動定量,參數需要為了根據負載自動上下集群規模。
cluster_name	`字符串`	集群名稱要求的用戶。這不必是惟一的。如果沒有指定在創建,集群名稱將是一個空字符串。
spark_version	`字符串`	集群的運行時版本。您可以檢索通過使用可用的運行時版本的列表運行時版本API調用。這個字段是必需的。
spark_conf	SparkConfPair	一個對象包含一組可選的,指定的火花配置鍵-值對。還可以通過一係列額外的司機和執行人通過JVM選項`spark.driver.extraJavaOptions`和`spark.executor.extraJavaOptions`分別。火花參看示例:`{“spark.speculation”:真的,“spark.streaming.ui.retainedBatches”:5}`或`{“spark.driver.extraJavaOptions”:“- verbose: gc- xx: + PrintGCDetails "}`
aws_attributes	AwsAttributes	屬性相關的集群運行在Amazon Web服務。如果不指定在創建集群,一組使用默認值。
node_type_id	`字符串`	這一領域的編碼,通過單個值,可用的資源的火花節點集群。例如,火花節點可以提供和優化內存或計算密集型工作負載。可用節點類型的列表可以通過使用檢索節點類型列表API調用。這個字段是必需的。
driver_node_type_id	`字符串`	火花的節點類型的司機。這個字段是可選的;如果設置,驅動節點類型將被設置為相同的值`node_type_id`上麵的定義。
ssh_public_keys	一個數組的`字符串`	SSH公鑰的內容將被添加到每個火花節點集群。可以使用相應的私鑰與用戶名登錄`ubuntu`在端口`2200年`。可以指定多達10個鑰匙。
custom_tags	ClusterTag	一個對象包含對集群資源的一組標記。磚標簽的所有集群資源(比如AWS實例和EBS卷)除了default_tags與這些標簽。請注意: 標簽上不支持遺留節點類型compute-optimized和memory-optimized等。磚允許最多45定製標記。如果集群上創建一個實例池,集群的標簽不是複製到集群的資源。標記資源實例池,請參閱`custom_tags`字段實例池API 2.0。
cluster_log_conf	ClusterLogConf	長期存儲的配置提供火花日誌目的地。隻能指定一個目標為一個集群。如果配置,日誌將被交付給每一個目的地`5分鍾`。司機日誌的目的地`<目標> / < cluster-ID > /司機`的目的地,而執行者日誌`<目標> / < cluster-ID > /執行器`。
init_scripts	一個數組的InitScriptInfo	存儲的配置初始化腳本。可以指定任意數量的目的地。所提供的腳本的順序執行。如果`cluster_log_conf`指定,init腳本日誌發送到嗎`<目標> / < cluster-ID > / init_scripts`。
docker_image	DockerImage	碼頭工人形象的自定義容器。
spark_env_vars	SparkEnvPair	一個對象包含一組可選的,鍵值指定的環境變量。鍵-值對的形式(X, Y)出口(也就是說,`出口X = Y`),而司機和工人。為了指定一個額外的組`SPARK_DAEMON_JAVA_OPTS`,我們建議追加`SPARK_DAEMON_JAVA_OPTS美元`如以下示例所示。這確保了所有默認磚管理環境變量。示例引發環境變量:`{“SPARK_WORKER_MEMORY”:“28000米”,“SPARK_LOCAL_DIRS”:" / local_disk0 "}`或`{“SPARK_DAEMON_JAVA_OPTS”:" $ SPARK_DAEMON_JAVA_OPTS-Dspark.shuffle.service.enabled = true "}`
autotermination_minutes	`INT32`	自動終止集群是不活躍的指定的時間後在幾分鍾內。如果沒有指定,這個集群不會自動終止。如果指定,閾值必須10至10000分鍾。你也可以將這個值設置為0來顯式禁用自動終止。
enable_elastic_disk	`BOOL`	自動定量本地存儲:當啟用此集群時,將其引發工人時動態地獲取額外的磁盤空間磁盤空間不足。該功能需要特定的AWS權限功能正確——指自動定量本地存儲獲取詳細信息。
driver_instance_pool_id	`字符串`	可選的ID用於驅動節點實例池。您還必須指定`instance_pool_id`。有關詳細信息,請參見實例池API 2.0。
instance_pool_id	`字符串`	可選的ID用於集群節點實例池。如果`driver_instance_pool_id`存在,`instance_pool_id`隻用於工作節點。否則,它是用於司機和工人節點。有關詳細信息,請參見實例池API 2.0。
idempotency_token	`字符串`	一個可選的標記,可用於保證集群創建請求的冪等性。如果冪等性令牌被指定到一個集群,不在`終止`狀態,請求並不創建一個新的集群而是返回現有集群的ID。否則,創建一個新的集群。冪等性標記清除集群時終止。如果你指定冪等性標記,當失敗的時候你可以重試,直到請求成功。磚保證將推出一個集群,冪等性令牌。這個令牌應該最多64個字符。
apply_policy_default_values	`BOOL`	是否使用政策失蹤的集群屬性的默認值。
enable_local_disk_encryption	`BOOL`	加密的磁盤是否啟用本地連接到集群。
runtime_engine	`字符串`	運行時引擎使用的類型。如果未指定,則運行時引擎類型推斷的基礎上`spark_version`價值。允許的值包括: `光子`:使用光子運行時引擎類型。 `標準`:使用標準的運行時引擎類型。這個字段是可選的。
cluster_mount_infos	一個數組的MountInfo	一個對象包含可選的規範對網絡文件係統掛載。

響應結構

字段名	類型	描述
cluster_id	`字符串`	規範標識符的集群。

編輯

端點	HTTP方法
`2.0 /集群/編輯`	`帖子`

編輯一個集群的配置與所提供的屬性和大小。

您可以編輯一個集群中運行或終止狀態。如果你編輯一個集群運行狀態,它將重新啟動,以便新屬性可以生效。如果你編輯一個集群終止狀態,它將保持終止。下次開始使用集群/啟動API,新的屬性將生效。試圖編輯一個集群在任何其他國家將被拒絕INVALID_STATE錯誤代碼。

集群由磚工作服務不能被編輯。

例子

              curl——netrc - x\https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/api/2.0/clusters/edit\——數據@edit-cluster.json
             

edit-cluster.json:

              {“cluster_id”:“1202 - 211320 brick1”,“num_workers”:10,“spark_version”:“7.3.x-scala2.12”,“node_type_id”:“i3.2xlarge”}
             

{}

請求結構

字段名	類型	描述
num_workers或自動定量	`INT32`或自動定量	如果num_workers,工人數量節點集群應該。一個集群有一個火花司機和num_workers執行人總共num_workers + 1火花節點。注意:當閱讀一個集群的屬性,這一領域的反映所需的工人數量,而不是工人的實際數量。例如,如果一個集群的大小從5到10的工人,這一領域將立即被更新以反映目標大小為10的工人,而工人們中列出`執行人`將逐漸增加從5到10新節點配置。如果自動定量,參數需要為了根據負載自動上下集群規模。
cluster_id	`字符串`	規範標識符的集群。這個字段是必需的。
cluster_name	`字符串`	集群名稱要求的用戶。這不必是惟一的。如果沒有指定在創建,集群名稱將是一個空字符串。
spark_version	`字符串`	集群的運行時版本。您可以檢索通過使用可用的運行時版本的列表運行時版本API調用。這個字段是必需的。
spark_conf	SparkConfPair	一個對象包含一組可選的,指定的火花配置鍵-值對。還可以通過一係列額外的司機和執行人通過JVM選項`spark.driver.extraJavaOptions`和`spark.executor.extraJavaOptions`分別。火花參看示例:`{“spark.speculation”:真的,“spark.streaming.ui.retainedBatches”:5}`或`{“spark.driver.extraJavaOptions”:“- verbose: gc- xx: + PrintGCDetails "}`
aws_attributes	AwsAttributes	屬性相關的集群運行在Amazon Web服務。如果沒有指定在創建集群,將使用默認值。
node_type_id	`字符串`	這一領域的編碼,通過單個值,可用的資源的火花節點集群。例如,火花節點可以提供和優化內存或計算密集型工作負載。可用節點類型的列表可以通過使用檢索節點類型列表API調用。這個字段是必需的。
driver_node_type_id	`字符串`	火花的節點類型的司機。這個字段是可選的。如果你不指定一個值,司機節點類型將被設置為相同的值`node_type_id`上麵的定義。
ssh_public_keys	一個數組的`字符串`	SSH公鑰的內容將被添加到每個火花節點集群。可以使用相應的私鑰與用戶名登錄`ubuntu`在端口`2200年`。可以指定多達10個鑰匙。
custom_tags	ClusterTag	一個對象包含對集群資源的一組標記。磚標簽的所有集群資源(比如AWS實例和EBS卷)除了default_tags與這些標簽。請注意: 標簽上不支持遺留節點類型compute-optimized和memory-optimized等。磚允許最多45定製標記。如果集群上創建一個實例池,集群的標簽不是複製到集群的資源。標記資源實例池,請參閱`custom_tags`字段實例池API 2.0。
cluster_log_conf	ClusterLogConf	長期存儲的配置提供火花日誌目的地。隻能指定一個目標為一個集群。如果配置,日誌將被交付給每一個目的地`5分鍾`。司機日誌的目的地`<目標> / < cluster-ID > /司機`的目的地,而執行者日誌`<目標> / < cluster-ID > /執行器`。
init_scripts	一個數組的InitScriptInfo	存儲的配置初始化腳本。可以指定任意數量的目的地。所提供的腳本的順序執行。如果`cluster_log_conf`指定,init腳本日誌發送到嗎`<目標> / < cluster-ID > / init_scripts`。
docker_image	DockerImage	碼頭工人形象的自定義容器。
spark_env_vars	SparkEnvPair	一個對象包含一組可選的,鍵值指定的環境變量。鍵-值對的形式(X, Y)出口(也就是說,`出口X = Y`),而司機和工人。為了指定一個額外的組`SPARK_DAEMON_JAVA_OPTS`,我們建議追加`SPARK_DAEMON_JAVA_OPTS美元`如以下示例所示。這確保了所有默認磚管理環境變量。示例引發環境變量:`{“SPARK_WORKER_MEMORY”:“28000米”,“SPARK_LOCAL_DIRS”:" / local_disk0 "}`或`{“SPARK_DAEMON_JAVA_OPTS”:" $ SPARK_DAEMON_JAVA_OPTS-Dspark.shuffle.service.enabled = true "}`
autotermination_minutes	`INT32`	後自動終止集群是不活躍的在幾分鍾內。如果沒有設置,這個集群不會自動終止。如果指定,閾值必須10至10000分鍾。你也可以將這個值設置為0來顯式禁用自動終止。
enable_elastic_disk	`BOOL`	自動定量本地存儲:當啟用此集群時,將其引發工人時動態地獲取額外的磁盤空間磁盤空間不足。該功能需要特定的AWS權限功能正確——指自動定量本地存儲獲取詳細信息。
instance_pool_id	`字符串`	可選的ID集群所屬實例池。指創建一個池獲取詳細信息。
apply_policy_default_values	`BOOL`	是否使用政策失蹤的集群屬性的默認值。
enable_local_disk_encryption	`BOOL`	加密的磁盤是否啟用本地連接到集群。
runtime_engine	`字符串`	運行時引擎使用的類型。如果未指定,則運行時引擎類型推斷的基礎上`spark_version`價值。允許的值包括: `光子`:使用光子運行時引擎類型。 `標準`:使用標準的運行時引擎類型。這個字段是可選的。
cluster_mount_infos	一個數組的MountInfo	一個對象包含可選的規範對網絡文件係統掛載。

改變所有者

端點	HTTP方法
`2.0 /集群/ change-owner`	`帖子`

改變一個集群的所有者。新所有者必須管理員。

例子

              curl——netrc - x\https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/api/2.0/clusters/change-owner\——數據”{cluster_id”:“1234 - 567890 reef123”、“owner_username”:“someone@example.com”}”
             

{}

請求結構

字段名	類型	描述
cluster_id	`字符串`	老板你想改變的集群。這個字段是必需的。
owner_username	`字符串`	集群的用戶名的新東家。這個字段是必需的。

響應結構

如果請求成功,將返回一個空的反應。

響應錯誤

錯誤	描述
`INVALID_PARAMETER_VALUE`	集群ID無效。
`PERMISSION_DENIED`	新老板不是一個管理員。
`RESOURCE_DOES_NOT_EXIST`	用戶名是無效的。

其他錯誤返回BAD_REQUEST。

開始

端點	HTTP方法
`2.0 /集群/開始`	`帖子`

開始終止集群鑒於其ID。這類似於createCluster,除了:

終止集群ID和屬性保存。
集群從去年開始指定集群的大小。如果終止集群是一個自動定量集群,集群從最低的節點數量。
如果集群中重新啟動狀態,一個400年返回錯誤。
你不能開始一個集群啟動運行工作。

例子

              curl——netrc - x\https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/api/2.0/clusters/start\——數據”{cluster_id”:“1234 - 567890 reef123“}”
             

{}

請求結構

字段名	類型	描述
cluster_id	`字符串`	要啟動集群。這個字段是必需的。

重新啟動

端點	HTTP方法
`2.0 /集群/重新啟動`	`帖子`

重新啟動集群鑒於其ID。必須在集群運行狀態。

例子

              curl——netrc - x\https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/api/2.0/clusters/restart\——數據”{cluster_id”:“1234 - 567890 reef123“}”
             

{}

請求結構

字段名	類型	描述
cluster_id	`字符串`	要啟動集群。這個字段是必需的。

調整

端點	HTTP方法
`2.0 /集群/調整`	`帖子`

調整一個集群所需的工人數量。必須在集群運行狀態。

例子

              curl——netrc - x\https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/api/2.0/clusters/resize\——數據”{cluster_id”:“1234 - 567890 reef123”、“num_workers”: 30}”
             

{}

請求結構

字段名

類型

描述

num_workers或自動定量

INT32或自動定量

如果num_workers,工人數量節點集群應該。一個集群有一個火花司機和num_workers執行人總共num_workers + 1火花節點。

注意:當閱讀一個集群的屬性,這一領域的反映所需的工人數量,而不是工人的實際數量。例如,如果一個集群的大小從5到10的工人,這一領域將立即被更新以反映目標大小為10的工人,而工人們中列出執行人將逐漸增加從5到10新節點配置。

如果自動定量,參數需要為了根據負載自動上下集群規模。

cluster_id

字符串

集群的大小。這個字段是必需的。

刪除(終止)

端點	HTTP方法
`2.0 /集群/刪除`	`帖子`

終止一個集群鑒於其ID。異步刪除集群。一旦終止已經完成,將在集群終止狀態。如果已經在一個集群終止或終止狀態,什麼也不會發生。

除非固定一個集群,集群終止後30天永久刪除。

例子

              curl——netrc - x\https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/api/2.0/clusters/delete\——數據”{cluster_id”:“1234 - 567890 frays123“}”
             

{}

請求結構

字段名	類型	描述
cluster_id	`字符串`	集群是終止。這個字段是必需的。

永久刪除

端點	HTTP方法
`2.0 /集群/ permanent-delete`	`帖子`

永久刪除一個集群。如果集群運行,它終止和異步刪除資源。如果終止集群,然後立即刪除。

您不能執行任何行動,包括檢索集群的權限,一個永久刪除集群。永久刪除集群也不再返回在集群列表中。

例子

              curl——netrc - x\https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/api/2.0/clusters/permanent-delete\——數據”{cluster_id”:“1234 - 567890 frays123“}”
             

{}

請求結構

字段名	類型	描述
cluster_id	`字符串`	集群是永久刪除。這個字段是必需的。

得到

端點	HTTP方法
`2.0 /集群`	`得到`

檢索一個集群的信息由於其標識符。集群可以在運行時被描述或終止後30天。

例子

              curl——netrc - x\https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/api/2.0/clusters/get\——數據”{cluster_id”:“1234 - 567890 reef123“}”\|金橋。
             

              {“cluster_id”:“1234 - 567890 reef123”,“spark_context_id”:4020997813441462000,“cluster_name”:“my-cluster”,“spark_version”:“8.2.x-scala2.12”,“aws_attributes”:{“zone_id”:“us-west-2c”,“first_on_demand”:1,“可用性”:“SPOT_WITH_FALLBACK”,“spot_bid_price_percent”:One hundred.,“ebs_volume_count”:0},“node_type_id”:“i3.xlarge”,“driver_node_type_id”:“i3.xlarge”,“autotermination_minutes”:120年,“enable_elastic_disk”:假,“disk_spec”:{“disk_count”:0},“cluster_source”:“用戶界麵”,“enable_local_disk_encryption”:假,“instance_source”:{“node_type_id”:“i3.xlarge”},“driver_instance_source”:{“node_type_id”:“i3.xlarge”},“狀態”:“終止”,“state_message”:“不活躍集群終止(120分鍾不活躍)。”,“start_time”:1618263108824,“terminated_time”:1619746525713,“last_state_loss_time”:1619739324740,“num_workers”:30.,“default_tags”:{“供應商”:“磚”,“創造者”:“someone@example.com”,“ClusterName”:“my-cluster”,“ClusterId”:“1234 - 567890 reef123”},“creator_user_name”:“someone@example.com”,“termination_reason”:{“代碼”:“活動”,“參數”:{“inactivity_duration_min”:“120”},“類型”:“成功”},“init_scripts_safe_mode”:假}
             

請求結構

字段名	類型	描述
cluster_id	`字符串`	集群的檢索信息。這個字段是必需的。

響應結構

字段名	類型	描述
num_workers或自動定量	`INT32`或自動定量	如果num_workers,工人數量節點集群應該。一個集群有一個火花司機和num_workers執行人總共num_workers + 1火花節點。注意:當閱讀一個集群的屬性,這一領域的反映所需的工人數量,而不是工人的實際數量。例如,如果一個集群的大小從5到10的工人,這一領域將立即被更新以反映目標大小為10的工人,而工人們中列出`執行人`將逐漸增加從5到10新節點配置。如果自動定量,參數需要為了根據負載自動上下集群規模。
cluster_id	`字符串`	規範標識符的集群。這個ID是保留在集群重啟和尺寸,而每一個新的集群有一個全球唯一的ID。
creator_user_name	`字符串`	創造者用戶名。現場不會包含在響應中如果用戶已經刪除。
司機	SparkNode	節點的火花司機駐留。司機節點包含火花大師和磚應用程序管理的每本引發repl。
執行人	一個數組的SparkNode	節點的火花執行人駐留。
spark_context_id	`INT64`	規範SparkContext標識符。這個值做當火花驅動程序啟動時改變。這一對`(cluster_idspark_context_id)`是一個全局唯一標識符在所有引發上下文。
jdbc_port	`INT32`	JDBC服務器監聽端口的火花在司機節點。沒有服務將監聽這個端口執行器節點。
cluster_name	`字符串`	集群名稱要求的用戶。這不必是惟一的。如果沒有指定在創建,集群名稱將是一個空字符串。
spark_version	`字符串`	集群的運行時版本。您可以檢索通過使用可用的運行時版本的列表運行時版本API調用。
spark_conf	SparkConfPair	一個對象包含一組可選的,指定的火花配置鍵-值對。還可以通過一係列額外的司機和執行人通過JVM選項`spark.driver.extraJavaOptions`和`spark.executor.extraJavaOptions`分別。火花參看示例:`{“spark.speculation”:真的,“spark.streaming.ui.retainedBatches”:5}`或`{“spark.driver.extraJavaOptions”:“- verbose: gc- xx: + PrintGCDetails "}`
aws_attributes	AwsAttributes	屬性相關的集群運行在Amazon Web服務。如果沒有指定在創建集群,將使用默認值。
node_type_id	`字符串`	這一領域的編碼,通過單個值,可用的資源的火花節點集群。例如,火花節點可以提供和優化內存或計算密集型工作負載。可用節點類型的列表可以通過使用檢索節點類型列表API調用。這個字段是必需的。
driver_node_type_id	`字符串`	火花的節點類型的司機。這個字段是可選的。如果你不指定一個值,司機節點類型將被設置為相同的值`node_type_id`上麵的定義。
ssh_public_keys	一個數組的`字符串`	SSH公鑰的內容將被添加到每個火花節點集群。可以使用相應的私鑰與用戶名登錄`ubuntu`在端口`2200年`。可以指定多達10個鑰匙。
custom_tags	ClusterTag	一個對象包含對集群資源的一組標記。磚標簽的所有集群資源除了default_tags與這些標簽。請注意: 標簽上不支持遺留節點類型compute-optimized和memory-optimized等。磚允許最多45定製標記。如果集群上創建一個實例池,集群的標簽不是複製到集群的資源。標記資源實例池,請參閱`custom_tags`字段實例池API 2.0。
cluster_log_conf	ClusterLogConf	長期存儲的配置提供火花日誌目的地。隻能指定一個目標為一個集群。如果配置,日誌將被交付給每一個目的地`5分鍾`。司機日誌的目的地`<目標> / < cluster-ID > /司機`的目的地,而執行者日誌`<目標> / < cluster-ID > /執行器`。
init_scripts	一個數組的InitScriptInfo	存儲的配置初始化腳本。可以指定任意數量的目的地。所提供的腳本的順序執行。如果`cluster_log_conf`指定,init腳本日誌發送到該位置。
docker_image	DockerImage	碼頭工人形象的自定義容器。
spark_env_vars	SparkEnvPair	一個對象包含一組可選的,鍵值指定的環境變量。鍵-值對的形式(X, Y)出口(也就是說,`出口X = Y`),而司機和工人。為了指定一個額外的組`SPARK_DAEMON_JAVA_OPTS`,我們建議追加`SPARK_DAEMON_JAVA_OPTS美元`如以下示例所示。這確保了所有默認磚管理環境變量。示例引發環境變量:`{“SPARK_WORKER_MEMORY”:“28000米”,“SPARK_LOCAL_DIRS”:" / local_disk0 "}`或`{“SPARK_DAEMON_JAVA_OPTS”:" $ SPARK_DAEMON_JAVA_OPTS-Dspark.shuffle.service.enabled = true "}`
autotermination_minutes	`INT32`	後自動終止集群是不活躍的在幾分鍾內。如果沒有設置,這個集群不會自動終止。如果指定,閾值必須10至10000分鍾。你也可以將這個值設置為0來顯式禁用自動終止。
enable_elastic_disk	`BOOL`	自動定量本地存儲:當啟用此集群時,將其引發工人時動態地獲取額外的磁盤空間磁盤空間不足。該功能需要特定的AWS權限功能正確——指自動定量本地存儲獲取詳細信息。
instance_pool_id	`字符串`	可選的ID集群所屬實例池。指創建一個池獲取詳細信息。
cluster_source	ClusterSource	確定集群是由用戶通過UI,磚的工作調度程序,通過一個API請求,或由三角洲住表運行時。示例值包括`API`,`用戶界麵`,或`管道`。
狀態	ClusterState	集群的狀態。
state_message	`字符串`	與最近的狀態轉換相關聯的消息(例如,集群進入的原因`終止`狀態)。
start_time	`INT64`	時間(毫秒)時代當集群創建請求接收(當集群進入`等待`狀態)。
terminated_time	`INT64`	時間(毫秒)時代集群時終止,如果適用的話。
last_state_loss_time	`INT64`	當集群司機去年失去了狀態(由於重啟或驅動程序失敗)。
last_activity_time	`INT64`	時間(毫秒)時代當集群持續活躍。集群是活躍如果至少有一個命令在集群上還沒有完成。這個領域是可用的集群已經達到`運行`狀態。更新這個領域是由作為最優的嚐試。某些版本的火花不支持集群活動的報告。指自動終止獲取詳細信息。
cluster_memory_mb	`INT64`	集群內存總量,以兆字節為單位。
cluster_cores	`浮動`	這個集群可用的CPU核數量。這可以部分由於某些節點類型配置為共享核心之間的火花節點相同的實例。
default_tags	ClusterTag	添加一個對象包含一組標記,由磚不管任何custom_tags,包括: 供應商:磚創造者:< username-of-creator > ClusterName: < name-of-cluster > ClusterId: < id-of-cluster > 名稱:<磚內部使用> 在工作的集群: RunName: < name-of-job > JobId: < id-of-job > 對資源使用的磚SQL: SqlWarehouseId: < id-of-warehouse >
cluster_log_status	LogSyncStatus	集群日誌發送狀態。
termination_reason	TerminationReason	信息集群為什麼終止。這個字段隻出現在集群中`終止`或`終止`狀態。

銷

請注意

你一定是一個磚管理員調用此API。

端點	HTTP方法
`2.0 /集群/銷`	`帖子`

確保一個通用的集群配置保留即使集群已經終止了超過30天。將確保集群總是返回的列表API。寄一個集群,已經是固定的沒有效果。

例子

              curl——netrc - x\https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/api/2.0/clusters/pin\——數據”{cluster_id”:“1234 - 567890 reef123“}”
             

{}

請求結構

字段名	類型	描述
cluster_id	`字符串`	銷的集群。這個字段是必需的。

拔掉

請注意

你一定是一個磚管理員調用此API。

端點	HTTP方法
`2.0 /集群/拔掉`	`帖子`

允許集群最終從返回的列表中刪除列表API。拔掉一個集群,未被固定沒有效果。

例子

              curl——netrc - x\https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/api/2.0/clusters/unpin\——數據”{cluster_id”:“1234 - 567890 reef123“}”
             

{}

請求結構

字段名	類型	描述
cluster_id	`字符串`	集群拔掉。這個字段是必需的。

列表

端點	HTTP方法
`2.0 /集群列表中`	`得到`

返回所有固定信息集群,活躍集群,多達200的最近通用終止集群在過去的30天裏,和最近的30終止集群工作在過去的30天。例如,如果有1固定集群,集群4活躍,45通用終止集群在過去的30天裏,和50終止工作集群在過去30天,然後這個API返回1固定集群,集群4活躍,所有45通用終止集群,集群30最近終止工作。

例子

              curl——netrc - x\https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/api/2.0/clusters/list\|金橋。
             

              {“集群”:({“cluster_id”:“1234 - 567890 reef123”,“spark_context_id”:4020997813441462000,“cluster_name”:“my-cluster”,“spark_version”:“8.2.x-scala2.12”,“aws_attributes”:{“zone_id”:“us-west-2c”,“first_on_demand”:1,“可用性”:“SPOT_WITH_FALLBACK”,“spot_bid_price_percent”:One hundred.,“ebs_volume_count”:0},“node_type_id”:“i3.xlarge”,“driver_node_type_id”:“i3.xlarge”,“autotermination_minutes”:120年,“enable_elastic_disk”:假,“disk_spec”:{“disk_count”:0},“cluster_source”:“用戶界麵”,“enable_local_disk_encryption”:假,“instance_source”:{“node_type_id”:“i3.xlarge”},“driver_instance_source”:{“node_type_id”:“i3.xlarge”},“狀態”:“終止”,“state_message”:“不活躍集群終止(120分鍾不活躍)。”,“start_time”:1618263108824,“terminated_time”:1619746525713,“last_state_loss_time”:1619739324740,“num_workers”:30.,“default_tags”:{“供應商”:“磚”,“創造者”:“someone@example.com”,“ClusterName”:“my-cluster”,“ClusterId”:“1234 - 567890 reef123”},“creator_user_name”:“someone@example.com”,“termination_reason”:{“代碼”:“活動”,“參數”:{“inactivity_duration_min”:“120”},“類型”:“成功”},“init_scripts_safe_mode”:假},{“…”}]}
             

響應結構

字段名	類型	描述
集群	一個數組的ClusterInfo	一個集群列表。

節點類型列表

端點	HTTP方法
`2.0 /集群/ list-node-types`	`得到`

返回一個列表的支持引發節點類型。這些節點類型可用於啟動一個集群。

例子

              curl——netrc - x\https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/api/2.0/clusters/list-node-types\|金橋。
             

              {“node_type”:({“node_type_id”:“r4.xlarge”,“memory_mb”:31232年,“num_cores”:4,“描述”:“r4.xlarge”,“instance_type_id”:“r4.xlarge”,“is_deprecated”:假,“類別”:“內存優化”,“support_ebs_volumes”:真正的,“support_cluster_tags”:真正的,“num_gpus”:0,“node_instance_type”:{“instance_type_id”:“r4.xlarge”,“local_disks”:0,“local_disk_size_gb”:0,“instance_family”:“EC2 r4家庭個vcpu”,“swap_size”:“10 g”},“is_hidden”:假,“support_port_forwarding”:真正的,“display_order”:0,“is_io_cache_enabled”:假},{“…”}]}
             

響應結構

字段名	類型	描述
node_type	一個數組的NodeType	可用火花節點類型的列表。

運行時版本

端點	HTTP方法
`2.0 /集群/ spark-versions`	`得到`

返回的列表可用運行時版本。這些版本可用於啟動一個集群。

例子

              curl——netrc - x\https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/api/2.0/clusters/spark-versions\|金橋。
             

              {“版本”:({“關鍵”:“8.2.x-scala2.12”,“名稱”:“8.2(包括Apache火花3.1.1,Scala 2.12)”},{“…”}]}
             

響應結構

字段名	類型	描述
版本	一個數組的SparkVersion	所有可用的運行時版本。

列表區域

端點	HTTP方法
`2.0 /集群/ list-zones`	`得到`

返回一個可用性區域列表中可以創建集群(例:us-west-2a)。這些區域可以用來啟動一個集群。

例子

              curl——netrc - x\https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/api/2.0/clusters/list-zones\|金橋。
             

              {“區域”:(“us-west-2c”,“us-west-2a”,“us-west-2b”),“default_zone”:“us-west-2c”}
             

響應結構

字段名	類型	描述
區	一個數組的`字符串`	可用區域的列表(比如[' us-west-2c ', ' us-east-2 '])。
default_zone	`字符串`	如果沒有可用性區域`zone_id`提供集群中創建請求。

事件

端點	HTTP方法
`2.0 /集群/事件`	`帖子`

檢索事件列表的活動集群。您可以檢索事件從活躍集群(跑步、等待、或重新配置)和終止集群的30天內終止。這個API是分頁的。如果有更多的閱讀活動,包括所有必要的參數來請求的響應下一個頁麵的事件。

例子:

             curl——netrc - x\https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/api/2.0/clusters/events\——數據@list-events.json\|金橋。
            

list-events.json:

             {“cluster_id”:“1234 - 567890 reef123”,“start_time”:1617238800000,“end_time”:1619485200000,“秩序”:“DESC”,“抵消”:5,“限製”:5,“event_types”:(“運行”]}
            

             {“事件”:({“cluster_id”:“1234 - 567890 reef123”,“時間戳”:1619471498409,“類型”:“運行”,“細節”:{“current_num_workers”:2,“target_num_workers”:2}},{“…”}),“next_page”:{“cluster_id”:“1234 - 567890 reef123”,“start_time”:1617238800000,“end_time”:1619485200000,“秩序”:“DESC”,“抵消”:10,“限製”:5},“total_count”:25}
            

示例請求來檢索下一個頁麵的事件:

             curl——netrc - x\https://dbc-a1b2345c-d6e7.cloud.m.eheci.com/api/2.0/clusters/events\——數據@list-events.json\|金橋。
            

list-events.json:

             {“cluster_id”:“1234 - 567890 reef123”,“start_time”:1617238800000,“end_time”:1619485200000,“秩序”:“DESC”,“抵消”:10,“限製”:5,“event_types”:(“運行”]}
            

             {“事件”:({“cluster_id”:“1234 - 567890 reef123”,“時間戳”:1618330776302,“類型”:“運行”,“細節”:{“current_num_workers”:2,“target_num_workers”:2}},{“…”}),“next_page”:{“cluster_id”:“1234 - 567890 reef123”,“start_time”:1617238800000,“end_time”:1619485200000,“秩序”:“DESC”,“抵消”:15,“限製”:5},“total_count”:25}
            

請求結構

檢索事件屬於一個特定的集群。

字段名	類型	描述
cluster_id	`字符串`	集群的ID來檢索事件有關。這個字段是必需的。
start_time	`INT64`	時代的開始時間毫秒。如果為空,返回事件從一開始的時間。
end_time	`INT64`	時代的結束時間毫秒。如果為空,返回到當前時間的事件。
訂單	ListOrder	訂單列表事件;要麼`ASC`或`DESC`。默認為`DESC`。
event_types	一個數組的ClusterEventType	一個可選的事件類型過濾。如果為空,返回所有事件類型。
抵消	`INT64`	結果集的抵消。默認值為0(無抵消)。當指定一個偏移量和結果要求在降序排列,end_time字段是必需的。
限製	`INT64`	事件在一個頁麵的最大數量的事件。默認值為50,和最大允許的值為500。

響應結構

字段名	類型	描述
事件	一個數組的ClusterEvent	這個匹配的事件列表。
next_page	請求結構	所需的參數獲取下一個頁麵的事件。省略了如果沒有其他事件來讀。
total_count	`INT64`	事件的總數start_time過濾,end_time, event_types。

數據結構

在本節中:

自動定量

集群範圍定義的最小和最大數量的工人。

字段名	類型	描述
min_workers	`INT32`	工人的最低數量的集群可以縮小時沒有得到充分的利用。這也是最初的工人數量集群創建後。
max_workers	`INT32`	工人的最大數量的集群可以擴大當超載。必須嚴格大於min_workers max_workers。

ClusterInfo

關於集群元數據。

字段名	類型	描述
num_workers或自動定量	`INT32`或自動定量	如果num_workers,工人數量節點集群應該。一個集群有一個火花司機和num_workers執行人總共num_workers + 1火花節點。注意:當閱讀一個集群的屬性,這一領域的反映所需的工人數量,而不是工人的實際數量。例如,如果一個集群的大小從5到10的工人,這一領域將立即被更新以反映目標大小為10的工人,而工人們中列出`執行人`將逐漸增加從5到10新節點配置。如果自動定量,參數需要為了根據負載自動上下集群規模。
cluster_id	`字符串`	規範標識符的集群。這個ID是保留在集群重啟和尺寸,而每一個新的集群有一個全球唯一的ID。
creator_user_name	`字符串`	創造者用戶名。現場不會包含在響應中如果用戶已經刪除。
司機	SparkNode	節點的火花司機駐留。司機節點包含火花大師和磚應用程序管理的每本引發repl。
執行人	一個數組的SparkNode	節點的火花執行人駐留。
spark_context_id	`INT64`	規範SparkContext標識符。這個值做當火花驅動程序啟動時改變。這一對`(cluster_idspark_context_id)`是一個全局唯一標識符在所有引發上下文。
jdbc_port	`INT32`	JDBC服務器監聽端口的火花在司機節點。沒有服務將監聽這個端口執行器節點。
cluster_name	`字符串`	集群名稱要求的用戶。這不必是惟一的。如果沒有指定在創建,集群名稱將是一個空字符串。
spark_version	`字符串`	集群的運行時版本。您可以檢索通過使用可用的運行時版本的列表運行時版本API調用。
spark_conf	SparkConfPair	一個對象包含一組可選的,指定的火花配置鍵-值對。還可以通過一係列額外的司機和執行人通過JVM選項`spark.driver.extraJavaOptions`和`spark.executor.extraJavaOptions`分別。火花參看示例:`{“spark.speculation”:真的,“spark.streaming.ui.retainedBatches”:5}`或`{“spark.driver.extraJavaOptions”:“- verbose: gc- xx: + PrintGCDetails "}`
aws_attributes	AwsAttributes	屬性相關的集群運行在Amazon Web服務。如果沒有指定在創建集群,將使用默認值。
node_type_id	`字符串`	這一領域的編碼,通過單個值,可用的資源的火花節點集群。例如,火花節點可以提供和優化內存或計算密集型工作負載。可用節點類型的列表可以通過使用檢索節點類型列表API調用。
driver_node_type_id	`字符串`	火花的節點類型的司機。這個字段是可選的。如果你不指定一個值,司機節點類型將被設置為相同的值`node_type_id`上麵的定義。
ssh_public_keys	一個數組的`字符串`	SSH公鑰的內容將被添加到每個火花節點集群。可以使用相應的私鑰與用戶名登錄`ubuntu`在端口`2200年`。可以指定多達10個鑰匙。
custom_tags	一個數組的ClusterTag	一個對象包含一組標簽。磚標簽的所有集群資源除了default_tags與這些標簽。請注意: 標簽上不支持遺留節點類型compute-optimized和memory-optimized等。磚允許最多45定製標記。如果集群上創建一個實例池,集群的標簽不是複製到集群的資源。標記資源實例池,請參閱`custom_tags`字段實例池API 2.0。
cluster_log_conf	ClusterLogConf	長期存儲的配置提供火花日誌目的地。隻能指定一個目標為一個集群。如果配置,日誌將被交付給每一個目的地`5分鍾`。司機日誌的目的地`<目標> / < cluster-ID > /司機`的目的地,而執行者日誌`<目標> / < cluster-ID > /執行器`。
init_scripts	一個數組的InitScriptInfo	存儲的配置初始化腳本。可以指定任意數量的目的地。所提供的腳本的順序執行。如果指定cluster_log_conf, init腳本日誌發送到`<目標> / < cluster-ID > / init_scripts`。
docker_image	DockerImage	碼頭工人形象的自定義容器。
spark_env_vars	SparkEnvPair	一個對象包含一組可選的,鍵值指定的環境變量。鍵-值對的形式(X, Y)出口(也就是說,`出口X = Y`),而司機和工人。指定一組額外的`SPARK_DAEMON_JAVA_OPTS`,我們建議追加`SPARK_DAEMON_JAVA_OPTS美元`如以下示例所示。這確保了所有默認磚管理環境變量。示例引發環境變量:`{“SPARK_WORKER_MEMORY”:“28000米”,“SPARK_LOCAL_DIRS”:" / local_disk0 "}`或`{“SPARK_DAEMON_JAVA_OPTS”:" $ SPARK_DAEMON_JAVA_OPTS-Dspark.shuffle.service.enabled = true "}`
autotermination_minutes	`INT32`	後自動終止集群是不活躍的在幾分鍾內。如果沒有設置,這個集群不會自動終止。如果指定,閾值必須10至10000分鍾。你也可以將這個值設置為0來顯式禁用自動終止。
enable_elastic_disk	`BOOL`	自動定量本地存儲:當啟用此集群時,將其引發工人時動態地獲取額外的磁盤空間磁盤空間不足。該功能需要特定的AWS權限功能正確——指自動定量本地存儲獲取詳細信息。
instance_pool_id	`字符串`	可選的ID集群所屬實例池。指創建一個池獲取詳細信息。
cluster_source	ClusterSource	確定集群是由用戶通過UI,磚的工作調度程序,通過一個API請求,或由三角洲住表運行時。示例值包括`API`,`用戶界麵`,或`管道`。
狀態	ClusterState	集群的狀態。
state_message	`字符串`	與最近的狀態轉換相關聯的消息(例如,集群進入的原因`終止`狀態)。這個字段是結構化的,它的確切格式是可能發生變化。
start_time	`INT64`	時間(毫秒)時代當集群創建請求接收(當集群進入`等待`狀態)。
terminated_time	`INT64`	時間(毫秒)時代集群時終止,如果適用的話。
last_state_loss_time	`INT64`	當集群司機去年失去了狀態(由於重啟或驅動程序失敗)。
last_activity_time	`INT64`	時間(毫秒)時代當集群持續活躍。集群是活躍如果至少有一個命令在集群上還沒有完成。這個領域是可用的集群後已經達到了`運行`狀態。更新這個領域是由作為最優的嚐試。某些版本的火花不支持集群活動的報告。指自動終止獲取詳細信息。
cluster_memory_mb	`INT64`	集群內存總量,以兆字節為單位。
cluster_cores	`浮動`	這個集群可用的CPU核數量。這可以部分由於某些節點類型配置為共享核心之間的火花節點相同的實例。
default_tags	ClusterTag	添加一個對象包含一組標記,由磚不管任何custom_tags,包括: 供應商:磚創造者:< username-of-creator > ClusterName: < name-of-cluster > ClusterId: < id-of-cluster > 名稱:<磚內部使用> 在工作的集群: RunName: < name-of-job > JobId: < id-of-job > 對資源使用的磚SQL: SqlWarehouseId: < id-of-warehouse >
cluster_log_status	LogSyncStatus	集群日誌發送狀態。
termination_reason	TerminationReason	信息集群為什麼終止。這個字段隻出現在集群中`終止`或`終止`狀態。

ClusterEvent

集群事件信息。

字段名	類型	描述
cluster_id	`字符串`	規範標識符的集群。這個字段是必需的。
時間戳	`INT64`	事件發生時的時間戳,存儲為unix紀元以來的毫秒數。交辦時間軸服務。
類型	ClusterEventType	事件類型。這個字段是必需的。
細節	EventDetails	事件的細節。這個字段是必需的。

ClusterEventType

集群事件的類型。

事件類型	描述
創建	表明,集群被創造出來。
DID_NOT_EXPAND_DISK	表明一個磁盤空間低,但添加磁盤將在最大容量。
EXPANDED_DISK	表明一個磁盤空間不足,磁盤擴展。
FAILED_TO_EXPAND_DISK	表明一個磁盤空間和磁盤空間不足無法擴大。
INIT_SCRIPTS_STARTING	表明,集群範圍的init腳本已經開始。
INIT_SCRIPTS_FINISHED	表明,集群範圍的init腳本完成。
開始	表明,集群正在開始。
重新啟動	表明,集群正在開始。
終止	表明,集群被終止。
編輯	表明,集群已被編輯。
運行	顯示集群創建完成。包括集群中的節點的數量和故障原因如果某些節點不能被收購。
調整	顯示集群的目標大小的變化走勢(多或縮小)。
UPSIZE_COMPLETED	表明節點完成被添加到集群中。包括集群中的節點的數量和故障原因如果某些節點不能被收購。
NODES_LOST	表明,某些節點的集群。
DRIVER_HEALTHY	表明,司機是健康和集群準備使用。
DRIVER_UNAVAILABLE	表明司機不可用。
SPARK_EXCEPTION	表明火花異常被拋出的司機。
DRIVER_NOT_RESPONDING	表明司機,但沒有反應,可能由於GC。
DBFS_DOWN	表明司機但DBFS下來。
METASTORE_DOWN	表明司機但metastore下來。
NODE_BLACKLISTED	表明一個節點由火花是不允許的。
固定	表明,集群是固定的。
拔掉	表明,集群被拔掉。

EventDetails

集群事件的詳細信息。

字段名	類型	描述
current_num_workers	`INT32`	集群中的節點的數量。
target_num_workers	`INT32`	目標集群中的節點數量。
previous_attributes	AwsAttributes	集群的集群之前編輯屬性。
屬性	AwsAttributes	創建集群,集群的屬性。對於編輯的集群,集群的新屬性。
previous_cluster_size	ClusterSize	集群的規模前編輯或調整。
cluster_size	ClusterSize	的集群大小設置集群中創建或編輯。
導致	ResizeCause	目標大小的變化的原因。
原因	TerminationReason	終止原因: 在一個`終止`事件,終止的原因。在一個`RESIZE_COMPLETE`事件,說明原因,我們未能獲得一些節點。
用戶	`字符串`	用戶,導致事件發生。(空,如果它是由磚)。

AwsAttributes

屬性設置集群創建期間有關亞馬遜網絡服務。

字段名	類型	描述
first_on_demand	`INT32`	第一first_on_demand集群的節點將被放置在隨需應變的實例。如果該值大於0,則集群驅動節點將被放置在一個隨需應變的實例。如果該值大於或等於當前集群大小,所有節點將被放置在隨需應變的實例。如果這個值小於當前集群大小,first_on_demand節點將被放置在隨需應變的實例和其餘部分將被放置`可用性`實例。這個值並不影響集群大小和不能突變在集群的生命周期。
可用性	AwsAvailability	可用性類型用於所有後續節點過去first_on_demand的。注意:如果first_on_demand是零,這種可用性將用於整個集群。
zone_id	`字符串`	可用性區域的標識符(AZ)集群所在。默認情況下,設置的值為汽車,否則稱為Auto-AZ。Auto-AZ,磚在工作區中選擇可用的阿茲基於ip子網和重試可用性區域如果AWS返回錯誤能力不足。如果你願意,你也可以指定一個可用性區域使用。這福利賬戶保留在一個特定的實例。指定AZ作為字符串(例如,`“us-west-2a”`)。提供的可用性區域必須在同一地區磚部署。例如,“us-west-2a”不是一個有效的區域ID如果磚部署駐留在“us-east-1”地區。可用區域的列表以及默認值可以通過找到列表區域API。
instance_profile_arn	`字符串`	節點的集群隻會放在AWS實例,這個實例配置文件。如果省略,節點將被放置在沒有實例配置文件實例。實例配置文件之前必須被添加到磚環境帳戶管理員。此功能隻能用於某些客戶的計劃。
spot_bid_price_percent	`INT32`	AWS實例,馬克斯價格的比例相應的實例類型的隨需應變的價格。例如,如果這個字段設置為50,和集群需要一個新的`i3.xlarge`現貨實例,那麼馬克斯價格是隨需應變的價格的一半`i3.xlarge`實例。同樣,如果這個字段被設置為200,馬克斯價格是隨需應變的價格的兩倍`i3.xlarge`實例。如果沒有指定,默認值為100。當現貨實例請求這個集群,隻有現貨實例的馬克斯價格百分比匹配這一領域將被考慮。為了安全,我們執行這個領域不超過10000。
ebs_volume_type	EbsVolumeType	EBS卷的類型將啟動集群。
ebs_volume_count	`INT32`	卷的數量為每個實例啟動。你可以選擇10卷。此功能隻支持支持節點類型。遺留的節點類型不能指定自定義EBS卷。節點類型沒有實例存儲,需要指定至少一個EBS卷;否則,創建集群將會失敗。這些將被安裝在EBS卷`/ ebs0`,`/ ebs1`等。將安裝在實例存儲卷`/ local_disk0`,`/ local_disk1`等。如果在EBS卷,磚將配置的火花隻使用EBS卷存儲,因為不均勻大小的嘁喳設備會導致低效的磁盤利用率。如果沒有附加EBS卷,磚將火花配置為使用實例存儲卷。如果指定EBS卷,火花配置`spark.local.dir`將被覆蓋。
ebs_volume_size	`INT32`	每個EBS卷的大小為每個實例(在直布羅陀海峽)推出。對於通用SSD,這個值必須在100 - 4096年的經營範圍內。吞吐量的優化硬盤,這個值必須在500 - 4096年的經營範圍內。定製EBS卷不能被指定為遺留節點類型(memory-optimized和compute-optimized)。
ebs_volume_iops	`INT32`	每EBS gp3 IOPS卷的數量。這個值必須在3000年和16000年之間。 IOPS的價值和吞吐量計算基於AWS文檔匹配的最大性能gp2體積相同的體積大小。有關更多信息,請參見EBS卷限製計算器。
ebs_volume_throughput	`INT32`	MiB的吞吐量/ EBS gp3體積,每秒。這個值必須在125年和1000年之間。

如果既不ebs_volume_iops也不ebs_volume_throughput指定的值推斷磁盤大小:

磁盤大小	IOPS	吞吐量
大於1000	3倍的磁盤大小,16000	250年
在170年和1000年之間	3000年	250年
低於170	3000年	125年

ClusterAttributes

在創建集群組公共的屬性集。不能改變這些屬性在集群的生命周期。

字段名	類型	描述
cluster_name	`字符串`	集群名稱要求的用戶。這不必是惟一的。如果沒有指定在創建,集群名稱將是一個空字符串。
spark_version	`字符串`	集群的運行時版本,例如“5.0.x-scala2.11”。您可以檢索通過使用可用的運行時版本的列表運行時版本API調用。
spark_conf	SparkConfPair	一個對象包含一組可選的,指定的火花配置鍵-值對。還可以通過一係列額外的司機和執行人通過JVM選項`spark.driver.extraJavaOptions`和`spark.executor.extraJavaOptions`分別。火花參看示例:`{“spark.speculation”:真的,“spark.streaming.ui.retainedBatches”:5}`或`{“spark.driver.extraJavaOptions”:“- verbose: gc- xx: + PrintGCDetails "}`
aws_attributes	AwsAttributes	屬性相關的集群運行在Amazon Web服務。如果沒有指定在創建集群,將使用默認值。
node_type_id	`字符串`	這一領域的編碼,通過單個值,可用的資源的火花節點集群。例如,火花節點可以提供和優化內存或計算密集型工作負載。可用節點類型的列表可以通過使用檢索節點類型列表API調用。
driver_node_type_id	`字符串`	火花的節點類型的司機。這個字段是可選的。如果你不指定一個值,司機節點類型將被設置為相同的值`node_type_id`上麵的定義。
ssh_public_keys	一個數組的`字符串`	SSH公鑰的內容將被添加到每個火花節點集群。可以使用相應的私鑰與用戶名登錄`ubuntu`在端口`2200年`。可以指定多達10個鑰匙。
custom_tags	ClusterTag	一個對象包含對集群資源的一組標記。磚標簽的所有集群資源除了default_tags與這些標簽。請注意: 標簽上不支持遺留節點類型compute-optimized和memory-optimized等。磚允許最多45定製標記。如果集群上創建一個實例池,集群的標簽不是複製到集群的資源。標記資源實例池,請參閱`custom_tags`字段實例池API 2.0。
cluster_log_conf	ClusterLogConf	長期存儲的配置提供火花日誌目的地。隻能指定一個目標為一個集群。如果配置,日誌將被交付給每一個目的地`5分鍾`。司機日誌的目的地`<目標> / < cluster-ID > /司機`的目的地,而執行者日誌`<目標> / < cluster-ID > /執行器`。
init_scripts	一個數組的InitScriptInfo	存儲的配置初始化腳本。可以指定任意數量的目的地。所提供的腳本的順序執行。如果`cluster_log_conf`指定,init腳本日誌發送到嗎`<目標> / < cluster-ID > / init_scripts`。
docker_image	DockerImage	碼頭工人形象的自定義容器。
spark_env_vars	SparkEnvPair	一個對象包含一組可選的,鍵值指定的環境變量。鍵-值對的形式(X, Y)出口(也就是說,`出口X = Y`),而司機和工人。為了指定一個額外的組`SPARK_DAEMON_JAVA_OPTS`,我們建議追加`SPARK_DAEMON_JAVA_OPTS美元`如以下示例所示。這確保了所有默認磚管理環境變量。示例引發環境變量:`{“SPARK_WORKER_MEMORY”:“28000米”,“SPARK_LOCAL_DIRS”:" / local_disk0 "}`或`{“SPARK_DAEMON_JAVA_OPTS”:" $ SPARK_DAEMON_JAVA_OPTS-Dspark.shuffle.service.enabled = true "}`
autotermination_minutes	`INT32`	後自動終止集群是不活躍的在幾分鍾內。如果沒有設置,這個集群不會自動終止。如果指定,閾值必須10至10000分鍾。你也可以將這個值設置為0來顯式禁用自動終止。
enable_elastic_disk	`BOOL`	自動定量本地存儲:當啟用此集群時,將其引發工人時動態地獲取額外的磁盤空間磁盤空間不足。該功能需要特定的AWS權限功能正確。指自動定量本地存儲獲取詳細信息。
instance_pool_id	`字符串`	可選的ID集群所屬實例池。指創建一個池獲取詳細信息。
cluster_source	ClusterSource	確定集群是由用戶通過UI,磚的工作調度程序,通過一個API請求,或由三角洲住表運行時。示例值包括`API`,`用戶界麵`,或`管道`。
policy_id	`字符串`	一個集群政策ID。
cluster_mount_infos	一個數組的MountInfo	一個對象包含可選的規範對網絡文件係統掛載。

ClusterSize

集群大小規格。

字段名

類型

描述

num_workers或自動定量

INT32或自動定量

如果num_workers,工人數量節點集群應該。一個集群有一個火花司機和num_workers執行人總共num_workers + 1火花節點。

當閱讀一個集群的屬性,這一領域的反映所需的工人數量,而不是工人的實際數量。例如,如果一個集群的大小從5到10的工人,這一領域被更新以反映目標大小為10的工人,而執行者中列出的工人逐漸增加從5到10新節點配置。

如果自動定量,參數需要為了根據負載自動上下集群規模。

ListOrder

通用排序enum基於列表的查詢。

訂單	描述
DESC	降序排列。
ASC	升序排序。

ResizeCause

為什麼一個集群的大小。

導致	描述
自動定量	基於負載自動調整大小。
USER_REQUEST	用戶請求一個新的大小。
AUTORECOVERY	Autorecovery監控調整後的集群節點。

ClusterLogConf

集群日誌路徑。

字段名

類型

描述

dbfs和s3

DbfsStorageInfo

S3StorageInfo

DBFS集群日誌的位置。必須提供目的地。例如,{“dbfs”:{“目的地”:“dbfs: / home / cluster_log”}}

S3集群日誌的位置。目的地,要麼地區或倉庫必須提供。例如,{“s3”:{“目的地”:“s3: / / cluster_log_bucket /前綴”,“地區”:“us-west-2”}}

InitScriptInfo

一個init腳本。對使用init腳本指令磚容器服務,請參閱使用init腳本。

請注意

文件存儲類型(字段名:文件)隻能用於集群設置使用磚容器服務。看到FileStorageInfo。

字段名

類型

描述

工作區或dbfs(棄用)

或S3

WorkspaceStorageInfo

DbfsStorageInfo(棄用)

S3StorageInfo

init腳本的工作區位置。必須提供目的地。例如,{“工作區”:{“目的地”:“/用戶/ someone@domain.com/init_script.sh”}}

(棄用)DBFS init腳本的位置。必須提供目的地。例如,{“dbfs”:{“目的地”:“dbfs: / home / init_script”}}

S3 init腳本的位置。必須提供目的地和地區或倉庫。例如,{“s3”:{“目的地”:“s3: / / init_script_bucket /前綴”,“地區”:“us-west-2”}}

ClusterTag

集群標簽定義。

類型	描述
`字符串`	標簽的關鍵。密鑰長度必須在1到127之間utf - 8字符,包容性。所有限製的列表,請參閱AWS標簽限製:https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/Using_Tags.html tag-restrictions
`字符串`	標簽的價值。值的長度必須小於或等於255 utf - 8字符。所有限製的列表,請參閱AWS標簽限製:https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/Using_Tags.html tag-restrictions

DbfsStorageInfo

DBFS存儲信息。

字段名	類型	描述
目的地	`字符串`	DBFS目的地。例子:`dbfs: /我/路徑`

FileStorageInfo

文件存儲信息。

請注意

這個位置類型隻能為集群設置使用磚容器服務。

字段名	類型	描述
目的地	`字符串`	文件的目的地。例子:`文件:/我/ file.sh`

WorkspaceStorageInfo

工作區存儲信息。

字段名	類型	描述
目的地	`字符串`	文件的目的地。例子:`/用戶/ someone@domain.com/init_script.sh`

DockerImage

碼頭工人形象連接信息。

場	類型	描述
url	字符串	URL的碼頭工人的形象。
basic_auth	DockerBasicAuth	碼頭工人的基本身份驗證信息存儲庫。

DockerBasicAuth

碼頭工人庫基本身份驗證信息。

場	描述
用戶名	用戶名碼頭工人存儲庫。
密碼	碼頭工人的密碼庫。

LogSyncStatus

日誌發送狀態。

字段名	類型	描述
last_attempted	`INT64`	時間戳的最後嚐試。如果最後一次嚐試失敗,last_exception包含異常在過去的嚐試。
last_exception	`字符串`	除了扔過去,這將是零(響應中省略了)如果在去年嚐試也不例外。

NodeType

火花的描述節點類型包括節點的尺寸和實例類型,它將被托管。

字段名	類型	描述
node_type_id	`字符串`	這個節點類型的惟一標識符。這個字段是必需的。
memory_mb	`INT32`	這個節點類型的可用內存(MB)。這個字段是必需的。
num_cores	`浮動`	可用的CPU核數量這個節點類型。這可以部分如果核的數量在一個機實例不整除的火花節點數量的機器。這個字段是必需的。
描述	`字符串`	一個字符串描述與該節點類型相關聯。這個字段是必需的。
instance_type_id	`字符串`	一個標識符類型的硬件節點上運行。這個字段是必需的。
is_deprecated	`BOOL`	節點類型是否棄用。Non-deprecated節點類型提供更高的性能。
node_info	ClusterCloudProviderNodeInfo	節點類型信息報告的雲提供商。

ClusterCloudProviderNodeInfo

一個雲提供商提供的實例的信息。

字段名	類型	描述
狀態	ClusterCloudProviderNodeStatus	據雲提供商的地位。
available_core_quota	`INT32`	可用的CPU核心配額。
total_core_quota	`INT32`	總CPU核心配額。

ClusterCloudProviderNodeStatus

一個雲提供商提供的實例的狀態。

狀態	描述
NotEnabledOnSubscription	節點類型不能用於訂閱。
NotAvailableInRegion	節點類型在地區。

ParameterPair

參數,提供了額外的信息集群為什麼終止。

類型	描述
TerminationParameter	類型的終止信息。
`字符串`	終止信息。

SparkConfPair

火花配置鍵-值對。

類型	描述
`字符串`	配置屬性的名稱。
`字符串`	配置屬性值。

SparkEnvPair

引發環境變量鍵-值對。

重要的

當指定環境變量的工作集群,這個數據結構隻接受拉丁字符的字段(ASCII字符集)。使用非ascii字符將返回一個錯誤。無效的例子,非ascii字符是中國人,日本漢字,emojis。

類型	描述
`字符串`	一個環境變量的名字。
`字符串`	環境變量的值。

SparkNode

火花司機或執行器配置。

字段名	類型	描述
private_ip	`字符串`	x.x私有IP地址(通常是10.。x地址)引發的節點。這不同於私有IP地址的主機實例。
public_dns	`字符串`	公共DNS地址的節點。這個地址可以用來訪問引發服務器JDBC驅動節點上。與JDBC服務器通信,交通必須手動添加安全組授權規則“worker-unmanaged”安全組通過AWS控製台。
node_id	`字符串`	這個節點的全局唯一標識符。
即instance_id	`字符串`	全局唯一標識符從雲提供商為主機實例。
start_timestamp	`INT64`	時的時間戳(毫秒)火花節點啟動。
node_aws_attributes	SparkNodeAwsAttributes	AWS火花節點的特定屬性。
host_private_ip	`字符串`	私有IP地址的主機實例。

SparkVersion

磚的運行時版本的集群。

字段名	類型	描述
關鍵	`字符串`	磚的運行時版本的鍵,例如`7.3.x-scala2.12`。應提供的價值`spark_version`當創建一個新的集群。的運行時版本可能隨時間變化“通配符”版本(也就是說,`7.3.x-scala2.12`是一個“通配符”與小bug修複版本)。
的名字	`字符串`	運行時版本的一個描述性的名稱,例如“磚運行時的7.3 LTS”。

TerminationReason

為什麼一個集群是終止。

字段名	類型	描述
代碼	TerminationCode	狀態碼表示集群為什麼終止。
類型	TerminationType	理由說明為什麼一個集群是終止。
參數	ParameterPair	對象包含一組參數,提供信息集群為什麼終止。

PoolClusterTerminationCode

狀態碼表示集群為什麼終止由於池失敗。

代碼	描述
INSTANCE_POOL_MAX_CAPACITY_FAILURE	池的最大容量。
INSTANCE_POOL_NOT_FOUND_FAILURE	指定的池集群不再是活動或不存在。

ClusterSource

服務,創建集群。

服務	描述
用戶界麵	集群通過UI。
工作	集群由磚作業調度器。
API	通過一個API調用創建集群。

ClusterState

一個集群的狀態。允許的狀態轉換如下:

等待- >運行
等待- >終止
運行- >調整
運行- >重新啟動
運行- >終止
重新啟動- >運行
重新啟動- >終止
調整- >運行
調整- >終止
終止- >終止

狀態	描述
`等待`	表明一個集群的過程中被創建。
`運行`	表明一個集群已經啟動並準備使用。
`重新啟動`	表明一個集群的過程中重新啟動。
`調整`	表明一個集群的過程中添加或刪除節點。
`終止`	表明一個集群的過程中被摧毀。
`終止`	表明,集群已成功摧毀。
`錯誤`	這個狀態已經不再使用。是用來表示一個集群創建失敗。`終止`和`終止`而不是使用。
`未知的`	表明集群處於未知狀態。一個集群不應該在這個狀態。

TerminationCode

狀態碼表示集群為什麼終止。

代碼	描述
USER_REQUEST	用戶直接終止集群。參數應包括一個`用戶名`指出特定的字段,用戶終止集群。
JOB_FINISHED	集群是一個工作和工作完成時終止。
不活動	集群是終止,因為它是閑置的。
CLOUD_PROVIDER_SHUTDOWN	舉辦了火花的實例司機由雲提供商終止。在AWS,例如,AWS實例和退休可以直接關閉它們。參數應包括一個`aws_instance_state_reason`實例字段指示AWS-provided原因被終止。
COMMUNICATION_LOST	磚失去聯係的對司機服務實例。例如,這可能發生在雲網絡基礎設施出現問題時,或者當實例本身變得不健康。
CLOUD_PROVIDER_LAUNCH_FAILURE	磚經曆了一個雲提供商失敗當請求實例啟動集群。例如,AWS限製運行實例和EBS卷的數量。如果你問磚推出的一個集群,需要超過你的AWS實例或EBS卷,集群將失敗狀態代碼。參數應包括之一`aws_api_error_code`,`aws_instance_state_reason`,或`aws_spot_request_status`表明磚AWS-provided原因不能請求所需的實例集群。
SPARK_STARTUP_FAILURE	集群初始化失敗。可能的原因可能包括未能創造火花或環境問題啟動引發主人和工作進程。
INVALID_ARGUMENT	無法啟動集群,因為用戶指定一個無效的參數。例如,用戶可以指定一個無效的集群運行時版本。
UNEXPECTED_LAUNCH_FAILURE	在啟動這個集群,磚未能完成關鍵的設置步驟,終止集群。
INTERNAL_ERROR	磚遇到了一個意想不到的錯誤,迫使運行集群被終止。接觸磚支持額外的細節。
SPARK_ERROR	火花驅動程序失敗的開始。可能的原因包括不兼容庫和損壞火花容器初始化腳本。
METASTORE_COMPONENT_UNHEALTHY	集群無法啟動,因為外部metastore不能達到。指故障排除。
DBFS_COMPONENT_UNHEALTHY	集群文件係統失敗的開始,因為磚(DBFS)無法聯係。
DRIVER_UNREACHABLE	磚無法訪問火花的司機,因為它是不可到達的。
DRIVER_UNRESPONSIVE	磚無法訪問火花的司機,因為它是反應遲鈍。
INSTANCE_UNREACHABLE	磚不是為了能夠訪問實例啟動集群。這可能是一個瞬態網絡問題。如果問題仍然存在,這通常表明一個錯誤配置的網絡環境。
CONTAINER_LAUNCH_FAILURE	磚無法啟動容器工作節點上的集群。你的管理員檢查網絡配置。
INSTANCE_POOL_CLUSTER_FAILURE	池支持集群特定的失敗。指創建一個池獲取詳細信息。
REQUEST_REJECTED	磚無法處理請求。稍後再試和接觸磚如果問題依然存在。
INIT_SCRIPT_FAILURE	磚不能加載並運行一個集群級init腳本在一個集群的節點,或init腳本終止與一個非零退出代碼。指Init腳本日誌。
TRIAL_EXPIRED	磚試驗訂閱過期。

TerminationType

集群的原因被終止。

類型	描述
成功	終止成功了。
CLIENT_ERROR	Non-retriable。客戶之前必須解決參數再嚐試創建集群。
SERVICE_FAULT	磚服務的問題。客戶端可以重試。
CLOUD_FAILURE	雲提供商的基礎設施問題。客戶可以在底層的問題得到解決後重試。

TerminationParameter

關鍵這提供了額外的信息為什麼集群是終止。

關鍵	描述
用戶名	用戶名的用戶終止集群。
aws_api_error_code	AWS提供錯誤代碼描述為什麼集群節點無法供應。例如,`InstanceLimitExceeded`表明EC2實例為一個特定的實例類型的限製已經超過了。供參考,請參閱:https://docs.aws.amazon.com/AWSEC2/latest/APIReference/query-api-troubleshooting.html。
aws_instance_state_reason	AWS提供描述為什麼司機節點終止狀態的原因。例如,`Client.VolumeLimitExceeded`表明EBS卷或全部EBS卷存儲的限製已經超過了。供參考,請參閱https://docs.aws.amazon.com/AWSEC2/latest/APIReference/API_StateReason.html。
aws_spot_request_status	描述為什麼請求無法完成。例如,`price-too-low`表明,馬克斯價格低於目前的現貨價格。供參考,請參閱:https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/spot-bid-status.html spot-instance-bid-status-understand。
aws_spot_request_fault_code	點請求失敗時提供了額外的細節。例如`InsufficientFreeAddressesInSubnet`表示子網沒有免費的IP地址來適應新實例。供參考,請參閱https://docs.aws.amazon.com/cli/latest/reference/ec2/describe-spot-instance-requests.html。
aws_impaired_status_details	AWS提供狀態檢查失敗和誘導一個節點的損失。這種狀態可能對應於一個失敗的實例或係統檢查。供參考,請參閱https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/monitoring-system-instance-status-check.html。
aws_instance_status_event	AWS提供預定事件(例如重啟),誘導一個節點的損失。供參考,請參閱https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/monitoring-instances-status-check_sched.html。
aws_error_message	人類可讀的上下文AWS的各種故障。這個字段是結構化的,它的確切格式是可能發生變化。
databricks_error_message	額外的上下文,可以解釋集群終止的原因。這個字段是結構化的,它的確切格式是可能發生變化。
inactivity_duration_min	懶懶的集群被關閉後不活躍的時間。
即instance_id	實例的ID是主辦火花司機。
instance_pool_id	集群實例池使用的ID。
instance_pool_error_code	的錯誤代碼特定於池為集群的失敗。

S3StorageInfo

S3存儲信息。

字段名	類型	描述
目的地	`字符串`	S3的目的地。例如:`s3: / /桶/ some-prefix`您必須配置集群配置文件實例和實例配置文件必須寫訪問的目的地。你不能使用AWS鍵。
地區	`字符串`	S3。例如:`us-west-2`。地區或倉庫必須設置。如果兩個設置,倉庫使用。
倉庫	`字符串`	S3倉庫。例如:`https://s3 -我們-西方- 2. - amazonaws.com`。地區或倉庫必須設置。如果兩個設置,倉庫使用。
enable_encryption	`BOOL`	(可選)啟用服務器端加密,`假`默認情況下。
encryption_type	`字符串`	(可選)加密類型`sse-s3`或`sse-kms`。僅當啟用加密時使用,默認的類型`sse-s3`。
kms_key	`字符串`	如果使用(可選)公裏密鑰加密和加密類型設置為啟用`sse-kms`。
canned_acl	`字符串`	(可選)設置訪問控製列表罐頭。例如:`bucket-owner-full-control`。如果設置了canned_acl,集群實例配置文件必須有`s3: PutObjectAcl`許可在目的地桶和前綴。可能罐頭acl的完整列表可以在找到https://docs.aws.amazon.com/AmazonS3/latest/dev/acl-overview.html canned-acl。默認情況下,隻有對象所有者得到完全控製。如果您使用交叉賬戶角色寫數據,您可能希望設置`bucket-owner-full-control`讓桶所有者能夠閱讀日誌。

SparkNodeAwsAttributes

AWS火花節點的特定屬性。

字段名	類型	描述
is_spot	`BOOL`	這個節點是否在Amazon現貨實例。

AwsAvailability

AWS可用性的集合類型設置為一個集群節點時的支持。

類型	描述
現貨	使用實例。
ON_DEMAND	使用隨需應變的實例。
SPOT_WITH_FALLBACK	最好使用現貨實例,但回落到按需實例如果無法獲得現貨實例(例如,如果AWS現貨價格太高)。

EbsVolumeType

磚支持gp2和gp3 EBS卷類型。按照說明在管理SSD存儲選擇gp2或gp3工作區。

類型	描述
GENERAL_PURPOSE_SSD	提供額外的存儲使用AWS EBS卷。
THROUGHPUT_OPTIMIZED_HDD	提供額外的存儲使用AWS相約卷。

MountInfo

配置網絡文件係統掛載

字段名	類型	描述
network_filesystem_info	NetworkFileSystemInfo	網絡文件係統對象定義參數。
remote_mount_dir_path	`字符串`	網絡文件係統中的目錄的位置。
local_mount_dir_path	`字符串`	掛載點火花的容器。

NetworkFileSystemInfo

網絡文件係統參數

字段名	類型	描述
server_address	`字符串`	網絡文件係統服務器的DNS名稱。
mount_options	`字符串`	一個以逗號分隔的選項通過mount命令。這個字段是可選的。