執行spark-submit工作通過磚cli使用以下配置工作。
{“job_id”: 123年,“creator_user_name”:“* * * * * *”、“run_as_user_name”:“* * * * * *”、“run_as_owner”:真的,“設置”:{“名稱”:“44 aa - 8447 c123aad310”,“email_notifications”: {},“max_concurrent_runs”: 1、“任務”:[{“task_key”:“4節aa - 8447 c90aad310”,“spark_submit_task”:{“參數”:[”——driver-memory 3 g”,“——executor-memory 3 g”,“——相依”,“spark.hadoop.mapreduce.fileoutputcommitter.algorithm。版本= 2”、“配置”、“火花。投機= false”、“配置”、“——spark.sql.parquet.fs.optimized.committer.optimization-enabled = true”、“配置”、“——spark.executorEnv.JAVA_HOME = / usr / lib / jvm / jdk-11.0.1”、“配置”、“spark.executor——。實例= 3”、“配置”、“spark.network.timeout =——600年代”、“設計”、“spark.yarn.appMasterEnv.JAVA_HOME = / usr / lib / jvm / jdk-11.0.1”、“配置”、“spark.driver——。maxResultSize = 1 g”、“配置”、“spark.yarn。maxAppAttempts = 1”、“——瓶”、“/ home / hadoop / somejar.jar、/ home / hadoop / somejar2。jar”、“——類”、“we.databricks.some.path。ER”、“/ home / hadoop / some-jar-SNAPSHOT。jar”、“* * * * * *的new_cluster“]}: {“spark_version”:“10.4.x-scala2.12”、“spark_conf”: {“spark.databricks.delta.preview.enabled”:“真正的”,“spark.hadoop.fs.azure.account。關鍵”:“* * * * * *“}”node_type_id”:“Standard_DS3_v2”、“custom_tags ":{“應用程序”:“* * * * * *”、“名稱”:“* * * * * *”,“環境”:“* * * * * *”、“老板”:“* * * * * *”、“CURRENT_VERSION”:“1.20.0-ab6303d9d”},“cluster_log_conf ": {" dbfs ":{“目的地”:“* * * * * *”}},“spark_env_vars ":{“環境”:“* * * * * *”、“AZURE_ACCOUNT_KEY”:“* * * * * *”、“AZURE_ACCOUNT_NAME”:“* * * * * *”、“PYSPARK_PYTHON”:“磚/ python3 / bin / python3”、“JNAME”:“zulu11-ca-amd64”、“AZURE_CONTAINER_NAME”:“* * * * * *”},“enable_elastic_disk”:真的,”init_scripts”: [{“abfss”:{“目的地”:“* * * * * *”}}],“num_workers”: 3},“timeout_seconds”: 0}],“格式”:“MULTI_TASK created_time“},: 1662096418457}
但這給了錯誤引發提交。錯誤:無法識別的選擇:——executor-memory 3 g
