取消
顯示的結果
而不是尋找
你的意思是:

配置工作使用一個集群實例到多個工作

alejandrofm
價值貢獻

這就跟你問聲好!我有幾個小並行運行的工作,我希望他們在同一集群上運行:

——任務類型Python腳本:我發送這樣的參數運行pyspark腳本。

——工作計算集群創建UI)(複製JSON數據磚工作

我怎樣才能實現,如果我發送5的工作他們都運行在相同的實例集群而不是實例5集群?

{“num_workers”: 2,“cluster_name”:“”,“spark_version”:“12.2.x-scala2.12”、“spark_conf”: {},“aws_attributes”: {“first_on_demand”: 1、“可用性”:“SPOT_WITH_FALLBACK”、“zone_id”:“us-east-1d”、“instance_profile_arn”:“xxxx”、“spot_bid_price_percent”: 80年,“ebs_volume_type”:“GENERAL_PURPOSE_SSD”、“ebs_volume_count”: 1、“ebs_volume_size”: 100},“node_type_id”:“c5.2xlarge”、“driver_node_type_id”:“m5a。大”、“ssh_public_keys”: [],“spark_env_vars ": {},“enable_elastic_disk”:假的,”cluster_source”:“工作”、“init_scripts”: [],“data_security_mode”:“沒有一個”}

謝謝!

1接受解決方案

接受的解決方案

KoenZandvliet
新的貢獻者二世

不幸的是,集群並行運行多個作業使用單一工作不支持(還)。新磚的可能性創造工作,協調多個崗位。然而這些工作將仍然使用自己的集群(配置)。

在實例化的時候一個集群需要更長的時間比執行一個實際的工作,你可以考慮使用“通用”集群。取決於你的用例也可以重寫/配置5工作到一個5的工作任務。

在原帖子查看解決方案

1回複1

KoenZandvliet
新的貢獻者二世

不幸的是,集群並行運行多個作業使用單一工作不支持(還)。新磚的可能性創造工作,協調多個崗位。然而這些工作將仍然使用自己的集群(配置)。

在實例化的時候一個集群需要更長的時間比執行一個實際的工作,你可以考慮使用“通用”集群。取決於你的用例也可以重寫/配置5工作到一個5的工作任務。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map