取消
顯示的結果
而不是尋找
你的意思是:

為什麼沒有我的job-cluster縮小嗎?

804925年
新的貢獻者二世

你好,

Databricks-AWS上運行,我有一個工作一個集群上運行3個工人,每個(r6i.large),是雙核啟用自動定量

火花的工作有兩個階段:

(1)高度並行的,cpu密集型階段。這個階段需要15分鍾。

(2)non-parallelizable階段(隻有一個分區,所以星星之火任務)。這個階段需要45分鍾。

在第一階段,集群規模從1職工3和3工人充分利用了(6芯)階段的持續時間(15分鍾)。然後在第二階段,隻有一個工作節點活躍整個45分鍾,但磚不縮小我和集群有兩個節點完全閑置了45分鍾。

知道這是為什麼,我如何可以利用自動定量更成本有效的這種類型的工作?

謝謝!

1回複1

Vidula_Khanna
主持人
主持人

嗨@Yoav本

很高興認識你,謝謝你的問題!

看看你的同行在社區中有一個回答你的問題。謝謝。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map