第一次運行緩慢,基於jar的工作

[User16783852686]

在運行jar的工作時,我注意到第一運行總是需要額外的時間來完成自己的任務,連續運行花更少的時間完成這項工作。一個交互式集群上這種行為是可再生的。是什麼導致了這個呢?這是預期的嗎?

[Kaniz]

你好@布萊德!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將與我的團隊跟進,盡快給你回電。謝謝。

[User16763506586]

嗨@Brad巴克

jar任務依賴關係嗎?。你能精心製作的這罐工作呢?。

[werners1]

也許的加載jar需要一些時間?當你重新運行它的時候,它可能已經存在。

想在這裏大聲。

[DD_Sharma · Accepted solution]

嗨@Brad巴克,在第一次運行時jar的工作第一工作/任務開始執行程序獲取jar /圖書館從司機到執行人。需要一些時間,但在第二次運行或任何連續運行時,將沒有提取操作所有連續運行需要更少的時間來完成這項工作比1日運行。這是預期行為。

整體可能有其他原因工作緩慢像網絡緩慢,大型圖書館,更多的輸入數據。但在理想的場景中,1日運行(在集群啟動)船庫與第一個任務執行人,我們可能會看到幾秒鍾/分鍾的緩慢(基於庫)的數量和大小。