工作與多任務失敗重試;如何解決這個問題?

[骰子遊戲]

你好,

這是我們平台問題“磚運行時的11.3 LTS”。Beplay体育安卓版本

我運行的工作/ /使用共享集群中的多個任務。

每個任務運行專用的scala類JAR庫中的附加依賴項。

相關任務失敗之一(代碼錯誤),按預期執行重試。不幸的是,這種不斷重試失敗,並顯示以下錯誤消息:

命令——1:1:錯誤:未找到:價值fakepackage fakepackage.fakenamespace.fakeclass.main(數組(“environmentCode =值”、“silverPath = s3a: / / silverPath”、“goldPath = s3a: / / goldPath /”)

它不工作開始時失敗;問題隻發生如果有重試。

以前,我是獨立運行這些任務與任務級別的任務/工作(1)集群和重試工作好。

有一個問題在磚將JAR庫共享集群?(不是一個問題,因為我有一個全新的集群重試?)

謝謝你的幫助。

附加是創造的工作崗位的JSON API 2.1。

[Hubert_Dudek1 · Accepted solution]

重試失敗是因為jar庫沒有響應。你需要殺了它在集群上它發生後或重新啟動集群。

[骰子遊戲]

謝謝你的人;這是有用的。

今天早上我們有一個更新的錯誤消息;仍然與共享集群任務重試。(錯誤)

你意味著一個jar庫可以響應(這不是一個過程呢?),我們將不得不手動殺嗎?我希望自動重試處理它……看起來像一個磚bug @Hubert杜德克

你的解釋證實了我們觀察到的正常工作沒有共簇(1專用集群/任務)。與任務級別的集群,它完全重新啟動。

然而,我們想保持共簇的使用多個任務。(1)集群每個任務沒有意義在我們的用例)

運行結果不可用:工作失敗與錯誤消息庫安裝失敗的庫jar由於用戶錯誤:“dbfs: / / jarFileName共享。jar”。錯誤消息:圖書館集群安裝失敗以來等待10分鍾後進入運行狀態。錯誤代碼:SPARK_CONTEXT_MISMATCH_FAILURE。不能將圖書館集群安裝狀態(0113 - 010003 - id)。這可能發生,如果司機最近重新啟動或終止