原因:遠程RPC客戶端沒有關聯的。可能由於容器超過閾值,或網絡問題。檢查驅動程序日誌來警告消息。司機加亮

[naveenreddy1]

我們使用磚3節點集群32 GB的內存。它工作正常,但有時它會自動把錯誤:遠程RPC客戶端沒有關聯的。可能由於容器超過閾值,或網絡問題。

[shyam_9]

嗨@naveen reddy

如果你有3個節點32 GB內存指定每個你剛剛30 GB的一切,不同的開銷加起來迅速而完全有可能,這是太少,占用內存的執行人被殺死。

嚐試使用類似24 GB /節點或者隻是玩玩的值。

[naveenreddy1]

我已經試著增加和減少內存,仍然沒有運氣。

[RodrigoDe_Freit]

如果你的工作不遵循這個:

根據https://docs.m.eheci.com/jobs.html jar-job-tips:

“工作輸出,如日誌輸出發送到stdout, 20 mb的大小限製。如果總輸出大,運行將被取消,標記為失敗了。”

這是我的問題,“修複它”我剛剛將日誌級別設置為錯誤 val sc = SparkContext.getOrCreate(配置)sc.setLogLevel(“錯誤”) 這個方法適合我 我仍然得到這個錯誤消息但成功運行的工作

我希望這有助於