org.apache.http.conn。ConnectTimeoutException:這是什麼意思和如何解決它。

[cmilligan]

我的團隊遇到了讓這個錯誤很經常在我們的一個大的工作。我重試政策設置為5,似乎是個解決問題的辦法和保持工作。它似乎不能立即接任務,但完成之後的一些其他任務同時運行。

我們分享我們的集群作為一個更大的團隊和工作運行不斷,但這似乎是唯一一個這樣失敗。有什麼我們能做的來解決這個錯誤呢?

[Aviral-Bhardwaj · Accepted solution]

嘿,@Coleman Milligan,

我也多次遇到這種類型的問題

你可以添加以下配置集群,它應該工作。

spark.executor。heartbeatInterval 60年代

spark.network.timeout 120年代

對於更多的細節,您可以探索這個文檔https://spark.apache.org/docs/latest/configuration.html

你會得到所有上述2配置的詳細信息

如果你喜歡我的答案,請選擇為最佳答案,upvote它

謝謝

Aviral Bhardwaj