遺囑執行人心跳超時

[娜迪婭]

你好,我想讀表位於Postgreqsl,包含2800萬行。我有以下結果:

“SparkException:工作階段失敗而終止:任務0階段0.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 0.0 (TID 3)(10.139.64.6執行人3):ExecutorLostFailure(執行人3退出正在運行的任務之一所致)原因:遺囑執行人心跳161734毫秒後超時”

你能幫我嗎?

謝謝

[Prabakar · Accepted solution]

這可能是由於兩個原因,可伸縮性或超時。

可伸縮性——你可以考慮增加節點類型。

超時,您可以設置以下集群中的火花配置。

spark.executor。heartbeatInterval 300年代

spark.network.timeout 320年代

[jose_gonzalez]

嗨@Boumaza納迪亞,

你是否檢查了執行人3日誌集群時活躍?如果再次得到這個錯誤消息,我會強烈推薦檢查執行者的日誌可以肯定的是這個問題的原因是什麼。