工作失敗,但是Apache火花任務完成

你的工作失敗,但是所有的Apache火花任務成功完成。您正在使用spark.stop()或system . exit(0)在您的代碼中。

寫的harikrishnan.kunhumveettil

去年發表在:2022年5月10日

問題

磚的工作報告失敗的狀態,但所有火花已經成功完成工作和任務。

導致

你有明確的叫spark.stop ()或system . exit (0)在您的代碼中。

如果這些被稱為,火花上下文是停止,但優雅的關閉和握手與磚的工作服務不會發生。

解決方案

不叫spark.stop ()或system . exit (0)在火花磚集群上運行的代碼。