工作失敗後運行時升級

[NicolasEscobar]

我有工作在磚運行時的7.3 LTS運行沒有問題。當我升級到8.3失敗錯誤從一個UDF是拋出一個異常:“pyspark.serializers.SerializationError”……SparkContext應該隻被創建和訪問驅動程序

我在筆記本上用applyInPandas施加一個UDF每組。在這個UDF我把數據從雪花利用火花會話(spark.read.format(…))我明白失敗的原因。

我的問題是,為什麼它在7.3 LTS工作現在不工作嗎?改變了什麼?

謝謝,

[Kaniz]

你好@NicolasEscobar!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將與我的團隊跟進,盡快給你回電。謝謝。

[shan_chandra]

@Nicolas Escobar——你能分享完整的錯誤堆棧跟蹤嗎?

[User16763506586 · Accepted solution]

dbr - 8.3版本裏使用火花。按遷移向導默認情況下限製使用SparkContext在遺囑執行人。你可以使它通過使用spark.executor.allowSparkContext

在火花3.0及以下,可以創建SparkContext執行人。自3.1火花,會拋出一個異常,當創建SparkContext執行人。你可以通過設置允許配置spark.executor。allowSparkContext當創建SparkContext執行人。

[sean_owen]

澄清一點火花,你永遠不能使用SparkContext或SparkSession內任務/ UDF。這一直是正確的。如果它工作,這是因為你不小心發送SparkContext因為它在代碼中被捕,但我猜你從未試圖使用它。它就失敗了。現在隻是失敗。

真正的解決方案是改變你的代碼不不小心抓住SparkContext或SparkSession UDF。