火花司機內存不足的問題

[chandan_a_v]

你好,

在磚我執行一個簡單的工作,我得到以下錯誤。我增加了司機的大小仍然麵臨著同樣的問題。

火花配置:

從pyspark。sql進口SparkSession

spark_session = SparkSession.builder。瀏覽器名稱(“需求預測”). config (“spark.yarn.executor。memoryOverhead ", 2048) .getOrCreate ()

司機和工人-r5.2xlarge節點類型

10個工作節點。

錯誤日誌:

引起的:org.apache.spark.sql.execution。OutOfMemorySparkException:播放表的大小遠遠超過預期,超過極限spark.driver.maxResultSize = 4294967296。

[werners1]

休伯特說過:你不應該創建一個火花會話在磚上,它提供了。

事實上你不手動廣播使我認為使用broadcastjoin火花。

有一個KB的問題:

https://kb.m.eheci.com/sql/bchashjoin-exceeds-bcjointhreshold-oom.html

你能檢查它是否適用嗎?

[Kaniz]

嗨@Chandan Angadi,隻是一個友好的後續。你還需要幫助,還是@Hubert杜德克(客戶)和@Werner Stinckens的反應幫助你找到解決方案了嗎?請讓我們知道。

[chandan_a_v · Accepted solution]

嗨@Kaniz開羅,

切換運行時版本10.4固定這個問題對我來說。

謝謝,

的孩子叫