取消
顯示的結果
而不是尋找
你的意思是:

火花司機內存不足的問題

chandan_a_v
價值貢獻

你好,

在磚我執行一個簡單的工作,我得到以下錯誤。我增加了司機的大小仍然麵臨著同樣的問題。

火花配置:

從pyspark。sql進口SparkSession

spark_session = SparkSession.builder。瀏覽器名稱(“需求預測”). config (“spark.yarn.executor。memoryOverhead ", 2048) .getOrCreate ()

司機和工人-r5.2xlarge節點類型

10個工作節點。

錯誤日誌:

引起的:org.apache.spark.sql.execution。OutOfMemorySparkException:播放表的大小遠遠超過預期,超過極限spark.driver.maxResultSize = 4294967296。

1接受解決方案

接受的解決方案

嗨@Kaniz開羅,

切換運行時版本10.4固定這個問題對我來說。

謝謝,

的孩子叫

在原帖子查看解決方案

7回複7

werners1
尊敬的貢獻者三世

查看錯誤消息你要廣播一個大桌子。刪除廣播聲明大桌子,你會沒事的。

嗨@Werner Stinckens,

我上麵的問題而編寫一個火花DF AWS S3的鑲花的文件。實際上不做任何廣播加入。

謝謝,

的孩子叫

Hubert_Dudek1
尊敬的貢獻者三世

在我看來在磚上,您不需要指定(spark_session = SparkSession.builder。瀏覽器名稱(“需求預測”). config (“spark.yarn.executor。memoryOverhead ", 2048) .getOrCreate ()) and rest is as @Werner Stinckens said

chandan_a_v
價值貢獻

我上麵的問題而編寫一個火花DF AWS S3的鑲花的文件。實際上不做任何廣播加入。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map