你好,
在磚我執行一個簡單的工作,我得到以下錯誤。我增加了司機的大小仍然麵臨著同樣的問題。
火花配置:
從pyspark。sql進口SparkSession
spark_session = SparkSession.builder。瀏覽器名稱(“需求預測”). config (“spark.yarn.executor。memoryOverhead ", 2048) .getOrCreate ()
司機和工人-r5.2xlarge節點類型
10個工作節點。
錯誤日誌:
引起的:org.apache.spark.sql.execution。OutOfMemorySparkException:播放表的大小遠遠超過預期,超過極限spark.driver.maxResultSize = 4294967296。
嗨@Werner Stinckens,
我上麵的問題而編寫一個火花DF AWS S3的鑲花的文件。實際上不做任何廣播加入。
謝謝,
的孩子叫