我試圖創建一個畫麵場景服務器上提取與連接磚大的sql倉庫。由於spark.driver提取過程失敗。maxResultSize錯誤。
使用磚互動集群數據科學與工程工作空間,我可以編輯配置改變spark.driver火花。maxResultSize並解決這個錯誤。
有辦法改變spark.driver。maxResultSize磚sql的倉庫?
有辦法減少收集的數據的大小?全表選擇是987 MB,但是當sql倉庫試圖閱讀> >收集發送表收集過程導致超過32 gb。
任何其他想法如何解決?我有一群患有這種spark.driver表提取工藝。maxResultSize錯誤。
司機的錯誤消息:
. lang。RuntimeException(辛巴):從服務器(哈代)(35)錯誤:錯誤代碼:“0”錯誤信息:“錯誤運行查詢:org.apache.spark。SparkException:工作階段失敗而終止:序列化結果的總規模196 (32.8 GB)大於spark.driver任務。maxResultSize (32.0 GB)”。
spark.driver。maxResultSize不支持參數的SQL倉庫https://docs.m.eheci.com/sql/language-manual/sql-ref-parameters.html
也許這可以添加到路線圖,或BI集成要求select *或全部收集sql操作不同的倉庫嗎?