取消
顯示的結果
而不是尋找
你的意思是:

優化調整分區

匿名
不適用

的最佳實踐優化配置”autoOptimizeShuffle洗牌分區。啟用”?我看這不是默認開啟。這是為什麼呢?

1接受解決方案

接受的解決方案

sajith_appukutt
尊敬的貢獻者二世

AQE (默認啟用從7.3 LTS +起)調整洗牌分區號自動查詢的每個階段,基於map-side洗牌的大小輸出。所以隨著數據規模的增長或萎縮在不同階段,任務量將保持大致相同,既不太大也不太小。

然而,今天不會自動設置map-side分區號。因此建議設置初始洗牌分區號通過SQL配置spark.sql.shuffle.partitions。現在磚有特色的“自動最優化洗牌”(spark.databricks.adaptive.autoOptimizeShuffle.enabled)自動化需要手動設置。對於絕大多數的用例,啟用這個自動模式就足夠了。但是,如果你想調整你可以設置spark.sql.shuffle。手動分區。

在原帖子查看解決方案

1回複1

sajith_appukutt
尊敬的貢獻者二世

AQE (默認啟用從7.3 LTS +起)調整洗牌分區號自動查詢的每個階段,基於map-side洗牌的大小輸出。所以隨著數據規模的增長或萎縮在不同階段,任務量將保持大致相同,既不太大也不太小。

然而,今天不會自動設置map-side分區號。因此建議設置初始洗牌分區號通過SQL配置spark.sql.shuffle.partitions。現在磚有特色的“自動最優化洗牌”(spark.databricks.adaptive.autoOptimizeShuffle.enabled)自動化需要手動設置。對於絕大多數的用例,啟用這個自動模式就足夠了。但是,如果你想調整你可以設置spark.sql.shuffle。手動分區。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map