取消
顯示的結果
而不是尋找
你的意思是:

三角洲表autooptimize vs優化命令

guruv
新的貢獻者三世

你好,

我有幾個三角洲表在Azure adls gen 2存儲賬戶運行磚運行時的7.3。隻有δ表上寫/讀操作,沒有更新/刪除。

作為釋放管道的一部分,執行下麵的命令在一個新的筆記本在工作區中一個新的集群

火花。sql(設置spark.databricks.delta.properties.defaults.autoOptimize.optimizeWrite = true;)火花。sql(“設置spark.databricks.delta.properties.defaults.autoOptimize.autoCompact = true;”)

我的應用程序的工作都觸發不同的筆記本和不同的集群。

問題:

  1. 高於autoOptimize足以有優化的δ表或我應該定期運行優化為每個表{表}。
  2. 有辦法驗證是否autoOptimize工作,因為當我在三角洲表,執行查詢運行優化提供建議嗎
5回複5

嗨@guruv,

@Werner Stinckens是正確的。自動優化將試圖在每個分區中創建128 MB的文件。另一方麵,明確優化將壓縮和創建文件的1 GB(默認值)。您可以自定義默認值根據您的用例。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map