三角洲表autooptimize vs優化命令

[guruv]

你好,

我有幾個三角洲表在Azure adls gen 2存儲賬戶運行磚運行時的7.3。隻有δ表上寫/讀操作,沒有更新/刪除。

作為釋放管道的一部分,執行下麵的命令在一個新的筆記本在工作區中一個新的集群

火花。sql(設置spark.databricks.delta.properties.defaults.autoOptimize.optimizeWrite = true;)火花。sql(“設置spark.databricks.delta.properties.defaults.autoOptimize.autoCompact = true;”)

我的應用程序的工作都觸發不同的筆記本和不同的集群。

問題:

1. 高於autoOptimize足以有優化的δ表或我應該定期運行優化為每個表{表}。
2. 有辦法驗證是否autoOptimize工作,因為當我在三角洲表,執行查詢運行優化提供建議嗎

[jose_gonzalez]

嗨@guruv,

@Werner Stinckens是正確的。自動優化將試圖在每個分區中創建128 MB的文件。另一方麵,明確優化將壓縮和創建文件的1 GB(默認值)。您可以自定義默認值根據您的用例。