OPTIMZE ZOrder不產生影響

[災區]

你好,

最近我麵臨著一個奇怪的行為後OPTIMZE ZOrder命令。一個大表(400緒。行)我執行優化命令ZOrder 3列。然而,似乎命令沒有任何影響和命令不做任何事。看著桌子上曆史,我還不能找到一個新的優化操作。曆史上我可以看到,表優化沒有ZOrder幾個月前。但我希望,優化與ZOrder會引發了一些文件優化。你有什麼主意嗎?我忽略了什麼嗎?

提前謝謝。

[災區]

@Tharun-Kumar謝謝你的信息。我不知道這個配置參數。

我將檢查這個。

謝謝你！

[災區]

我有測試和設置配置:spark.conf.set (“spark.databricks.delta.optimize.preserveInsertionOrder”,假)。不幸的是,仍然沒有過程的優化ZORDER任何東西。

…

totalConsideredFiles: 2137
totalFilesSkipped: 2137

…

[youssefmrini]

你有幾個潛在的原因優化ZORDER命令不得有任何影響你的表:

1. 現有的數據文件可能已經優化排序基於ZOrder和/或列排序。

如果數據已經優化基於ZOrder和列排序,優化ZORDER命令將沒有任何效果。你可以檢查文件部分表的細節,看看文件或文件大小的數量優化後改變了。

1. ZOrder列可能沒有足夠的基數。

ZOrder優化是有效的,列用於ZOrder應該高基數,這意味著可能的不同值的數量列應該大。如果基數很低,那麼數據可能不是最優分布到優化後的文件。

1. 的優化ZORDER命令可能會失敗。

檢查如果優化命令失敗,你可以尋找任何集群日誌中的錯誤消息或使用描述曆史命令查看的曆史表,看看是否有任何故障或問題與優化。

確保您使用的是磚運行時版本6.4或更高版本,因為優化ZORDER命令是在這個版本中引入的。

你也可以嚐試再次運行命令和檢查日誌對於任何錯誤消息或接觸磚支持進一步的幫助。

我希望會有幫助!如果你有任何其他問題,請讓我知道。