優化操作,大幅增加numRemovedFiles / numRemovedBytes numAddedFiles / numAddedBytes

[khh2023]

你好,

我有一個每天為三角洲表加載過程,優化表的最後一步。優化操作使用約5分鍾,但現在需要大約3.5小時。我注意到從描述曆史的一件事就是operationMetrics捕獲一些增加numRemovedFiles / numRemovedBytes / numAddedFiles / numAddedBytes(下麵用紅色突出顯示)。

我查看了源文件,類似的大小。我想知道我應該看什麼導致了增加numRemovedFiles / numRemovedBytes numAddedFiles / numAddedBytes嗎?

謝謝你！

[User16869509900]

這是最有可能的,因為多個文件成為了壓實合格(優化)。默認情況下是有限度的50個文件每個分區,分區不符合優化的下麵。隻有有50 +文件在一個分區的文件分區優化操作。可能最近有每個分區的新文件數量激增,使大多數分區有50 +文件和通過它可以收到更多數量的文件,有資格獲得優化操作。可能是增加數量的文件/數據量最近(即使單個文件大小是相同的)。這也是這可能發生的原因之一。您可以檢查文件數量,最近添加到驗證這一點。