很多寫優化+ ZORDER洗牌,這是正常的嗎?

[alejandrofm]

這就跟你問聲好！我優化幾Tb的數據分區ZSTD 9級。

令我吃驚的程度慢慢寫,它可能是有意義的,因為ZORDER但我想確保我不是少了什麼,這裏有一些背景:

我可以不見了或者這是預期的行為嗎?

謝謝!

- - - - -編輯- - - - -

也很多計算“局部性”=

[匿名 · Accepted solution]

@Alejandro馬丁內斯:

是正常的高水平的洗牌的時候寫優化使用ZORDER分區的數據。ZORDER是一種優化技術,重整每個分區內的數據根據指定的列或列的值。這有助於提高特定查詢的性能,但它需要的數據是在優化過程中轉來轉去。

洗牌的數量寫可以依賴等因素分區的數量,大小的數據,用於ZORDER列的數量。一般來說,更多的數據被轉來轉去,洗牌寫你會看到。

對於高水平的“局部性”=任何計算,這意味著任務被安排在任何可用的工人集群中的節點,不管他們的物理位置。這可能是一件好事,因為它允許更好地利用資源,但它可能導致更高的網絡流量和較慢的性能如果跨節點需要傳輸的數據。

總的來說,似乎行為時,你看到的是預期使用ZORDER優化分區數據。然而,如果你正在經曆的性能問題,您可能想要嚐試不同的優化技術或分區方案是否可以提高查詢的性能。

[Vidula_Khanna]

嗨@Alejandro馬丁內斯

謝謝你發布你的問題在我們的社區!我們很高興幫助你。

幫助我們為您提供最準確的信息,請您花一些時間來回顧反應和選擇一個最好的回答了你的問題嗎?

這也將有助於其他社區成員可能也有類似的問題在未來。謝謝你的參與,讓我們知道如果你需要任何進一步的援助!