將真空刪除以前的文件夾as_of_date每一天如果我們z值的數據嗎?

[卡什]

你好,

我有可怕的經曆吸塵表過去和丟失大量的數據,所以我想確認一些事情關於吸塵和z值。

背景:

每天我們運行一個ETL作業附加數據表中按日期並將數據存儲在S3 (as_of_date)。

當我們優化z順序與as_of_date =當前日期。這個優化和z值的數據文件夾我們剛剛寫幾十雙文件夾的大小。

問題:

1。我們應該真空吸塵器?每一天嗎?

2 -如果我們真空將它刪除以前的as_of_date文件夾在S3中今天的as_of_date由於當前版本是?

3 -我們應該對where子句不優化?

提前感謝你的幫助。它看起來不像有人問這個問題。

[Hubert_Dudek1]

• 如果你添加數據分區的文件夾,日期,然後是合理優化,文件夾(所以,等於附加日期),但是如果不分區,我將跳過選項,
• 真空清洗的曆史表中。所以你可以調整保存期。在某些情況下,如銅數據,我天天真空保持0,但至關重要的數據,尤其是數據在某些規定,不能真空。所以每個案例都可以不同。

[Vidula_Khanna]

嗨@Avkash假名

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳嗎?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!