文件優化為三角洲表(版本管理和快照)存儲S3

[vinaykumar]

三角洲表為每一個插入或更新表生成新文件並保持舊版本文件版本控製和時間旅行的曆史。

我有當δ1 tb數據表,每30分鍾,90%的數據得到更新文件的大小會增加成倍增長。

有什麼方法來優化存儲大小(要保持1周時間旅行曆史也)

[ajaypanday6781]

嗨@vinay kumar,

您可以使用partitionBy()為數據分區的數據幫助你跳過並使用真空從三角洲刪除舊的曆史表中。

[vinaykumar]

是的,但是partitionBy將幫助在某種程度上跳過新文件創建,但允許承擔90%的數據更新在每個負載和也想讓時間旅行的曆史。

[Vidula_Khanna]

嗨@vinay庫馬爾

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!