取消
顯示的結果
而不是尋找
你的意思是:

理解文件保留與真空

User16783853906
因素二世

我見過幾個實例,用戶報告說他們過去一周運行優化的數據和他們遵循的真空與保留168小時(例如),舊的文件不被刪除,“真空不是從表中刪除舊文件位置”。

1回複1

Priyanka_Biswas
新的貢獻者三世
新的貢獻者三世

你好@Venkatesh Kottapalli

真空從表中刪除所有文件目錄,並不是由三角洲,以及數據文件,不再在最新狀態的事務日誌表,保留閾值以上。

真空將跳過所有的目錄開始一個下劃線(_),其中包括_delta_log。

真空。默認間隔1周。當你刪除三角洲表或刪除數據文件,它們從底層_delta_log刪除(就像一個蜂巢metastore),而不是從實際文件係統。他們從文件係統中刪除隻運行真空命令時,或者當停留時間到期。這個屬性決定了數據文件保留多久後會被刪除掉。

%的sql

改變表的表名

設置TBLPROPERTIES (' delta.deletedFileRetentionDuration =“7天”,)

您可以刪除文件不再引用的三角洲表和保留閾值以上的運行真空命令放在桌子上。

裁判:

https://docs.m.eheci.com/delta/vacuum.html

https://docs.m.eheci.com/sql/language-manual/delta-vacuum.html

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map