取消
顯示的結果
而不是尋找
你的意思是:

表屬性delta.logRetentionDuration的功能

Priyanka48
新的貢獻者三世

我們有一個項目要求必須為三角洲表存儲隻有14天的曆史。對於測試,我已經設置了三角洲。logRetentionDuration= 2 days using the below command

火花。sql (“alter table三角洲。“[delta_file_path]”設置TBLPROPERTIES(“三角洲。logRetentionDuration ' = '間隔2天')”)

然而,我試過在特定的間隔,即。,(after two days) I can still time travel back to previous versions. Do we need to run Vacuum after setting this property, or it works only for >30 days?

我能得到幫助嗎?

同時,將它刪除數據文件或日誌文件隻會被刪除嗎?

5回複5

UmaMahesh1
尊敬的貢獻者三世

嗨@Priyanka鬃毛,

快速筆記:

你需要這兩個日誌和數據文件穿越到以前的版本。

真空——不會刪除日誌文件。它隻刪除數據文件,不會自動刪除,除非你運行真空。日誌文件自動清理後新的檢查點。

logRetentionDuration每次寫一個檢查站,磚自動清理日誌條目超過保留時間間隔。在你的情況下,寫一個新的檢查點時,清空日誌2天以上。一旦這一切發生的時候,你不能做時間旅行日誌文件版本現在不可用。

和刪除數據文件相關的日誌,你必須運行一個真空,沒有其他方法來刪除數據。

logRetentionDuration需要任何日曆間隔像x天,周等數月乃至數年不接受。

最後,所有這些隻能幫助當你正在做一個新事務,所以有一個新的logretentionduration檢查點。

我希望這些細節的幫助。

歡呼。

Priyanka48
新的貢獻者三世

謝謝你的建議。我有設置日誌保留時間為2天,2天後我執行一個事務。它沒有刪除舊的日誌,我可以時間旅行回到以前的版本

UmaMahesh1
尊敬的貢獻者三世

為你添加一些博客閱讀. .

https://mungingdata.com/delta-lake/vacuum-command/

youtube.com/watch?v=F91G4RoA8is

https://docs.m.eheci.com/delta/history.html

werners1
尊敬的貢獻者三世

嗨,默認啟用安全間隔。如果你設置一個retentionperiod低於間隔(7天),數據時間間隔不會被刪除。

你必須specificall覆蓋這個安全間隔設置

spark.databricks.delta.retentionDurationCheck.enabled為假。

然後真空和數據將會消失。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map