表屬性delta.logRetentionDuration的功能

[Priyanka48]

我們有一個項目要求必須為三角洲表存儲隻有14天的曆史。對於測試,我已經設置了三角洲。logRetentionDuration= 2 days using the below command

火花。sql (“alter table三角洲。“[delta_file_path]”設置TBLPROPERTIES(“三角洲。logRetentionDuration ' = '間隔2天')”)

然而,我試過在特定的間隔,即。,(after two days) I can still time travel back to previous versions. Do we need to run Vacuum after setting this property, or it works only for >30 days?

我能得到幫助嗎?

同時,將它刪除數據文件或日誌文件隻會被刪除嗎?

[UmaMahesh1]

嗨@Priyanka鬃毛,

快速筆記:

你需要這兩個日誌和數據文件穿越到以前的版本。

真空——不會刪除日誌文件。它隻刪除數據文件,不會自動刪除,除非你運行真空。日誌文件自動清理後新的檢查點。

logRetentionDuration每次寫一個檢查站,磚自動清理日誌條目超過保留時間間隔。在你的情況下,寫一個新的檢查點時,清空日誌2天以上。一旦這一切發生的時候,你不能做時間旅行日誌文件版本現在不可用。

和刪除數據文件相關的日誌,你必須運行一個真空,沒有其他方法來刪除數據。

logRetentionDuration需要任何日曆間隔像x天,周等數月乃至數年不接受。

最後,所有這些隻能幫助當你正在做一個新事務,所以有一個新的logretentionduration檢查點。

我希望這些細節的幫助。

歡呼。

[Priyanka48]

謝謝你的建議。我有設置日誌保留時間為2天,2天後我執行一個事務。它沒有刪除舊的日誌,我可以時間旅行回到以前的版本

[UmaMahesh1]

為你添加一些博客閱讀. .

https://mungingdata.com/delta-lake/vacuum-command/

youtube.com/watch?v=F91G4RoA8is

https://docs.m.eheci.com/delta/history.html

[werners1]

嗨,默認啟用安全間隔。如果你設置一個retentionperiod低於間隔(7天),數據時間間隔不會被刪除。

你必須specificall覆蓋這個安全間隔設置

spark.databricks.delta.retentionDurationCheck.enabled為假。

然後真空和數據將會消失。