你好!我試圖理解時間旅行特性。我看到用“曆史描述”命令,所有的交易曆史記錄的特定的表版本和時間戳。但是,我明白這占據了大量的存儲特別是每天更新一個表。有辦法刪除曆史或減少停留時間?什麼是最小和最大停留時間可以有時間旅行?我試著以下命令,但“曆史描述”沒有帶來不同的結果。
ALTER TABLE table_name
設置TBLPROPERTIES(δ。logRetentionDuration ' = '間隔1小時”、“delta.deletedFileRetentionDuration ' = '間隔1小時)
真空table_name
你差不多了。從幫助頁麵:
三角洲湖有一個安全檢查防止你運行一個危險
真空命令。如果你確定沒有這個表上執行的操作,需要更長的時間比保留你計劃指定的時間間隔,你可以關掉這個安全檢查通過設置引發配置屬性
spark.databricks.delta.retentionDurationCheck.enabled為假。
另外:
建議您設置一個保留間隔至少7天,因為舊的快照和未提交的文件仍然可以使用並發讀者或作者。如果
真空清理活動文件,並發的讀者可能會失敗,或者更糟的是,表時可以損壞
真空刪除尚未提交的文件。你必須選擇一個時間間隔較長時間最長的並發事務和最長的時期,任何流可以落後於最新更新表。