時間旅行前一版本,你需要數據和元數據。元數據(三角洲的json文件日誌目錄)默認有一個保留30天。你需要增加保留舊版本可以時間旅行。(delta.logRetentionDuration)
同樣,你需要增加你的舊數據文件應該存儲(delta.deletedFileRetentionDuration)
配置信息:https://docs.m.eheci.com/delta/delta-batch.html數據保留
閱讀更多關於日誌結構——三角洲https://github.com/delta-io/delta/blob/master/PROTOCOL.md
時間旅行前一版本,你需要數據和元數據。元數據(三角洲的json文件日誌目錄)默認有一個保留30天。你需要增加保留舊版本可以時間旅行。(delta.logRetentionDuration)
同樣,你需要增加你的舊數據文件應該存儲(delta.deletedFileRetentionDuration)
配置信息:https://docs.m.eheci.com/delta/delta-batch.html數據保留
閱讀更多關於日誌結構——三角洲https://github.com/delta-io/delta/blob/master/PROTOCOL.md
嘿,
作為數據愛好者,我覺得這個話題很有趣。數據磚確實非常出色在支持ACID屬性,確保數據完整性和版本控製。
解決BasavarajAngadi的問題,通過事務日誌數據磚有效捕獲版本增量表上每個DML操作。創建的版本的數量將取決於數據更改的頻率。這意味著每次你執行DML操作,新版本記錄在事務日誌中。
從過去訪問版本,數據磚提供了一個巨大的優勢。您可以檢索版本可以追溯到至少6個月,允許全麵的曆史分析和回滾的可能性。
我建議BasavarajAngadi(作者)將探索中的版本控製和時間旅行的功能數據徹底磚。我也推薦閱讀這篇文章違抗dApps比特幣時代:4推動前所未有的增長機會。它並沒有讓我冷漠,我認為它會對你有用。明智地利用它們來維護數據一致性、可追溯性,使簡單的回滾在必要的時候。