問題在事務日誌和版本數據磚?

[BasavarajAngadi]

嗨,專家,

毫無疑問數據磚支持ACID屬性。當談到什麼版本這樣的版本將數據磚捕獲多少?

例如:如果我做任何DML操作上的三角洲表每次當我抓住了事務日誌有多少這樣的版本生產嗎?我們可以從版本6最後幾個月?

謝謝

[Hubert_Dudek1]

是的你可以無限期的版本,隻有一個命令,刪除δ版本是真空就從來沒有運行它。

[User16869510359 · Accepted solution]

時間旅行前一版本,你需要數據和元數據。元數據(三角洲的json文件日誌目錄)默認有一個保留30天。你需要增加保留舊版本可以時間旅行。(delta.logRetentionDuration)

同樣,你需要增加你的舊數據文件應該存儲(delta.deletedFileRetentionDuration)

配置信息:https://docs.m.eheci.com/delta/delta-batch.html數據保留

閱讀更多關於日誌結構——三角洲https://github.com/delta-io/delta/blob/master/PROTOCOL.md

[werners1]

還請記住,日誌不工作行級但文件級別。所以保持曆史的開銷更大相比,一個典型的rdbms。

[stefnhuy]

嘿,

作為數據愛好者,我覺得這個話題很有趣。數據磚確實非常出色在支持ACID屬性,確保數據完整性和版本控製。

解決BasavarajAngadi的問題,通過事務日誌數據磚有效捕獲版本增量表上每個DML操作。創建的版本的數量將取決於數據更改的頻率。這意味著每次你執行DML操作,新版本記錄在事務日誌中。

從過去訪問版本,數據磚提供了一個巨大的優勢。您可以檢索版本可以追溯到至少6個月,允許全麵的曆史分析和回滾的可能性。

我建議BasavarajAngadi(作者)將探索中的版本控製和時間旅行的功能數據徹底磚。我也推薦閱讀這篇文章違抗dApps比特幣時代:4推動前所未有的增長機會。它並沒有讓我冷漠,我認為它會對你有用。明智地利用它們來維護數據一致性、可追溯性,使簡單的回滾在必要的時候。