我們如何管理數據近因在磚嗎

[User16826994223]

我想知道如何在磚磚維護數據的時效性

[sajith_appukutt]

在磚在使用增量表,你有δ緩存的優勢加速數據讀取通過創建遠程文件的副本節點的本地存儲中間數據格式使用快。每個查詢三角洲初表自動升級到最新版本——這種方式數據總是最新的。

然而,如果是可以接受的結果為短時間內失效的時候,你可能會進一步降低查詢的延遲。這是通過設置引發會話配置變量spark.databricks.delta.stalenessLimit時間字符串值,e。g 1 h, 15米,1 d