三角洲日誌創建檢查點沒有?

[442027年]

中提到的三角洲協議創建檢查點的三角洲表每10後提交,但是當我修改一個表> 10獨立操作(生產> 10 _delta_log目錄中的單獨的json文件),沒有創建檢查點文件。有特定的條件創建檢查點文件(而不是每10提交);即某些操作,數據大小等。

我擔心的是,如果檢查點沒有創建,然後三角洲日誌不清理,如果發生這是否意味著我的表的元數據隨著時間的推移會變得無限大?

三角洲表我創建了由執行(s3存儲位置的):

' ' '

df.write。 格式 ( “δ” ).saveAsTable (name = "表> < " 路徑= “< s3_path >” 模式= “覆蓋” overwriteSchema = 真正的 )

' ' '

[Vinay_M_R · Accepted solution]

現在最新的更新檢查點δ為每100創建表提交。這樣做是為了一些改進的目的。

如果你想有一個檢查點文件為三角洲表每10後提交或任意提交。你可以定製它使用以下配置:

“delta.checkpointInterval”

語法:

alter table < table_name >設置TBLPROPERTIES(“三角洲。checkpointInterval”=“10”)

你可以設置所需的檢查點間隔,你需要改變的表和設置檢查點間隔設置表屬性下如上所示“delta.checkpointInterval”= "10"

[442027年]

測試和確認,它是每隔100默認提交。謝謝,很有意義!