真空中讀/寫

[User16783853906]

三角洲湖上安全運行真空表在數據被添加到在同一時間嗎?它會影響工作結果/表現嗎?

[sajith_appukutt]

如果您正在運行真空與保留時間間隔很短,舊的快照和未提交的文件仍然可以使用並發讀者或作者的表,這可能導致並發讀者失敗或表被損壞

三角洲湖有一個安全檢查spark.databricks.delta.retentionDurationCheck.enabled默認設置為true來阻止你運行一個危險的真空命令。

更多的細節可以在這裏找到。https://docs.m.eheci.com/delta/delta-utility.html remove-files-no-longer-referenced-by-a-delta-ta……

從性能的角度,以確保它不影響其他運行工作,您可以運行它集群的工作

[User16783853906]

在絕大多數情況下,是的,它是安全運行真空而並發數據追加或更新相同的表。這是因為真空刪除數據文件不再引用的三角洲表的事務日誌,不影響當前的快照數據被其他進程的。

不過,你要小心,如果你指定一個shorter-than-default停留時間或如果你有流運行很少。