你好專家。我們試圖闡明如何清理大量的文件被累積在_delta_log文件夾中(json, crc和檢查點文件)。我們通過相關的帖子在論壇和遵循以下:
設置spark.databricks.delta.retentionDurationCheck.enabled = false;
ALTER TABLE table_name
設置TBLPROPERTIES(δ。logRetentionDuration ' = '間隔1分鍾”、“delta.deletedFileRetentionDuration ' = '間隔1分鍾);
真空table_name保持0小時
我們明白,每次寫的一個檢查站,磚自動清理日誌條目超過指定的保留時間間隔。然而,在新的檢查點和提交,所有日誌文件仍然存在。
你能幫助嗎?提到這是有關表,我們不需要任何時間旅行。
