列archive_time、commit_time archive_time cloud_files_state運行時總是空

[MRTN]

我試圖找到給定文件的commit_time三角洲表使用cloud_files_state命令。然而,archive_time、commit_time archive_time coluns總是空的。我運行databrics運行時11.3,也驗證了運行時版本13.0毫升。

這個問題也yopougon以下職位:https://community.m.eheci.com/s/question/0D58Y00009gd0TDSAY/auto-loader-empty-fields-discoverytim..。

這是一個錯誤嗎?任何修複可用嗎?

[匿名]

@Morten Stakkeland:

cloud_files_state命令的問題你麵對是一個已知的限製在三角洲湖的最新穩定版本(三角洲湖1.0)。commit_time和協議列總是空,archive_time列對於大多數文件也是空。這是因為三角洲湖沒有跟蹤commit_time通過雲存儲API和協議文件編寫,和archive_time隻有當文件正在被積極地由三角洲湖的保留機製。

有一個特性請求解決這個限製和提供更準確commit_time和協議通過雲存儲api編寫的文件的信息,但目前尚未實現。你可以跟蹤這個特性請求的狀態在三角洲湖Github庫。至於archive_time,如果需要追蹤它為一個特定的文件,您可以使用三角洲。日誌方法檢查提交曆史和發現提交創建或刪除該文件。從那裏,您可以使用versionAsOf方法讀取表,因為它存在於提交並檢查archive_time列。