自動裝卸機目錄清單不列出所有文件

[FabriceDeseyn]

嗨社區

我有一個自動裝卸機管道與配置。不幸的是,它並沒有發現所有文件。查詢(見下文定義)。

38.246需要讀文件的文件夾,所有有相同的模式和結構。

如果我看‘cloud_files_state’,我看得到4999文件。我做錯了什麼嗎?這是一個“初始”計算,將會增加如果攝取這些文件?

[daniel_sahal]

@Fabrice Deseyn

它看起來像你的存儲不準備增量清單。使用普通的所有文件目錄清單。

https://docs.m.eheci.com/ingestion/auto-loader/directory-listing-mode.html date-partitioned-files

[FabriceDeseyn]

@Daniel薩哈

謝謝,很顯然我看著useIncrementalListing設置…大錯誤從我身邊…

謝謝你的第二次一雙眼睛!

[FabriceDeseyn]

所以,我改變了代碼(也嚐試與錯誤),把一個新的檢查點。不過這仍保持給我相同數量的文件。

[Lakshay · Accepted solution]

嗨@Fabrice Deseyn,我的理解是,這可能是因為自動裝卸機返回一個固定的沒有。每個API調用的結果作為解釋:https://docs.m.eheci.com/ingestion/auto-loader/directory-listing-mode.html how-does-directory-lis……