取消
顯示的結果
而不是尋找
你的意思是:

自動裝卸機目錄清單不列出所有文件

FabriceDeseyn
貢獻者

嗨社區

我有一個自動裝卸機管道與配置。不幸的是,它並沒有發現所有文件。查詢(見下文定義)。

image.pngimage.png

38.246需要讀文件的文件夾,所有有相同的模式和結構。

image.png如果我看‘cloud_files_state’,我看得到4999文件。我做錯了什麼嗎?這是一個“初始”計算,將會增加如果攝取這些文件?

image.png

1接受解決方案

接受的解決方案

Lakshay
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨@Fabrice Deseyn,我的理解是,這可能是因為自動裝卸機返回一個固定的沒有。每個API調用的結果作為解釋:https://docs.m.eheci.com/ingestion/auto-loader/directory-listing-mode.html how-does-directory-lis……

在原帖子查看解決方案

5回複5

daniel_sahal
尊敬的貢獻者三世

@Fabrice Deseyn

它看起來像你的存儲不準備增量清單。使用普通的所有文件目錄清單。

https://docs.m.eheci.com/ingestion/auto-loader/directory-listing-mode.html date-partitioned-files

@Daniel薩哈

謝謝,很顯然我看著useIncrementalListing設置…大錯誤從我身邊…

謝謝你的第二次一雙眼睛!

所以,我改變了代碼(也嚐試與錯誤),把一個新的檢查點。不過這仍保持給我相同數量的文件。

image.png

Lakshay
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨@Fabrice Deseyn,我的理解是,這可能是因為自動裝卸機返回一個固定的沒有。每個API調用的結果作為解釋:https://docs.m.eheci.com/ingestion/auto-loader/directory-listing-mode.html how-does-directory-lis……

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map