當你應該使用目錄清單和文件通知嗎

[BenLambert]

我們使用三角洲生活表運行攝入管道和遇到的兩個選項自動裝卸機“文件通知”和“目錄清單”這反映在cloudFiles.useIncrementalListing的選項。我們想知道這些的最佳實踐是使用自動裝卸機,當我們應該使用一個與其他?

[匿名]

@Bennett蘭伯特:

之間的選擇使用“文件通知”和“目錄清單”自動裝卸機在三角洲住表取決於您的特定的用例和需求。這裏有一些一般準則:

1. 使用文件通知如果你需要實時攝取:文件通知使用基於事件觸發源存儲位置檢測新文件,它允許實時攝取盡快添加新文件。
2. 使用目錄清單,如果你需要控製攝入頻率:目錄清單定期掃描源存儲位置為新文件,它允許您控製攝入的頻率。這可能是有用的,如果你需要限製攝入的數量文件或控製攝入的時機。
3. 使用文件通知對於小文件:文件通知對小文件更有效,因為它能避免掃描整個目錄的變化。
4. 使用大文件目錄清單:目錄清單對大文件更有效,因為它可以減少每個文件單獨掃描和處理的開銷。

總之,如果你需要實時攝取和有大量的小文件,使用文件通知。如果你需要控製攝入頻率或有少量的大文件,使用目錄清單。