你好,
我一直在閱讀關於cloudFiles磚自動加載程序的文檔。backfillIntervalconfiguration, and have a question about a specific detail on how it works still. I was only able to find examples of it being set to 1 day or 1 week. So I'm assuming you can enter any time in there such as x hours, x days, x weeks, x months. My question is how does it uses that 1 week to backfill.
它看起來在lastModified時間抵達的文件嗎輸入目錄沒有被處理和計算currentTime lastModified < = backfillInterval。
還是每周運行一次回填,所以如果我上周跑磚自動裝卸機的管道,它會執行一個回填?在這種情況下,回填可能隻是通過輸入目錄中所有的文件和cloud_file_state確保所有被處理嗎?
我沒有得到一個好照片到底backfillInterval呢?但它似乎不錯,說它保證100%的文件要處理。
最後一個回填(lastBackfillFinishTimeMs)將記錄作為檢查點- >抵消文件的一部分,這有助於自動裝卸機知道當最後回填觸發和觸發下一個周期回填。
希望這回答了你的問題。
最後一個回填(lastBackfillFinishTimeMs)將記錄作為檢查點- >抵消文件的一部分,這有助於自動裝卸機知道當最後回填觸發和觸發下一個周期回填。
希望這回答了你的問題。