磚自動裝載機cloudFiles.backfillInterval

[therealchainman]

你好,

我一直在閱讀關於cloudFiles磚自動加載程序的文檔。backfillIntervalconfiguration, and have a question about a specific detail on how it works still. I was only able to find examples of it being set to 1 day or 1 week. So I'm assuming you can enter any time in there such as x hours, x days, x weeks, x months. My question is how does it uses that 1 week to backfill.

它看起來在lastModified時間抵達的文件嗎輸入目錄沒有被處理和計算currentTime lastModified < = backfillInterval。

還是每周運行一次回填,所以如果我上周跑磚自動裝卸機的管道,它會執行一個回填?在這種情況下,回填可能隻是通過輸入目錄中所有的文件和cloud_file_state確保所有被處理嗎?

我沒有得到一個好照片到底backfillInterval呢?但它似乎不錯,說它保證100%的文件要處理。

[Lakshay]

@therealchainman

backFillInterval選項提供,以確保最終的所有文件都被插入。當你創建一個新的流,某些文件可能會錯過了不消化。回填是一個異步的過程,最終引發基於定義的間隔backFillInterval選項。這個檢查所有文件已經錯過了和消化掉這些文件

[saipujari_spark · Accepted solution]

嘿@therealchainman

最後一個回填(lastBackfillFinishTimeMs)將記錄作為檢查點- >抵消文件的一部分,這有助於自動裝卸機知道當最後回填觸發和觸發下一個周期回填。

希望這回答了你的問題。