我代標準配置ADLS存儲和成功地配置了自動裝卸機文件通知模式。
在本文檔中
https://docs.m.eheci.com/ingestion/auto-loader/file-notification-mode.html
“ADLS Gen2提供了不同的事件通知文件出現在您的代容器。
自動加載程序監聽FlushWithClose事件處理一個文件。
我需要做什麼呢FlushWithClose事件或自動裝卸機
當配置文件通知模式= True,自動地聽REST API FlushWithClose事件?
接下來,在同一文檔中,磚建議觸發自動加載程序通過使用常規回填cloudFiles.backfillInterval選擇保證所有文件被發現在一個給定的SLA是否需要數據完整性。觸發普通回填不會引起重複。
從<https://docs.m.eheci.com/ingestion/auto-loader/file-notification-mode.html>
最後,我發現了這篇文章如何使用自動加載程序資源經理Scala API
https://www.mssqltips.com/sqlservertip/6965/databricks-auto-loader-manager/
你知道這個資源經理可以在Python中?
嗨,@Chris Konsur。
你不需要任何FlushWithClose事件REST API隻是我們聽的事件類型。
至於回填設置,這是後期處理數據或事件被觸發。這個設置在很大程度上取決於你的sla。設置決定多久你應該做一個完整的和解的數據處理。我也推薦檢查我們增量文件清單。
資源管理器,我不相信有一個Python版本。
好的,謝謝你,瑞恩!