自動裝卸機配置文件通知生產模式

[Chris_Konsur]

我代標準配置ADLS存儲和成功地配置了自動裝卸機文件通知模式。

在本文檔中

https://docs.m.eheci.com/ingestion/auto-loader/file-notification-mode.html

“ADLS Gen2提供了不同的事件通知文件出現在您的代容器。

自動加載程序監聽FlushWithClose事件處理一個文件。

我需要做什麼呢FlushWithClose事件或自動裝卸機

當配置文件通知模式= True,自動地聽REST API FlushWithClose事件?

接下來,在同一文檔中,磚建議觸發自動加載程序通過使用常規回填cloudFiles.backfillInterval選擇保證所有文件被發現在一個給定的SLA是否需要數據完整性。觸發普通回填不會引起重複。

從<https://docs.m.eheci.com/ingestion/auto-loader/file-notification-mode.html>

最後,我發現了這篇文章如何使用自動加載程序資源經理Scala API

https://www.mssqltips.com/sqlservertip/6965/databricks-auto-loader-manager/

你知道這個資源經理可以在Python中?

[Kaniz]

嗨@Chris Konsur,都有一個線程與類似的問題在我們的社會https://community.m.eheci.com/s/feed/0D58Y00009MHGcQSAX

請檢查一下並讓我們知道如果不幫助。

[Ryan_Chynoweth · Accepted solution]

嗨,@Chris Konsur。

你不需要任何FlushWithClose事件REST API隻是我們聽的事件類型。

至於回填設置,這是後期處理數據或事件被觸發。這個設置在很大程度上取決於你的sla。設置決定多久你應該做一個完整的和解的數據處理。我也推薦檢查我們增量文件清單。

資源管理器,我不相信有一個Python版本。

[Chris_Konsur]

好的,謝謝你,瑞恩!