取消
顯示的結果
而不是尋找
你的意思是:

動態提供分區自動裝卸機

Soma
價值貢獻

我們正在用例流從azure看到很多時間在清單。

是否可以供應動態分區動態自動裝卸機嗎

1接受解決方案

接受的解決方案

Soma
價值貢獻

嗨@jose盡管使用清單我看到增量約3 - 4分鍾消耗清單,但現在我們已經解決了與基於eventgrid(開始我們嚐試自動裝卸機和不檢測事件沒有關閉充裕,我們固定這個問題在源端通過添加參數接近真正的創2 sdlk一側)

在原帖子查看解決方案

6個回答6

Kaniz
社區經理
社區經理

你好@Soma!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

Hubert_Dudek1
尊敬的貢獻者三世

我知道痛苦與上市azure法案:winking_face:就我而言我觸發頻率較低,但解決了這個問題

好的選擇可以文件通知模式另外你可以設置自己的隊列和事件網格有更多的控製(雖然第一次實驗可以用自動的):

文件的通知:使用Azure事件網格和隊列存儲服務訂閱文件事件從輸入目錄。自動加載程序自動設置網格和Azure事件隊列存儲服務。文件通知模式是更多的性能和可伸縮性大輸入目錄。使用這種模式,您必須配置權限Azure事件網格和隊列存儲服務和指定

.option (“cloudFiles.useNotifications”,“真正的”)

。文件通知支持ADLS Gen2和Azure Blob存儲。

來源:https://docs.microsoft.com/en-us/azure/databricks/spark/latest/structured-streaming/auto-loader-gen2

你好,是的,這是長時間和計劃使用觸發一旦與高頻還將檢查事件網格但好奇為什麼火花不能有選擇以最後2小時或1小時為例基於UTC時間戳這火花會節省很多時間和配置活動

網格使用自定義觸發需要相當多的時間和精力

嗨@somanath Sankaran,

我將推薦使用觸發器。AvailableNow代替trigger.once。這是文檔的鏈接https://docs.m.eheci.com/release-notes/runtime/10.1.html triggeravailablenow-for-auto-loader

會回到你原來的問題,您可以使用增量清單。分區可以被認為是詞法下令如果數據處理一天一次,包含時間戳文件路徑可以被認為是詞法。

這裏的文檔https://docs.m.eheci.com/spark/latest/structured-streaming/auto-loader-gen2.html incremental-list……

Baidu
map