04-14-2022上午09:47
我想設置自動裝卸機處理數據文件從Azure湖(Blob)自動每當新的文件到達。對於這個工作,我想知道如果集群自動裝卸機要求在所有的時間。
04-19-202212:16我
嗨@Venkata室利羅摩克裏希納Alvakonda,如果您的數據隻有到達每小時或每一天,例如,您可以在批處理模式運行自動裝卸機通過指定“觸發一次”選項,然後設置筆記本運行調度工作。
在“觸發一次”模式下,自動裝卸機仍然跟蹤即使有新文件不一個活躍的集群運行——它隻是等待過程,直到您重新運行自動裝卸機代碼手動或作為計劃的一部分工作。
在原帖子查看解決方案
04-14-202203:43點
克裏希那@Venkata Alvakonda,不,它不是必需的。最後的位置存儲在檢查點文件。檢測到新文件目錄清單或存儲在隊列中。
04-14-202207:02點
@Hubert杜德克,謝謝你的反應。我的問題是:集群必須在所有時間利用汽車裝載機嗎?如果一個文件到達blob存儲和集群了。它自動啟動集群,然後讀取文件調用自動裝卸機流程?還是下次啟動時,它會撿起嗎?
04-19-202212點
由於@Kaniz Fatma響應。不幸的是我不有一組頻率文件的到來。它是非常特別的。讓我問你這個問題。是事件網格可以觸發一個磚的工作嗎?
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。