如何重新設置一個自動裝卸機嗎?

[Scouty]

嗨

我使用一個自動裝卸機Azure磚:

df = (spark.readStream.format (“cloudFiles”)

.options (* * cloudfile)

.load (“abfss: / / dev@std * * * * * *.dfs.core.windows.net/ * * / * * * * *))

在我的目標checkpointLocation文件夾有一些文件和子目錄創建的結果。

它將檢測和處理新文件就可以了。

還當我重新啟動集群,將再次過程隻有新文件,這是好的。

但是如果我想重新啟動自動裝卸機為了處理文檔源文件夾的所有文件我又找不到任何如何這樣做。

有人可以請給我一個暗示。

[AmanSehgal · Accepted solution]

改變檢查點位置或刪除現有的檢查點位置。

新的檢查點位置意味著以前流已被拋棄和新流已經開始。

[匿名]

@Aman Sehgal -我的名字叫風笛手,我的版主之一磚。我想跳的很快謝謝你如此慷慨的與你的知識。