我流的工作為什麼不恢複即使我指定檢查點目錄嗎

[User16869510359]

我提供了checkpointLocation如下,但是看到我流的配置被忽略查詢

選項(“checkpointLocation”、“路徑/ /檢查點/ dir”)

[User16869510359 · Accepted solution]

這是一個常見的問題在許多用戶。如果指定的流檢查點目錄是正確的然後預計這種行為。

下麵是一個例子,正確地指定檢查點

df。writeStream .format(“鋪”).option (“checkpointLocation”、“路徑/ /檢查點/ dir”) .option(“路徑”,“路徑/ /目的地/ dir) .start ()

相反,如果你指定checkpointLocation作為readStream選項忽略。另一個常見的場景選擇是忽略了在哪裏當你作為一個選項指定checkpointLocation forEachBatch中的寫操作。的選擇應提供writeStream API