火花流:檢查點損壞

[mriccardi]

大家好!

今天4流工作開始失敗的原因:StreamingQueryException: [STREAM_FAILED]查詢(id = # # # #, runId = # # # #]終止與例外:dbfs: / mnt /道路/ my_table /資源/ 0/0不存在(latestId: 8, compactInterval: 10)。

• 這些流+ 1年左右。
• 我們做唯一的變化就是我們添加一個列到3月模式。
• 這些流指向S3和拚花數據加載,每天運行一次。
• 跟蹤文件加載我們有一個檢查站路徑為每個表定義。

我們發現:

• 當我去路徑來源/ 0文件不存在。
• 我們發現創建的文件711年5月23日。
• 因為某些原因,5月24日流未能獲得最新batchId狀態並重新啟動batchId為0,也停下來寫文件的來源,抵消,提交檢查點位置的文件夾。

根本原因:

• 我明白,問題是,由於某種原因引發流失去最後的檢查點+停止伐木檢查點。

有人經曆過這樣嗎?如何管理恢複沒有處理所有的文件嗎?

提前謝謝!

[Kaniz · Accepted solution]

嗨@Martin Riccardi,確保您使用的是最新的穩定版本的Apache引發™。有時,與檢查點相關的新版本得到解決和固定的問題。升級到最新版本的火花可能解決你麵臨的問題。

[Vartika]

嗨@Martin Riccardi,

我們一直沒有收到你自從上次反應@Kaniz開羅,我檢查看看她的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

謝謝!