錯誤鋪寫文件

[JEAG]

你好,我們每天都有這一連串的錯誤在不同的文件和流程:

調用o11255.parquet時發生一個錯誤。

:org.apache.spark。SparkException:工作中止。

引起的:org.apache.spark。SparkException:工作階段失敗而終止:任務0階段982.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 982.0 (TID 85705、172.20.45.5執行人31):org.apache.spark。SparkException:任務失敗而寫的行。

引起的:com.databricks.sql.io。FileReadException:讀取文件時錯誤dbfs:……它是可能的底層文件已經更新。您可以顯式地火花的緩存失效運行“REFRESH TABLE表”命令的SQL或重新創建數據集/ DataFrame參與。

引起的:shaded.parquet.org.apache.thrift.transport.TTransportException: . io .IOException:流關閉!

引起的:java。IOException:流關閉!

引起的:java。FileNotFoundException: dbfs: /…

現在,我們再次修理它刪除文件和運行工作,但我們不知道如何避免´錯誤

任何想法?

謝謝

[Kaniz]

你好@JEAG!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[JEAG]

嗨@Kaniz開羅,很高興見到你!

我´m尋找解決這個問題的許多天,我發現了一些類似的問題在不同的論壇包括磚一個但沒有任何真正的解決方案。

因為這個原因我´已經創建了這個問題希望能盡快解決這個問題

謝謝

[werners1]

你能詳盡的環境有點嗎?

是一個流媒體工作或批處理?你寫在哪裏,S3 ADLS,…?

你掛載/卸載等嗎

[Dan_Z]

這裏發生了什麼是,引發閱讀文件,拚花文件名的列表,它希望把數據。火花,鑲花的文件讀取的文件,但注意到該文件並不實際存在於存儲。所以它拋出這個錯誤。

通常這是由於一些其他流程更新/刪除文件在這個位置,而閱讀。我想看看還有什麼可以觸摸這個位置在同一時間。