無法讀取文件從S3

[LearningDatabri]

我試圖從S3讀取一個文件,但麵對下麵的錯誤:

org.apache.spark。SparkException:工作階段失敗而終止:任務0階段53.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 53.0 (TID 82 xx.xx.xx。xx,遺囑執行人0):com.databricks.sql.io。文件讀Exception: Error while reading file s3:////file.csv.

我使用:

spark.read。選項(分隔符=“|”)。選項(“標題”,假). csv (s3: / / < mybucket > / <路徑> / file.csv”)

[Prabakar]

你確認如果文件存在嗎?

這是發生在特定文件的所有文件嗎?

[LearningDatabri]

文件存在。一些文件不工作和一些工作。

[Prabakar · Accepted solution]

我記得我以前見過這樣一個問題。請檢查S3生命周期管理。如果對象是遷移到另一個存儲類(主要是存檔)還有這個錯誤的可能性。

[LearningDatabri]

由於@Prabakar Ammeappin這個信息。我們有生命周期管理組。這種錯誤的文件沒有使用一段時間並存檔。我想知道為什麼文件被轉移到冰川在60天。必須重新審視生命周期規則和改變它。