取消
顯示的結果
而不是尋找
你的意思是:

結構化流檢查點損壞。

mriccardi
新的貢獻者二世

你好,

我們正在經曆一個錯誤有一個結構化的流媒體工作,基本上檢查站被損壞,我們不能繼續執行。

我檢查錯誤和當它觸發一個autocompact,然後失敗和_spark_metadata文件夾的路徑我寫沒有文件和檢查點的損壞。

這個工作每天運行一次並存儲檢查點S3 bucket。我設法解決這一次通過添加一個* * * * *文件_spark_metadata asociated檢查點提交失敗,但3天後我又發現同樣的錯誤了。

信息FileStreamSinkLog:緊湊的時間間隔設置為10 [defaultCompactInterval: 10]信息S3AFileSystem: V3: FS_OP_CREATE桶(bucketname)文件(s3: / / bucketname / processname / 2022/12/1/5 / _spark_metadata / 19.緊湊]創建輸出流;許可:{蒙麵:rw-r——r,揭露:rw-rw-rw -},覆蓋:假的,bufferSize: 65536信息S3AFileSystem: V3: spark.databricks.io.parquet.verifyChecksumOnWrite。禁用啟用信息S3ABlockOutputStream: V3: FS_OP_CREATE桶(bucketname)文件[bucketname / processname / 2022/12/1/5 / _spark_metadata / 19.緊湊]取消流22/12/01 05:12:34信息S3ABlockOutputStream: V3: FS_OP_CREATE桶(bucketname)文件(processname / 2022/12/1/5 / _spark_metadata / 19.緊湊)成功取消流信息AWSCheckpointFileManager:取消寫入路徑錯誤FileFormatWriter:流產工作58 d6f7d7 - 8 ef4 - 4 - c8c ccf5fc477d9——9546 - 1。. io .FileNotFoundException:找不到批s3: / / bucketname / processname / 2022/12/1/5 / _spark_metadata / 9.緊湊

我不知道的事情:

  • 我發現幾個帖子說為了避免使用S3檢查站從2017年由於從S3“最終一致性”,但也發現新的,說這是固定的。
  • 我也發現了一些帖子,磚處理從幕後,但找不到任何磚文檔。
  • 我們也有其他流媒體工作運行日常但從未經曆過這個問題。這個唯一的區別在於,第一步是要複製的文件從源到我們著陸S3和失敗。

相關文章:

1回複1

jose_gonzalez
主持人
主持人

嗨@Martin Riccardi,

你能分享以下請:

1)什麼來源?

2)什麼水槽嗎?

3)你能分享你的readStream()和writeStream()代碼?

4)錯誤堆棧跟蹤

5)你停止並重新運行查詢經過數周的不活躍?

6)你改變什麼檢查點文件夾嗎?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map