取消
顯示的結果
而不是尋找
你的意思是:

有任何人看到狀態文件消失在容量增量表嗎?

JordanYaker
貢獻者

我有一些三角洲表在我們的開發環境中,今天開始出現以下錯誤:

py4j.protocol。Py4JJavaError:調用o670.execute時發生一個錯誤。:org.apache.spark。SparkException:工作階段失敗而終止:104年任務階段1145.0失敗了4次,最近的失敗:在舞台上失去了任務104.3 1145.0 (TID 2949)(10.111.21.215執行人1):. lang。HDFSStateStoreProvider IllegalStateException:錯誤閱讀流狀態文件[id = (op = 0 = 104), dir = s3a: / / # # # # # # # # # # # # # # # # # # # / offers-stage-1 /檢查點/ offers-silver-stage1-pipeline /州/ 0/104):s3a: / / # # # # # # # # # # # # # # # # # # # / offers-stage-1檢查點/ offers-silver-stage1-pipeline /狀態/ 0/104/1.delta並不存在。如果流的工作重新開始一個新的或更新的狀態操作,請創建一個新的檢查點位置或清除現有檢查點位置。

這些表沒有寫體積都高得令人難以置信,兩周前我最終重置整個數據湖在我們的dev /舞台環境中部署一些新的邏輯;巧合的是對應於我們目前的真空政策(即。14天)。

這感覺不到一個巧合。

有一個已知問題使用真空表沒有寫高卷?

5回複5

Vidula_Khanna
主持人
主持人

嗨@Jordan犛牛

我們一直沒有收到你自從上次反應@Kaniz開羅,我檢查看看她的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map