pyspark流現在失敗的原因

[patojo94]

大家好,我有一個pyspark流閱讀從一個aws動作突然失敗毫無理由(我的意思是,我們沒有做任何修改最後一次)。

這是給下麵的錯誤:

錯誤MicroBatchExecution:查詢kinesis_events_prod_bronze [id = 06233 cfc - e27d - 410 d - 858 b - 7 c2546c5004f runId = ace41ec4 c18b - 421 f - 9 - e5b bf5f75c96b12] . lang終止與錯誤。IllegalStateException:事務日誌完整性檢查失敗。我們建議您聯係磚支持援助。禁用此檢查,spark.databricks.delta.state.corruptionIsFatal設置為false

你知道發生了什麼或如何修複它嗎?

謝謝你！

[Hubert_Dudek1 · Accepted solution]

@patricio故事,似乎,有些來自AWS動作記錄是損壞的。我認為你可以在運動方麵調試。

[Kaniz]

嗨@patricio故事,隻是一個友好的後續。你還需要幫助,還是@Hubert杜德克(客戶)的反應幫助你找到解決方案了嗎?請讓我們知道。

[jose_gonzalez]

嗨@patricio故事,

你增加/減少運動碎片嗎?還是你刪除你的關卡嗎?

[Kaniz]

嗨@patricio東城,我們一直沒有收到你最後的回應@Jose岡薩雷斯,我檢查是否你有一個決議。如果你有任何解決方案,請與社區分享,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。