pyspark流現在失敗的原因

[patojo94]

大家好,我有一個pyspark流閱讀從一個aws動作突然失敗毫無理由(我的意思是,我們沒有做任何修改最後一次)。

這是給下麵的錯誤:

錯誤MicroBatchExecution:查詢kinesis_events_prod_bronze [id = 06233 cfc - e27d - 410 d - 858 b - 7 c2546c5004f runId = ace41ec4 c18b - 421 f - 9 - e5b bf5f75c96b12] . lang終止與錯誤。IllegalStateException:事務日誌完整性檢查失敗。我們建議您聯係磚支持援助。禁用此檢查,spark.databricks.delta.state.corruptionIsFatal設置為false

你知道發生了什麼或如何修複它嗎?

謝謝你！

[jcasanella]

@patricio東城我同樣的問題,但是我的情況是在遷移到統一的目錄。需要調查多一點但我添加這個火花工作,工作原理:

spark.conf.set (“spark.databricks.delta.state.corruptionIsFatal”,假)