# #三角洲檢查當文件添加% scala (oldest-version-available newest-version-available)。地圖版本= > {var df = spark.read.json (f”< delta-table-location > / _delta_log /版本% 020美元d.json”)。(“添加不空”).select (“add.path”) var df2 = df.filter (“path.contains如果(df2 (“name-of-the-parquet-file”))。數> 0){print(“* * * * * * * * *”+版本)}}
@Dean色鬼-請使用上麵的代碼片段來識別可用版本的文件存在。
改變oldest-version-available newest-version-available數字的三角洲曆史,你想檢查改變δδ路徑表。
如果你正麵臨這個問題在閱讀(做FSCK修複後),請嚐試使用以下配置。
spark.sql.files。spark.sql.files ignoreCorruptFiles如此。ignoreMissingFiles真實