取消
顯示的結果
而不是尋找
你的意思是:

Pyspark相當於FSCK修理表是什麼?

DL27
新的貢獻者三世

我用δ格式和有時會得到以下錯誤:-

“xx。無法找到拚花中引用事務日誌。這發生在手動數據從文件係統中刪除表,而不是使用“刪除”聲明”

FSCK修理表基於蜂巢工作表,但我隻使用文件係統。

我怎麼能重現三角洲事務日誌(而不是重建整個數據集)?

3回複3

Debayan
尊敬的貢獻者三世
尊敬的貢獻者三世

你好,請參考https://kb.m.eheci.com/delta/filereadexception-when-reading-delta-table

請讓我們知道這有幫助。

同時,請與你的下一個標記@Debayan穆克吉響應將會通知我。謝謝你!

匿名
不適用

嗨@Dean色鬼

謝謝你發布你的問題在我們的社區!我們很高興幫助你。

幫助我們為您提供最準確的信息,請您花一些時間來回顧反應和選擇一個最好的回答了你的問題嗎?

這也將有助於其他社區成員可能也有類似的問題在未來。謝謝你的參與,讓我們知道如果你需要任何進一步的援助!

shan_chandra
尊敬的貢獻者二世
尊敬的貢獻者二世
# #三角洲檢查當文件添加% scala (oldest-version-available newest-version-available)。地圖版本= > {var df = spark.read.json (f”< delta-table-location > / _delta_log /版本% 020美元d.json”)。(“添加不空”).select (“add.path”) var df2 = df.filter (“path.contains如果(df2 (“name-of-the-parquet-file”))。數> 0){print(“* * * * * * * * *”+版本)}}

@Dean色鬼-請使用上麵的代碼片段來識別可用版本的文件存在。

改變oldest-version-available newest-version-available數字的三角洲曆史,你想檢查改變δδ路徑表。

如果你正麵臨這個問題在閱讀(做FSCK修複後),請嚐試使用以下配置。

spark.sql.files。spark.sql.files ignoreCorruptFiles如此。ignoreMissingFiles真實

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map