我已經開始得到一個錯誤消息,當運行以下命令:優化-
.executeCompaction deltaTable.optimize () ()
錯誤:-
java . util . concurrent。ExecutionException: . lang。IllegalStateException:優化後的記錄數量改變。NumRecordsCheckInfo(優化,394,1058,2554337689,2600474509,0,0,地圖(謂詞- >“[]”,zOrderBy - >“[]”, batchId - >“0”,汽車- > false))
的原因是什麼?它已經運行好幾個月。
這是使用pyspark 11.3運行時。
你好,是這樣的命令必須改變。
https://docs.delta.io/latest/delta-utility.html
另外,請再核對
參考:https://docs.m.eheci.com/sql/language-manual/delta-optimize.html
另外,請標記@Debayan與你的下一個反應會通知我。謝謝你!
@Dean色鬼:
錯誤消息表明,增量表中的記錄的數量優化()命令運行後改變了。優化()命令用於提高三角洲表通過移除小文件的性能和壓實的,它可以提高查詢性能,降低存儲成本。然而,如果有並發寫操作發生在優化()命令運行時,它可以導致記錄的數量變化,從而導致這個錯誤。
為了解決這個問題,你可能想要考慮以下步驟: