我運行一個住管道爆炸JSON文檔到小δ生活表。文檔可以接收多個更新事務的生命周期。我負責維護數據通過圖案架構,當我運行一個API /更新
{“full_refresh”: "真正的"}
它重置檢查站和運行很好,當我試著執行增量我得到以下錯誤:
org.apache.spark.sql.streaming。StreamingQueryException:查詢dlt_fulfillment_tickets [id = 7 c256d93 - 6271 - 4013 - 9 - d5d fe356c18511f runId = 1 aba276e - 1118 - 43 - c1 - b1fa - 85 e688bf523b]終止與例外:發現一個數據更新(例如部分- 00000 - ba0db042 - 39 - f9 - 450 b - ad19 - 3 - f05afb52830 c000.snappy.parquet)在源表版本10。這是目前不支持。如果你想忽略更新,設置選項“ignoreChanges”到“真正的”。如果你想反映的數據更新,請重啟該查詢以全新的關卡目錄。
有辦法通過SQL設置上麵的選項嗎嗎?我的整個管道在SQL。
嗨@Vidula卡納-響應並沒有解決我的問題,這是更多的確認,/是一個空白文檔的錯誤並不是客戶指向正確的路徑來解決這個問題。beplay体育app下载地址希望這已被磚照顧。
我不得不重構一些SQL代碼以找到一個解決方案。
謝謝你的跟進。