三角洲生活表——如何通過使用SQL選項“ignoreChanges”嗎?

[火花]

我運行一個住管道爆炸JSON文檔到小δ生活表。文檔可以接收多個更新事務的生命周期。我負責維護數據通過圖案架構,當我運行一個API /更新

{“full_refresh”: "真正的"}

它重置檢查站和運行很好,當我試著執行增量我得到以下錯誤:

org.apache.spark.sql.streaming。StreamingQueryException:查詢dlt_fulfillment_tickets [id = 7 c256d93 - 6271 - 4013 - 9 - d5d fe356c18511f runId = 1 aba276e - 1118 - 43 - c1 - b1fa - 85 e688bf523b]終止與例外:發現一個數據更新(例如部分- 00000 - ba0db042 - 39 - f9 - 450 b - ad19 - 3 - f05afb52830 c000.snappy.parquet)在源表版本10。這是目前不支持。如果你想忽略更新,設置選項“ignoreChanges”到“真正的”。如果你想反映的數據更新,請重啟該查詢以全新的關卡目錄。

有辦法通過SQL設置上麵的選項嗎嗎?我的整個管道在SQL。

[Prabakar]

按醫生我們有scala代碼。我不覺得一個SQL選擇。然而,我提出了這個與產品團隊,看看我們可以得到相同的SQL代碼。我將讓你知道一旦我得到回複。

[Prabakar]

@Danny Aguirre我有一個討論與產品團隊和他們提到流隻支持處理擴展變化。如果你希望更新輸入你應該使用正常生活表。錯誤消息是不合適的問題,他們將修複錯誤消息以確保客戶沒有指出錯誤的一邊的調查。beplay体育app下载地址

[Vidula]

嘿@Danny Aguirre

做@Prabakar Ammeappin反應回答你的問題?如果是的,你會很高興它標記為最好,其他成員可以找到解決方案更快嗎?

我們很想聽到你的聲音。

謝謝!

[火花 · Accepted solution]

嗨@Vidula卡納-響應並沒有解決我的問題,這是更多的確認,/是一個空白文檔的錯誤並不是客戶指向正確的路徑來解決這個問題。beplay体育app下载地址希望這已被磚照顧。

我不得不重構一些SQL代碼以找到一個解決方案。

謝謝你的跟進。