誤差在更新表com.databricks.sql.transaction.tahoe三角洲。DeltaUnsupportedOperationException:檢測到數據更新

[桑傑]

你好,

我有管道。我已經更新一個文件在三角洲表已處理。現在我得到錯誤

com.databricks.sql.transaction.tahoe。δUnsupportedOperationException: Detected a data update. This is currently not supported. If you'd like to ignore updates, set the option 'ignoreChanges' to 'true'.

我已經設置ignoreChanges真實但仍然得到同樣的錯誤。

spark.readStream.format(“δ”)

.option (“ignoreChanges”,“真正的”)

.load (“/ tmp /δ/ user_events”)

問候,

桑傑

[karthik_p]

@Sanjay Jain,您使用的是運行時版本,上麵應該如果有更新工作必需字段,應該被下遊的消費者,請檢查下麵的文章

https://docs.m.eheci.com/structured-streaming/delta-lake.html ignore-updates-and-deletes

[桑傑]

我用11.3 LTS。我更新一個字段,該數據被下遊的消費者。但挑戰是,我讓其他不變文件以及消費者和更新文件。

[Sandeep]

@Sanjay Jain你更新的文件嗎?你能詳細說明的步驟嗎?

[桑傑]

使用合並成表

使用表格b

當匹配更新設置a.name = b.name