大家好,
我用DLT(δ生活表)和我實現的一些變化數據捕獲用於重複數據刪除。現在我創建一個下遊表讀取DLT作為流(dlt.read_stream(“<表>”))。
我一直收到這個錯誤:
>檢測數據更新(例如部分- 00000 - 6723832 - a - b8ca - 4表達a20 b576 - d69bd5e42652 c000.snappy.parquet)在源表版本11。這是目前不支持。如果你想忽略更新,設置選項“ignoreChanges”到“真正的”。如果你想反映的數據更新,請重啟該查詢以全新的關卡目錄。
我試過這些選項激活配置:
@dlt。視圖(name = " _wp_strategies_dup "評論=“此表包含測試策略表”,spark_conf = {“ignoreChanges”: "真正的"})
spark.readStream.option (“ignoreChanges”,“真正的”).table (“LIVE.wp_parameters”)
dlt.option (“ignoreChanges”,“真正的”).read_stream (“wp_parameters”)
到目前為止沒有任何工作。是因為與DLT這個配置是不可能的?或者是因為有另一種方式設置此配置?
我也麵臨著同樣的問題。有任何更新關於如何使ignoreChanges dlt表好嗎?
下麵是我的代碼不工作
def messages_raw ():
回報(
#負荷增量
spark.readStream
.format (“cloudFiles”)
.option (“cloudFiles。格式”、“json”)
. schema (JSONschema)
.option (“ignoreChanges”,“真正的”)
# .load (“/ mnt / raj-zuk-comparis-poc / * . json消息”))
.load (s3: / / zuk-comparis-poc /))