Databricks-Connect和改變數據提要查詢錯誤

[伊恩]

我已經安裝了Databricks-Connect (9.1 LTS)。我能將查詢發送到集群。然而,當查詢包括調用“table_changes”功能是改變數據提要的一部分,我得到以下錯誤:

AnalysisException(“不能解決“table_changes”表值函數;1號線

查詢運行時,我在筆記本對同一集群中運行它。查詢類似於以下幾點:

選擇不同的從table_changes SomeFieldID (“SomeTable”、“2021-12-31 9:53:02”)在_change_type (“update_postimage”)

[匿名]

你好@Ian Corera -我的名字叫風笛手,我的版主之一磚。讓我們看看你的成員不得不說在我們左右再圓。

[Kaniz]

嗨@Ian Corera,你能粘貼“table_changes”功能代碼的提前嗎?

[伊恩]

嗨@Kaniz開羅,table_changes函數是一個內部磚函數用於改變數據提要(CDF)。

請參考下麵的文章。它討論了table_changes函數。

https://docs.m.eheci.com/delta/delta-change-data-feed.html

[Kaniz]

嗨@Ian Coreraδ更改數據提要在默認情況下不啟用。您必須顯式地啟用更改數據提要選擇使用下列方法之一:

1。新表:設置表屬性三角洲。在CREATE TABLE命令enableChangeDataFeed = true。

創建表的學生(INT id、名稱字符串,年齡INT) TBLPROPERTIES(δ。enableChangeDataFeed = true)

2。現有表:設置表屬性三角洲。在ALTER TABLE命令enableChangeDataFeed = true。

ALTER TABLE myDeltaTable TBLPROPERTIES(δ。enableChangeDataFeed = true)

3所示。所有新表:

設置spark.databricks.delta.properties.defaults.enableChangeDataFeed = true;

源