取消
顯示的結果
而不是尋找
你的意思是:

如何讀取流查詢使用的變化改變數據提要

User16826994223
尊敬的貢獻者三世
1接受解決方案

接受的解決方案

User16826994223
尊敬的貢獻者三世
#開始提供一個版本spark.readStream.format(“δ”)\ .option (“readChangeFeed”,“真正的”)\ .option (“startingVersion”, 0) \ .table (myDeltaTable) #提供一個開始時間戳spark.readStream.format(“δ”)\ .option (“readChangeFeed”,“真正的”)\ .option (“startingTimestamp”、“2021-04-21”05:35:43) \ .load (“/ pathToMyDeltaTable”) #不是提供一個最新版本/時間戳將導致快照開始先獲取spark.readStream.format(“δ”)\ .option (“readChangeFeed”,“真正的”)\ .table (“myDeltaTable”)

閱讀時更改數據表,設置選項readChangeFeedto true。

startingVersion或startingTimestamp

是可選的,如果沒有提供流返回最新的表的快照的時候流作為一個插入和未來變化變化數據。速度限製(maxFilesPerTrigger選項

、maxBytesPerTrigger和excludeRegex也支持的變化數據。

在原帖子查看解決方案

1回複1

User16826994223
尊敬的貢獻者三世
#開始提供一個版本spark.readStream.format(“δ”)\ .option (“readChangeFeed”,“真正的”)\ .option (“startingVersion”, 0) \ .table (myDeltaTable) #提供一個開始時間戳spark.readStream.format(“δ”)\ .option (“readChangeFeed”,“真正的”)\ .option (“startingTimestamp”、“2021-04-21”05:35:43) \ .load (“/ pathToMyDeltaTable”) #不是提供一個最新版本/時間戳將導致快照開始先獲取spark.readStream.format(“δ”)\ .option (“readChangeFeed”,“真正的”)\ .table (“myDeltaTable”)

閱讀時更改數據表,設置選項readChangeFeedto true。

startingVersion或startingTimestamp

是可選的,如果沒有提供流返回最新的表的快照的時候流作為一個插入和未來變化變化數據。速度限製(maxFilesPerTrigger選項

、maxBytesPerTrigger和excludeRegex也支持的變化數據。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map