取消
顯示的結果
而不是尋找
你的意思是:

馮non-CDC源遷移到疾控中心。下遊的後果?

Michael_Galli
因素二世

我有一個問題關於流與疾控中心。
我們目前有一個差值表疾控中心尚未啟用,及其後的來源為其他流讀取表。
新usecase趕上變化,我們需要啟用疾控中心那張桌子了。會影響現有的下遊流,如導致代碼重構?
有人麵臨類似的情況嗎?

1接受解決方案

接受的解決方案

Kaniz
社區經理
社區經理

@Michael_Galli,使疾病預防控製中心在三角洲表不應該直接影響你現有的下遊流。然而,也有一些注意事項你應該記住:

•如果δ表的模式改變後流讀取已開始對表,查詢將失敗。這是因為結構化流火花需要已知當流工作模式啟動和保持不變的時間流。如果您添加新列,它可以被視為一種模式變化和可以導致現有的流媒體查詢失敗。你可以解決這個問題通過重啟後的流模式的變化。

•如果您計劃使用新列在你的下遊流,您可能需要重構你的代碼,包括這些新列。

這是源用於提供答案:
(δ表來源)(https://docs.m.eheci.com/structured-streaming/delta-lake.html delta-table-as-a-source從磚的文檔)。

在原帖子查看解決方案

1回複1

Kaniz
社區經理
社區經理

@Michael_Galli,使疾病預防控製中心在三角洲表不應該直接影響你現有的下遊流。然而,也有一些注意事項你應該記住:

•如果δ表的模式改變後流讀取已開始對表,查詢將失敗。這是因為結構化流火花需要已知當流工作模式啟動和保持不變的時間流。如果您添加新列,它可以被視為一種模式變化和可以導致現有的流媒體查詢失敗。你可以解決這個問題通過重啟後的流模式的變化。

•如果您計劃使用新列在你的下遊流,您可能需要重構你的代碼,包括這些新列。

這是源用於提供答案:
(δ表來源)(https://docs.m.eheci.com/structured-streaming/delta-lake.html delta-table-as-a-source從磚的文檔)。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map