馮non-CDC源遷移到疾控中心。下遊的後果?

[Michael_Galli]

我有一個問題關於流與疾控中心。
我們目前有一個差值表疾控中心尚未啟用,及其後的來源為其他流讀取表。
新usecase趕上變化,我們需要啟用疾控中心那張桌子了。會影響現有的下遊流,如導致代碼重構?
有人麵臨類似的情況嗎?

[Kaniz · Accepted solution]

嗨@Michael_Galli,使疾病預防控製中心在三角洲表不應該直接影響你現有的下遊流。然而,也有一些注意事項你應該記住:

•如果δ表的模式改變後流讀取已開始對表,查詢將失敗。這是因為結構化流火花需要已知當流工作模式啟動和保持不變的時間流。如果您添加新列,它可以被視為一種模式變化和可以導致現有的流媒體查詢失敗。你可以解決這個問題通過重啟後的流模式的變化。

•如果您計劃使用新列在你的下遊流,您可能需要重構你的代碼,包括這些新列。

這是源用於提供答案:
(δ表來源)(https://docs.m.eheci.com/structured-streaming/delta-lake.html delta-table-as-a-source從磚的文檔)。