多個流源相同的δ表

[哈裏]

有可能有兩個流源做合並到同一個三角洲表每個源設置一組不同的字段?

我們試圖創建一個表,將服務層所使用的查詢。表可以從多個源表填充每個貢獻一組字段水槽模式。

查詢樣例場景:

並入水槽使用source_a source_a。id =下沉。當匹配然後更新設置id = source_a id。id = source_a總結。總結,描述= source_a.description customerId = source_a。customerId不匹配時然後插入(id、摘要、描述、customerId)值(source_a。id, source_a。總結,source_a.description source_a。customerId)

並入水槽使用source_b source_b.customer。id =下沉。當匹配然後更新設置customerId = source_b customerId。customerId, customerName = source_b。customerName customerIndustry = source_b.customerIndustry

我新流,想知道是否有一些方法來實現這種使用流媒體查詢。目前看到的訂單問題合並數據時水槽,但有什麼可以做,這個問題。

[Zachary_Higgins]

不確定你的分區模式,但是要小心,你可以遇到問題並發更新相同的分區。並發控製|磚在AWS上。在這種情況下,我通常設置觸發運行一次,每個合並更新同步運行,並將安排工作。

什麼樣的“秩序”的問題你看到了嗎?

[哈裏]

嗨@Zachary希金斯

謝謝你的回複

目前,我們還使用觸發器。一旦這樣我們可以妥善處理合並流依賴關係。但不知道我們是否可以擴展我們的管道流在未來通過改變觸發時間

謝謝你的頭有關並發性,我是假設一個悲觀並發控製δ處理並發寫入相同的分區沒有異常或數據損壞。

我不認為我們可以支持完整的流管道如果可以並發問題

[Kaniz]

嗨@Zachary希金斯,我們一直沒有收到你最後的回應@Harikrishnan P H,我檢查是否你有一個決議。如果你有任何解決方案,請與社區共享相同的,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。

[Shourya]

嗨@Kaniz開羅

我在找類似的用例,我們有多個源表在青銅/銀,需要將數據推送到目標表相同。我們采用了一個數據庫作為銀我們的數據模型。如果你能提供一些文檔或URL,就太好了。