反模式:把數據從雲on-prem

[Ruby8376]

你好,

以我目前的項目,

目前狀況:Az磚流的工作從卡夫卡Json文件遷移到原始層(鋪文件),然後解析邏輯應用和8表中創建原始標準層。

要求:業務團隊希望從prem sql服務器上訪問這些數據,因此建議遵循一種反模式(將數據從雲on-prem),因為他們不能訪問磚由於技術的能力。

這是如何實現的呢?使用ADF ?

[Ruby8376]

目前,數據被讀取json文件,落進原始層鋪格式,創建表1後,整個數據插入(1常見原料標準化的表),然後使用解析邏輯創建不同的表。

你的建議是什麼移動這個prem rdbms數據嗎?

[werners1]

這取決於用例。如果你的同事想做特別分析這些解析表,然後是的。但是如果他們有一個特定的用例(或是幾部),我準備/轉換/聚合數據,發送到sql server。

[Ruby8376]

同意!我唯一擔心的是解析邏輯必須應用在寫prem sql服務器上的數據。我們應該將這個數據移動到阿茲sql第一?

[werners1]

我所有的邏輯應用在磚/火花的並行處理的優勢。阿茲寫準備數據,所以沒有轉換在rdbms。

[Kaniz]

嗨@Ruby Rubi,我們一直沒有收到你最後的回應@Werner Stinckens,我檢查,看看他的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。