取消
顯示的結果
而不是尋找
你的意思是:

反模式:把數據從雲on-prem

Ruby8376
貢獻者

你好,

以我目前的項目,

目前狀況:Az磚流的工作從卡夫卡Json文件遷移到原始層(鋪文件),然後解析邏輯應用和8表中創建原始標準層。

要求:業務團隊希望從prem sql服務器上訪問這些數據,因此建議遵循一種反模式(將數據從雲on-prem),因為他們不能訪問磚由於技術的能力。

這是如何實現的呢?使用ADF ?

1接受解決方案

接受的解決方案

werners1
尊敬的貢獻者三世

你確實可以用ADF on-prem複製數據從雲。

然而,根據數據的大小,這可能需要一段時間。

我使用相同的模式,但對於聚合處理數據,這不是一個問題。

你也可以看看Azure突觸Serverless或δ共享,甚至SQL混合。

但如果數據必須on-prem,似乎一個副本的唯一方法。

在這種情況下,我嚐試使用混合基的副本(我認為最新版本的Sql服務器可以使用這個)。

但我強烈建議不動on-prem原始數據。

有幾種可能性使用SQL查詢雲數據(也許不是SQL server但Azure突觸Serverless還使用t - SQL初版)

在原帖子查看解決方案

9回複9

Ruby8376
貢獻者

@Werner Stinckens你能幫助嗎?

werners1
尊敬的貢獻者三世

你確實可以用ADF on-prem複製數據從雲。

然而,根據數據的大小,這可能需要一段時間。

我使用相同的模式,但對於聚合處理數據,這不是一個問題。

你也可以看看Azure突觸Serverless或δ共享,甚至SQL混合。

但如果數據必須on-prem,似乎一個副本的唯一方法。

在這種情況下,我嚐試使用混合基的副本(我認為最新版本的Sql服務器可以使用這個)。

但我強烈建議不動on-prem原始數據。

有幾種可能性使用SQL查詢雲數據(也許不是SQL server但Azure突觸Serverless還使用t - SQL初版)

嘿謝謝你@Werner Stinckens。

是的,這是一個必須移動數據,但是過猶不及。你能分享鏈接/指南一樣嗎?

我會通過以下鏈接,看起來不會是直接複製從三角洲湖。我需要使用一個臨時Azure存儲實例(從三角洲湖舉行複製)?

https://docs.microsoft.com/en-us/azure/data-factory/connector-azure-databricks-delta-lake?tabs=data-..。

werners1
尊敬的貢獻者三世

我想是的。舉行複製可能是三角洲湖表的鑲花版之類的(我不複製三角洲湖prem rdmbs目前)。

如果要複製的表不是三角洲湖但拚花,staging不是必需的。

分段不花費很多時間,當然不是插入SQL Server相比!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map