反模式:把數據從雲on-prem

[Ruby8376]

你好,

以我目前的項目,

目前狀況:Az磚流的工作從卡夫卡Json文件遷移到原始層(鋪文件),然後解析邏輯應用和8表中創建原始標準層。

要求:業務團隊希望從prem sql服務器上訪問這些數據,因此建議遵循一種反模式(將數據從雲on-prem),因為他們不能訪問磚由於技術的能力。

這是如何實現的呢?使用ADF ?

[Ruby8376]

@Werner Stinckens你能幫助嗎?

[werners1 · Accepted solution]

你確實可以用ADF on-prem複製數據從雲。

然而,根據數據的大小,這可能需要一段時間。

我使用相同的模式,但對於聚合處理數據,這不是一個問題。

你也可以看看Azure突觸Serverless或δ共享,甚至SQL混合。

但如果數據必須on-prem,似乎一個副本的唯一方法。

在這種情況下,我嚐試使用混合基的副本(我認為最新版本的Sql服務器可以使用這個)。

但我強烈建議不動on-prem原始數據。

有幾種可能性使用SQL查詢雲數據(也許不是SQL server但Azure突觸Serverless還使用t - SQL初版)

[Ruby8376]

嘿謝謝你@Werner Stinckens。

是的,這是一個必須移動數據,但是過猶不及。你能分享鏈接/指南一樣嗎?

我會通過以下鏈接,看起來不會是直接複製從三角洲湖。我需要使用一個臨時Azure存儲實例(從三角洲湖舉行複製)?

https://docs.microsoft.com/en-us/azure/data-factory/connector-azure-databricks-delta-lake?tabs=data-..。

[werners1]

我想是的。舉行複製可能是三角洲湖表的鑲花版之類的(我不複製三角洲湖prem rdmbs目前)。

如果要複製的表不是三角洲湖但拚花,staging不是必需的。

分段不花費很多時間,當然不是插入SQL Server相比!