複製/克隆一個磚SQL表從另一個訂閱

[EDDatabricks]

我們想要複製一個磚SQL表存儲在一個數據存儲湖的刺激訂閱40 tb大小湖Dev訂閱數據存儲。

我們試圖複製存儲使用山azCopy然後複製存儲在磚,但它沒有工作。

我們終於設法複製表使用克隆的SQL命令如下:

1. 創建表如果不存在ORIGINAL_PROD使用三角洲位置“abfss: / / <容器> @ <帳戶>.dfs.core.windows.net/path/to/storage'
2. 創建或替換表CLONED_PROD克隆ORIGINAL_PROD位置的dbfs: / mnt / / /安裝/存儲的路徑
3. 刪除表ORIGINAL_PROD

上麵的過程,然而它似乎非常緩慢。它執行每個需要6-7hours完成200的任務。我們的集群配置8工人,因此25批次需要25 x7hours ~ 7天= 175小時

這是正確的和最優的方法嗎?

有什麼更好的方法來克隆大表之間的賬戶嗎?

[youssefmrini]

你可以試著用δ共享。

[Kaniz]

嗨@EDDatabricks EDDatabricks,我們一直沒有收到你自從上次反應@Youssef Mrini,我檢查,看看他的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

[匿名]

嗨@EDDatabricks EDDatabricks

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!