遷移的團結與磚遷移工具的目錄文件

[weinino]

你好,

我目前遷移磚(metastores,工作區等)從Azure AWS使用磚遷移工具。在遷移過程中挖掘代碼之後,我得出結論,該工具隻支持一個遷移的內置的蜂巢metastore但不是定製metastores統一目錄。

Q1:這是正確的還是我負責什麼嗎?

如果是,我想擴展代碼,即適應導出/導入功能的蜂巢metastore HiveClient支持其他自定義metastores從統一目錄。具體來說,這意味著MetastoreExportTask和MetastoreTableACLExportTask改編。

Q2:還有什麼需要考慮的嗎?

我也意識到,遷移工具隻導出/導入數據庫和表的定義,而不是數據本身。這也是在遷移工具的文檔頁麵。

”注意DBFS數據遷移:

DBFS是受保護的對象存儲位置在AWS和Azure。請聯係你的磚支持團隊的信息遷移DBFS資源。”

第三季度:什麼是首選方法DBFS從Azure中的數據遷移到AWS嗎?有可能隻是將所有文件/文件夾下老DBFS根新DBFS根?

提前謝謝!

[Vinay123]

我也尋找統一的複製catlog aws上其他地區。這樣我可以連接到不同的工作區在同一地區

[karthik_p]

@Nino Weingart是的你是對的,至於統一目錄遷移不支持當前腳本,磚的團隊可以幫助如果他們的領域工程團隊工作

數據遷移,1。什麼是你當前DBFS大小2。有聯合國希望數據3。刪除聯合國使用的數據4。如果是規模較小的磚團隊可以幫助5。如果大小是更多的考慮將數據轉化為答辯表如果他們管理表,然後您的數據將駐留在外部存儲,您可以使用特定於雲計算的工具遷移數據

[Vinay123]

https://community.m.eheci.com/s/question/0D58Y0000ACZL5vSQH/unity-catlog-replication-or-disaster-..。

你能建議任何解決方案或你的想法在這個@karthik p

[weinino]

@karthik p好了,謝謝你的確認。

數據遷移:

免責聲明:我們正在做的遷移是相當“POC”理解的過程和限製我們的客戶。

1. 它是沒有真正的工作空間,因此DBFS很小。然而它應該像和幾個GB的數據。
2. 與1相同。,but for simplicity I would say we need all the data.
3. 與2相同。,all data should be migrated
4. 好的,我明白了。你能確認,把所有文件/文件夾下老DBFS根之間的任何適當的數據傳輸方法的新的雲供應商應該沒有任何除了工作嗎?
5. 當我正確理解你,這意味著,
   1. 預遷移:為每個管理表創建一個外部表數據的一個副本
   2. 可選:更新舊的工作區中所有引用的外部數據如果舊腳本仍然需要工作
   3. 遷移:將數據複製到新的雲供應商數據存儲
   4. 可選:創建管理表在每個遷移新工作區外部表,複製數據,改變使用內部表的引用