備份目錄和統一管理表

[Ashley1]

你好,

誰能告訴我文檔或者親自嚐試和測試的備份和恢複方法統一目錄管理及其相關表嗎?我們在Azure上運行,並使用ADLS代。

問候,

阿什利

[karthik_p]

貝茨@Ashley我可以知道需要備份和re-store,通常作為最佳實踐表數據存儲在外部位置或外部表不表管理。如果你存儲數據,外部表定期複製或備份機製。將等待如果我們能得到更多的信息我們的社區成員嗎

[帕特]

嗨@karthik p,

我不得不同意。

管理表默認統一目錄創建表的方法。這些表存儲在統一目錄根存儲位置,你當你創建了一個metastore配置。磚建議使用管理表盡可能確保支持統一編目功能。所有管理表使用三角洲湖。

來源:https://docs.m.eheci.com/data-governance/unity-catalog/best-practices.html organize-your-data

貝茨@Ashley如果你看到這個:

每個metastore配置了一個根存儲位置,用於管理表。您需要確保用戶直接訪問該存儲位置。給訪問存儲位置可以允許用戶繞過訪問控製在一個統一的目錄metastore和幹擾可審核性。由於這些原因,你不應該重用一桶,你目前DBFS根文件係統或以前一直是DBFS根文件係統根目錄metastore統一存儲位置。

來源:https://docs.m.eheci.com/data-governance/unity-catalog/best-practices.html configure-a-unity-cata……

我沒有資源UC備份。如果你閱讀上麵你可以發現統一目錄/ metastore管理表存儲在metastore根鬥。

你應該創建一個磚使用我的角色給訪問存儲桶,所以基本上不應該有其他機製來讀/寫數據(數據磚外),以確保數據不會被損壞,或者有人會繞過訪問控製設置在統一目錄。當你使用增量表可以使用時間旅行恢複之前版本的表。

備份似乎棘手的管理表不再存儲在位置對應的名字,但是我認為他們有某種形式的uuid和映射表名的位置存儲在磚控製平麵(數據庫/後端)。

我一直喜歡外部表,但加州大學我更傾向管理表。

謝謝,

帕特。

[karthik_p]

@Pat Sienkiewicz你是對的,我有些方麵我認為(外部表存儲的建議是沒有加州大學)。統一目錄管理表的metastore根存儲建議。謝謝以上職位貝茨@Ashley帕特反應將提供你更多的信息。

@Pat Sienkiewicz問題,但是這裏我有一個備份,我記得磚E2的遷移,我們已經表數據將在/ user /蜂巢/倉庫,如果這是可能的加州大學metastore管理表遷移也應該是可能的。

[帕特]

@karthik p遷移是一個不同的故事。

隻是一些想法,數據遷移到不同的metastore /加州大學一個可以用δ分享然後傳輸數據。這裏有許多選項例如深拷貝,插入新表等。

其他選項是設置外部位置在當前工作區中/ uc結束外部表導出數據。

謝謝,

帕特。