聯合目錄是什麼?

本文介紹了統一目錄,Lakehouse磚數據治理解決方案。

統一目錄的概述

在統一編目、管理員和管理員管理用戶和他們的數據訪問數據集中所有的工作區磚帳戶。用戶在不同的工作區可以共享訪問相同的數據,根據權限集中在統一目錄。

統一目錄的主要特點包括:

定義一次,安全無處不在:統一目錄提供了一個地方管理數據訪問政策應用在所有工作區和角色。
符合標準的安全模型:統一目錄的安全模型是基於標準ANSI SQL和允許管理員授予權限的現有數據使用熟悉的語法,湖的目錄、數據庫(也稱為模式),表和視圖。
內置的審計:統一目錄自動捕獲用戶級審計日誌記錄訪問您的數據。

統一目錄對象模型

在統一目錄,主要數據對象的層次結構從metastore流向表:

Metastore元數據:頂層容器。每個metastore公開了一個三級名稱空間(目錄。模式。表),組織您的數據。
目錄:對象層次結構的第一層,用來組織你的數據資產。
模式:也稱為數據庫,模式是第二層的對象層次結構,包含表和視圖。
表:在對象層次結構的最低水平,表外部雲存儲(存儲在外部的位置在你的選擇)管理表(存儲在雲存儲中存儲容器創建明確磚)。您還可以創建隻讀的的觀點從表。

你引用的所有數據在統一目錄使用三級名稱空間。

Metastores

metastore頂層容器的對象在統一目錄。它存儲數據資產(表和視圖)和控製訪問權限。磚帳戶管理員可以創建metastores並將它們分配給磚工作區來控製每個metastore工作負載使用。工作區使用統一目錄,它必須有一個統一的目錄metastore附呈。

每個metastore配置了一個根存儲位置在AWS帳戶S3存儲桶中。這對元數據和存儲位置使用管理表數據。

請注意

這種metastore有別於metastore包含在磚工作區之前創建統一的目錄被釋放。如果您的工作區包括遺留蜂巢metastore, metastore可用的數據統一目錄命名的目錄中hive_metastore。

看到創建一個目錄metastore統一。

模式

一個模式(也稱為一個數據庫)是統一目錄的第二層三級名稱空間。一個模式組織表和視圖。訪問(或列表)中的表或視圖模式,用戶必須有使用數據權限模式和它的父目錄,他們必須有選擇允許在表或視圖。

看到創建和管理模式(數據庫)。

表

表統一目錄駐留在第三層的三級名稱空間。它包含的數據行。創建一個表,用戶必須有創建和使用模式的權限,他們必須有使用允許在它的父目錄。查詢一個表,用戶必須有選擇允許在桌子上,他們必須有使用允許在母公司模式和目錄。

一個表可以管理或外部。

管理表

管理表默認統一目錄創建表的方法。這些表存儲在根存儲位置配置創建metastore時。他們使用的δ表的格式。

當一個表被刪除管理,基礎數據被刪除從您的雲在30天內租戶。

看到管理表。

外部表

外部表是表的數據存儲在根存儲位置。使用外部表隻有當你需要使用其他工具直接訪問數據。

當你刪除一個外部表,統一目錄不會刪除底層數據。管理外部表上的特權,可以在查詢中使用相同的方式管理表。

外部表可以使用以下文件格式:

看到外部表。

存儲憑證和外部的位置

管理訪問底層雲存儲為一個外部表,統一目錄介紹以下對象類型:

存儲憑證封裝一個長期雲憑據提供對雲存儲的訪問。例如,一個我的角色可以訪問S3 bucket。
外部位置包含一個引用存儲憑證和雲存儲路徑。

看到管理外部位置和存儲憑證。

的觀點

一個視圖是一個隻讀對象創建從一個或多個metastore表和視圖。它駐留在統一目錄的第三層三級名稱空間。一個視圖可以從多個表和其他視圖創建模式和目錄。您可以創建動態視圖使行和列級權限。

看到創建一個動態視圖。

統一身份管理目錄

統一目錄使用磚帳戶的身份來解決用戶、服務主體,組織,執行權限。

配置身份的賬戶,按照說明管理用戶、組和服務主體。是指用戶,服務主體,當您創建組訪問控製策略在統一目錄。

統一目錄用戶、服務主體和組也必須被添加到工作區目錄數據訪問統一在一個筆記本,一個磚的SQL查詢,數據瀏覽,或者一個REST API命令。用戶的分配、服務主體和組織工作聯合身份驗證。

所有工作空間統一目錄metastore附加到支持聯合身份驗證。

特殊注意事項集團

任何團體已經存在於工作區標記工作空間的地方在控製台。這些workspace-local組不能用於統一目錄定義訪問策略。您必須使用帳戶級別組。如果workspace-local組中引用一個命令,該命令將返回一個錯誤,沒有找到。如果您之前使用workspace-local組來管理訪問筆記本和其他構件,這些權限仍然有效。

看到管理組。

為統一目錄管理角色

以下所需管理角色管理統一目錄:

賬戶管理員可以管理的身份,雲資源和創建工作區和統一目錄metastores。
管理員可以為統一啟用工作區目錄。他們可以資助工作區和metastore管理權限。出於安全原因,我們建議您限製賬戶管理員的數量在一個帳戶。
Metastore管理員可以管理權限和所有權metastore內所有可獲得的對象,比如誰可以創建目錄或查詢一個表。
帳戶管理誰創建統一目錄metastore成為初始metastore admin。metastore管理員也可以選擇將這個角色委托給另一個用戶或組。我們建議把metastore管理員分配給一組,在這種情況下,集團的任何成員接收metastore管理員的特權。看到(推薦)所有權轉移的metastore一組。
工作空間管理員磚工作區可以添加用戶,分配他們的工作區管理角色,和管理訪問對象和功能在工作區中,如創建集群的能力和改變工作的所有權。應該有一個有限的空間管理員在每個工作區。

看到管理用戶、組和服務主體。

數據權限統一目錄

在統一目錄,默認數據是安全的。最初,用戶沒有訪問metastore中的數據。訪問可以頒發metastore管理,一個對象的所有者,或者目錄的所有者或模式包含對象。

您可以使用數據分配和撤銷權限探險家,SQL命令,或REST api。

看到統一目錄管理權限。

集群統一目錄的訪問模式

訪問數據在統一目錄,集群必須使用正確的配置訪問模式。統一目錄默認情況下是安全的。如果沒有配置了一個集群Unity-Catalog-capable訪問模式(即共享或單用戶),集群不能訪問數據在統一目錄。

看到創建集群和SQL倉庫可以訪問統一目錄。

我怎樣為我的組織建立統一目錄嗎?

為您的組織建立統一目錄,您執行以下操作:

配置一個S3 bucket和我角色統一目錄可以使用AWS帳戶存儲和訪問數據。
為每個區域中創建一個metastore您的組織運作,並附上metastore工作區。每個工作空間都有相同的觀點統一的數據管理目錄。
如果你有一個新的帳戶,添加用戶、組和磚帳戶服務主體。

接下來,您創建和授權訪問目錄、模式、和表。

完整的安裝指導,明白了開始使用統一目錄。