聯合目錄是什麼?

Metastores

metastore頂層容器的對象在統一目錄。它存儲關於數據資產元數據(表和視圖)和控製訪問權限。磚帳戶管理員應該為每個區域中創建一個metastore操作,並將它們分配給磚工作區在同一地區。工作區使用統一目錄,它必須有一個統一的目錄metastore附呈。

每個metastore配置管理存儲位置在AWS帳戶S3存儲桶中。看到管理存儲。

看到創建一個目錄metastore統一。

管理存儲

當一個帳戶管理員創建一個metastore,他們必須關聯存儲位置在AWS帳戶使用S3存儲桶中管理存儲。統一目錄還允許用戶將管理存儲位置與目錄和模式。

管理存儲有以下屬性:

• 卷管理表和管理數據和元數據文件存儲在存儲管理。

• 管理存儲不能重疊與外部表、外部卷或其他存儲管理。

下表描述了如何管理存儲聲明和相關的統一編目對象:

托管存儲位置用來存儲數據和元數據管理表和管理卷使用以下規則:

• 如果包含模式管理的位置,數據存儲在模式管理的位置。

• 如果包含模式沒有位置但目錄管理位置管理,管理的數據存儲在目錄的位置。

• 如果既不包含模式也不包含目錄的管理位置,數據存儲在metastore管理位置。

存儲憑證和外部的位置

管理訪問底層雲存儲為外部表,外卷,和管理存儲,統一目錄介紹以下對象類型:

• 存儲憑證封裝一個長期雲憑據提供對雲存儲的訪問。例如,一個我的角色可以訪問S3 bucket。

• 外部位置包含一個引用存儲憑證和雲存儲路徑。

看到管理外部位置和存儲憑證。

目錄

統一目錄的目錄是第一層三級名稱空間。它是用來組織你的數據資產。用戶可以看到他們被分配的所有目錄使用目錄數據權限。

所有用戶的使用目錄許可的主要目錄。的主要目錄是用於組織剛剛開始統一目錄。添加用戶和數據時,您應該添加目錄保持數據層次結構,可以有效地控製訪問。

看到創建和管理目錄。

模式

一個模式(也稱為一個數據庫)是統一目錄的第二層三級名稱空間。一個模式組織表和視圖。用戶可以看到他們被分配的所有模式使用模式許可,以及使用目錄許可模式的父目錄。訪問或列表中的一個表或視圖模式,用戶還必須選擇允許在表或視圖。

看到創建和管理模式(數據庫)。

卷

卷駐留在第三層的聯合目錄的三級名稱空間。卷是兄弟姐妹表、視圖和其他對象組織在統一模式下目錄。

卷包含數據存儲在任何目錄和文件格式。卷提供non-tabular訪問數據,這意味著文件卷不能被注冊為表。

• 創建卷,用戶必須有創建體積和使用模式模式的權限,他們必須有使用目錄允許在它的父目錄。

• 讀文件和目錄存儲在一個卷,用戶必須有讀體積許可,使用模式允許在母公司模式,使用目錄允許在它的父目錄。

• 添加、刪除或修改文件和目錄存儲在一個體積,用戶必須有寫體積許可,使用模式允許在母公司模式,使用目錄允許在它的父目錄。

一個卷可以管理或外部。

表

表統一目錄駐留在第三層的三級名稱空間。它包含的數據行。創建一個表,用戶必須有創建和使用模式模式的權限,他們必須有使用目錄允許在它的父目錄。查詢一個表,用戶必須有選擇許可,使用模式允許在母公司模式,使用目錄允許在它的父目錄。

一個表可以管理或外部。

的觀點

一個視圖是一個隻讀對象創建從一個或多個metastore表和視圖。它駐留在統一目錄的第三層三級名稱空間。一個視圖可以從多個表和其他視圖創建模式和目錄。您可以創建動態視圖使行和列級權限。

看到創建一個動態視圖。

模型

模型位於第三層的聯合目錄的三級名稱空間。在這種背景下,“模式”是指一個注冊的機器學習模型MLflow模型注冊。在統一目錄創建一個模型,用戶必須有創建模型特權的目錄或模式。用戶也必須有使用目錄在父目錄和特權使用模式在家長模式。

特殊注意事項集團

任何團體已經存在於工作區標記工作空間的地方在控製台。這些workspace-local組不能用於統一目錄定義訪問策略。您必須使用帳戶級別組。如果workspace-local組中引用一個命令,該命令將返回一個錯誤,沒有找到。如果您之前使用workspace-local組來管理訪問筆記本和其他構件,這些權限仍然有效。

看到管理組。

一般的局限性

• Scala、R和工作負載使用磚運行時對集群使用機器學習隻支持單用戶訪問模式。工作負載在這些語言不支持使用行級或列級安全的動態視圖。

• 在磚運行時13.1及以上,淺克隆支持創建統一目錄管理表從現有統一目錄管理表。在磚運行時的13.0和下麵,沒有支持淺克隆統一目錄。看到統一目錄管理表淺克隆。

• 用桶裝不支持統一目錄表。如果你運行命令,試圖創建一個桶表統一目錄,它會拋出一個異常。

• 寫入相同的路徑或三角洲湖表工作區在多個區域可以導致不可靠的性能,如果一些集群訪問目錄和其他不統一。

• 使用命令創建的自定義分區方案改變表添加分區不支持統一目錄表。統一使用目錄風格的分區的目錄可以訪問表。

• 覆蓋模式DataFrame寫操作為三角洲隻支持統一目錄表,不為其他文件格式。用戶必須有創建在家長模式和特權必須現有對象的所有者或有修改對象上的特權。

• Spark-submit工作支持單用戶訪問但不能共享集群。看到集群訪問模式是什麼?。

• 在磚運行時的13.1和下麵,你不能使用Python udf,包括UDAFs UDTFs,熊貓在火花(applyInPandas和mapInPandas)。在磚運行時13.2及以上,Python支持udf。

• 以前在一個工作區中創建(即工作空間層組)不能用於統一目錄GRANT語句。這是確保一致的視圖的團體可以跨工作區。使用GRANT語句組,創建你的組帳戶級別和更新任何自動化的主體或組管理(如SCIM, Okta和AAD連接器,起程拓殖)端點引用賬戶而不是工作區端點。看到賬戶組和workspace-local組之間的區別。

• 標準Scala不支持線程池。相反,使用特殊的線程池org.apache.spark.util.ThreadUtils例如,org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool。然而,下麵的線程池ThreadUtils不支持:ThreadUtils.newForkJoinPool和任何ScheduledExecutorService線程池。

以下限製適用於所有對象名稱統一目錄:

• 對象名稱不能超過255個字符。

• 以下不允許特殊字符:

  • 時期(。)

  • 空間()

  • 正斜杠(/)

• 所有的ASCII控製字符(00-1F十六進製)

• 刪除字符(7 f十六進製)

• 統一目錄商店所有對象名稱為小寫。

• 在SQL引用加州大學的名字時,你必須使用引號來逃避名稱包含特殊字符,如連字符(- - - - - -)。

結構化流媒體支持

支持結構化流在統一編目表(管理或外部)取決於你是磚運行時版本上運行,不管你是使用共享或單個用戶訪問模式。

支持共享集群需要磚運行時的12.2 LTS和上麵,用以下限製:

• Python。

• 不支持Apache火花連續處理模式。看到連續處理在火花結構化流編程指南。

• applyInPandasWithState不支持。

• 不支持使用套接字的來源。

• StreamingQueryListener不能使用憑證或與對象由統一目錄管理。

• 的sourceArchiveDir必須在同一外部位置作為源當你使用選項(“cleanSource”,“檔案”)與數據源由統一目錄管理。

• 卡夫卡的源和彙,下列選項不支持:

  • kafka.sasl.client.callback.handler.class

  • kafka.sasl.login.callback.handler.class

  • kafka.sasl.login.class

  • kafka.partition.assignment.strategy

• 以下卡夫卡選項在磚13.0運行時支持但不支持在運行時12.2 LTS磚。你隻能為這些選項指定外部位置由統一目錄管理:

  • kafka.ssl.truststore.location

  • kafka.ssl.keystore.location

支持單用戶訪問運行時可以在磚11.3 LTS以上,用以下限製:

• 不支持Apache火花連續處理模式。看到連續處理在火花結構化流編程指南。

• StreamingQueryListener不能使用憑證或與對象由統一目錄管理。

• 不支持異步檢查點在磚運行時11.3 LTS下麵。它是在磚運行時支持12.0及以上。

另請參閱使用統一的目錄和結構化流。