創建卷

預覽

這個特性是在公共預覽。使用卷時,您必須使用SQL倉庫在SQL計算版本2023.35或更高版本或集群運行磚運行時的13.2或以上,除非你使用的是磚ui數據瀏覽等。

本文介紹並描述了如何創建卷,統一編目對象表示一個邏輯卷的存儲在雲對象存儲位置,主要是為了提供治理non-tabular數據資產。

統一目錄冊是什麼?

卷是統一編目對象表示一個邏輯卷的存儲在雲對象存儲位置。卷提供訪問的功能,存儲、管理和組織文件。雖然表提供治理在表格數據集,卷添加治理non-tabular數據集。您可以使用卷存儲和訪問任何格式的文件,包括結構化、半結構化和非結構化數據。

有管理的體積是多少?

一個管理卷是一個團結Catalog-governed存儲卷中創建包含模式的默認存儲位置。管理卷允許創建管理存儲處理文件沒有外部位置的開銷和存儲憑證。你不需要指定一個位置創建管理卷時,和所有文件訪問的數據量是通過管理路徑由統一目錄管理。看到路徑是用於訪問文件卷?。

當你刪除一個卷管理,文件存儲在本卷也被刪除從您的雲在30天內租戶。

一個外部的體積是多少?

一個外部卷是一個團結Catalog-governed存儲卷注冊對目錄內外部位置使用統一Catalog-governed存儲憑證。外部卷允許您添加統一編目數據治理現有雲對象存儲目錄。一些用例外部卷包括以下:

添加治理沒有遷移的數據文件。
管理文件由其他係統,必須攝取或訪問數據磚。
管理數據由磚必須直接從雲訪問對象存儲的其他係統。

外部卷必須在外部目錄位置由統一目錄存儲憑證。統一目錄不管理的生命周期或布局文件在外部卷。當你刪除一個外部卷、統一目錄不會刪除底層數據。

路徑是用於訪問文件卷?

的路徑訪問卷是一樣的你是否使用Apache火花,SQL, Python,或其他語言和庫。這不同於遺留在對象存儲文件的訪問模式綁定到一個磚工作區。

訪問文件的路徑在卷使用以下格式:

             /卷/ <目錄> / <模式> / <體積> / <路徑> / <文件- - - - - -的名字>
            

磚還支持一個可選的dbfs: /計劃使用Apache時火花,所以以下路徑也適用:

             dbfs:/卷/ <目錄> / <模式> / <體積> / <路徑> / <文件- - - - - -的名字>
            

序列/ <目錄> / <模式> / <卷>路徑對應於三統一目錄與文件相關聯的對象名稱。這些路徑元素是隻讀的,而不是直接用戶可寫的,這意味著它是不可能使用文件係統創建或刪除這些目錄操作。它們被自動管理和保持同步與相應的加州大學的實體。

卷的特權是什麼?

卷使用相同的基本特權模式表,但是關注授予訪問權限表查詢和操縱表中的行,卷關注處理文件的特權。因此,卷介紹以下特權:

看到統一目錄權限和可獲得的對象。

誰能管理卷特權?

你必須有所有者權限或刪除卷卷管理卷特權。統一目錄中的每個對象隻能有一個主分配作為一個主人,而所有權不級聯(也就是說,一個目錄的所有者不會自動成為目錄的所有對象的所有者),與所有權相關的權利適用於所有對象中包含一個對象。

這意味著,對於統一目錄冊,以下主體體積可以管理權限:

父目錄的所有者。
母公司的所有者模式。
體積的所有者。

雖然每個對象隻能有一個主人,磚建議分配所有權的大多數對象在一組,而不是單個用戶。初始所有權分配給用戶的任何對象創建該對象。看到管理統一編目對象所有權。

創建一個管理卷

您必須創建一個管理卷有以下權限:

資源	權限要求
模式	`使用模式`,`創建體積`
目錄	`使用目錄`

創建一個管理卷,使用下麵的語法:

               創建體積<目錄>。<模式>。<體積- - - - - -的名字>;
              

您可以創建一個管理在數據瀏覽器通過完成以下步驟:

在你的磚工作區,點擊數據。
搜索或瀏覽您想要添加體積的模式並選擇它。
單擊創建卷按鈕。(你必須有足夠的特權)。
輸入一個名稱的體積。
提供一個注釋(可選)。
點擊創建。

創建一個外部卷

你必須有以下權限創建一個外部卷:

資源	權限要求
外部位置	`創建外部體積`
模式	`使用模式`,`創建體積`
目錄	`使用目錄`

要創建一個外部卷,指定一個路徑在一個外部位置使用下麵的語法:

               創建外部體積<目錄>。<模式>。<外部- - - - - -體積- - - - - -的名字>位置s3: / / < external-location-bucket-path > / <目錄>的;
              

您可以創建一個外部卷在數據瀏覽器通過完成以下步驟:

在你的磚工作區,點擊數據。
搜索或瀏覽您想要添加體積的模式並選擇它。
單擊創建卷按鈕。(你必須有足夠的特權)。
輸入一個名稱的體積。
選擇外部創建卷的位置。
編輯路徑,以反映你想要創建的卷的子目錄。
提供一個注釋(可選)。
點擊創建。

減少一個卷

隻有具有所有者權限的用戶可以刪除一個卷。看到誰能管理卷特權?。

使用下麵的語法來減少體積:

             下降體積如果存在<體積- - - - - -的名字>;
            

當你管理體積下降,磚在30天內刪除底層數據。當你刪除一個外部卷,你把體積從統一目錄但底層數據在外部位置保持不變。

讀文件體積

你必須有以下權限查看卷或訪問文件的內容存儲在卷:

資源	權限要求
體積	`讀`
模式	`使用模式`
目錄	`使用目錄`

你使用路徑與卷的內容。看到路徑是用於訪問文件卷?。

移動、創建或刪除的文件在外部體積

你必須有以下權限,創建或刪除的文件存儲在卷:

資源	權限要求
體積	`讀`,`寫`
模式	`使用模式`
目錄	`使用目錄`

您可以使用% fs和% sh神奇的命令,磚utitliesfs命令,如開源命令os.listdir (),或者是上傳文件體積UI與文件。

示例筆記本:創建和使用卷

以下筆記本演示了基本的SQL語法來創建和相互作用統一目錄冊。

教程:統一目錄冊筆記本

在新標簽頁打開筆記本

保留路徑卷

用於訪問卷卷介紹下列預留路徑:

dbfs: /卷
/卷

請注意

路徑也留給這些路徑的潛在錯誤從Apache api和火花dbutils,包括/卷,/卷,/卷,不管他們之前dbfs: /。的路徑/ dbfs /卷也保留,但不能用於訪問卷。

卷在磚運行時僅支持13.2及以上。磚13.1運行時,下麵的行動/卷路徑可能會成功,但可以臨時性存儲磁盤寫入數據附加到計算集群而不是持久化數據統一目錄冊。

重要的

如果你有預先存在的數據存儲在一個保留DBFS根路徑,你可以支持文件來獲得暫時的訪問這些數據將它移動到另一個位置。

限製

以下限製適用:

你不能使用統一編目對象列表/卷/ <目錄名稱> / <模式名稱>模式。您必須使用完全限定路徑,包括卷名。
你不能使用數據瀏覽器刪除文件從卷。
DBFS端點的REST API不支持卷路徑。
卷被排除在全球搜索結果磚工作區。
你不能從卷安裝JAR庫。你不能從卷在集群上安裝庫單用戶訪問模式。
你不能指定卷作為集群日誌目的地交付。
% shmv不支持之間移動文件卷。使用dbutils.fs.mv或% shcp代替。
數據瀏覽器隻顯示1000文件/目錄中。
Scala支持卷僅限於Apache api和火花dbutils。udf和其他Scala IO代碼不能使用卷訪問數據。

你不能創建一個定製的Hadoop文件係統卷,意義不支持如下:

               進口org.apache.hadoop.fs.Path瓦爾路徑=新路徑(“dbfs: /卷/主/違約/測試容積/ file.txt”)瓦爾fs=路徑。getFileSystem(sc。hadoopConfiguration)fs。listStatus(路徑)
              

你不能上傳或下載文件支持的數量與AWS PrivateLink S3 bucket配置。
可用的卷在AWS政府雲計算市場區域。