Lakehouse聯盟磚

預覽

這個特性是在公共預覽。

本文描述了如何設置Lakehouse聯合會在另一個磚磚上運行聯邦查詢數據工作區。更多地了解Lakehouse聯合會使用Lakehouse聯合運行查詢。

重要的

Databricks-to-Databricks Lakehouse聯合會是一個很好的工具,運行查詢數據由另一個磚工作區蜂巢或AWS膠水metastore。對於大多數其他場景,其他磚工作流更有效:

如果磚工作區metastore共享相同的統一目錄,您可以使用標準的統一管理cross-workspace查詢目錄查詢和數據治理工具。
如果你想要隻讀訪問數據在一個磚工作區連接到一個不同的目錄metastore統一,是否在你的磚賬戶,δ共享是一個更好的選擇。

沒有需要設置Lakehouse聯合會在這兩種場景中。

連接到磚在另一個工作空間目錄使用Lakehouse聯合會,你必須創建下麵的磚統一目錄metastore:

一個集群或SQL倉庫裏一個磚的工作區。
一個連接向集群或SQL倉庫。
一個外國目錄統一目錄metastore中反映了其他磚目錄從集群或SQL訪問倉庫,這樣您就可以使用統一目錄查詢語法和數據管理工具來管理數據磚用戶訪問數據。

在你開始之前

工作要求:

計算要求:

從你的磚運行的集群或網絡連接SQL倉庫到目標數據庫係統。看到網絡對Lakehouse聯合會的建議。
磚集群必須使用磚集群運行時13.1或更高版本和共享訪問模式。
SQL必須讚成或Serverless倉庫。

權限要求:

創建一個連接,你必須是一個metastore管理員或用戶創建連接特權在統一目錄metastore連接到工作區。
創建一個外國目錄,你必須有創建目錄許可metastore和連接的所有者或有創建外國目錄特權的連接。

額外的權限需求中指定的每個任務部分。

你也必須有一個活躍的集群或SQL倉庫磚工作區中您使用配置連接。

創建一個連接

指定路徑和憑證的連接來訪問外部數據庫係統。創建一個連接,您可以使用瀏覽器或數據創建連接SQL命令在磚磚筆記本或SQL查詢編輯器。

權限要求:Metastore管理員或用戶創建連接特權。

在你的磚工作區,點擊數據。
在左窗格中,展開外部數據菜單並選擇連接。
點擊創建連接。
輸入一個用戶友好的連接名。
選擇一個連接類型的磚。
輸入以下其他磚實例的連接屬性。
- 主機:工作區實例名。學習如何把工作區實例名,明白了工作區對象的標識符。
- HTTP路徑:您的SQL的HTTP路徑倉庫。的道路,去SQL > SQL倉庫在側邊欄,選擇SQL倉庫,去連接細節選項卡,然後拷貝的值HTTP路徑。
- 個人訪問令牌:一個磚個人訪問令牌,使訪問目標工作區。學習如何得到一個令牌,看到的磚個人訪問令牌認證。為連接,磚建議使用個人服務主體的訪問令牌。
(可選)單擊測試連接確認它的工作原理。
(可選)添加一個評論。
點擊創建。

運行以下命令在筆記本或磚的SQL查詢編輯器,更換如下:

<名稱>:連接你創建用戶友好的名稱。
< workspace-instance >:目標工作區實例。學習如何把工作區實例名,明白了工作區對象的標識符。
< sql-warehouse-path >:您的SQL的HTTP路徑倉庫。的道路,去SQL > SQL倉庫在側邊欄,選擇SQL倉庫,去連接細節選項卡,然後拷貝的值HTTP路徑。
< personal-access-token >:一個磚個人訪問令牌,使訪問目標工作區。學習如何得到一個令牌,看到的磚個人訪問令牌認證。連接,磚建議你使用一個服務主體的個人訪問令牌。

               創建連接<連接- - - - - -的名字>類型磚選項(主機“< workspace-instance >”,httpPath“< sql-warehouse-path >”,令牌“< personal-access-token >”);
              

我們建議您使用磚秘密而不是純文本字符串為敏感值等憑證。例如:

               創建連接<連接- - - - - -的名字>類型磚選項(主機“< workspace-instance >”,httpPath“< sql-warehouse-path >”,令牌秘密(“< secret-scope >”,“< secret-key-password >”))
              

設置機密信息,請參閱保密管理。

創建一個外國目錄

外國目錄鏡像目錄外磚的工作區中,這樣您就可以查詢和管理數據訪問外部數據磚目錄,就好像它是在自己的workspsace目錄。創建一個外國目錄,您可以使用一個連接到外部數據磚工作區已經定義。

創建一個外國目錄,您可以使用瀏覽器或數據創建外國目錄SQL命令在磚磚筆記本或SQL查詢編輯器。

權限要求:創建目錄許可metastore和連接的所有權或創建外國目錄特權的連接。

運行以下SQL命令在筆記本或磚SQL編輯器。物品在括號中是可選的。替換占位符的值:

<目錄名稱>:您正在創建的外國目錄的名稱。
<名稱>:連接對象路徑,指定了數據源和訪問憑證。
< external-catalog-name >:外部數據磚工作區目錄的名稱,你是鏡像。

               創建外國目錄(如果不存在]<目錄- - - - - -的名字>使用連接<連接- - - - - -的名字>選項(目錄“< external-catalog-name >”);
              