讀取數據共享使用Databricks-to-Databricks三角洲共享

本文描述了如何讀取數據,與你共享使用Databricks-to-Databricks三角洲共享協議,磚管理數據共享的安全連接。與三角洲分享公開分享協議,Databricks-to-Databricks協議不需要證書文件(口令安全性)。

請注意

如果數據已經與你共享使用三角洲共享開放共享協議,明白了讀取數據共享使用三角洲共享開放共享

我如何讓我的團隊共享數據?

讀取數據和筆記本與你共享使用Databricks-to-Databricks協議,你必須是一個支持用戶數據磚工作區統一目錄。你的團隊成員為數據提供程序提供了一個惟一的標識符為磚工作區,和數據提供者使用標識符創建一個安全的共享連接與您的組織。然後共享數據可用的讀訪問您的工作區,任何更新,數據提供商使共享表、視圖和分區在近乎實時的反映在您的工作空間。

請注意

更新共享數據表和視圖在近乎實時出現在工作區中。然而,列改變(添加、重命名、刪除)可能不會出現在數據瀏覽器一分鍾。同樣,新的股票和更新股票(如每股增加新表)緩存一分鍾之前用於查看和查詢。

讀取數據,與你分享:

  1. 用戶在你的團隊發現了分享——容器的表、視圖和筆記本電腦,與你共享使用,創建一個共享目錄——頂層容器在磚統一目錄的所有數據。

  2. 用戶在您的團隊允許或拒絕訪問目錄和目錄內的對象(模式、表、視圖)團隊的其他成員。

  3. 你讀的表和視圖中的數據被授予訪問就像任何其他在磚你隻讀的表或視圖(選擇)訪問。

  4. 你預覽和克隆共享筆記本,隻要你有使用目錄目錄上的權限。

權限要求

能列表和視圖細節所有供應商和供應商股票,你必須metastore管理員或有使用提供者特權。其他用戶隻能訪問提供者和股票,他們自己的。

從提供者共享創建一個目錄,你必須metastore管理員、用戶的CREATE_CATALOG使用提供者統一目錄metastore特權,或一個用戶CREATE_CATALOG特權和提供程序對象的所有權。

能夠授予隻讀訪問模式(數據庫),表和視圖目錄中創建的共享遵循典型的統一目錄權限層次結構。能夠查看筆記本在目錄中創建的共享要求使用目錄目錄上的權限。看到管理模式和表的權限在三角洲共享目錄

查看供應商和股票

開始讀的數據與你共享一個數據提供者,您需要知道的名字提供者分享對象存儲在統一編目metastore一旦提供者與你共享數據。

提供者對象代表統一目錄metastore、雲平台,共享數據的地區組織的與你在一起時的感覺。Beplay体育安卓版本

共享對象表示提供者的表和視圖與你共享。

查看所有與你共享數據的提供者

查看可用的數據提供者列表,您可以使用數據瀏覽,磚統一目錄的CLI或顯示供應商SQL命令在磚磚筆記本或SQL查詢編輯器。

權限要求:你必須metastore管理員或有使用提供者特權。其他用戶隻能訪問提供者和提供者,他們自己的股票。

有關詳細信息,請參見查看供應商

查看供應商詳細信息

查看供應商的詳細信息,您可以使用數據瀏覽,磚統一目錄的CLI或描述提供者SQL命令在磚磚筆記本或SQL查詢編輯器。

權限要求:你必須是一個metastore管理,使用提供者特權,或自己的提供者對象。

有關詳細信息,請參見查看供應商詳細信息

查看股票

查看供應商的股票與你共享,您可以使用數據瀏覽,磚統一目錄的CLI或顯示股票提供者SQL命令在磚磚筆記本或SQL查詢編輯器。

權限要求:你必須是一個metastore管理,使用提供者特權,或自己的提供者對象。

有關詳細信息,請參見查看股票,提供者已經與你共享

一個共享的表中訪問數據

一個共享的表中讀取數據:

  1. 特權用戶必須創建一個共享的目錄,其中包含表。這可能是一個metastore管理,用戶的CREATE_CATALOG使用提供者統一目錄metastore特權,或一個用戶CREATE_CATALOG特權和提供程序對象的所有權。

  2. 用戶或用戶具有相同的權限必須授予您訪問共享表。

  3. 您可以訪問注冊表就像任何其他表目錄metastore你團結。

創建一個目錄

使數據共享訪問您的團隊,您必須創建一個共享的目錄。創建一個共享目錄,您可以使用數據瀏覽,磚統一編目CLI或SQL命令在磚磚筆記本或SQL查詢編輯器。

權限要求:metastore管理,用戶的CREATE_CATALOG使用提供者統一目錄metastore特權,或一個用戶CREATE_CATALOG特權和提供程序對象的所有權。

請注意

如果共享包含視圖,您必須使用一個目錄名稱不同目錄的名稱包含在提供者的metastore視圖。

  1. 在你的磚工作區,點擊數據圖標數據

  2. 在左窗格中,展開三角洲分享菜單並選擇和我分享

  3. 供應商選項卡上,選擇供應商。

  4. 股票選項卡,找到並點擊分享創建目錄分享一行。

  5. 輸入目錄的名稱和可選的評論。

  6. 點擊創建

運行以下命令在筆記本或磚的SQL查詢編輯器。

創建目錄(如果存在]<目錄- - - - - -的名字>使用分享<提供者- - - - - -的名字><分享- - - - - -的名字>;
磚unity-catalog目錄創建——名稱<目錄名稱> / <提供者姓名> /提供者——分享<共享名>

目錄創建一個共享目錄類型的三角洲共享。您可以查看瀏覽器目錄詳細信息頁麵的數據類型或通過運行描述目錄筆記本或磚SQL查詢的SQL命令。

δ共享目錄可以相同的方式管理定期統一目錄metastore目錄。您可以查看、更新和刪除一個三角洲共享目錄使用數據瀏覽,磚CLI和利用顯示目錄,描述目錄,改變目錄,下降目錄SQL命令。

三級名稱空間結構三角洲共享目錄下創建的股票是一樣的一個常規目錄統一目錄下:catalog.schema.table

下表數據共享目錄是隻讀的,這意味著您可以執行讀取操作描述,顯示,選擇。

筆記本電腦在一個共享目錄可以被任何用戶預覽和克隆使用目錄在目錄上。

管理模式和表的權限在三角洲共享目錄

默認情況下,這個目錄下的所有數據對象的所有者是一個創造者三角洲共享目錄和可以為其中的任何一個管理權限。

向下繼承特權,盡管一些工作區可能仍然沒有提供繼承的遺產安全模型。看到繼承模型。任何用戶授予選擇目錄將有特權選擇特權模式和表的所有特權的目錄,除非撤銷。你不能授予特權給編寫或更新訪問共享目錄或對象在δ共享目錄。

目錄所有者可以委托其他用戶或組的數據對象的所有權,從而允許用戶管理權限和對象生命周期的能力。

詳細信息管理數據對象上的特權使用統一目錄,看看統一目錄管理權限

一個共享的表中讀取數據

你可以閱讀表在共享數據使用任何工具的磚用戶:數據瀏覽,筆記本,SQL查詢,磚CLI和磚REST api。你必須有選擇特權在桌子上。

查詢一個表的曆史數據

如果曆史是共享的表,您可以查詢的表數據的版本或時間戳。需要磚運行時的12.1或以上。

例如:

選擇*疫苗vaccine_usvaccine_us_distribution版本作為3;選擇*疫苗vaccine_usvaccine_us_distribution時間戳作為“2023-01-01”就是;

此外,如果更改數據提要(CDF)啟用表,你可以查詢它。版本和時間戳都支持:

選擇*table_changes(“vaccine.vaccine_us.vaccine_us_distribution”,0,3);選擇*table_changes(“vaccine.vaccine_us.vaccine_us_distribution”,“2023-01-01”就是,“2022-02-01”就是);

改變數據提要的更多信息,請參閱使用三角洲湖變化數據以磚

查詢一個表使用Apache火花結構化流

如果一個表是與曆史,您可以使用它作為火花結構化流的源。需要磚運行時的12.1或以上。

支持選項:

  • ignoreDeletes:忽略事務刪除數據。

  • ignoreChanges:如果文件重寫處理文檔更新源表中的數據修改操作,比如更新,合並,刪除(分區),或覆蓋。不變行仍然可以發出。所以你的下遊消費者應該能夠處理重複。刪除不是下遊傳播。ignoreChanges包容ignoreDeletes。因此,如果您使用ignoreChanges,你流將不會被刪除或更新源表。

  • startingVersion:從共享表版本。所有表變化從這個版本(包容)將讀取流源。

  • startingTimestamp:從時間戳。所有表更改後承諾或時間戳(包容)將讀取流源。例子:“2023-01-0100:00:00.0”

  • maxFilesPerTrigger:新文件的數量被認為是在每個micro-batch。

  • maxBytesPerTrigger:在每個micro-batch被處理的數據量。這個選項設置一個“軟馬克斯”,這意味著一個批處理過程大約這個過程的數據量,可能超過極限為了使流查詢前進情況下的最小輸入單位超過這個極限。

  • readChangeFeed:流讀共享表的數據提要的變化。

不支持的選項:

  • Trigger.availableNow

樣品結構流查詢

火花readStream格式(“deltaSharing”)選項(“startingVersion”,0)選項(“ignoreChanges”,真正的)選項(“maxFilesPerTrigger”,10)(“vaccine.vaccine_us.vaccine_us_distribution”)
火花readStream格式(“deltaSharing”)\選項(“startingVersion”,0)\選項(“ignoreDeletes”,真正的)\選項(“maxBytesPerTrigger”,10000年)\(“vaccine.vaccine_us.vaccine_us_distribution”)

如果更改數據提要(CDF)啟用表,你可以流讀取CDF。

火花readStream格式(“deltaSharing”)選項(“readChangeFeed”,“真正的”)(“vaccine.vaccine_us.vaccine_us_distribution”)

閱讀分享觀點

預覽

這個特性是在公共預覽

請注意

隻在Databricks-to-Databricks共享視圖共享支持。

閱讀分享觀點是一樣的閱讀共享表,這些異常:

計算要求:

  • 如果你的磚賬戶與提供者的不同,你必須使用一個Serverless SQL倉庫查詢共享視圖。

  • 如果供應商在同一磚帳戶,您可以使用任何SQL倉庫,也可以使用一個集群使用共享訪問模式。

View-on-view限製:

你不能創建視圖引用共享視圖。

命名要求:

共享目錄的目錄名稱使用包含視圖不能與任何供應商目錄,其中包含一個表引用的視圖。例如,如果共享視圖包含在你的測試目錄,和提供者的一個表中引用,這是包含在提供者的觀點測試目錄,查詢名稱空間衝突將導致錯誤。看到創建一個目錄

曆史和流媒體:

你不能查詢曆史或使用一個視圖作為流源。

JDBC / ODBC:

說明本文關注閱讀共享數據使用磚用戶界麵,專門統一目錄語法和接口。你也可以查詢共享視圖使用Apache火花,Python和BI工具如表和權力BI使用磚JDBC / ODBC驅動程序。學習如何使用磚JDBC / ODBC驅動程序的連接,看到的配置數據磚ODBC、JDBC驅動程序

讀共享筆記本

預覽和克隆共享筆記本文件,您可以使用數據瀏覽。

權限要求:目錄所有者或用戶使用目錄從分享特權時創建的目錄。

  1. 在你的磚工作區,點擊數據圖標數據

  2. 在左窗格中,展開數據菜單,找到並選擇創建的目錄的份額。

  3. 其他資產選項卡,您將看到任何共享筆記本文件。

  4. 點擊共享筆記本文件預覽它的名稱。

  5. (可選)單擊克隆按鈕將共享筆記本文件導入到您的工作空間中。

    1. 克隆,對話框中,選擇輸入新名字,然後選擇工作區文件夾你想克隆筆記本文件。

    2. 點擊克隆

    3. 一旦克隆筆記本,這時會彈出一個對話框讓你知道它成功克隆。點擊在筆記本上揭示編輯器在對話框在筆記本上把它編輯器。

    看到介紹磚筆記本