安裝從對象存儲庫

這篇文章將引導您完成所需的步驟在磚安裝從雲對象存儲庫。

你可以定製JAR和Python Whl庫存儲在雲對象存儲,而不是將它們存儲在DBFS根。

重要的

UI庫上傳使用圖書館存儲在DBFS根。所有工作空間用戶有能力修改數據和文件存儲在DBFS根。你可以避免這種利用雲對象存儲庫,使用庫包存儲庫,或者上傳圖書館工作區文件。

加載對象存儲庫

你可以加載庫對象存儲相同的方式加載其他文件。你在雲提供商必須有適當的權限來創建新對象存儲容器對象或文件加載到雲存儲。

授予隻讀權限對象存儲

磚建議的配置與圖書館相關的所有權限安裝與隻讀權限。

磚允許您指定單個集群管理的安全權限訪問數據對象存儲在雲。這些政策可以擴展添加隻讀訪問雲對象存儲包含庫。

請注意

你不能從對象存儲加載庫在使用集群共享訪問模式。

磚建議使用穀歌雲服務帳戶管理訪問庫存儲在gc。創建一個穀歌的雲服務帳戶存儲對象查看器角色所需的水桶,將它附加到一個集群。看到訪問GCS桶集群上使用穀歌雲服務帳戶

安裝圖書館集群

安裝一個圖書館雲存儲在對象存儲集群,完成以下步驟:

  1. 從列表中選擇一個集群的集群UI。

  2. 選擇選項卡。

  3. 選擇DBFS / gc選擇。

  4. 提供完整的URI路徑庫對象(例如,g: / / bucket名/路徑/ / library.whl)。

  5. 點擊安裝

你也可以安裝庫使用REST APICLI

庫安裝到筆記本

您可以使用%皮普安裝自定義Python輪子存儲在對象存儲範圍notebook-isolated SparkSession。要使用這種方法,您必須存儲在公開可讀的對象存儲庫或使用pre-signed URL。

看到Notebook-scoped Python庫

請注意

Jar庫不能安裝在筆記本上。您必須安裝Jar庫集群級別。