(遺留)庫工具(dbutils.library)

請注意

dbutils.library.installdbutils.library.installPyPIapi是移除在磚運行時11.0及以上。大多數圖書館工具命令棄用。大多數圖書館事業不是磚上可用的運行時毫升。信息dbutils.library.restartPython,請參閱重新啟動Python程序數據磚

這個文檔已經退休了,可能不會被更新。產品、服務或技術中提到的這些內容不再支持。

磚強烈建議使用%皮普神奇的命令安裝notebook-scoped庫。看到Notebook-scoped Python庫

完整的文檔數據磚實用程序功能,請參閱磚公用事業

命令:安裝,installPyPI,列表,restartPython),updateCondaEnv

圖書館實用程序允許您安裝Python庫和創造一個環境筆記本會話作用域。圖書館對司機和執行者都是可用的,所以你可以在用戶定義函數中引用它們。這使得:

  • 庫依賴關係的筆記本是筆記本內部組織。

  • 筆記本用戶提供不同的庫依賴關係來分享一個集群沒有幹擾。

分離一個筆記本破壞了這個環境。然而,你可以通過重新運行庫重新創建它安裝API命令在筆記本上。看到restartPythonAPI如何重置你的筆記本狀態而不喪失您的環境。

圖書館事業是默認啟用。因此,默認情況下每個筆記本孤立使用的Python環境創建一個單獨的Python可執行,當筆記本連接到集群和繼承默認Python環境。庫安裝在一個init腳本到磚Python環境中仍然可用。你可以禁用這個特性通過設置spark.databricks.libraryIsolation.enabled

這個API兼容現有的集群範圍的圖書館通過安裝用戶界麵庫API。通過這個API庫安裝更高的優先級比整個集群範圍的庫。

列出可用的命令,運行dbutils.library.help ()

安裝(路徑:字符串):布爾- >安裝庫在當前會話installPyPI筆記本(pypiPackage:字符串,版本:字符串= " ",回購:字符串= " ",臨時演員:字符串= " "):布爾- >安裝PyPI圖書館在當前筆記本會話列表:列表- >隔離庫添加當前筆記本會話通過dbutils restartPython:空白- >啟動python程序當前筆記本會話updateCondaEnv (envYmlContent: String):布爾- >更新當前筆記本Conda環境規範(內容的基礎上的環境

安裝命令(dbutils.library.install)

對於一個給定路徑的庫,安裝,圖書館在當前筆記本會話。庫安裝通過調用這個命令隻提供給當前的筆記本。

顯示幫助這個命令,運行dbutils.library.help(“安裝”)

這個例子中安裝一個.egg.whl圖書館在一個筆記本上。

重要的

dbutils.library.install刪除在磚運行時11.0及以上。

磚建議你把所有你的圖書館安裝命令的第一個細胞筆記本和電話restartPython最後的細胞。Python筆記本狀態複位後運行restartPython;筆記本失去所有國家包括但不限於局部變量,導入庫和其他臨時狀態。因此,我們建議您安裝庫和重置筆記本狀態第一個筆記本電池。

公認的圖書館資源dbfss3

dbutils圖書館安裝(“dbfs: /道路/ /你/ library.egg”)dbutils圖書館restartPython()#刪除Python狀態,但一些庫可能不工作沒有調用這個命令。
dbutils圖書館安裝(“dbfs: /道路/ /你/ library.whl”)dbutils圖書館restartPython()#刪除Python狀態,但一些庫可能不工作沒有調用這個命令。

請注意

你可以直接安裝使用自定義輪文件%皮普。在下麵的例子中,我們假設您已經上傳你的圖書館輪DBFS文件:

%皮普安裝/dbfs/路徑//你的/圖書館whl

蛋皮普不支持的文件,車輪被認為是標準的構建和二進製為Python包裝。看到輪與蛋為更多的細節。然而,如果您想要使用一個雞蛋文件的兼容%皮普,您可以使用以下方法:

#這一步是隻需要如果沒有% pip命令運行。#將觸發設置隔離的筆記本電腦環境%皮普安裝<任何- - - - - -自由>#這並不需要一個真正的圖書館;例如“% pip安裝any-lib”工作
進口sys#如果前麵的步驟已經完成,下麵的命令#將雞蛋文件添加到當前的筆記本電腦環境sys路徑附加(“/地方/道路/ / library.egg”)

installPyPI命令(dbutils.library.installPyPI)

給定一個Python包指數(PyPI)包,安裝,包在當前筆記本會話。通過調用這個命令庫安裝在筆記本電腦中孤立。

顯示幫助這個命令,運行dbutils.library.help (“installPyPI”)

這個示例安裝PyPI包在一個筆記本上。版本,回購,臨時演員是可選的。使用臨時演員參數指定額外的功能(額外的需求)。

dbutils圖書館installPyPI(“pypipackage”,版本=“版本”,回購=“回購”,臨時演員=“臨時演員”)dbutils圖書館restartPython()#刪除Python狀態,但一些庫可能不工作沒有調用這個命令。

重要的

dbutils.library.installPyPI刪除在磚運行時11.0及以上。

版本臨時演員鑰匙不能PyPI包字符串的一部分。例如:dbutils.library.installPyPI (“azureml-sdk(磚)= = 1.19.0”)不是有效的。使用版本臨時演員參數指定的版本和額外的信息如下:

dbutils圖書館installPyPI(“azureml-sdk”,版本=“1.19.0”,臨時演員=“磚”)dbutils圖書館restartPython()#刪除Python狀態,但一些庫可能不工作沒有調用這個命令。

請注意

當更換dbutils.library.installPyPI命令與%皮普命令,Python解釋器自動重啟。您可以運行安裝命令如下:

%皮普安裝azureml- - - - - -sdk(]= =1.19.0

本例中指定庫需求在一個筆記本,並通過使用安裝它們運行%在另一個。要做到這一點,首先定義庫安裝在一個筆記本上。這個例子使用一個筆記本InstallDependencies

dbutils圖書館installPyPI(“火炬”)dbutils圖書館installPyPI(“scikit-learn”,版本=“1.19.1”)dbutils圖書館installPyPI(“azureml-sdk”,臨時演員=“磚”)dbutils圖書館restartPython()#刪除Python狀態,但一些庫可能不工作沒有調用這個命令。

然後在筆記本上安裝它們,需要這些依賴關係。

% /路徑/ / InstallDependencies運行#安裝在第一個單元格的依賴關係。
進口火炬sklearn.linear_model進口LinearRegression進口azureml

這個例子重置Python筆記本狀態,同時保持環境。這種技術隻能在Python筆記本。例如,您可以使用這種技術來重新加載庫磚預裝有不同的版本:

dbutils圖書館installPyPI(“numpy”,版本=“1.15.4”)dbutils圖書館restartPython()
#確保你在另一個細胞開始使用圖書館。進口numpy

您還可以使用該技術安裝庫tensorflow等需要加載過程啟動:

dbutils圖書館installPyPI(“tensorflow”)dbutils圖書館restartPython()
#使用圖書館在另一個細胞。進口tensorflow

命令列表(dbutils.library.list)

列出當前筆記本的隔離庫添加會話通過圖書館實用工具。這並不包括庫連接到集群。

顯示幫助這個命令,運行dbutils.library.help(“列表”)

這個例子中列出了庫安裝在一個筆記本。

dbutils圖書館列表()

請注意

這個命令使用%皮普是:

%皮普凍結

updateCondaEnv命令(dbutils.library.updateCondaEnv)

更新當前筆記本的Conda環境內容的基礎上environment.yml。這種方法隻對Conda磚運行時支持。

顯示幫助這個命令,運行dbutils.library.help (“updateCondaEnv”)

這個例子更新當前筆記本的Conda環境基於提供的內容規範。

dbutils圖書館updateCondaEnv(”“”渠道:——水蟒依賴關係:——gensim = 3.4——nltk = 3.4”“”)