我想安裝一個圖書館,在使用init / Workspace /共享/目錄。sh腳本在一個集群中。
如何訪問shell /工作區/共享/文件夾嗎?這個頁麵隻顯示手動如何訪問但不展示了如何訪問shell腳本-工作區庫——微軟Azure磚|學習
的文檔,集群節點初始化腳本——微軟Azure磚|學習隻提供databricks-cli庫安裝命令庫dbfs: / FileStore / JAR目錄但不能導航到/工作區/共享/文件夾。
@Juned葉:
訪問/ Workspace /共享/目錄在shell腳本中,您可以使用磚CLI命令磚fs的導航數據磚文件係統(DBFS)。
這裏有一個例子如何安裝一個圖書館從/ Workspace /共享/使用init.sh腳本。
# !/bin/bash #安裝庫/工作區/共享/磚fs cp dbfs: / Workspace /共享/ my_library - 1.0。jar / tmp / my_library。jar磚庫安裝——cluster-id < cluster-id >——jar / tmp / my_library。jar #添加其他集群的初始化步驟
在這個例子中,我們使用磚fs cp的圖書館從/工作區/共享/複製到/ tmp / DBFS。然後我們使用磚庫安裝在集群上安裝圖書館,圖書館在/ tmp /指定路徑。
請注意,你需要替換< cluster-id >磚集群的ID。你可以找到導航到集群的集群ID磚工作區和查看URL,它將包含一個字符串像clusterId = 1234 - 567890英語字母。