取消
顯示的結果
而不是尋找
你的意思是:

Init腳本安裝azure數據存儲gen2湖

repcak
新的貢獻者三世

我想訪問init腳本存儲在安裝azure數據存儲gen2 dbfs湖

我安裝存儲

dbfs: / / mnt /存儲/容器script.sh

當我試圖訪問它

我得到了一個錯誤:

集群範圍的init腳本dbfs: / / mnt /存儲/容器script.sh失敗:超時異常在5次(debugStr =“init腳本讀取遠程文件”),造成的:. io .FileNotFoundException: / / WORKSPACE_ID / mnt /存儲/容器script.sh:沒有這樣的文件或目錄。

1)我看到這個文件在使用魔法“% sh”命令dbfs筆記本

2)我從這條路可以閱讀使用spark.read……

在文檔中,我發現

https://docs.m.eheci.com/dbfs/unity-catalog.html use-dbfs-while-launching-unity-catalog-clusters -…

磚建議使用DBFS坐騎為init腳本、配置和庫存儲在外部存儲中。這種行為在共享訪問模式下不支持。

當我嚐試訪問這個文件使用

abfss: / /我有一個錯誤:

未能初始化配置storage_name存儲賬戶。dfs.core.windows.net:fs.azure.account檢測到無效的配置值。鍵,造成的:無效的配置值檢測fs.azure.account.key)。

但我使用相同的證書就像在“安裝證書”之前。

和安裝dbfs init腳本有什麼限製嗎?

我擔心工作空間添加id在錯誤消息的路徑

我使用相同的路徑,我使用這個命令:

dbutils.fs.ls(“/ mnt /存儲/集裝箱/script.sh”)

我認為在調用該命令時,集群尚未ADLS跑步所以我不能旅行。所以我應該使用abfss: / /

但如何驗證這個存儲,我嚐試這種方式

https://learn.microsoft.com/en-us/azure/databricks/storage/azure-storage——access-azure-data-lake-st……

使用在火花配置服務主體,但它不工作。

這是存儲應該是公開的嗎?

1回複1

User16752239289
貢獻者三世
貢獻者三世

我不認為init腳本保存在掛載點工作,我們不建議。

如果你指定abfss,那麼集群需要配置集群可以進行身份驗證和訪問adls gen2文件夾。否則,集群將無法加載init腳本運行時啟動

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map