你好,
我用saveAsTextFile()來存儲結果引發的工作文件夾dbfs: / FileStore / my_result。
我可以訪問不同的“part-xxxxx”文件使用web瀏覽器,但我想自動化的過程中所有文件下載到本地機器上。
我試圖用卷發,但是我找不到RestAPI命令下載dbfs: / FileStore文件。
問題:我如何才能下載dbfs: / FileStore文件到我的本地機器?
我使用磚Community Edition教在大數據分析在大學本科模塊。我在本地機器上安裝了Windows 7。我有檢查,旋度和_netrc文件正確安裝和配置我設法成功運行一些命令由RestAPI提供。
提前謝謝你的幫助!
最好的問候,
玉米片
答案由@tonyp如果文件存儲在FileStore非常有效。但是如果它存儲在mnt文件夾,您將需要這樣的:
https://community.cloud.m.eheci.com/dbfs/mnt/blob/ < file_name > . csv ? o = < your_number_here >
請注意,這將提示您為您的登錄名和密碼,但是一旦你進入這個,下載應該是無縫的。
文件存儲在/ FileStore可以在您的web瀏覽器中訪問https:// < databricks-instance-name >.cloud.m.eheci.com/files/。例如,文件存儲在/ FileStore /我/我的文件。三種訪問:
“https:// < databricks-instance-name >.cloud.m.eheci.com/files/my-stuff/my-file.txt”
注意如果你在Community Edition中,您可能需要替換https://community.cloud.m.eheci.com/files/my-stuff/my-file.txt與https://community.cloud.m.eheci.com/files/my-stuff/my-file.txt?o= # # # # # #o =後數量是一樣的在你的社區版的URL。
參考:https://docs.m.eheci.com/user-guide/advanced/filestore.html
答案由@tonyp如果文件存儲在FileStore非常有效。但是如果它存儲在mnt文件夾,您將需要這樣的:
https://community.cloud.m.eheci.com/dbfs/mnt/blob/ < file_name > . csv ? o = < your_number_here >
請注意,這將提示您為您的登錄名和密碼,但是一旦你進入這個,下載應該是無縫的。
對我來說,這並不工作。我試圖理解三角洲湖作為一個非科技用戶。我設法創建一個community edition帳戶和環境。接下來,我跟著教程位於:https://docs.m.eheci.com/getting-started/quick-start.html
所以我創建了“鑽石”表等等。我唯一要做的就是下載拚花和json文件,看看裏麵有什麼。我使用community edition,但是上麵沒有工作。隻是不知道如何訪問這些文件。我試著以下(複製正確的文件路徑):
https://community.cloud.m.eheci.com/dbfs/mnt/delta/diamonds/_delta_log/00000000000000000000.json?..。
(# # #確實是我的社區的數字)。但我收到401:
HTTP錯誤401
問題訪問/ dbfs / mnt /δ/鑽石/ _delta_log / 00000000000000000000. json。
原因:未授權
我如何下載文件?到處都找不到。謝謝你的幫助!