CLI命令<磚fs的cp >不是DBFS上傳文件

[IgnacioCastinei]

你好,

到目前為止我已經成功地使用CLI接口上傳文件從本地機器DBFS / FileStore /表。具體地說,我一直在使用終端,下麵的命令:

磚fs cp - r < MyLocalDataset > dbfs: / FileStore /表/ NewDataset /

上周這個命令似乎並沒有工作了。當執行它囉嗦地似乎成功運行(每個文件的副本顯示在終端)。此外,如果後來我觸發以下命令列出NewDataset文件夾:

磚fs ls dbfs: / / FileStore /表

然而,當我檢查內容磚= > Data = >創建新的表= > DBFS = > / FileStore /表文件夾NewDataset是不存在的。

此外,如果我創建了一個筆記本,嚐試加載NewDataset我得到以下錯誤:

org.apache.hadoop.mapred。InvalidInputException:輸入路徑不存在:/ FileStore /表/ NewDataset

我試過其他命令的CLI(例如,磚集群列表),他們都工作好。

我做錯了什麼,還是有一種新的方式上傳文件DBFS我應該使用呢?

我使用磚Community Edition。

非常感謝你的時間。

親切的問候,

玉米片

[IgnacioCastinei]

嗨@Arjun Kaimaparambil Rajan,

謝謝你的回答。是的,我認為這確實是如此。

我能看到一個不匹配的內容DBFS時:

1. 使用我的機器和CLI (NewDataset文件夾上市當使用命令“磚fs ls dbfs: / FileStore /表/”)。
2. 使用GUI的磚(NewDataset文件夾不上市當使用磚= > Data = >創建新表= > DBFS = > / FileStore /表)。

換句話說,命令“磚fs cp - r < MyLocalDataset > dbfs: / FileStore /表/ NewDataset /”上傳數據集“地方”,但不是dbfs我可以看到通過磚與GUI = >數據= >創建新表= > dbfs = > / FileStore /表。

我的問題是:

• 我應該輸入什麼命令來上傳數據嗎?

提前謝謝你!

親切的問候,

玉米片

[IgnacioCastinei]

PS:我也檢查了選項,調試和尋找頭:x-databricks-org-id。

CLI的ID和一個出現在GUI是相同的。

[arjun_kr · Accepted solution]

@Ignacio Castineiras請使用上傳功能的筆記本在此期間(你可以壓縮內容單一文件)?它不似乎與cli community edition。

[IgnacioCastinei]

嗨@Arjun Kaimaparambil Rajan,

謝謝你的回複。

是的,我能確認GUI選擇“數據”= >“Create Table”= >“上傳文件”讓我從我的本地機器DBFS上傳的數據集。

因此,這可以作為一個替代CLI“磚fs的cp命令上傳數據從本地機器DBSF / FileStore /表/。

兩個問題:

1。會有一個類似的GUI方式下載結果文件夾火花產生的工作回本地機器?

我知道個人文件/ FileStore /表可以通過URL訪問,但是這種方法似乎並不適用於整個文件夾。而命令“磚fs ls”可以用來生成一個腳本迭代每個文件的下載通過“wget”,這似乎是很乏味的。

2。一般,可以添加CLI功能“磚fs的cp”回磚Community Edition的嗎?

CLI“磚fs的cp命令已經工作這麼多年,直到最近。也許可以考慮將此功能。

就我個人而言,我在大學教學使用磚火花模塊。我和我的學生都喜歡磚,我們願繼續使用它。

親切的問候,

玉米片

[jose_gonzalez]

嗨@Ignacio Castineiras,

如果Arjun.kr完全回答了你的問題,你會很高興他們的答案標記為最好,這樣其他人可以迅速找到解決方案了嗎?

請讓我們知道如果你仍然有這個問題。