medium.datadriveninvestor.com

[THIAM_HUATTAN]

說,我想下載2文件從這個目錄(dbfs: / databricks-datasets / abc-quality /”)我的本地文件係統,我該怎麼做?

我明白,如果這些文件是內部FileStore目錄,簡單得多,有人帖子一些解決方案:

https://medium.datadriveninvestor.com/how-to-download-a-file-from-databricks-filestore-to-a-local-ma..。

因此,現在我想看看是否可以做一份文件從目錄dbfs: / databricks-datasets / abc-quality /

來

FileStore的目錄,我嚐試了如下:

dbutils.fs。cp (“dbfs: / FileStore /”、“dbfs: / databricks-datasets / abc-quality /遞歸= True)

但給我錯誤信息:

java.rmi。RemoteException異常:com.amazonaws.services.s3.model。AmazonS3Exception:拒絕訪問;要求:把https://databricks數據集- oregon.s3.us -西方- 2. - amazonaws.com質量/ Bonus_jan。csv {} aws-sdk-java 1.12.101 Linux / 5.4.0-1088-aws OpenJDK_64-Bit_Server_VM / 25.342 -b07 java / 1.8.0_342 scala 2.12.14芬蘭灣的科特林/ 1.4.0供應商/ Private_Build cfg /重試模式/遺留com.amazonaws.services.s3.transfer.TransferManager 1.12.101 com.amazonaws.services.s3.model.PutObjectRequest;請求ID: JN9487JSJFXDPAY8,擴展請求ID: zkWIIgPXRte6UWeXv5BzC / IzHXhqOntjdCyGiBw34 + mm3qMi1irFm9jfY3 / iwEfbt / 0 ywz4tskw =,雲提供商:AWS實例ID: i-0f553097120e72dd4(服務:Amazon S3;狀態碼:403;錯誤代碼:AccessDenied;請求ID: JN9487JSJFXDPAY8;S3擴展請求ID: zkWIIgPXRte6UWeXv5BzC / IzHXhqOntjdCyGiBw34 + mm3qMi1irFm9jfY3 / iwEfbt / 0 ywz4tskw =;代理:null), S3請求ID: zkWIIgPXRte6UWeXv5BzC / IzHXhqOntjdCyGiBw34 + mm3qMi1irFm9jfY3 / iwEfbt / 0 ywz4tskw =;嵌套的異常:

[帕特]

嗨@THIAM HUAT棕褐色,

這不是dbfs: / / databricks-datasets磚擁有s3: / /安裝在工作區嗎?

你有一個錯誤- 403把文件放進s3 bucket拒絕訪問:https://databricks數據集- oregon.s3.us -西方- 2. - amazonaws.com

你應該使用一些s3 bucket,您自己和您可以添加文件或如果文件很小,你可以使用dbfs: / / tmp /

謝謝,

帕特。

[THIAM_HUATTAN]

我得到了源和目標的順序相反。現在,它的工作原理,謝謝

[Kaniz]

棒@THIAM HUAT譚和@Pat Sienkiewicz !