S3同步從水桶裝桶造成“[Errno 95]操作不支持”的錯誤對於一些但不是全部文件

[matt_t]

試圖從外部s3 bucket同步一個文件夾,文件夾安裝s3 bucket和磚上運行一些簡單的代碼來完成此任務。數據是一堆csv和埃因霍溫。

唯一的問題是一些文件給這個錯誤不支持的操作。現在做一些挖掘似乎其他人得到這個錯誤,它似乎是有關使用掛載。一些文章參考如何做隨機寫或附加山(https://kb.m.eheci.com/dbfs/errno95-operation-not-supported.html)。很多的文件被成功轉移,但現在有大約15離開untransferred雖然經曆了類似的文件格式和類似的大小。這也很大程度上是確定的,重新運行它給了我相同的問題的文件列表。

我知道一個可能的解決方案可以先複製這些失敗的文件到我的集群在臨時文件夾中,然後做一個s3複製到目標桶。

然而,核心的問題是我想知道為什麼這些文件是文件不支持(因為我不認為這是一個附加的問題這樣的問題我之前聯係)?什麼好主意嗎?- - -邊注我們也感到困惑,因為該操作經常在我們的組織中,這是複製從一桶桶,所以這個不同嗎?

謝謝你的時間!

[Kaniz]

嗨@Matthew Tribby !我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[AmanSehgal · Accepted solution]

@Matthew Tribby你可以嚐試:

將有問題的文件複製到一個單獨的桶和傳輸這些文件。看看這個錯誤依然存在。

如果是這樣,那麼可能有問題的文件。

這個問題可以在文件大小的文檔狀態的這對小文件工作,但隨著文件大小增加迅速成為一個問題。”是你可以分開的文件或者試圖增加資源在集群上。

邊注:為什麼你不能使用“aws s3同步s3: / / mybucket s3: / / mybucket2”?

[Atanu]

@Matthew Tribby以上建議工作。請讓我們知道如果你需要進一步的幫助。謝謝。