我如何創建一個CSV文件中的多個分區磚/火花嗎?

[User16826991422]

dbfs使用sparkcsv寫數據,我打算搬到我的筆記本電腦通過標準s3複製命令。

默認為火花csv是將輸出寫入分區。我可以迫使其單個分區,但是真的想知道如果有一個通用的方法。

在hadoop文件係統,我簡單地運行之類的

hadoop fs -getmerge / user / hadoop / dir1 /。/ myoutput.txt

從內部等效磚平台嗎?Beplay体育安卓版本

[JosiahYoder]

我很生氣,我的代碼的格式就消失了,當我提交編輯。

[RandyBonnette]

您需要設置遞歸複製命令設置。馬修加斯科因詳細解釋他的一個帖子:

當試圖將一個文件夾從一個位置複製到另一個磚你可能的寫我的論文任務和遇到以下消息

[ChristianHomber]

沒有bash磚內,這將是高度讚賞,如果一個選項(例如通過dbfsutils)存在。