如何壓縮dataframe嗎

[amitdatabricksc]

如何壓縮dataframe這樣我得到一個壓縮csv輸出文件。請分享命令。隻有1 dataframe參與,而不是多個。

[Ryan_Chynoweth]

如果您使用的是pyspark你可以像下麵這樣:

df.coalesce (1) .write.option(“壓縮”、“gzip”) . csv(“路徑”)

注意,合並將減少分區的數量,以便保存為一個文件。除了gzip可以使用bzip2”、“lz4”、“時髦的”,“縮小”。

如果你不使用pyspark然後使用熊貓熊貓可以使用壓縮選項,可以發現在這裏。

[amitdatabricksc]

如果我的路徑是我的本地目錄,那麼我該如何寫

當我做df.coalesce (1) .write.option(“壓縮”、“gzip”) . csv (“C: /用戶/ ag)”)我得到一個錯誤。

還有,你能提供一個示例輸出路徑blob存儲文件夾

[werners1]

寫信給一個本地目錄不工作。

看到這個話題:

https://community.m.eheci.com/s/feed/0D53f00001M7hNlCAJ