我怎麼能改變拚花從gzip壓縮算法到別的嗎?

[User16301467532]

火花,默認情況下,使用gzip存儲鑲花的文件。我想換時髦或lz4從gzip壓縮算法。

[girivaratharaja]

@karthik。我,試試這個

df.write.option(“壓縮”,“沒有”).mode .save(“覆蓋”)(“testoutput.parquet”)

[sujoyDutta]

未壓縮的使用

sqlContext.setConf (“spark.sql.parquet.compression.codec”、“未壓縮的”)

突出顯示的值可能是其中一個四:未壓縮的,上口,gzip, lzo

[venkat_anampudi]

@prakash573:我

我猜火花使用“時髦的”默認為拚花文件壓縮。我所指的火花的官方文檔“學習火花”,第九章,# 182頁,表9 - 3。

如果這是不正確的,請確認。

謝謝你！

Venkat Anampudi

[Pooja1]

從版本2.1.0的火花,“時髦的”是默認的壓縮和之前版本“gzip”是默認壓縮格式的火花。

[ZhenZeng]

火花。sql (“spark.sql.parquet.compression.codec = gzip ");