我怎麼能改變拚花從gzip壓縮算法到別的嗎?

[User16301467532]

火花,默認情況下,使用gzip存儲鑲花的文件。我想換時髦或lz4從gzip壓縮算法。

[User16301467532]

你可以設置以下sql財產spark.sql.parquet.compression.codec火花。

在sql:

sql設置spark.sql.parquet.compression.codec =時髦的%

你也可以直接設置在sqlContext:

sqlContext.setConf (“spark.sql.parquet.compression.codec。”、“時髦的”)

[JohnCavanaugh]

注意上麵有一個輕微的錯誤

你也可以直接設置在sqlContext: sqlContext.setConf (“spark.sql.parquet.compression.codec”、“時髦的”)

不幸的是似乎lz4不是支持拚花壓縮編解碼器。我不知道為什麼作為io.codec lz4支持。

[karthik_thati]

有哪些選項如果我不需要任何壓縮在寫dataframe HDFS作為鑲花格式嗎?

[sujoyDutta]

sqlContext.setConf (“spark.sql.parquet.compression.codec”、“壓縮”)