取消
顯示的結果
而不是尋找
你的意思是:

我怎麼能改變拚花從gzip壓縮算法到別的嗎?

User16301467532
新的貢獻者二世

火花,默認情況下,使用gzip存儲鑲花的文件。我想換時髦或lz4從gzip壓縮算法。

9回複9

girivaratharaja
新的貢獻者三世

@karthik。我,試試這個

df.write.option(“壓縮”,“沒有”).mode .save(“覆蓋”)(“testoutput.parquet”)

sujoyDutta
新的貢獻者二世

未壓縮的使用

sqlContext.setConf (“spark.sql.parquet.compression.codec”、“未壓縮的”)

突出顯示的值可能是其中一個四:未壓縮的,上口,gzip, lzo

venkat_anampudi
新的貢獻者二世

@prakash573:我

我猜火花使用“時髦的”默認為拚花文件壓縮。我所指的火花的官方文檔“學習火花”,第九章,# 182頁,表9 - 3。

如果這是不正確的,請確認。

謝謝你!

Venkat Anampudi

Pooja1
新的貢獻者二世

從版本2.1.0的火花,“時髦的”是默認的壓縮和之前版本“gzip”是默認壓縮格式的火花。

ZhenZeng
新的貢獻者二世

火花。sql (“spark.sql.parquet.compression.codec = gzip ");

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map