07-15-2015日上午
火花,默認情況下,使用gzip存儲鑲花的文件。我想換時髦或lz4從gzip壓縮算法。
07-28-201603:34點
@karthik。我,試試這個
df.write.option(“壓縮”,“沒有”).mode .save(“覆蓋”)(“testoutput.parquet”)
06-09-2017上午09:44
未壓縮的使用
sqlContext.setConf (“spark.sql.parquet.compression.codec”、“未壓縮的”)
突出顯示的值可能是其中一個四:未壓縮的,上口,gzip, lzo
12-31-201706:31我
@prakash573:我
我猜火花使用“時髦的”默認為拚花文件壓縮。我所指的火花的官方文檔“學習火花”,第九章,# 182頁,表9 - 3。
如果這是不正確的,請確認。
謝謝你!
Venkat Anampudi
01-16-202002:47我
從版本2.1.0的火花,“時髦的”是默認的壓縮和之前版本“gzip”是默認壓縮格式的火花。
10-01-201902:10我
火花。sql (“spark.sql.parquet.compression.codec = gzip ");
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。