07-15-2015日上午
火花,默認情況下,使用gzip存儲鑲花的文件。我想換時髦或lz4從gzip壓縮算法。
07-15-201546我
你可以設置以下sql財產spark.sql.parquet.compression.codec火花。
在sql:
sql設置spark.sql.parquet.compression.codec =時髦的%
你也可以直接設置在sqlContext:
sqlContext.setConf (“spark.sql.parquet.compression.codec。”、“時髦的”)
05-06-2016下午11:06
注意上麵有一個輕微的錯誤
你也可以直接設置在sqlContext: sqlContext.setConf (“spark.sql.parquet.compression.codec”、“時髦的”)
不幸的是似乎lz4不是支持拚花壓縮編解碼器。我不知道為什麼作為io.codec lz4支持。
07-28-201602:01點
有哪些選項如果我不需要任何壓縮在寫dataframe HDFS作為鑲花格式嗎?
06-09-2017上午09:26
sqlContext.setConf (“spark.sql.parquet.compression.codec”、“壓縮”)
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。