取消
顯示的結果
而不是尋找
你的意思是:

我怎麼能改變拚花從gzip壓縮算法到別的嗎?

User16301467532
新的貢獻者二世

火花,默認情況下,使用gzip存儲鑲花的文件。我想換時髦或lz4從gzip壓縮算法。

9回複9

User16301467532
新的貢獻者二世

你可以設置以下sql財產spark.sql.parquet.compression.codec火花。

在sql:

sql設置spark.sql.parquet.compression.codec =時髦的%

你也可以直接設置在sqlContext:

sqlContext.setConf (“spark.sql.parquet.compression.codec。”、“時髦的”)

JohnCavanaugh
新的貢獻者二世

注意上麵有一個輕微的錯誤

你也可以直接設置在sqlContext: sqlContext.setConf (“spark.sql.parquet.compression.codec”、“時髦的”)

不幸的是似乎lz4不是支持拚花壓縮編解碼器。我不知道為什麼作為io.codec lz4支持。

karthik_thati
新的貢獻者二世

有哪些選項如果我不需要任何壓縮在寫dataframe HDFS作為鑲花格式嗎?

sujoyDutta
新的貢獻者二世

sqlContext.setConf (“spark.sql.parquet.compression.codec”、“壓縮”)

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map