磚

這似乎是一個角落案件沒有人報道。如果你可以發送一個鏈接到你的筆記本和口頭授權我視圖/運行它,我可以看一看這個問題。

擁有一個大的#小文件或文件夾可以顯著惡化加載數據的性能。最好的方法是保持文件夾/文件合並,這樣每個文件大約是64 mb的大小。有不同的方法來實現這一目標:你的命令……

你可以設置以下sql財產spark.sql.parquet.compression.codec火花。在sql: % sql設置spark.sql.parquet.compression.codec =時髦的你也可以直接設置在sqlContext: sqlContext.setConf (“spark.sql.parquet.compression.codec。”、“sn……