磚

試試這個(1.4.0):val blockSize = 1024 * 1024 * 16 / / 16 mb sc.hadoopConfiguration。setInt (“dfs。sc.hadoopConfiguration blocksize”, blocksize)。setInt (“parquet.block。大小”,blockSize), sc是你SparkContext(不是SQLContext)。不是說……

我想我遇到類似的事情。沒有使用S3。但拚花表解讀DataFrames,戰術喜歡堅持,從鋪合並,重新分區後閱讀。使用HiveContext,如果這很重要。但我的印象那…