pyspark.SparkContext.hadoopFile

SparkContext。 hadoopFile ( 路徑:str,inputFormatClass:str,keyClass:str,valueClass:str,keyConverter:可選(str]=沒有一個,valueConverter:可選(str]=沒有一個,相依:可選(Dict(str,str]]=沒有一個,batchSize:int=0 )→pyspark.rdd.RDD(元組(T,U] ]

讀一個“老”具有任意鍵和值的Hadoop InputFormat類HDFS,本地文件係統(可在所有節點),或任何文件係統Hadoop-supported URI。的機製是一樣的SparkContext.sequenceFile ()

Hadoop的配置可以通過Python字典這將被轉換成Java配置。

路徑str

Hadoop文件路徑

inputFormatClassstr

完全限定類名的Hadoop InputFormat(例如“org.apache.hadoop.mapreduce.lib.input.TextInputFormat”)

keyClassstr

關鍵可寫的類的完全限定類名(例如“org.apache.hadoop.io.Text”)

valueClassstr

價值寫的類的完全限定類名(例如“org.apache.hadoop.io.LongWritable”)

keyConverterstr,可選

完全限定名稱的函數返回鍵WritableConverter(默認沒有)

valueConverterstr,可選

完全限定名稱的函數返回值WritableConverter(默認情況下沒有一個)

相依東西,可選

Hadoop的配置,通過傳遞dict類型(默認情況下沒有一個)

batchSizeint,可選

Python對象的數量表示為一個Java對象。(默認值0,選擇batchSize自動)