CountVectorizer

pyspark.ml.feature。 CountVectorizer ( *,minTF:浮動=1.0,minDF:浮動=1.0,maxDF:浮動=9223372036854775807,vocabSize:int=262144年,二進製:bool=,inputCol:可選(str]=沒有一個,outputCol:可選(str]=沒有一個 )

從文檔集合中提取一個詞彙表,生成一個CountVectorizerModel

例子

> > >df=火花createDataFrame(((0,(“一個”,“b”,“c”]),(1,(“一個”,“b”,“b”,“c”,“一個”])),(“標簽”,“原始”])> > >簡曆=CountVectorizer()> > >簡曆setInputCol(“原始”)CountVectorizer……> > >簡曆setOutputCol(“向量”)CountVectorizer……> > >模型=簡曆適合(df)> > >模型setInputCol(“原始”)CountVectorizerModel……> > >模型變換(df)顯示(截斷=)+ - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +| |生| |標簽向量+ - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +(a, b, c) | 0 | | (3 (0, 1, 2) [1.0, 1.0, 1.0]) || 1 | [a, b, b, c, a) | (3 (0, 1, 2) [2.0, 2.0, 1.0]) |+ - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +> > >排序(模型詞彙表)= =(“一個”,“b”,“c”]真正的> > >countVectorizerPath=temp_path+“/ count-vectorizer”> > >簡曆保存(countVectorizerPath)> > >loadedCv=CountVectorizer負載(countVectorizerPath)> > >loadedCvgetMinDF()= =簡曆getMinDF()真正的> > >loadedCvgetMinTF()= =簡曆getMinTF()真正的> > >loadedCvgetVocabSize()= =簡曆getVocabSize()真正的> > >modelPath=temp_path+“/ count-vectorizer-model”> > >模型保存(modelPath)> > >loadedModel=CountVectorizerModel負載(modelPath)> > >loadedModel詞彙表= =模型詞彙表真正的> > >loadedModel變換(df)(1)= =模型變換(df)(1)真正的> > >fromVocabModel=CountVectorizerModelfrom_vocabulary([“一個”,“b”,“c”),inputCol=“原始”,outputCol=“向量”)> > >fromVocabModel變換(df)顯示(截斷=)+ - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +| |生| |標簽向量+ - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +(a, b, c) | 0 | | (3 (0, 1, 2) [1.0, 1.0, 1.0]) || 1 | [a, b, b, c, a) | (3 (0, 1, 2) [2.0, 2.0, 1.0]) |+ - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +

方法

清晰的(參數)

清除參數映射的參數是否被顯式地設置。

複製((額外的))

創建這個實例的副本具有相同uid和一些額外的參數。

explainParam(參數)

解釋一個參數並返回它的名字,醫生,和可選的默認值,用戶提供的字符串值。

explainParams()

返回文檔的所有參數選擇默認值和用戶提供的值。

extractParamMap((額外的))

提取嵌入默認參數值和用戶提供的值,然後合並他們額外的值從輸入平麵參數映射,後者使用價值如果存在衝突,即。排序:默認參數值< <額外的用戶提供的值。

適合(數據集[params))

適合一個模型與可選參數的輸入數據集。

fitMultiple(paramMaps數據集)

適合一個模型為每個參數映射的輸入數據集paramMaps

getBinary()

二進製的值或其默認值。

getInputCol()

得到的價值inputCol或其默認值。

getMaxDF()

得到的價值maxDF或其默認值。

getMinDF()

得到的價值minDF或其默認值。

getMinTF()

得到的價值minTF或其默認值。

getOrDefault(參數)

得到參數的值在用戶提供的參數映射或其默認值。

getOutputCol()

得到的價值outputCol或其默認值。

getParam(paramName)

通過它的名稱參數。

getVocabSize()

得到的價值vocabSize或其默認值。

hasDefault(參數)

檢查是否一個參數有默認值。

hasParam(paramName)

測試這個實例包含一個參數是否與給定名稱(字符串)。

isDefined(參數)

檢查參數是否由用戶或顯式地設置一個默認值。

收取(參數)

檢查參數是否由用戶顯式地設置。

負載(路徑)

從輸入路徑,讀取一個毫升實例的快捷方式read () .load(路徑)

()

返回一個MLReader這個類的實例。

保存(路徑)

這個毫升實例保存到給定的路徑,一個快捷方式的“寫().save(路徑)。

(參數值)

設置一個參數嵌入參數映射。

setBinary(值)

設置的值二進製

setInputCol(值)

設置的值inputCol

setMaxDF(值)

設置的值maxDF

setMinDF(值)

設置的值minDF

setMinTF(值)

設置的值minTF

setOutputCol(值)

設置的值outputCol

setparam(自我,\ [,minDF minTF maxDF,…))

CountVectorizer設置參數

setVocabSize(值)

設置的值vocabSize

()

返回一個MLWriter實例毫升實例。

屬性

二進製

inputCol

maxDF

minDF

minTF

outputCol

參數個數

返回所有參數命令的名字。

vocabSize

方法的文檔

清晰的 ( 參數:pyspark.ml.param.Param )→沒有

清除參數映射的參數是否被顯式地設置。

複製 ( 額外的:可選(ParamMap]=沒有一個 )→摩根大通

創建這個實例的副本具有相同uid和一些額外的參數。這個實現第一次調用參數。複製and then make a copy of the companion Java pipeline component with extra params. So both the Python wrapper and the Java pipeline component get copied.

參數
額外的 東西,可選

額外參數複製到新實例

返回
JavaParams

這個實例的副本

explainParam ( 參數:聯盟(str,pyspark.ml.param.Param] )→str

解釋一個參數並返回它的名字,醫生,和可選的默認值,用戶提供的字符串值。

explainParams ( )→str

返回文檔的所有參數選擇默認值和用戶提供的值。

extractParamMap ( 額外的:可選(ParamMap]=沒有一個 )→ParamMap

提取嵌入默認參數值和用戶提供的值,然後合並他們額外的值從輸入平麵參數映射,後者使用價值如果存在衝突,即。排序:默認參數值< <額外的用戶提供的值。

參數
額外的 東西,可選

額外的參數值

返回
dict

合並後的參數映射

適合 ( 數據集:pyspark.sql.dataframe.DataFrame,參數個數:聯盟[ParamMap、列表(ParamMap)元組(ParamMap),沒有一個)=沒有一個 )→聯盟(,列表(] ]

適合一個模型與可選參數的輸入數據集。

參數
數據集 pyspark.sql.DataFrame

輸入數據集。

參數個數 dict或列表或元組,可選的

一個可選的參數覆蓋嵌入參數的地圖。如果列表/元組的參數映射,這適用於每一個參數並返回一個列表的模型映射。

返回
變壓器或者一個列表變壓器

擬合模型(年代)

fitMultiple ( 數據集:pyspark.sql.dataframe.DataFrame,paramMaps:序列(ParamMap] )→迭代器(元組(int,] ]

適合一個模型為每個參數映射的輸入數據集paramMaps

參數
數據集 pyspark.sql.DataFrame

輸入數據集。

paramMaps collections.abc.Sequence

一係列的參數映射。

返回
_FitMultipleIterator

一個線程安全的iterable包含為每個參數映射模型。每次調用下一個(modelIterator)將返回(指數模型)模型是適合使用在哪裏paramMaps(指數)指數值可能不是連續的。

getBinary ( )→bool

二進製的值或其默認值。

getInputCol ( )→str

得到的價值inputCol或其默認值。

getMaxDF ( )→浮動

得到的價值maxDF或其默認值。

getMinDF ( )→浮動

得到的價值minDF或其默認值。

getMinTF ( )→浮動

得到的價值minTF或其默認值。

getOrDefault ( 參數:聯盟(str,pyspark.ml.param.Param(T]] )→聯盟(任何,T]

得到參數的值在用戶提供的參數映射或其默認值。如果沒有設置提出了一個錯誤。

getOutputCol ( )→str

得到的價值outputCol或其默認值。

getParam ( paramName:str )pyspark.ml.param.Param

通過它的名稱參數。

getVocabSize ( )→int

得到的價值vocabSize或其默認值。

hasDefault ( 參數:聯盟(str,pyspark.ml.param.Param(任何]] )→bool

檢查是否一個參數有默認值。

hasParam ( paramName:str )→bool

測試這個實例包含一個參數是否與給定名稱(字符串)。

isDefined ( 參數:聯盟(str,pyspark.ml.param.Param(任何]] )→bool

檢查參數是否由用戶或顯式地設置一個默認值。

收取 ( 參數:聯盟(str,pyspark.ml.param.Param(任何]] )→bool

檢查參數是否由用戶顯式地設置。

classmethod 負載 ( 路徑:str )→RL

從輸入路徑,讀取一個毫升實例的快捷方式read () .load(路徑)

classmethod ( )→pyspark.ml.util.JavaMLReader(RL]

返回一個MLReader這個類的實例。

保存 ( 路徑:str )→沒有

這個毫升實例保存到給定的路徑,一個快捷方式的“寫().save(路徑)。

( 參數:pyspark.ml.param.Param,價值:任何 )→沒有

設置一個參數嵌入參數映射。

setBinary ( 價值:bool )pyspark.ml.feature.CountVectorizer

設置的值二進製

setInputCol ( 價值:str )pyspark.ml.feature.CountVectorizer

設置的值inputCol

setMaxDF ( 價值:浮動 )pyspark.ml.feature.CountVectorizer

設置的值maxDF

setMinDF ( 價值:浮動 )pyspark.ml.feature.CountVectorizer

設置的值minDF

setMinTF ( 價值:浮動 )pyspark.ml.feature.CountVectorizer

設置的值minTF

setOutputCol ( 價值:str )pyspark.ml.feature.CountVectorizer

設置的值outputCol

setparam ( 自我,\ *,minTF = 1.0,minDF = 1.0,maxDF = 2 * * 63 - 1,vocabSize = 1 < < 18歲,二進製= False,inputCol =沒有,outputCol =沒有 )

CountVectorizer設置參數

setVocabSize ( 價值:int )pyspark.ml.feature.CountVectorizer

設置的值vocabSize

( )→pyspark.ml.util.JavaMLWriter

返回一個MLWriter實例毫升實例。

屬性的文檔

二進製 =參數(父母=‘定義’,name =“二進製”,醫生= '二進製開關控製輸出矢量值。如果這是真的,所有非零項(minTF濾波器應用之後)被設置為1。這是用於離散概率模型,模型的二進製事件而不是整數。默認的錯誤')
inputCol =參數(父母=‘定義’,name = ' inputCol ', doc =輸入列名稱。)
maxDF =參數(父母=‘定義’,name = ' maxDF ', doc = '指定的最大數量不同的文檔可以出現在被包括在術語詞彙。一個術語出現超過閾值將被忽略。如果這是一個整數> = 1,這指定的最大文件數這個詞會出現在;如果這是一個雙在[0,1),那麼這個指定的最大一部分文檔可能出現在這個詞。默認(2 ^ 63)- 1 ')
minDF =參數(父母=‘定義’,name = ' minDF ', doc = '指定了最小數量的不同文檔術語必須出現在被包括在詞彙表中。如果這是一個整數> = 1,這指定文檔的數量必須出現在這個詞;如果這是一個雙在[0,1),那麼這個指定文檔的一部分。默認1.0”)
minTF =參數(父母=‘定義’,name = ' minTF ', doc = "過濾器忽略罕見的單詞在一個文檔。為每個文檔,與頻率/計數小於給定的閾值將被忽略。如果這是一個整數> = 1,那麼這將指定一個計數(次術語必須出現在文檔);如果這是一個雙在[0,1),那麼這個指定一小部分(文檔的令牌數)。注意參數僅用於變換CountVectorizerModel和不影響裝配。默認1.0”)
outputCol =參數(父母=‘定義’,name = ' outputCol ', doc =輸出列名稱。)
參數個數

返回所有參數命令的名字。默認實現使用dir ()所有的屬性類型參數

vocabSize =參數(父母=‘定義’,name = ' vocabSize ', doc = '馬克斯詞彙量的大小。默認1 < < 18歲。”)