RegexTokenizer¶
-
類
pyspark.ml.feature。
RegexTokenizer
( *,minTokenLength:int=1,差距:bool=真正的,模式:str=' \ \ s + ',inputCol:可選(str]=沒有一個,outputCol:可選(str]=沒有一個,toLowercase:bool=真正的 ) ¶ -
一個基於正則表達式的編譯器,提取標記通過使用提供的正則表達式模式(在Java方言)將文本(默認)或多次匹配正則表達式(如果差距是假的)。也可選參數允許過濾令牌使用了一個最小長度。它返回一個字符串數組,可以是空的。
例子
> > >df=火花。createDataFrame(((“A B c”),(“文本”])> > >reTokenizer=RegexTokenizer()> > >reTokenizer。setInputCol(“文本”)RegexTokenizer……> > >reTokenizer。setOutputCol(“單詞”)RegexTokenizer……> > >reTokenizer。變換(df)。頭()行(文本= A B c,話說= [A, B ' c '])> > >#改變一個參數。> > >reTokenizer。setparam(outputCol=“令牌”)。變換(df)。頭()行(文本= ' A B c’,令牌= [A, B ' c '])> > >#暫時修改一個參數。> > >reTokenizer。變換(df,{reTokenizer。outputCol:“單詞”})。頭()行(文本= A B c,話說= [A, B ' c '])> > >reTokenizer。變換(df)。頭()行(文本= ' A B c’,令牌= [A, B ' c '])> > >#必須使用關鍵字參數來指定參數。> > >reTokenizer。setparam(“文本”)回溯(最近的電話):…TypeError:關鍵字參數方法setparam力量。> > >regexTokenizerPath=temp_path+“/ regex-tokenizer”> > >reTokenizer。保存(regexTokenizerPath)> > >loadedReTokenizer=RegexTokenizer。負載(regexTokenizerPath)> > >loadedReTokenizer。getMinTokenLength()= =reTokenizer。getMinTokenLength()真正的> > >loadedReTokenizer。getGaps()= =reTokenizer。getGaps()真正的> > >loadedReTokenizer。變換(df)。取(1)= =reTokenizer。變換(df)。取(1)真正的
方法
清晰的
(參數)清除參數映射的參數是否被顯式地設置。
複製
((額外的))創建這個實例的副本具有相同uid和一些額外的參數。
explainParam
(參數)解釋一個參數並返回它的名字,醫生,和可選的默認值,用戶提供的字符串值。
返回文檔的所有參數選擇默認值和用戶提供的值。
extractParamMap
((額外的))提取嵌入默認參數值和用戶提供的值,然後合並他們額外的值從輸入平麵參數映射,後者使用價值如果存在衝突,即。排序:默認參數值< <額外的用戶提供的值。
getGaps
()獲得的價值差距或其默認值。
得到的價值inputCol或其默認值。
得到的價值minTokenLength或其默認值。
getOrDefault
(參數)得到參數的值在用戶提供的參數映射或其默認值。
得到的價值outputCol或其默認值。
getParam
(paramName)通過它的名稱參數。
獲得的價值模式或其默認值。
得到的價值toLowercase或其默認值。
hasDefault
(參數)檢查是否一個參數有默認值。
hasParam
(paramName)測試這個實例包含一個參數是否與給定名稱(字符串)。
isDefined
(參數)檢查參數是否由用戶或顯式地設置一個默認值。
收取
(參數)檢查參數是否由用戶顯式地設置。
負載
(路徑)從輸入路徑,讀取一個毫升實例的快捷方式read () .load(路徑)。
讀
()返回一個MLReader這個類的實例。
保存
(路徑)這個毫升實例保存到給定的路徑,一個快捷方式的“寫().save(路徑)。
集
(參數值)設置一個參數嵌入參數映射。
setGaps
(值)設置的值
差距
。setInputCol
(值)設置的值
inputCol
。設置的值
minTokenLength
。setOutputCol
(值)設置的值
outputCol
。setparam
(自我\ * (minTokenLength,差距,…))為這個RegexTokenizer設置參數。
setPattern
(值)設置的值
模式
。設置的值
toLowercase
。變換
(數據集[params))與可選參數轉換的輸入數據集。
寫
()返回一個MLWriter實例毫升實例。
屬性
返回所有參數命令的名字。
方法的文檔
-
清晰的
( 參數:pyspark.ml.param.Param )→沒有¶ -
清除參數映射的參數是否被顯式地設置。
-
複製
( 額外的:可選(ParamMap]=沒有一個 )→摩根大通¶ -
創建這個實例的副本具有相同uid和一些額外的參數。這個實現第一次調用參數。複製and then make a copy of the companion Java pipeline component with extra params. So both the Python wrapper and the Java pipeline component get copied.
- 參數
-
- 額外的 東西,可選
-
額外參數複製到新實例
- 返回
-
-
JavaParams
-
這個實例的副本
-
-
explainParam
( 參數:聯盟(str,pyspark.ml.param.Param] )→str¶ -
解釋一個參數並返回它的名字,醫生,和可選的默認值,用戶提供的字符串值。
-
explainParams
( )→str¶ -
返回文檔的所有參數選擇默認值和用戶提供的值。
-
extractParamMap
( 額外的:可選(ParamMap]=沒有一個 )→ParamMap¶ -
提取嵌入默認參數值和用戶提供的值,然後合並他們額外的值從輸入平麵參數映射,後者使用價值如果存在衝突,即。排序:默認參數值< <額外的用戶提供的值。
- 參數
-
- 額外的 東西,可選
-
額外的參數值
- 返回
-
- dict
-
合並後的參數映射
-
getGaps
( )→bool¶ -
獲得的價值差距或其默認值。
-
getInputCol
( )→str¶ -
得到的價值inputCol或其默認值。
-
getMinTokenLength
( )→int¶ -
得到的價值minTokenLength或其默認值。
-
getOrDefault
( 參數:聯盟(str,pyspark.ml.param.Param(T]] )→聯盟(任何,T] ¶ -
得到參數的值在用戶提供的參數映射或其默認值。如果沒有設置提出了一個錯誤。
-
getOutputCol
( )→str¶ -
得到的價值outputCol或其默認值。
-
getParam
( paramName:str )→pyspark.ml.param.Param ¶ -
通過它的名稱參數。
-
getPattern
( )→str¶ -
獲得的價值模式或其默認值。
-
getToLowercase
( )→bool¶ -
得到的價值toLowercase或其默認值。
-
hasDefault
( 參數:聯盟(str,pyspark.ml.param.Param(任何]] )→bool¶ -
檢查是否一個參數有默認值。
-
hasParam
( paramName:str )→bool¶ -
測試這個實例包含一個參數是否與給定名稱(字符串)。
-
isDefined
( 參數:聯盟(str,pyspark.ml.param.Param(任何]] )→bool¶ -
檢查參數是否由用戶或顯式地設置一個默認值。
-
收取
( 參數:聯盟(str,pyspark.ml.param.Param(任何]] )→bool¶ -
檢查參數是否由用戶顯式地設置。
-
classmethod
負載
( 路徑:str )→RL¶ -
從輸入路徑,讀取一個毫升實例的快捷方式read () .load(路徑)。
-
classmethod
讀
( )→pyspark.ml.util.JavaMLReader(RL] ¶ -
返回一個MLReader這個類的實例。
-
保存
( 路徑:str )→沒有¶ -
這個毫升實例保存到給定的路徑,一個快捷方式的“寫().save(路徑)。
-
集
( 參數:pyspark.ml.param.Param,價值:任何 )→沒有¶ -
設置一個參數嵌入參數映射。
-
setGaps
( 價值:bool )→pyspark.ml.feature.RegexTokenizer ¶ -
設置的值
差距
。
-
setInputCol
( 價值:str )→pyspark.ml.feature.RegexTokenizer ¶ -
設置的值
inputCol
。
-
setMinTokenLength
( 價值:int )→pyspark.ml.feature.RegexTokenizer ¶ -
設置的值
minTokenLength
。
-
setOutputCol
( 價值:str )→pyspark.ml.feature.RegexTokenizer ¶ -
設置的值
outputCol
。
-
setparam
( 自我,\ *,minTokenLength = 1,差距= True,模式= " \ s + ",inputCol =沒有,outputCol =沒有,toLowercase = True ) ¶ -
為這個RegexTokenizer設置參數。
-
setPattern
( 價值:str )→pyspark.ml.feature.RegexTokenizer ¶ -
設置的值
模式
。
-
setToLowercase
( 價值:bool )→pyspark.ml.feature.RegexTokenizer ¶ -
設置的值
toLowercase
。
-
變換
( 數據集:pyspark.sql.dataframe.DataFrame,參數個數:可選(ParamMap]=沒有一個 )→pyspark.sql.dataframe.DataFrame¶ -
與可選參數轉換的輸入數據集。
- 參數
-
-
數據集
pyspark.sql.DataFrame
-
輸入數據集
- 參數個數 東西,可選
-
一個可選的參數覆蓋嵌入參數的地圖。
-
數據集
- 返回
-
-
pyspark.sql.DataFrame
-
改變了數據集
-
-
寫
( )→pyspark.ml.util.JavaMLWriter¶ -
返回一個MLWriter實例毫升實例。
屬性的文檔
-
差距
:pyspark.ml.param.Param(保齡球) =參數(父母=‘定義’,name =“缺口”,醫生=“正則表達式是否分裂差距(真正的)或匹配標記(False)”) ¶
-
inputCol
=參數(父母=‘定義’,name = ' inputCol ', doc =輸入列名稱。) ¶
-
minTokenLength
:pyspark.ml.param.Param (int) =參數(父母=‘定義’,name = ' minTokenLength ', doc =“最小標記長度(> = 0)') ¶
-
outputCol
=參數(父母=‘定義’,name = ' outputCol ', doc =輸出列名稱。) ¶
-
參數個數
¶ -
返回所有參數命令的名字。默認實現使用
dir ()
所有的屬性類型參數
。
-
模式
:pyspark.ml.param.Param (str) =參數(父母=‘定義’,name =“模式”,醫生= (Java方言)使用的正則表達式模式的分詞) ¶
-
toLowercase
:pyspark.ml.param.Param(保齡球) =參數(父母=‘定義’,name = ' toLowercase ', doc =”是否將所有字符轉換為小寫在分詞) ¶
-