類列擴展日誌記錄
這一列數據為基礎進行計算DataFrame
。
可以構造一個新列DataFrame基於輸入列的禮物:
df (“columnName”)/ /在一個特定的“df”DataFrame。坳(“columnName”)/ /通用列沒有與DataFrame相關聯。坳(“columnName.field”)/ /提取一個結構體字段坳(“a.column.with.dots”)/ /逃避”。在列名。美元“columnName”/ / Scala短手指定列。
列對象可以構成複雜的表達式:
美元“一個”+1美元“一個”= = = $“b”
- 注釋
- @Stable ()
- 自
-
1.3.0
- 請注意
-
可以通過訪問內部催化劑表達式expr,但該方法僅用於調試目的,可以改變在未來引發釋放。
- 分組
- 字母
- 通過繼承
- 列
- 日誌記錄
- AnyRef
- 任何
- 隱藏所有
- 顯示所有
- 公共
- 所有
值的成員
- 最後def! =(arg0:任何):布爾
- 定義類
- AnyRef→任何
- 最後def# #():Int
- 定義類
- AnyRef→任何
- def%(其他:任何):列
模(或稱。
模(又名餘數)表達式。
- 自
-
1.3.0
- def& &(其他:任何):列
布爾和。
布爾和。
/ / Scala:以下選擇的人在學校和工作在同一時間。人。選擇(people(“優異”)& & (“加上”))Java: / /人。選擇(人。坳(“優異”),(people.col (“加上”)));
- 自
-
1.3.0
- def*(其他:任何):列
這個表達式,另一個表達式的乘法。
這個表達式,另一個表達式的乘法。
/ / Scala:下麵增加一個人的身高,體重。人。選擇(people(“高度”)*人(“重量”))Java: / /人。選擇(人。坳(“高度”).multiply (people.col (“重量”)));
- 自
-
1.3.0
- def+(其他:任何):列
這個表達式和另一個表達式。
這個表達式和另一個表達式。
/ / Scala:以下選擇的和一個人的身高和體重。人。選擇(people(“高度”)+ (“重量”))Java: / /人。選擇(人。坳(“高度”)的話語(people.col (“重量”)));
- 自
-
1.3.0
- def- - - - - -(其他:任何):列
減法。
減法。從這個表達式減去其他表達式。
/ / Scala:以下選擇人的身高和體重之間的區別。人。選擇(people(“高度”)- - -人(“重量”))Java: / /人。選擇(人。坳(“高度”).minus (people.col (“重量”)));
- 自
-
1.3.0
- def/(其他:任何):列
部門這個表達式由另一個表達式。
部門這個表達式由另一個表達式。
/ / Scala:以下劃分一個人的身高,體重。人。選擇(people(“高度”)/人(“重量”))Java: / /人。選擇(人。坳(“高度”).divide (people.col (“重量”)));
- 自
-
1.3.0
- def<(其他:任何):列
不到。
不到。
/ / Scala:以下選擇年輕的人比21。人。選擇(people(“年齡”)<21)Java: / /人。選擇(人。坳(“年齡”)中的(21));
- 自
-
1.3.0
- def< =(其他:任何):列
小於或等於。
小於或等於。
/ / Scala:以下選擇人21歲或未滿21歲。人。選擇(people(“年齡”)< =21)Java: / /人。選擇(人。坳(“年齡”).leq (21));
- 自
-
1.3.0
- def< = >(其他:任何):列
平等為null值測試是安全的。
平等為null值測試是安全的。
- 自
-
1.3.0
- def= = !(其他:任何):列
不平等的測試。
不平等的測試。
/ / Scala:df。選擇(df (“可樂”)= != df (“colB”df))。選擇(!(df(“可樂”)= = = df (“colB”)))Java: / /進口靜態org.apache.spark.sql.functions。*;df。過濾器(坳(“可樂”).notEqual(坳(“colB”)));
- 自
-
2.0.0
- 最後def= =(arg0:任何):布爾
- 定義類
- AnyRef→任何
- def= = =(其他:任何):列
平等的測試。
平等的測試。
/ / Scala:df。過濾器(df (“可樂”)= = = df (“colB”))/ / Java進口靜態org.apache.spark.sql.functions。*;df。過濾器(坳(“可樂”).equalTo(坳(“colB”)));
- 自
-
1.3.0
- def>(其他:任何):列
大於。
大於。
/ / Scala:以下選擇21歲以上的人。人。選擇(people(“年齡”)>21)Java: / /進口靜態org.apache.spark.sql.functions。*;人。選擇(人。坳(“年齡”)gt (21));
- 自
-
1.3.0
- def> =(其他:任何):列
大於或等於一個表達式。
大於或等於一個表達式。
/ / Scala:以下選擇21人21歲或以上。人。選擇(people(“年齡”)> =21)Java: / /人。選擇(人。坳(“年齡”).geq (21))
- 自
-
1.3.0
- def別名(別名:字符串):列
給列別名。
給列別名。一樣
作為
。/ /重命名可樂colB選擇輸出。df.select ($“可樂”.alias (“colB”))
- 自
-
1.4.0
- def和(其他:列):列
布爾和。
布爾和。
/ / Scala:以下選擇的人在學校和工作在同一時間。人。選擇(people(“優異”)& & (“加上”))Java: / /人。選擇(人。坳(“優異”),(people.col (“加上”)));
- 自
-
1.3.0
- def應用(提取:任何):列
提取一個值從一個複雜類型或值。
提取一個值從一個複雜類型或值。支持以下類型的提取:
- 給定一個數組,一個整數序數可以用來檢索單個值。
- 給定一個圖,一個關鍵的正確類型可以用於檢索單個值。
- 給定一個結構體,一個字符串字段名可以用來提取該字段。
- 給定一個結構數組,字符串字段名可以用來提取申請每一個結構體的數組,並返回字段的數組。
- 自
-
1.4.0
- def作為(別名:字符串,元數據:元數據):列
給出了與元數據列別名。
給出了與元數據列別名。
瓦爾元數據:元數據=…df.select ($“可樂”。as (“colB”、元數據)
- 自
-
1.3.0
- def作為(別名:象征):列
給列別名。
給列別名。
/ /重命名可樂colB選擇輸出。df.select ($“可樂”。as (“colB”))
如果當前列具有與之相關的元數據,這些元數據將被傳遞到新列。如果這不是理想的,可以使用API
(別名:字符串,元數據:元數據)
用顯式的元數據。- 自
-
1.3.0
- def作為(別名:數組(字符串]):列
分配給定的別名來表生成函數的結果。
分配給定的別名來表生成函數的結果。
/ /重命名可樂colB選擇輸出。df.select(爆炸(美元“關聯”)。as (“關鍵”::“價值”::Nil))
- 自
-
1.4.0
- def作為(別名:Seq(字符串]):列
(Scala-specific)分配給定的別名表生成函數的結果。
(Scala-specific)分配給定的別名表生成函數的結果。
/ /重命名可樂colB選擇輸出。df.select(爆炸(美元“關聯”)。as (“關鍵”::“價值”::Nil))
- 自
-
1.4.0
- def作為(別名:字符串):列
給列別名。
給列別名。
/ /重命名可樂colB選擇輸出。df.select ($“可樂”。as (“colB”))
如果當前列具有與之相關的元數據,這些元數據將被傳遞到新列。如果這不是理想的,可以使用API
(別名:字符串,元數據:元數據)
用顯式的元數據。- 自
-
1.3.0
- def作為(U](隱式的arg0:編碼器(U]):TypedColumn(任何,U]
提供了一種暗示的預期返回值這一列。
提供了一種暗示的預期返回值這一列。這些信息可以通過操作等
選擇
在一個數據集JVM自動將結果轉換為正確的類型。- 自
-
1.6.0
- 最後defasInstanceOf(T0]:T0
- 定義類
- 任何
- defasc:列
返回一個表達式基於列的升序排序。
返回一個表達式基於列的升序排序。
/ / Scala: DataFrame年齡列按升序排序。df.sort (df (“年齡”.asc)/ / Javadf.sort (df.col (“年齡”).asc ());
- 自
-
1.3.0
- defasc_nulls_first:列
返回一個表達式基於列的升序排序,之前和null值返回空值。
返回一個表達式基於列的升序排序,之前和null值返回空值。
/ / Scala: DataFrame年齡列按升序排序和null值出現。df.sort (df (“年齡”.asc_nulls_first)/ / Javadf.sort (df.col (“年齡”).asc_nulls_first ());
- 自
-
魅惑
- defasc_nulls_last:列
返回一個表達式基於列的升序排序,和null值出現在非空值。
返回一個表達式基於列的升序排序,和null值出現在非空值。
/ / Scala: DataFrame年齡列按升序排序和null值出現。df.sort (df (“年齡”.asc_nulls_last)/ / Javadf.sort (df.col (“年齡”).asc_nulls_last ());
- 自
-
魅惑
- def之間的(下界:任何,upperBound:任何):列
是:如果當前列是下界和上界,包容性。
是:如果當前列是下界和上界,包容性。
- 自
-
1.4.0
- defbitwiseAND(其他:任何):列
計算位和表達式與另一個表達式。
計算位和表達式與另一個表達式。
df.select ($“可樂”.bitwiseAND ($“colB”))
- 自
-
1.4.0
- defbitwiseOR(其他:任何):列
這個表達式計算按位或與另一個表達式。
這個表達式計算按位或與另一個表達式。
df.select ($“可樂”.bitwiseOR ($“colB”))
- 自
-
1.4.0
- defbitwiseXOR(其他:任何):列
這個表達式的計算位XOR和另一個表達式。
這個表達式的計算位XOR和另一個表達式。
df.select ($“可樂”.bitwiseXOR ($“colB”))
- 自
-
1.4.0
- def投(:字符串):列
投不同數據類型的列,使用規範化字符串表示的類型。
投不同數據類型的列,使用規範化字符串表示的類型。支持的類型有:
字符串
,布爾
,字節
,短
,int
,長
,浮動
,雙
,小數
,日期
,時間戳
。/ /將可樂轉換為整數。df.select (df (“可樂”).cast (“int”))
- 自
-
1.3.0
- def投(:數據類型):列
不同數據類型的列。
不同數據類型的列。
/ /強製類型轉換IntegerType可樂。進口org.apache.spark.sql.types。IntegerType df.select (df (“可樂”).cast (IntegerType))/ /相當於df.select (df (“可樂”).cast (“int”))
- 自
-
1.3.0
- def克隆():AnyRef
- 屬性
- 保護(朗]
- 定義類
- AnyRef
- 注釋
- @throws (…) @native ()
- def包含(其他:任何):列
包含了其他元素。
包含了其他元素。返回一個布爾列基於字符串匹配。
- 自
-
1.3.0
- defdesc:列
返回一個表達式基於列的降序排序。
返回一個表達式基於列的降序排序。
/ / Scaladf.sort (df (“年齡”.desc)/ / Javadf.sort (df.col (“年齡”).desc ());
- 自
-
1.3.0
- defdesc_nulls_first:列
返回一個表達式基於列的降序排序,和null值出現在非空值。
返回一個表達式基於列的降序排序,和null值出現在非空值。
/ / Scala:按照降序DataFrame年齡列進行排序和null值出現。df.sort (df (“年齡”.desc_nulls_first)/ / Javadf.sort (df.col (“年齡”).desc_nulls_first ());
- 自
-
魅惑
- defdesc_nulls_last:列
返回一個表達式基於列的降序排序,和null值出現在非空值。
返回一個表達式基於列的降序排序,和null值出現在非空值。
/ / Scala:按照降序DataFrame年齡列進行排序和null值出現。df.sort (df (“年齡”.desc_nulls_last)/ / Javadf.sort (df.col (“年齡”).desc_nulls_last ());
- 自
-
魅惑
- def分(其他:任何):列
部門這個表達式由另一個表達式。
部門這個表達式由另一個表達式。
/ / Scala:以下劃分一個人的身高,體重。人。選擇(people(“高度”)/人(“重量”))Java: / /人。選擇(人。坳(“高度”).divide (people.col (“重量”)));
- 自
-
1.3.0
- defdropFields(字段名:字符串*):列
滴字段的一個表達式
StructType
的名字。滴字段的一個表達式
StructType
的名字。這是一個空操作如果模式不包含字段名(年代)。瓦爾df = sql (“選擇named_struct (' a ', 1, ' b ', 2) struct_col”)df.select(美元)“struct_col”.dropFields (“b”))/ /結果:{“a”: 1}瓦爾df = sql (“選擇named_struct (' a ', 1, ' b ', 2) struct_col”)df.select(美元)“struct_col”.dropFields (“c”))/ /結果:{“a”: 1、“b”: 2}瓦爾df = sql (“選擇named_struct (' a ', 1, ' b ', 2 ' c ', 3) struct_col”)df.select(美元)“struct_col”.dropFields (“b”,“c”))/ /結果:{“a”: 1}瓦爾df = sql (“選擇named_struct (' a ', 1, ' b ', 2) struct_col”)df.select(美元)“struct_col”.dropFields (“一個”,“b”))/ /結果:org.apache.spark.sql。AnalysisException:cannot resolve 'update_fields(update_fields(`struct_col`))' due to data type mismatch: cannot drop all fields in struct瓦爾df = sql (“選擇(NULL作為struct < int, b: int >) struct_col”)df.select(美元)“struct_col”.dropFields (“b”))/ /結果:零struct類型的<答:int >瓦爾df = sql (“選擇named_struct (' a ', 1, ' b ', 2 ' b ', 3) struct_col”)df.select(美元)“struct_col”.dropFields (“b”))/ /結果:{“a”: 1}瓦爾df = sql (“選擇named_struct (a, named_struct (' a ', 1, ' b ', 2)) struct_col”)df.select(美元)“struct_col”.dropFields (“a.b”))/ /結果:{" a ": {“a”: 1}}瓦爾df = sql (“選擇named_struct (a, named_struct (' b ', 1), a, named_struct (' c ', 2)) struct_col”)df.select(美元)“struct_col”.dropFields (“交流”))/ /結果:org.apache.spark.sql。AnalysisException:Ambiguous reference to fields
這種方法支持如直接刪除多個嵌套的字段。
瓦爾df = sql (“選擇named_struct (a, named_struct (' a ', 1, ' b ', 2)) struct_col”)df.select(美元)“struct_col”.dropFields (“a.b”,“交流”))/ /結果:{" a ": {“a”: 1}}
然而,如果你要掉多個嵌套的字段,它是更優的提取出嵌套結構之前刪除多個字段如。
瓦爾df = sql (“選擇named_struct (a, named_struct (' a ', 1, ' b ', 2)) struct_col”)df.select(美元)“struct_col”.withField (“一個”美元,“struct_col.a”.dropFields (“b”,“c”)))/ /結果:{" a ": {“a”: 1}}
- 自
-
3.1.0
- defendsWith(文字:字符串):列
與另一個字符串文字字符串結束。
與另一個字符串文字字符串結束。返回一個布爾列基於字符串匹配。
- 自
-
1.3.0
- defendsWith(其他:列):列
字符串結尾。
字符串結尾。返回一個布爾列基於字符串匹配。
- 自
-
1.3.0
- 最後def情商(arg0:AnyRef):布爾
- 定義類
- AnyRef
- defeqNullSafe(其他:任何):列
平等為null值測試是安全的。
平等為null值測試是安全的。
- 自
-
1.3.0
- def等於(其他:任何):列
平等的測試。
平等的測試。
/ / Scala:df。過濾器(df (“可樂”)= = = df (“colB”))/ / Java進口靜態org.apache.spark.sql.functions。*;df。過濾器(坳(“可樂”).equalTo(坳(“colB”)));
- 自
-
1.3.0
- def=(:任何):布爾
- 定義類
- 列→AnyRef→任何
- def解釋(擴展:布爾):單位
將表達式打印到控製台用於調試目的。
將表達式打印到控製台用於調試目的。
- 自
-
1.3.0
- 瓦爾expr:表達式
- def完成():單位
- 屬性
- 保護(朗]
- 定義類
- AnyRef
- 注釋
- @throws (名為[java.lang.Throwable] classOf)
- def組的(其他:任何):列
大於或等於一個表達式。
大於或等於一個表達式。
/ / Scala:以下選擇21人21歲或以上。人。選擇(people(“年齡”)> =21)Java: / /人。選擇(人。坳(“年齡”).geq (21))
- 自
-
1.3.0
- 最後defgetClass():類(_)
- 定義類
- AnyRef→任何
- 注釋
- @native ()
- defgetField(字段名:字符串):列
一個表達式中的一個字段的名字
StructType
。一個表達式中的一個字段的名字
StructType
。- 自
-
1.3.0
- defgetItem(關鍵:任何):列
一個表達式,得到一個項目的位置
序數
一個數組,或被鍵值關鍵
在一個MapType
。一個表達式,得到一個項目的位置
序數
一個數組,或被鍵值關鍵
在一個MapType
。- 自
-
1.3.0
- defgt(其他:任何):列
大於。
大於。
/ / Scala:以下選擇21歲以上的人。人。選擇(people(“年齡”)>點燃(21))Java: / /進口靜態org.apache.spark.sql.functions。*;人。選擇(人。坳(“年齡”)gt (21));
- 自
-
1.3.0
- defhashCode():Int
- 定義類
- 列→AnyRef→任何
- def我喜歡(文字:字符串):列
SQL ILIKE表達式(不分大小寫)。
SQL ILIKE表達式(不分大小寫)。
- 自
-
3.3.0
- definitializeLogIfNecessary(isInterpreter:布爾,沉默:布爾):布爾
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- definitializeLogIfNecessary(isInterpreter:布爾):單位
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- defisInCollection(價值觀:Iterable(_)):列
一個布爾表達式計算為true如果這個表達式的值包含由所提供的集合。
一個布爾表達式計算為true如果這個表達式的值包含由所提供的集合。
注意:由於集合中的元素的類型推斷隻在運行時,將“up-casted”的元素比較的最常見的類型。如:1)對於“Int vs字符串”,“Int”將up-casted“字符串”和比較的樣子“字符串和字符串”。2)在“浮vs雙”,“浮動”將up-casted“替身”,比較會看起來像“雙vs雙”
- 自
-
測試盒框
- defisInCollection(價值觀:Iterable(_)):列
一個布爾表達式計算為true如果這個表達式的值包含由所提供的集合。
一個布爾表達式計算為true如果這個表達式的值包含由所提供的集合。
注意:由於集合中的元素的類型推斷隻在運行時,將“up-casted”的元素比較的最常見的類型。如:1)對於“Int vs字符串”,“Int”將up-casted“字符串”和比較的樣子“字符串和字符串”。2)在“浮vs雙”,“浮動”將up-casted“替身”,比較會看起來像“雙vs雙”
- 自
-
測試盒框
- 最後defisInstanceOf(T0]:布爾
- 定義類
- 任何
- defisNaN:列
如果當前表達式是南。
如果當前表達式是南。
- 自
-
1.5.0
- defisNotNull:列
是:如果當前表達式不是零。
是:如果當前表達式不是零。
- 自
-
1.3.0
- defisNull:列
如果當前表達式是null。
如果當前表達式是null。
- 自
-
1.3.0
- defisTraceEnabled():布爾
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- def型號(列表:任何*):列
一個布爾表達式計算為true如果這個表達式的值包含評估值的參數。
一個布爾表達式計算為true如果這個表達式的值包含評估值的參數。
注意:由於在列表中元素的類型推斷隻有在運行時,這些元素將“up-casted”最常見的類型的比較。如:1)對於“Int vs字符串”,“Int”將up-casted“字符串”和比較的樣子“字符串和字符串”。2)在“浮vs雙”,“浮動”將up-casted“替身”,比較會看起來像“雙vs雙”
- 注釋
- @varargs ()
- 自
-
1.5.0
- defleq(其他:任何):列
小於或等於。
小於或等於。
/ / Scala:以下選擇人21歲或未滿21歲。人。選擇(people(“年齡”)< =21)Java: / /人。選擇(人。坳(“年齡”).leq (21));
- 自
-
1.3.0
- def就像(文字:字符串):列
SQL表達式。
SQL表達式。返回一個布爾值基於SQL列匹配。
- 自
-
1.3.0
- def日誌:日誌記錄器
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- deflogDebug(味精:⇒字符串,throwable:Throwable):單位
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- deflogDebug(味精:⇒字符串):單位
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- deflogError(味精:⇒字符串,throwable:Throwable):單位
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- deflogError(味精:⇒字符串):單位
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- deflogInfo(味精:⇒字符串,throwable:Throwable):單位
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- deflogInfo(味精:⇒字符串):單位
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- deflogName:字符串
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- deflogTrace(味精:⇒字符串,throwable:Throwable):單位
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- deflogTrace(味精:⇒字符串):單位
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- deflogWarning(味精:⇒字符串,throwable:Throwable):單位
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- deflogWarning(味精:⇒字符串):單位
- 屬性
- 受保護的
- 定義類
- 日誌記錄
- deflt(其他:任何):列
不到。
不到。
/ / Scala:以下選擇年輕的人比21。人。選擇(people(“年齡”)<21)Java: / /人。選擇(人。坳(“年齡”)中的(21));
- 自
-
1.3.0
- def-(其他:任何):列
減法。
減法。從這個表達式減去其他表達式。
/ / Scala:以下選擇人的身高和體重之間的區別。人。選擇(people(“高度”)- - -人(“重量”))Java: / /人。選擇(人。坳(“高度”).minus (people.col (“重量”)));
- 自
-
1.3.0
- def國防部(其他:任何):列
模(或稱。
模(又名餘數)表達式。
- 自
-
1.3.0
- def乘(其他:任何):列
這個表達式,另一個表達式的乘法。
這個表達式,另一個表達式的乘法。
/ / Scala:下麵增加一個人的身高,體重。人。選擇(people(“高度”)*人(“重量”))Java: / /人。選擇(人。坳(“高度”).multiply (people.col (“重量”)));
- 自
-
1.3.0
- def的名字(別名:字符串):列
給列名稱(別名)。
給列名稱(別名)。
/ /重命名可樂colB選擇輸出。df.select ($“可樂”. name (“colB”))
如果當前列具有與之相關的元數據,這些元數據將被傳遞到新列。如果這不是理想的,可以使用API
(別名:字符串,元數據:元數據)
用顯式的元數據。- 自
-
2.0.0
- 最後def不(arg0:AnyRef):布爾
- 定義類
- AnyRef
- def不等號(其他:任何):列
不平等的測試。
不平等的測試。
/ / Scala:df。選擇(df (“可樂”)! = = df (“colB”df))。選擇(!(df(“可樂”)= = = df (“colB”)))Java: / /進口靜態org.apache.spark.sql.functions。*;df。過濾器(坳(“可樂”).notEqual(坳(“colB”)));
- 自
-
1.3.0
- 最後def通知():單位
- 定義類
- AnyRef
- 注釋
- @native ()
- 最後defnotifyAll():單位
- 定義類
- AnyRef
- 注釋
- @native ()
- deforgydF4y2Ba(其他:列):列
布爾或。
布爾或。
/ / Scala:以下選擇的人在學校或工作。人。過濾器(人(“優異”)| |人(“加上”))Java: / /人。過濾器(people.col (“優異”)或者(people.col (“加上”)));
- 自
-
1.3.0
- def否則(值:任何):列
評估條件的列表並返回多個可能的結果表達式之一。
評估條件的列表並返回多個可能的結果表達式之一。如果沒有定義的最後,否則返回空的無與倫比的條件。
/ /例如:性別字符串列成整數編碼。/ / Scala:people.select(當人(“性別”)= = =“男性”,0)當(人(“性別”)= = =“女性”,1).otherwise (2))Java: / /people.select(當(坳(“性別”).equalTo (“男性”),0)當(坳(“性別”).equalTo (“女性”),1).otherwise (2))
- 自
-
1.4.0
- def在():列
定義一個空分析條款。
定義一個空分析條款。在這種情況下,應用解析函數,提出了結果集的所有行。
df。選擇(金額(“價格”).over (), avg (“價格”).over ())
- 自
-
2.0.0
- def在(亮點:WindowSpec):列
定義一個窗口列。
定義一個窗口列。
瓦爾w = Window.partitionBy (“名稱”).orderBy (“id”df)。選擇(金額(“價格”).over (w.rangeBetween (Window.unboundedPreceding,2)),avg (“價格”).over (w.rowsBetween (Window.currentRow,4)))
- 自
-
1.4.0
- def+(其他:任何):列
這個表達式和另一個表達式。
這個表達式和另一個表達式。
/ / Scala:以下選擇的和一個人的身高和體重。人。選擇(people(“高度”)+ (“重量”))Java: / /人。選擇(人。坳(“高度”)的話語(people.col (“重量”)));
- 自
-
1.3.0
- defrlike(文字:字符串):列
SQL RLIKE表達式(如與正則表達式)。
SQL RLIKE表達式(如與正則表達式)。返回一個布爾值列基於正則表達式的匹配。
- 自
-
1.3.0
- defstartsWith(文字:字符串):列
字符串開始與另一個字符串。
字符串開始與另一個字符串。返回一個布爾列基於字符串匹配。
- 自
-
1.3.0
- defstartsWith(其他:列):列
字符串開始的。
字符串開始的。返回一個布爾列基於字符串匹配。
- 自
-
1.3.0
- def字符串的子串(startPos:Int,len:Int):列
返回一個字符串表達式。
返回一個字符串表達式。
- startPos
-
起始位置。
- len
-
子字符串的長度。
- 自
-
1.3.0
- def字符串的子串(startPos:列,len:列):列
返回一個字符串表達式。
返回一個字符串表達式。
- startPos
-
起始位置的表達式。
- len
-
子串的長度的表達式。
- 自
-
1.3.0
- 最後def同步(T0](arg0:⇒T0):T0
- 定義類
- AnyRef
- deftoString():字符串
- 定義類
- 列→AnyRef→任何
- defunary_ !:列
反演的布爾表達式。
反演的布爾表達式,即不是。
/ / Scala:選擇行不活躍(isActive = = = false)df。過濾器(! df (“isActive”))Java: / /進口靜態org.apache.spark.sql.functions。*;df。過濾器(不是(df.col (“isActive”)));
- 自
-
1.3.0
- defunary_ -:列
一元-。
一元-,即否定表達。
/ / Scala:選擇列和否定所有的值。df。選擇(df (“數量”))Java: / /進口靜態org.apache.spark.sql.functions。*;df。選擇(否定(坳(“數量”));
- 自
-
1.3.0
- 最後def等待():單位
- 定義類
- AnyRef
- 注釋
- @throws (…)
- 最後def等待(arg0:長,__arg1:Int):單位
- 定義類
- AnyRef
- 注釋
- @throws (…)
- 最後def等待(arg0:長):單位
- 定義類
- AnyRef
- 注釋
- @throws (…) @native ()
- def當(條件:列,值:任何):列
評估條件的列表並返回多個可能的結果表達式之一。
評估條件的列表並返回多個可能的結果表達式之一。如果沒有定義的最後,否則返回空的無與倫比的條件。
/ /例如:性別字符串列成整數編碼。/ / Scala:people.select(當人(“性別”)= = =“男性”,0)當(人(“性別”)= = =“女性”,1).otherwise (2))Java: / /people.select(當(坳(“性別”).equalTo (“男性”),0)當(坳(“性別”).equalTo (“女性”),1).otherwise (2))
- 自
-
1.4.0
- defwithField(字段名:字符串,上校:列):列
一個表達式添加/替換字段
StructType
的名字。一個表達式添加/替換字段
StructType
的名字。瓦爾df = sql (“選擇named_struct (' a ', 1, ' b ', 2) struct_col”)df.select(美元)“struct_col”.withField (“c”點燃(3)))/ /結果:{“a”: 1、“b”: 2,“c”: 3}瓦爾df = sql (“選擇named_struct (' a ', 1, ' b ', 2) struct_col”)df.select(美元)“struct_col”.withField (“b”點燃(3)))/ /結果:{“a”: 1、“b”: 3}瓦爾df = sql (“選擇(NULL作為struct < int, b: int >) struct_col”)df.select(美元)“struct_col”.withField (“c”點燃(3)))/ /結果:零struct類型的< int, b: int, c: int >瓦爾df = sql (“選擇named_struct (' a ', 1, ' b ', 2 ' b ', 3) struct_col”)df.select(美元)“struct_col”.withField (“b”點燃(One hundred.)))/ /結果:{“a”: 1、“b”: 100年,“b”: 100}瓦爾df = sql (“選擇named_struct (a, named_struct (' a ', 1, ' b ', 2)) struct_col”)df.select(美元)“struct_col”.withField (“交流”點燃(3)))/ /結果:{" a ": {“a”: 1、“b”: 2,“c”: 3}}瓦爾df = sql (“選擇named_struct (a, named_struct (' b ', 1), a, named_struct (' c ', 2)) struct_col”)df.select(美元)“struct_col”.withField (“交流”點燃(3)))/ /結果:org.apache.spark.sql。AnalysisException:Ambiguous reference to fields
這種方法支持添加/更換直接如嵌套的字段。
瓦爾df = sql (“選擇named_struct (a, named_struct (' a ', 1, ' b ', 2)) struct_col”)df.select(美元)“struct_col”.withField (“交流”點燃(3).withField (“公元”點燃(4)))/ /結果:{" a ": {“a”: 1、“b”: 2,“c”: 3,“d”: 4}}
然而,如果你想添加/替換多個嵌套的字段,它是更優的提取出添加/更換多個字段如前嵌套的結構體。
瓦爾df = sql (“選擇named_struct (a, named_struct (' a ', 1, ' b ', 2)) struct_col”)df.select(美元)“struct_col”.withField (“一個”美元,“struct_col.a”.withField (“c”點燃(3).withField (“d”點燃(4))))/ /結果:{" a ": {“a”: 1、“b”: 2,“c”: 3,“d”: 4}}
- 自
-
3.1.0
- def| |(其他:任何):列
布爾或。
布爾或。
/ / Scala:以下選擇的人在學校或工作。人。過濾器(人(“優異”)| |人(“加上”))Java: / /人。過濾器(people.col (“優異”)或者(people.col (“加上”)));
- 自
-
1.3.0