從Python文件創建函數

[gbrueckl]

它某種程度上可以創建一個SQL使用Python代碼外部的函數?

的例子隻顯示如何使用jar

https://docs.m.eheci.com/spark/latest/spark-sql/language-manual/sql-ref-syntax-ddl-create-functio..。

喜歡的東西:

創建臨時函數simple_temp_udf SimpleUdf的使用文件“/ tmp / SimpleUdf.py”;

[werners1 · Accepted solution]

我認為使用文件的工作。

隻要你遵循class_name需求。

實現類將擴展的一個基類如下:

• 應該在org.apache.hadoop.hive.ql擴展UDF或UDAF。執行方案。
• 應該擴大AbstractGenericUDAFResolver、GenericUDF或GenericUDTF org.apache.hadoop.hive.ql.udf。通用包。
• 應該在org.apache.spark.sql UserDefinedAggregateFunction擴展。表情包。

python文檔確實狀態是可能的:

除了SQL接口,允許您創建自定義用戶定義標量和火花聚合函數使用Scala, Python和Java api。看到用戶自定義標量函數(udf)和用戶定義的聚合函數(UDAFs)為更多的信息。

這應該是可能的,也許你的python類不符合要求嗎?

[穆穆袍]

對於python哪個類來擴展呢?所有列出的父類是java

[werners1]

對於pyspark您可以使用udf ()。

這是一個例子關於如何做到這一點。

[穆穆袍]

謝謝你的回應。我尋找的是定義一個視圖UDF。然而,一個會話水平UDF描述在這個例子中你似乎並不允許提供。也許我應該澄清我的問題定義外部UDF類似蜂巢。