雖然注冊——PicklingError UDF函數

[databricks_amit]

PicklingError:不能序列化對象:例外:看來你是試圖從廣播引用SparkContext變量,行動,或轉換。SparkContext隻能用於驅動程序,而不是在代碼上運行工人。

我想寫一個函數在Azure磚。我想火花。sql函數內。但是看起來我不能使用它與工人節點。

1. def SEL_ID(價值,指數):
2. #值一些處理
3. ans =火花。sql(“選擇id從表本=指數”)
4. 回報答
5. spark.udf。注冊(“SEL_ID SEL_ID)

我得到以下錯誤:

PicklingError:不能序列化對象:例外:看來你是試圖從廣播引用SparkContext變量,行動,或轉換。SparkContext隻能用於驅動程序,而不是在代碼上運行工人。有關更多信息,請參見火花- 5063。

有什麼方法我可以克服這個毛病嗎?我用上述函數選擇從另一個表。