我想寫一個函數在Azure磚。我想火花。sql函數內。但是看起來我不能使用它與工人節點。
def SEL_ID(價值,指數):#一些處理值ans =火花。sql(“選擇id從表本=指數”)返回ans spark.udf。注冊(“SEL_ID SEL_ID)
我得到以下錯誤:
PicklingError:不能序列化對象:例外:看來你是試圖從廣播引用SparkContext變量,行動,或轉換。SparkContext隻能用於驅動程序,而不是在代碼上運行工人。有關更多信息,請參見火花- 5063。
有什麼方法我可以克服這個毛病嗎?我用上述函數選擇從另一個表。
