得到這個錯誤消息在我們生產集群當我運行一個筆記本,使用SQL expr函數調用LEN()函數
示例代碼:
df=df。withColumn(“波爾”,expr(”當SRC_SYSTEM = ' X '然後CONCAT(08年,子串(POL 3 LEN (POL) 2))波爾結束”))
下麵是錯誤消息。筆記本出問題在我的機器上運行在我們開發集群,集群問題發生在我們的刺激。任何一個有什麼想法?
異常發生的增量加載。異常- >定義功能:“蘭”。這個函數既不是注冊臨時函數也不是一個永久的函數注冊數據庫中的“默認”。1號線pos 87。
我有以下模塊導入……
從
pyspark.sql.functions
進口
*
從
pyspark.sql.types
進口
*
從
pyspark.sql
進口
功能
作為
F,窗口
從
pyspark.sql.functions
進口
create_map坳,點燃,expr
從
itertools
進口
鏈
從
pyspark
進口
StorageLevel
從
pyspark.sql.functions
進口
合並
