取消
顯示的結果
而不是尋找
你的意思是:

AnalysisException (UC_COMMAND_NOT_SUPPORTED):火花在統一目錄。高階函數不支持;

Mr_K
新的因素

你好,

forecast_date = ' 2017-12-01 ' spark.conf.set (“spark.sql.shuffle。分區',500)#為這些數據生成預測預測=(曆史。曆史。日期< forecast_date) #極限訓練數據之前,我們預測日期.groupBy(“儲存”,“項目”,點燃(30).alias (days_to_forecast)) .applyInPandas (get_forecast,“存儲項整數,整數、日期時間戳、銷售浮動,sales_pred_mean浮動,sales_pred_lower浮動,sales_pred_upper浮動”).withColumn (forecast_date,點燃(forecast_date) .cast (TimestampType ()))) .cache () forecast_evals =(預測.select (“forecast_date”、“商店”,“項目”,“銷售”,“sales_pred_mean”)。(預測。日期< forecasts.forecast_date) .groupBy (“forecast_date”、“商店”,“項目”).applyInPandas (evaluate_forecast,“forecast_date時間戳、存儲整數,整數,項mse浮動,rmse浮動,梅浮動,日軍浮動”))forecast_evals_cv =(預測.select (“forecast_date”、“商店”,“項目”,“銷售”,“sales_pred_mean”)。(預測。日期< forecasts.forecast_date) .groupBy (“forecast_date”、“商店”,“項目”,點燃(30).alias (days_to_forecast)) .applyInPandas (evaluate_forecast_cv,“forecast_date時間戳、存儲整數,整數,項地平線整數,mse浮動,rmse浮動,梅浮動,日軍浮動,mdape浮動,浮動”報道))forecasts.createOrReplaceTempView (forecasts_tmp) forecast_evals.createOrReplaceTempView (forecast_evals_tmp) forecast_evals_cv.createOrReplaceTempView (“forecast_evals_cv_tmp”)

當我運行上麵的代碼,它拋出錯誤

AnalysisException (UC_COMMAND_NOT_SUPPORTED):火花在統一目錄。高階函數不支持;

我對12.2 LTS磚使用共享的集群運行時和統一目錄啟用。

對偽造者包也得到類似的錯誤。

2回答2

User16502773013
新的貢獻者三世
新的貢獻者三世

你好@Mr_K,

目前不支持集群上運行applyInPandas UC啟用。

作為替代/臨時解決方案我們建議實現預測函數作為火花UDF

有關目前支持Python UDF的更多信息請檢查發行說明在這裏

問候

Tharun-Kumar
尊敬的貢獻者
尊敬的貢獻者

@Mr_K

ApplyInPandas在Python是一個高階函數。到目前為止,我們不支持高階函數統一目錄。我們支持直接調用python udf。

這是一個如何在UC -參考udf的例子https://docs.m.eheci.com/en/udf/python.html

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map