你好,
forecast_date = ' 2017-12-01 ' spark.conf.set (“spark.sql.shuffle。分區',500)#為這些數據生成預測預測=(曆史。曆史。日期< forecast_date) #極限訓練數據之前,我們預測日期.groupBy(“儲存”,“項目”,點燃(30).alias (days_to_forecast)) .applyInPandas (get_forecast,“存儲項整數,整數、日期時間戳、銷售浮動,sales_pred_mean浮動,sales_pred_lower浮動,sales_pred_upper浮動”).withColumn (forecast_date,點燃(forecast_date) .cast (TimestampType ()))) .cache () forecast_evals =(預測.select (“forecast_date”、“商店”,“項目”,“銷售”,“sales_pred_mean”)。(預測。日期< forecasts.forecast_date) .groupBy (“forecast_date”、“商店”,“項目”).applyInPandas (evaluate_forecast,“forecast_date時間戳、存儲整數,整數,項mse浮動,rmse浮動,梅浮動,日軍浮動”))forecast_evals_cv =(預測.select (“forecast_date”、“商店”,“項目”,“銷售”,“sales_pred_mean”)。(預測。日期< forecasts.forecast_date) .groupBy (“forecast_date”、“商店”,“項目”,點燃(30).alias (days_to_forecast)) .applyInPandas (evaluate_forecast_cv,“forecast_date時間戳、存儲整數,整數,項地平線整數,mse浮動,rmse浮動,梅浮動,日軍浮動,mdape浮動,浮動”報道))forecasts.createOrReplaceTempView (forecasts_tmp) forecast_evals.createOrReplaceTempView (forecast_evals_tmp) forecast_evals_cv.createOrReplaceTempView (“forecast_evals_cv_tmp”)
當我運行上麵的代碼,它拋出錯誤
AnalysisException (UC_COMMAND_NOT_SUPPORTED):火花在統一目錄。高階函數不支持;
我對12.2 LTS磚使用共享的集群運行時和統一目錄啟用。
對偽造者包也得到類似的錯誤。
ApplyInPandas在Python是一個高階函數。到目前為止,我們不支持高階函數統一目錄。我們支持直接調用python udf。
這是一個如何在UC -參考udf的例子https://docs.m.eheci.com/en/udf/python.html