MlLib是在維護模型。目前,火花ML主要使用。創建模型在大多數情況下沒有使用udf//m.eheci.com/spark/getting-started-with-apache-spark/machine-learning,但無論如何,UDF通常是運行在一個分布式的方式。例如,當你添加數據表,您可以使用注冊使用UDF運行預測模型(即使在一個實時流):
進口mlflow預測= mlflow.pyfunc。spark_udf(火花,model_uri = f“運行:/ {run_id} /模式”)predDF = testDF。withColumn(“預測”,預測(* testDF.columns))