部署推理和預測模型

使用MLFLOW進行模型推斷

MLFLOW可幫助您生成用於批處理或流推斷的代碼。

• 在MLFlow模型注冊表中，您可以自動生成筆記本。

• 在裏麵MLFlow運行頁對於您的模型，您可以複製生成的代碼段，以推斷熊貓或apache spark數據範圍。

您還可以自定義以上任何一個選項生成的代碼。請參閱以下筆記本以獲取示例：

• 這模型推理示例使用經過Scikit-Learn訓練的模型，並先前記錄到MLFLOW，以顯示如何加載模型並使用它以不同格式的數據進行預測。該筆記本說明了如何將模型作為Scikit-Learn模型應用於Pandas DataFrame，以及如何將模型應用於Pyspark UDF將其應用於Spark DataFrame。

• 這MLFLOW模型注冊表示例顯示如何使用模型注冊表構建，管理和部署模型。在該頁麵上，您可以搜索。預測確定離線（批次）預測的示例。

創建數據鏈球

要運行批處理或流媒體預測作為作業，請創建一個筆記本或JAR，其中包括用於執行預測的代碼。然後，將筆記本或罐子作為數據鏈助執行工作。作業可以立即或在日程。

流推斷

對於流媒體應用程序，請使用Apache Spark結構化流API。結構化流API類似於批處理操作。您可以將上一節中提到的自動生成的筆記本用作模板，並將其修改以使用流式傳輸而不是批處理。查看Apache Sparkmllib管道和結構化流示例。

與深度學習模型的推斷

有關Databricks的深度學習模型推斷的信息和示例，請參見以下文章：

• 參考解決方案

使用MLLIB和XGBOOST4J模型推斷

對於使用MLLIB和XGBOOST4J模型的可擴展模型推斷，請使用本機轉換直接在Spark DataFrames上執行推斷的方法。這MLLIB示例筆記本包括推理步驟。

自定義和優化模型推斷

當您使用MLFlow API在Spark DataFrames上運行推斷時，您可以將模型作為Spark UDF加載，並使用分布式計算在大規模應用。

您可以自定義模型以添加預處理或後處理，並優化大型模型的計算性能。自定義模型的一個好選擇是mlflow pyfunc api，這使您可以用自定義邏輯包裝模型。

如果您需要進行進一步的自定義，則可以將機器學習模型手動包裹在Pandas UDF或Pandas Iterator UDF。看到深度學習的例子。

對於較小的數據集，您還可以使用庫提供的本機模型推理例程。