部署模型推理和預測

使用MLflow推理模型

MLflow幫助您生成代碼批量或流推理。

• MLflow模型中注冊,你可以自動生成一個筆記本批處理或流推理通過三角洲生活表。

• 在MLflow運行頁麵你的模型,你可以複製生成的代碼片段對熊貓或Apache火花DataFrames推理。

您還可以自定義生成的代碼通過上麵的選項。看到以下筆記本為例子:

• 的模型推理的例子使用一個模型訓練與先前記錄到MLflow scikit-learn和展示如何加載模型,用它來預測在不同格式的數據。筆記本演示了如何應用該模型作為熊貓DataFrame scikit-learn模型,以及如何應用這些模型作為火花DataFrame PySpark UDF。

• 的MLflow模型注冊表實例展示了如何構建、管理和部署模型與模型注冊表。在這個頁麵,你可以搜索.predict離線識別的例子(批)預測。

創建一個磚的工作

運行批處理或流的預測工作,創建一個筆記本或JAR包括預測用於執行的代碼。然後,執行筆記本或JAR磚工作。工作可以立即或在運行時間表。

流推理

從MLflow模型注冊,你可以自動生成一個筆記本,集成MLflow PySpark推理UDF三角洲生活表。

您還可以修改生成的推理筆記本使用Apache火花結構化流API。看到Apache火花MLlib管道和結構化流的例子。

推理與深度學習模型

深度學習的信息和示例模型推理在磚上,看到下麵的文章:

• 深入學習模型推理工作流

• 深入學習模型推理性能調優指南

• 參考解決方案

推理和MLlib XGBoost4J模型

可伸縮的模型推理和MLlib XGBoost4J模型,使用本機變換方法對火花DataFrames執行直接推理。的MLlib例子筆記本包括推理的步驟。

定製和優化模型推理

當你使用MLflow api上運行推理引發DataFrames,您可以加載模型作為一個火花UDF使用分布式計算和大規模應用。

你可以定製你的模型添加預處理或後處理和優化計算大型模型的性能。是一個很好的選擇定製模型MLflow pyfunc API,它允許您將一個模型與自定義的邏輯。

如果你需要做進一步的定製,您可以手動包裝在熊貓UDF或機器學習模型熊貓迭代器UDF。看到深度學習的例子。

對於較小的數據集,您還可以使用本機模型推理庫提供的例程。