宣布MLflow模型在磚

通過亞倫戴維森,托馬斯Nykodym,克萊門斯Mewald和Cyrielle西蒙尼

2020年6月25日在工程的博客

分享這篇文章

磚MLflow模型提供交鑰匙解決方案服務主機機器學習(ML)模型作為REST端點自動更新,使數據科學團隊擁有一個實時的端到端的生命周期從培訓到生產機器學習模型。

在部署時毫升模型、數據科學家必須做出選擇根據他們的用例。如果他們需要大量的預測和延遲不是一個問題,他們通常在批處理執行推理,喂食大量的模型數據和編寫預測表。如果他們需要預測低延遲,例如在一個應用程序響應用戶操作,最佳實踐是部署毫升模型作為REST端點。這允許應用程序發送請求的端點總是立即收到預測。

在磚上,我們已經簡化了部署毫升的工作流模型在大數據批處理或流的方式,使用MLflow的spark_udf。對於需要部署的情況下模型實時的方式,我們正在引入磚MLflow模型服務:一個新的交鑰匙服務,簡化了最初部署模型的工作流和也保持更新。磚MLflow模型直接關係到服務MLflow模型注冊自動部署新版本的模型和路由請求,方便毫升開發人員直接管理其所服務的模型。

看火花+人工智能峰會主題演講

服務模型

今天,服務模型可以複雜,因為它需要運行一個單獨的服務係統,比如Kubernetes毫升開發人員可能沒有訪問權。此外,開發人員必須小心使用更新版本的模型作為他們設計新車型,並請求路由到正確的模型。

磚MLflow模型解決這個問題通過集成與服務注冊中心。所有機器學習的模型注冊表可以存儲模型庫(TensorFlow, scikit-learn等等),並允許您存儲多個版本的模型,評論他們,促進他們登台和生產等不同生命周期階段。模型服務利用這些階段;你能提供最新的生產模型在“/模型/ 在uri /生產”和其他型號的具體模型。在引擎蓋下,模型服務管理計算集群執行請求,並確保他們總是最新的和健康的。

一旦啟用模型服務,磚集群啟動,哪些主機所有活動模型版本與注冊相關模型作為REST端點。每個模型運行在一個conda環境反映環境訓練。

一旦端點正在運行,您可以從磚UI測試查詢,或者使用REST API提交自己。我們也與最近發布的模型集成模式和示例(在MLflow 1.9允許注釋模型模式和示例輸入),使其更容易和更安全的考驗你的服務模型。

https://www.youtube.com/watch?v=IVS2PyoQN0M

相同的請求可以發送通過REST API使用標準磚認證,例如使用curl:

curl - u標誌:XXXhttps:/ /dogfood.staging.cloud.m.eheci.com/model/model_with_example/Production/invocations- happlication / json內容類型:;格式= pandas-records '- d“[[5.1,3.5,1.4,0.2]]”

注意,URL包含“生產”,這意味著這是一個穩定的URL指向最新的生產版本。你也可以直接參考模型的版本號,如果你想鎖定您的應用程序到一個特定的版本(例如“/模型/ model_with_example / 1”)。