引入MLflow管道MLflow 2.0

自2018年我們推出了MLflow, MLflow已經成為最受歡迎的MLOps框架,擁有超過11米每月下載!如今,各種規模的團隊使用MLflow跟蹤、打包和部署模型。然而,隨著毫升的應用需求的增長,團隊需要大規模開發和部署模型。我們興奮地宣布MLflow 2.0來臨,將包括MLflow管道,使團隊簡單自動化和ML發展規模生產級毫升管道建設。

挑戰與實施毫升

當部署模型,你需要做的不僅僅是訓練他們。你需要攝取和驗證數據,運行試驗和跟蹤實驗,和包、驗證和部署模型。您還需要測試模型對實時生產數據和監控部署模型。最後,您需要管理和更新您的模型在生產新數據或條件的變化。

你可能會僥幸手動流程在管理一個模型。但是,當管理多個模型在生產,甚至支持單個模型需要頻繁更新,您需要編寫流程和工作流部署到生產。這意味著你需要創建一個工作流,1)包括所有上麵列出的ML過程和2)滿足需求共同生產代碼,如模塊化、可伸縮性和可測試性。與所有這些工作需要從探索過渡到生產、團隊是很難可靠和快速實現毫升係統生產。

MLflow管道

生產級毫升MLflow管道提供了一個標準化的框架創建管道結合模塊化毫升代碼與軟件工程最佳實踐模型部署快速和可伸縮的。使用MLflow管道,可以引導毫升項目,輕鬆進行快速迭代和部署管道投產後而DevOps最佳實踐。

MLflow MLflow管道引入了以下核心組件:

• 管道:每個管道由步驟和一個藍圖如何連接到這些步驟執行端到端機器學習操作,如培訓一批模型或應用推理。管道將複雜MLOps過程分解成多個步驟,每個團隊可以獨立工作。
• 步驟:步驟管理組件,執行一個任務,如數據攝入或功能轉換。這些任務通常表現在不同的韻律模型發展。步驟是通過定義良好的接口來創建一個連接管道和跨多個管道可以重用。步驟可以通過YAML定製配置或通過Python代碼。
• 管道的模板:管道模板提供一個固執己見的方法來解決不同的ML問題或操作,如回歸、分類、或批處理推理。每個模板包括一個預定義的管道與標準步驟。MLflow為常見的ML問題提供了內置的模板,和團隊可以創建新管道模板來適應定製需求。

您可以使用上麵的管道組件編寫MLOps流程,自動化和分享它在您的組織。通過標準化MLOps流程,您加速模型部署和規模毫升更多的用例。
自動化和縮放MLOps MLflow管道

自動化和縮放MLOps MLflow管道

標準化和加速生產毫升之路

MLflow管道生產級毫升使數據科學團隊創建的代碼部署在很少或沒有重構。它將模塊化的軟件工程原則、可測試性、再現性、code-config分離機器學習的同時保持代碼訪問數據科學團隊。管道也保證重現性環境,產生一致的結果在你的筆記本電腦,磚或其他雲環境。重要的是,統一的項目結構,模塊化的代碼和標準接口使生產團隊輕鬆地集成企業與ML工作流代碼部署機製。這使組織能夠使數據科學團隊部署毫升管道企業實踐生產代碼部署。

專注於機器學習,跳過樣板代碼

MLflow管道提供了模板,可以很容易地引導和建立毫升管道常見的ML問題。與一個預定義的模板支架管道圖和樣板代碼。然後您可以自定義單個步驟使用YAML配置或通過提供Python代碼。還帶有一個自動生成的每一步一步卡提供開箱即用的可視化,可以幫助調試和故障排除,如功能重要性情節和強調觀察大預測錯誤。您還可以創建自定義的模板和分享他們在您的企業。

快速和高效的迭代開發

MLflow管道發展的加速模型隻記住步驟和運行的管道是真正需要的。訓練模型時,您必須運行多個實驗來測試不同的模型類型或hyperparameters,每次實驗通常僅略不同於另一個。每個實驗運行完整的培訓管道每次浪費時間和計算資源。MLflow管道自動檢測不變步驟和重用其輸出從之前的運行,使實驗更快和更有效率。

同樣偉大的MLflow跟蹤,現在在工作流級別

MLflow自動跟蹤每個管道執行的元數據,包括MLflow運行模型,輸出步,代碼和配置快照。MLflow還跟蹤模板的git commit回購管道時執行。你可以很快看到之前的運行,對比結果並根據需要複製過去的結果。

宣布MLflow管道的第一個版本

今天我們興奮地宣布的第一次迭代MLflow管道,提供了一種發展高質量的生產級模板,回歸模型。模板,你會得到一個搭建回歸管道與預定義的步驟和樣板代碼。然後您可以定製個人如數據變換或模型訓練,迅速在本地執行管道或在雲中。

開始使用MLflow管道

準備開始還是自己試試?你可以閱讀更多關於MLflow管道和如何使用它們MLflow回購或聽數據+人工智能峰會2022會談MLflow管道。我們正在開發MLflow管道作為核心組件的開源MLflow項目並將鼓勵你提供反饋幫助我們做得更好。

加入的談話磚社區data-obsessed同行在哪裏聊天關於數據+人工智能峰會2022公告和更新。學習。網絡。慶祝。