MLflow點播網絡研討會和FAQ現在可用!

8月30日,我們的團隊舉辦了一個研討會——生活引入MLflow:基礎設施生命周期為一個完整的機器學習——馬泰Zaharia聯合創始人兼首席技術專家磚。

在這個網絡研討會,我們走MLflow從磚,一個新的開源項目,旨在設計一個開放毫升平台,組織可以使用任何毫升庫和開發工具的選擇可靠的構建和共享毫升應用程序。Beplay体育安卓版本MLflow介紹簡單的抽象包可再生項目,跟蹤結果,和封裝模型,可以用於許多現有的工具,加速毫升為任何規模的組織生命周期。

特別是,我們展示了如何:

• 跟蹤實驗運行和結果在流行的框架與MLflow跟蹤
• 執行MLflow項目發表在GitHub從命令行或磚筆記本以及遠程執行您的項目在磚集群
• 快速部署MLflow模型on-prem或在雲端,讓他們通過REST api

如果你錯過了會議,你可以視圖它現在。同時,我們證明了以下筆記本電腦和數據集。

更多的代碼示例和教程上可用GitHub模型,包括hyperparameter調優以及培訓和跟蹤Tensorflow, Pytorch, scikit-learn。

如果你想免費獲取磚統一分析平台Beplay体育安卓版本並嚐試我們的筆記本,你可以訪問在這裏免費試用。

到最後,我們舉行了一個問答環節,下麵是問題和答案。

一般的問題

問:作為MLflow alpha版本,第一個穩定版本的時間表是什麼?

我們非常關心API的穩定性和MLflow圖書館,您可以構建在長期的。我們希望盡快API是穩定,目前針對2019年上半年開始保證穩定。

問:我們需要MLflow模塊一起使用或者我們可以隻使用跟蹤模塊嗎?

是的,你可以使用一個模塊:MLflow跟蹤,MLflow項目,或MLflow模型。MLflow被設計成模塊化提供最大的靈活性和輕鬆地集成到用戶的現有毫升的開發過程。

問:MLflow Azure的工作嗎?Cloudera嗎?其他供應商?

您可以使用開源MLflow軟件在任何平台。Beplay体育安卓版本在雲中存儲在本地工作或在Azure Blob存儲、S3,或者穀歌雲存儲和我們有一些文檔如何使用MLflow有或沒有磚。

問:你計劃支持任何AutoML,喜歡汽車參數調優在未來嗎?

MLflow很容易與現有的hyperparameter集成優化工具,如Hyperopt或GPyOpt。您可以使用這些工具來自動運行一個MLflow項目不同hyperparameters找到最好的hyperparameter組合。有一個例子包括在MLflow代碼庫。

問:MLflow H2O AutoML相比有什麼不同?

MLflow目的並不是一個純AutoML整個模型開發過程自動化的解決方案。相反,它旨在簡化毫升開發過程和使現有毫升開發人員(包括數據科學家和生產工程師)更有效率,讓他們容易追蹤,繁殖和比較結果。這些特性應該用於可靠地進入生產和維護模型即使你使用AutoML,和他們的工作與其他毫升工具,不僅僅是那些支持AutoML庫。

問:有任何認為整合類似TransmogrifAI(自動化特性工程)作為MLflow的一部分嗎?

是的,我們的目標是容易使用任意毫升庫的支持,包括TransmogrifAI。例如,您可以使用MLflow日誌參數和指標TransmorgifAI,然後想象發現的模式你可以重新配置TransmogrifAI實驗更好的性能。

問題MLflow跟蹤

MLflow跟蹤允許記錄和查詢實驗:代碼、數據、配置,結果。在這個網絡研討會中,我們演示了如何跟蹤結果線性回歸模型使用一個通用的Python函數以及scikit-learn MLflow。看到更多的例子Github。

問:你有使用共享的文檔MLflow跟蹤服務器在一個團隊中設置?有共享跟蹤服務器的安全嗎?如果我想知道誰做了一個特殊的實驗。

當然,這是我們的文檔MLflow跟蹤以及MLflow跟蹤服務器可以設置為合作目的。此外,MLflow跟蹤界麵讓你看到被記錄到MLflow跟蹤服務器運行。MLflow跟蹤服務器隻是提供了一個HTTP接口,所以我們建議將其放置在HTTP代理或VPN安全認證。

問:規格/參數記錄在哪裏?

MLflow運行可以記錄在本地或遠程文件MLflow跟蹤服務器。它使用Azure Blob存儲、S3或者穀歌雲存儲。更詳細的信息可以在我們的文檔。

問:我如何運行MLflow UI從Azure磚?

您可以使用在Azure MLflow磚使用開源MLflow像我們展示了在這個網絡研討會。你可以參考我們的文檔為更多的信息。在0.6版本中,MLflow會自動理解如果你運行你的磚,將實驗記錄鏈接到你的筆記本或工作。

我們還提供一個私人的預覽托管MLflow磚給消費者。beplay体育app下载地址你可以注冊//m.eheci.com/product/managed-mlflow為更多的信息。

問:你有未來的計劃,使存儲在數據庫嗎?

是的,我們也計劃包括一個數據庫存儲後端,這樣您就可以插入常見的SQL數據庫。存儲後端在MLflow已經可插入所以我們歡迎添加這個開源貢獻。

問:如果我在磚筆記本運行網格搜索功能,可以直接追蹤到MLflow嗎?

是的,你甚至可以在一個循環中運行多個實驗位於相同的單元中。MLflow將記錄所有的運行時使用的API。

MLflow項目上的問題

MLflow項目允許包格式可再生的任何平台上運行。Beplay体育安卓版本了解更多在這裏。

問:做Github項目需要通過MLflow MLproject文件可用來支持運行嗎?

目前我們建議您創建一個MLproject文件在執行MLflow GitHub項目。同時你也可以在GitHub庫運行代碼存儲庫中(通過指定一個腳本作為入口點),MLProject幫助文檔的入口點(即如何運行代碼)和他們的依賴關係。

問題MLflow模型

MLflow模型提供了一個通用的模型格式,支持不同的部署工具。了解更多在這裏。

問:如何配置“在雲中運行”功能嗎?如果我想對一個CPU-strong VM運行工作,然後針對GPU-strong VM嗎?

MLflow設計為獨立於您的環境,所以隻要你毫升圖書館支持不同類型的硬件上運行,它應該可以包在一個MLflow模型並將其部署在這些設置。項目有建於與流行毫升庫集成,我們打算調整的良好表現。

問:出口數據磚筆記本Azure毫升web服務可用的開源MLflow的一部分

出口一個模型到Azure毫升MLflow目前支持,雖然我們不是出口一個筆記本。我們隻是出口的模型建立,這個函數,是的今天支持。你可以閱讀更多關於這個文檔。

問:亞馬遜Sagemaker MLflow支持部署scikit學習模型,它是如何工作的呢?

的mlflow.sagemaker模塊可以在本地部署在SageMaker python_function模型或在一個碼頭工人容器SageMaker兼容的環境。你必須先設置您的環境和用戶帳戶為了部署與MLflow SageMaker。同時,為了出口SageMaker定製模型,你需要一個MLflow-compatible碼頭工人可在亞馬遜ECR形象。MLflow提供了一個默認的碼頭工人形象定義;然而,它是由你來構建實際的圖片,上傳到你的ECR帳戶。MLflow包括一個實用程序來執行這一步驟。一旦建成並上傳,MLflow容器可用於所有MLflow模型。有關更多信息,請參考我們的文檔。

與MLflow開始,按照說明mlflow.org或查看alpha版本代碼Github。我們最近還創建了一個鬆弛的通道為MLflow以及實時問題,你可以遵循@MLflow在Twitter上。我們很高興聽到你的反饋的概念和代碼!