模型存儲需求管理

[invalidargument]

嗨。

我們有大約30模型在模型存儲,我們使用批處理得分。這些都是由不同的人在不同的時間創建不同集群運行時。

現在我們有遇到問題,我們不能反序列化以來推理模型和使用有火花和/或sklearn missmatched版本。

我試著什麼:

• 使用要求。txt和pip安裝一起從各自的模型

1. 問題解決方案:
   1. 不可能改變火花版本與pip安裝集群上,還有depencies火花desrialization模型
   2. 有時,自動生成的要求。從mlflow.log_model txt()包含不兼容包版本和pip安裝出口錯誤代碼

我的問題是

1. 一些建議的處理方式(批)得分和跟蹤集群運行時,要求每個模型的組合,有磚的文檔我可以讀嗎?
2. 可以找到與clusterid模型注冊表或運行時創建一個模型嗎?

謝謝。

[匿名]

@Jonas林德伯格:

解決你麵臨的問題與模型序列化和版本控製,我建議以下做法:

1. 使用MLflow來管理的生命周期模型,包括版本控製、部署和監控。MLflow是一個開源平台,提供工具來跟蹤實驗,代Beplay体育安卓版本碼打包成可再生的,和分享和部署模型。通過使用MLflow管理您的模型,您可以確保每個模型與正確的依賴關係和運行時環境。
2. 為您的模型定義一致的環境。使用一個需求文件指定的包和模型所需的依賴項,並確保每個模型與火花,Scikit-learn的正確版本。這將幫助確保模型可以反序列化和用於推理。您還可以創建一個碼頭工人形象與容器所需的環境和部署您的模型在不同的運行時環境,以確保一致性。
3. 使用磚工作運行批處理評分工作,並指定為每個任務的運行時環境和依賴性。磚工作允許你指定集群為您的工作和運行時環境,以及輸入數據和輸出的位置。您還可以使用磚工作安排和監控你的工作。
4. 用MLflow模型注冊中心來管理您的模型的部署到不同的環境中,如生產或登台。MLflow模型注冊表允許您跟蹤您的模型的生命周期,包括版本控製、部署和監控。您還可以使用模型注冊推廣模型從暫存到生產,和跟蹤的性能模型。

回答你的具體問題:

1. 磚提供文檔管理的最佳實踐毫升模型,包括版本控製、部署和監控。您可以參考下麵的參考資料了解更多信息:

• MLflow文檔:https://mlflow.org/docs/latest/index.html
• 磚在機器學習文檔:https://docs.m.eheci.com/applications/machine-learning/index.html

1. MLflow模型注冊表允許您跟蹤版本的火花和Scikit-learn用於創建每個模型,以及運行時環境和依賴關係。您可以使用模型注冊表搜索模型基於這些屬性,和部署模型到特定的運行時環境。