包服務定製的構件模型

需求

MLflow 1.29及以上

包構件模型

當你的模型需要的文件或工件在推理,可以包成模型工件時記錄模型。

如果您正在使用磚筆記本,常見的做法是有這樣的文件駐留在DBFS。模型也有時從互聯網上下載配置工件(比如HuggingFace分詞器)。大規模實時工作負載執行所有必需的依賴項時最好在部署時靜態捕獲。出於這個原因,模型服務需要打包成DBFS工件模型工件本身和使用MLflow接口。網絡構件加載與模型應該盡可能的包裝與模型。

MLflow命令log_model ()你可以登錄與模型及其相關的工件工件參數。

mlflow。pyfunc。log_model(…工件={“model-weights”:“/ dbfs /道路/ /文件”,“tokenizer_cache”:”。/ tokenizer_cache”},…)

在PyFunc模型中,都可以在這些工件的路徑上下文對象下context.artifacts,他們可以加載該文件類型的標準方法。

例如,在一個自定義MLflow模型:

類ModelPyfunc(mlflow。pyfunc。PythonModel):defload_context(自我,上下文):自我。模型=火炬。負載(上下文。工件(“model-weights”])自我。分詞器=變形金剛。BertweetTokenizer。from_pretrained(“示範基地”,local_files_only=真正的,cache_dir=上下文。工件(“tokenizer_cache”])…

後你的文件和工件打包在你的模型工件,您可以提供您的模型模型服務端點。