包服务定制的构件模型

本文描述了如何确保您的模型和构件的依赖在你的文件模型服务端点。

需求

MLflow 1.29及以上

包构件模型

当你的模型需要的文件或工件在推理,可以包成模型工件时记录模型。

如果您正在使用砖笔记本,常见的做法是有这样的文件驻留在DBFS。模型也有时从互联网上下载配置工件(比如HuggingFace分词器)。大规模实时工作负载执行所有必需的依赖项时最好在部署时静态捕获。出于这个原因,模型服务需要打包成DBFS工件模型工件本身和使用MLflow接口。网络构件加载与模型应该尽可能的包装与模型。

MLflow命令log_model ()你可以登录与模型及其相关的工件工件参数。

             mlflow。pyfunc。log_model(…工件={“model-weights”:“/ dbfs /道路/ /文件”,“tokenizer_cache”:”。/ tokenizer_cache”},…)
            

在PyFunc模型中,都可以在这些工件的路径上下文对象下context.artifacts,他们可以加载该文件类型的标准方法。

例如,在一个自定义MLflow模型:

             类ModelPyfunc(mlflow。pyfunc。PythonModel):defload_context(自我,上下文):自我。模型=火炬。负载(上下文。工件(“model-weights”])自我。分词器=变形金刚。BertweetTokenizer。from_pretrained(“示范基地”,local_files_only=真正的,cache_dir=上下文。工件(“tokenizer_cache”])…
            

后你的文件和工件打包在你的模型工件,您可以提供您的模型模型服务端点。