使用自定义Python库模型

在本文中,您将了解如何从一个私人包括自定义库或库镜像服务器当你日志模式,这样你可以使用它们模型服务模型部署。你应该完成本指南详细的步骤之后,你有一个训练有素的ML模式可以部署但在你创建一个砖模型服务端点。

模型开发通常需要使用自定义Python库,包含预处理或后处理功能,自定义模型定义,和其他共享公用事业。此外,许多企业安全团队鼓励使用私人PyPi镜子,如联系或Artifactory,减少的风险供应链的攻击。砖了原生支持安装自定义库和库的私人镜砖工作区。

需求

MLflow 1.29或更高版本

步骤1:DBFS上传相关文件

上传文件的依赖砖文件系统(DBFS)使用砖UI。上传后,您可以点击图书馆从UI DBFS路径。

确保你的图书馆提供给你的笔记本,你需要安装使用% pip %。使用%皮普图书馆在当前笔记本和下载安装到集群的依赖。

步骤2:日志模型与自定义库

重要的

指导在这一节中不是必需的,如果你安装指向一个定制的私人图书馆PyPi镜子。

在您安装DBFS库方向盘和上传文件,下面的代码包含在您的脚本。在pip_requirements指定你的DBFS路径依赖文件。

             mlflow。sklearn。log_model(模型,“sklearn-model”,pip_requirements=(“scikit-learn”,“numpy”,“/ dbfs /道路/ / dependency.whl”])
            

如果你有一个自定义库,您必须手动指定所有与你相关的Python库模型配置日志记录时。你可以这样做pip_requirements或conda_env参数log_model ()。

重要的

一定要包括一个斜杠,/之前,你dbfs当日志路径pip_requirements。BOB低频彩了解更多关于DBFS路径如何处理文件数据砖吗。

             从mlflow.utils.environment进口_mlflow_conda_envconda_env=_mlflow_conda_env(additional_conda_deps=没有一个,additional_pip_deps=(“/ dbfs /道路/ /依赖”),additional_conda_channels=没有一个,)mlflow。pyfunc。log_model(…,conda_env=conda_env)
            

步骤3:更新MLflow模型与Python轮子

MLflow提供了add_libraries_to_model ()实用程序来记录您的模型与它的所有依赖项预包装的Python轮子。这包您的自定义库与模型除了所有规定的其他库,作为您的模型的依赖性。这可以保证您的模型所使用的库是完全可以从你的训练环境。

在接下来的例子中,model_uri使用语法引用模型注册表模型:/ <模型名称> / <模型版本>。

当您使用该模型注册表URI,该实用程序生成一个新版本在您现有的注册模式。

             进口mlflow.models.utilsmlflow。模型。跑龙套。add_libraries_to_model(<模型- - - - - -uri>)
            

步骤4:为您的模型

当一个新的模型版本模型中包含的包是可用的注册表,您可以添加这个模型版本一个端点模型服务。