部署模型推理和预测

砖建议您使用MLflow部署的机器学习模型。您可以使用MLflow批量部署模型流推理或建立一个REST端点服务模型。

本文描述如何部署MLflow模型离线(批处理和流媒体)推理和在线(实时)服务。对于一般信息处理MLflow模型,明白了日志、负载、登记和部署MLflow模型。

提示

可以简化模型部署通过注册模型MLflow模型注册。注册后您的模型,你可以自动生成一个笔记本批推理或在线服务配置模型模型服务。

离线预测

本节包括设置的说明和示例批处理或流预测数据砖。

使用MLflow推理模型

MLflow帮助您生成代码批量或流推理。

您还可以自定义生成的代码通过上面的选项。看到以下笔记本为例子:

  • 的模型推理的例子使用一个模型训练与先前记录到MLflow scikit-learn和展示如何加载模型,用它来预测在不同格式的数据。笔记本演示了如何应用该模型作为熊猫DataFrame scikit-learn模型,以及如何应用这些模型作为火花DataFrame PySpark UDF。

  • 的MLflow模型注册表实例展示了如何构建、管理和部署模型与模型注册表。在这个页面,你可以搜索.predict离线识别的例子(批)预测。

创建一个砖的工作

运行批处理或流的预测工作,创建一个笔记本或JAR包括预测用于执行的代码。然后,执行笔记本或JAR砖工作。工作可以立即或在运行时间表。

流推理

从MLflow模型注册,你可以自动生成一个笔记本,集成MLflow PySpark推理UDF三角洲生活表。

您还可以修改生成的推理笔记本使用Apache火花结构化流API。看到Apache火花MLlib管道和结构化流的例子。

推理与深度学习模型

深度学习的信息和示例模型推理在砖上,看到下面的文章:

推理和MLlib XGBoost4J模型

可伸缩的模型推理和MLlib XGBoost4J模型,使用本机变换方法对火花DataFrames执行直接推理。的MLlib例子笔记本包括推理的步骤。

定制和优化模型推理

当你使用MLflow api上运行推理引发DataFrames,您可以加载模型作为一个火花UDF使用分布式计算和大规模应用。

你可以定制你的模型添加预处理或后处理和优化计算大型模型的性能。是一个很好的选择定制模型MLflow pyfunc API,它允许您将一个模型与自定义的逻辑。

如果你需要做进一步的定制,您可以手动包装在熊猫UDF或机器学习模型熊猫迭代器UDF。看到深度学习的例子。

对于较小的数据集,您还可以使用本机模型推理库提供的例程。

模型服务

对于Python MLflow模型,砖允许您主机的机器学习模型的模型注册其他端点模型服务。

第三方服务模型

将模式部署到第三方服务框架,使用mlflow。< deploy-type > .deploy ()。