部署用于推断和预测的模型

使用MLflow进行模型推断

MLflow帮助您生成用于批处理或流推理的代码。

• 在MLflow模型注册表中，您可以这样做自动生成笔记本用于批处理或流式推理Delta活动表．

• 在MLflow运行页面对于您的模型，您可以复制生成的代码片段用于pandas或Apache Spark dataframe上的推理。

您还可以自定义由上述任一选项生成的代码。有关例子，请参阅以下笔记本:

• 的模型推断示例使用scikit-learn训练过的模型，之前登录到MLflow，以展示如何加载模型并使用它对不同格式的数据进行预测。笔记本演示了如何将模型作为scikit-learn模型应用到pandas DataFrame，以及如何将模型作为PySpark UDF应用到Spark DataFrame。

• 的MLflow模型注册表示例展示如何使用模型注册表构建、管理和部署模型。在那个页面上，你可以搜索.predict识别离线(批量)预测的例子。

创建Databricks作业

要将批处理或流式预测作为作业运行，请创建一个包含用于执行预测的代码的笔记本或JAR。然后，将笔记本或JAR作为Databricks执行工作．作业可以立即运行，也可以在时间表．

流推理

在MLflow模型注册表中，您可以这样做自动生成一个集成MLflow PySpark推理UDF的笔记本Delta活动表．

您还可以修改生成的推断笔记本以使用Apache Spark结构化流API。参见Apache SparkMLlib管道和结构化流的例子．

深度学习模型推理

有关Databricks上深度学习模型推理的信息和示例，请参阅以下文章:

• 参考解决方案

使用MLlib和XGBoost4J模型进行推断

对于使用MLlib和XGBoost4J模型的可伸缩模型推断，请使用本机变换方法直接在Spark dataframe上执行推理。的MLlib示例笔记本包括推理步骤。

自定义和优化模型推理

当您使用MLflow api在Spark dataframe上运行推理时，您可以将模型作为Spark UDF加载，并使用分布式计算将其大规模应用。

您可以自定义您的模型，以添加预处理或后处理，并优化大型模型的计算性能。自定义模型的一个很好的选择是MLflow pyfunc API，它允许您使用自定义逻辑包装模型。

如果你需要做进一步的定制，你可以手动将你的机器学习模型包装在Pandas UDF或pandas迭代器UDF．看到深度学习的例子．

对于较小的数据集，还可以使用库提供的本机模型推断例程。