Python快速入门
MLflow是一个用于管bob下载地址理端到端机bob体育客户端下载器学习生命周期的开源平台。MLflow为记录指标(例如,模型损失)、参数(例如,学习率)和拟合模型提供了简单的api,从而便于分析训练结果或稍后部署模型。
安装MLflow
如果你在使用Databricks运行时机器学习, MLflow已经安装。否则,从PyPI安装MLflow包.
自动将训练运行记录到MLflow
使用Databricks运行时10.3 ML及以上,砖Autologging在默认情况下启用,并在从各种流行的机器学习库训练模型时自动捕获模型参数、指标、文件和沿袭信息。
在Databricks Runtime 10.2及以下版本中,MLflow提供了mlflow。<框架> .autolog ()
用于自动记录在许多ML框架中编写的训练代码的api。您可以在运行训练代码之前调用这个API来记录特定于模型的度量、参数和模型构件。
请注意
中也支持Keras模型mlflow.tensorflow.autolog ()
.
# autoinstruments tf.keras进口mlflow.tensorflowmlflow.tensorflow.autolog()
进口mlflow.xgboostmlflow.xgboost.autolog()
进口mlflow.lightgbmmlflow.lightgbm.autolog()
进口mlflow.sklearnmlflow.sklearn.autolog()
如果使用pyspark.ml
,度量和模型自动记录到MLflow。看到Apache Spark MLlib和自动MLflow跟踪.
跟踪额外的指标、参数和模型
方法可以记录其他信息MLflow跟踪日志api.
模型
进口mlflow.sklearnmlflow.sklearn.log_model(模型,“myModel”)
进口mlflow.sparkmlflow.火花.log_model(模型,“myModel”)
进口mlflow.xgboostmlflow.xgboost.log_model(模型,“myModel”)
进口mlflow.tensorflowmlflow.tensorflow.log_model(模型,“myModel”)
进口mlflow.kerasmlflow.keras.log_model(模型,“myModel”)
进口mlflow.pytorchmlflow.pytorch.log_model(模型,“myModel”)
进口mlflow.spacymlflow.宽大的.log_model(模型,“myModel”)
例如笔记本电脑
请注意
使用Databricks运行时10.3 ML及以上,砖Autologging默认情况下启用,并且这些示例笔记本中的代码不是必需的。本节中的示例笔记本设计用于Databricks Runtime 10.2 ML及以下版本。
使用Python开始使用MLflow跟踪的推荐方法是使用MLflowautolog ()
API。使用MLflow的自动记录功能,只需一行代码就可以自动记录生成的模型、用于创建模型的参数和模型评分。下面的笔记本向您展示如何使用自动记录设置运行。
如果您需要对每次训练运行所记录的指标进行更多的控制,或者希望记录额外的工件(如表或图),您可以使用以下笔记本中演示的MLflow日志API函数。