Hyperparameter调优

砖为机器学习包含Hyperopt运行时,一个开源工具,自动模型选择和hyperparameter调优的过程。bob下载地址

与Hyperopt Hyperparameter调优

砖运行时毫升包括HyperoptPython库,促进分布式hyperparameter调优和模型选择。使用Hyperopt,您可以扫描一组Python模型虽然不同算法和hyperparameters你定义的空间。Hyperopt与分布式ML算法例如Apache火花MLlib Horovod,以及单机毫升scikit-learn和TensorFlow等模型。

当使用Hyperopt的基本步骤是:

  1. 定义一个目标函数最小化。通常这是培训或验证的损失。

  2. 定义hyperparameter搜索空间。Hyperopt提供了一个有条件的搜索空间,它可以让你比较不同的ML算法在相同的运行。

  3. 指定搜索算法。Hyperopt使用随机优化算法,执行更有效的搜索比确定性hyperparameter空间网格搜索。

  4. 运行Hyperopt函数fmin ()。fmin ()需要您在前面的步骤中定义的项目和标识的hyperparameters集最小化目标函数。

开始迅速用Hyperopt scikit-learn算法,见:

更多细节Hyperopt是如何工作的,以及更多的例子,看:

自动化MLflow跟踪

请注意

MLlib自动化MLflow跟踪集群运行数据砖上弃用运行时10.1毫升以上,它默认是禁用的集群运行砖运行时的10.2毫升以上。相反,使用MLflow PySpark毫升autologging通过调用mlflow.pyspark.ml.autolog (),这是默认启用砖Autologging。

在砖使用旧MLlib自动化MLflow跟踪运行时10.2毫升以上,使它通过设置火花配置spark.databricks.mlflow.trackMLlib.enabled真正的和spark.databricks.mlflow.autologging.enabled假。