使用分布式与Hyperopt训练算法

除了来自scikit-learn等单机训练算法,您可以使用Hyperopt与分布式训练算法。在这个场景中,Hyperopt生成试验与不同hyperparameter设置在驱动节点上。每个试验从司机节点执行,使它完整的集群资源的访问。这个设置适用于任何分布式机器学习算法或库,包括Apache火花MLlib和HorovodRunner。

当你使用Hyperopt与分布式训练算法,不通过试用参数fmin (),具体地说,不要使用SparkTrials类。SparkTrials是为了分配试验本身并不是分布式的算法。与分布式训练算法,使用默认的试用类,它运行在集群的司机。Hyperopt评估每个审判司机节点的ML算法本身可以启动分布式训练。