ML框架正在以疯狂的速度发展,从业者平均需要管理8个库。ML运行时提供了一键访问最流行的ML框架的可靠和性能分布,并通过预先构建的容器自定义ML环境。
通过内置的AutoML功能,包括使用Hyperopt和MLflow进行超参数调优和模型搜索,加速机器学习,从数据准备到推理。
使用自动管理和可伸缩的集群基础设施轻松地从小数据到大数据。机器学习运行时还包括对最流行算法的独特性能改进,以及用于分布式深度学习的简单API HorovodRunner。
自动化实验跟踪:使用开源或托管MLflow和并行坐标绘图功能跟踪、比较和可视化数十万个实验。bob下载地址
自动模型搜索(单节点ML):优化和分布式条件超参数搜索跨多个模型架构,增强Hyperopt和自动跟踪MLflow。
单节点机器学习的自动超参数调优优化和分布式超参数搜索,增强Hyperopt和自动跟踪MLflow。
分布式机器学习的自动超参数调优与PySpark MLlib的交叉验证深度集成,自动跟踪MLlib实验中的MLflow。
优化TensorFlow:受益于GPU集群上的TensorFlow cuda优化版本,获得最大性能。
HorovodRunner:快速迁移您的单节点深度学习训练代码,使用HorovodRunner在Databricks集群上运行,这是一个简单的API,可以抽象使用Horovod进行分布式训练时面临的复杂问题。
优化MLlib逻辑回归和树分类器:最流行的估计器已经作为Databricks运行时ML的一部分进行了优化,与Apache Spark 2.4.0相比,为您提供高达40%的速度提升。
机器学习运行时是建立在每个Databricks运行时版本之上并更新的。它通常可用于所有Databricks产品,包括:Azure Databricks, AWS云,GPU集群和CPU集群。
要使用ML运行时,只需在创建集群时选择运行时的ML版本。