horodod.sparkHorovod分布式深学习

学习使用horodod.spark软件包执行分布式机学习模型培训

horodod.spark数据布列克

数据键支持horodod.spark包提供估计API可用与Keras和PyToch管道ML管道细节见spark上Horovod中包含一节Horovod数据架.

注解

  • 数据砖安装高尚之道包依赖性提升或降级依赖关系 可能有兼容性问题

  • 使用时horodod.sparkKeras自定义调用时,必须保存TensorFlowSavedModel格式模型

    • TensorFlow2.x使用.tf后缀文件名

    • TensorFlow1.x设置选项save_weights_only=True.

需求

Databricks运行ML7.4或以上

示例:分布式培训函数

基本例子使用分布式培训函数horodod.spark:

def火车:导入horovod.tensorflow原封hvdhvd.init系统(b)导入horodod.spark高尚之道.点火.运行高山市火车,um_proc=2)

实例笔记本:Horovodspark使用Keras和PyToch

笔记本展示HorovodsparkEstimatorAPI与Keras和PyToch使用

orovodsparkEstimatorKeras笔记本

开笔记本新标签

HorovodsparkEstimator实用笔记本

开笔记本新标签