可伸缩的端到端深度学习使用TensorFlow™和砖:按需网络研讨会和FAQ现在可用!
7月9日,我们的团队举办了一个研讨会——生活可伸缩的端到端深度学习使用TensorFlow™和砖数据科学解决方案顾问——布鲁克•维尼希砖和Sid默奇,软件工程师在砖。
在这个网络研讨会,我们走你如何使用TensorFlow™和Horovod(一个开源的库从超级简化分布式模型训练)上砖统一分析平台bob体育亚洲版bob体育客户端下载建立一个更有效的推荐系统规模。
特别是,我们介绍一些新推出的功能来简化分布式深度学习:
- 的毫升的新砖运行时,附带预装库Keras等Tensorflow Horovod和XGBoost启用数据科学家开始使用分布式机器学习更快
- 新发布的砖HorovodEstimator API对分布式,multi-GPU培训深度学习模型对数据在Apache引发™
- 如何在规模做出预测与深度学习管道
如果你错过了会议,你可以视图它现在。同时,我们演示了以下笔记本:
如果你想免费获取砖统一分析平台bob体育亚洲版bob体育客户端下载并尝试我们的笔记本,你可以访问在这里免费试用。
到最后,我们举行了一个问答环节,下面是所有的问题和答案。你也可以给我们提供你的反馈在这个研讨会通过填写这个简短的调查,这样我们可以继续提高你的经验!
问:你能执行在TensorFlow hyper-parameter优化模型的分布式方式?
有很多方法可以做到这一点,包括但不限于:
- 火车多个单节点模型在并行集群(即每台机器的一个模型),或
- 启动多个分布式训练工作和做一个网格搜索这些分布式训练工作。
在什么方面HorovodEstimator支持,我们正在探索添加功能与MLlib的本地调试api,这样您就可以开球超参数优化通过多个分布式训练工作。
另外,深度学习管道(一个开源库从砖)允许并行hyperparameter调单节点Keras模型的图像数据。
问:ALS代表什么?
ALS代表交替最小二乘法。这是一个用于协同过滤技术。您可以了解更多关BOB低频彩于它的实现在Apache火花在这里。
问:在你的演示使用了多少服务器?有多少核心?
这是我们为这个演示配置:
- 砖的运行时版本:4.1毫升β
- Python版本:3
- i3。x大工人司机(1 + 2)
问:每个本地机器上的数据复制吗?每个工人节点使用的所有数据在训练吗?
独特的子集训练数据复制到每台机器的本地磁盘,所以每个工人节点列车数据的一个独特的子集。在一个单一的训练步骤,每个工人处理一批训练数据,计算梯度,然后平均使用Horovod ring-allreduce功能和应用到模型。
问:你比较dist-keras和Horovod怎么样?
Dist-keras是另一个开放源代码框架培bob下载地址训Keras模型在火花Dataframe以分布式的方式,也是一个很好的解决方案培训Keras模型。与我们合作。Horovod我们喜欢的事情之一是,它与基准来自超级,超级在生产中使用。因此我们决定建造HorovodEstimatorHorovod周围,由于使用的是大型工业公司,并将支持前进。
问:单台机器多久训练与分布式训练吗?
这是一个很好的问题,通常有许多因素影响性能相比单机和分布式训练。从交流梯度更新分布式训练带来的通信开销,但是也允许加速训练数据的批量处理在机器上并行。与HorovodEstimator还有一个固定的启动成本写输入火花DataFrame TFRecord格式的本地磁盘集群节点。我们的建议是先试试单机训练,探索分布式训练只有单机训练不充分。
问:嗨,谢谢你的谈话。这是一个伟大的笔记本的场景,但在多个数据的一个科学家小组工作在不同数据集在不同的实验,你有跟踪功能?你支持什么其他协作功能?
这是一个很好的问题!我们最近宣布一个新的开源项目bob下载地址MLflow只是。MLflow,从业者可以跨框架包和重用模型,跟踪和分享实验在本地或在云中,几乎在任何地方都和部署模型。此外,砖为Python或R提供共享笔记本的发展也支持跟踪更改和GitHub版本历史。
马泰Zaharia的博客文章的阅读MLflow 0.2版本最新更新的这个倡议,加入我们即将到来的会议8月30日与马泰Zaharia了解更多信息。BOB低频彩
问:我没有太多的数据和我使用LSTM模型和TensorFlow。你还推荐我砖和Apache的火花吗?
Apache火花是伟大的为任何类型的分布式训练或ETL、统一数据处理与机器学习,但仍然需要努力被安装,配置和维护。砖给你一个灵活的方式来运行工作从单一节点到多个节点用例在Apache火花。你可以很容易地添加更多的节点集群,通过单击一个按钮。砖统一在一个地方所有的分析,这样你也可以准备干净的数据集训练您的模型。砖运行时附带TensorFlow预安装和预配置的,连同Keras Horovod,而且XGBoost, scikit-learn等等……给你最大的选择和灵活性来构建和训练毫升模型。最后但并非最不重要,砖笔记本电脑提供一个协作环境来管理整个生命周期在一个地方,从数据准备、培训和服务模式。
问:你能训练和HorovodEstimator二进制模式吗?
是的。HorovodEstimator API简单地运行任何TensorFlow代码提供了一种针对大规模数据在分布式环境中,例如,包括二进制分类。
问:集群支持多租户吗?
是的,你可以有多个笔记本连接到集群,或者多个用户在你的集群。你也可以管理集群的权限各级对砖最大的灵活性和安全性。
问:C阿我们分享网络研讨会后的脚本和幻灯片主持人吗?
是的,你现在可以访问笔记本。你只需要将训练集添加到你的砖工作区来运行这个笔记本。注册一个14天的免费试用开始!
问:Apache火花和砖之间的区别是什么?
砖统一分析平台bob体育亚洲版bob体育客户端下载提供了一个版本的Apache火花AWS和Azure托管,等等。我们提供内置笔记本和api来管理和自动化分析在一个地方,Apache火花以及额外的优化,包括砖三角洲湖比Apache快100倍的火花在拼花,砖运行时为毫升,HorovodEstimator。我们也极大地简化DevOps auto-config和伸缩的集群,并提供企业级安全特性和遵守HIPAA和SOC 2 2型认证平台。bob体育客户端下载