深度学习

本文描述了砖提供培训和微调的深度学习模型。砖机器学习运行时提供的预构建深度学习的基础设施,包括常见的深度学习图书馆像拥抱脸变形金刚,PyTorch TensorFlow, Keras。它也有图书馆像Petastorm Hyperopt, Horovod轻松规模常见的机器学习和深度学习步骤。,包括预配置的GPU支持包括司机和库加速模型训练和推理。

看到深度学习的最佳实践在砖上。

大型语言模型(llm)

砖使它简单的访问并建立公开的大型语言模型。

砖等机器学习库包括运行时的拥抱脸变形金刚,允许您将现有pre-trained模型或其他开源库集成到您的工作流。从这里,您可以利用砖平台的功能来调整llm使用您自己的数据域的性能更好。bob体育客户端下载

拥抱的脸变形金刚

和拥抱的脸变形金刚砖可以扩展你的自然语言处理(NLP)批处理应用程序为大型的语言模型和调整模型应用程序。

拥抱的脸变形金刚图书馆是预装在砖运行时10.4 LTS毫升以上。许多流行的NLP模型GPU硬件上效果最好,所以你可能会获得最佳性能使用最近的GPU硬件,除非你使用一个cpu上专门为使用优化模型。

PyTorch

PyTorch砖中包含运行时对机器学习和提供GPU加速的张量计算和高级功能构建深度学习网络。您可以执行单一节点与PyTorch培训或分布式数据砖。看到PyTorch。

Tensorflow

砖运行时机器学习包括TensorFlow TensorBoard,所以您可以使用这些库没有安装任何包。TensorFlow支持深度学习和通用数值计算cpu、gpu和集群gpu。TensorBoard提供可视化工具来帮助您调试和优化机器学习和深度学习工作流。看到TensorFlow对于单节点和分布式训练例子。

分布式训练

因为深度学习模型数据,计算密集型分布式训练可能是重要的。例如与Horovod使用集成的分布式深度学习,spark-tensorflow-distributorTorchDistributor,明白了分布式训练。