使用TensorFlow和TensorRT模型推理

本文中的例子笔记本演示了砖推荐深度学习推理工作流TensorFlow和TensorFlowRT。这个例子展示了如何优化训练ResNet-50模型与TensorRT模型推理。

英伟达TensorRT是一个高性能的推理优化器和运行时,可提供低延迟和高深度学习推理应用程序吞吐量。TensorRT安装GPU-enabled版本的砖运行时的7.0(不支持)及以上。