参考图像应用的解决方案

学习如何做分布式图像模型推理从参考解决方案使用熊猫UDF笔记本,PyTorch, TensorFlow共同配置由许多真实世界的图像应用程序共享。这个配置假设您许多图像存储在对象存储和可选地不断到达新图像。

工作流的图像模型推论

假设你有几个训练有素的深度学习(DL)模型对于图像分类和对象检测实例,MobileNetV2多年检测人类对象照片帮助保护隐私和你想应用这些DL模型来存储图像。

你可能会重新训练模型和更新之前的预测计算。然而,它既是I / O-heavy和compute-heavy加载许多图像和应用DL模型。幸运的是,推理工作负载是高度平行,理论上可以分布。本指南将引导您完成一个实际的解决方案,其中包含两个主要阶段:

对于图像的应用程序,包括培训和推理任务,砖建议您ETL图像到一个表的三角洲自动加载程序。自动加载程序帮助数据管理和自动处理不断到达新图像。

下面的笔记本使用PyTorch TensorFlow tf。Keras展示参考解决方案。

对于大型图像文件(平均图像大小大于100 MB),砖建议使用增量表只管理元数据(文件名列表)和加载的图像对象存储在需要的时候使用他们的路径。