图片应用参考求解

学习使用pandasUDF、PyToch和TensorFlow等参考解析笔记本配置假设多图像存储对象存储并可选择持续获取新图像

工作流图像模型推理

假设你多位经过训练的图像分类和对象检测模型-例如手机NetV2检测用户加载照片中的人类对象帮助保护隐私-并想应用这些DL模型存储图像

重新训练模型并更新先前计算预测I/O-huavy和计算-huavy加载多图像并应用DL模型幸运的是推理工作量令人难堪并发,理论上很容易分配本指南引导你经历实用解决方案,它包含两个主要阶段:

  1. ETL图像带入三角洲表使用自动加载器

  2. 使用pandasUDF执行分布推理

ETL图像带入三角洲表使用自动加载器

图像应用包括培训和推理任务Databricks推荐ETL图像入三角洲表自动加载器.自动加载器帮助数据管理并自动处理持续获取新图像

ETL图像数据集入三角洲表笔记本

开笔记本新标签

使用pandasUDF执行分布推理

下图笔记本使用PyTorrch和TensorFlowtf.Keras演示参考法

Pytark和pandasUDF笔记本分布推理

开笔记本新标签

通过Keras和pandasUDF笔记本分布推理

开笔记本新标签

限制:图像文件大小

大图像文件(平均图像尺寸大于100MB)Databricks建议只使用Delta表管理元数据(文件名列表)并在需要时用路径从对象存储处加载图像