深度学习管道迁移指南

重要的

这个文档已经退休了,可能不会被更新。产品、服务或技术中提到的这些内容不再支持。看到<新文章>。

这个页面包含小贴士从开源迁移bob下载地址深度学习管道包这是包含在砖运行时6.6毫升,下面。深度学习的部分管道图书馆sparkdl被移除的砖运行时7.0毫升(不支持),具体来说,变压器和估计中使用Apache火花毫升管道。

这个页面不是一个通用的信息资源深度学习管道砖。

读取图像

读者深度学习管道包包含一个图像sparkdl.image.imageIO,这是在删除砖运行时7.0毫升(不支持)。

相反,使用图像数据来源或二进制文件数据源从Apache火花。许多示例笔记本加载数据的机器学习和深度的学习展示这两个数据源的用例。

转移学习

深度学习管道包包括一个火花毫升变压器sparkdl.DeepImageFeaturizer为促进转移学习与深度学习模型。DeepImageFeaturizer被免职砖运行时7.0毫升(不支持)。

相反,使用熊猫udf执行featurization与深度学习模型。熊猫udf,他们的新变种标量迭代器熊猫udf,提供更灵活的api,支持更多的深度学习库,并提供更好的性能。

看到Featurization转移学习与熊猫udf转移学习的例子。

分布式hyperparameter调优

深度学习管道包包括一个火花ML估计量sparkdl.KerasImageFileEstimator调优hyperparameters使用火花毫升调优工具。KerasImageFileEstimator被免职砖运行时7.0毫升(不支持)。

相反,使用与Hyperopt Hyperparameter调优分发hyperparameter优化深度学习模型。

分布式推理

深度学习管道包包括几个火花毫升变压器分布推断,所有这一切被移除砖运行时7.0毫升(不支持):

  • DeepImagePredictor

  • TFImageTransformer

  • KerasImageFileTransformer

  • TFTransformer

  • KerasTransformer

相反,使用熊猫udf上运行推理引发DataFrames,下面的示例部署模型推理和预测。

部署模型作为SQL udf

深度学习管道包包括一个实用程序sparkdl.udf.keras_image_model.registerKerasImageUDF深入学习模式部署为UDF调用从火花SQL。registerKerasImageUDF被免职砖运行时7.0毫升(不支持)。

相反,使用MLflow出口模型作为一个UDF,下面的例子模型推理。