Azure数据工厂是一个托管服务,允许您使用Azure作者数据管道砖笔记本,罐子和Python脚本。本文介绍了常见问题和解决方案。
不能创建集群
当你创建一个数据管道在Azure数据工厂使用Azure Databricks-related活动如笔记本活动,你可以询问要创建一个新的集群。在Azure,集群创建可以失败因为各种各样的原因:
- 你Azure订阅有限数量的虚拟机可以提供。
- 未能创建集群,因为Azure配额表明订阅您使用的是没有足够的配额来创建所需的资源。例如,但如果你要求500核你的配额是50核心,请求将失败。接触Azure支持请求增加配额。
- Azure资源提供者目前在高负载和请求被扼杀了。这个错误表明Azure订阅或甚至被扼杀了。只是重试数据管道不得有帮助。BOB低频彩了解更多关于这个问题故障排除API节流错误。
- 无法启动集群由于云提供商失败显示一个通用未能提供一个或多个虚拟机集群。等待,稍后再试。
集群的数据管道执行过程中遇到的问题
Azure砖包括各种机制,增加您的Apache火花的弹性集群。也就是说,它不能恢复每一个失败,导致这样的错误:
- 连接拒绝
- RPC超时
- 交易所在X秒后超时
- 在运行集群成为遥不可及的
- 现在太多的执行上下文是开放的
- 司机时重新启动运行
- 上下文ExecutionContextId断开连接
- 不能达到集群的司机X秒吗
大多数时候,这些错误并不意味着Azure的底层基础设施的问题。相反,很可能运行集群有太多作业,可过载集群并导致超时。
作为一般规则,你应该移动重数据管道运行在自己的Azure砖集群。结合Azure监控执行和观察指标Grafana可以提供洞察超载的集群。
Azure砖服务正在经历高负载
您可能会注意到,某些数据管道失败这样的错误:
- 在{API}服务暂时不可用
- 工作还没有完全初始化。请稍后重试
- 失败或超时处理HTTP请求
- 没有webapps可用来处理您的请求
这些错误表明,Azure砖服务负载较重的情况下。如果发生这种情况,尝试限制并发数据管道的数量,包括Azure砖的活动。例如,如果您正在执行ETL 1000表从来源到目的地,而不是推出一个数据管道/表,结合多个表在一个数据管道或交错执行所以他们不触发一次。
还可以显示这些错误如果你调查的砖工作的API的工作运行状态过于频繁(例如每5秒钟)。补救办法是减少轮询的频率。
图书馆安装超时
Azure砖安装第三方库包含了强大的支持。不幸的是,您可能会看到这样的问题:
- 安装库失败或超时
这是因为每次你启动一个集群附带一个图书馆,Azure砖下载图书馆从适当的库(例如PyPI)。这个操作可以超时,导致集群无法启动。
这个问题没有简单的解决方案,除了限制库连接到集群的数量。