问题

工作间歇阿帕契spark故障使用打牌抓取

05/02/01:55WARN任务管理器:4.0级丢失任务0.0(TID4.1079.1.45执行器0):flackFletifeExceptition(ShuffleBlockFletcherator.scala:553i.NETty.ch.SocketChannelImpl.CheckConnect

因果

AzureDatabricks子网IDR部署后修改行为不支持

假设下细节描述两种假想

原创数据bricks子网CIDR

• 私有子网:10.10.0.0/24
• 公共子网:10.10.1.0/24

修改Azure数据bricks子网CIDR

• 私有子网10.10.0.0/18
• 公共子网:10.10.64.24

原创设置 所有东西都按原想工作

修改设置后,如果从子网范围10.10.1.0-10.10.63.255分配IP地址和从子网范围10.10.0.0-101.0.255分配IP地址,由于防火墙规则限制原CIDR范围10.10.0.0/24通信阻塞执行者之间的通信

10.0.0/24中执行器和驱动程序都分配IP地址时,通信不阻塞,作业按原意运行然而,该任务不在修改设置下保证

求解

1. 反转子网CIDR修改并恢复原创VNet配置
2. 重开集群
3. 重交作业