问题

应用中包含聚合或合并级时,执行需要spark打乱级视使用的具体配置而定,如果你运行多流查询交互集群,你可能会打乱FetchFailedException报错

shufflemacheduer最大允许数失败499453号命令(从命令3953728:13启动)因org.spark.sheffle.MetataFletchFa

因果

shuffle取机故障通常发生于集群降级事件、执行器损耗或工人退役等假想中在某些情况下,从执行器打乱文件丢失后继任务获取洗牌文件时失败

洗牌服务默认使用databricks服务提供外部洗牌服务保护执行者撰写的洗牌文件,以便执行者安全清除

运行spark.conf.get("spark.shuffle.service.enabled")ython或Scala笔记本单元格返回洗牌服务当前值万一它返回真实性服务启动

spark.conf.get("spark.shuffle.service.enabled")

求解

禁用默认spark打包服务

停止打乱服务并不妨碍打乱工作,它只是改变执行方式当服务禁用时,洗牌由执行程序执行程序执行程序执行程序执行程序

可添加复位服务禁止spark.shuffle.service.enabled false移到集群spark配置高山市AWS系统|休眠|GCP)

spark.shuffle.service.enabled false

更新后重开集群spark配置.