问题
无spark作业启动,驱动日志包含下列错误:
初始作业不接受资源检查集群UI以确保工人注册并拥有充足资源
因果
当执行器内存和数执行器核心明确设置时可能发生此错误spark配置选项卡 。
样本配置 :
AWS系统
例子中执行程序设置3xalge节点和spark配置设置为 :
spark.Ectors5spark.Ectors.imory6G
上头3xalge集群类型只有4个核心数,但用户为每位执行程序员明确设置5个核心数spark不启动任何任务,并输入下列错误消息到驱动日志:
WARN任务调度Impl:初始作业不接受任何资源检查集群UI以确保工人注册并拥有充足资源WARN任务SchedulerImpl:初始作业不接受任何资源检查集群UI以确保工人注册并拥有充足资源WARN任务SchedulerImpl:初始作业不接受任何资源检查集群UI以确保工人注册并拥有充足资源删除
GCP
例子中执行程序设置N1-标准4节点和spark配置设置为 :
spark.Ectors5spark.Ectors.imory6G
上头N1-标准4集群类型只有4个核心数,但用户为每位执行程序员明确设置5个核心数spark不启动任何任务,并输入下列错误消息到驱动日志:
WARN任务调度Impl:初始作业不接受任何资源检查集群UI以确保工人注册并拥有充足资源WARN任务SchedulerImpl:初始作业不接受任何资源检查集群UI以确保工人注册并拥有充足资源WARN任务SchedulerImpl:初始作业不接受任何资源检查集群UI以确保工人注册并拥有充足资源删除
求解
永远不要指定大于节点可用核心数的核心数