查看后报报错后,你也许可以通过修改错误修复错误spark配置高山市AWS系统|休眠)启动集群

串行任务xxxxxxx考虑增加spark.rpc.message.maxSize

改变spark配置设置属性

spark.rpc.message.maxSize

调整配置是一个选项, 典型错误消息表示从驱动程序向执行程序发送大对象, 例如调用并行化大列表或大RDataFrame转换为sparkDataFrame

if so, we建议优先审核代码删除大对象使用或调用播送变量代之以使用如果不能解决此错误,您可增加分区数,将大列表拆分为多小列表,以减少sparkRPC消息大小

Python和Scala例子如下:

大列表=[.]#大列表分区Num=100#增加此数

val大List = Seqnum/

R用户需要增加spark配置spark.default.parallelism增加聚类初始化分区数集群创建后无法设置配置