问题
作业集群运行笔记本并获取报错信息表示输出过大
笔记本输出量太大原因:rpc响应量(20975548字节)超出20971520字节限
因果
差错消息可在作业集群中发生,只要笔记本输出大于20MB
- 复数使用显示器(),shTML(),show()笔记本中命令增加输出量输出超过20MB时发生错误
- 复数使用打印版笔记本中命令量可增输出量stdout语言.输出超过20MB时发生错误
- 运行流作业并启动awaitAnyTermination内集群spark配置高山市AWS系统|休眠|GCP)它试图从单请求中取出全部输出万一超过20MB,则出错发生
求解
- 删除不必要显示器(),shTML(),打印版并show()命令写进笔记本这些数据可用于调试,但不推荐生产作业
- 工作输出超过20MB限制时,试重定向日志slog4j或禁用stdout语言通过设置spark.databricks.driver.disableScalaOutput true内集群spark配置.