问题

Spark作业故障消息Java.Lang.IrlationStateException:连接池关闭试图将数据写入S3三角洲表

因果

spark作业写S3限制最大数并发连接上头Java.Lang.IrlationStateException:连接池关闭发生时连接池耗竭

求解

客户连接池配置fs.s3a.connection.maximum值.定义与S3同时连接的最大数默认值为200可提高客户连接池的大小,方法是设置更高值spark配置属性.

databricks建议设置最大连接数乘以集群内总核心数的倍数例举,如果使用32核心集群,应试设置fs.s3a.connection.maximum值320或352

最大连接数设置得足够高后Java.Lang.IrlationStateException:连接池关闭将不再发生