问题

火花工作失败的错误消息. lang。IllegalStateException:连接池关闭当试图写入数据到一个δ表S3。

导致

火花工作写入S3最大并发连接数是有限的。的. lang。IllegalStateException:连接池关闭发生在这个连接池是筋疲力尽了。

解决方案

客户端连接池的配置fs.s3a.connection.maximum价值。这个定义的最大并发连接数S3。默认值为200。你可以增加客户端连接池的大小通过设定一个更高的价值火花配置属性。

砖建议您设置的最大连接数的倍数在集群中核心的总数。例如,如果您使用的是32核心集群,你应该设置fs.s3a.connection.maximum到320年或352年的价值。

一旦最大连接数设置足够高,. lang。IllegalStateException:连接池关闭将不再发生。