問題

火花工作失敗的錯誤消息. lang。IllegalStateException:連接池關閉當試圖寫入數據到一個δ表S3。

導致

火花工作寫入S3最大並發連接數是有限的。的. lang。IllegalStateException:連接池關閉發生在這個連接池是筋疲力盡了。

解決方案

客戶端連接池的配置fs.s3a.connection.maximum價值。這個定義的最大並發連接數S3。默認值為200。你可以增加客戶端連接池的大小通過設定一個更高的價值火花配置屬性。

磚建議您設置的最大連接數的倍數在集群中核心的總數。例如,如果您使用的是32核心集群,你應該設置fs.s3a.connection.maximum到320年或352年的價值。

一旦最大連接數設置足夠高,. lang。IllegalStateException:連接池關閉將不再發生。