連接數據磚Postgresql

[娜迪婭]

我嚐試連接到使用磚和posgresql通過下麵的代碼

xxxxxxx“jdbcHostname =

jdbcDatabase = " xxxxxxxxxxxx "

jdbcPort = " 5432 "

用戶名= " xxxxxxx "

密碼= " xxxxxxxx "

jdbcUrl = " jdbc: postgresql: / / {0}: {1} / {2}”。形式at(jdbcHostname, jdbcPort, jdbcDatabase)

connectionProperties = {

“用戶”:用戶名、

“密碼”:密碼,

“司機”:“org.postgresql.Driver”

}

df = spark.read。jdbc (url = jdbcUrl表=“xxxxxxxxx”屬性= connectionProperties)”

我試著讀表是2800萬行,這裏是錯誤消息;

“SparkException:工作階段失敗而終止:任務0階段3.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 3.0 (TID 6)(10.139.64.5執行人4):ExecutorLostFailure(執行人4退出正在運行的任務之一所致)原因:遺囑執行人心跳150527毫秒後超時”

你能幫我嗎

謝謝

[Prabakar · Accepted solution]

嗨@Boumaza nadia請檢查集群的神經節指標。這可能是一個集群是重載的可伸縮性問題。這可能由於一個大分區不符合給定的遺囑執行人的記憶。為了解決這個問題我們建議了工人節點類型。切換到一個更大的工作節點實例來緩解這個問題。