ConnectException:拒絕連接(連接拒絕)這通常是由一個伯父錯誤引起的

[Rnmj]

我試圖運行一個python代碼,一個json文件緊貼管分開的文件。巨大的文件的代碼與較小的文件但是2.4 GB的我得到以下錯誤:

ConnectException:拒絕連接(連接拒絕)

錯誤而獲得一個新的溝通渠道

ConnectException錯誤:這通常是由一個伯父錯誤導致到Python REPL的連接被關閉。檢查你的查詢的內存使用。

磚9.1 LTS版

集群是5節點Standard_DS4_V2

[Kaniz]

你好@Rnmj!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[werners1]

你能檢查這個話題嗎?

它可能是你尋找的東西:

https://community.m.eheci.com/s/question/0D53f00001Q0Rq9CAF/bufferholder-exceeded-on-json-flatten..。

[jose_gonzalez]

嗨@RN喬丹,

你能提供更多的細節嗎?你怎麼讀你的JSON文件?你使用一個自動定量集群?完整的堆棧跟蹤誤差是多少?

[Rnmj]

嗨@Jose岡薩雷斯,@Werner Stinckens @Kaniz開羅,

謝謝你的響應.Appreciate很多。

代碼中的問題是,這是一個python /熊貓代碼運行在火花。由於這隻驅動節點被使用。我做了驗證這種通過增加司機配置。下一步是重新審視代碼和使用抽樣/ dataframes代碼有一些並行處理