10-25-202105:25我
我試圖運行一個python代碼,一個json文件緊貼管分開的文件。巨大的文件的代碼與較小的文件但是2.4 GB的我得到以下錯誤:
ConnectException:拒絕連接(連接拒絕)
錯誤而獲得一個新的溝通渠道
ConnectException錯誤:這通常是由一個伯父錯誤導致到Python REPL的連接被關閉。檢查你的查詢的內存使用。
磚9.1 LTS版
集群是5節點Standard_DS4_V2
10-25-202105:29我
你好@Rnmj!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。
10-25-202106:40我
你能檢查這個話題嗎?
它可能是你尋找的東西:
https://community.m.eheci.com/s/question/0D53f00001Q0Rq9CAF/bufferholder-exceeded-on-json-flatten..。
10-26-2021下午01:33
嗨@RN喬丹,
你能提供更多的細節嗎?你怎麼讀你的JSON文件?你使用一個自動定量集群?完整的堆棧跟蹤誤差是多少?
10-28-202108:58點
嗨@Jose岡薩雷斯,@Werner Stinckens @Kaniz開羅,
謝謝你的響應.Appreciate很多。
代碼中的問題是,這是一個python /熊貓代碼運行在火花。由於這隻驅動節點被使用。我做了驗證這種通過增加司機配置。下一步是重新審視代碼和使用抽樣/ dataframes代碼有一些並行處理
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。