內存問題——磚

[pavanb]

嗨,突然在我們的磚開發的環境中,我們得到了異常等相關記憶的記憶,結果太大等。

此外,錯誤消息不幫助識別問題。

有人可以請導遊的起點是什麼調查。

我得到這個問題在閱讀一個json文件和傾銷dataframe。

[Hubert_Dudek1 · Accepted solution]

伯父錯誤是很常見的,這可能意味著您的分區適合內存太大。請分析你的火花UI——尋找數據泄漏、傾斜和嚐試使用較小的分區或/和洗牌分區。

[pavanb]

謝謝你的響應@Hubert杜德克。

如果我在測試環境中運行相同的代碼,其成功完成,在開發出的內存問題。測試與非開發環境的配置也完全相同。

[jose_gonzalez]

嗨@Pavan Bangad,

隻是一個友好的後續。做@Hubert杜德克的反應幫助你解決你的問題?如果是,請選擇為最佳答案。如果不是,請讓我們知道,所以我們可以繼續幫助你找到一個解決方案。