取消
顯示的結果
而不是尋找
你的意思是:

火花內存錯誤。你可以解決這個錯誤在磚通過增加集群的大小。

SS2
價值貢獻

火花內存錯誤。

你可以解決這個錯誤在磚通過增加集群的大小。

4回複4

karthik_p
尊敬的貢獻者

@年代每次集群增加可能不是很好的解決方案,基於場景就發生了變化

  1. 有時我們可能需要調整代碼
  2. 有時我們可能需要添加內存參數
  3. 基於ganglia指標我們可以獲得更多的信息

NhatHoang
重視貢獻二世

嗨,夥計們,

我同意,最好是如果你改進你的代碼,而不是增加集群的大小。你可以配置分區的數量。

Shalabh007
尊敬的貢獻者

直接跳上解決公司集群大小不是advisible。我發現這很好地寫博客可能是潛在的原因和一些解決伯父錯誤引發的初步措施。

https://medium.com/swlh/spark伯父特寫- 462 c7a01709d——錯誤

DK03
貢獻者

添加一些更多的指向@karthik p的答案。

  1. 使用kryo序列化器而不是java序列化器。
  2. 使用一個優化G1GC等垃圾收集器。
  3. 明智地使用分區字段。
歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map