垃圾收集優化

[User16826994223]

我有一個情況下,垃圾收集是花很多時間我想優化它獲得更好的性能

[User16826994223 · Accepted solution]

可以使用較小的情況下用更少的內存比高的vm內存,但是會有一個權衡如果有很多洗牌涉及的操作,因為更多的小內存vm將增加洗牌操作時間

[sean_owen]

你也可以直接調整JVM的垃圾收集參數,如果你指的是暫停太久。設置“spark.executor。extraJavaOptions”,但它確實需要知道如何如何調優性能目標。