默認情況下,可用內存的數量為每個執行者Java虛擬機(JVM)中的分配內存堆。這是控製的spark.executor.memory財產。

然而,一些意想不到的行為觀察實例分配大量的內存。jvm擴大內存大小,垃圾收集器的問題變得明顯。這些問題可以被解決通過限製在垃圾收集器的內存數量管理。

選擇磚集群類型使堆外模式,限製了在垃圾收集器的內存數量管理。這就是為什麼某些集群有火花spark.executor.memory值設置為整個集群內存的一小部分。

堆模式控製的屬性spark.memory.offHeap.enabled和spark.memory.offHeap.size在火花1.6.0以上是可用的。