遺囑執行人內存增加基於節點類型的限製

[938452年]

嗨磚社區,

我使用磚工作的集群運行一些工作。我設置工人和司機類型AWS m6gd。大,每個線程2的核和8 g的內存。

在看到這是違約執行人2 g內存,我想提高它,設置”spark.executor.memory6克”火花配置集群設置。在設置它,它說我不能把它這樣的數字,表明馬克思價值我能做的就是2 g(見附件)。考慮到工人有8 g內存,為什麼它僅限於2 g ?類似的情況對於大型員工類型,限製似乎遠低於應該是可用的。

[Kaniz]

嗨@938452,的限製你看到火花執行人內存可能是因為開銷內存保留為內部流程的係統。在火花,火花的遺囑執行人內存由執行人內存(spark.executor.memory內存()和執行程序的開銷spark.executor.memoryOverhead)。執行程序內存開銷是用於JVM堆內存開銷,實習字符串,其他本地費用,等價值spark.executor.memoryOverhead默認是馬克斯(384 .10 * spark.executor.memory)。如果你設置spark.executor.memory8 g,係統可能儲備大約800 mb的內存開銷,離開不到執行人的8 gb內存。

你可以調整spark.executor.memoryOverhead價值較低的百分比為遺囑執行人內存更重要。

然而,小心不要設置過低,可能導致outofmemoryerror錯誤。

然而,請注意,具體的內存分配可以取決於其他因素,如磚的特定配置運行時和AWS實例類型。

來源:
- - - - - -https://docs.m.eheci.com/workflows/jobs/settings.html
- - - - - -https://docs.m.eheci.com/archive/compute/configure.html
- - - - - -https://docs.m.eheci.com/workflows/jobs/jobs - 2.0 api.html