多個作業相同的集群上使用不同的資源需求

[dbrick]

我有一個大集群伸縮(最小值:1、馬克斯:25)功能啟用。我想上運行多個作業,集群不同的火花屬性的值(“——executor-cores”和“-executor-memory),但我沒有看到任何選項來指定相同的創建工作。

我嚐試以下代碼片段在我Pyspark應用程序。

火花= SparkSession \ .builder \ config (“spark.executor。在stances", "2") \ .appName("SparkWarehouseETL") \ .getOrCreate()

但當運行這個應用程序,它使用的所有25名工人,而不是隻使用2。因為它已經使用所有25名工人,提交另一個隻是一個浪費。

我缺少什麼?請幫助! ! !

[Kaniz]

嗨@Neelesh磚,你DBR版本是什麼?

[Vidula]

嗨@Neelesh磚

希望一切進行得很順利。

隻是想檢查如果你能解決你的問題。如果是的,你會很高興的答案標記為最好,其他成員可以找到解決方案更快嗎?如果不是,請告訴我們,我們可以幫助你。

幹杯!