運行超過nr-of-cores並發任務。

[埃裏克]

我們起程拓殖磚provier的使用,這是開始一個集群和檢查每一個山(由於沒有安裝rest API)。檢查每個掛載花20秒,99.9%的時間是空閑等待,開始一份工作/掛載。如果我們可以運行很多(超過nr的核心)工作同時我們應該能夠使它更快,但我不能找到如何做到這一點。我試過設置

“spark.executor。在stances` to 2*cores, but it seems to be ignored.

所以,是否可以設置磚使用比nr火花執行人的核心?

[Kaniz]

你好@埃裏克!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區有一個先回答你的問題。否則我將與我的團隊跟進,回到你soon.Thanks。

[埃裏克]

嘿@Kaniz開羅,它似乎並不像社區有一個答案。也許你可以訪問一些磚工程師誰知道答案?

[Kaniz]

嗨@Erik Parmann,

社區為你很快就會找到答案。

我轉發這個團隊。他們會盡快送還給你。

謝謝你的耐心。

[jose_gonzalez]

嗨@Erik Parmann,

這個舊郵政幫助嗎鏈接

同樣,你在哪裏添加火花配置“spark.executor.instances”?這應該是設定在集群級別設置。