一份工作“池”?(或任務池)

[spott_submittab]

我試著運行一個單一的工作多次與不同的參數,並發工作的數量小於參數的數量。

我有工作(或任務…)J,參數集p,我有100 p值我想跑,但是我隻要10運行一次(說我有10個集群,或者我想要運行它們都在同一集群,集群需要有足夠的計算並發地運行它們,等等),但是最終我希望所有100運行。

這是可能的嗎?最大並發運行參數隻是跳過沒有額外的工作和任務同時運行所有的依賴關係。

我知道,經常有這樣做的方法是火花,但這感覺嚴苛(並且需要重構我的代碼)。

[Aviral-Bhardwaj]

這是新的,有趣的問題,試著接觸磚支持團隊,也許他們有一些好主意