最大工作並發/工作區

[哈裏]

根據文檔工作空間是有限的,1 k並發運行的工作。

有人能澄清如何並發限製設置即:

• 它是1 k並發運行在工作區中所有工作
• 它是1 k並發運行一個工作嗎

此外,有什麼辦法可以提高這個限製?

如果硬限製是什麼和我們如何增加最大並發數限製

[werners1]

每一個存儲係統吞吐量有其局限性。這可能是磁盤或網卡。

還當你談論縮放:火花的力量不在於能力運行大量的並行工作,但是通過將工作負載劃分為任務和並行處理這些任務在多個工人。

[哈裏]

我不清楚為什麼並發會受到fs,似乎是奇怪的,因為我們也可以有相同數量的寫入fs小於1 k並發工作(通過簡單地增加工人的數量節點或核)。如果並發限製是由於fs限製基於工人節點配置應該是不同的。

我知道火花是為了處理大量的數據跨越工人。對不起,我可能不清楚我們的用例。我們實際使用情況要執行的任務可以隨每個客戶。

我們的管道將客戶數據格式轉換成統一的格式。這個階段之後,我們可以處理整個數據與一個工作。但到這個階段,我們需要以不同的方式處理原始數據從每個客戶。

[werners1]

我的意思是,雲存儲有其局限性,它可以處理。

(還)顯然在你的情況中這不是一個問題,如果你寫在同一時間執行。

一個選項來按順序處理某些工作嗎?或通過分組客戶提供相同的轉換?beplay体育app下载地址

另一個工作空間也可以(最優)的解決方案,或者跟你的磚接觸。

思考你的用例中,我將試圖建立某種形式的框架,它使您能夠更動態管理處理。

簡單的說,我知道但nnow每個新客戶都是一個新的火花腳本。這是一個疼痛管理。

[哈裏]

好的,明白了

關於按順序做的工作。是的,我們正在考慮這是一個選擇,但是作為最後的手段。分組也可能是一個可能的解決方案,但需要在正確定義轉換的工作

是的,我們正在尋找方法來創建一個框架來做這個轉換。我們正在考慮dbx或我們自己的框架,但這將是很難完成你提到。

無論如何,非常感謝你對這的看法。

[Kaniz]

嗨@Harikrishnan P H,我檢查,看看你的問題得到解決。你為什麼不幫助我們選擇最好的答案?它會感謝。謝謝。