我跑一個雙重多進程和多線程解決方案之前在python中使用多處理和並發期貨python模塊。然而,由於多處理模塊隻有司機節點上運行,我不得不轉而使用sc.parallelize分發工作負載工作節點。我有一點麻煩,會喜歡上輸入故障排除(代碼)。在這裏,我隻是想把100值列表10工人節點和實現線程每個工作節點上。
從並發。期貨進口ThreadPoolExecutor def多流(任務,l):與ThreadPoolExecutor()遺囑執行人:=結果列表(執行人。地圖(任務,l)返回結果def廣場(x): time . sleep(1)返回x * * 2 def分區(l, n): #這個函數隻是分區一個輸入列表為我在' n '塊範圍(0,len (l), n):收益率l[我+ n] num =(範圍(100))的工人列表= 10塊=列表(分區(num、工人))抽樣= sc.parallelize(塊,numSlices =工人)=抽樣結果。地圖(λx:多流(x)) .collect ()
