為什麼GPU加速節點比CPU慢得多節點訓練隨機森林模型數據磚?

[zzy]

我有一個數據集大約500萬行有14特性和二進製目標。我決定訓練pyspark隨機森林分類器在磚。CPU集群我創建了包含2 c4.8xlarge工人(60 gb, 36核心)和1 r4。超大(31 gb, 4芯)驅動程序。我創建了包含3 g4dn GPU集群。4超大(64 gb, 16芯)節點,2為工人和1司機。每小時成本非常相似。我認為GPU集群會超越自隨機森林是一個適合並行計算算法,雖然結果有點震驚了我,GPU集群訓練模型比CPU慢5倍附近集群。我誤解了GPU加速或隻是不習慣pyspark.ml模塊?

[Debayan]

嗨@Simon張,請瀏覽://m.eheci.com/session/gpu-support-in-spark-and-gpu-cpu-mixed-resource-scheduling-at-pro..。讓我們知道如果解決你的問題嗎?

[Hubert_Dudek1]

在很多情況下,你需要調整你的代碼利用GPU。