取消
顯示的結果
而不是尋找
你的意思是:

為什麼GPU加速節點比CPU慢得多節點訓練隨機森林模型數據磚?

zzy
新的貢獻者三世

我有一個數據集大約500萬行有14特性和二進製目標。我決定訓練pyspark隨機森林分類器在磚。CPU集群我創建了包含2 c4.8xlarge工人(60 gb, 36核心)和1 r4。超大(31 gb, 4芯)驅動程序。我創建了包含3 g4dn GPU集群。4超大(64 gb, 16芯)節點,2為工人和1司機。每小時成本非常相似。我認為GPU集群會超越自隨機森林是一個適合並行計算算法,雖然結果有點震驚了我,GPU集群訓練模型比CPU慢5倍附近集群。我誤解了GPU加速或隻是不習慣pyspark.ml模塊?

2回答2

Debayan
尊敬的貢獻者三世
尊敬的貢獻者三世

嗨@Simon張,請瀏覽://m.eheci.com/session/gpu-support-in-spark-and-gpu-cpu-mixed-resource-scheduling-at-pro..。讓我們知道如果解決你的問題嗎?

Hubert_Dudek1
尊敬的貢獻者三世

在很多情況下,你需要調整你的代碼利用GPU。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map