分布式訓練PyTorch和PySpark建立目標檢測模型。

[Jaeseon]

我現在沉浸在一個項目中,我利用PyTorch開發一個使用衛星圖像目標檢測模型。我的第一目標是使用PySpark執行分布式訓練在這個模型。

當我發現一些教程和示例圖像分類,我很難翻譯這些資源來滿足我的需求。

具體來說,最好的我的知識,我認為我需要加載圖片和注釋文件使用PySpark,隨後轉換或改變這些文件的格式的兼容PyTorch建立對象檢測模型的目的。我急切地尋求建議或任何指針對有用的教程或例子,能幫助我在煉油和構造模型。

在我的搜索,我偶然發現了一些資源使用SparkTorch有關

或pyspark.ml.torch。經銷商和horovod。然而,我已經遇到了

在成功安裝horovod困難。我很欣賞任何指導

這個問題。

[sean_owen · Accepted solution]

你看過https://docs.m.eheci.com/machine-learning/train-model/distributed-training/spark-pytorch-distribu..。嗎?你不需要安裝Horovod,它已經在運行時。是的你看圖片無論你想要的,和解析成像素陣列,因此張量。

[Jaeseon]

工作時我遇到了一個問題在我學校的一個舊版本的Linux服務器PySpark被使用,防止我利用一個特定的模塊提供的鏈接。作為替代,我試圖安裝和進口雷Jupyter筆記本在服務器上。雖然我成功安裝包

雷= =測試盒框

,我麵臨一個錯誤當試圖導入,這顯示消息“沒有模塊命名ray.__raylet”。

在我的本地機器,我安裝相同版本的射線,它是成功安裝和進口沒有任何問題。

我將感謝指導如何解決這個問題在我的學校的Linux服務器。

[Vidula_Khanna]

嗨@Jaeseon歌

謝謝你發布你的問題在我們的社區!我們很高興幫助你。

幫助我們為您提供最準確的信息,請您花一些時間來回顧反應和選擇一個最好的回答了你的問題嗎?

這也將有助於其他社區成員可能也有類似的問題在未來。謝謝你的參與,讓我們知道如果你需要任何進一步的援助!