horovod.spark:分布式和Horovod深度學習

學習如何使用horovod.spark包執行分布式機器學習模型的訓練。

horovod.spark在磚

磚支持horovod.spark包,它提供了一個估計量的API,您可以使用與Keras和PyTorch毫升管道。有關詳細信息,請參見Horovod在火花,其中包括一段Horovod磚上

請注意

  • 磚安裝horovod包和依賴關係。如果你升級或降級這些依賴項,可能存在兼容性問題。

  • 當使用horovod.spark在Keras使用自定義回調,你必須保存模型TensorFlow SavedModel格式。

    • 與TensorFlow 2。x,使用.tf文件名後綴。

    • 與TensorFlow 1。x,設置選項save_weights_only = True

需求

磚運行時毫升7.4或以上。

例如:分布式訓練功能

這是一個基本的例子運行分布式訓練函數使用horovod.spark:

def火車():進口horovod.tensorflow作為hvdhvd初始化()進口horovod.sparkhorovod火花運行(火車,num_proc=2)

示例筆記本:Horovod火花估計使用Keras和PyTorch

以下筆記本演示如何使用Horovod火花Keras和PyTorch估計API。

Horovod火花估計Keras筆記本

在新標簽頁打開筆記本

Horovod火花估計PyTorch筆記本

在新標簽頁打開筆記本