如何擴展我的神經網絡與火花?我建立一個完全連接tensorflow。keras模型。

[User16788317454 · Accepted solution]

火花,有一些方法可以擴展模型:

• 培訓
• Hyperparameter調優
• 推理

如果你想培養一個模型在多個工人,您可以利用Horovod。這是一個開源項目,旨在簡化分布式神經網絡訓練,並支持Keras / / PyTorch / MXNet特遣部隊。請查看文檔HorovodRunner。

如果你想訓練許多候選人並行模型,您可以使用與SparkTrials HyperOpt。看看這個神奇的博客最佳實踐在最佳實踐和技巧上設置SparkTrials並行性。

你可以創建一個火花UDF(如果你MLflow超級簡單,如mlflow.pyfunc.spark_udf)非常為批量做並行推理/用例流。