的最好方法是使用hyperopt訓練火花。和mlflow ml模式和自動跟蹤嗎?

[User16752240150]

我讀了這本書文章涵蓋:

• 使用CrossValidator或TrainValidationSplit跟蹤hyperparameter調優(沒有hyperopt)。隻有隨機/網格搜索
• 平行的“單機”模型訓練和使用hyperopt hyperopt。SparkTrials(不是spark.ml)
• “分布式訓練和Hyperopt HorovodRunner”——分布式深度學習Hyperopt(沒有MLFlow)
  • 它提到“HorovodRunner,你不使用SparkTrials類,和您必須手動調用MLflow Hyperopt測井試驗。”

有一個例子筆記本顯示如何hyperparameter優化火花。毫升模型和對數hyperparams /標準/工件?

[sean_owen]

其實很簡單:使用hyperopt,但使用“試驗”而不是“SparkTrials”。並行性的火花,而不是優化過程。