使用分布式與Hyperopt訓練算法
除了來自scikit-learn等單機訓練算法,您可以使用Hyperopt與分布式訓練算法。在這個場景中,Hyperopt生成試驗與不同hyperparameter設置在驅動節點上。每個試驗從司機節點執行,使它完整的集群資源的訪問。這個設置適用於任何分布式機器學習算法或庫,包括Apache火花MLlib和HorovodRunner。
當你使用Hyperopt與分布式訓練算法,不通過試用
參數fmin ()
,具體地說,不要使用SparkTrials
類。SparkTrials
是為了分配試驗本身並不是分布式的算法。與分布式訓練算法,使用默認的試用
類,它運行在集群的司機。Hyperopt評估每個審判司機節點的ML算法本身可以啟動分布式訓練。
請注意
磚不支持自動記錄MLflow與試用
類。當使用分布式訓練算法,您必須手動調用MLflow Hyperopt測井試驗。