當與Hyperopt hyperparameter調優,當我應該用SparkTrials嗎?它使用單機毫升(如sklearn)和分布式毫升(比如Apache火花ML) ?

[Joseph_B]

我想知道在不同的情況下如何使用Hyperopt:

• 調優scikit-learn或單節點TensorFlow單機算法
• 調優一個分布式算法從火花毫升或分布式TensorFlow / Horovod

[Joseph_B]

正確的問題確實是:是你希望優化的算法單機或分布式?

如果它是一個從scikit-learn單機算法一樣,那麼你可以使用SparkTrials Hyperopt分發hyperparameter調優。

如果它是一個分布式算法從火花毫升一樣,那麼你不應該使用SparkTrials。您可以運行Hyperopt參數(即沒有“試驗”。,使用常規試驗的類型)。在集群上運行調試驅動程序,完整的集群可用為每個審判你的分布式算法。

你可以找到更多的信息關於這些文檔(AWS,Azure,GCP)。