我有一個節點XGBoost模型用Python編寫的。我怎麼能規模與火花嗎?

[j_weaver · Accepted solution]

如果你在談論分布式訓練單一XGBoost模型,在SparkML沒有內置的能力。SparkML支持梯度增加了樹木,但不是XGBoost特別。然而,還有第三方包,等XGBoost4J你可以使用。目前還沒有Python API,但是你可以通過Scala / Java訪問它。看到磚文檔為一個更完整的例子。

如果你想hyperparameter調優,與單獨的節點可以使用HyperOpt XGBoost模型在Python中,或者你可以做分布式推理通過引發UDF。