無法使用GridsearchCV從spark-sklearn由於“fit_params”錯誤

[gary7135]

當使用GridsearchCV spark-sklearn,我得到了GridSearchCV給“__init__()有一個意想不到的關鍵字參數“fit_params”錯誤

我用sklearn 1.2.2和spark-sklearn 0.3.0

我認為這是因為spark-sklearn GridsearchCV仍然有fit_params參數在sklearn 1.2.2 GridsearchCV棄用。

我試圖使用Databrick的並行處理來幫我調優超參數使用這個例子:https://kb.m.eheci.com/en_US/machine-learning/kfold-cross-validation

一個好的解決方案是什麼?

[匿名]

@Garyμ:

是的,你是正確的。你看到的錯誤消息可能是由於這一事實fit_params參數在GridSearchCV棄用sklearn 1.2.2。

一個可能的解決方案是使用一個不同的版本兼容的scikit-learn spark-sklearn 0.3.0還有fit_params參數。你可以試著降低scikit-learn 1.2.2前一個版本,比如1.1.0,應該兼容spark-sklearn 0.3.0還有fit_params參數。

或者,您可以修改GridSearchCV實現spark-sklearn移除fit_params參數。你可以通過分叉spark-sklearn庫,修改代碼,和建立一個新版本的包。另一個選擇是使用Hyperopt或Optuna hyperparameter代替GridSearchCV調優。這些庫是為分布式計算和設計可以用於磚。