你好,我想使用一個新的高並發性集群MLFlow但我得到以下錯誤。有人有什麼建議嗎?這是工作在一個標準的集群。謝謝。
py4j.security。公共int org.apache.spark.SparkContext.maxNumConcurrentTasks Py4JSecurityException:方法()類類org.apache.spark.SparkContext不是白名單
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - Py4JError回溯(最近調用最後)<命令- 2769834740329298 >在<模塊> 32 #更大的並行性將導致加速效果,但最佳hyperparameter掃描。33 #並行的一個比較合理的值是max_evals的平方根。推薦- - - - - - > 34 spark_trials = SparkTrials(並行= 10)35 36 /磚/ .python_edge_libs / hyperopt /spark.py__init__(自我、並行性、超時、loss_threshold spark_session) 101) 102 # maxNumConcurrentTasks()是一個包私有API - - > 103 max_num_concurrent_tasks = self._spark_context._jsc.sc () .maxNumConcurrentTasks (104) spark_default_parallelism = self._spark_context.defaultParallelism 105自我。並行性=自我。_decide_parallelism(/磚/火花/ python / lib / py4j-0.10.9-src.zip / py4j / java_gateway。py __call__(自我,* args) 1303回答= self.gateway_client.send_command(命令)1304 return_value = get_return_value(- > 1305回答,自我。gateway_client self.target_id,self.name)1306
