取消
顯示的結果
而不是尋找
你的意思是:

你能幫助這個錯誤嗎?當使用一個新的高並發性集群問題

套
新的貢獻者二世

你好,我想使用一個新的高並發性集群MLFlow但我得到以下錯誤。有人有什麼建議嗎?這是工作在一個標準的集群。謝謝。

py4j.security。公共int org.apache.spark.SparkContext.maxNumConcurrentTasks Py4JSecurityException:方法()類類org.apache.spark.SparkContext不是白名單

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - Py4JError回溯(最近調用最後)<命令- 2769834740329298 >在<模塊> 32 #更大的並行性將導致加速效果,但最佳hyperparameter掃描。33 #並行的一個比較合理的值是max_evals的平方根。推薦- - - - - - > 34 spark_trials = SparkTrials(並行= 10)35 36 /磚/ .python_edge_libs / hyperopt /spark.py__init__(自我、並行性、超時、loss_threshold spark_session) 101) 102 # maxNumConcurrentTasks()是一個包私有API - - > 103 max_num_concurrent_tasks = self._spark_context._jsc.sc () .maxNumConcurrentTasks (104) spark_default_parallelism = self._spark_context.defaultParallelism 105自我。並行性=自我。_decide_parallelism(/磚/火花/ python / lib / py4j-0.10.9-src.zip / py4j / java_gateway。py __call__(自我,* args) 1303回答= self.gateway_client.send_command(命令)1304 return_value = get_return_value(- > 1305回答,自我。gateway_client self.target_id,self.name)1306

1接受解決方案

接受的解決方案

User16753724828
新的貢獻者三世

@Tom索托我們有一個解決方案。這個集群火花配置設置將禁用py4jSecurity同時還支持透傳

spark.databricks.pyspark。enablePy4JSecurity假

在原帖子查看解決方案

6個回答6

匿名
不適用

你好,@Tom索托!我的名字是派珀,我是主持人磚。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我們將很快跟進與回複。

jose_gonzalez
主持人
主持人

嗨@Tom索托,

錯誤消息來自你的高並發性集群的安全模型。這是內置的安全模型限製對您的數據的訪問。代碼可能工作標準集群上而不是在高並發集群。

套
新的貢獻者二世

謝謝你的回應。我很欣賞,但你知道的任何工作使用集群高並發性,因為它是一種特殊的磚函數的問題

User16753724828
新的貢獻者三世

@Tom索托我們有一個解決方案。這個集群火花配置設置將禁用py4jSecurity同時還支持透傳

spark.databricks.pyspark。enablePy4JSecurity假

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map