在常規集群,您可以使用:
' ' '
spark.sparkContext._jsc.hadoopConfiguration ()。集(關鍵字,值)
' ' '
這些值然後使用hadoop在執行人配置。
然而,在高並發的集群,試圖這麼做的結果:
> py4j.security。公共org.apache.hadoop.conf Py4JSecurityException:方法。配置org.apache.spark.api.java.JavaSparkContext.hadoopConfiguration() is not whitelisted on class class org.apache.spark.api.java.JavaSparkContext
有解決這個問題的辦法嗎?或者是一個高並發集群類型的限製?
這裏的目標是通過在運行時生成的令牌執行人,這意味著設置(即在集群中的細節設置。集群先進> > >火花引發配置)是不適合。
對不起,我沒有提到,我選擇“證書透傳”集群,將這些功能添加到集群配置:
spark.databricks.passthrough。使真正的
spark.databricks.pyspark。enableProcessIsolation真實
如果你刪除這那是正常的。
明白了。我相當肯定有關透傳的局限性你可能認為。在鏈接它說有局限性SparkContext方法和SparkSession對象。它不顯式地列出你的問題,但我認為它足夠相似的應用。
刪除那些配置為您的環境工作嗎?你需要透傳嗎?