在常規集群,您可以使用:
' ' '
spark.sparkContext._jsc.hadoopConfiguration ()。集(關鍵字,值)
' ' '
這些值然後使用hadoop在執行人配置。
然而,在高並發的集群,試圖這麼做的結果:
> py4j.security。公共org.apache.hadoop.conf Py4JSecurityException:方法。配置org.apache.spark.api.java.JavaSparkContext.hadoopConfiguration() is not whitelisted on class class org.apache.spark.api.java.JavaSparkContext
有解決這個問題的辦法嗎?或者是一個高並發集群類型的限製?
這裏的目標是通過在運行時生成的令牌執行人,這意味著設置(即在集群中的細節設置。集群先進> > >火花引發配置)是不適合。
