取消
顯示的結果
而不是尋找
你的意思是:

有可能通過集群配置工作在高並發性嗎?

DouglasLinder
新的貢獻者三世

在常規集群,您可以使用:

' ' '

spark.sparkContext._jsc.hadoopConfiguration ()。集(關鍵字,值)

' ' '

這些值然後使用hadoop在執行人配置。

然而,在高並發的集群,試圖這麼做的結果:

> py4j.security。公共org.apache.hadoop.conf Py4JSecurityException:方法。配置org.apache.spark.api.java.JavaSparkContext.hadoopConfiguration() is not whitelisted on class class org.apache.spark.api.java.JavaSparkContext

有解決這個問題的辦法嗎?或者是一個高並發集群類型的限製?

這裏的目標是通過在運行時生成的令牌執行人,這意味著設置(即在集群中的細節設置。集群先進> > >火花引發配置)是不適合。

5回複5

Kaniz
社區經理
社區經理

你好@DouglasLinder!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區有一個先回答你的問題。否則我將與我的團隊跟進,回到你soon.Thanks。

Ryan_Chynoweth
尊敬的貢獻者三世

我不明白為什麼你得到錯誤在高並發集群。像你一樣我能設置配置上麵顯示。

你可以嚐試以下代碼呢?

sc._jsc.hadoopConfiguration ()。集(關鍵字,值)

對不起,我沒有提到,我選擇“證書透傳”集群,將這些功能添加到集群配置:

spark.databricks.passthrough。使真正的

spark.databricks.pyspark。enableProcessIsolation真實

如果你刪除這那是正常的。

Ryan_Chynoweth
尊敬的貢獻者三世

明白了。我相當肯定有關透傳的局限性你可能認為。在鏈接它說有局限性SparkContext方法和SparkSession對象。它不顯式地列出你的問題,但我認為它足夠相似的應用。

刪除那些配置為您的環境工作嗎?你需要透傳嗎?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map