取消
顯示的結果
而不是尋找
你的意思是:

不能使用抽樣,不能設置“spark.databricks.pyspark。為集群enablePy4JSecurity假”

克裏斯汀
貢獻者

我一直在使用“抽樣。flatMap(λx x):“一段時間後創建列表的列不過我改變了集群的共享訪問模式(使用統一目錄)我得到以下錯誤:

py4j.security。公共org.apache.spark.rdd Py4JSecurityException:方法。抽樣org.apache.spark.api.java.JavaRDD.rdd()類類org.apache.spark.api.java.JavaRDD不是白名單

我試圖解決這個錯誤通過添加:

“spark.databricks.pyspark。enablePy4JSecurity假”

然而,我得到以下錯誤:

“spark.databricks.pyspark。enablePy4JSecurity時是不允許選擇一個訪問模式”

有人知道如何使用抽樣catalouge統一使用一個集群時?

謝謝你!

7回複7

Barmat
新的貢獻者二世

我有同樣的問題@Shivanshu_Tiwar任何幫助將不勝感激。

Haiyangl104
新的貢獻者二世

試試這個:

# column_name更改為實際的列名稱:
placeholder_list =火花。表從sql(“選擇列”).collect ()
desired_list =[行。column_name placeholder_list]的行
打印(desired_list)

Sumit_Kumar
新的貢獻者三世

嚐試設置在磚下麵配置的筆記本,然後重試。它應該工作。

spark.conf。 ( “spark.jvm.class.allowlist” , “spark.databricks.pyspark.enablePy4JSecurity” )
歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map