不能使用抽樣,不能設置“spark.databricks.pyspark。為集群enablePy4JSecurity假”

[克裏斯汀]

我一直在使用“抽樣。flatMap(λx x):“一段時間後創建列表的列不過我改變了集群的共享訪問模式(使用統一目錄)我得到以下錯誤:

py4j.security。公共org.apache.spark.rdd Py4JSecurityException:方法。抽樣org.apache.spark.api.java.JavaRDD.rdd()類類org.apache.spark.api.java.JavaRDD不是白名單

我試圖解決這個錯誤通過添加:

“spark.databricks.pyspark。enablePy4JSecurity假”

然而,我得到以下錯誤:

“spark.databricks.pyspark。enablePy4JSecurity時是不允許選擇一個訪問模式”

有人知道如何使用抽樣catalouge統一使用一個集群時?

謝謝你！

[Barmat]

嗨

我有同樣的問題@Shivanshu_Tiwar任何幫助將不勝感激。

[Haiyangl104]

試試這個:

# column_name更改為實際的列名稱:
placeholder_list =火花。表從sql(“選擇列”).collect ()
desired_list =[行。column_name placeholder_list]的行
打印(desired_list)

[Sumit_Kumar]

嚐試設置在磚下麵配置的筆記本,然後重試。它應該工作。

spark.conf。 集 ( “spark.jvm.class.allowlist” , “spark.databricks.pyspark.enablePy4JSecurity” )