問題

你想集火花的價值配置在筆記本裏,並得到一個不能修改火花配置的價值錯誤。

例如:

sql設置spark.serializer = org.apache.spark.serializer.KryoSerializer %

錯誤的SQL語句:AnalysisException:不能修改引發的價值配置:spark.serializer;

導致

的集命令不工作SparkConf條目。這是設計引發3.0及以上。

解決方案

你應該刪除集命令SparkConf從你的筆記本的條目。

您可以輸入SparkConf在集群級別值輸入他們的集群火花配置(AWS|Azure|GCP),重新啟動集群。