你好,
我´ve庫添加到集群,它出現在火花UI所添加的用戶
火花:/ / 10.139.64.4:43001 /罐/ addedfile307892533757162075org_mongodb_spark_mongo_spark_connector_2_12_10_1_1 - 98946。jarAdded由用戶
我試圖連接使用以下SparkSession配置,但它不工作:
火花= (SparkSession.builder.config (spark.mongodb.input.uri, connectionString) . config (spark.jars。包”、“org.mongodb.spark: mongo-spark-connector_2.12:10.1.1”) .getOrCreate ())
如果我這個庫卸載並安裝上一個,2.12:3.0.1,連接工作。
有人能幫我嗎?
謝謝
它看起來像你想連接MongoDB使用mongo-spark-connector_2.12:10.1.1庫,但你正麵臨的問題連接。這裏有幾件事你可以嚐試解決這個問題:
org.apache.spark.examples SPARK_HOME美元/ bin / spark-submit——類。火花Pi --master yarn --deploy-mode client --driver-memory 4g --executor-memory 2g --executor-cores 1 --num-executors 2 --conf spark.eventLog.enabled=true --conf spark.eventLog.dir=hdfs:///spark-history --conf spark.history.fs.logDirectory=hdfs:///spark-history --jars /path/to/mongo-spark-connector_2.12-10.1.1.jar /path/to/your/application.jar
3)試著不同版本的庫:如果上述兩個步驟不工作,你可以嚐試使用不同版本的mongo-spark-connector圖書館。你可以在這裏找到可用版本的列表:https://mvnrepository.com/artifact/org.mongodb.spark/mongo-spark-connector_2.12
4)檢查與MongoDB服務器版本的兼容性:確保mongo-spark-connector庫您正在使用的版本是兼容的版本使用MongoDB服務器。你可以檢查兼容性矩陣:https://docs.mongodb.com/spark-connector/master/兼容性矩陣
我希望這些建議可以幫助你解決問題。
我什麼都麵臨類似的問題上麵org.mongodb.spark: mongo-spark-connector_2.12:3.0.1
所以版本10 +org.mongodb.spark: mongo-spark-connector_2.12https://mvnrepository.com/artifact/org.mongodb.spark/mongo-spark-connector_2.12是不工作與磚12.2 LTS
org.apache.spark。火花ClassNotFoundException: [DATA_SOURCE_NOT_FOUND] Failed to find data source: mongo. Please find packages at `https://spark.apache.org/third-party-projects.html`.
有什麼應該做另外安裝到圖書館嗎?也許一些額外的集群選擇嗎?