" . lang。ClassNotFoundException:沒有找到數據源:當加載xml xml”錯誤

[FrancisLau1897]

以下命令失敗

df1 = sqlContext.read.format (“xml”) .load (loadPath)

df2 = sqlContext.read.format (com.databricks.spark.xml) .load (loadPath)

用以下錯誤信息:

. lang。ClassNotFoundException:沒有找到數據源:xml。請找到包http://spark.apache.org/third-party-projects.html

我讀了幾篇文章在這個論壇上但沒有解決。我認為磚已經安裝的XML庫。這是在DBC集群”4.2(包括Apache火花2.3.1,Scala 2.11)”

[sean_owen]

你必須將spark-xml庫添加到集群中。不,這不是預裝在任何運行時。

[msft_Ted]

我安裝了spark-xml圖書館使用磚火花包的接口,它顯示了連接到集群——我得到同樣的錯誤(即使在重新啟動集群)。有什麼我錯過安裝圖書館嗎?

[sean_owen]

嗯,似乎為我工作。我附加com.databricks: spark-xml: 0.5.0新的運行時5.1集群,下麵和成功執行一個命令。庫連接成功了嗎?應該都有。

顯示器(spark.read。選項(“rowTag”、“書”).format .load (“xml”) (“/ dbfs / tmp / sean.owen / books.xml”))

[msft_Ted]

這是問題——引發包版本是0.1.1,maven中央版本是0.5.0——改變使用maven包了整件事情的工作。