取消
顯示的結果
而不是尋找
你的意思是:

模式演化問題

困惑
新的貢獻者三世

嗨,所有

我使用自動加載程序加載一些數據,但與模式演化的麻煩。

添加了一個新列的數據加載和我得到以下錯誤:

StreamingQueryException:遇到未知的領域(s)在解析:{" SomeField ": {}}

我不是100%確定這個錯誤拋出由自動裝卸機或結構化流,但我不指定一個模式在CloudFiles配置(隻是一個模式位置)和我在writeStream設置以下選項

.option (“mergeSchema”,“真正的”)

有人有想法嗎?

幹杯

7回複7

匿名
不適用

這不是作家,需要發展模式,它在閱讀大小,你遇到的問題。的文檔在這裏描述如何調整自動裝卸機。

困惑
新的貢獻者三世

嗨Josephk

我讀過博士,但我不明白,我有一個問題。

每第一個例子說我應該做本:

spark.readStream.format \ (“cloudFiles”)

.option (“cloudFiles。”、“json格式”)\

.option (“cloudFiles。schemaLocation”、“\ < path_to_schema_location >”)

.load \ (“< path_to_source_data >”)

.writeStream \

.option (“mergeSchema”,“真正的”)\

.option (“checkpointLocation”、“< path_to_checkpoint >”) \

.start (“< path_to_target”)

所以我有幾個cloudFiles選項我從隊列讀取文件通知,但基本上我做上麵的一樣,沒有指定的閱讀模式,設置mergeSchema寫。

匿名
不適用

你需要添加選項添加新列的讀者。它是:

.option (“cloudFiles.schemaEvolutionMode”、“addNewColumns”)。

困惑
新的貢獻者三世

嗯,我沒有添加,醫生說這是一個默認不提供一個模式。

addNewColumns

:模式時的默認模式是不提供自動加載程序。

我將試一試,謝謝。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map