當試圖與自動裝卸機攝取鋪文件我得到一個錯誤,指出模式推理不支持,但是拚花的文件模式數據。沒有推斷應該是必要的。這是正確的嗎?

[159312年]

當試圖攝取拚花與自動裝卸機下麵的代碼文件

df =(火花

.readStream

.format (“cloudFiles”)

.option (“cloudfiles.format”、“鋪”)

.load (filePath))

我得到以下錯誤:

. lang。UnsupportedOperationException:方式模式推理不支持格式:拚花。請指定模式。

我發現這個奇怪因為拚花文件包含模式信息。沒有什麼來推斷。

如果我把模式從一個現有的鑲花文件自動裝卸機的工作原理。

filePath = ' / dbfs / mnt /計劃/ streamtest /公共/ streamme / '

文件= os.listdir (filePath)

files.sort ()

sdata = spark.read.parquet (os.path。加入(file_path[5:],文件[1]))

df =(火花

.readStream

.format (“cloudFiles”)

.option (“cloudfiles.format”、“鋪”)

. schema (sdata.schema)

.load (filePath))

這工作,但消除了自動裝彈機的主要好處之一:沒有目錄清單。

這是預期行為嗎?我很難理解為什麼自動裝卸機不能從鋪文件讀取模式。

謝謝,

本

[Noopur_Nigam]

嗨@Ben鮑嘉DBR支持11.1及以上。下麵的文檔顯示相同的:

https://docs.m.eheci.com/ingestion/auto-loader/schema.html schema-inference-and-evolution-in-auto……

請在DBR 11.1,請讓我們知道如果你仍然麵臨這個問題。

[jose_gonzalez]

嗨@Ben鮑嘉,

隻是一個友好的後續。Noopur響應幫助你解決你的問題嗎?如果是,請其標記為最好。否則,請讓我們知道如果你還需要幫助。

[159312年]

雖然我可以確認模式推理的支持在DBR 11.1中,它仍然是不支持DLT電流或預覽運行時這是我需要它的地方。白色閃光白色閃光。