自動加載程序失敗當讀取json元素包含空間

[馬格努斯]

我使用自動加載器作為三角洲的一部分生活表管道攝取json文件,今天這失敗,錯誤信息:

om.databricks.sql.transaction.tahoe。DeltaAnalysisException:中發現無效的字符(s), {} () \ n \ t = '列名的模式。org.apache.spark.sql。“NotificationSettings.element AnalysisException:列名稱。微軟團隊”包含無效的字符(s)。請使用別名來重命名它。

失敗的json文件包含一個名為“微軟團隊”的元素導致管道失敗。我怎麼處理這些元素?錯誤消息提到使用別名,但我找不到任何信息如何實現這一點。

“NotificationSettings”: [{“NotificationType”:“MissedActivityReminder”,“微軟團隊”:真正的},…

[Lakshay]

請檢查是否這有助於:

https://kb.m.eheci.com/en_US/delta/allow-spaces-and-special-characters-in-nested-column-names-wit..。

[馬格努斯]

我不能得到DeltaTable解決工作結合自動加載器/ DLT /統一目錄,因為它預計表位置和我希望框架來處理。

我也試過withColumnRenamed,但我不能讓它工作。我仍然得到我的原始問題中所示的錯誤消息。

withColumnRenamed (“NotificationSettings。微軟團隊”、“MicrosoftTeams”)

[Tharun-Kumar]

@Magnus

• 你可以使用熊貓考拉(讀取輸入文件https://koalas.readthedocs.io/en/latest/index.html)
• 然後重命名列
• 然後把熊貓/考拉dataframe dataframe火花。你可以把它寫在正確的列名稱,所以下次你使用它,不會發生的錯誤。