一位身份不明的特殊字符添加在磚時出站文件轉換。請幫忙建議嗎?

[JK2021]

數據從源複製到外部ADLS進一步被磚,那麼這個按摩數據放在出站文件。特殊字符?(問號在黑鑽石)是在某些領域在出站文件可能破壞現有代碼並不確定。

[JK2021]

謝謝!

[JK2021]

嗨Prabakar

可能是開發人員的代碼——這可以添加特殊字符嗎?

[Prabakar · Accepted solution]

這就需要編碼。你可以試著在讀取文件編碼輸出。

.option(“編碼”、“UTF-16LE”)

請參考下圖:

https://docs.microsoft.com/en-us/azure/databricks/kb/data-sources/json-unicode

https://community.m.eheci.com/s/question/0D53f00001HKHnfCAH/issues-with-utf16-files-and-unicode-c..。

[JK2021]

我也需要編碼和解碼嗎? ?目前錯誤數據顯示@Prabakar Ammeappin

[werners1]

你確定它是磚,將特殊字符?

它也可能發生在外部係統ADLS的副本。

如果你使用Azure數據工廠遠東,你必須定義編碼(utf - 8或utf - 16,…)