JSON驗證是失敗後寫Pyspark dataframe JSON格式

[SailajaB]

嗨

我們必須轉變dataframe轉換為json格式。所以我們用寫和json格式的最終dataframe把它轉換成json。但當我們驗證json的不適當的json格式的輸出。

請提供你的建議,如何實現這一在磚pyspark嗎

謝謝你！

[AmanSehgal]

你能分享:

1. dataframe樣本和收到的JSON不當
2. 代碼轉換為JSON格式的數據

[SailajaB]

嗨,墨爾本,

謝謝你的回複

我們使用下麵的代碼轉換為JSON

df.coalesce (1) .write.format (json) .save (dataLocation)

我們接受下麵的o / p

{“col1”:“一”,“col2”:“B”}

{“col1”:“C”,“col2”:“D”}

我們除了在JSON格式如下

[{“col1”:“一”,“col2”: " B "},

{“col1”:“C”,“col2”:“D”}]

謝謝你！

[AmanSehgal]

你所看到的文件是JSONlines。和JSON的區別是沒有方括號和逗號後每一個記錄。

你不應該麵對的問題使用火花在讀取JSON數據。

[SailajaB]

但是如果我們使用其他Azure中的輸出資源會得到失敗