為解析JSON使用火花SQL請求幫助。

[NathanSundarara]

你好這是我的第一篇文章,我們開始使用磚。我測試POC比python熟悉SQL語法。需要一些幫助與解析json。下麵是一個示例json。

JSON解析使用橫向視圖,爆炸與SQL文檔是不夠的任何社區會幫助我進一步的幫助。

我附加的json文件。

謝謝提前

[匿名]

@Nathan Sundararajan:

謝謝你發送json。

這裏有一個例子如何解析JSON使用側麵圖和爆炸在SQL:

假設您有一個JSON數據存儲在一個表稱為“json_data”,你想從JSON中提取以下字段:“id”、“名稱”、“年齡”、“地址。城市”和“address.state”。

這裏有一個SQL查詢:

選擇json_extract_scalar (json_data, .id美元)作為id, json_extract_scalar (json_data, $ . name)的名字,json_extract_scalar (json_data, .age美元)年齡、json_extract_scalar (json_data .address.city美元的)城市,json_extract_scalar (json_data, .address.state美元)從json_table狀態(“[{" id ": 1、“名稱”:“John Doe”,“年齡”:35歲的“地址”:{“城市”:“紐約”,“狀態”:“紐約”}},{" id ": 2,“名字”:“簡·史密斯”,“年齡”:28日,“地址”:{“城市”:“舊金山”,“狀態”:“CA”}})”,“[*]美元”列(json_data VARCHAR(4000)路徑”的美元))jt

在這個查詢中,我們使用的是“json_table”功能將JSON數組轉化為行。“json_data”列包含整個JSON數據為每一行。

然後,我們使用“json_extract_scalar”函數中提取特定字段從JSON使用各自的JSON路徑。這個查詢的輸出將與下麵的一個表列:“id”、“名稱”、“年齡”、“城市”和“國家”,其中每一行表示一個對象的JSON數組。

[Vidula_Khanna]

嗨@Nathan Sundararajan

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

[NathanSundarara]

提供的答案是不喜歡我的例子在另一篇文章我問更具體,沒有得到回答。這不是解決。

[NathanSundarara]

@Vidula Khanna請參閱我的問題

飼料細節(m.eheci.com)