取消
顯示的結果
而不是尋找
你的意思是:

進口不規則格式化的json文件

MikeJohnsonZa
新的因素

我進口大量的json文件,問題是,他們不是我所期望的格式良好的json文件(盡管可能仍然有效),每個文件隻包含一個記錄是這樣的(這隻是一個抽象)

[{“名稱”:“名字”,“姓”:“MySurname”},[{“地址”:“1”,“類型”:“家”},{“地址”:“2”,“類型”:“家”}],[{“Tel”:“1”}, {“Tel”:“2”}]]

在理想情況下,我寧願導入它使用標準json讀選項巴士不能找出結構模式。

我的第一個方法涉及創建一個UDF,進口記錄作為一個字符串,並返回一個新的正確格式化對象

def結構(對象):

結構= {}

結構(“名字”)[0]=對象(“名稱”)

結構(“姓”)[0]=對象(“姓”)

["地址"]=[]結構

["電話"]=[]結構

地址的對象[1]:

結構(“地址”)。追加({“地址”:解決“地址”,“類型”:地址(“類型”)})

在對象[2]:電話

結構(“電話”)。追加({“Tel”:電話(“Tel”)})

返回的結構

這個工作但是它會慢,更直觀。

使用這樣的一個模式“作品”,但元素ID會回來為零

mySchema = StructType ([

StructField(“名字”,StringType(),真的),

StructField(“姓”,StringType(),真的),

StrutType (StructField (“id”,

StructType ([StructField (“ID”, StringType(),真的)))

)

)

])

1接受解決方案

接受的解決方案

jose_gonzalez
主持人
主持人

嗨@Michael約翰遜,

我想與大家分享以下筆記本包含示例如何處理複雜的數據類型,比如JSON。請檢查下麵的鏈接,讓我們知道如果你還需要幫助https://docs.m.eheci.com/optimizations/complex-types.html

在原帖子查看解決方案

3回複3

Debayan
尊敬的貢獻者三世
尊敬的貢獻者三世

你好,當你提到不規則格式化的json文件,源代碼是這個樣子嗎?json格式或粘貼時看起來是壞的。請解釋這一點。

匿名
不適用

嗨@Michael約翰遜

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

jose_gonzalez
主持人
主持人

嗨@Michael約翰遜,

我想與大家分享以下筆記本包含示例如何處理複雜的數據類型,比如JSON。請檢查下麵的鏈接,讓我們知道如果你還需要幫助https://docs.m.eheci.com/optimizations/complex-types.html

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map