取消
顯示的結果
而不是尋找
你的意思是:

如何處理3.5 gb廣州(~ 90 gb)嵌套JSON並將它們轉換為表格格式用更少的處理時間和優化成本在Azure磚嗎?

sanchit_popli
新的貢獻者二世

我有一個5000文件(嵌套的JSON ~ 3.5 GB)。我寫了一個代碼在幾分鍾內將json轉換為表(json大小到1 GB),但是當我試圖過程3.5 GB廣州json是失敗,因為垃圾收集。我也嚐試了多個集群,仍然隻是采取18分鍾讀取文件,因為它是一個嵌套的json讀取它隻作為一個單獨的記錄。

請參考示例JSON結構。

數據幀結構代碼片段:

代碼閱讀代碼:

閱讀代碼我首先尋找一種方法來處理一個3.5 GZ文件之後,我的重點將是在5000年類似的文件。我正在尋找一種方式將更多的優化和成本效益。目前我使用Azure磚但我打開你使用其他替代技術。

0回答0
歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map