5 GB解析json文件在集群上運行長

[Jana]

我創建增量表ADLS json輸入文件。但長時間運行的工作是創建增量表從json。下麵是我的集群配置。集群配置相關的問題嗎?我需要升級集群配置嗎?

創建集群non-prod環境和複雜的批ETL ie . .、加入聚合。我創建一個小的集群有400 gb內存和50芯?請通知。

輸入JSON文件大小- 5 GB

standard_D3_V2

14 GB內存和4核

工作者節點-最小2和最大8

遺囑執行人類型-standard_D3_V2

14 gb內存和4核

注意:集群是萬能的

[匿名]

你好,@Jana一個!很高興認識你!我的名字是風笛手,我是一個主持人的磚。歡迎來到社區。謝謝你的問題。我們會給你的同行一個回應的機會,然後我們會回頭如果我們需要。

提前感謝你的耐心。

[werners1]

你檢查這個話題嗎?可能有一些想法。

[Jana]

注意——Df是創建多行真的。工作是長時間運行而放緩集群性能。你能幫我在這個問題上嗎

謝謝

[werners1]

多行= true,讀取json作為一個整體和加工。

我試著與一個更強大的集群。