取消
顯示的結果
而不是尋找
你的意思是:

無法讀取XML文件9 GB

wyzer
因素二世

你好,

我們有一個大型的XML文件(9 GB),我們不能閱讀。

我們有這個錯誤:VM大小限製

但是我們如何改變VM大小限製嗎?

我們已經測試了很多集群,但沒有人能讀這個文件。

謝謝你的幫助。

9回複9

RKNutalapati
價值貢獻

嗨@Salah k:集群大小/配置是什麼?請分享你的代碼片段。

{

"自動定量":{

“min_workers”: 2

“max_workers”: 8

},

:“cluster_name GrosCluster”,

:“spark_version 10.4.x-scala2.12”,

" spark_conf ": {

“spark.databricks.delta.preview.enabled”:“真正的”

},

" azure_attributes ": {

“first_on_demand”: 1、

“可用性”:“SPOT_WITH_FALLBACK_AZURE”,

“spot_bid_max_price”: 1

},

:“node_type_id Standard_L8s”,

:“driver_node_type_id Standard_L8s”,

“ssh_public_keys”: [],

“custom_tags”: {},

" spark_env_vars ": {

:“PYSPARK_PYTHON /磚/ python3 / bin / python3”

},

“autotermination_minutes”: 120年,

“enable_elastic_disk”:沒錯,

“cluster_source”:“用戶界麵”,

“init_scripts”: [],

“cluster_id”:“0408 - 123105 xj70dm6w”

}

@Salah k,你試著與“Memory-optimized”集群?我胡亂猜想這是做一個線程操作線程沒有足夠的內存。確保集群中的每個線程擁有超過9 GB的內存。

你的代碼有嗎InferSchema選擇啟用?

wyzer
因素二世

克裏希納@Rama N,是的,我們嚐試了“Memory-optimized”集群。

不,我們沒有改變集群中的線程。

你好,好嗎?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map