取消
顯示的結果
而不是尋找
你的意思是:

如何避免“設備上沒有剩餘空間”的錯誤我的磁盤的空間在哪裏?

cfregly
貢獻者
9回複9

PrinceBhatti
新的貢獻者二世

@cfregly

好的文章!我得到上述錯誤spark-sql hiveql命令。你能解釋“spark.sql.shuffle增加。分區”屬性幫助嗎?還有什麼可以做,以避免引發sql的空間問題?

謝謝你!

是的,不知道在這種情況下是非常有用的。任何解釋嗎?

co_dragos
新的貢獻者二世

第一解決方案(顯式地刪除中間洗牌文件)為我工作。謝謝你!

河
新的貢獻者三世

這是一個通用的問題。

廉價的解決方案是增加數量的洗牌分區(以防載荷傾斜)或重新啟動集群。

安全解決方案是增加集群大小或節點大小(SSD、RAM…)

最終,你必須確保你有高效的代碼。你讀和寫(不要保持在內存中,而是過程像一個流管道從源到彙)。重新分區可以打破這種效率。

還要確保你不是重寫緩存變量。例如下麵的代碼是錯誤的:

df =…緩存()

df = df.withColumn (…. .) .cache ()

而不是把一個unpersist兩國行。否則是孤兒引用緩存數據。

MichaelHuntsber
新的貢獻者二世

我有8 GB的內存,但幾MB是免費的,但我也有一個額外的內存8 GB記憶卡。不管怎樣,沒有足夠的空間,記憶卡完全是空的。

論文服務

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map