如何避免“設備上沒有剩餘空間”的錯誤我的磁盤的空間在哪裏?

[PrinceBhatti]

@cfregly

好的文章!我得到上述錯誤spark-sql hiveql命令。你能解釋“spark.sql.shuffle增加。分區”屬性幫助嗎?還有什麼可以做,以避免引發sql的空間問題?

謝謝你！

[ManojMalicious]

是的,不知道在這種情況下是非常有用的。任何解釋嗎?

[co_dragos]

第一解決方案(顯式地刪除中間洗牌文件)為我工作。謝謝你！

[河]

這是一個通用的問題。

廉價的解決方案是增加數量的洗牌分區(以防載荷傾斜)或重新啟動集群。

安全解決方案是增加集群大小或節點大小(SSD、RAM…)

最終,你必須確保你有高效的代碼。你讀和寫(不要保持在內存中,而是過程像一個流管道從源到彙)。重新分區可以打破這種效率。

還要確保你不是重寫緩存變量。例如下麵的代碼是錯誤的:

df =…緩存()

df = df.withColumn (…. .) .cache ()

而不是把一個unpersist兩國行。否則是孤兒引用緩存數據。

[MichaelHuntsber]

我有8 GB的內存,但幾MB是免費的,但我也有一個額外的內存8 GB記憶卡。不管怎樣,沒有足夠的空間,記憶卡完全是空的。

論文服務