取消
顯示的結果
而不是尋找
你的意思是:

我怎麼能自動獲取的堆轉儲時司機和執行人一個伯父錯誤?

User16752245312
新的貢獻者三世

如果你有一個工作,多次遇到內存不足錯誤(伯父)驅動程序或執行器,自動獲取的堆轉儲伯父事件將幫助調試內存問題和識別錯誤的原因。

火花配置:

spark.executor。extraJavaOptions - xx: + HeapDumpOnOutOfMemoryError - xx: HeapDumpPath = / dbfs cluster-logs /堆轉儲/ spark.driver。extraJavaOptions - xx: + HeapDumpOnOutOfMemoryError - xx: HeapDumpPath = / dbfs / cluster-logs /堆轉儲

環境變量:

DBFS_FUSE_VERSION = 1

2回答2

John_360
新的貢獻者二世

有必要使用完全HeapDumpPath嗎?我發現我無法得到司機與一條不同的道路堆轉儲,但否則相同的配置。我用spark_version 10.4.x-cpu-ml-scala2.12。

User16752245312
新的貢獻者三世

它必須完全沒必要在這個例子中,您可以使用任何路徑。但是確保指向一個目錄的路徑已經存在。還要注意,DBFS路徑。我們想要一個位置司機和執行者都可以寫。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map