如果你有一個工作,多次遇到內存不足錯誤(伯父)驅動程序或執行器,自動獲取的堆轉儲伯父事件將幫助調試內存問題和識別錯誤的原因。
火花配置:
spark.executor。extraJavaOptions - xx: + HeapDumpOnOutOfMemoryError - xx: HeapDumpPath = / dbfs cluster-logs /堆轉儲/ spark.driver。extraJavaOptions - xx: + HeapDumpOnOutOfMemoryError - xx: HeapDumpPath = / dbfs / cluster-logs /堆轉儲
環境變量:
DBFS_FUSE_VERSION = 1
它必須完全沒必要在這個例子中,您可以使用任何路徑。但是確保指向一個目錄的路徑已經存在。還要注意,DBFS路徑。我們想要一個位置司機和執行者都可以寫。