Python筆記本崩潰與“Python內核是反應遲鈍的”

[故事]

在使用Python的筆記本,在我的機器上它崩潰在同一點的錯誤“Python內核是反應遲鈍”和“Python程序退出,退出碼134 (SIGABRT:流產)。”但是沒有加調試問題的筆記本或磚集群的日誌輸出(和沒有內存峰值監測)。我能做些什麼來調試這個問題?

[Kaniz]

嗨@TalY,

•對Python的筆記本崩潰調試故障排除步驟:
——檢查最近的代碼更改或更新,可能導致了這個問題。
——尋找大熊貓或收集的操作可能會導致記憶問題。
-監控內存使用的司機在一個交互式節點集群。
——檢查代碼並檢查是否數據集大小超過可用的驅動程序內存集群的工作。
——考慮ADF管道的可能性引發現貨實例的筆記本並檢查問題。
——看一堆轉儲司機和分析它的內存泄漏或過度的內存使用。
•檢查筆記本代碼、集群配置和最近的變化來確定問題的根源。
•接觸磚如果問題持續的支持。
•來源:
- - - - - -https://docs.m.eheci.com/languages/pandas-spark.html
- - - - - -//m.eheci.com/blog/2020/03/31/10-minutes-from-pandas-to-koalas-on-apache-spark.html

[故事]

我一直在使用Ganglia UI但是我沒有看到內存耗盡,監控內存使用的是正確的方法嗎?有更多的選擇嗎?

[Kaniz]

嗨@TalY, 監控內存使用的驅動節點在集群互動,檢查CPU、內存、磁盤I / O和網絡I / O利用率指標。
•使用Ganglia檢查集群健康和下載日誌火花故障排除。
•使堆轉儲捕獲內存的Java進程的快照。
•使用提供的代碼,使堆轉儲。
•一旦代碼運行時,一個名叫databricks_debug_script_collect_driver_stats . sh文件。sh提供路徑下創建。
•這個腳本指向集群init腳本參數並重新啟動集群。
•驅動堆轉儲生成指定路徑的監測和診斷內存使用的驅動節點集群互動。

[sean_owen]

這幾乎是肯定伯父。是的你使用集群中的指標選項卡界麵看到內存使用。然而,你可能沒有觀察內存使用量高伯父,也許之前分配大量的內存。

我認為這些問題都是可解決的90%的代碼檢查。一步失敗了呢?是司機拉很多東西嗎?你分配一個巨大的數據集嗎?