問題
你的工作失敗的Python的內核是一個反應遲鈍的錯誤消息。
致命錯誤:Python的內核是反應遲鈍。
導致
如果集群耗盡內存,Python內核可以崩潰。
這通常發生在運行內存密集型操作與相對較小的實例或並行運行多個筆記本或工作時在同一集群。
解決方案
實現以下策略來解決反應遲鈍的Python內核問題:
- 使用集群工作的非交互式工作,而不是通用的集群。避免一個通用的集群上運行批處理作業。
- 確保您的集群配置使用適當的類型和尺寸有效管理預期的工作負載。考慮增加集群大小通過添加更多的工人節點或擴充現有節點的內存容量。
- 優化數據管道同時減少處理的數據量。
- 跨多個集群分發工作負載如果同時運行多個筆記本或者工作在同一集群。不管集群的大小,隻有一個Apache火花司機節點,不能分布式集群內。
- 如果你的操作內存密集型,確認足夠的驅動程序內存可用。小心當使用以下:
- 的收集()運營商,將大量的數據傳輸到司機。
- 將大量DataFrame熊貓DataFrame。
- 監控集群的性能使用Ganglia指標來識別潛在的問題和優化資源的使用。