我確實注意到幾次日誌消息的日誌對內存分配失敗,所以我試著兩件事一是使用小dataframe(從200 k行10 k)和第二個是優化使用熊貓並沒有幫助。周末一些搜索之後,我發現,防止崩潰中添加以下行:
logging.getLogger (“py4j”).setLevel (logging.ERROR)
logging.getLogger (“py4j.java_gateway”).setLevel (logging.ERROR)
我也已經成功地運行,筆記本在我的個人電腦32 gb和磚司機是一個“m5d。4超大“64 gb。
我更喜歡一種更簡潔的解決方案離岸金融中心,所以鑒於這種伯父的方向仍然是最有可能的一個?