問題

你的工作運行失敗的扼殺了由於觀察典型錯誤錯誤消息。

集群成為遙不可及的在運行原因:xxx-xxxxxx-xxxxxxx壓製是由於觀察典型錯誤

導致

返回的工作在這個集群太多大結果Apache火花司機節點。

結果,司機服務耗盡內存,和集群變得遙不可及的。

這可能發生在調用.collect或,告訴API。

解決方案

你可以減少工作負載集群或增加的價值spark.memory.chauffeur.size。

司機服務引發司機在同一主機上運行。當你司機服務分配更多的內存,那麼總體內存都可以引發司機。

設定的值spark.memory.chauffeur.size:

1. 在您的工作區中打開集群配置頁麵。
2. 點擊編輯。
3. 擴大高級選項。
4. 輸入的值spark.memory.chauffeur.size在mb火花配置字段。
5. 點擊確認並重新啟動。