06-29-202303:02我
我想要運行一個ETL工作,當工作結束我想停止SparkSession免費集群的資源,這樣我可以避免重新啟動集群,但當調用
spark.stop ()
返回工作狀態失敗的盡管它已經成功完成,因為筆記本自動分離,出現以下錯誤:
火花上下文已經停止和司機重新啟動。你的筆記本將會自動重新連接。
我讀過的這個社區的文章停止引發會話不推薦,但我不明白這背後的原因。據我所知,建議結束引發會話結束工作後為了jvm和免費資源。
有沒有推薦的方法停止/啟動SparkSession磚的工作嗎?
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。
