06-03-202205:22我
你好,
我想要運行一個ETL管道順序的方式在我的DB筆記本。如果我運行它沒有重置火花會話或重新啟動集群,我得到一個數據幀關鍵錯誤。我認為這可能是由於火花緩存,因為如果我重新啟動集群和運行序列的下一個項目我不明白這個問題。我清理緩存的火花ETL管道每次運行但是,我麵臨著同樣的問題。我想停止引發會話並再次開始將解決這個問題,但這將重新接上筆記本。和執行從一開始不是從序列中的下一個項目。
謝謝,
的孩子叫
06-07-202201:47我
嗨@Chandan Angadi,你能請分享您的集群的參數嗎?
06-09-2022上午04:12
嗨@Kaniz開羅,
06-27-202301:32我
有上述問題的解決方案嗎?我還想重啟SparkSession免費集群的資源,但當調用
spark.stop ()
筆記本自動分離,出現以下錯誤:
火花上下文已經停止和司機重新啟動。你的筆記本將會自動重新連接。
有沒有推薦的方法重新啟動SparkSession嗎?
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。