取消
顯示的結果
而不是尋找
你的意思是:

工作失敗“火花驅動程序意外停止和重新啟動。你的筆記本將會自動重新接好。”

JustinMills
新的貢獻者三世

沒有其他可用的輸出,甚至沒有細胞,並成功運行的輸出。

同時,我無法連接到火花ui或查看日誌。它使試圖加載它們,但一段時間後,則會出現一條錯誤消息說它是無法加載。

這發生在每個星期天的工作運行。我試著交換集群配置有點(斑點,隨需應變,#實例,實例類型,等等),似乎沒有什麼是修複它。工作運行兩個筆記本通過dbutils.notebook.run效用和我能夠運行每個筆記本通過獨立工作,隻有當它們放在一起。

任何建議弄清楚到底發生了什麼?在這一點上,我想打破這分成兩份工作並試圖錯開相隔足夠遠,首先是確定完成第二個開始前。

6個回答6

AndrewMorris
新的貢獻者二世

我一直在這個問題上無法找到任何背景。挖掘火花日誌後,我還發現一個引用一個GC問題。更具體地說:

. lang。OutOfMemoryError: GC開銷限製超過java.util.Arrays.copyOf (Arrays.java: 3332) java.lang.AbstractStringBuilder.ensureCapacityInternal (AbstractStringBuilder.java: 124) java.lang.AbstractStringBuilder.append (AbstractStringBuilder.java: 448) java.lang.StringBuilder.append (StringBuilder.java: 136) . .

我應該指出這是一個簡單的對象聲明。沒有數據被處理的細胞的罪魁禍首。

lzlkni
新的貢獻者二世

大部分時間它是驅動節點上的內存。檢查所有傳動日誌,數據節點登錄火花UI。

並檢查如果你收集大量數據來驅動節點,如收集()

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map