取消
顯示的結果
而不是尋找
你的意思是:

意外引發司機已經停止並重新啟動。你的筆記本將會自動重新連接。

JKR
新的貢獻者三世

得到以下錯誤

背景:使用磚共享互動集群調度運行多個並行工作每5分鍾後在同一時間。當我檢查Ganglia,司機節點的內存幾乎達到最大,然後重啟司機發生和重複相同的過程。我不使用任何以下操作:

  • 收集()操作符,給司機帶來了大量的數據。
  • 轉換的一個大型DataFrame熊貓DataFrame使用toPandas()函數。

. lang。OutOfMemoryError:無法創建新的本地線程

在java.lang.Thread。start0(本地方法)

java.lang.Thread.start (Thread.java: 719)

java.util.concurrent.ThreadPoolExecutor.addWorker (ThreadPoolExecutor.java: 957)

java.util.concurrent.ThreadPoolExecutor.execute (ThreadPoolExecutor.java: 1367)

在scala.concurrent.impl.ExecutionContextImpl.execute (ExecutionContextImpl.scala: 24)

scala.concurrent.impl.CallbackRunnable.executeWithValue (Promise.scala: 72)

在scala.concurrent.impl.Promise KeptPromise Kept.onComplete美元(Promise.scala: 372)

在scala.concurrent.impl.Promise KeptPromise Kept.onComplete美元$ (Promise.scala: 371)

在scala.concurrent.impl.Promise KeptPromise Successful.onComplete美元(Promise.scala: 379)

scala.concurrent.impl.Promise.transform (Promise.scala: 33)

在scala.concurrent.impl.Promise.transform美元(Promise.scala: 31)

在scala.concurrent.impl.Promise KeptPromise Successful.transform美元(Promise.scala: 379)

scala.concurrent.Future.map (Future.scala: 292)

在scala.concurrent.Future.map (Future.scala: 292美元)

在scala.concurrent.impl.Promise KeptPromise Successful.map美元(Promise.scala: 379)

在美元scala.concurrent.Future蘋果(Future.scala: 659)

com.databricks.backend.daemon.driver.JupyterKernelListener BackgroundPollTask.start美元(JupyterKernelListener.scala: 174)

在com.databricks.backend.daemon.driver.JupyterKernelListener。< init > (JupyterKernelListener.scala: 340)

在com.databricks.backend.daemon.driver.JupyterDriverLocal。anonfun startPython美元1美元(JupyterDriverLocal.scala: 708)

在scala.runtime.java8.JFunction0專門sp.apply美元(美元JFunction0 mcV $ sp.java: 23)

在美元scala.util.Try蘋果(Try.scala: 213)

在com.databricks.backend.daemon.driver.JupyterDriverLocal.com磚後台守護進程驅動美元美元JupyterDriverLocal withRetry美元美元(JupyterDriverLocal.scala: 663)

com.databricks.backend.daemon.driver.JupyterDriverLocal.startPython (JupyterDriverLocal.scala: 680)

在com.databricks.backend.daemon.driver.JupyterDriverLocal。< init > (JupyterDriverLocal.scala: 403)

com.databricks.backend.daemon.driver.PythonDriverWrapper.instantiateDriver (DriverWrapper.scala: 781)

com.databricks.backend.daemon.driver.DriverWrapper.setupRepl (DriverWrapper.scala: 350)

com.databricks.backend.daemon.driver.DriverWrapper.run (DriverWrapper.scala: 246)

java.lang.Thread.run (Thread.java: 750)

. lang。OutOfMemoryError:無法創建新的本地線程

在java.lang.Thread。start0(本地方法)

java.lang.Thread.start (Thread.java: 719)

java.util.concurrent.ThreadPoolExecutor.addWorker (ThreadPoolExecutor.java: 957)

java.util.concurrent.ThreadPoolExecutor.execute (ThreadPoolExecutor.java: 1367)

在scala.concurrent.impl.ExecutionContextImpl.execute (ExecutionContextImpl.scala: 24)

scala.concurrent.impl.CallbackRunnable.executeWithValue (Promise.scala: 72)

在scala.concurrent.impl.Promise KeptPromise Kept.onComplete美元(Promise.scala: 372)

在scala.concurrent.impl.Promise KeptPromise Kept.onComplete美元$ (Promise.scala: 371)

在scala.concurrent.impl.Promise KeptPromise Successful.onComplete美元(Promise.scala: 379)

scala.concurrent.impl.Promise.transform (Promise.scala: 33)

在scala.concurrent.impl.Promise.transform美元(Promise.scala: 31)

在scala.concurrent.impl.Promise KeptPromise Successful.transform美元(Promise.scala: 379)

scala.concurrent.Future.map (Future.scala: 292)

在scala.concurrent.Future.map (Future.scala: 292美元)

在scala.concurrent.impl.Promise KeptPromise Successful.map美元(Promise.scala: 379)

在美元scala.concurrent.Future蘋果(Future.scala: 659)

com.databricks.backend.daemon.driver.JupyterKernelListener BackgroundPollTask.start美元(JupyterKernelListener.scala: 174)

在com.databricks.backend.daemon.driver.JupyterKernelListener。< init > (JupyterKernelListener.scala: 340)

在com.databricks.backend.daemon.driver.JupyterDriverLocal。anonfun startPython美元1美元(JupyterDriverLocal.scala: 708)

在scala.runtime.java8.JFunction0專門sp.apply美元(美元JFunction0 mcV $ sp.java: 23)

在美元scala.util.Try蘋果(Try.scala: 213)

在com.databricks.backend.daemon.driver.JupyterDriverLocal.com磚後台守護進程驅動美元美元JupyterDriverLocal withRetry美元美元(JupyterDriverLocal.scala: 663)

com.databricks.backend.daemon.driver.JupyterDriverLocal.startPython (JupyterDriverLocal.scala: 680)

在com.databricks.backend.daemon.driver.JupyterDriverLocal。< init > (JupyterDriverLocal.scala: 403)

com.databricks.backend.daemon.driver.PythonDriverWrapper.instantiateDriver (DriverWrapper.scala: 781)

com.databricks.backend.daemon.driver.DriverWrapper.setupRepl (DriverWrapper.scala: 350)

com.databricks.backend.daemon.driver.DriverWrapper.run (DriverWrapper.scala: 246)

java.lang.Thread.run (Thread.java: 750)

2回答2

jose_gonzalez
主持人
主持人

請檢查司機的日誌,例如log4j和GC日誌

JKR
新的貢獻者三世

我@Jose岡薩雷斯在哪裏可以找到GC日誌?我專門找log4j和GC日誌?

我想知道為什麼我的司機工作時消耗那麼多的RAM資源執行它必須釋放內存,讓其他工作使用,內存。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map