命令了嗎?

[DejanSunderic]

我創建了一些ETL在python中使用DataFrames。它用於運行180秒。但它不是~ 1200秒。我一直在改變,所以它可能是我介紹的東西,或者環境中。

過程的一部分是S3附加結果到一個文件中。

我一看Apache的工作,我不能看到任何他們是活躍的。

當我在寫這篇文章,我得到了:org.apache.spark。SparkException:工作中止。

命令了1274.63秒,(電子郵件保護)

下午在8/4/2016 12:44:17 def4 (150 GB)

我有附加的輸出:

command-output.txt

我認為我應該能夠看到火花UI中活躍。我很驚訝,活動任務執行人是0。我應該看一些其他的嗎?

我試著重新啟動集群,但是同樣的之前和之後。我使用相同的火花1.6.2版本(Hadoop 2)。

[amanpreetkaur]

這個問題解決了嗎?我也收到同樣的問題在我的火花集群。

[NickStudenski]

我有一個類似的問題。每周幾次我經曆非常緩慢(5分鍾+)細胞上的“運行”命令應該執行子1秒。通常解決問題重新啟動集群,但還是一個主要的不便。

[datadro]

檢查GC(垃圾收集)錯誤在標準的集群。

//m.eheci.com/blog/2015/05/28/tuning-java-garbage-collection-for-spark-applications.html

[NickStudenski]

我得到同樣的問題。偶爾一個單元將顯示“運行命令”,隻要一個小時。這可能發生即使是簡單的命令,通常運行在不到一秒鍾的時間。我有嚐試重新啟動集群,附加到不同的集群。似乎沒有什麼幫助。

[sandeep8530]

你好,

麵臨同樣的問題。有人發現解決方案嗎?