更新後的2022年5月19日,由阿施施
流工作使用動作連接失敗
問題你有流工作寫入動作水槽,並沒有與內存不足錯誤消息。. lang。OutOfMemoryError: GC開銷限製超過. lang。OutOfMemoryError: Java堆空間。症狀包括:Ganglia顯示逐步增加JVM內存使用。Microbatch分析顯示輸入和處理速率consisten……
0分鍾的閱讀時間
2023年3月3日更新,阿施施
工作與NoSuchElementException失敗錯誤
問題你得到間歇工作失敗NoSuchElementException錯誤。堆棧跟蹤Py4JJavaError例子:調用o2843.count時發生一個錯誤。:org.apache.spark。SparkException:工作階段失敗而終止:任務17階段868.0失敗了4次,最近的失敗:在舞台上失去了任務17.3 868.0 (TID 3065) (10.249.38.86……
0分鍾的閱讀時間
更新5月11日,2022年由阿施施
Apache火花UI顯示錯誤的就業人數
問題你是審查活動Apache火花工作一個集群的數量在火花UI,但太高,數量是準確的。如果你重新啟動集群,喬布斯火花UI中顯示的數量是正確的,但隨著時間的推移,它變得異常高。引起火花UI並不總是準確的為大,或長時間運行,集群由於……
0分鍾的閱讀時間
更新5月11日,2022年由阿施施
流工作性能退化
問題你有流的工作有其性能降低。你開始一個新的流媒體工作相同的配置和相同的源,其性能優於現有的工作。原因與舊的檢查點可以導致性能下降問題長期運行流工作。這可能發生,如果工作是間歇性哈…
0分鍾的閱讀時間
更新後的2022年5月19日,由阿施施
衝突的目錄結構錯誤
問題一個Apache火花工作沒有與Java . lang斷言錯誤。AssertionError:斷言失敗:檢測到衝突的目錄結構。堆棧跟蹤造成的例子:org.apache.spark.sql.streaming。StreamingQueryException:有一個錯誤當試圖推斷出當前批文件的分區模式。請求……
1分鍾的閱讀時間
更新後的2022年5月19日,由阿施施
工作開始前仍然閑置
問題一個Apache火花工作正確觸發,但仍然閑置很長一段時間之前開始。你有火花的工作,跑一段時間,但閑置很長一段時間恢複。症狀包括:集群縮減規模在空閑時間工作節點的最小數量。司機日誌不表現出任何火花工作在idl中……
0分鍾的閱讀時間
2023年3月3日更新,阿施施
工作與IndexOutOfBoundsException和ArrowBuf錯誤失敗
問題你得到間歇工作失敗. lang。IndexOutOfBoundsException和ArrowBuf錯誤。堆棧跟蹤Py4JJavaError例子:調用o617.count時發生一個錯誤。:org.apache.spark。SparkException:工作階段失敗而終止:任務0階段7.0失敗了4次,最近的失敗:在舞台上失去了任務0.3 7.0 (TID 2…
2分鍾的閱讀時間
加載更多