Apache火花UI並不是與工作同步

火花的狀態工作時不同步,火花UI事件從事件隊列之前被處理。

寫的chetan.kardekar

去年發表在:2023年2月27日

問題

激發工作的狀態不正確引發UI中顯示(AWS|Azure|GCP)。有些工作是確認在完成狀態顯示為主動/運行在UI的火花。在某些情況下,火花UI可能出現空白。

當你回顧司機日誌,你看到一個AsyncEventQueue警告。

日誌= = = = = 20/12/23 21:20:26警告AsyncEventQueue:下降93909事件從共享自2020年12月23日21:19:26 UTC結婚。20/12/23 21:21:26警告AsyncEventQueue:下降52354事件從共享自2020年12月23日21:20:26 UTC結婚。20/12/23 21:22:26警告AsyncEventQueue:下降94137事件從共享自2020年12月23日21:21:26 UTC結婚。20/12/23 21:23:26警告AsyncEventQueue:下降44245事件從共享自2020年12月23日21:22:26 UTC結婚。20/12/23 21:24:26警告AsyncEventQueue:下降126763事件從共享自2020年12月23日21:23:26 UTC結婚。20/12/23 21:25:26警告AsyncEventQueue:下降94156事件從共享自2020年12月23日21:24:26 UTC結婚。
刪除

信息

這是相關的Apache火花UI顯示錯誤的就業人數KB文章。

導致

  • 所有火花工作階段,任務推到事件隊列。
  • 後端偵聽器從這個隊列中讀取火花UI事件,並呈現UI的火花。
  • 默認的事件隊列的容量(spark.scheduler.listenerbus.eventqueue.capacity)是20000。

如果更多的事件被推到事件隊列的後端偵聽器可以使用最古老的事件得到了從隊列中,偵聽器不會消耗。

這些事件是輸了,不要在火花中呈現UI。

解決方案

設定的值spark.scheduler.listenerbus.eventqueue.capacity在集群的火花配置(AWS|Azure|GCP)集群級別值大於20000。

這個值設置應用程序的能力狀態事件隊列,該基金持有事件內部應用程序狀態的聽眾。增加這個值允許事件隊列持有更多的事件,但可能會導致司機使用更多的內存。

這篇文章有用嗎?