問題

用戶的共享訪問模式集群體驗間歇HTTP 500錯誤當試圖查看任務日誌在Apache火花UI。這也適用於管理員。

ErrorCaused: . lang。例外:禁用日誌查看在這個集群org.apache.spark.deploy.worker.ui.LogPage.render (LogPage.scala: 65) org.apache.spark.ui.WebUI anonfun 3.美元美元申請(WebUI.scala: 100) org.apache.spark.ui.WebUI anonfun 3.美元美元申請(WebUI.scala: 100) org.apache.spark.ui.JettyUtils不久美元3.美元doget (JettyUtils.scala: 90) javax.servlet.http.HttpServlet.service (HttpServlet.java: 687) javax.servlet.http.HttpServlet.service (HttpServlet.java: 790) org.eclipse.jetty.servlet.ServletHolder.handle (ServletHolder.java: 848) org.eclipse.jetty.servlet.ServletHandler.doHandle (ServletHandler.java: 584) org.eclipse.jetty.server.handler.ContextHandler.doHandle (ContextHandler.java: 1180) org.eclipse.jetty.servlet.ServletHandler.doScope (ServletHandler.java: 512) org.eclipse.jetty.server.handler.ContextHandler.doScope (ContextHandler.java: 1112) org.eclipse.jetty.server.handler.ScopedHandler.handle (ScopedHandler.java: 141) org.eclipse.jetty.server.handler.gzip.GzipHandler.handle (GzipHandler.java: 493) org.eclipse.jetty.server.handler.ContextHandlerCollection.handle (ContextHandlerCollection.java: 213) org.eclipse.jetty.server.handler.HandlerWrapper.handle (HandlerWrapper.java: 134) org.eclipse.jetty.server.Server.handle (Server.java: 534) org.eclipse.jetty.server.HttpChannel.handle (HttpChannel.java: 320) org.eclipse.jetty.server.HttpConnection.onFillable (HttpConnection.java: 251)

導致

這個特定的例外是控製的spark.databricks.ui.logViewingEnabled引發的財產。當這個值設置假、日誌查看是禁用的。當火花日誌查看是禁用的集群,火花UI生成一個錯誤當你試圖查看日誌。

的spark.databricks.ui.logViewingEnabled屬性默認為真正的(如,然而有時其他配置spark.databricks.acl.dfAclsEnabled)可以改變它的值和設置假。

解決方案

集spark.databricks.ui.logViewingEnabled來真正的在集群的火花配置(AWS|Azure|GCP)。

spark.databricks.ui.logViewingEnabled真正的

這恢複默認配置,以防意外覆蓋。