问题

用户的共享访问模式集群体验间歇HTTP 500错误当试图查看任务日志在Apache火花UI。这也适用于管理员。

ErrorCaused: . lang。例外:禁用日志查看在这个集群org.apache.spark.deploy.worker.ui.LogPage.render (LogPage.scala: 65) org.apache.spark.ui.WebUI anonfun 3.美元美元申请(WebUI.scala: 100) org.apache.spark.ui.WebUI anonfun 3.美元美元申请(WebUI.scala: 100) org.apache.spark.ui.JettyUtils不久美元3.美元doget (JettyUtils.scala: 90) javax.servlet.http.HttpServlet.service (HttpServlet.java: 687) javax.servlet.http.HttpServlet.service (HttpServlet.java: 790) org.eclipse.jetty.servlet.ServletHolder.handle (ServletHolder.java: 848) org.eclipse.jetty.servlet.ServletHandler.doHandle (ServletHandler.java: 584) org.eclipse.jetty.server.handler.ContextHandler.doHandle (ContextHandler.java: 1180) org.eclipse.jetty.servlet.ServletHandler.doScope (ServletHandler.java: 512) org.eclipse.jetty.server.handler.ContextHandler.doScope (ContextHandler.java: 1112) org.eclipse.jetty.server.handler.ScopedHandler.handle (ScopedHandler.java: 141) org.eclipse.jetty.server.handler.gzip.GzipHandler.handle (GzipHandler.java: 493) org.eclipse.jetty.server.handler.ContextHandlerCollection.handle (ContextHandlerCollection.java: 213) org.eclipse.jetty.server.handler.HandlerWrapper.handle (HandlerWrapper.java: 134) org.eclipse.jetty.server.Server.handle (Server.java: 534) org.eclipse.jetty.server.HttpChannel.handle (HttpChannel.java: 320) org.eclipse.jetty.server.HttpConnection.onFillable (HttpConnection.java: 251)

导致

这个特定的例外是控制的spark.databricks.ui.logViewingEnabled引发的财产。当这个值设置假、日志查看是禁用的。当火花日志查看是禁用的集群,火花UI生成一个错误当你试图查看日志。

的spark.databricks.ui.logViewingEnabled属性默认为真正的(如,然而有时其他配置spark.databricks.acl.dfAclsEnabled)可以改变它的值和设置假。

解决方案

集spark.databricks.ui.logViewingEnabled来真正的在集群的火花配置(AWS|Azure|GCP)。

spark.databricks.ui.logViewingEnabled真正的

这恢复默认配置,以防意外覆盖。