如何覆盖databricks集群的log4j配置

学习如何覆盖databricks集群的log4j配置

写由亚当巴夫拉卡

2022年12月8日
删除

警告

文章描述Databricks集群内客户使用Log4j1.x相关步骤Log4j1.x不再维护并有三个已知CVECVE-2021-4104,CVE-2020-9488CVE2019-1757)代码使用受影响类之一(JMSAppender或SocketServer)时,使用可能受这些漏洞影响集群中不应用这两个类中任何一个

无标准覆盖方式slog4j集群自定义配置使用 init脚本覆盖配置文件

当前配置分二存log4j.properties文件 :

  • 驱动程序上 :
    scat/home/ubuntu/databricks/spark/dbconf/log4j/driver/log4j.
  • 关于工人
    scat/home/ubuntu/databricks/spark/dbconf/log4j/

设置逐类记录驱动程序或工时使用下列脚本:

s#!/bin/bash回波驱动执行 $DB_IS_DriverLOG4J_PATH='/home/uuntu/dbricks/dbconf/log4j/driver/log4j.
          
           =
           
            ${log4J_PATH}
           
          

替换 带属性名 带属性值

上传脚本到DBFS并使用集群配置UI选择集群

也可以设置log4j.properties驱动程序以同样方式实现

见集群节点初始脚本AWS系统|休眠|GCP获取更多信息

文章有帮助吗