问题

您正在尝试阅读a/udit日志并获取解析例外:发现重复列报错

spark.read.format("json").load("dbfs://mnt/logs/
          
           日期=2021-12-07
           
            '
           
          

因果

从2021年11月至2021年12月,用重复案例敏感参数名发布有限数DatabricksSQL审计日志可破解体系推理并产生错误 当您试图读取此时生成的审计日志时

下参数名复制

正确名称QQQ复用############dashbod#####

求解

创建新集群读修复审计日志文件

转箱敏感度,以便编程推理可适当加载数据

%scala    spark.conf.set("spark.sql.caseSensitive", true)  spark.read.format("json").load("dbfs://mnt/logs/pathToMyLogs/date=2021-12-07").write...spark.conf.set("spark.sql.caseSensitive", false)

日志处理后关机敏感