问题

您的Apache火花工作时处理一个三角洲表工作失败,并显示一条错误消息。

org.apache.spark.sql。AnalysisException:发现重复的列(s)的元数据更新:col1, col2……

导致

三角洲表中有重复的列名。列名只有通过不同情况下被认为是重复的。

三角洲湖是保留,但不分大小写,当存储模式。

拼花是大小写敏感的,当存储和返回列信息。

火花可以区分大小写,但默认情况下不敏感。

为了避免潜在的数据损坏或数据丢失,不允许重复的列名。

解决方案

三角洲表必须不包含重复的列名。

确保所有列名是独一无二的。