数据键连接作业失败

最新版数据bricks连通匹配Databricks运行时间版避免报错

写由拉杰夫康南Thangai

2023年7月27日

问题

遗留数据键连通作业开始故障java.lang.ClassCastException报错消息错误不与任何特定命令相关联,但似乎会影响多项Databricks连接命令或作业

Caused by: java.lang.ClassCastException: cannot assign instance of org.apache.spark.sql.catalyst.trees.TreePattern$ to field org.apache.spark.sql.catalyst.trees.TreePattern$.WITH_WINDOW_DEFINITION of type scala.Enumeration$Value in instance of org.apache.spark.sql.catalyst.trees.TreePattern$at java.io.ObjectStreamClass$FieldReflector.setObjFieldValues(ObjectStreamClass.java:2301)

因果

集群运行最新维护发布选择Databricks运行时间,但你没有更新数据bricks连接版

Databricks连通需要客户版匹配Databricks运行时间版

数据bricks连通客户端版本与数据bricks运行时间版不匹配时,可获取报错消息

求解

Databricks连接包必须与对应Databricks运行时发布同步

复习数据键连接发布注解高山市AWS系统|休眠|GCP确定正确版本使用

文章有帮助吗