问题你想选择一个特定的砖的运行时版本的使用与三角洲住表(DLT)管道,但你不能找到一个选项在UI或API。直接导致三角洲住表不允许您配置数据砖运行时版本。三角洲生活表集群上运行一个定制版本的砖运行时t…

问题你想使用砖连接运行您的代码(AWS | Azure | GCP)当你得到一个sparkSession零错误消息。. lang。AssertionError:断言失败:sparkSession零而试图executeCollectResult scala.Predef . assert (Predef.scala: 170)美元org.apache.spark.sql.execution.SparkPlan.executeCollectResult (…

问题你使用收集()三角洲生活表(DLT)管道代码,你得到一个错误。当你回顾堆栈跟踪,你看到一个DataFrame。收集错误,函数是很快就会被弃用。“消息”:“笔记本:/道路/ /你/笔记本使用的DataFrame。收集的函数,它很快就会被弃用。请修复notebo…

问题编写红移表时,如果目标表列比源Apache火花DataFrame你可能得到一个复制错误。复制失败与错误(亚马逊):(亚马逊红移)(1203)错误发生在试图执行一个查询:错误:加载到表的表名失败了。检查“stl_load_errors”系统表的详细信息。“12…

问题你是监测流工作,注意,它似乎被困在处理数据。检查日志时,发现工作卡住当写入数据到一个检查站。信息HDFSBackedStateStoreProvider:删除文件对于381160岁以上的HDFSStateStoreProvider [id = (op = 0 = 89), dir = dbfs: / FileStore R_CHECKPOINT5 /圣……

问题表你想放弃或改变当你得到一个错误。错误的SQL语句:IOException: Bucket_name…不存在你可以复制错误删除表或ALTER TABLE命令。% sql DROP TABLE < database-name.table-name >;% sql ALTER TABLE <数据库名称。表名称>设置位置“<文件系统的位置>”;…

本文信息适用于砖运行时9.1 LTS及以上。问题你是对你的英语教学使用自动加载程序来摄取数据管道,当你得到一个IllegalArgumentException:请提供源目录路径和选择“路径”的错误消息。你得到这个错误当你开始一个汽车装载机工作,如果路径数据或数据……

δ表比传统的表有什么不同。三角洲表包括ACID事务和时间旅行的特性,这意味着他们维护事务日志和陈旧的数据文件。这些附加功能需要存储空间。在本文中,我们讨论的建议可以帮助你管理三角洲表的大小。使文件系统已经……

问题是工作的集群上运行一个笔记本,你得到一个错误消息,表明输出太大。笔记本太大的输出。原因:rpc响应(20975548字节)超过20971520字节的限制导致这个错误消息可能发生在集群工作只要笔记本输出大于20 MB。如果你是你…

问题你使用显示数据库命令,它返回一个意想不到的列名。导致返回的列名称显示数据库命令改变砖7.0运行时。砖6.4运行时扩展支持下面:显示数据库返回名称空间作为列名称。砖运行时7.0及以上:显示数据库返回dat……

问题要拼花文件转换为三角洲湖文件。包含镶花的目录文件包含一个或更多的子目录。转换失败,错误信息:预计0分区列(s):[],但发现1分区列(s): [< column_name >]从解析文件名称:< path_to_the_file_location >…