2022年5月10日更新由macan.

比较Delta表双版

三角洲湖支持时间旅行,允许查询三角洲表老相片常用实例之一是比较Delta表的两种版本,以便识别哪些变换更多时间旅行细节请审查三角湖时间旅行文件识别所有差分SQL SELEC

0分钟阅读时间
2022年11月7日更新由macan.

作业失败执行器LostFaillure因“内存缺失”错误

问题作业故障执行器LostFaille报错执行者失效消息(执行者 < 1>退出运行任务之一)推理 :执行者心跳超时泛型报错消息

2分钟阅读时间
2022年11月7日更新由macan.

作业失败执行者LostFailure

问题作业故障执行器LostFaille报错执行者失效消息(执行者 < 1>退出运行任务之一)推理 :执行者心跳超时泛型报错消息

分钟阅读时间
2022年5月26日更新由macan.

获取并设置笔记本内Apachespark配置属性

在大多数情况下,你设置聚类级Spark配置可能时需要检查(或设置)笔记本中特定spark配置属性值文章显示如何用笔记本显示spark配置属性当前值并教你怎么设置新v

0分钟阅读时间
2022年5月23日更新由macan.

查找表大小

文章解释查找表大小命令使用取决于你是否试图查找三角洲表或非三角洲表的大小三角洲表大小查找三角洲表大小,可使用ApachesparkSQL命令scala导入com.sql.tradection.toe.

0分钟阅读时间
2023年2月3日更新由macan.

VACUM三角湖最佳做法

为什么要使用VACUM三角湖VACUM用于清理占用不必要的存储空间的闲置老化数据文件删除这些文件可帮助降低存储成本 。 当运行 VACUUM三角洲表时,它从底层文件系统删除下列文件 : 由Delta Lake删除系统维护的任何数据文件

5分钟阅读时间
2022年5月19日更新由macan.

读Stream()运行查询时非白列错误

问题表访问控件 AWS+Azure+GCP您正尝试运行结构流查询并获取错误消息py4j.security.Py4JSecurityException: Method public org.apache.spark.sql.streaming.DataStreamReader org.apache.spark.sql.SQLContext.readStream() is not whitelisted on class class org.apache.s...

0分钟阅读时间
2022年5月10日更新由macan.

Z排序无效,不收集统计

问题你正试图通过Z顺序优化三角洲表并接收不为列收集数据错误Exceptive:Z-Ordering on[col1,col2]无效,因为我们目前不收集这些列的数据信息查询多维聚类

0分钟阅读时间
2022年5月23日更新由macan.

间联NullPooterExcept

问题你存取数据时间歇性NullPooter异常错误Py4JavaError:调用O2892.save时出错: java.lang.NullPointerException     at org.apache.spark.sql.execution.adaptive.OptimizeSkewedJoin.$anonfun$getMapSizesForReduceId$1(OptimizeSkewedJoin.scala:167)     at org.apache.spark.sql.execution.adaptive....

0分钟阅读时间
2022年5月16日更新由macan.

Conda不下载Anaconda包

问题你正试图从 Anaconda仓库下载包并获取包NotFoundError报错使用%conda或%shconda笔记本和Init脚本使用conda时可能发生此错误因果Anaconda公司更新服务条件 repo.anaconda.com和aconda.org/anaconda基于Anaconda

0分钟阅读时间
2022年5月10日更新由macan.

优化三角洲水槽结构流应用

三角洲表用于结构流应用并优化三角洲表以便查询速度更快结构流应用区间极常触发, 可能无法创建足够文件,自定义运算

0分钟阅读时间
2023年2月3日更新由macan.

ObjectimIZE仅支持三角洲湖表误差

问题ObjectimIZE三角洲表并获取报错消息表示它只在三角洲表支持错误:' . ' '不是三角洲表OptimZE仅支持Delta表目标表存储位置修改和表重造

0分钟阅读时间
2022年5月23日更新由macan.

使用模式匹配选择文件

选择文件时常用的要求是只读文件夹中的具体文件例例,如果处理日志,你可能想读出特定月份的文件免列文件或文件夹查找期望文件,可使用Glob模式匹配多个文件单表达式文章使用examp

分钟阅读时间
加载更多