砖运行时的维护更新

砖13.2运行时

看到砖13.2运行时。

• 2023年7月24日,

  • (火花- 41848)(核心)固定任务在进度问题TaskResourceProfile。

  • (火花- 44337)(PROTOBUF)固定在任何字段设置为一个问题Any.getDefaultInstance导致解析错误。

  • (火花- 44136)[SS]固定的一个问题StateManager会物化的执行者而不是司机FlatMapGroupsWithStateExec。

  • 操作系统安全更新。

砖13.1运行时

看到砖13.1运行时。

• 2023年7月24日,

  • 恢复”(火花- 42323)[SQL]命名_LEGACY_ERROR_TEMP_2332。

  • (火花- 41848)(核心)固定任务在进度问题TaskResourceProfile。

  • (火花- 44136)[SS]固定的一个问题StateManager会物化的执行者而不是司机FlatMapGroupsWithStateExec。

  • (火花- 44337)(PROTOBUF)固定在任何字段设置为一个问题Any.getDefaultInstance导致解析错误。

  • 操作系统安全更新。

• 2023年6月27日

  • 操作系统安全更新。

• 2023年6月15日

  • Photonizedapprox_count_distinct。

  • JSON解析器在failOnUnknownFields现在滴记录方式DROPMALFORMED模式和直接失败FAILFAST模式。

  • Snowflake-jdbc库升级3.13.29解决安全问题。

  • PubSubRecord属性字段存储为JSON而不是字符串形式的Scala地图以便于序列化和反序列化。

  • 的解释扩展现在命令返回结果缓存查询的资格。

  • 提高增量更新的性能浅克隆冰山和拼花。

  • (火花- 43032)[SS][连接]Python平方米bug修复。

  • (火花- 43404)(补丁)跳过重用sst文件RocksDB相同版本的状态存储,以避免ID不匹配错误。

  • (火花- 43340)(核心)处理丢失的堆栈跟踪在事件日志。

  • (火花- 43527)(PYTHON)固定catalog.listCatalogs在PySpark。

  • (火花- 43541)[SQL]传播项目标签解析表达式和失踪的列。

  • (火花- 43300)(核心)NonFateSharingCache包装为番石榴缓存。

  • (火花- 43378)(核心)正确关闭流对象deserializeFromChunkedBuffer。

  • (火花- 42852)[SQL]恢复NamedLambdaVariable相关的变化EquivalentExpressions。

  • (火花- 43779)[SQL]ParseToDate现在加载EvalMode在主线程。

  • (火花- 43413)[SQL]修复在子查询ListQuerynullability。

  • (火花- 43889)(PYTHON)(补丁)添加检查列名称__dir__ ()过滤掉容易出错的列名。

  • (火花- 43043)(核心)的性能改善MapOutputTracker.updateMapOutput

  • (火花- 43522)[SQL]固定创建struct列名与索引的数组。

  • (火花- 43457)【连接】(PYTHON) Augument用户代理与操作系统,PYTHON和火花的版本。

  • (火花- 43286)[SQL]更新aes_encryptCBC模式生成随机的静脉注射。

  • (火花- 42851)[SQL]警卫EquivalentExpressions.addExpr ()与supportedExpression ()。

  • 恢复”(火花- 43183)[SS]引入一个新的回调onQueryIdle来StreamingQueryListener。

  • 操作系统安全更新。

砖13.0运行时

看到砖13.0运行时。

• 2023年7月24日,

  • (火花- 44337)(PROTOBUF)固定在任何字段设置为一个问题Any.getDefaultInstance导致解析错误。

  • (火花- 44136)[SS]固定的一个问题StateManager会物化的执行者而不是司机FlatMapGroupsWithStateExec。

  • 恢复”(火花- 42323)[SQL]命名_LEGACY_ERROR_TEMP_2332。

  • 操作系统安全更新。

• 2023年6月23日

  • 操作系统安全更新。

• 2023年6月15日

  • Photonizedapprox_count_distinct。

  • Snowflake-jdbc库升级3.13.29解决安全问题。

  • (火花- 43156)(火花- 43098)[SQL]扩展标量子查询统计错误测试decorrelateInnerQuery禁用

  • (火花- 43779)[SQL]ParseToDate现在加载EvalMode在主线程。

  • (火花- 42937)[SQL]PlanSubqueries应该设定InSubqueryExec # shouldBroadcast为真

  • 操作系统安全更新。

• 2023年6月2日

  • 的JSON解析器failOnUnknownFields模式中的记录下降DROPMALFORMED模式和直接失败FAILFAST模式。

  • 提高增量更新的性能浅克隆冰山和拼花。

  • 修正了在自动加载程序,不同的源文件格式不一致,所提供的模式不包括推断分区。这个问题可能会导致意想不到的失败当阅读文件缺失列推断分区模式。

  • (火花- 43404)(补丁)跳过重用sst文件RocksDB相同版本的状态存储,以避免ID不匹配错误。

  • (火花- 43340)(核心)固定失踪堆栈跟踪事件日志。

  • (火花- 43300)(核心)NonFateSharingCache包装为番石榴缓存。

  • (火花- 43378)(核心)正确关闭流对象deserializeFromChunkedBuffer。

  • (火花- 16484)[SQL]为代表DataSketches使用8位寄存器。

  • (火花- 43522)[SQL]固定创建struct列名与索引的数组。

  • [11.3 - -13.0][[火花- 43413]]https://issues.apache.org/jira/browse/spark - 43413)[SQL]固定的在子查询ListQuerynullability。

  • (火花- 43043)(核心)改进MapOutputTracker.updateMapOutput的性能。

  • (火花- 16484)[SQL]添加支持DataSketches HllSketch。

  • (火花- 43123)[SQL]内部字段元数据目录不再泄漏。

  • (火花- 42851)[SQL]警卫EquivalentExpressions.addExpr ()与supportedExpression ()。

  • (火花- 43336)[SQL]之间的铸造时间戳和TimestampNTZ需要时区。

  • (火花- 43286)[SQL]更新aes_encryptCBC模式生成随机的静脉注射。

  • (火花- 42852)[SQL]恢复NamedLambdaVariable相关的变化EquivalentExpressions。

  • (火花- 43541)[SQL]传播项目标签解析表达式和失踪的列. .

  • (火花- 43527)(PYTHON)固定catalog.listCatalogs在PySpark。

  • 操作系统安全更新。

• 2023年5月31日

  • 默认优化编写支持δ在统一目录已经扩大到包括注册表商品交易顾问基金语句和插入分区表的操作。这种行为将违约SQL仓库。看到优化为三角洲湖砖。

• 2023年5月17日

  • 固定一个回归,_metadata.file_path和_metadata.file_name将返回不正确的格式化字符串。例如,现在与空间是被表示成一个路径s3: / /测试记录/一些% 20目录/ % 20 data.csv而不是s3: / /测试记录/一些目录/一些data.csv。

  • 拼花扫描现在强大的反对OOMs当扫描异常结构化文件通过动态调整批量大小。文件元数据分析再预先降低批量大小,降低任务重试最后安全网。

  • • 如果一个Avro文件仅仅是阅读failOnUnknownFields \选择或与自动加载程序failOnNewColumns \模式演化模式,具有不同数据类型的列会读空\而不是抛出错误说明文件无法读取。现在这些读取失败,建议用户使用rescuedDataColumn \选择。

  • 自动加载程序现在做以下。

  • • 不再正确读取和救助整数,短,字节类型提供的这些数据类型是如果一个人,但Avro文件显示其他两种类型之一。

  • • 防止阅读区间类型日期或时间戳类型避免腐败的日期。

  • • 防止阅读小数类型精度较低。

  • (火花- 43172)(连接)公开从火花连接客户端主机和令牌。

  • (火花- 43293)[SQL]__qualified_access_only被忽略在正常列。

  • (火花- 43098)[SQL]固定的正确性数错误当标量子查询分组by子句。

  • (火花- 43085)[SQL]支持列默认的作业多部分表的名字。

  • (火花- 43190)[SQL]ListQuery.childOutput现在是符合二次输出。

  • (火花- 43192)(连接)删除用户代理字符集验证。

• 2023年4月25日

  • 你可以修改一个表添加支持δδ表功能使用DeltaTable.addFeatureSupport (feature_name)。

  • 的同步命令现在支持遗留数据源格式。

  • 固定一臭虫,其使用Python格式化程序之前运行其他命令在Python笔记本可能导致笔记本路径失踪sys.path。

  • 砖现在支持指定列的默认值δ表。插入,更新,删除,合并命令可以使用显式引用列的默认值默认的关键字。为插入命令与显式列少于目标表的列表,对应列的默认值代替(或剩余的列零如果没有指定默认的)。

• 修复一个缺陷,网络终端不能用于访问文件/工作空间对于一些用户。

  • 如果一个拼花文件仅仅是阅读failOnUnknownFields选择或与自动加载程序failOnNewColumns模式演化模式中,列有不同的数据类型将被解读为零而不是抛出错误说明文件无法读取。现在这些读取失败,建议用户使用rescuedDataColumn选择。

  • 不再自动加载程序现在正确地读取和救助整数,短,字节如果提供的这些数据类型是一个类型。镶木地板文件显示其他两种类型。获救的数据列之前启用时,数据类型不匹配会导致列被救出即使他们是可读的。

  • 固定一臭虫,其自动加载程序模式演化可以进入一个无限循环失败,当检测到一个新列在一个嵌套的JSON对象的模式。

  • (火花- 42794)[SS]增加lockAcquireTimeoutMs 2分钟获取RocksDB状态存储结构流。

  • (火花- 39221)[SQL]让节俭敏感信息被正确编辑服务器工作/阶段选项卡。

  • (火花- 42971)(核心)改变打印workdir如果appDirs为空时工人处理WorkDirCleanup事件。

  • (主)[[火花- 42936]]https://issues.apache.org/jira/browse/spark - 42936)[SQL]修复LCA错误当在子句可以直接解决的孩子总。

  • (火花- 43018)[SQL]修复bug插入命令与时间戳文字。

  • 恢复”(火花- 42754)[SQL] [UI]修复向后兼容性问题在嵌套SQL运行。”

  • 恢复”(火花- 41498)元数据传播通过联盟。”

  • (火花- 43038)[SQL] CBC模式的支持aes_encrypt ()/aes_decrypt ()。

  • (火花- 42928)[SQL]使resolvePersistentFunction同步。

  • (火花- 42521)[SQL]添加零值插入与指定的列少于目标表的列表。

  • (火花- 41391)[SQL]输出列的名称groupBy.agg (count_distinct)是不正确的。

  • (火花- 42548)[SQL]添加ReferenceAllColumns跳过重写属性。

  • (火花- 42423)[SQL]添加元数据列文件块开始和长度。

  • (火花- 42796)[SQL]支持访问TimestampNTZ列CachedBatch。

  • (火花- 42266)(PYTHON)去除外壳的父目录。py运行IPython时使用。

  • (火花- 43011)[SQL]array_insert失败为0的索引。

  • (火花- 41874)【连接】(PYTHON)的支持SameSemantics在引发连接。

  • (火花- 42702)(火花- 42623)[SQL]支持参数化查询子查询和CTE。

  • (火花- 42967)(核心)修复SparkListenerTaskStart.stageAttemptId当一个任务是开始阶段后取消。

  • 操作系统安全更新。

砖12.2运行时

看到砖运行时12.2 LTS。

• 2023年7月24日,

  • (火花- 44337)(PROTOBUF)固定在任何字段设置为一个问题Any.getDefaultInstance导致解析错误。

  • (火花- 44136)[SS]固定的一个问题StateManager会物化的执行者而不是司机FlatMapGroupsWithStateExec。

  • 操作系统安全更新。

• 2023年6月23日

  • 操作系统安全更新。

• 2023年6月15日

  • Photonizedapprox_count_distinct。

  • Snowflake-jdbc库升级3.13.29解决安全问题。

  • (火花- 43779)[SQL]ParseToDate现在加载EvalMode在主线程。

  • (火花- 43156)(火花- 43098)[SQL]扩展标量子查询统计错误测试decorrelateInnerQuery禁用

  • 操作系统安全更新。

• 2023年6月2日

  • 的JSON解析器failOnUnknownFields模式中的记录下降DROPMALFORMED模式和直接失败FAILFAST模式。

  • 提高增量更新的性能浅克隆冰山和拼花。

  • 修正了在自动加载程序,不同的源文件格式不一致,所提供的模式不包括推断分区。这个问题可能会导致意想不到的失败当阅读文件缺失列推断分区模式。

  • (火花- 43404)(补丁)跳过重用sst文件RocksDB相同版本的状态存储,以避免ID不匹配错误。

  • [11.3 - -13.0][[火花- 43413]]https://issues.apache.org/jira/browse/spark - 43413)[SQL]固定的在子查询ListQuerynullability。

  • (火花- 43522)[SQL]固定创建struct列名与索引的数组。

  • (火花- 43541)[SQL]传播项目标签解析表达式和失踪的列。

  • (火花- 43527)(PYTHON)固定catalog.listCatalogs在PySpark。

  • (火花- 43123)[SQL]内部字段元数据目录不再泄漏。

  • (火花- 43340)(核心)固定失踪堆栈跟踪事件日志。

  • (火花- 42444)(PYTHON)DataFrame.drop现在正确地处理重复的列。

  • (火花- 42937)[SQL]PlanSubqueries现在集InSubqueryExec # shouldBroadcast为true。

  • (火花- 43286)[SQL]更新aes_encryptCBC模式生成随机的静脉注射。

  • (火花- 43378)(核心)正确关闭流对象deserializeFromChunkedBuffer。

• 2023年5月17日

  • 拼花扫描现在强大的反对OOMs当扫描异常结构化文件通过动态调整批量大小。文件元数据分析再预先降低批量大小,降低任务重试最后安全网。

  • 如果一个Avro文件仅仅是阅读failOnUnknownFields \选择或与自动加载程序failOnNewColumns \模式演化模式,具有不同数据类型的列会读空\而不是抛出错误说明文件无法读取。现在这些读取失败,建议用户使用rescuedDataColumn \选择。

  • 自动加载程序现在做以下。

  • • 不再正确读取和救助整数,短,字节类型提供的这些数据类型是如果一个人,但Avro文件显示其他两种类型之一。

  • • 防止阅读区间类型日期或时间戳类型避免腐败的日期。

  • • 防止阅读小数类型精度较低。

  • (火花- 43172)(连接)公开从火花连接客户端主机和令牌。

  • (火花- 43293)[SQL]__qualified_access_only被忽略在正常列。

  • (火花- 43098)[SQL]固定的正确性数错误当标量子查询分组by子句。

  • (火花- 43085)[SQL]支持列默认的作业多部分表的名字。

  • (火花- 43190)[SQL]ListQuery.childOutput现在是符合二次输出。

  • (火花- 43192)(连接)删除用户代理字符集验证。

  • 操作系统安全更新。

• 2023年4月25日

  • 如果一个拼花文件仅仅是阅读failOnUnknownFields选择或与自动加载程序failOnNewColumns模式演化模式中,列有不同的数据类型将被解读为零而不是抛出错误说明文件无法读取。现在这些读取失败,建议用户使用rescuedDataColumn选择。

  • 不再自动加载程序现在正确地读取和救助整数,短,字节如果提供的这些数据类型是一个类型。镶木地板文件显示其他两种类型。获救的数据列之前启用时,数据类型不匹配会导致列被救出即使他们是可读的。

  • (火花- 43009)[SQL]参数化sql ()与任何常量

  • (火花- 42406)终止Protobuf递归删除字段字段

  • (火花- 43038)[SQL] CBC模式的支持aes_encrypt ()/aes_decrypt ()

  • (火花- 42971)(核心)改变打印workdir如果appDirs为空时工人处理WorkDirCleanup事件

  • (火花- 43018)[SQL]修复bug与时间戳文字插入命令

  • 操作系统安全更新。

• 2023年4月11日

  • 支持遗留数据源格式同步命令。

  • 修复一个缺陷在笔记本% autoreload行为以外的回购。

  • 固定一臭虫,其自动加载程序模式演化可以进入一个无限循环失败,当检测到一个新列在一个嵌套的JSON对象的模式。

  • (火花- 42928)[SQL]使resolvePersistentFunction同步。

  • (火花- 42936)[SQL]修复LCA错误时由其孩子总条款可以直接解决。

  • (火花- 42967)(核心)修复SparkListenerTaskStart.stageAttemptId当一个任务开始后阶段取消了。

  • 操作系统安全更新。

• 2023年3月29日

  • 砖SQL现在支持指定的列的默认值三角洲湖表,在表创建时或者之后。随后插入、更新、删除和合并之后命令可以指任何列的默认值使用显式的默认关键字。此外,如果任何插入作业有一个显式的列少于目标表列表,对应的列的默认值代替其余列(或零如果没有指定默认的)。

    例如:

    创建表t (INT,第二次约会默认当前日期())使用三角洲;\插入t值(0,默认);\插入t值(默认);\选择第一,第二从t; \ \ > 0, 2023-03-28 \ 2023 - 03 - 28 - z

  • 现在汽车装载机启动至少一个同步RocksDB日志清理Trigger.AvailableNow流,以确保快速的检查点可以定期清理自动加载程序流。这可能会导致一些流关闭之前需要更长的时间,但是可以节省存储成本,提高汽车装载机在未来的运行经验。

  • 您现在可以修改三角洲表添加支持表功能使用DeltaTable.addFeatureSupport (feature_name)。

  • (火花- 42794)[SS]增加lockAcquireTimeoutMs 2分钟获取RocksDB状态存储结构流

  • (火花- 42521)[SQL]添加null为插入指定的列少于目标表的列表

  • (火花- 42702)(火花- 42623)[SQL]支持参数化查询子查询和CTE

  • (火花- 42668)[SS]捕捉异常而试图关闭压缩流HDFSStateStoreProvider中止

  • (火花- 42403)(核心)JsonProtocol应该处理null JSON字符串

• 2023年3月8日,

  • 错误消息“失败初始化配置”已得到改进,为客户提供更多的上下文。

  • 有一个术语变化将特性添加到三角洲表使用该表属性。现在是首选的语法“delta.feature.featureName”=“支持”而不是“delta.feature.featureName”=“启用”。向后兼容,使用“delta.feature.featureName”=“启用”仍然工作,并将继续工作。

  • 从这个版本开始,可以创建/替换一个表和一个额外的表属性delta.ignoreProtocolDefaults忽视协议相关的配置,包括默认的读者和作家版本,以及默认表功能支持。

  • (火花- 42070)[SQL]改变掩模函数的参数的默认值从1到零

  • (火花- 41793)[SQL]不正确结果窗框上一系列条款定义的小数

  • (火花- 42484)[SQL] UnsafeRowUtils更好的错误消息

  • (火花- 42516)[SQL]总是抓住会话时区配置在创建视图

  • (火花- 42635)[SQL]修复TimestampAdd表达式。

  • (火花- 42622)(核心)禁用替换值

  • (火花- 42534)[SQL]修复DB2Dialect限制条款

  • (火花- 42121)[SQL]添加内置表值函数posexplode posexplode_outer json_tuple和堆栈

  • (火花- 42045)[SQL] ANSI SQL模式:圆/ Bround应该返回一个错误小/小/大整数溢出

  • 操作系统安全更新。

砖12.1运行时

看到砖运行时的12.1(不支持)。

• 2023年6月23日

  • 操作系统安全更新。

• 2023年6月15日

  • Photonizedapprox_count_distinct。

  • Snowflake-jdbc库升级3.13.29解决安全问题。

  • es - 627434](火花- 43779)[SQL]ParseToDate现在加载EvalMode在主线程。

  • (火花- 43156)(火花- 43098)[SQL]扩展标量子查询统计错误测试decorrelateInnerQuery禁用

  • 操作系统安全更新。

• 2023年6月2日

  • 的JSON解析器failOnUnknownFields模式中的记录下降DROPMALFORMED模式和直接失败FAILFAST模式。

  • 提高增量更新的性能浅克隆冰山和拼花。

  • 修正了在自动加载程序,不同的源文件格式不一致,所提供的模式不包括推断分区。这个问题可能会导致意想不到的失败当阅读文件缺失列推断分区模式。

  • (火花- 43404)(补丁)跳过重用sst文件RocksDB相同版本的状态存储,以避免ID不匹配错误。

  • [11.3 - -13.0][[火花- 43413]]https://issues.apache.org/jira/browse/spark - 43413)[SQL]固定的在子查询ListQuerynullability。

  • (火花- 43522)[SQL]固定创建struct列名与索引的数组。

  • (火花- 42444)(PYTHON)DataFrame.drop现在正确地处理重复的列。

  • (火花- 43541)[SQL]传播项目标签解析表达式和失踪的列. .

  • (火花- 43340)(核心)固定失踪堆栈跟踪事件日志。

  • (火花- 42937)[SQL]PlanSubqueries现在集InSubqueryExec # shouldBroadcast为true。

  • (火花- 43527)(PYTHON)固定catalog.listCatalogs在PySpark。

  • (火花- 43378)(核心)正确关闭流对象deserializeFromChunkedBuffer。

• 2023年5月17日

  • 拼花扫描现在强大的反对OOMs当扫描异常结构化文件通过动态调整批量大小。文件元数据分析再预先降低批量大小,降低任务重试最后安全网。

  • 如果一个Avro文件仅仅是阅读failOnUnknownFields \选择或与自动加载程序failOnNewColumns \模式演化模式,具有不同数据类型的列会读空\而不是抛出错误说明文件无法读取。现在这些读取失败,建议用户使用rescuedDataColumn \选择。

  • 自动加载程序现在做以下。

  • • 不再正确读取和救助整数,短,字节类型提供的这些数据类型是如果一个人,但Avro文件显示其他两种类型之一。

  • • 防止阅读区间类型日期或时间戳类型避免腐败的日期。

  • • 防止阅读小数类型精度较低。

  • (火花- 43098)[SQL]固定的正确性数错误当标量子查询分组by子句。

  • (火花- 43190)[SQL]ListQuery.childOutput现在是符合二次输出。

  • 操作系统安全更新。

• 2023年4月25日

  • 如果一个拼花文件仅仅是阅读failOnUnknownFields选择或与自动加载程序failOnNewColumns模式演化模式中,列有不同的数据类型将被解读为零而不是抛出错误说明文件无法读取。现在这些读取失败,建议用户使用rescuedDataColumn选择。

  • 不再自动加载程序现在正确地读取和救助整数,短,字节如果提供的这些数据类型是一个类型。镶木地板文件显示其他两种类型。获救的数据列之前启用时,数据类型不匹配会导致列被救出即使他们是可读的。

  • (火花- 43009)[SQL]参数化sql ()与任何常量。

  • (火花- 42971)(核心)改变打印workdir如果appDirs为空时工人处理WorkDirCleanup事件。

  • 操作系统安全更新。

• 2023年4月11日

  • 支持遗留数据源格式同步命令。

  • 修复一个缺陷在笔记本% autoreload行为以外的回购。

  • 固定一臭虫,其自动加载程序模式演化可以进入一个无限循环失败,当检测到一个新列在一个嵌套的JSON对象的模式。

  • (火花- 42928)[SQL]使resolvePersistentFunction同步。

  • (火花- 42967)(核心)修复SparkListenerTaskStart.stageAttemptId当一个任务开始后阶段取消了。

  • 操作系统安全更新。

• 2023年3月29日

  • 自动加载程序现在引发了至少一个同步RocksDB日志清理Trigger.AvailableNow流,以确保快速的检查点可以定期清理自动加载程序流。这可能会导致一些流关闭之前需要更长的时间,但是可以节省存储成本,提高汽车装载机在未来的运行经验。

  • 您现在可以修改三角洲表添加支持表功能使用DeltaTable.addFeatureSupport (feature_name)。

  • (火花- 42702)(火花- 42623)[SQL]支持参数化查询子查询和CTE

  • (火花- 41162)[SQL]解决反和semi-join自聚合

  • (火花- 42403)(核心)JsonProtocol应该处理null JSON字符串

  • (火花- 42668)[SS]捕捉异常而试图关闭压缩流HDFSStateStoreProvider中止

  • (火花- 42794)[SS]增加lockAcquireTimeoutMs 2分钟获取RocksDB状态存储结构流

• 2023年3月14日,

  • 有一个术语变化将特性添加到三角洲表使用该表属性。现在是首选的语法“delta.feature.featureName”=“支持”而不是“delta.feature.featureName”=“启用”。向后兼容,使用“delta.feature.featureName”=“启用”仍然工作,并将继续工作。

  • (火花- 42622)(核心)禁用替换值

  • (火花- 42534)[SQL]修复DB2Dialect限制条款

  • (火花- 42635)[SQL]修复TimestampAdd表达式。

  • (火花- 42516)[SQL]总是抓住会话时区配置在创建视图

  • (火花- 42484)[SQL] UnsafeRowUtils更好的错误消息

  • (火花- 41793)[SQL]不正确结果窗框上一系列条款定义的小数

  • 操作系统安全更新。

• 2023年2月24日

  • 标准化的连接选择查询联邦

    您现在可以使用一组统一的选项(主机,港口,数据库,用户,密码)连接到数据源支持查询联合会(PostgreSQL、MySQL、突触、雪花、红移,SQL Server)。请注意,港口是可选的,将使用默认端口号为每个数据源如果没有提供。

    PostgreSQL连接配置的示例

    创建表postgresql_table使用postgresql选项(数据表“<表名称>”,主机“<主机名>”,数据库“<数据库名称>”,用户“用户> <”,密码秘密(“范围”,“关键”));

    雪花连接配置的示例

    创建表snowflake_table使用雪花选项(数据表“<表名称>”,主机“<主机名>”,港口“<端口号>”,数据库“<数据库名称>”,用户秘密(“snowflake_creds”,“my_username”),密码秘密(“snowflake_creds”,“my_password”),模式“<模式名称>”,sfWarehouse“< warehouse-name >”);

  • (火花- 41989)从pyspark.pandas (PYTHON)避免打破日志配置

  • (火花- 42346)子查询合并后[SQL]重写不同的骨料

  • (火花- 41990)[SQL]使用FieldReference.column而不是应用在V1 V2滤波器转换

  • 回复(火花- 41848)(核心)修复与TaskResourceProfile任务时间安排的满满的

  • (火花- 42162)介绍MultiCommutativeOp表达式作为规范化的内存优化交换表达式的大树

  • 操作系统安全更新。

• 2023年2月16日

  • 同步命令支持同步蜂巢Metastore重新创建表。如果HMS表同步之前统一目录然后删除并重新创建,随后re-sync将工作而不是扔TABLE_ALREADY_EXISTS状态代码。

  • (火花- 41219)[SQL] IntegralDivide使用十进制(1,0)来表示0

  • (火花- 36173)(核心)支持在TaskContext CPU数量

  • (火花- 41848)(核心)修复与TaskResourceProfile任务时间安排的满满的

  • (火花- 42286)[SQL]撤退之前codegen代码路径的复杂expr

• 2023年1月31日

  • 创建一个模式定义的位置现在要求用户能够选择和修改任何文件上的特权。

  • (火花- 41581)[SQL]命名遗产ERROR_TEMP_1230

  • (火花- 41996)[SQL] [SS]修复卡夫卡测试来验证丢失分区占缓慢卡夫卡操作

  • (火花- 41580)[SQL]命名遗产ERROR_TEMP_2137

  • (火花- 41666)PYTHON支持参数化SQLsql ()

  • (火花- 41579)[SQL]命名遗产ERROR_TEMP_1249

  • (火花- 41573)[SQL]命名遗产ERROR_TEMP_2136

  • (火花- 41574)[SQL]命名遗产ERROR_TEMP_2009

  • (火花- 41049)(后续)修复代码同步ConvertToLocalRelation回归

  • (火花- 41576)[SQL]命名遗产ERROR_TEMP_2051

  • (火花- 41572)[SQL]命名遗产ERROR_TEMP_2149

  • (火花- 41575)[SQL]命名遗产ERROR_TEMP_2054

  • 操作系统安全更新。

砖12.0运行时

看到砖运行时的12.0(不支持)。

• 2023年6月15日

  • Photonizedapprox_count_distinct。

  • Snowflake-jdbc库升级3.13.29解决安全问题。

  • (火花- 43156)(火花- 43098)[SQL]扩展标量子查询统计错误测试decorrelateInnerQuery禁用

  • (火花- 43779)[SQL]ParseToDate现在加载EvalMode在主线程。

  • 操作系统安全更新。

• 2023年6月2日

  • 的JSON解析器failOnUnknownFields模式中的记录下降DROPMALFORMED模式和直接失败FAILFAST模式。

  • 提高增量更新的性能浅克隆冰山和拼花。

  • 修正了在自动加载程序,不同的源文件格式不一致,所提供的模式不包括推断分区。这个问题可能会导致意想不到的失败当阅读文件缺失列推断分区模式。

  • (火花- 42444)(PYTHON)DataFrame.drop现在正确地处理重复的列。

  • (火花- 43404)(补丁)跳过重用sst文件RocksDB相同版本的状态存储,以避免ID不匹配错误。

  • [11.3 - -13.0][[火花- 43413]]https://issues.apache.org/jira/browse/spark - 43413)[SQL]固定的在子查询ListQuerynullability。

  • (火花- 43527)(PYTHON)固定catalog.listCatalogs在PySpark。

  • (火花- 43522)[SQL]固定创建struct列名与索引的数组。

  • (火花- 43541)[SQL]传播项目标签解析表达式和失踪的列. .

  • (火花- 43340)(核心)固定失踪堆栈跟踪事件日志。

  • (火花- 42937)[SQL]PlanSubqueries集InSubqueryExec # shouldBroadcast为true。

• 2023年5月17日

  • 拼花扫描现在强大的反对OOMs当扫描异常结构化文件通过动态调整批量大小。文件元数据分析再预先降低批量大小,降低任务重试最后安全网。

  • 如果一个Avro文件仅仅是阅读failOnUnknownFields \选择或与自动加载程序failOnNewColumns \模式演化模式,具有不同数据类型的列会读空\而不是抛出错误说明文件无法读取。现在这些读取失败,建议用户使用rescuedDataColumn \选择。

  • 自动加载程序现在做以下。

  • • 不再正确读取和救助整数,短,字节类型提供的这些数据类型是如果一个人,但Avro文件显示其他两种类型之一。

  • • 防止阅读区间类型日期或时间戳类型避免腐败的日期。

  • • 防止阅读小数类型精度较低。

  • (火花- 43172)(连接)公开从火花连接客户端主机和令牌。

  • (火花- 41520)[SQL]分裂AND_OR树模式分离和和或。

  • (火花- 43098)[SQL]固定的正确性数错误当标量子查询分组by子句。

  • (火花- 43190)[SQL]ListQuery.childOutput现在是符合二次输出。

  • 操作系统安全更新。

• 2023年4月25日

  • 如果一个拼花文件仅仅是阅读failOnUnknownFields选择或与自动加载程序failOnNewColumns模式演化模式中,列有不同的数据类型将被解读为零而不是抛出错误说明文件无法读取。现在这些读取失败,建议用户使用rescuedDataColumn选择。

  • 不再自动加载程序现在正确地读取和救助整数,短,字节如果提供的这些数据类型是一个类型。镶木地板文件显示其他两种类型。获救的数据列之前启用时,数据类型不匹配会导致列被救出即使他们是可读的。

  • (火花- 42971)(核心)改变打印workdir如果appDirs为空时工人处理WorkDirCleanup事件

  • 操作系统安全更新。

• 2023年4月11日

  • 支持遗留数据源格式同步命令。

  • 修复一个缺陷在笔记本% autoreload行为以外的回购。

  • 固定一臭虫,其自动加载程序模式演化可以进入一个无限循环失败,当检测到一个新列在一个嵌套的JSON对象的模式。

  • (火花- 42928)[SQL]使resolvePersistentFunction同步。

  • (火花- 42967)(核心)修复SparkListenerTaskStart.stageAttemptId当一个任务开始后阶段取消了。

  • 操作系统安全更新。

• 2023年3月29日

  • (火花- 42794)[SS]增加lockAcquireTimeoutMs 2分钟获取RocksDB状态存储结构流

  • (火花- 41162)[SQL]解决反和semi-join自聚合

  • (火花- 42403)(核心)JsonProtocol应该处理null JSON字符串

  • (火花- 42668)[SS]捕捉异常而试图关闭压缩流HDFSStateStoreProvider中止

  • 各种各样的bug修复。

• 2023年3月14日,

  • (火花- 42534)[SQL]修复DB2Dialect限制条款

  • (火花- 42622)(核心)禁用替换值

  • (火花- 41793)[SQL]不正确结果窗框上一系列条款定义的小数

  • (火花- 42484)[SQL] UnsafeRowUtils更好的错误消息

  • (火花- 42635)[SQL]修复TimestampAdd表达式。

  • (火花- 42516)[SQL]总是抓住会话时区配置在创建视图

  • 操作系统安全更新。

• 2023年2月24日

  • 标准化的连接选择查询联邦

    您现在可以使用一组统一的选项(主机,港口,数据库,用户,密码)连接到数据源支持查询联合会(PostgreSQL、MySQL、突触、雪花、红移,SQL Server)。请注意,港口是可选的,将使用默认端口号为每个数据源如果没有提供。

    PostgreSQL连接配置的示例

    创建表postgresql_table使用postgresql选项(数据表“<表名称>”,主机“<主机名>”,数据库“<数据库名称>”,用户“用户> <”,密码秘密(“范围”,“关键”));

    雪花连接配置的示例

    创建表snowflake_table使用雪花选项(数据表“<表名称>”,主机“<主机名>”,港口“<端口号>”,数据库“<数据库名称>”,用户秘密(“snowflake_creds”,“my_username”),密码秘密(“snowflake_creds”,“my_password”),模式“<模式名称>”,sfWarehouse“< warehouse-name >”);

  • 回复(火花- 41848)(核心)修复与TaskResourceProfile任务时间安排的满满的

  • (火花- 42162)介绍MultiCommutativeOp表达式作为规范化的内存优化交换表达式的大树

  • (火花- 41990)[SQL]使用FieldReference.column而不是应用在V1 V2滤波器转换

  • (火花- 42346)子查询合并后[SQL]重写不同的骨料

  • 操作系统安全更新。

• 2023年2月16日

  • 用户现在可以读和写一些三角洲表,要求读者版本3和作家版本7,通过使用砖运行时的9.1或更高版本。成功,表功能表中列出的协议必须由砖的当前版本支持运行时。

  • 同步命令支持同步蜂巢Metastore重新创建表。如果HMS表同步之前统一目录然后删除并重新创建,随后re-sync将工作而不是扔TABLE_ALREADY_EXISTS状态代码。

  • (火花- 36173)(核心)支持在TaskContext CPU数量

  • (火花- 42286)[SQL]撤退之前codegen代码路径的复杂expr

  • (火花- 41848)(核心)修复与TaskResourceProfile任务时间安排的满满的

  • (火花- 41219)[SQL] IntegralDivide使用十进制(1,0)来表示0

• 2023年1月25日

  • (火花- 41660)[SQL]只传播如果他们使用元数据列

  • (火花- 41379)[SS] [PYTHON)提供克隆引发会话在DataFrame用户函数PySpark foreachBatch水槽

  • (火花- 41669)在canCollapseExpressions [SQL]早期修剪

  • 操作系统安全更新。

• 2023年1月18日

  • 刷新函数SQL命令现在支持SQL函数和SQL表函数。例如,命令可以用来刷新一个持久的SQL函数,在另一个SQL更新会话。

  • Java数据库连接(JDBC)数据源v1现在支持限制条款叠加来提高查询的性能。这个功能是默认启用,可以禁用spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled设置为假。

  • acl集群在遗留表,创建函数引用JVM类现在需要MODIFY_CLASSPATH特权。

  • Java数据库连接(JDBC)数据源v1现在支持限制条款叠加来提高查询的性能。这个功能是默认启用和spark.databricks.optimizer.jdbcDSv1LimitPushdown可以禁用。启用设置为false。

  • Azure突触连接器现在返回一个更具描述性的错误消息,当一列或分号等名称包含无效字符。在这种情况下,将返回以下信息:Azure突触分析失败的来执行的JDBC查询生产通过的连接器。使确定列的名字做不包括任何无效的字符这样的作为“;”或空格。

  • 火花结构化流现在使用格式(“deltasharing”)作为源三角洲共享桌子上。

  • (火花- 38277)[SS]明确写批处理后RocksDB商店的提交状态

  • (火花- 41733)基于[SQL] [SS]应用树各种规则ResolveWindowTime修剪

  • (火花- 39591)[SS]异步跟踪进展

  • (火花- 41339)[SQL]关闭并重新创建RocksDB写批处理而不是清算

  • (火花- 41198)[SS]修复指标在流查询CTE和DSv1流源

  • (火花- 41539)[SQL]再交换数据和约束对输出逻辑LogicalRDD的计划

  • (火花- 41732)基于[SQL] [SS]应用树各种规则SessionWindowing修剪

  • (火花- 41862)[SQL]修复正确性错误相关的默认值在兽人的读者

  • (火花- 41199)[SS]解决度量问题当DSv1 co-used流源和DSv2流源

  • (火花- 41261)(PYTHON) [SS]修复问题applyInPandasWithState当分组关键字的列不放置在从最早的订单

  • 操作系统安全更新。

• 2023年5月17日

  • 拼花扫描现在强大的反对OOMs当扫描异常结构化文件通过动态调整批量大小。文件元数据分析再预先降低批量大小,降低任务重试最后安全网。

  • 固定一个回归导致砖工作坚持失败后连接到metastore在集群的初始化。

  • (火花- 41520)[SQL]分裂AND_OR树模式分离和和或。

  • (火花- 43190)[SQL]ListQuery.childOutput现在是符合二次输出。

  • 操作系统安全更新。

• 2023年4月25日

  • 如果一个拼花文件仅仅是阅读failOnUnknownFields选择或与自动加载程序failOnNewColumns模式演化模式中,列有不同的数据类型将被解读为零而不是抛出错误说明文件无法读取。现在这些读取失败,建议用户使用rescuedDataColumn选择。

  • 不再自动加载程序现在正确地读取和救助整数,短,字节如果提供的这些数据类型是一个类型。镶木地板文件显示其他两种类型。获救的数据列之前启用时,数据类型不匹配会导致列被救出即使他们是可读的。

  • (火花- 42937)[SQL]PlanSubqueries现在集InSubqueryExec # shouldBroadcast为true。

  • 操作系统安全更新。

• 2023年4月11日

  • 支持遗留数据源格式同步命令。

  • 修复一个缺陷在笔记本% autoreload行为以外的回购。

  • 固定一臭虫,其自动加载程序模式演化可以进入一个无限循环失败,当检测到一个新列在一个嵌套的JSON对象的模式。

  • (火花- 42928)[SQL]使resolvePersistentFunction同步。

  • (火花- 42967)(核心)修复SparkListenerTaskStart。stageAttemptId当任务开始阶段后取消。

• 2023年3月29日

  • (火花- 42794)[SS]增加lockAcquireTimeoutMs 2分钟获取RocksDB状态存储结构流

  • (火花- 42403)(核心)JsonProtocol应该处理null JSON字符串

  • (火花- 42668)[SS]捕捉异常而试图关闭压缩流HDFSStateStoreProvider中止

  • 操作系统安全更新。

• 2023年3月14日,

  • (火花- 42635)[SQL]修复TimestampAdd表达式。

  • (火花- 41793)[SQL]不正确结果窗框上一系列条款定义的小数

  • (火花- 42484)[SQL] UnsafeRowUtils更好的错误消息

  • (火花- 42534)[SQL]修复DB2Dialect限制条款

  • (火花- 41162)[SQL]解决反和semi-join自聚合

  • (火花- 42516)[SQL]总是抓住会话时区配置在创建视图

  • 各种各样的bug修复。

• 2023年2月28日

  • 标准化的连接选择查询联邦

    您现在可以使用一组统一的选项(主机,港口,数据库,用户,密码)连接到数据源支持查询联合会(PostgreSQL、MySQL、突触、雪花、红移,SQL Server)。请注意,港口是可选的,并且为每个数据源使用默认端口号如果没有提供。

    PostgreSQL连接配置的示例

    创建表postgresql_table使用postgresql选项(数据表“<表名称>”,主机“<主机名>”,数据库“<数据库名称>”,用户“用户> <”,密码秘密(“范围”,“关键”));

    雪花连接配置的示例

    创建表snowflake_table使用雪花选项(数据表“<表名称>”,主机“<主机名>”,港口“<端口号>”,数据库“<数据库名称>”,用户秘密(“snowflake_creds”,“my_username”),密码秘密(“snowflake_creds”,“my_password”),模式“<模式名称>”,sfWarehouse“< warehouse-name >”);

  • (火花- 42286)[SQL]撤退之前codegen代码路径的复杂expr

  • (火花- 41989)从pyspark.pandas (PYTHON)避免打破日志配置

  • (火花- 42346)子查询合并后[SQL]重写不同的骨料

  • (火花- 41360)(核心)避免BlockManager续费如果遗嘱执行人已经丢失

  • (火花- 42162)介绍MultiCommutativeOp表达式作为规范化的内存优化交换表达式的大树

  • (火花- 41990)[SQL]使用FieldReference.column而不是应用在V1 V2滤波器转换

  • 操作系统安全更新。

• 2023年2月16日

  • 用户现在可以读和写一些三角洲表,要求读者版本3和作家版本7,通过使用砖运行时的9.1或更高版本。成功,表功能表中列出的协议必须由砖的当前版本支持运行时。

  • 同步命令支持同步蜂巢Metastore重新创建表。如果HMS表同步之前统一目录然后删除并重新创建,随后re-sync将工作而不是扔TABLE_ALREADY_EXISTS状态代码。

  • (火花- 41219)[SQL] IntegralDivide使用十进制(1,0)来表示0

  • (火花- 40382)[SQL]组不同的聚合表达式的语义上等价的孩子RewriteDistinctAggregates

  • 操作系统安全更新。

• 2023年1月25日

  • (火花- 41379)[SS] [PYTHON)提供克隆引发会话在DataFrame用户函数PySpark foreachBatch水槽

  • (火花- 41660)[SQL]只传播如果他们使用元数据列

  • (火花- 41669)在canCollapseExpressions [SQL]早期修剪

  • 各种各样的bug修复。

• 2023年1月18日

  • 刷新函数SQL命令现在支持SQL函数和SQL表函数。例如,命令可以用来刷新一个持久的SQL函数,在另一个SQL更新会话。

  • Java数据库连接(JDBC)数据源v1现在支持限制条款叠加来提高查询的性能。这个功能是默认启用,可以禁用spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled设置为假。

  • Java数据库连接(JDBC)数据源v1现在支持限制条款叠加来提高查询的性能。这个功能是默认启用和spark.databricks.optimizer.jdbcDSv1LimitPushdown可以禁用。启用设置为false。

  • Azure突触连接器现在返回一个更具描述性的错误消息,当一列或分号等名称包含无效字符。在这种情况下,将返回以下信息:Azure突触分析失败的来执行的JDBC查询生产通过的连接器。使确定列的名字做不包括任何无效的字符这样的作为“;”或空格。

  • (火花- 41198)[SS]修复指标在流查询CTE和DSv1流源

  • (火花- 41862)[SQL]修复正确性错误相关的默认值在兽人的读者

  • (火花- 41539)[SQL]再交换数据和约束对输出逻辑LogicalRDD的计划

  • (火花- 39591)[SS]异步跟踪进展

  • (火花- 41199)[SS]解决度量问题当DSv1 co-used流源和DSv2流源

  • (火花- 41261)(PYTHON) [SS]修复问题applyInPandasWithState当分组关键字的列不放置在从最早的订单

  • (火花- 41339)[SQL]关闭并重新创建RocksDB写批处理而不是清算

  • (火花- 41732)基于[SQL] [SS]应用树各种规则SessionWindowing修剪

  • (火花- 38277)[SS]明确写批处理后RocksDB商店的提交状态

  • 操作系统安全更新。

• 2022年11月29日

  • 用户可以配置前导和尾随空白的行为写数据时使用红移的连接器。添加了以下选项来控制空白处理:

    • csvignoreleadingwhitespace当设置为真正的期间,除去前导空白值时写道tempformat被设置为CSV或CSVGZIP。空白保留配置设置的时候出现假。默认情况下,这个值是真正的。

    • csvignoretrailingwhitespace当设置为真正的从价值观,删除空格时写道tempformat被设置为CSV或CSVGZIP。空白保留配置设置的时候出现假。默认情况下,这个值是真正的。

  • JSON解析固定一个缺陷自动加载程序所有列左作为字符串(时cloudFiles.inferColumnTypes没有设置或设置假)和嵌套包含的JSON对象。

  • 升级snowflake-jdbc依赖3.13.22版。

  • 表类型的JDBC表默认现在外部。

  • (火花- 40906)[SQL]模式之前应该复制钥匙插入地图吗

  • 操作系统安全更新。

• 2022年11月15日

  • 表acl和加州大学共享集群现在允许数据集。从python toJSON方法。

  • (火花- 40646)JSON解析结构、地图和数组已经固定,所以当一个记录不匹配模式的一部分,其余的记录仍然可以正确解析,而不是返回null。为改善行为,选择集spark.sql.json.enablePartialResults来真正的。国旗是禁用默认保存原来的行为。

  • (火花- 40903)[SQL]避免重新排序十进制加规范化数据类型是否改变

  • (火花- 40618)[SQL]修复bug在MergeScalarSubqueries规则使用参考与嵌套的子查询跟踪

  • (火花- 40697)[SQL]添加读字符填充覆盖外部数据文件

  • 操作系统安全更新。

• 2022年11月1日

  • 固定的一个问题,如果一个增量表有一个用户定义的列命名_change_type,但改变数据提要残疾人在表,数据列运行时错误地充满NULL值吗合并。

  • 固定一个运行的问题合并从源和使用99列的条件可能导致java.lang.ClassCastException:org.apache.spark.sql.vectorized.ColumnarBatch不能是投来org.apache.spark.sql.catalyst.InternalRow。

  • 固定的问题自动加载程序,文件可以复制在同一个micro-batch当allowOverwrites启用。

  • Apache commons-text 1.10.0升级。

  • (火花- 38881)[DSTREAMS][运动][PYSPARK]添加支持CloudWatch MetricsLevel配置

  • (火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息

  • (火花- 40670)[SS] [PYTHON)修复肺水肿applyInPandasWithState当输入模式“空列上”专栏(s)

  • 操作系统安全更新。

砖11.3运行时

看到砖运行时11.3 LTS。

• 2023年7月24日,

  • (火花- 44136)[SS]固定StateManager的问题可能会物化在FlatMapGroupsWithStateExec执行者而不是司机。

  • 操作系统安全更新。

• 2023年6月23日

  • 操作系统安全更新。

• 2023年6月15日

  • Photonizedapprox_count_distinct。

  • Snowflake-jdbc库升级3.13.29解决安全问题。

  • (火花- 43779)[SQL]ParseToDate现在加载EvalMode在主线程。

  • (火花- 40862)[SQL]支持非聚集在RewriteCorrelatedScalarSubquery子查询

  • (火花- 43156)(火花- 43098)[SQL]扩展标量子查询统计错误测试decorrelateInnerQuery禁用

  • (火花- 43098)[SQL]修复正确性计数错误当标量子查询group by子句

  • 操作系统安全更新。

• 2023年6月2日

  • 的JSON解析器failOnUnknownFields模式中的记录下降DROPMALFORMED模式和直接失败FAILFAST模式。

  • 提高增量更新的性能浅克隆冰山和拼花。

  • 修正了在自动加载程序,不同的源文件格式不一致,所提供的模式不包括推断分区。这个问题可能会导致意想不到的失败当阅读文件缺失列推断分区模式。

  • (火花- 43404)(补丁)跳过重用sst文件RocksDB相同版本的状态存储,以避免ID不匹配错误。

  • (火花- 43527)(PYTHON)固定catalog.listCatalogs在PySpark。

  • [11.3 - -13.0][[火花- 43413]]https://issues.apache.org/jira/browse/spark - 43413)[SQL]固定的在子查询ListQuerynullability。

  • (火花- 43340)(核心)固定失踪堆栈跟踪事件日志。

砖11.2运行时

看到砖运行时的11.2(不支持)。

• 2023年2月28日

  • (火花- 42286)[SQL]撤退之前codegen代码路径的复杂expr

  • (火花- 42346)子查询合并后[SQL]重写不同的骨料

  • 操作系统安全更新。

• 2023年2月16日

  • 用户现在可以读和写一些三角洲表,要求读者版本3和作家版本7,通过使用砖运行时的9.1或更高版本。成功,表功能表中列出的协议必须由砖的当前版本支持运行时。

  • 同步命令支持同步蜂巢Metastore重新创建表。如果HMS表同步之前统一目录然后删除并重新创建,随后re-sync将工作而不是扔TABLE_ALREADY_EXISTS状态代码。

  • (火花- 41219)[SQL] IntegralDivide使用十进制(1,0)来表示0

  • 操作系统安全更新。

• 2023年1月31日

  • 表类型的JDBC表默认现在外部。

  • (火花- 41379)[SS] [PYTHON)提供克隆引发会话在DataFrame用户函数PySpark foreachBatch水槽

• 2023年1月18日

  • Azure突触连接器现在返回一个更具描述性的错误消息,当一列或分号等名称包含无效字符。在这种情况下,将返回以下信息:Azure突触分析失败的来执行的JDBC查询生产通过的连接器。使确定列的名字做不包括任何无效的字符这样的作为“;”或空格。

  • (火花- 41198)[SS]修复指标在流查询CTE和DSv1流源

  • (火花- 41862)[SQL]修复正确性错误相关的默认值在兽人的读者

  • (火花- 41539)[SQL]再交换数据和约束对输出逻辑LogicalRDD的计划

  • (火花- 41199)[SS]解决度量问题当DSv1 co-used流源和DSv2流源

  • (火花- 41339)[SQL]关闭并重新创建RocksDB写批处理而不是清算

  • (火花- 41732)基于[SQL] [SS]应用树各种规则SessionWindowing修剪

  • (火花- 38277)[SS]明确写批处理后RocksDB商店的提交状态

  • 操作系统安全更新。

• 2022年11月29日

  • 用户可以配置前导和尾随空白的行为写数据时使用红移的连接器。添加了以下选项来控制空白处理:

    • csvignoreleadingwhitespace当设置为真正的期间,除去前导空白值时写道tempformat被设置为CSV或CSVGZIP。空白保留配置设置的时候出现假。默认情况下,这个值是真正的。

    • csvignoretrailingwhitespace当设置为真正的从价值观,删除空格时写道tempformat被设置为CSV或CSVGZIP。空白保留配置设置的时候出现假。默认情况下,这个值是真正的。

  • JSON解析固定一个缺陷自动加载程序所有列左作为字符串(时cloudFiles.inferColumnTypes没有设置或设置假)和嵌套包含的JSON对象。

  • (火花- 40906)[SQL]模式之前应该复制钥匙插入地图吗

  • 操作系统安全更新。

• 2022年11月15日

  • (火花- 40646)JSON解析结构、地图和数组已经固定,所以当一个记录不匹配模式的一部分,其余的记录仍然可以正确解析,而不是返回null。为改善行为,选择集spark.sql.json.enablePartialResults来真正的。国旗是禁用默认保存原来的行为。

  • (火花- 40618)[SQL]修复bug在MergeScalarSubqueries规则使用参考与嵌套的子查询跟踪

  • (火花- 40697)[SQL]添加读字符填充覆盖外部数据文件

  • 操作系统安全更新。

• 2022年11月1日

  • Apache commons-text 1.10.0升级。

  • 固定的一个问题,如果一个增量表有一个用户定义的列命名_change_type,但改变数据提要残疾人在表,数据列运行时错误地充满NULL值吗合并。

  • 固定一个运行的问题合并从源和使用99列的条件可能导致java.lang.ClassCastException:org.apache.spark.sql.vectorized.ColumnarBatch不能是投来org.apache.spark.sql.catalyst.InternalRow。

  • 固定的问题自动加载程序,文件可以复制在同一个micro-batch当allowOverwrites启用了

  • (火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息

  • 操作系统安全更新。

• 2022年10月19日

  • 固定的问题复制到使用临时凭证统一目录启用集群/仓库。

  • (火花- 40213)[SQL]支持ASCII值转换latin - 1个字符

  • 操作系统安全更新。

• 2022年10月5日

  • 用户可以设置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。启用”、“真实”)重新启用本地ADLS Gen2汽车加载程序清单。本机清单之前关闭由于性能问题,但可能导致存储成本的增加客户。这种变化是推出了DBR 10.4和9.1在前面的维护更新。

  • (火花- 40315)[SQL]支持url编码/解码内置函数和整理url-related功能

  • (火花- 40156)[SQL]url_decode ()应该返回一个错误类

  • (火花- 40169)不叠加铺过滤器没有参考数据模式

  • (火花- 40460)在选择[SS]解决流指标_metadata

  • (火花- 40468)[SQL]修复列在CSV修剪腐败的记录被选中

  • (火花- 40055)[SQL] listCatalogs也应该回报spark_catalog即使defaultSessionCatalog spark_catalog实现

  • 操作系统安全更新。

• 2022年9月22日

  • (火花- 40315)[SQL] ArrayBasedMapData为文字添加hashCode ()

  • (火花- 40389)[SQL]小数不能向上的积分类型如果演员能溢出

  • (火花- 40380)[SQL]修正常数合并InvokeLike避免non-serializable文字嵌入到计划中

  • (火花- 40066)[SQL](后续)检查ElementAt之前解决它的数据类型

  • (火花- 40109)[SQL]新的SQL函数:get ()

  • (火花- 40066)[SQL] ANSI模式:无效访问地图上总是返回null列

  • (火花- 40089)[SQL]修复排序十进制类型

  • (火花- 39887)[SQL] RemoveRedundantAliases应该保持独特的别名,使投影的输出节点

  • (火花- 40152)[SQL]修复split_part codegen编译问题

  • (火花- 40235)(核心)使用可中断锁而不是同步Executor.updateDependencies ()

  • (火花- 40212)[SQL] SparkSQL castPartValue不妥善处理字节,短,或浮动

  • (火花- 40218)[SQL]分组应该保存分组列集

  • (火花- 35542)(ML)解决办法:Bucketizer创建多个列的参数

  • (火花- 40079)添加输入为空inputCols验证输入的情况

  • (火花- 39912)火星- 39828[SQL]完善CatalogImpl

砖11.1运行时

看到砖运行时的11.1(不支持)。

• 2023年1月31日

  • (火花- 41379)[SS] [PYTHON)提供克隆引发会话在DataFrame用户函数PySpark foreachBatch水槽

  • 各种各样的bug修复。

• 2023年1月18日

  • Azure突触连接器现在返回一个更具描述性的错误消息,当一列或分号等名称包含无效字符。在这种情况下,将返回以下信息:Azure突触分析失败的来执行的JDBC查询生产通过的连接器。使确定列的名字做不包括任何无效的字符这样的作为“;”或空格。

  • (火花- 41198)[SS]修复指标在流查询CTE和DSv1流源

  • (火花- 41862)[SQL]修复正确性错误相关的默认值在兽人的读者

  • (火花- 41199)[SS]解决度量问题当DSv1 co-used流源和DSv2流源

  • (火花- 41339)[SQL]关闭并重新创建RocksDB写批处理而不是清算

  • (火花- 41732)基于[SQL] [SS]应用树各种规则SessionWindowing修剪

  • (火花- 38277)[SS]明确写批处理后RocksDB商店的提交状态

  • 操作系统安全更新。

• 2022年11月29日

  • 用户可以配置前导和尾随空白的行为写数据时使用红移的连接器。添加了以下选项来控制空白处理:

    • csvignoreleadingwhitespace当设置为真正的期间,除去前导空白值时写道tempformat被设置为CSV或CSVGZIP。空白保留配置设置的时候出现假。默认情况下,这个值是真正的。

    • csvignoretrailingwhitespace当设置为真正的从价值观,删除空格时写道tempformat被设置为CSV或CSVGZIP。空白保留配置设置的时候出现假。默认情况下,这个值是真正的。

  • JSON解析固定一个缺陷自动加载程序所有列左作为字符串(时cloudFiles.inferColumnTypes没有设置或设置假)和嵌套包含的JSON对象。

  • (火花- 39650)[SS]修复错误的价值模式在线重复数据删除的向后兼容性

  • 操作系统安全更新。

• 2022年11月15日

  • (火花- 40646)JSON解析结构、地图和数组已经固定,所以当一个记录不匹配模式的一部分,剩下的记录仍然可以正确解析,而不是返回null。为改善行为,选择集spark.sql.json.enablePartialResults来真正的。国旗是禁用默认保存原来的行为。

  • 操作系统安全更新。

• 2022年11月1日

  • Apache commons-text 1.10.0升级。

  • 固定的一个问题,如果一个增量表有一个用户定义的列命名_change_type,但改变数据提要残疾人在表,数据列运行时错误地充满NULL值吗合并。

  • 固定一个运行的问题合并从源和使用99列的条件可能导致java.lang.ClassCastException:org.apache.spark.sql.vectorized.ColumnarBatch不能是投来org.apache.spark.sql.catalyst.InternalRow。

  • 固定的问题自动加载程序,文件可以复制在同一个micro-batch当allowOverwrites启用了

  • (火花- 40697)[SQL]添加读字符填充覆盖外部数据文件

  • (火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息

  • 操作系统安全更新。

• 2022年10月18日

  • 固定的问题复制到使用临时凭证统一目录启用集群/仓库。

  • (火花- 40213)[SQL]支持ASCII值转换latin - 1个字符

  • 操作系统安全更新。

• 2022年10月5日

  • 用户可以设置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。启用”、“真实”)重新启用本地ADLS Gen2汽车加载程序清单。本机清单之前关闭由于性能问题,但可能导致存储成本的增加客户。这种变化是推出了DBR 10.4和9.1在前面的维护更新。

  • (火花- 40169)不叠加铺过滤器没有参考数据模式

  • (火花- 40460)在选择[SS]解决流指标_metadata

  • (火花- 40468)[SQL]修复列在CSV修剪腐败的记录被选中

  • (火花- 40055)[SQL] listCatalogs也应该回报spark_catalog即使defaultSessionCatalog spark_catalog实现

  • 操作系统安全更新。

• 2022年9月22日

  • (火花- 40315)[SQL] ArrayBasedMapData为文字添加hashCode ()

  • (火花- 40380)[SQL]修正常数合并InvokeLike避免non-serializable文字嵌入到计划中

  • (火花- 40089)[SQL]修复排序十进制类型

  • (火花- 39887)[SQL] RemoveRedundantAliases应该保持独特的别名,使投影的输出节点

  • (火花- 40152)[SQL]修复split_part codegen编译问题

• 2022年9月6日

  • 我们更新了许可模型在表访问控制表(acl),因此只有修改权限需要改变表的模式或表和ALTER Table属性。以前,这些操作需要用户自己的桌子上。所有权仍然需要授予权限表,改变它的所有者,改变其位置,或重命名它。这种变化使表acl的权限模型更符合统一目录。

  • (火花- 40235)(核心)使用可中断锁而不是同步Executor.updateDependencies ()

  • (火花- 40212)[SQL] SparkSQL castPartValue不妥善处理字节,短,或浮动

  • (火花- 40218)[SQL]分组应该保存分组列集

  • (火花- 39976)[SQL] ArrayIntersect应该在左表达式正确处理null

  • (火花- 40053)[心][SQL][测试]添加假设动态取消案例需要Python运行时环境

  • (火花- 35542)(核心)(ML)解决办法:Bucketizer创建多个列的参数splitsArray inputCols outputCols不能加载后保存

  • (火花- 40079)(核心)添加输入为空inputCols验证输入的情况

• 2022年8月24日

  • 股票、提供者和接受者现在支持SQL命令改变所有者,评论,重命名

  • (火花- 39983)(核心)[SQL]不缓存非系列化广播在司机的关系

  • (火花- 39912)(火花- 39828)[SQL]完善CatalogImpl

  • (火花- 39775)(核心)(AVRO)禁用验证解析AVRO模式时的默认值

  • (火花- 39806)固定问题查询访问元数据在分区表结构崩溃

  • (火花- 39867)全球限制不应继承OrderPreservingUnaryNode [SQL]

  • (火花- 39962)(PYTHON] [SQL]应用投影当组属性是空的

  • (火花- 39839)[SQL]处理特殊情况的空变长十进制与非零offsetAndSize UnsafeRow结构完整性检查

  • (火花- 39713)[SQL] ANSI模式:添加使用try_element_at INVALID_ARRAY_INDEX错误的建议

  • (火花- 39847)在RocksDBLoader.loadLibrary [SS]解决竞态条件()如果调用者线程中断

  • (火花- 39731)[SQL]在CSV和JSON数据源解决问题时,在“名称”格式解析日期更正时间解析器的政策

  • 操作系统安全更新。

• 2022年8月10日,

  • δ表与表的访问控制,通过DML语句,如自动模式演化插入和合并现在是对所有用户可用吗修改权限表等。此外,执行模式演化所需权限复制成现在降低了从老板来修改与其他命令的一致性。这些变化使表ACL的安全模型更符合其他操作如取代一个表。

  • (火花- 39889)提高除0的错误消息

  • (火花- 39795)[SQL]新的SQL函数:try_to_timestamp

  • (火花- 39749)总是使用简单的字符串表示在铸造十进制ANSI模式下字符串

  • (火花- 39625)重命名df。作为来df.to

  • (火花- 39787)[SQL]使用错误类to_timestamp解析错误的功能

  • (火花- 39625)[SQL]添加Dataset.as (StructType)

  • (火花- 39689)支持2-charslineSep在CSV数据源

  • (火花- 39579)PYTHON [SQL] [] [R]使ListFunctions / getFunction / functionExists兼容3层名称空间

  • (火花- 39702)(核心)减少内存开销TransportCipher共享byteRawChannel EncryptedMessage使用美元

  • (火花- 39575)[AVRO]添加ByteBuffer #后倒带ByteBuffer # AvroDeserializer

  • (火花- 39265)[SQL]当启用SPARK_ANSI_SQL_MODE修复测试失败

  • (火花- 39441)[SQL]加速DeduplicateRelations

  • (火花- 39497)[SQL]提高失踪的分析异常映射键列

  • (火花- 39476)[SQL]禁用打开时优化铸从长/双浮动或整数浮动

  • (火花- 39434)[SQL]数组索引时提供运行时错误查询上下文边界

砖11.0运行时

看到砖运行时的11.0(不支持)。

• 2022年11月29日

  • 用户可以配置前导和尾随空白的行为写数据时使用红移的连接器。添加了以下选项来控制空白处理:

    • csvignoreleadingwhitespace当设置为真正的期间,除去前导空白值时写道tempformat被设置为CSV或CSVGZIP。空白保留配置设置的时候出现假。默认情况下,这个值是真正的。

    • csvignoretrailingwhitespace当设置为真正的从价值观,删除空格时写道tempformat被设置为CSV或CSVGZIP。空白保留配置设置的时候出现假。默认情况下,这个值是真正的。

  • JSON解析固定一个缺陷自动加载程序所有列左作为字符串(时cloudFiles.inferColumnTypes没有设置或设置假)和嵌套包含的JSON对象。

  • (火花- 39650)[SS]修复错误的价值模式在线重复数据删除的向后兼容性

  • 操作系统安全更新。

• 2022年11月15日

  • (火花- 40646)JSON解析结构、地图和数组已经固定,所以当一个记录不匹配模式的一部分,其余的记录仍然可以正确解析,而不是返回null。为改善行为,选择集spark.sql.json.enablePartialResults来真正的。国旗是禁用默认保存原来的行为。

• 2022年11月1日

  • Apache commons-text 1.10.0升级。

  • 固定的一个问题,如果一个增量表有一个用户定义的列命名_change_type,但改变数据提要残疾人在表,数据列运行时错误地充满NULL值吗合并。

  • 固定的问题自动加载程序,文件可以复制在同一个micro-batch当allowOverwrites启用了

  • (火花- 40697)[SQL]添加读字符填充覆盖外部数据文件

  • (火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息

  • 操作系统安全更新。

• 2022年10月18日

  • (火花- 40213)[SQL]支持ASCII值转换latin - 1个字符

  • 操作系统安全更新。

• 2022年10月5日

  • 用户可以设置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。启用”、“真实”)重新启用本地ADLS Gen2汽车加载程序清单。本机清单之前关闭由于性能问题,但可能导致存储成本的增加客户。这种变化是推出了DBR 10.4和9.1在前面的维护更新。

  • (火花- 40169)不叠加铺过滤器没有参考数据模式

  • (火花- 40460)在选择[SS]解决流指标_metadata

  • (火花- 40468)[SQL]修复列在CSV修剪腐败的记录被选中

  • 操作系统安全更新。

• 2022年9月22日

  • (火花- 40315)[SQL] ArrayBasedMapData为文字添加hashCode ()

  • (火花- 40380)[SQL]修正常数合并InvokeLike避免non-serializable文字嵌入到计划中

  • (火花- 40089)[SQL]修复排序十进制类型

  • (火花- 39887)[SQL] RemoveRedundantAliases应该保持独特的别名,使投影的输出节点

  • (火花- 40152)[SQL]修复split_part codegen编译问题

• 2022年9月6日

  • (火花- 40235)(核心)使用可中断锁而不是同步Executor.updateDependencies ()

  • (火花- 40212)[SQL] SparkSQL castPartValue不妥善处理字节,短,或浮动

  • (火花- 40218)[SQL]分组应该保存分组列集

  • (火花- 39976)[SQL] ArrayIntersect应该在左表达式正确处理null

  • (火花- 40053)[心][SQL][测试]添加假设动态取消案例需要Python运行时环境

  • (火花- 35542)(核心)(ML)解决办法:Bucketizer创建多个列的参数splitsArray inputCols outputCols不能加载后保存

  • (火花- 40079)(核心)添加输入为空inputCols验证输入的情况

• 2022年8月24日

  • (火花- 39983)(核心)[SQL]不缓存非系列化广播在司机的关系

  • (火花- 39775)(核心)(AVRO)禁用验证解析AVRO模式时的默认值

  • (火花- 39806)固定问题查询访问元数据在分区表结构崩溃

  • (火花- 39867)全球限制不应继承OrderPreservingUnaryNode [SQL]

  • (火花- 39962)(PYTHON] [SQL]应用投影当组属性是空的

  • 操作系统安全更新。

• 2022年8月9日

  • (火花- 39713)[SQL] ANSI模式:添加使用try_element_at INVALID_ARRAY_INDEX错误的建议

  • (火花- 39847)在RocksDBLoader.loadLibrary解决竞态条件()如果调用者线程中断

  • (火花- 39731)[SQL]在CSV和JSON数据源解决问题时,在“名称”格式解析日期更正时间解析器的政策

  • (火花- 39889)提高除0的错误消息

  • (火花- 39795)[SQL]新的SQL函数:try_to_timestamp

  • (火花- 39749)总是使用简单的字符串表示在铸造十进制ANSI模式下字符串

  • (火花- 39625)[SQL]添加Dataset.to (StructType)

  • (火花- 39787)[SQL]使用错误类to_timestamp解析错误的功能

  • 操作系统安全更新。

• 2022年7月27日,

  • (火花- 39689)支持2-charslineSep在CSV数据源

  • (火花- 39104)[SQL] InMemoryRelation # isCachedColumnBuffersLoaded应该是线程安全的

  • (火花- 39702)(核心)减少内存开销TransportCipher共享byteRawChannel EncryptedMessage使用美元

  • (火花- 39575)[AVRO]添加ByteBuffer #后倒带ByteBuffer # AvroDeserializer

  • (火花- 39497)[SQL]提高失踪的分析异常映射键列

  • (火花- 39441)[SQL]加速DeduplicateRelations

  • (火花- 39476)[SQL]禁用打开时优化铸从长/双浮动或整数浮动

  • (火花- 39434)[SQL]数组索引时提供运行时错误查询上下文边界

  • (火花- 39570)[SQL]内联表应该允许表达式与别名

  • 操作系统安全更新。

• 2022年7月13日

  • 使三角洲合并操作结果一致的来源是不确定的。

  • 固定的问题cloud_files_state TVF当运行在non-DBFS路径。

  • 禁用自动加载器使用本地云api对Azure目录清单。

  • (火花- 38796)[SQL]更新to_number和try_to_number功能允许公关与正数

  • (火花- 39272)[SQL]增加查询上下文的初始位置1

  • (火花- 39419)[SQL]修复ArraySort比较器返回null时抛出异常

  • 操作系统安全更新。

• 2022年7月5日

  • 改进的一系列错误类的错误消息。

  • (火花- 39451)[SQL]支持铸造间隔积分ANSI模式

  • (火花- 39361)不要使用Log4J2扩展throwable转换模式的默认日志配置

  • (火花- 39354)[SQL]确保显示表或视图不发现即使有dataTypeMismatchError有关过滤器在同一时间

  • (火花- 38675)(核心)解决种族在BlockInfoManager解锁

  • (火花- 39392)[SQL]提炼ANSI try_ *函数错误消息提示

  • (火花- 39214)[SQL][3.3]改善错误有关

  • (火花- 37939)[SQL]使用错误类解析错误的属性

  • (火花- 39085)[SQL]的错误消息INCONSISTENT_BEHAVIOR_CROSS_VERSION对error-classes.json

  • (火花- 39376)[SQL]隐藏重复的明星扩张子查询中的列别名从自然/使用加入

  • (火花- 39283)(核心)解决僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之间

  • (火花- 39285)[SQL]引发阅读文件时不应检查字段名称

  • 操作系统安全更新。

砖10.5运行时

看到砖运行时的10.5(不支持)。

• 2022年11月1日

  • 固定的一个问题,如果一个增量表有一个用户定义的列命名_change_type,但改变数据提要残疾人在表,数据列运行时错误地充满NULL值吗合并。

  • (火花- 40697)[SQL]添加读字符填充覆盖外部数据文件

  • (火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息

  • 操作系统安全更新。

• 2022年10月18日

  • 操作系统安全更新。

• 2022年10月5日

  • 用户可以设置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。启用”、“真实”)重新启用本地ADLS Gen2汽车加载程序清单。本机清单之前关闭由于性能问题,但可能导致存储成本的增加客户。这种变化是推出了DBR 10.4和9.1在前面的维护更新。

  • reload4j已经升级到1.2.19修复漏洞。

  • (火花- 40460)在选择[SS]解决流指标_metadata

  • (火花- 40468)[SQL]修复列在CSV修剪腐败的记录被选中

  • 操作系统安全更新。

• 2022年9月22日

  • (火花- 40315)[SQL] ArrayBasedMapData为文字添加hashCode ()

  • (火花- 40213)[SQL]支持ASCII值转换latin - 1个字符

  • (火花- 40380)[SQL]修正常数合并InvokeLike避免non-serializable文字嵌入到计划中

  • (火花- 38404)[SQL]时提高CTE决议一个嵌套CTE外部CTE的引用

  • (火花- 40089)[SQL]修复排序十进制类型

  • (火花- 39887)[SQL] RemoveRedundantAliases应该保持独特的别名,使投影的输出节点

  • 操作系统安全更新。

• 2022年9月6日

  • (火花- 40235)(核心)使用可中断锁而不是同步Executor.updateDependencies ()

  • (火花- 39976)[SQL] ArrayIntersect应该在左表达式正确处理null

  • (火花- 40053)[心][SQL][测试]添加假设动态取消案例需要Python运行时环境

  • (火花- 35542)(核心)(ML)解决办法:Bucketizer创建多个列的参数splitsArray inputCols outputCols不能加载后保存

  • (火花- 40079)(核心)添加输入为空inputCols验证输入的情况

• 2022年8月24日

  • (火花- 39983)(核心)[SQL]不缓存非系列化广播在司机的关系

  • (火花- 39775)(核心)(AVRO)禁用验证解析AVRO模式时的默认值

  • (火花- 39806)固定问题查询访问元数据在分区表结构崩溃

  • (火花- 39962)(PYTHON] [SQL]应用投影当组属性是空的

  • (火花- 37643)[SQL]当charVarcharAsString是真的,char数据类型谓词查询应该跳过rpadding规则

  • 操作系统安全更新。

• 2022年8月9日

  • (火花- 39847)在RocksDBLoader.loadLibrary解决竞态条件()如果调用者线程中断

  • (火花- 39731)[SQL]在CSV和JSON数据源解决问题时,在“名称”格式解析日期更正时间解析器的政策

  • 操作系统安全更新。

• 2022年7月27日,

  • (火花- 39625)[SQL]添加Dataset.as (StructType)

  • (火花- 39689)支持2-charslineSep在CSV数据源

  • (火花- 39104)[SQL] InMemoryRelation # isCachedColumnBuffersLoaded应该是线程安全的

  • (火花- 39570)[SQL]内联表应该允许表达式与别名

  • (火花- 39702)(核心)减少内存开销TransportCipher共享byteRawChannel EncryptedMessage使用美元

  • (火花- 39575)[AVRO]添加ByteBuffer #后倒带ByteBuffer # AvroDeserializer

  • (火花- 39476)[SQL]禁用打开时优化铸从长/双浮动或整数浮动

  • 操作系统安全更新。

• 2022年7月13日

  • 使三角洲合并操作结果一致的来源是不确定的。

  • (火花- 39355)[SQL]构建UnresolvedAttribute单柱使用引用

  • (火花- 39548)[SQL] CreateView命令窗口查询子句打错了窗口定义没有发现问题

  • (火花- 39419)[SQL]修复ArraySort比较器返回null时抛出异常

  • 禁用自动加载器使用本地云api对Azure目录清单。

  • 操作系统安全更新。

• 2022年7月5日

  • (火花- 39376)[SQL]隐藏重复的明星扩张子查询中的列别名从自然/使用加入

  • 操作系统安全更新。

• 2022年6月15日

  • (火花- 39283)(核心)解决僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之间

  • (火花- 39285)[SQL]引发阅读文件时不应检查字段名称

  • (火花- 34096)[SQL]提高性能对于nth_value忽略null /抵消窗口

  • (火花- 36718)[SQL]跟踪解决isExtractOnly检查CollapseProject

• 2022年6月2日

  • (火花- 39166)[SQL]提供运行时错误查询上下文WSCG时二进制算术

  • (火花- 39093)[SQL]避免codegen编译错误当year-month间隔或白天间隔除以一个积分

  • (火花- 38990)[SQL]避免NullPointerException评估date_trunc / trunc格式时作为参考

  • 操作系统安全更新。

• 2022年5月18日

  • 修复一个潜在的本机内存泄漏的自动加载程序。

  • (火花- 38868)[SQL]不传播异常过滤器谓词时优化外部连接

  • (火花- 38796)[SQL]实现to_number和try_to_number SQL函数根据一项新的规范

  • (火花- 38918)[SQL]嵌套列修剪应该过滤掉属性不属于当前的关系

  • (火花- 38929)[SQL]在ANSI改善铸造失败的错误消息

  • (火花- 38926)[SQL]输出错误消息在SQL风格的类型

  • (火花- 39084)[PYSPARK]修复df.rdd.isEmpty()通过使用TaskContext停止迭代器任务完成

  • (火花- 32268)[SQL]添加ColumnPruning injectBloomFilter

  • (火花- 38908)[SQL]提供运行时错误的查询上下文铸件从字符串到数量/日期/时间戳/布尔

  • (火花- 39046)[SQL]如果TreeNode上下文返回一个空字符串。起源是错误的设置

  • (火花- 38974)[SQL]过滤器中与给定的数据库名称注册函数列表功能

  • (火花- 38762)[SQL]提供查询的上下文在十进制溢出错误

  • (火花- 38931)[SS]创建dfs根目录为RocksDBFileManager未知数量的钥匙1日检查站

  • (火花- 38992)(核心)避免使用bash ShellBasedGroupsMappingProvider - c

  • (火花- 38716)[SQL]提供查询上下文映射键不存在错误

  • (火花- 38889)[SQL]编译布尔列过滤器使用该数据源的一些类型

  • (火花- 38698)[SQL]提供运行时错误的查询上下文/ Pmod分裂/ Div /提醒

  • (火花- 38823)[SQL]使NewInstancenon-foldable修复聚合缓冲腐败问题

  • (火花- 38809)[SS]实现选项跳过null值对称散列stream-stream连接的实现

  • (火花- 38676)[SQL]提供SQL查询的上下文在加/减/乘的运行时错误消息

  • (火花- 38677)[PYSPARK] Python MonitorThread应该检测死锁阻塞I / O

  • 操作系统安全更新。

砖10.4运行时

看到砖运行时10.4 LTS。

• 2023年6月23日

  • 操作系统安全更新。

• 2023年6月15日

  • Snowflake-jdbc库升级3.13.29解决安全问题。

  • (火花- 43098)[SQL]修复正确性计数错误当标量子查询group by子句

  • (火花- 40862)[SQL]支持非聚集在RewriteCorrelatedScalarSubquery子查询

  • (火花- 43156)(火花- 43098)[SQL]扩展标量子查询统计错误测试decorrelateInnerQuery禁用

  • 操作系统安全更新。

• 2023年6月2日

  • 的JSON解析器failOnUnknownFields模式中的记录下降DROPMALFORMED模式和直接失败FAILFAST模式。

  • 修正了在数据解析JSON获救,防止UnknownFieldException。

  • 修正了在自动加载程序,不同的源文件格式不一致,所提供的模式不包括推断分区。这个问题可能会导致意想不到的失败当阅读文件缺失列推断分区模式。

  • (火花- 43404)(补丁)跳过重用sst文件RocksDB相同版本的状态存储,以避免ID不匹配错误。

  • (火花- 43413)[SQL]固定在子查询ListQuerynullability。

  • 操作系统安全更新。

• 2023年5月17日

  • 拼花扫描现在强大的反对OOMs当扫描异常结构化文件通过动态调整批量大小。文件元数据分析再预先降低批量大小,降低任务重试最后安全网。

  • (火花- 41520)[SQL]分裂AND_OR树模式分离和和或。

  • (火花- 43190)[SQL]ListQuery.childOutput现在是符合二次输出。

  • 操作系统安全更新。

• 2023年4月25日

  • (火花- 42928)[SQL]使resolvePersistentFunction同步。

  • 操作系统安全更新。

• 2023年4月11日

  • 固定一臭虫,其自动加载程序模式演化可以进入无限不循环,当检测到一个新列的模式嵌套的JSON对象。

  • (火花- 42937)[SQL]PlanSubqueries现在集InSubqueryExec # shouldBroadcast为true。

  • (火花- 42967)(核心)修复SparkListenerTaskStart。stageAttemptId当任务开始阶段后取消。

• 2023年3月29日

  • (火花- 42668)[SS]捕捉异常而试图关闭压缩流HDFSStateStoreProvider中止

  • (火花- 42635)[SQL]修复…

  • 操作系统安全更新。

• 2023年3月14日,

  • (火花- 41162)[SQL]解决反和semi-join自聚合

  • (火花- 33206)(核心)修复洗牌索引缓存体重计算小索引文件

  • (火花- 42484)[SQL] UnsafeRowUtils更好的错误消息

  • 各种各样的bug修复。

• 2023年2月28日

  • 支持生成列yyyy-MM-dd date_format。这种改变增加了支持分区修剪yyyy-MM-dd作为date_format生成的列。

  • 用户现在可以读和写一些三角洲表,要求读者版本3和作家版本7,通过使用砖运行时9.1 LTS或更高版本。成功,表功能表中列出的协议必须由砖的当前版本支持运行时。

  • 支持生成列yyyy-MM-dd date_format。这种改变增加了支持分区修剪yyyy-MM-dd作为date_format生成的列。

  • 操作系统安全更新。

• 2023年2月16日

  • (火花- 30220)使使用/存在于子查询过滤器外的节点

  • 操作系统安全更新。

• 2023年1月31日

  • 表类型的JDBC表默认现在外部。

• 2023年1月18日

  • Azure突触连接器现在返回一个更具描述性的错误消息,当一列或分号等名称包含无效字符。在这种情况下,将返回以下信息:Azure突触分析失败的来执行的JDBC查询生产通过的连接器。使确定列的名字做不包括任何无效的字符这样的作为“;”或空格。

  • (火花- 38277)[SS]明确写批处理后RocksDB商店的提交状态

  • (火花- 41199)[SS]解决度量问题当DSv1 co-used流源和DSv2流源

  • (火花- 41198)[SS]修复指标在流查询CTE和DSv1流源

  • (火花- 41339)[SQL]关闭并重新创建RocksDB写批处理而不是清算

  • (火花- 41732)基于[SQL] [SS]应用树各种规则SessionWindowing修剪

  • 操作系统安全更新。

• 2022年11月29日

  • 用户可以配置前导和尾随空白的行为写数据时使用红移的连接器。添加了以下选项来控制空白处理:

    • csvignoreleadingwhitespace当设置为真正的期间,除去前导空白值时写道tempformat被设置为CSV或CSVGZIP。空白保留配置设置的时候出现假。默认情况下,这个值是真正的。

    • csvignoretrailingwhitespace当设置为真正的从价值观,删除空格时写道tempformat被设置为CSV或CSVGZIP。空白保留配置设置的时候出现假。默认情况下,这个值是真正的。

  • JSON解析固定一个缺陷自动加载程序所有列左作为字符串(时cloudFiles.inferColumnTypes没有设置或设置假)和嵌套包含的JSON对象。

  • 操作系统安全更新。

• 2022年11月15日

  • Apache commons-text 1.10.0升级。

  • (火花- 40646)JSON解析结构、地图和数组已经固定,所以当一个记录不匹配模式的一部分,其余的记录仍然可以正确解析,而不是返回null。为改善行为,选择集spark.sql.json.enablePartialResults来真正的。国旗是禁用默认保存原来的行为。

  • (火花- 40292)[SQL]修复列名在“arrays_zip”功能从嵌套的结构体数组是引用

  • 操作系统安全更新。

• 2022年11月1日

  • 固定的一个问题,如果一个增量表有一个用户定义的列命名_change_type,但改变数据提要残疾人在表,数据列运行时错误地充满NULL值吗合并。

  • 固定的问题自动加载程序,文件可以复制在同一个micro-batch当allowOverwrites启用了

  • (火花- 40697)[SQL]添加读字符填充覆盖外部数据文件

  • (火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息

  • 操作系统安全更新。

• 2022年10月18日

  • 操作系统安全更新。

• 2022年10月5日

  • (火花- 40468)[SQL]修复列在CSV修剪腐败的记录被选中

  • 操作系统安全更新。

• 2022年9月22日

  • 用户可以设置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。启用”、“真实”)重新启用本地ADLS Gen2汽车加载程序清单。本机清单之前关闭由于性能问题,但可能导致存储成本的增加客户。

  • (火花- 40315)[SQL] ArrayBasedMapData为文字添加hashCode ()

  • (火花- 40213)[SQL]支持ASCII值转换latin - 1个字符

  • (火花- 40380)[SQL]修正常数合并InvokeLike避免non-serializable文字嵌入到计划中

  • (火花- 38404)[SQL]时提高CTE决议一个嵌套CTE外部CTE的引用

  • (火花- 40089)[SQL]修复排序十进制类型

  • (火花- 39887)[SQL] RemoveRedundantAliases应该保持独特的别名,使投影的输出节点

• 2022年9月6日

  • (火花- 40235)(核心)使用可中断锁而不是同步Executor.updateDependencies ()

  • (火花- 40218)[SQL]分组应该保存分组列集

  • (火花- 39976)[SQL] ArrayIntersect应该在左表达式正确处理null

  • (火花- 40053)[心][SQL][测试]添加假设动态取消案例需要Python运行时环境

  • (火花- 35542)(核心)(ML)解决办法:Bucketizer创建多个列的参数splitsArray inputCols outputCols不能加载后保存

  • (火花- 40079)(核心)添加输入为空inputCols验证输入的情况

• 2022年8月24日

  • (火花- 39983)(核心)[SQL]不缓存非系列化广播在司机的关系

  • (火花- 39775)(核心)(AVRO)禁用验证解析AVRO模式时的默认值

  • (火花- 39962)(PYTHON] [SQL]应用投影当组属性是空的

  • (火花- 37643)[SQL]当charVarcharAsString是真的,char数据类型谓词查询应该跳过rpadding规则

  • 操作系统安全更新。

• 2022年8月9日

  • (火花- 39847)在RocksDBLoader.loadLibrary解决竞态条件()如果调用者线程中断

  • (火花- 39731)[SQL]在CSV和JSON数据源解决问题时,在“名称”格式解析日期更正时间解析器的政策

  • 操作系统安全更新。

• 2022年7月27日,

  • (火花- 39625)[SQL]添加Dataset.as (StructType)

  • (火花- 39689)支持2-charslineSep在CSV数据源

  • (火花- 39104)[SQL] InMemoryRelation # isCachedColumnBuffersLoaded应该是线程安全的

  • (火花- 39570)[SQL]内联表应该允许表达式与别名

  • (火花- 39702)(核心)减少内存开销TransportCipher共享byteRawChannel EncryptedMessage使用美元

  • (火花- 39575)[AVRO]添加ByteBuffer #后倒带ByteBuffer # AvroDeserializer

  • (火花- 39476)[SQL]禁用打开时优化铸从长/双浮动或整数浮动

  • (火花- 38868)[SQL]不传播异常过滤器谓词时优化外部连接

  • 操作系统安全更新。

• 2022年7月20日

  • 使三角洲合并操作结果一致的来源是不确定的。

  • (火花- 39355)[SQL]构建UnresolvedAttribute单柱使用引用

  • (火花- 39548)[SQL] CreateView命令窗口查询子句打错了窗口定义没有发现问题

  • (火花- 39419)[SQL]修复ArraySort比较器返回null时抛出异常

  • 禁用自动加载器使用本地云api对Azure目录清单。

  • 操作系统安全更新。

• 2022年7月5日

  • (火花- 39376)[SQL]隐藏重复的明星扩张子查询中的列别名从自然/使用加入

  • 操作系统安全更新。

• 2022年6月15日

  • (火花- 39283)(核心)解决僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之间

  • (火花- 39285)[SQL]引发阅读文件时不应检查字段名称

  • (火花- 34096)[SQL]提高性能对于nth_value忽略null /抵消窗口

  • (火花- 36718)[SQL]跟踪解决isExtractOnly检查CollapseProject

• 2022年6月2日

  • (火花- 39093)[SQL]避免codegen编译错误当year-month间隔或白天间隔除以一个积分

  • (火花- 38990)[SQL]避免NullPointerException评估date_trunc / trunc格式时作为参考

  • 操作系统安全更新。

• 2022年5月18日

  • 修复一个潜在的本机内存泄漏的自动加载程序。

  • (火花- 38918)[SQL]嵌套列修剪应该过滤掉属性不属于当前的关系

  • (火花- 37593)(核心)默认页面大小减少LONG_ARRAY_OFFSET如果G1GC和ON_HEAP使用

  • (火花- 39084)[PYSPARK]修复df.rdd.isEmpty()通过使用TaskContext停止迭代器任务完成

  • (火花- 32268)[SQL]添加ColumnPruning injectBloomFilter

  • (火花- 38974)[SQL]过滤器中与给定的数据库名称注册函数列表功能

  • (火花- 38931)[SS]创建dfs根目录为RocksDBFileManager未知数量的钥匙1日检查站

  • 操作系统安全更新。

• 2022年4月19日

  • 从版本1.11.655 1.12.1899升级Java AWS SDK。

  • 固定一个问题与notebook-scoped库不工作在批处理流媒体工作。

  • (火花- 38616)[SQL]跟踪SQL查询文本TreeNode催化剂

  • 操作系统安全更新。

• 2022年4月6日

  • 下面的火花与这个版本现在可以使用SQL函数:

    • timestampadd ()和返回():添加一个时间单位指定一个时间戳的表情。

    • timestampdiff ()和datediff ():计算两个时间戳之间的时差在指定单元表达式。

  • 1.12.2 Parquet-MR已经升级

  • 改进支持广泛的模式在铺文件

  • (火花- 38631)(核心)使用java实现un-tarring Utils.unpack

  • (火花- 38509)(火花- 38481)择优挑选3 timestmapadd / diff相关变化

  • (火花- 38523)[SQL]修复指的腐败记录列从CSV

  • (火花- 38237)[SQL] [SS]允许ClusteredDistribution需要完整的集群键

  • (火花- 38437)从数据源[SQL]宽大的序列化datetime

  • (火花- 38180)[SQL]允许安全up-cast等式谓词表达式相关

  • (火花- 38155)[SQL]不允许不同的骨料在横向与不支持的子查询谓词

  • 操作系统安全更新。

砖运行时的10.3(不支持)

看到砖运行时的10.3(不支持)。

• 2022年7月27日,

  • (火花- 39689)支持2-charslineSep在CSV数据源

  • (火花- 39104)[SQL] InMemoryRelation # isCachedColumnBuffersLoaded应该是线程安全的

  • (火花- 39702)(核心)减少内存开销TransportCipher共享byteRawChannel EncryptedMessage使用美元

  • 操作系统安全更新。

• 2022年7月20日

  • 使三角洲合并操作结果一致的来源是不确定的。

  • (火花- 39476)[SQL]禁用打开时优化铸从长/双浮动或整数浮动

  • (火花- 39548)[SQL] CreateView命令窗口查询子句打错了窗口定义没有发现问题

  • (火花- 39419)[SQL]修复ArraySort比较器返回null时抛出异常

  • 操作系统安全更新。

• 2022年7月5日

  • (火花- 39376)[SQL]隐藏重复的明星扩张子查询中的列别名从自然/使用加入

  • 操作系统安全更新。

• 2022年6月15日

  • (火花- 39283)(核心)解决僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之间

  • (火花- 39285)[SQL]引发阅读文件时不应检查字段名称

  • (火花- 34096)[SQL]提高性能对于nth_value忽略null /抵消窗口

  • (火花- 36718)[SQL]跟踪解决isExtractOnly检查CollapseProject

• 2022年6月2日

  • (火花- 38990)[SQL]避免NullPointerException评估date_trunc / trunc格式时作为参考

  • 操作系统安全更新。

• 2022年5月18日

  • 修复一个潜在的本机内存泄漏的自动加载程序。

  • (火花- 38918)[SQL]嵌套列修剪应该过滤掉属性不属于当前的关系

  • (火花- 37593)(核心)默认页面大小减少LONG_ARRAY_OFFSET如果G1GC和ON_HEAP使用

  • (火花- 39084)[PYSPARK]修复df.rdd.isEmpty()通过使用TaskContext停止迭代器任务完成

  • (火花- 32268)[SQL]添加ColumnPruning injectBloomFilter

  • (火花- 38974)[SQL]过滤器中与给定的数据库名称注册函数列表功能

  • (火花- 38889)[SQL]编译布尔列过滤器使用该数据源的一些类型

  • 操作系统安全更新。

• 2022年5月4日

  • 从版本1.11.655 1.12.1899升级Java AWS SDK。

• 2022年4月19日

  • (火花- 38616)[SQL]跟踪SQL查询文本TreeNode催化剂

  • 操作系统安全更新。

• 2022年4月6日

  • (火花- 38631)(核心)使用java实现un-tarring Utils.unpack

  • 操作系统安全更新。

• 2022年3月22日

  • 改变当前工作目录的笔记本高并发性集群表访问控制或凭据透传启用用户的主目录。以前,工作目录/砖/驱动程序。

  • (火花- 38437)从数据源[SQL]宽大的序列化datetime

  • (火花- 38180)[SQL]允许安全up-cast等式谓词表达式相关

  • (火花- 38155)[SQL]不允许不同的骨料在横向与不支持的子查询谓词

  • (火花- 38325)[SQL] ANSI模式:在HashJoin.extractKeyExprAt避免潜在的运行时错误()

• 2022年3月14日,

  • 改善在三角洲湖为空交易事务冲突检测。

  • (火花- 38185)[SQL]解决数据不正确如果聚合函数是空的

  • (火花- 38318)[SQL]回归时替换数据视图

  • (火花- 38236)[SQL]绝对创建/修改表中指定的文件路径被视为相对的

  • (火花- 35937)[SQL]从时间戳中提取日期字段应该在ANSI模式下工作

  • (火花- 34069)[SQL]杀死障碍任务应该尊重SPARK_JOB_INTERRUPT_ON_CANCEL

  • (火花- 37707)[SQL]允许存储TimestampNTZ之间的分配和日期/时间戳

• 2022年2月23日

  • (火花- 27442)[SQL]删除检查字段名读/写数据时拼花

砖运行时的10.2(不支持)

看到砖运行时的10.2(不支持)。

• 2022年6月15日

  • (火花- 39283)(核心)解决僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之间

  • (火花- 39285)[SQL]引发阅读文件时不应检查字段名称

  • (火花- 34096)[SQL]提高性能对于nth_value忽略null /抵消窗口

• 2022年6月2日

  • (火花- 38918)[SQL]嵌套列修剪应该过滤掉属性不属于当前的关系

  • (火花- 38990)[SQL]避免NullPointerException评估date_trunc / trunc格式时作为参考

  • 操作系统安全更新。

• 2022年5月18日

  • 修复一个潜在的本机内存泄漏的自动加载程序。

  • (火花- 39084)[PYSPARK]修复df.rdd.isEmpty()通过使用TaskContext停止迭代器任务完成

  • (火花- 38889)[SQL]编译布尔列过滤器使用该数据源的一些类型

  • (火花- 38931)[SS]创建dfs根目录为RocksDBFileManager未知数量的钥匙1日检查站

  • 操作系统安全更新。

• 2022年5月4日

  • 从版本1.11.655 1.12.1899升级Java AWS SDK。

• 2022年4月19日

  • 操作系统安全更新。

  • 各种各样的bug修复。

• 2022年4月6日

  • (火花- 38631)(核心)使用java实现un-tarring Utils.unpack

  • 操作系统安全更新。

• 2022年3月22日

  • 改变当前工作目录的笔记本高并发性集群表访问控制或凭据透传启用用户的主目录。以前,工作目录/砖/驱动程序。

  • (火花- 38437)从数据源[SQL]宽大的序列化datetime

  • (火花- 38180)[SQL]允许安全up-cast等式谓词表达式相关

  • (火花- 38155)[SQL]不允许不同的骨料在横向与不支持的子查询谓词

  • (火花- 38325)[SQL] ANSI模式:在HashJoin.extractKeyExprAt避免潜在的运行时错误()

• 2022年3月14日,

  • 改善在三角洲湖为空交易事务冲突检测。

  • (火花- 38185)[SQL]解决数据不正确如果聚合函数是空的

  • (火花- 38318)[SQL]回归时替换数据视图

  • (火花- 38236)[SQL]绝对创建/修改表中指定的文件路径被视为相对的

  • (火花- 35937)[SQL]从时间戳中提取日期字段应该在ANSI模式下工作

  • (火花- 34069)[SQL]杀死障碍任务应该尊重SPARK_JOB_INTERRUPT_ON_CANCEL

  • (火花- 37707)[SQL]允许存储TimestampNTZ之间的分配和日期/时间戳

• 2022年2月23日

  • (火花- 37577)[SQL]修复ClassCastException: ArrayType不能为生成StructType修剪

• 2022年2月8日

  • (火花- 27442)[SQL]删除检查字段名读/写数据时拼花。

  • 操作系统安全更新。

• 2022年2月1日

  • 操作系统安全更新。

• 2022年1月26日

  • 固定一臭虫,其并发事务三角洲表上可以提交顺序non-serializable在某些罕见的情况下。

  • 固定一臭虫,其优化命令启用ANSI SQL方言时可能会失败。

• 2022年1月19日

  • 介绍了支持内联临时凭证复制到加载源数据不需要SQL ANY_FILE权限

  • Bug修复和安全改进。

• 2021年12月20日

  • 固定一个罕见的bug,镶花的列索引过滤。

砖运行时的10.1(不支持)

看到砖运行时的10.1(不支持)。

• 2022年6月15日

  • (火花- 39283)(核心)解决僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之间

  • (火花- 39285)[SQL]引发阅读文件时不应检查字段名称

  • (火花- 34096)[SQL]提高性能对于nth_value忽略null /抵消窗口

• 2022年6月2日

  • 操作系统安全更新。

• 2022年5月18日

  • 修复一个潜在的本机内存泄漏的自动加载程序。

  • (火花- 39084)[PYSPARK]修复df.rdd.isEmpty()通过使用TaskContext停止迭代器任务完成

  • (火花- 38889)[SQL]编译布尔列过滤器使用该数据源的一些类型

  • 操作系统安全更新。

• 2022年4月19日

  • (火花- 37270)[SQL]修复可折叠推入CaseWhen分支如果elseValue是空的

  • 操作系统安全更新。

• 2022年4月6日

  • (火花- 38631)(核心)使用java实现un-tarring Utils.unpack

  • 操作系统安全更新。

• 2022年3月22日

  • (火花- 38437)从数据源[SQL]宽大的序列化datetime

  • (火花- 38180)[SQL]允许安全up-cast等式谓词表达式相关

  • (火花- 38155)[SQL]不允许不同的骨料在横向与不支持的子查询谓词

  • (火花- 38325)[SQL] ANSI模式:在HashJoin.extractKeyExprAt避免潜在的运行时错误()

• 2022年3月14日,

  • 改善在三角洲湖为空交易事务冲突检测。

  • (火花- 38185)[SQL]解决数据不正确如果聚合函数是空的

  • (火花- 38318)[SQL]回归时替换数据视图

  • (火花- 38236)[SQL]绝对创建/修改表中指定的文件路径被视为相对的

  • (火花- 35937)[SQL]从时间戳中提取日期字段应该在ANSI模式下工作

  • (火花- 34069)[SQL]杀死障碍任务应该尊重SPARK_JOB_INTERRUPT_ON_CANCEL

  • (火花- 37707)[SQL]允许存储TimestampNTZ之间的分配和日期/时间戳

• 2022年2月23日

  • (火花- 37577)[SQL]修复ClassCastException: ArrayType不能为生成StructType修剪

• 2022年2月8日

  • (火花- 27442)[SQL]删除检查字段名读/写数据时拼花。

  • 操作系统安全更新。

• 2022年2月1日

  • 操作系统安全更新。

• 2022年1月26日

  • 固定一臭虫,其并发事务三角洲表上可以提交顺序non-serializable在某些罕见的情况下。

  • 固定一臭虫,其优化命令启用ANSI SQL方言时可能会失败。

• 2022年1月19日

  • 介绍了支持内联临时凭证复制到加载源数据不需要SQL ANY_FILE权限

  • 固定一个内存不足的问题在一定条件下与查询结果缓存。

  • 固定的问题使用数据库当用户当前目录切换到非默认目录。

  • Bug修复和安全改进。

  • 操作系统安全更新。

• 2021年12月20日

  • 固定一个罕见的bug,镶花的列索引过滤。

砖运行时的10.0(不支持)

看到砖运行时的10.0(不支持)。

• 2022年4月19日

  • (火花- 37270)[SQL]修复可折叠推入CaseWhen分支如果elseValue是空的

  • 操作系统安全更新。

• 2022年4月6日

  • (火花- 38631)(核心)使用java实现un-tarring Utils.unpack

  • 操作系统安全更新。

• 2022年3月22日

  • (火花- 38437)从数据源[SQL]宽大的序列化datetime

  • (火花- 38180)[SQL]允许安全up-cast等式谓词表达式相关

  • (火花- 38155)[SQL]不允许不同的骨料在横向与不支持的子查询谓词

  • (火花- 38325)[SQL] ANSI模式:在HashJoin.extractKeyExprAt避免潜在的运行时错误()

• 2022年3月14日,

  • 改善在三角洲湖为空交易事务冲突检测。

  • (火花- 38185)[SQL]解决数据不正确如果聚合函数是空的

  • (火花- 38318)[SQL]回归时替换数据视图

  • (火花- 38236)[SQL]绝对创建/修改表中指定的文件路径被视为相对的

  • (火花- 35937)[SQL]从时间戳中提取日期字段应该在ANSI模式下工作

  • (火花- 34069)[SQL]杀死障碍任务应该尊重SPARK_JOB_INTERRUPT_ON_CANCEL

  • (火花- 37707)[SQL]允许存储TimestampNTZ之间的分配和日期/时间戳

• 2022年2月23日

  • (火花- 37577)[SQL]修复ClassCastException: ArrayType不能为生成StructType修剪

• 2022年2月8日

  • (火花- 27442)[SQL]删除检查字段名读/写数据时拼花。

  • (火花- 36905)[SQL]解决阅读蜂巢的观点不明确的列名

  • (火花- 37859)[SQL]修复问题,创建SQL表与火花JDBC 3.1与3.2不可读的

  • 操作系统安全更新。

• 2022年2月1日

  • 操作系统安全更新。

• 2022年1月26日

  • 固定一臭虫,其并发事务三角洲表上可以提交顺序non-serializable在某些罕见的情况下。

  • 固定一臭虫,其优化命令启用ANSI SQL方言时可能会失败。

• 2022年1月19日

  • Bug修复和安全改进。

  • 操作系统安全更新。

• 2021年12月20日

  • 固定一个罕见的bug,镶花的列索引过滤。

• 2021年11月9日

  • 引入额外的配置的旗帜,使细粒ANSI行为的控制。

• 2021年11月4日

  • 固定一个错误可能导致结构化流流ArrayIndexOutOfBoundsException失败

  • 固定一个竞争条件,可能会导致一个查询失败这样一个IOExceptionjava.io.IOException:没有文件系统为计划或者可能会导致修改sparkContext.hadoopConfiguration在查询不生效。

  • Apache火花连接器三角洲共享是0.2.0升级。

• 2021年11月30日

  • 固定时间戳字符串解析一个时区的问题没有一个冒号被认为是无效的。

  • 固定一个内存不足的问题在一定条件下与查询结果缓存。

  • 固定的问题使用数据库当用户当前目录切换到非默认目录。

砖运行时9.1 LTS

看到砖运行时9.1 LTS。

• 2023年6月23日

  • Snowflake-jdbc库升级3.13.29解决安全问题。

  • 操作系统安全更新。

• 2023年6月15日

  • (火花- 43098)[SQL]修复正确性计数错误当标量子查询group by子句

  • (火花- 43156)(火花- 43098)[SQL]扩展标量子查询统计错误测试decorrelateInnerQuery禁用

  • (火花- 40862)[SQL]支持非聚集在RewriteCorrelatedScalarSubquery子查询

  • 操作系统安全更新。

• 2023年6月2日

  • 的JSON解析器failOnUnknownFields模式中的记录下降DROPMALFORMED模式和直接失败FAILFAST模式。

  • 修正了在数据解析JSON获救,防止UnknownFieldException。

  • 修正了在自动加载程序,不同的源文件格式不一致,所提供的模式不包括推断分区。这个问题可能会导致意想不到的失败当阅读文件缺失列推断分区模式。

  • (火花- 37520)[SQL]添加startswith ()和endswith ()字符串函数

  • (火花- 43413)[SQL]固定在子查询ListQuerynullability。

  • 操作系统安全更新。

• 2023年5月17日

  • 操作系统安全更新。

• 2023年4月25日

  • 操作系统安全更新。

• 2023年4月11日

  • 固定一臭虫,其自动加载程序模式演化可以进入无限不循环,当检测到一个新列的模式嵌套的JSON对象。

  • (火花- 42967)(核心)修复SparkListenerTaskStart。stageAttemptId当任务开始阶段后取消。

• 2023年3月29日

  • 操作系统安全更新。

• 2023年3月14日,

  • (火花- 42484)[SQL] UnsafeRowUtils更好的错误消息

  • 各种各样的bug修复。

• 2023年2月28日

  • 用户现在可以读和写一些三角洲表,要求读者版本3和作家版本7,通过使用砖运行时9.1 LTS或更高版本。成功,表功能表中列出的协议必须由砖的当前版本支持运行时。

  • 操作系统安全更新。

• 2023年2月16日

  • 操作系统安全更新。

• 2023年1月31日

  • 表类型的JDBC表默认现在外部。

• 2023年1月18日

  • 操作系统安全更新。

• 2022年11月29日

  • JSON解析固定一个缺陷自动加载程序所有列左作为字符串(时cloudFiles.inferColumnTypes没有设置或设置假)和嵌套包含的JSON对象。

  • 操作系统安全更新。

• 2022年11月15日

  • Apache commons-text 1.10.0升级。

  • 操作系统安全更新。

  • 各种各样的bug修复。

• 2022年11月1日

  • 固定的一个问题,如果一个增量表有一个用户定义的列命名_change_type,但改变数据提要残疾人在表,数据列运行时错误地充满NULL值吗合并。

  • 固定的问题自动加载程序,文件可以复制在同一个micro-batch当allowOverwrites启用了

  • (火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息

  • 操作系统安全更新。

• 2022年10月18日

  • 操作系统安全更新。

• 2022年10月5日

  • 各种各样的bug修复。

  • 操作系统安全更新。

• 2022年9月22日

  • 用户可以设置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。启用”、“真实”)重新启用本地ADLS Gen2汽车加载程序清单。本机清单之前关闭由于性能问题,但可能导致存储成本的增加客户。

  • (火花- 40315)[SQL] ArrayBasedMapData为文字添加hashCode ()

  • (火花- 40089)[SQL]修复排序十进制类型

  • (火花- 39887)[SQL] RemoveRedundantAliases应该保持独特的别名,使投影的输出节点

• 2022年9月6日

  • (火花- 40235)(核心)使用可中断锁而不是同步Executor.updateDependencies ()

  • (火花- 35542)(核心)(ML)解决办法:Bucketizer创建多个列的参数splitsArray inputCols outputCols不能加载后保存

  • (火花- 40079)(核心)添加输入为空inputCols验证输入的情况

• 2022年8月24日

  • (火花- 39666)[SQL] UnsafeProjection使用。创建尊重spark.sql.codegen.factoryMode在ExpressionEncoder

  • (火花- 39962)(PYTHON] [SQL]应用投影当组属性是空的

  • 操作系统安全更新。

• 2022年8月9日

  • 操作系统安全更新。

• 2022年7月27日,

  • 使三角洲合并操作结果一致的来源是不确定的。

  • (火花- 39689)支持2-charslineSep在CSV数据源

  • (火花- 39575)[AVRO]添加ByteBuffer #后倒带ByteBuffer # AvroDeserializer

  • (火花- 37392)[SQL]推断时修复性能缺陷产生的约束

  • 操作系统安全更新。

• 2022年7月13日

  • (火花- 39419)[SQL]修复ArraySort比较器返回null时抛出异常

  • 禁用自动加载器使用本地云api对Azure目录清单。

  • 操作系统安全更新。

• 2022年7月5日

  • 操作系统安全更新。

  • 各种各样的bug修复。

• 2022年6月15日

  • (火花- 39283)(核心)解决僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之间

• 2022年6月2日

  • (火花- 34554)[SQL]在ColumnarMap实现copy()方法

  • 操作系统安全更新。

• 2022年5月18日

  • 修复一个潜在的本机内存泄漏的自动加载程序。

  • 从1.11.655 1.11.678升级AWS SDK版本。

  • (火花- 38918)[SQL]嵌套列修剪应该过滤掉属性不属于当前的关系

  • (火花- 39084)[PYSPARK]修复df.rdd.isEmpty()通过使用TaskContext停止迭代器任务完成

  • 操作系统安全更新。

• 2022年4月19日

  • 操作系统安全更新。

  • 各种各样的bug修复。

• 2022年4月6日

  • (火花- 38631)(核心)使用java实现un-tarring Utils.unpack

  • 操作系统安全更新。

• 2022年3月22日

  • 改变当前工作目录的笔记本高并发性集群表访问控制或凭据透传启用用户的主目录。以前,工作目录/砖/驱动程序。

  • (火花- 38437)从数据源[SQL]宽大的序列化datetime

  • (火花- 38180)[SQL]允许安全up-cast等式谓词表达式相关

  • (火花- 38155)[SQL]不允许不同的骨料在横向与不支持的子查询谓词

  • (火花- 27442)[SQL]删除检查字段名读/写数据时拼花

• 2022年3月14日,

  • (火花- 38236)[SQL]绝对创建/修改表中指定的文件路径被视为相对的

  • (火花- 34069)[SQL]杀死障碍任务应该尊重SPARK_JOB_INTERRUPT_ON_CANCEL

• 2022年2月23日

  • (火花- 37859)[SQL]不检查期间为元数据模式的比较

• 2022年2月8日

  • (火花- 27442)[SQL]删除检查字段名读/写数据时拼花。

  • 操作系统安全更新。

• 2022年2月1日

  • 操作系统安全更新。

• 2022年1月26日

  • 固定一臭虫,其并发事务三角洲表上可以提交顺序non-serializable在某些罕见的情况下。

  • 固定一臭虫,其优化命令启用ANSI SQL方言时可能会失败。

• 2022年1月19日

  • Bug修复和安全改进。

  • 操作系统安全更新。

• 2021年11月4日

  • 固定一个错误可能导致结构化流流ArrayIndexOutOfBoundsException失败

  • 固定一个竞争条件,可能会导致一个查询失败这样一个IOExceptionjava.io.IOException:没有文件系统为计划或者可能会导致修改sparkContext.hadoopConfiguration在查询不生效。

  • Apache火花连接器三角洲共享是0.2.0升级。

• 2021年10月20日

  • BigQuery连接器从0.18.1 0.22.2升级。这增加了支持BigNumeric类型。

砖运行时的9.0(不支持)

看到砖运行时的9.0(不支持)。

• 2022年2月8日

  • 操作系统安全更新。

• 2022年2月1日

  • 操作系统安全更新。

• 2022年1月26日

  • 固定一臭虫,其优化命令启用ANSI SQL方言时可能会失败。

• 2022年1月19日

  • Bug修复和安全改进。

  • 操作系统安全更新。

• 2021年11月4日

  • 固定一个错误可能导致结构化流流ArrayIndexOutOfBoundsException失败

  • 固定一个竞争条件,可能会导致一个查询失败这样一个IOExceptionjava.io.IOException:没有文件系统为计划或者可能会导致修改sparkContext.hadoopConfiguration在查询不生效。

  • Apache火花连接器三角洲共享是0.2.0升级。

• 2021年9月22日

  • 固定一个错误引发数组与空字符串

• 2021年9月15日

  • 固定一个竞争条件,可能会导致一个查询失败这样一个IOExceptionjava.io.IOException:org.apache.spark.SparkException:失败的来得到broadcast_x_piecey的broadcast_x。

• 2021年9月8日

  • 添加支持模式名称(databaseName.schemaName.tableName格式)的目标表名Azure突触连接器。

  • 添加几何和地理JDBC类型支持火花SQL。

  • (火花- 33527)[SQL]扩展解码的功能是一致的与主流数据库。

  • (火花- 36532)[心][3.1]固定的僵局CoarseGrainedExecutorBackend.onDisconnected为了避免executorsconnected为了防止执行人关闭挂。

• 2021年8月25日,

  • SQL服务器驱动程序库是9.2.1.jre8升级。

  • 雪花连接器是2.9.0升级。

  • 固定失效链接笔记本AutoML实验页面上最好的试验。

砖运行时的8.4(不支持)

看到砖运行时的8.4(不支持)。

• 2022年1月19日

  • 操作系统安全更新。

• 2021年11月4日

  • 固定一个错误可能导致结构化流流ArrayIndexOutOfBoundsException失败

  • 固定一个竞争条件,可能会导致一个查询失败这样一个IOExceptionjava.io.IOException:没有文件系统为计划或者可能会导致修改sparkContext.hadoopConfiguration在查询不生效。

  • Apache火花连接器三角洲共享是0.2.0升级。

• 2021年9月22日

  • 火花JDBC驱动程序是2.6.19.1030升级

  • (火花- 36734)1.5.1 [SQL]升级兽人

• 2021年9月15日

  • 固定一个竞争条件,可能会导致一个查询失败这样一个IOExceptionjava.io.IOException:org.apache.spark.SparkException:失败的来得到broadcast_x_piecey的broadcast_x。

  • 操作系统安全更新。

• 2021年9月8日

  • (火花- 36532)[心][3.1]固定的僵局CoarseGrainedExecutorBackend.onDisconnected为了避免executorsconnected为了防止执行人关闭挂。

• 2021年8月25日,

  • SQL服务器驱动程序库是9.2.1.jre8升级。

  • 雪花连接器是2.9.0升级。

  • 修复bug造成的凭据透传新铺预取优化,用户的透传凭证文件访问期间可能不被发现。

• 2021年8月11日,

  • 修复一个RocksDB不相容问题,防止旧砖8.4运行时。这对于自动加载器修复向前兼容性,复制成和有状态的流媒体应用程序。

  • 修复一个缺陷与S3路径自动加载器使用时自动加载程序没有路径选择。

  • 修复一个缺陷,AWS STS配置端点亚马逊运动运动源端点。

  • 修复一个缺陷在使用自动加载器与失配头文件读取CSV文件。如果列名称不匹配,用null列会填写。现在,如果提供了模式,它假定的模式是一样的,只保存列不匹配如果启用了获救的数据列。

  • 添加一个新选项externalDataSource到Azure突触连接器删除控制许可要求数据库混合基的阅读。

• 2021年7月29日

  • (火花- 36034)(构建)变基datetime下推过滤器拼花

  • (火花- 36163)(构建)传播正确的JDBC提供者和JDBC连接器添加属性connectionProvider选项

砖运行时的8.3(不支持)

看到砖运行时的8.3(不支持)。

• 2022年1月19日

  • 操作系统安全更新。

• 2021年11月4日

  • 固定一个错误可能导致结构化流流ArrayIndexOutOfBoundsException失败

  • 固定一个竞争条件,可能会导致一个查询失败这样一个IOExceptionjava.io.IOException:没有文件系统为计划或者可能会导致修改sparkContext.hadoopConfiguration在查询不生效。

• 2021年9月22日

  • 火花JDBC驱动程序是2.6.19.1030升级

• 2021年9月15日

  • 固定一个竞争条件,可能会导致一个查询失败这样一个IOExceptionjava.io.IOException:org.apache.spark.SparkException:失败的来得到broadcast_x_piecey的broadcast_x。

  • 操作系统安全更新。

• 2021年9月8日

  • (火花- 35700)[SQL] [WARMFIX]读char、varchar兽人表时创建并由外部系统。

  • (火花- 36532)[心][3.1]固定的僵局CoarseGrainedExecutorBackend.onDisconnected为了避免executorsconnected为了防止执行人关闭挂。

• 2021年8月25日,

  • SQL服务器驱动程序库是9.2.1.jre8升级。

  • 雪花连接器是2.9.0升级。

  • 修复bug造成的凭据透传新铺预取优化,用户的透传凭证文件访问期间可能不被发现。

• 2021年8月11日,

  • 修复一个缺陷,AWS STS配置端点亚马逊运动运动源端点。

  • 修复一个缺陷在使用自动加载器与失配头文件读取CSV文件。如果列名称不匹配,用null列会填写。现在,如果提供了模式,它假定的模式是一样的,只保存列不匹配如果启用了获救的数据列。

• 2021年7月29日

  • 升级数据砖雪花火花2.9.0-spark-3.1连接器

  • (火花- 36034)(构建)变基datetime下推过滤器拼花

  • (火花- 36163)(构建)传播正确的JDBC提供者和JDBC连接器添加属性connectionProvider选项

• 2021年7月14日

  • 修正了在使用列名Azure突触连接的点。

  • 介绍了database.schema.table格式突触连接器。

  • 增加了提供的支持databaseName.schemaName.tableName格式表而不是只作为目标schemaName.tableName或的表。

• 2021年6月15日

  • 固定一个NoSuchElementException错误在三角洲湖优化写道,编写大量数据时可能发生和遇到执行人损失

  • 添加SQL创建集团,下降集团,改变集团,显示组,显示用户命令。有关详细信息,请参见安全声明和显示报表。

砖运行时的8.2(不支持)

看到砖运行时的8.2(不支持)。

• 2021年9月22日

  • 操作系统安全更新。

• 2021年9月15日

  • 固定一个竞争条件,可能会导致一个查询失败这样一个IOExceptionjava.io.IOException:org.apache.spark.SparkException:失败的来得到broadcast_x_piecey的broadcast_x。

• 2021年9月8日

  • (火花- 35700)[SQL] [WARMFIX]读char、varchar兽人表时创建并由外部系统。

  • (火花- 36532)[心][3.1]固定的僵局CoarseGrainedExecutorBackend.onDisconnected为了避免executorsconnected为了防止执行人关闭挂。

• 2021年8月25日,

  • 雪花连接器是2.9.0升级。

• 2021年8月11日,

  • 修复一个缺陷,AWS STS配置端点亚马逊运动运动源端点。

  • (火花- 36034)[SQL]变基datetime铺下推过滤器。

• 2021年7月29日

  • 升级数据砖雪花火花2.9.0-spark-3.1连接器

  • (火花- 36163)(构建)传播正确的JDBC提供者和JDBC连接器添加属性connectionProvider选项

• 2021年7月14日

  • 修正了在使用列名Azure突触连接的点。

  • 介绍了database.schema.table格式突触连接器。

  • 增加了提供的支持databaseName.schemaName.tableName格式表而不是只作为目标schemaName.tableName或的表。

  • 固定防止用户的故障时间旅行与三角洲表老版本可用。

• 2021年6月15日

  • 修复一个NoSuchElementException错误在三角洲湖优化写道,编写大量数据时可能发生和遇到执行人损失

• 2021年5月26日,

  • Python Python更新安全补丁修复安全漏洞(cve - 2021 - 3177)。

  • 磁盘缓存是默认启用所有GCP实例的除外-highcpu -家庭。为-highcpu -情况下,缓存预配置,但默认情况下禁用。它可以使使用火花相依spark.databricks.io.cache.enabled真正的。

• 2021年4月30日

  • 操作系统安全更新。

  • (火花- 35227)(构建)更新SparkSubmit spark-packages的解析器

  • (火花- 34245)(核心)确保主删除执行人未能发送完成状态

  • 固定一个伯父问题时自动加载程序结构化流进展指标报告。

砖运行时的8.1(不支持)

看到砖运行时的8.1(不支持)。

• 2021年9月22日

  • 操作系统安全更新。

• 2021年9月15日

  • 固定一个竞争条件,可能会导致一个查询失败这样一个IOExceptionjava.io.IOException:org.apache.spark.SparkException:失败的来得到broadcast_x_piecey的broadcast_x。

• 2021年9月8日

  • (火花- 35700)[SQL] [WARMFIX]读char、varchar兽人表时创建并由外部系统。

  • (火花- 36532)[心][3.1]固定的僵局CoarseGrainedExecutorBackend.onDisconnected为了避免executorsconnected为了防止执行人关闭挂。

• 2021年8月25日,

  • 雪花连接器是2.9.0升级。

• 2021年8月11日,

  • 修复一个缺陷,AWS STS配置端点亚马逊运动运动源端点。

  • (火花- 36034)[SQL]变基datetime铺下推过滤器。

• 2021年7月29日

  • 升级数据砖雪花火花2.9.0-spark-3.1连接器

  • (火花- 36163)(构建)传播正确的JDBC提供者和JDBC连接器添加属性connectionProvider选项

• 2021年7月14日

  • 修正了在使用列名Azure突触连接的点。

  • 固定防止用户的故障时间旅行与三角洲表老版本可用。

• 2021年6月15日

  • 修复一个NoSuchElementException错误在三角洲湖优化写道,编写大量数据时可能发生和遇到执行人损失

• 2021年5月26日,

  • Python Python更新安全补丁修复安全漏洞(cve - 2021 - 3177)。

  • 磁盘缓存是默认启用所有GCP实例的除外-highcpu -家庭。为-highcpu -情况下,缓存预配置,但默认情况下禁用。它可以使使用火花相依spark.databricks.io.cache.enabled真正的。

• 2021年4月30日

  • 操作系统安全更新。

  • (火花- 35227)(构建)更新SparkSubmit spark-packages的解析器

  • 固定一个伯父问题时自动加载程序结构化流进展指标报告。

• 2021年4月27日

  • (火花- 34245)(核心)确保主删除执行人未能发送完成状态

  • (火花- 34856)[SQL] ANSI模式:允许铸造复杂类型为字符串类型

  • (火花- 35014)修复PhysicalAggregation模式不重写可折叠的表达式

  • (火花- 34769)[SQL] AnsiTypeCoercion: TypeCollection返回狭隘的转换类型

  • (火花- 34614)[SQL] ANSI模式:将字符串解析错误布尔将抛出异常

  • (火花- 33794)[SQL] ANSI模式:修复NextDay抛出运行时表达式IllegalArgumentException当收到无效输入

砖运行时的8.0(不支持)

看到砖运行时的8.0(不支持)。

• 2021年9月15日

  • 固定一个竞争条件,可能会导致一个查询失败这样一个IOExceptionjava.io.IOException:org.apache.spark.SparkException:失败的来得到broadcast_x_piecey的broadcast_x。

• 2021年8月25日,

  • 雪花连接器是2.9.0升级。

• 2021年8月11日,

  • 修复一个缺陷,AWS STS配置端点亚马逊运动运动源端点。

  • (火花- 36034)[SQL]变基datetime铺下推过滤器。

• 2021年7月29日

  • (火花- 36163)(构建)传播正确的JDBC提供者和JDBC连接器添加属性connectionProvider选项

• 2021年7月14日

  • 修正了在使用列名Azure突触连接的点。

  • 固定防止用户的故障时间旅行与三角洲表老版本可用。

• 2021年5月26日,

  • Python Python更新安全补丁修复安全漏洞(cve - 2021 - 3177)。

  • 磁盘缓存是默认启用所有GCP实例的除外-highcpu -家庭。为-highcpu -情况下,缓存预配置,但默认情况下禁用。它可以使使用火花相依spark.databricks.io.cache.enabled真正的。

  • 使Maven库安装。

• 2021年4月30日

  • 操作系统安全更新。

  • (火花- 35227)(构建)更新SparkSubmit spark-packages的解析器

  • (火花- 34245)(核心)确保主删除执行人未能发送完成状态

• 2021年3月24日

  • (火花- 34681)[SQL]修复bug,完全外洗好的散列连接在构建左侧不相等的条件

  • (火花- 34534)当使用FetchShuffleBlocks获取块修复blockIds秩序

  • (火花- 34613)[SQL]修复视图不捕捉禁用提示配置

• 2021年3月9日

  • (火花- 34543)[SQL]尊重spark.sql.caseSensitive配置解决分区规范在v1集位置

  • (火花- 34392)[SQL]支持ZoneOffset + h: DateTimeUtils毫米。getZoneId

  • (UI)修复的href链接引发DAG可视化

  • (火花- 34436)[SQL]民进党支持像任何/所有的表情

砖运行时的7.6(不支持)

看到砖运行时的7.6(不支持)。

• 2021年8月11日,

  • 修复一个缺陷,AWS STS配置端点亚马逊运动运动源端点。

  • (火花- 36034)[SQL]变基datetime铺下推过滤器。

• 2021年7月29日

  • (火花- 32998)(构建)添加能力覆盖默认远程回购只与内部回购

• 2021年7月14日

  • 固定防止用户的故障时间旅行与三角洲表老版本可用。

• 2021年5月26日,

  • Python Python更新安全补丁修复安全漏洞(cve - 2021 - 3177)。

  • 磁盘缓存是默认启用所有GCP实例的除外-highcpu -家庭。为-highcpu -情况下,缓存预配置,但默认情况下禁用。它可以使使用火花相依spark.databricks.io.cache.enabled真正的。

  • 使Maven库安装。

• 2021年4月30日

  • 操作系统安全更新。

  • (火花- 35227)(构建)更新SparkSubmit spark-packages的解析器

  • (火花- 34245)(核心)确保主删除执行人未能发送完成状态

• 2021年3月24日

  • (火花- 34768)[SQL]尊重Univocity中的默认输入缓冲区的大小

  • (火花- 34534)当使用FetchShuffleBlocks获取块修复blockIds秩序

• 2021年3月9日

  • (仅Azure)固定一个汽车加载程序错误会导致NullPointerException当使用砖7.6运行时的运行一个老自动加载程序流中创建数据砖7.2运行时

  • (UI)修复的href链接引发DAG可视化

  • 未知的叶节点在SizeInBytesOnlyStatsSparkPlanVisitor SparkPlan没有正确处理

  • 恢复的输出模式显示数据库

  • [Delta][8.0, 7.6]固定计算错误文件大小自动逻辑

  • 禁用过时检查δ在磁盘高速缓存表文件

  • [SQL]使用正确的动态范围时修剪建立关键连接提示

  • 禁用char类型支持非sql代码路径

  • 避免在DataFrameReader.schema肺水肿

  • 修复肺水肿时EventGridClient反应没有实体

  • 修复一个读关闭流错误在Azure自动加载程序

  • [SQL]不生成洗牌分区号建议启用先进的时

• 2021年2月24日

  • 升级引发BigQuery连接器v0.18,介绍各种bug修复和支持箭头和Avro迭代器。

  • 固定一个正确性的问题,导致火花拼花时返回不正确的结果文件的小数精度和等级是不同的火花模式。

  • 固定阅读失败问题Microsoft SQL Server包含空间数据类型的表,通过添加几何和地理JDBC类型支持火花SQL。

  • 引入了一个新的配置spark.databricks.hive.metastore.init.reloadFunctions.enabled。这个配置控制建在蜂巢的初始化。当设置为true时,砖重新加载的所有功能的所有数据库用户FunctionRegistry。在蜂巢Metastore这是默认行为。当设置为false,砖禁用这个过程的优化。

  • (火花- 34212)固定从铺阅读十进制数据文件有关的问题。

  • (火花- 34260)[SQL]修复UnresolvedException创建临时视图时两次。

砖运行时的7.5(不支持)

看到砖运行时的7.5(不支持)。

• 2021年5月26日,

  • Python Python更新安全补丁修复安全漏洞(cve - 2021 - 3177)。

  • 磁盘缓存是默认启用所有GCP实例的除外-highcpu -家庭。为-highcpu -情况下,缓存预配置,但默认情况下禁用。它可以使使用火花相依spark.databricks.io.cache.enabled真正的。

  • 使Maven库安装。

• 2021年4月30日

  • 操作系统安全更新。

  • (火花- 35227)(构建)更新SparkSubmit spark-packages的解析器

  • (火花- 34245)(核心)确保主删除执行人未能发送完成状态

• 2021年3月24日

  • (火花- 34768)[SQL]尊重Univocity中的默认输入缓冲区的大小

  • (火花- 34534)当使用FetchShuffleBlocks获取块修复blockIds秩序

• 2021年3月9日

  • (仅Azure)固定一个汽车加载程序错误会导致NullPointerException当使用砖7.5运行时的运行一个老自动加载程序流中创建数据砖7.2运行时。

  • (UI)修复的href链接引发DAG可视化

  • 未知的叶节点在SizeInBytesOnlyStatsSparkPlanVisitor SparkPlan没有正确处理

  • 恢复的输出模式显示数据库

  • 禁用过时检查δ在磁盘高速缓存表文件

  • [SQL]使用正确的动态范围时修剪建立关键连接提示

  • 禁用char类型支持非sql代码路径

  • 避免在DataFrameReader.schema肺水肿

  • 修复肺水肿时EventGridClient反应没有实体

  • 修复一个读关闭流错误在Azure自动加载程序

• 2021年2月24日

  • 升级引发BigQuery连接器v0.18,介绍各种bug修复和支持箭头和Avro迭代器。

  • 固定一个正确性的问题,导致火花拼花时返回不正确的结果文件的小数精度和等级是不同的火花模式。

  • 固定阅读失败问题Microsoft SQL Server包含空间数据类型的表,通过添加几何和地理JDBC类型支持火花SQL。

  • 引入了一个新的配置spark.databricks.hive.metastore.init.reloadFunctions.enabled。这个配置控制建在蜂巢的初始化。当设置为true时,砖重新加载的所有功能的所有数据库用户FunctionRegistry。在蜂巢Metastore这是默认行为。当设置为false,砖禁用这个过程的优化。

  • (火花- 34212)固定从铺阅读十进制数据文件有关的问题。

  • (火花- 34260)[SQL]修复UnresolvedException创建临时视图时两次。

• 2021年2月4日,

  • 固定的回归,防止增量执行查询,设置一个全球限制等选择*从表限制nrows。经历的回归是用户运行查询通过ODBC / JDBC启用了箭头序列化。

  • 介绍了写时间检查蜂巢客户机来防止腐败的蜂巢metastore三角洲的元数据表。

  • 固定一个回归导致DBFS保险丝时无法启动集群环境变量配置包含无效的bash语法。

• 2021年1月20日

  • 固定的回归2021年1月12日维护版本,可能会导致一个不正确的AnalysisException说自我连接的列是模棱两可的。这种回归发生当一个用户加入DataFrame及其派生DataFrame(所谓的自)与下列条件:

    • 这两个DataFrames有常见的列,但自己加入的输出没有共同的列。例如,df.join (df.select(美元“上校”作为“new_col”),气孔导度)

    • 派生DataFrame排除了一些列通过选择、groupBy或窗口。

    • 加入后的联接条件或以下转换Dataframe指的是刺激列。例如,df.join (df.drop (“a”),df (“”)= = =1)

• 2021年1月12日

  • 升级存储Azure SDK 2.3.8 2.3.9。

  • (火花- 33593)[SQL]与二进制向量读者有不正确的数据分区的值

  • (火花- 33480)[SQL]更新char、varchar表的错误消息插入长度检查

砖运行时7.3 LTS

看到砖运行时7.3 LTS。

• 2023年6月23日

  • Snowflake-jdbc库升级3.13.29解决安全问题。

  • 操作系统安全更新。

• 2023年6月15日

  • (火花- 43413)[SQL]修复在子查询ListQuerynullability。

  • 操作系统安全更新。

• 2023年6月2日

  • 修正了在自动加载程序,不同的源文件格式不一致,所提供的模式不包括推断分区。这个问题可能会导致意想不到的失败当阅读文件缺失列推断分区模式。

• 2023年5月17日

  • 操作系统安全更新。

• 2023年4月25日

  • 操作系统安全更新。

• 2023年4月11日

  • (火花- 42967)(核心)修复SparkListenerTaskStart。stageAttemptId当任务开始阶段后取消。

  • 各种各样的bug修复。

• 2023年3月29日

  • 操作系统安全更新。

• 2023年3月14日,

  • 各种各样的bug修复。

• 2023年2月28日

  • 操作系统安全更新。

• 2023年2月16日

  • 操作系统安全更新。

• 2023年1月31日

  • 表类型的JDBC表默认现在外部。

• 2023年1月18日

  • 操作系统安全更新。

• 2022年11月29日

  • 各种各样的bug修复。

• 2022年11月15日

  • Apache commons-text 1.10.0升级。

  • 操作系统安全更新。

  • 各种各样的bug修复。

• 2022年11月1日

  • (火花- 38542)[SQL] UnsafeHashedRelation应该序列化numKeys出来

• 2022年10月18日

  • 操作系统安全更新。

• 2022年10月5日

  • 各种各样的bug修复。

  • 操作系统安全更新。

• 2022年9月22日

  • (火花- 40089)[SQL]修复排序十进制类型

• 2022年9月6日

  • (火花- 35542)(核心)(ML)解决办法:Bucketizer创建多个列的参数splitsArray inputCols outputCols不能加载后保存

  • (火花- 40079)(核心)添加输入为空inputCols验证输入的情况

• 2022年8月24日

  • (火花- 39962)(PYTHON] [SQL]应用投影当组属性是空的

  • 操作系统安全更新。

• 2022年8月9日

  • 操作系统安全更新。

• 2022年7月27日,

  • 使三角洲合并操作结果一致的来源是不确定的。

  • 操作系统安全更新。

  • 各种各样的bug修复。

• 2022年7月13日

  • (火花- 32680)[SQL]不预处理V2 cta与未解决的查询

  • 禁用自动加载器使用本地云api对Azure目录清单。

  • 操作系统安全更新。

• 2022年7月5日

  • 操作系统安全更新。

  • 各种各样的bug修复。

• 2022年6月2日

  • (火花- 38918)[SQL]嵌套列修剪应该过滤掉属性不属于当前的关系

  • 操作系统安全更新。

• 2022年5月18日

  • 从1.11.655 1.11.678升级AWS SDK版本。

  • 操作系统安全更新。

  • 各种各样的bug修复。

• 2022年4月19日

  • 操作系统安全更新。

  • 各种各样的bug修复。

• 2022年4月6日

  • 操作系统安全更新。

  • 各种各样的bug修复。

• 2022年3月14日,

  • 删除从log4j jar 1.2.17脆弱类

  • 各种各样的bug修复。

• 2022年2月23日

  • (火花- 37859)[SQL]不检查期间为元数据模式的比较

• 2022年2月8日

  • 升级Ubuntu 1.8.0.312 JDK。

  • 操作系统安全更新。

• 2022年2月1日

  • 操作系统安全更新。

• 2022年1月26日

  • 固定一臭虫,其优化命令启用ANSI SQL方言时可能会失败。

• 2022年1月19日

  • 从7.3毫升LTS Conda删除默认通道

  • 操作系统安全更新。

• 2021年12月7日

  • 操作系统安全更新。

• 2021年11月4日

  • 固定一个错误可能导致结构化流流ArrayIndexOutOfBoundsException失败

  • 固定一个竞争条件,可能会导致一个查询失败这样一个IOExceptionjava.io.IOException:没有文件系统为计划或者可能会导致修改sparkContext.hadoopConfiguration在查询不生效。

• 2021年9月15日

  • 固定一个竞争条件,可能会导致一个查询失败这样一个IOExceptionjava.io.IOException:org.apache.spark.SparkException:失败的来得到broadcast_x_piecey的broadcast_x。

  • 操作系统安全更新。

• 2021年9月8日

  • (火花- 35700)[SQL] [WARMFIX]读char、varchar兽人表时创建并由外部系统。

  • (火花- 36532)[心][3.1]固定的僵局CoarseGrainedExecutorBackend.onDisconnected为了避免executorsconnected为了防止执行人关闭挂。

• 2021年8月25日,

  • 雪花连接器是2.9.0升级。

• 2021年7月29日

  • (火花- 36034)(构建)变基datetime下推过滤器拼花

  • (火花- 34508)(构建)跳过HiveExternalCatalogVersionsSuite如果网络是

• 2021年7月14日

  • 介绍了database.schema.table格式Azure突触连接器。

  • 增加了提供的支持databaseName.schemaName.tableName格式表而不是只作为目标schemaName.tableName或的表。

  • 固定防止用户的故障时间旅行与三角洲表老版本可用。

• 2021年6月15日

  • 修复一个NoSuchElementException错误在三角洲湖优化写道,编写大量数据时可能发生和遇到执行人损失

  • Python Python更新安全补丁修复安全漏洞(cve - 2021 - 3177)。

  • 磁盘缓存是默认启用所有GCP实例的除外-highcpu -家庭。为-highcpu -情况下,缓存预配置,但默认情况下禁用。它可以使使用火花相依spark.databricks.io.cache.enabled真正的。

• 2021年4月30日

  • 操作系统安全更新。

  • (火花- 35227)(构建)更新SparkSubmit spark-packages的解析器

  • (火花- 34245)(核心)确保主删除执行人未能发送完成状态

  • (火花- 35045)[SQL]添加一个内部选项控制在univocity输入缓冲区

• 2021年3月24日

  • (火花- 34768)[SQL]尊重Univocity中的默认输入缓冲区的大小

  • (火花- 34534)当使用FetchShuffleBlocks获取块修复blockIds秩序

  • (火花- 33118)[SQL]创建临时表失败的位置

• 2021年3月9日

  • Azure的Azure Blob文件系统驱动程序更新数据存储Gen2湖现在是默认启用。它将多个稳定的改进。

  • 修复Windows上的路径分隔符databricks-connectget-jar-dir

  • (UI)修复的href链接引发DAG可视化

  • [DBCONNECT]添加支持FlatMapCoGroupsInPandas砖7.3连接

  • 恢复的输出模式显示数据库

  • [SQL]使用正确的动态范围时修剪建立关键连接提示

  • 禁用过时检查δ在磁盘高速缓存表文件

  • [SQL]不生成洗牌分区号建议横穿时启用

• 2021年2月24日

  • 升级引发BigQuery连接器v0.18,介绍各种bug修复和支持箭头和Avro迭代器。

  • 固定一个正确性的问题,导致火花拼花时返回不正确的结果文件的小数精度和等级是不同的火花模式。

  • 固定阅读失败问题Microsoft SQL Server包含空间数据类型的表,通过添加几何和地理JDBC类型支持火花SQL。

  • 引入了一个新的配置spark.databricks.hive.metastore.init.reloadFunctions.enabled。这个配置控制建在蜂巢的初始化。当设置为true时,砖重新加载的所有功能的所有数据库用户FunctionRegistry。在蜂巢Metastore这是默认行为。当设置为false,砖禁用这个过程的优化。

  • (火花- 34212)固定从铺阅读十进制数据文件有关的问题。

  • (火花- 33579)(UI)修复执行人代理背后的空白页。

  • (火花- 20044)火花界面(UI)支持的背后前端反向代理使用路径前缀。

  • (火花- 33277)[PYSPARK] [SQL]使用ContextAwareIterator任务结束后停止消费。

• 2021年2月4日,

  • 固定的回归,防止增量执行查询,设置一个全球限制等选择*从表限制nrows。经历的回归是用户运行查询通过ODBC / JDBC启用了箭头序列化。

  • 固定一个回归导致DBFS保险丝时无法启动集群环境变量配置包含无效的bash语法。

• 2021年1月20日

  • 固定的回归2021年1月12日维护版本,可能会导致一个不正确的AnalysisException说自我连接的列是模棱两可的。这种回归发生当一个用户加入DataFrame及其派生DataFrame(所谓的自)与下列条件:

    • 这两个DataFrames有常见的列,但自己加入的输出没有共同的列。例如,df.join (df.select(美元“上校”作为“new_col”),气孔导度)

    • 派生DataFrame排除了一些列通过选择、groupBy或窗口。

    • 加入后的联接条件或以下转换Dataframe指的是刺激列。例如,df.join (df.drop (“a”),df (“”)= = =1)

• 2021年1月12日

  • 操作系统安全更新。

  • (火花- 33593)[SQL]与二进制向量读者有不正确的数据分区的值

  • (火花- 33677)[SQL]如果模式包含任何escapeChar跳过LikeSimplification规则

  • (火花- 33592)(毫升)(PYTHON) Pyspark毫升验证器参数estimatorParamMaps储蓄和重载后可能会丢失

  • (火花- 33071)[火花- 33536][SQL]避免改变dataset_id LogicalPlan不打破DetectAmbiguousSelfJoin加入()

• 2020年12月8日

  • (火花- 33587)(核心)杀死执行人在嵌套的致命错误

  • (火花- 27421)[SQL]修复过滤器类. lang int列和价值。当修剪分区列字符串

  • (火花- 33316)[SQL]支持用户提供nullable Avro模式非空催化剂Avro写作模式

  • 火花工作启动使用砖连接可以无限期地挂了遗嘱执行人TaskRunner美元。anonfun copySessionState美元在执行器堆栈跟踪

  • 操作系统安全更新。

• 2020年11月20日

  • (火花- 33404)[SQL][3.0]修正不正确的结果date_trunc表达式

  • (火花- 33339)(PYTHON) Pyspark应用程序将挂由于非异常错误

  • (火花- 33183)[SQL][热修复补丁]修复优化规则EliminateSorts和添加一个物理规则删除冗余

  • (火花- 33371)[PYTHON][3.0]更新设置。py和Python 3.9测试

  • (火花- 33391)[SQL] element_at CreateArray不尊重一个建立索引。

  • (火花- 33306)[SQL]时区时需要把日期字符串

  • (火花- 33260)[SQL]从排序方式时SortExec流修正不正确的结果

• 2020年的11月5日

  • 修复沛富和WASB锁定有关UserGroupInformation.getCurrentUser ()。

  • 修复一个无限循环错误当Avro阅读器读取字节。

  • 添加支持使用特权。

  • 性能改进的权限检查访问控制表。

• 2020年10月13日

  • 操作系统安全更新。

  • 你可以读和写DBFS使用FUSE挂载在/ DBFS /在高并发证书透传启用集群。普通坐骑但坐骑,需要支持透传凭证还不支持。

  • (火花- 32999)[SQL]使用跑龙套。得到SimpleName to avoid hitting Malformed class name in TreeNode

  • (火花- 32585)[SQL]支持ScalaReflection scala枚举

  • 固定在保险丝安装包含文件名清单目录无效的XML字符

  • 保险丝不再使用ListMultipartUploads山

• 2020年9月29日,

  • (火花- 32718)[SQL]删除不必要的关键词为间隔单位

  • (火花- 32635)[SQL]修复可折叠的传播

  • 添加一个新的配置spark.shuffle.io.decoder.consolidateThreshold。设置配置值Long.MAX_VALUE跳过的整合网状的framebuffer,从而防止java.lang.IndexOutOfBoundsException在角落的情况下。

• 2023年4月25日

  • 操作系统安全更新。

• 2023年4月11日

  • 各种各样的bug修复。

• 2023年3月29日

  • 各种各样的bug修复。

• 2023年3月14日,

  • 操作系统安全更新。

• 2023年2月28日

  • 操作系统安全更新。

• 2023年2月16日

  • 操作系统安全更新。

• 2023年1月31日

  • 各种各样的bug修复。

• 2023年1月18日

  • 操作系统安全更新。

• 2022年11月29日

  • 操作系统安全更新。

• 2022年11月15日

  • 操作系统安全更新。

  • 各种各样的bug修复。

• 2022年11月1日

  • 操作系统安全更新。

• 2022年10月18日

  • 操作系统安全更新。

  • 2022年10月5日

    • 操作系统安全更新。

  • 2022年8月24日

    • 操作系统安全更新。

  • 2022年8月9日

    • 操作系统安全更新。

  • 2022年7月27日,

    • 操作系统安全更新。

  • 2022年7月5日

    • 操作系统安全更新。

  • 2022年6月2日

    • 操作系统安全更新。

  • 2022年5月18日

    • 操作系统安全更新。

  • 2022年4月19日

    • 操作系统安全更新。

    • 各种各样的bug修复。

  • 2022年4月6日

    • 操作系统安全更新。

    • 各种各样的bug修复。

  • 2022年3月14日,

    • 各种各样的bug修复。

  • 2022年2月23日

    • 各种各样的bug修复。

  • 2022年2月8日

    • 升级Ubuntu 1.8.0.312 JDK。

    • 操作系统安全更新。

  • 2022年2月1日

    • 操作系统安全更新。

  • 2022年1月19日

    • 操作系统安全更新。

  • 2021年9月22日

    • 操作系统安全更新。

  • 2021年4月30日

    • 操作系统安全更新。

    • (火花- 35227)(构建)更新SparkSubmit spark-packages的解析器

  • 2021年1月12日

    • 操作系统安全更新。

  • 2020年12月8日

    • (火花- 27421)[SQL]修复过滤器类. lang int列和价值。当修剪分区列字符串

    • 操作系统安全更新。

  • 2020年11月3日

    • 从1.8.0_252 1.8.0_265升级Java版本。

    • 修复沛富和WASB锁定对UserGroupInformation.getCurrentUser ()

  • 2020年10月13日

    • 操作系统安全更新。