砖运行时的12.0(不支持)

以下版本注释提供信息数据砖12.0运行时,由Apache火花3.3.1。

在2022年12月,砖发布这些图片。

请注意

这些版本注释可能包括引用功能不可用这个版本的谷歌云。

新特性和改进

预测I / O

现在预测I / O通常可用。有关更多信息,请参见_。

光子作家支持zstd压缩

光子本土作家现在支持zstd压缩编解码器启用zstd时通过设置spark.sql.parquet.compression.codec来zstd。

为独立的集群支持阶段任务资源概要文件

您现在可以使用阶段调度在独立集群动态分配是禁用的。要使用该功能,指定资源的任务ResourceProfileBuilder对于每一个阶段。

SQL支持选择性覆盖取代在哪里

现在您可以选择性地覆盖数据匹配一个任意的表达式在三角洲表使用以下模式。

插入成table_name取代在哪里谓词append_relation

看到任意选择与replaceWhere覆盖。

现在支持水印在SQL

您现在可以使用三角洲指定水印表SQL接口和生活在对流式DataFrames SQL查询。看到水印条款。

PySpark内存分析

内存分析现在启用PySpark用户自定义函数。这提供了内存的信息增量、内存使用和出现的数量为每个行代码在一个用户定义的函数。

动态修剪删除和更新

当使用Photon-enabled计算时,删除和更新现在使用动态文件和分区修剪,提高了性能。例如,动态修剪是一个较小的源表时启用用于更新或删除行更大的表。

行级删除分区的数据操作语言操作的指标

与分区的谓词,用户现在可以审计多少行删除运行时数据操纵语言(DML)等操作删除,截断,replaceWhere。

错误修复

JSON解析固定一个问题自动加载程序,所有列作为字符串。在此之前,cloudFiles.inferColumnTypes没有设置或设置假和JSON包含嵌套对象。

库升级

  • 升级的Python库:

    • argon2-cffi 20.1.0 21.3.0

    • attrs 21.2.0 21.4.0

    • backports.entry-points-selectablefrom 1.1.1 to 1.2.0

    • 从4.0.0漂白剂4.1.0

    • boto3 1.21.18 1.21.32

    • botocore 1.24.18 1.24.32

    • cffi 1.14.6 1.15.0

    • 单击从8.0.3 8.0.4

    • 周期计从0.10.0 0.11.0。它

    • Cython 0.29.24 0.29.28

    • debugpy 1.4.1 1.5.1

    • decorator 5.1.0 5.1.1

    • entrypoints从0.3到0.4

    • idna从3.2到3.3

    • ipykernel 6.12.1 6.15.3

    • ipython 7.32.0 8.5.0

    • ipywidgets 7.7.0 7.7.2

    • 绝地0.18.0 0.18.1

    • joblib 1.0.1 1.1.0

    • jsonschema 3.2.0 4.4.0

    • kiwisolver 1.3.1 1.3.2

    • 3.5.1 matplotlib从3.4.3

    • nbclient 0.5.3 0.5.13

    • nbconvert 6.1.0 6.4.4

    • nbformat 5.1.3 5.3.0

    • nest-asyncio 1.5.1 1.5.5

    • 笔记本6.4.5 6.4.8

    • numpy 1.20.3 1.21.5

    • 包装从21.0到21.3

    • 熊猫从1.3.4 1.4.2

    • 从3 pandocfilters 1.5.0

    • parso 0.8.2 0.8.3

    • 枕头8.4.0 9.0.1

    • bob体育客户端下载2.5.4 platformdirs从2.5.2

    • 情节5.9.0 5.6.0

    • prometheus-client从0.11.0 0.13.1。它

    • protobuf 4.21.5 3.19.4

    • pycparser从2.20到2.21

    • Pygments 2.10.0 2.11.2

    • pyodbc 4.0.31 4.0.32

    • pyzmq 22.2.1 22.3.0

    • 从2.26.0 2.27.1请求

    • s3transfer 0.5.2 0.5.0

    • scikit-learn 0.24.2 1.0.2中

    • 1.7.3 scipy从1.7.1上

    • statsmodels 0.12.2 0.13.2

    • terminado 0.9.4 0.13.1

    • tomli 2.0.1 1.2.2

    • traitlets 5.1.0 5.1.1

    • urllib3 1.26.7 1.26.9

    • widgetsnbextension 3.6.0 3.6.1

  • 升级R库:

    • 4.2.2基地从4.1.3

    • 啤酒从1.0 7到1.0 8

    • bslib 0.4.0 0.4.1

    • 3.7.3 callr从3.7.2章

    • 时间从2.3 -57 2.3 -58人

    • cli 3.3.0 3.4.1

    • 集群从2.1.3 2.1.4

    • commonmark 1.8.0 1.8.1

    • 编译器从4.1.3 4.2.2

    • cpp11 0.4.2 0.4.3

    • 蜡笔1.5.1 1.5.2

    • 旋度从4.3.2 4.3.3

    • data.tablefrom 1.14.2 to 1.14.4

    • 数据集从4.1.3 4.2.2

    • desc 1.4.1 1.4.2

    • 2.4.5 devtools从2.4.4

    • 摘要从0.6.29 0.6.30

    • e1071从1.7 -11 1.7 -12

    • 评估从0.16到0.18

    • fontawesome 0.3.0 0.4.0

    • 未来1.28.0 1.29.0

    • future.applyfrom 1.9.1 to 1.10.0

    • 从1.2.0漱口1.2.1

    • 哥特1.8.0 1.9.1

    • ggplot2 3.3.6 3.4.0

    • 1.3.1 1.3.0 gh的版本

    • gitcreds 0.1.1 0.1.2

    • 图形4.1.3 4.2.2

    • grDevices 4.1.3 4.2.2

    • 网格从4.1.3 4.2.2

    • httpuv 1.6.5 1.6.6

    • isoband 0.2.5 0.2.6虽然只是

    • jsonlite 1.8.0 1.8.3

    • 熔岩从1.6.10 1.7.0

    • 生命周期从1.0.1 1.0.3

    • lubridate 1.8.0 1.9.0

    • 减价从1.1到1.3

    • 质量从7.3 -56 7.3 -58人

    • 1矩阵从1.4到1.5

    • 方法从4.1.3 4.2.2

    • mgcv从1.8 -40 1.8 -41

    • nlme从3.1 -157 3.1 -160

    • nnet从7.3 -17 7.3 -18

    • openssl 2.0.2 2.0.4

    • 从4.1.3 4.2.2平行

    • 1.3.1 1.3.0 pkgload从版本

    • processx 3.7.0 3.8.0

    • ps 1.7.1上1.7.2

    • purrr 0.3.4 0.3.5

    • 从1.2.2 ragg 1.2.4

    • RcppEigen 0.3.3.9.2 0.3.3.9.3

    • readr 2.1.2 2.1.3

    • 1.0.3 1.0.1的食谱

    • rlang 1.0.5 1.0.6

    • rmarkdown从2.16到2.18

    • rpart 4.1.16 4.1.19

    • RSQLite 2.2.16 2.2.18

    • 闪亮的1.7.3 1.7.2

    • SparkR 3.3.0 3.3.1

    • 样条函数4.1.3 4.2.2

    • 数据从4.1.3 4.2.2

    • stats4 4.1.3 4.2.2

    • 3.4.1 sys从3.4

    • tcltk 4.1.3 4.2.2

    • testthat 3.1.4 3.1.5

    • 从1.2.0 tidyr 1.2.1

    • tidyselect 1.1.2 1.2.0

    • timeDate从4021.104到4021.106

    • tinytex从0.41到0.42

    • 4.2.2 4.1.3工具

    • 4.2.2从4.1.3跑龙套

    • vctrs 0.4.1 0.5.0

    • 发呜呜声1.5.7 1.6.0

    • xfun从0.32到0.34

    • yaml 2.3.5 2.3.6

    • 2.2.2 zip从2.2.0

  • 升级Java库:

    • com.fasterxml.jackson.core。jackson-databindfrom 2.13.4 to 2.13.4.2

    • org.apache.parquet。parquet-columnfrom 1.12.0-databricks-0007 to 1.12.3-databricks-0001

    • org.apache.parquet。parquet-commonfrom 1.12.0-databricks-0007 to 1.12.3-databricks-0001

    • org.apache.parquet。parquet-encodingfrom 1.12.0-databricks-0007 to 1.12.3-databricks-0001

    • org.apache.parquet。parquet-format-structures 1.12.0-databricks-0007 1.12.3-databricks-0001

    • org.apache.parquet。parquet-hadoopfrom 1.12.0-databricks-0007 to 1.12.3-databricks-0001

    • org.apache.parquet。parquet-jacksonfrom 1.12.0-databricks-0007 to 1.12.3-databricks-0001

    • org.apache.yetus。audience-annotations 0.5.0 0.13.0

Apache火花

砖12.0运行时包含Apache火花3.3.1。这个版本包括所有火花修复和改进中砖运行时11.3 LTS以及以下额外的bug修复和改进了火花:

  • (火花- 40844)(sc - 116996] [12. x][12.0][12.0.0]恢复”(sc - 113542) [SS]翻转卡夫卡抵消获取配置的默认值”

  • (火花- 40646)(sc - 116061)恢复”(sc - 113379) [SQL]修复返回部分结果以JSON数据源和JSON函数”

  • (火花- 41195)(sc - 116305] [SQL]支持主/透视与加入的孩子

  • (火花- 41178)(sc - 116139] [SQL]解决解析器规则优先加入和逗号之间

  • (火花- 41072)(sc - 116140) [sc - 116044] [sc - 115852] [SQL] [SS]添加错误类STREAM_FAILED来StreamingQueryException

  • (火花- 40921)恢复“(sc - 115140) [sc - 114585] [SQL]添加不匹配时,源并入条款

  • (火花- 37980)(sc - 115758] [SQL]扩展元数据列支持行铺文件索引

  • (火花- 41055)(sc - 115582) [SQL]重命名_LEGACY_ERROR_TEMP_2424来GROUP_BY_AGGREGATE

  • (火花- 41101)(sc - 115849] [PYTHON] [PROTOBUF]消息名称支持PYSPARK-PROTOBUF

  • (火花- 40956)(sc - 115867) SQL等效Dataframe覆盖命令

  • (火花- 41095)(sc - 115659] [SQL]将未解决的运营商内部错误

  • (火花- 41144)(sc - 115866] [SQL]未提示不应导致查询失败

  • (火花- 41137)(sc - 115858) [SQL]重命名LATERAL_JOIN_OF_TYPE来INVALID_LATERAL_JOIN_TYPE

  • (火花- 40998)(sc - 114754] [SQL]重命名错误类_LEGACY_ERROR_TEMP_0040来INVALID_IDENTIFIER

  • (火花- 41015)(sc - 115130] [SQL] [PROTOBUF] UnitTest null检查数据生成器

  • (火花- 40769)(sc - 114923)(核心)[SQL]聚合表达式的类型检查故障迁移到错误类

  • (火花- 41043)(sc - 115183] [SQL]重命名错误类_LEGACY_ERROR_TEMP_2429来NUM_COLUMNS_MISMATCH

  • (火花- 40777)(sc - 114855] [SQL] [PROTOBUF] PROTOBUF进口支持和error-classes移动。

  • (火花- 41019)(sc - 114987] [SQL]提供一个查询的上下文failAnalysis ()

  • (火花- 41027)(sc - 115131] [SQL]使用UNEXPECTED_INPUT_TYPE而不是MAP_FROM_ENTRIES_WRONG_TYPE

  • (火花- 40476)(sc - 115868) [sc - 111163] [ML] [SQL]减少洗牌ALS的大小

  • (火花- 41134)(sc - 115851] [SQL]提高内部错误的错误消息

  • (火花- 37980)恢复“[SQL]扩展元数据列支持拼花行索引文件

  • (火花- 41109)(sc - 115788] [SQL]重命名错误类遗产ERROR_TEMP_1216, INVALID_LIKE_PATTERN

  • (火花- 40984)(sc - 115844)(核心)[SQL]使用NON_FOLDABLE_INPUT而不是FRAME_LESS_OFFSET_WITHOUT_FOLDABLE

  • (火花- 41029)(sc - 115828] [SQL]优化构造函数的使用GenericArrayDataScala 2.13

  • (火花- 40697)(sc - 113648] [SQL]添加读字符填充覆盖外部数据文件

  • (火花- 40978)(sc - 114574] [SQL]迁移failAnalysis ()w / o上下文到错误类

  • (火花- 40663)(sc - 114586] [SQL]迁移执行错误在错误类:遗产error_temp_2251 - 2275

  • (火花- 38959)(sc - 115672) [sc - 112707] [SQL] DS V2:支持运行时组过滤行级的命令

  • (火花- 40372)(sc - 115668] [SQL]迁移失败的数组类型检查到错误类

  • (火花- 41038)(sc - 115371) [SQL]重命名MULTI_VALUE_SUBQUERY_ERROR来SCALAR_SUBQUERY_TOO_MANY_ROWS

  • (火花- 40965)(sc - 114443] [SQL]重命名错误类_LEGACY_ERROR_TEMP_1208来FIELD_NOT_FOUND

  • (火花- 40748)(sc - 114696] [SQL]迁移类型检查失败的条件到错误类

  • (火花- 40371)(sc - 114557] [SQL]迁移类型检查NthValue的失败和NTile到错误类

  • (火花- 41092)(sc - 115547] [SQL]不要使用标识符匹配区间单位

  • (火花- 41009)(sc - 115360] [SQL]重命名错误类_LEGACY_ERROR_TEMP_1070来LOCATION_ALREADY_EXISTS

  • (火花- 37980)[SQL]扩展元数据列支持行铺文件索引

  • (火花- 40967)(sc - 114448] [SQL]迁移failAnalysis ()到错误类

  • (火花- 34265)(sc - 115486) [sc - 113788] [PYTHON] [SQL] PYTHON udf使用SQL度量工具

  • (火花- 41012)(sc - 114873) [SQL]重命名_LEGACY_ERROR_TEMP_1022来ORDER_BY_POS_OUT_OF_RANGE

  • (火花- 41042)(sc - 115142) [SQL]重命名PARSE_CHAR_MISSING_LENGTH来DATATYPE_MISSING_SIZE

  • (火花- 40752)(sc - 114442] [SQL] misc表达式的类型检查故障迁移到错误类

  • (火花- 37945)(sc - 115534] [SQL](核心)使用错误类执行算术错误行动

  • (火花- 40374)(sc - 114705] [SQL]迁移类型检查故障类型的创造者在错误类

  • (火花- 41056)(sc - 115354) [R]修复新的R_LIBS_SITE行为在R 4.2中引入的

  • (火花- 41041)(sc - 115357] [SQL]积分_LEGACY_ERROR_TEMP_1279成TABLE_OR_VIEW_ALREADY_EXISTS

  • (火花- 40663)(sc - 114852] [SQL]迁移执行错误在错误类:遗产error_temp_2201 - 2225

  • (火花- 41020)(sc - 114984] [SQL]重命名错误类_LEGACY_ERROR_TEMP_1019来STAR_GROUP_BY_POS

  • (火花- 41035)(sc - 115233] [SQL]不要补丁可折叠的聚合函数RewriteDistinctAggregates

  • (火花- 39778)(sc - 114353] [SQL]改善错误类和消息

  • (火花- 40798)(sc - 113782] [SQL]改变分区应遵循storeAssignmentPolicy验证值

  • (火花- 40810)(sc - 113533] [SQL]用SparkIllegalArgumentException代替IllegalArgumentException CreateDatabaseCommand & AlterDatabaseSetLocationCommand

  • (火花- 40921)(sc - 115140) [sc - 114585] [SQL]添加不匹配时,源并入条款

  • (火花- 40360)(sc - 114965) ALREADY_EXISTS和NOT_FOUND例外

  • (火花- 41007)(sc - 115085] [SQL]为java.math.BigInteger添加缺失的序列化器

  • (火花- 40751)(sc - 114254] [SQL]迁移类型检查失败的高阶函数到错误类

  • (火花- 40248)(sc - 114704] [SQL]使用大的比特数来构建布鲁姆过滤器

  • (火花- 41040)(sc - 115145) [SS]修复self-union流使用readStream.table时查询失败

  • (火花- 32380)(sc - 114966] [SQL]修复HBase表的访问通过蜂巢从火花

  • (火花- 40749)(sc - 114860] [SQL]迁移类型检查发电机上的失败错误类

  • (火花- 40925)(sc - 114445] [SQL] [SS] [WARMFIX] [12。x]修复状态运营商后期re…

  • (火花- 40654)(sc - 112783)删除临时日志行

  • (火花- 40742)(sc - 114913) [sc - 112646][心][SQL]修复Java编译警告与泛型类型有关

  • (火花- 40657)(sc - 113642][择优挑选]添加支持Java类Protob…

  • (火花- 40898)(sc - 113932] [SQL]引用函数名在数据类型不匹配的错误

  • (火花- 40760)(sc - 113750] [SQL]区间表达式的类型检查故障迁移到错误类

  • (火花- 36114)(sc - 113771] [SQL]支持与相关子查询non-equality谓词

  • (火花- 40856)(sc - 113738] [SQL]更新错误WRONG_NUM_PARAMS模板

  • (火花- 40759)(sc - 114251] [SQL]迁移类型检查失败的时间窗口错误类

  • (火花- 40750)(sc - 113812] [SQL]迁移类型检查到错误类故障的数学表达式

  • (火花- 40756)(sc - 113749] [SQL]字符串表达式的类型检查故障迁移到错误类

  • (火花- 40768)(sc - 113640] [SQL]迁移类型检查失败bloom_filter_agg()到错误类

  • (火花- 40369)[sc - 113402][心][SQL]通过反射调用的类型检查故障迁移到错误类

  • (火花- 39445)[SQL]删除列修剪的窗口如果windowExpressions是空的

  • (火花- 40761)(sc - 113245] [SQL]迁移类型检查失败的百分比表达上的错误类

  • (火花- 40361)(sc - 112789] [SQL]迁移算术类型检查失败到错误类

  • (火花- 40714)(sc - 112576) [SQL]删除PartitionAlreadyExistsException

  • (火花- 40702)(sc - 112437] [SQL]修复分区规范PartitionsAlreadyExistException

  • (火花- 40358)(sc - 112631] [SQL]迁移集合类型检查失败到错误类

  • (火花- 40910)(sc - 114259] [SQL]取代UnsupportedOperationException与SparkUnsupportedOperationException方式

  • (火花- 39876)(sc - 112429] [SQL]透视添加到SQL语法

  • (火花- 39783)(sc - 113389] [SQL]引用qualifiedName修复引号列候选人的错误消息

  • (火花- 40663)(sc - 112520] [SQL]迁移执行错误在错误类:遗产error_temp_2026 - 2282

  • (火花- 40975)(sc - 114555] [SQL]重命名错误类_LEGACY_ERROR_TEMP_0021来UNSUPPORTED_TYPED_LITERAL

  • (火花- 37935)(sc - 114472] [SQL]消除分离错误子类的字段

  • (火花- 40944)(sc - 114530] [SQL]放松点约束创建表列选项

  • (火花- 40815)(sc - 114528] [SQL]添加DelegateSymlinkTextInputFormat到解决方案SymlinkTextInputSplit错误

  • (火花- 40933)(sc - 114441) [SQL]重装df.stat。}{x和,corr内置sql函数

  • (火花- 40932)(sc - 114439)(核心)解决问题消息allGather覆盖

  • (火花- 39312)[SQL]用镶花本地谓词的过滤下推

  • (火花- 40862)(sc - 114352] [SQL]支持非聚集在RewriteCorrelatedScalarSubquery子查询

  • (火花- 40963)(sc - 114446] [SQL] nullable正确创建的项目ExtractGenerator

  • (火花- 40663)(sc - 112295] [SQL]迁移执行错误在错误类:遗产error_temp_2000 - 2024

  • (火花- 40892)(sc - 114347] [SQL] [SS]放松window_time规则的要求,允许多个window_time调用

  • (火花- 40540)(sc - 111639] [SQL]迁移编译错误在错误类:遗产error_temp_1100 - 1347

  • (火花- 40924)(sc - 114258] [SQL]解决Unhex当输入奇数的符号

  • (火花- 40821)(sc - 113754] [SQL][心][PYTHON] [SS]介绍window_time函数提取从窗口事件时间列

  • (火花- 40800)(sc - 113772] [SQL]总是在OptimizeOneRowRelationSubquery内联表达式

  • (火花- 40900)(sc - 114006) [SQL]重装frequentItems与dataframe操作

  • (火花- 40735)(sc - 114022] (sc - 112657)始终调用bash和/usr/bin/env bash脚本代码的可移植性更好

  • (火花- 40773)(sc - 113091] [SQL]重构checkCorrelationsInSubquery

  • (火花- 40615)(sc - 113400] [SQL] decorrelating子查询时检查不支持的数据类型

  • (火花- 40660)(sc - 112293)(核心)[SQL]开关XORShiftRandom分发元素

  • (火花- 40540)(sc - 113926) [sc - 111331] [SQL]迁移编译错误在错误类

  • (火花- 40551)(sc - 113135) [SQL]数据源V2:添加delta-based行级操作的api

  • (火花- 39391)(sc - 110676)(核心)重用瓜分者类

  • (火花- 40368)(sc - 113396] [SQL]迁移布隆过滤器类型检查失败到错误类

  • (火花- 39146)(sc - 111814)(核心)[SQL]介绍当地的单例objectmap这可能被重用

  • (火花- 40357)(sc - 113786) [sc - 111352] [SQL]迁移窗口类型检查失败到错误类

  • (火花- 40874)(sc - 113756] (PYTHON)修复广播在PYTHON udf当启用加密

  • (火花- 40359)(sc - 113770) [sc - 111146] [SQL]迁移类型检查失败CSV / JSON表达式错误类

  • (火花- 40880)(sc - 113764) [SQL]重装总结与dataframe操作

  • (火花- 40877)(sc - 113763) [SQL]重装交叉表与dataframe操作

  • (火花- 40382)(sc - 113098] [SQL]组不同的聚合表达式的语义上等价的孩子RewriteDistinctAggregates

  • (火花- 40826)(sc - 113532) [SS]添加额外的检查站检查重命名文件

  • (火花- 40829)(sc - 113426] [SQL]作为serde存储在创建表和视图不起作用

  • (火花- 40844)(sc - 113542) [SS]翻转卡夫卡抵消获取配置的默认值

  • (火花- 40488)(sc - 113568) [sc - 111160]不包装数据源编写失败时抛出异常

  • (火花- 40560)(sc - 113631) [sc - 111335] [SQL]重命名消息来messageTemplate在标准格式的错误

  • (火花- 40618)(sc - 113096] [SQL]修复bug在MergeScalarSubqueries规则使用参考与嵌套的子查询跟踪

  • (火花- 40530)(sc - 113528) [sc - 111332] [SQL]添加错误相关开发人员api

  • (火花- 40806)(sc - 113250] [SQL]错误解决办法:创建表- >替换表

  • (火花- 40646)(sc - 113379] [SQL]修复返回部分结果以JSON数据源和JSON函数

  • (火花- 40654)[择优挑选][sc - 112783] [SQL] Protobuf支持火花——从…

  • (火花- 40753)(sc - 113539] [SQL]修复bug的测试用例目录目录操作

  • (火花- 40765)(sc - 113056] [SQL]优化冗余fs操作CommandUtils # calculateSingleLocationSize # getPathSize方法

  • (火花- 40114)[es - 479282] [R] [11。X]箭头与SparkR 9.0.0支持

  • (火花- 40479)(sc - 110935] [SQL]意想不到的输入类型的错误迁移到一个错误类

  • (火花- 40473)(sc - 113388) [sc - 111141] [SQL]迁移解析错误在错误类

  • (火花- 39853)(sc - 111867)(核心)支持独立的阶段任务资源水平集群动态分配时禁用(回港由公关- 47157)

  • (火花- 40407)(sc - 111161] [SQL]修复df.repartition造成的潜在的数据倾斜

  • (火花- 40425)(sc - 110840] [SQL]删除表不需要做表查找

  • (火花- 40703)(sc - 113242] [SQL]介绍洗牌SinglePartition提高并行性

  • (火花- 40640)(sc - 113138)(核心)SparkHadoopUtil hadoop /蜂巢配置选项的起源

  • (火花- 39062)(11。x][核心]添加阶段水平集群资源调度支持独立

  • (火花- 33861)(sc - 109877)恢复“谓词[SQL]简化条件”

  • (火花- 40667)(sc - 113136] [SQL]重构文件数据源选项

  • (火花- 40370)(sc - 110677] [SQL]迁移类型检查失败错误类

  • (火花- 40611)(sc - 113105] [SQL]改善的性能setInterval&getInterval为UnsafeRow

  • (火花- 40733)(sc - 113126] [SQL]的内容SERDEPROPERTIES在的结果ShowCreateTableAsSerdeCommand有固定的订单

  • (火花- 40585)(sc - 112180] [SQL]支持双引用标识符

  • (火花- 40772)(sc - 112992] [SQL]改善spark.sql.adaptive.skewJoin.skewedPartitionFactor支持双值

  • (火花- 40565)(sc - 112417] [SQL]别逼V2文件来源不确定的过滤器

  • (火花- 8731)(sc - 112784)直线时不使用- e选项开始在后台

  • (火花- 35242)(sc - 111398] [SQL]支持改变会话目录的默认数据库

  • (火花- 40426)(sc - 110672] [SQL]从SparkThrowable.getMessageParameters返回地图

  • (火花- 40494)(sc - 112655) [sc - 111025][心][SQL] [ML] [MLLIB]优化的性能keys.zipWithIndex.toMap代码模式

  • (火花- 40521)(sc - 112430] [SQL]只返回存在分区PartitionsAlreadyExistException从蜂巢的创建分区

  • (火花- 40705)(sc - 112567] [SQL]处理的情况下使用可变数组将行转换为JSON Scala 2.13

  • (火花- 39895)(sc - 112590) [SQL] [PYTHON)支持多个列

  • (火花- 40607)(sc - 112296)(核心)[SQL] [MLLIB] [SS]删除冗余字符串插入器操作

  • (火花- 40420)(sc - 112604) [sc - 110569] [SQL]名字排序错误消息参数的JSON格式

  • (火花- 40403)(sc - 110564] [SQL]计算安全数组大小使用渴望避免消极的大小在错误消息

  • (火花- 40482)(sc - 110831) [SQL]恢复火星- 24544打印实际失败导致当看向上函数失败的

  • (火花- 40400)(sc - 112555) [sc - 110397] [SQL]传递错误信息参数异常地图

  • (火花- 40628)(sc - 112414] [SQL]不推动复杂的半/反联接条件通过项目

  • (火花- 40562)(sc - 111455] [SQL]添加spark.sql.legacy.groupingIdWithAppendedUserGroupBy

  • (火花- 40501)(sc - 111333] [SQL]为优化器添加PushProjectionThroughLimit

  • (火花- 39200)(sc - 111244)(核心)使后备存储readFully内容

  • (火花- 38717)(sc - 111241] [SQL]处理蜂巢的桶规范情况保留行为

  • (火花- 40385)(sc - 111123] [SQL]修复解释路径伴星的构造函数

  • (火花- 40216)(sc - 112413] [SQL]提取常见ParquetUtils.prepareWrite删除处理代码的方法ParquetFileFormat和ParquetWrite

  • (火花- 40636)(sc - 112160)(核心)修复错误仍然打乱BlockManagerDecommissioner登录

  • (火花- 40617)(sc - 112009)解决竞态条件的处理ExecutorMetricsPoller stageTCMP条目

  • (火花- 40618)(sc - 112046] [SQL]修复bug在MergeScalarSubqueries规则嵌套的子查询

  • (火花- 40612)(sc - 111933)(核心)修复主要用于代表团令牌更新在non-YARN资源管理器

  • (火花- 40595)(sc - 111662] [SQL]未使用CTE关系改善错误消息

  • (火花- 40314)PYTHON (sc - 111879) [SQL][]为内联和inline_outer添加scala和PYTHON绑定

  • (火花- 40416)(sc - 110945] [SQL]移动子查询表达式CheckAnalysis错误消息框架使用新的错误

  • (火花- 40318)(sc - 111865) [sc - 109986] [SQL] try_avg()应该抛出异常的孩子

  • (火花- 40509)PYTHON (sc - 111644) [SS][]为applyInPandasWithState添加示例

  • (火花- 40310)(sc - 111329) [sc - 109842] [SQL] try_sum()应该抛出异常的孩子

  • (火花- 40016)[SQL]删除不必要的TryEval try_sum实现的()

  • (火花- 40527)(sc - 111224] [SQL]在CreateStruct保持结构体字段名或映射键

  • (火花- 38098)(sc - 111178] (PYTHON)添加支持ArrayType嵌套StructType arrow-based转换

  • (火花- 40324)(sc - 111359) [sc - 110293] [SQL] AnalysisException提供查询的上下文

  • (火花- 40492)(sc - 111324) [SS]流StateStore卸载之前做维护

  • (火花- 40487)(sc - 111124] [SQL]在BroadcastNestedLoopJoinExec defaultJoin并行运行

  • (火花- 40474)(sc - 111273] [SQL]正确的CSV模式推理和数据解析行为与混合日期和时间戳列

  • (火花- 40508)(sc - 111066] [SQL] UnknownPartitioning对待未知的分区

  • (火花- 40496)(sc - 111234) [sc - 111013] [SQL]修复配置来控制“enableDateTimeParsingFallback”

  • (火花- 40435)(sc - 111214) [SS] [PYTHON)为在PySpark applyInPandasWithState添加测试套件

  • (火花- 40434)(sc - 111125) [SS] [PYTHON)实现applyInPandasWithState PySpark

维护更新

看到砖12.0运行时的维护更新。

系统环境

  • 操作系统:Ubuntu 20.04.5 LTS

  • Java:祖鲁8.64.0.19-CA-linux64

  • Scala:2.12.14

  • Python:3.9.5

  • R:4.2.2

  • 三角洲湖:2.2.0

安装Python库

图书馆

版本

图书馆

版本

图书馆

版本

argon2-cffi

21.3.0

argon2-cffi-bindings

21.2.0

asttokens

2.0.5

attrs

21.4.0

backcall

0.2.0

backports.entry-points-selectable

1.2.0

beautifulsoup4

4.11.1

黑色的

22.3.0

漂白剂

4.1.0

boto3

1.21.32

botocore

1.24.32

certifi

2021.10.8

cffi

1.15.0

chardet

4.0.0

charset-normalizer

2.0.4

点击

8.0.4

密码学

3.4.8

周期计

0.11.0

Cython

0.29.28

dbus-python

1.2.16

debugpy

1.5.1

装饰

5.1.1

defusedxml

是0.7.1

distlib

0.3.6

entrypoints

0.4

执行

0.8.3

facets-overview

1.0.0

fastjsonschema

2.16.2

filelock

3.8.0

fonttools

4.25.0

idna

3.3

ipykernel

6.15.3

ipython

8.5.0

ipython-genutils

0.2.0

ipywidgets

7.7.2

绝地武士

0.18.1

Jinja2

14

jmespath

0.10.0

joblib

1.1.0

jsonschema

4.4.0

jupyter-client

6.1.12

jupyter_core

4.11.2

jupyterlab-pygments

0.1.2

jupyterlab-widgets

1.0.0

kiwisolver

1.3.2

MarkupSafe

2.0.1

matplotlib

3.5.1

matplotlib-inline

0.1.2

使走调

0.8.4

mypy-extensions

0.4.3

nbclient

0.5.13

nbconvert

6.4.4

nbformat

5.3.0

nest-asyncio

1.5.5

笔记本

6.4.8

numpy

1.21.5

包装

21.3

熊猫

1.4.2

pandocfilters

1.5.0

parso

0.8.3

pathspec

0.9.0

容易受骗的人

0.5.2

pexpect

4.8.0

pickleshare

0.7.5

枕头

9.0.1

皮普

21.2.4

bob体育客户端下载platformdirs

2.5.4

情节

5.6.0

prometheus-client

0.13.1

prompt-toolkit

3.0.20

protobuf

3.19.4

psutil

5.8.0

psycopg2

2.9.3

ptyprocess

0.7.0

pure-eval

0.2.2

pyarrow

7.0.0

pycparser

2.21

Pygments

2.11.2

PyGObject

3.36.0

pyodbc

4.0.32

pyparsing

3.0.4

pyrsistent

0.18.0

python-dateutil

2.8.2

pytz

2021.3

pyzmq

22.3.0

请求

2.27.1

requests-unixsocket

0.2.0

s3transfer

0.5.0

scikit-learn

1.0.2中

scipy

1.7.3

seaborn

0.11.2

Send2Trash

1.8.0

setuptools

58.0.4

六个

1.16.0

soupsieve

2.3.1

ssh-import-id

5.10

堆栈数据

0.2.0

statsmodels

0.13.2

韧性

8.0.1

terminado

0.13.1

testpath

0.5.0

threadpoolctl

2.2.0

tokenize-rt

4.2.1

tomli

1.2.2

龙卷风

6.1

traitlets

5.1.1

typing_extensions

以下4.4.1

unattended-upgrades

0.1

urllib3

1.26.9

virtualenv

20.8.0

wcwidth

0.2.5

webencodings

0.5.1

轮

0.37.0

widgetsnbextension

3.6.1

安装R库

R库的安装微软在2022-11-11凹口快照。

图书馆

版本

图书馆

版本

图书馆

版本

箭头

10.0.0

askpass

1.1

为了

0.2.1

补丁

1.4.1

基地

4.2.2

base64enc

0.1 - 3

位

4.0.4

bit64

你

团

1.2.3

引导

-28 - 1.3

酿造

1.0 8

生动

1.1.3

扫帚

1.0.1

bslib

0.4.1

cachem

1.0.6

callr

3.7.3

脱字符号

-93 - 6.0

cellranger

1.1.0

时间

-58 - 2.3

类

-20 - 7.3

cli

3.4.1

clipr

0.8.0

时钟

0.6.1

集群

2.1.4

codetools

-18 - 0.2

色彩

2.0 - 3

commonmark

1.8.1

编译器

4.2.2

配置

0.3.1

cpp11

0.4.3

蜡笔

1.5.2

凭证

1.3.2

旋度

4.3.3

data.table

1.14.4

数据集

4.2.2

DBI

1.1.3

dbplyr

2.2.1

desc

1.4.2

devtools

2.4.5

diffobj

0.3.5

消化

0.6.30

downlit

0.4.2

dplyr

1.0.10

dtplyr

1.2.2

e1071

-12 - 1.7

省略

0.3.2

评估

0.18

fansi

1.0.3

farver

2.1.1

fastmap

1.1.0

fontawesome

0.4.0

forcats

0.5.2

foreach

1.5.2

外国

-82 - 0.8

打造

0.2.0

fs

1.5.2

未来

1.29.0

future.apply

1.10.0

含漱剂

1.2.1 "

泛型

0.1.3

哥特

1.9.1

ggplot2

3.4.0

“大酒店”

1.3.1

gitcreds

0.1.2

glmnet

4.1 - 4

全局变量

0.16.1

胶水

1.6.2

googledrive

2.0.0

googlesheets4

1.0.1

高尔

1.0.0

图形

4.2.2

grDevices

4.2.2

网格

4.2.2

gridExtra

2.3

gsubfn

0.7

gtable

0.3.1

需要戴安全帽的

1.2.0

还

2.5.1

highr

0.9

hms

1.1.2

htmltools

0.5.3

htmlwidgets

1.5.4

httpuv

1.6.6

httr

1.4.4

id

1.0.1

ini

0.3.1

不小

-13 - 0.9

isoband

0.2.6虽然只是

迭代器

1.0.14

jquerylib

0.1.4

jsonlite

1.8.3

KernSmooth

-20 - 2.23

knitr

1.40

标签

0.4.2

晚些时候

1.3.0

晶格

-45 - 0.20

熔岩

1.7.0

生命周期

1.0.3

listenv

0.8.0

lubridate

1.9.0

magrittr

2.0.3

减价

1.3

质量

-58 - 7.3

矩阵

1.5 - 1

memoise

2.0.1

方法

4.2.2

mgcv

-41 - 1.8

mime

0.12

miniUI

0.1.1.1

ModelMetrics

1.2.2.2

modelr

0.1.9

孟塞尔

0.5.0

nlme

-160 - 3.1

nnet

-18 - 7.3

numDeriv

2016.8 - -1.1

openssl

2.0.4

平行

4.2.2

平行

1.32.1

支柱

1.8.1

pkgbuild

1.3.1

pkgconfig

2.0.3

pkgdown

2.0.6

pkgload

1.3.1

plogr

0.2.0

plyr

1.8.7

赞美

1.0.0

prettyunits

1.1.1

pROC

1.18.0

processx

3.8.0

prodlim

2019.11.13

profvis

0.3.7

进步

1.2.2

progressr

0.11.0

承诺

1.2.0.1

原型

1.0.0

代理

-27 - 0.4

ps

1.7.2

purrr

0.3.5

r2d3

0.2.6虽然只是

R6

2.5.1

ragg

1.2.4

randomForest

4.7 - -1.1

rappdirs

0.3.3

rcmdcheck

1.4.0

RColorBrewer

1.1 - 3

Rcpp

1.0.9

RcppEigen

0.3.3.9.3

readr

2.1.3

readxl

1.4.1

食谱

1.0.3

复赛

1.0.1

rematch2

2.1.2

遥控器

2.4.2

reprex

2.0.2

reshape2

1.4.4

rlang

1.0.6

rmarkdown

2.18

RODBC

-19 - 1.3

roxygen2

7.2.1

rpart

4.1.19

rprojroot

2.0.3

Rserve

-11 - 1.8

RSQLite

2.2.18

rstudioapi

0.14

rversions

2.1.2

房车

1.0.3

萨斯

0.4.2

尺度

1.2.1 "

selectr

0.4 - 2

sessioninfo

1.2.2

形状

1.4.6

闪亮的

1.7.3

sourcetools

0.1.7

sparklyr

1.7.8

SparkR

3.3.1

空间

-11 - 7.3

样条函数

4.2.2

sqldf

-11 - 0.4

SQUAREM

2021.1

统计数据

4.2.2

stats4

4.2.2

stringi

1.7.8

stringr

1.4.1

生存

3.4 0

sys

3.4.1

systemfonts

1.0.4

tcltk

4.2.2

testthat

3.1.5

textshaping

0.3.6

宠物猫

3.1.8中

tidyr

1.2.1 "

tidyselect

1.2.0

tidyverse

1.3.2

timechange

0.1.1

timeDate

4021.106

tinytex

0.42

工具

4.2.2

tzdb

0.3.0

urlchecker

1.0.1

usethis

2.1.6

use utf8

1.2.2

跑龙套

4.2.2

uuid

1.1 0

vctrs

0.5.0

viridisLite

0.4.1

发呜呜声

1.6.0

沃尔多

0.4.0

晶须

0.4

withr

2.5.0

xfun

0.34

xml2

1.3.3

xopen

1.0.0

xtable

1.8 - 4

yaml

2.3.6

邮政编码

2.2.2

安装了Java和Scala库(Scala 2.12集群版)

组ID

工件ID

版本

antlr

antlr

2.7.7

com.amazonaws

amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscaling

1.12.189

com.amazonaws

aws-java-sdk-cloudformation

1.12.189

com.amazonaws

aws-java-sdk-cloudfront

1.12.189

com.amazonaws

aws-java-sdk-cloudhsm

1.12.189

com.amazonaws

aws-java-sdk-cloudsearch

1.12.189

com.amazonaws

aws-java-sdk-cloudtrail

1.12.189

com.amazonaws

aws-java-sdk-cloudwatch

1.12.189

com.amazonaws

aws-java-sdk-cloudwatchmetrics

1.12.189

com.amazonaws

aws-java-sdk-codedeploy

1.12.189

com.amazonaws

aws-java-sdk-cognitoidentity

1.12.189

com.amazonaws

aws-java-sdk-cognitosync

1.12.189

com.amazonaws

aws-java-sdk-config

1.12.189

com.amazonaws

aws-java-sdk-core

1.12.189

com.amazonaws

aws-java-sdk-datapipeline

1.12.189

com.amazonaws

aws-java-sdk-directconnect

1.12.189

com.amazonaws

aws-java-sdk-directory

1.12.189

com.amazonaws

aws-java-sdk-dynamodb

1.12.189

com.amazonaws

aws-java-sdk-ec2

1.12.189

com.amazonaws

aws-java-sdk-ecs

1.12.189

com.amazonaws

aws-java-sdk-efs

1.12.189

com.amazonaws

aws-java-sdk-elasticache

1.12.189

com.amazonaws

aws-java-sdk-elasticbeanstalk

1.12.189

com.amazonaws

aws-java-sdk-elasticloadbalancing

1.12.189

com.amazonaws

aws-java-sdk-elastictranscoder

1.12.189

com.amazonaws

aws-java-sdk-emr

1.12.189

com.amazonaws

aws-java-sdk-glacier

1.12.189

com.amazonaws

aws-java-sdk-glue

1.12.189

com.amazonaws

aws-java-sdk-iam

1.12.189

com.amazonaws

aws-java-sdk-importexport

1.12.189

com.amazonaws

aws-java-sdk-kinesis

1.12.189

com.amazonaws

aws-java-sdk-kms

1.12.189

com.amazonaws

aws-java-sdk-lambda

1.12.189

com.amazonaws

aws-java-sdk-logs

1.12.189

com.amazonaws

aws-java-sdk-machinelearning

1.12.189

com.amazonaws

aws-java-sdk-opsworks

1.12.189

com.amazonaws

aws-java-sdk-rds

1.12.189

com.amazonaws

aws-java-sdk-redshift

1.12.189

com.amazonaws

aws-java-sdk-route53

1.12.189

com.amazonaws

aws-java-sdk-s3

1.12.189

com.amazonaws

aws-java-sdk-ses

1.12.189

com.amazonaws

aws-java-sdk-simpledb

1.12.189

com.amazonaws

aws-java-sdk-simpleworkflow

1.12.189

com.amazonaws

aws-java-sdk-sns

1.12.189

com.amazonaws

aws-java-sdk-sqs

1.12.189

com.amazonaws

aws-java-sdk-ssm

1.12.189

com.amazonaws

aws-java-sdk-storagegateway

1.12.189

com.amazonaws

aws-java-sdk-sts

1.12.189

com.amazonaws

aws-java-sdk-support

1.12.189

com.amazonaws

aws-java-sdk-swf-libraries

1.11.22

com.amazonaws

aws-java-sdk-workspaces

1.12.189

com.amazonaws

jmespath-java

1.12.189

com.chuusai

shapeless_2.12

2.3.3

com.clearspring.analytics

流

2.9.6

com.databricks

Rserve

1.8 - 3

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.12

0.4.15-10

com.databricks.scalapb

scalapb-runtime_2.12

0.4.15-10

com.esotericsoftware

kryo-shaded

4.0.2

com.esotericsoftware

minlog

1.3.0

com.fasterxml

同学

1.3.4

com.fasterxml.jackson.core

jackson-annotations

2.13.4

com.fasterxml.jackson.core

jackson-core

2.13.4

com.fasterxml.jackson.core

jackson-databind

2.13.4.2

com.fasterxml.jackson.dataformat

jackson-dataformat-cbor

2.13.4

com.fasterxml.jackson.datatype

jackson-datatype-joda

2.13.4

com.fasterxml.jackson.datatype

jackson-datatype-jsr310

2.13.4

com.fasterxml.jackson.module

jackson-module-paranamer

2.13.4

com.fasterxml.jackson.module

jackson-module-scala_2.12

2.13.4

com.github.ben-manes.caffeine

咖啡因

2.3.4

com.github.fommil

jniloader

1.1

com.github.fommil.netlib

核心

1.1.2

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java-natives

1.1

com.github.fommil.netlib

native_system-java

1.1

com.github.fommil.netlib

native_system-java-natives

1.1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1.1

com.github.luben

zstd-jni

1.5.2-1

com.github.wendykierp

JTransforms

3.1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.8.6

com.google.crypto.tink

叮叮铃

1.6.1

com.google.flatbuffers

flatbuffers-java

1.12.0

com.google.guava

番石榴

15.0

com.google.protobuf

protobuf-java

2.6.1

com.h2database

h2

2.0.204

com.helger

分析器

1.1.1

com.jcraft

jsch

0.1.50

com.jolbox

bonecp

0.8.0.RELEASE

com.lihaoyi

sourcecode_2.12

0.1.9

com.microsoft.azure

azure-data-lake-store-sdk

2.3.9

com.ning

compress-lzf

1.1

com.sun.mail

javax.mail

1.5.2

com.tdunning

json

1.8

com.thoughtworks.paranamer

paranamer

2.8

com.trueaccord.lenses

lenses_2.12

0.4.12

com.twitter

chill-java

0.10.0

com.twitter

chill_2.12

0.10.0

com.twitter

util-app_2.12

7.1.0

com.twitter

util-core_2.12

7.1.0

com.twitter

util-function_2.12

7.1.0

com.twitter

util-jvm_2.12

7.1.0

com.twitter

util-lint_2.12

7.1.0

com.twitter

util-registry_2.12

7.1.0

com.twitter

util-stats_2.12

7.1.0

com.typesafe

配置

1.2.1 "

com.typesafe.scala-logging

scala-logging_2.12

3.7.2章

com.uber

h3

3.7.0

com.univocity

univocity-parsers

2.9.1

com.zaxxer

HikariCP

4.0.3

commons-cli

commons-cli

1.5.0

commons-codec

commons-codec

1.15

commons-collections

commons-collections

3.2.2

commons-dbcp

commons-dbcp

1.4

commons-fileupload

commons-fileupload

1.3.3

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2.11.0

commons lang

commons lang

2.6

通用日志

通用日志

1.1.3

commons-pool

commons-pool

1.5.4

dev.ludovic.netlib

arpack

2.2.1

dev.ludovic.netlib

布拉斯特区

2.2.1

dev.ludovic.netlib

lapack

2.2.1

info.ganglia.gmetric4j

gmetric4j

1.0.10

io.airlift

aircompressor

0.21

io.delta

delta-sharing-spark_2.12

0.5.2

io.dropwizard.metrics

metrics-core

以下4.4.1

io.dropwizard.metrics

metrics-graphite

以下4.4.1

io.dropwizard.metrics

metrics-healthchecks

以下4.4.1

io.dropwizard.metrics

metrics-jetty9

以下4.4.1

io.dropwizard.metrics

metrics-jmx

以下4.4.1

io.dropwizard.metrics

metrics-json

以下4.4.1

io.dropwizard.metrics

metrics-jvm

以下4.4.1

io.dropwizard.metrics

metrics-servlets

以下4.4.1

io.netty

netty-all

4.1.74.Final

io.netty

netty-buffer

4.1.74.Final

io.netty

netty-codec

4.1.74.Final

io.netty

netty-common

4.1.74.Final

io.netty

netty-handler

4.1.74.Final

io.netty

netty-resolver

4.1.74.Final

io.netty

netty-tcnative-classes

2.0.48.Final

io.netty

netty-transport

4.1.74.Final

io.netty

netty-transport-classes-epoll

4.1.74.Final

io.netty

netty-transport-classes-kqueue

4.1.74.Final

io.netty

netty-transport-native-epoll-linux-aarch_64

4.1.74.Final

io.netty

netty-transport-native-epoll-linux-x86_64

4.1.74.Final

io.netty

netty-transport-native-kqueue-osx-aarch_64

4.1.74.Final

io.netty

netty-transport-native-kqueue-osx-x86_64

4.1.74.Final

io.netty

netty-transport-native-unix-common

4.1.74.Final

io.prometheus

simpleclient

0.7.0

io.prometheus

simpleclient_common

0.7.0

io.prometheus

simpleclient_dropwizard

0.7.0

io.prometheus

simpleclient_pushgateway

0.7.0

io.prometheus

simpleclient_servlet

0.7.0

io.prometheus.jmx

收集器

0.12.0

jakarta.annotation

jakarta.annotation-api

1.3.5

jakarta.servlet

jakarta.servlet-api

4.0.3

jakarta.validation

jakarta.validation-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.activation

激活

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo api

3.0.1

javax.transaction

jta

1.1

javax.transaction

事务api

1.1

javax.xml.bind

jaxb-api

. 2.2.11

javolution

javolution

5.5.1

jline

jline

2.14.6

joda-time

joda-time

2.10.13

net.java.dev.jna

jna

5.8.0

net.razorvine

泡菜

1.2

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

super-csv

2.2.0

net.snowflake

snowflake-ingest-sdk

0.9.6

net.snowflake

snowflake-jdbc

3.13.22

net.sourceforge.f2j

arpack_combined_all

0.1

org.acplt.remotetea

remotetea-oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4.8

org.antlr

stringtemplate

3.2.1之上

org.apache.ant

蚂蚁

1.9.2

org.apache.ant

ant-jsch

1.9.2

org.apache.ant

ant-launcher

1.9.2

org.apache.arrow

arrow-format

7.0.0

org.apache.arrow

arrow-memory-core

7.0.0

org.apache.arrow

arrow-memory-netty

7.0.0

org.apache.arrow

arrow-vector

7.0.0

org.apache.avro

avro

1.11.0

org.apache.avro

avro-ipc

1.11.0

org.apache.avro

avro-mapred

1.11.0

org.apache.commons

commons-collections4

4.4

org.apache.commons

commons-compress

1.21

org.apache.commons

commons-crypto

1.1.0

org.apache.commons

commons-lang3

3.12.0

org.apache.commons

commons-math3

3.6.1

org.apache.commons

commons-text

1.10.0

org.apache.curator

curator-client

2.13.0

org.apache.curator

curator-framework

2.13.0

org.apache.curator

curator-recipes

2.13.0

org.apache.derby

德比

10.14.2.0

org.apache.hadoop

hadoop-client-api

3.3.4-databricks

org.apache.hadoop

hadoop-client-runtime

3.3.4

org.apache.hive

hive-beeline

2.3.9

org.apache.hive

hive-cli

2.3.9

org.apache.hive

hive-jdbc

2.3.9

org.apache.hive

hive-llap-client

2.3.9

org.apache.hive

hive-llap-common

2.3.9

org.apache.hive

hive-serde

2.3.9

org.apache.hive

hive-shims

2.3.9

org.apache.hive

hive-storage-api

2.7.2

org.apache.hive.shims

蜂巢0.23 -垫片

2.3.9

org.apache.hive.shims

hive-shims-common

2.3.9

org.apache.hive.shims

hive-shims-scheduler

2.3.9

org.apache.httpcomponents

httpclient

4.5.13

org.apache.httpcomponents

httpcore

4.4.14

org.apache.ivy

艾薇

2.5.0

org.apache.logging.log4j

log4j - 1.2 api

2.18.0

org.apache.logging.log4j

log4j api

2.18.0

org.apache.logging.log4j

log4j-core

2.18.0

org.apache.logging.log4j

log4j-slf4j-impl

2.18.0

org.apache.mesos

mesos-shaded-protobuf

1.4.0

org.apache.orc

orc-core

1.7.6

org.apache.orc

orc-mapreduce

1.7.6

org.apache.orc

orc-shims

1.7.6

org.apache.parquet

parquet-column

1.12.3-databricks-0001

org.apache.parquet

parquet-common

1.12.3-databricks-0001

org.apache.parquet

parquet-encoding

1.12.3-databricks-0001

org.apache.parquet

parquet-format-structures

1.12.3-databricks-0001

org.apache.parquet

parquet-hadoop

1.12.3-databricks-0001

org.apache.parquet

parquet-jackson

1.12.3-databricks-0001

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.xbean

xbean-asm9-shaded

4.20

org.apache.yetus

audience-annotations

0.13.0

org.apache.zookeeper

动物园管理员

操作

org.apache.zookeeper

zookeeper-jute

操作

org.checkerframework

checker-qual

3.5.0

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.janino

commons-compiler

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

datanucleus-api-jdo

4.2.4

org.datanucleus

datanucleus-core

4.1.17

org.datanucleus

datanucleus-rdbms

4.1.19

org.datanucleus

javax.jdo

3.2.0-m3

org.eclipse.jetty

jetty-client

9.4.46.v20220331

org.eclipse.jetty

jetty-continuation

9.4.46.v20220331

org.eclipse.jetty

jetty-http

9.4.46.v20220331

org.eclipse.jetty

jetty-io

9.4.46.v20220331

org.eclipse.jetty

jetty-jndi

9.4.46.v20220331

org.eclipse.jetty

jetty-plus

9.4.46.v20220331

org.eclipse.jetty

jetty-proxy

9.4.46.v20220331

org.eclipse.jetty

jetty-security

9.4.46.v20220331

org.eclipse.jetty

jetty服务器

9.4.46.v20220331

org.eclipse.jetty

jetty servlet

9.4.46.v20220331

org.eclipse.jetty

jetty-servlets

9.4.46.v20220331

org.eclipse.jetty

jetty-util

9.4.46.v20220331

org.eclipse.jetty

jetty-util-ajax

9.4.46.v20220331

org.eclipse.jetty

jetty-webapp

9.4.46.v20220331

org.eclipse.jetty

jetty-xml

9.4.46.v20220331

org.eclipse.jetty.websocket

websocket-api

9.4.46.v20220331

org.eclipse.jetty.websocket

websocket-client

9.4.46.v20220331

org.eclipse.jetty.websocket

websocket-common

9.4.46.v20220331

org.eclipse.jetty.websocket

websocket服务器

9.4.46.v20220331

org.eclipse.jetty.websocket

websocket-servlet

9.4.46.v20220331

org.fusesource.leveldbjni

leveldbjni-all

1.8

org.glassfish.hk2

hk2-api

2.6.1

org.glassfish.hk2

hk2-locator

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-resource-locator

1.0.3

org.glassfish.hk2.external

aopalliance-repackaged

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

jersey-container-servlet

2.36

org.glassfish.jersey.containers

jersey-container-servlet-core

2.36

org.glassfish.jersey.core

jersey客户端

2.36

org.glassfish.jersey.core

jersey-common

2.36

org.glassfish.jersey.core

jersey-server

2.36

org.glassfish.jersey.inject

jersey-hk2

2.36

org.hibernate.validator

hibernate验证框架

6.1.0.Final

org.javassist

javassist

3.25.0-GA

org.jboss.logging

jboss-logging

3.3.2.Final

org.jdbi

jdbi

2.63.1

org.jetbrains

注释

17.0.0

org.joda

joda-convert

1.7

org.jodd

jodd-core

3.5.2

org.json4s

json4s-ast_2.12

3.7.0-M11

org.json4s

json4s-core_2.12

3.7.0-M11

org.json4s

json4s-jackson_2.12

3.7.0-M11

org.json4s

json4s-scalap_2.12

3.7.0-M11

org.lz4

lz4-java

1.8.0

org.mariadb.jdbc

mariadb-java-client

第2.7.4

org.mlflow

mlflow-spark

1.27.0

org.objenesis

objenesis

2.5.1

org.postgresql

postgresql

42.3.3

org.roaringbitmap

RoaringBitmap

0.9.25

org.roaringbitmap

垫片

0.9.25

org.rocksdb

rocksdbjni

6.24.2

org.rosuda.REngine

REngine

魅惑

org.scala-lang

scala-compiler_2.12

2.12.14

org.scala-lang

scala-library_2.12

2.12.14

org.scala-lang

scala-reflect_2.12

2.12.14

org.scala-lang.modules

scala-collection-compat_2.12

2.4.3

org.scala-lang.modules

scala-parser-combinators_2.12

1.1.2

org.scala-lang.modules

scala-xml_2.12

1.2.0

org.scala-sbt

测试界面

1.0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

breeze-macros_2.12

1.2

org.scalanlp

breeze_2.12

1.2

org.scalatest

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1.7.36

org.slf4j

jul-to-slf4j

1.7.36

org.slf4j

slf4j-api

1.7.36

org.spark-project.spark

未使用的

1.0.0

org.threeten

threeten-extra

1.5.0

org.tukaani

xz

1.8

org.typelevel

algebra_2.12

2.0.1

org.typelevel

cats-kernel_2.12

2.1.1

org.typelevel

macro-compat_2.12

1.1.1

org.typelevel

spire-macros_2.12

0.17.0

org.typelevel

spire-bob体育客户端下载platform_2.12

0.17.0

org.typelevel

spire-util_2.12

0.17.0

org.typelevel

spire_2.12

0.17.0

org.wildfly.openssl

wildfly-openssl

1.0.7.Final

org.xerial

sqlite-jdbc

3.8.11.2

org.xerial.snappy

snappy-java

1.1.8.4

org.yaml

snakeyaml

1.24

奥罗

奥罗

2.0.8

pl.edu.icm

JLargeArrays

1.5

software.amazon.ion

ion-java

1.0.2中

stax

stax-api

1.0.1