砖13.0运行时

在运行%皮普命令修改virtualEnv Python笔记本内部,砖不再自动重新启动Python的过程。重新启动Python程序,调用dbutils.library.restartPython ()。这种变化,%皮普命令在砖Jupyter类似于笔记本,是一致的!皮普和% sh皮普命令。砖建议%皮普而不是!皮普或% sh皮普。

使用根用户集群级安装Python库

图书馆现在安装使用根用户负责图书馆的设施。如果你想配置pip安装行为init脚本,使用文件(全球水平https://pip.pypa.io/en/stable/topics/configuration/配置文件)。

错误修复

在% sh命令,以下修复了:
- 输出包含非现在支持utf - 8字符。
- 子流程现在打断当命令取消了。

库升级

升级的Python库:
- asttokens 2.0.5 2.2.1
- 黑色22.3.0 22.6.0
- boto3 1.21.32 1.24.28
- botocore 1.24.32 1.27.28
- certifi 2021.10.8 2022.9.14
- cffi 1.15.0 1.15.1
- 密码学3.4.8 37.0.1
- Cython 0.29.28 0.29.32
- dbus-python 1.2.16 1.2.18
- docstring-to-markdown从0.11到0.12
- 执行0.8.3 1.2.0
- facets-overview 1.0.0 1.0.2中
- fastjsonschema 2.16.2 2.16.3
- filelock 3.9.0 3.10.7
- ipykernel 6.15.3 6.17.1
- ipython 8.5.0 8.10.0
- joblib 1.1.1 1.2.0
- jsonschema 4.4.0 4.16.0
- jupyter-client 6.1.12 7.3.4
- 1.4.2 kiwisolver从1.3.2
- matplotlib 3.5.1 3.5.2
- matplotlib-inline 0.1.2 0.1.6
- nbformat 5.3.0发送的
- 笔记本6.4.8 6.4.12
- 熊猫从1.4.2 1.4.4
- 枕头9.0.1 9.2.0
- 皮普从21.2.4 22.2.2
- bob体育客户端下载platformdirs 2.6.2 2.5.2
- 情节5.6.0 5.9.0
- prometheus-client 0.13.1 0.14.1
- prompt-toolkit 3.0.20 3.0.36
- psutil 5.8.0 5.9.0
- pyflakes 2.5.0 3.0.1
- PyGObject 3.36.0 3.42.1
- pyparsing 3.0.4 3.0.9
- pyright 1.1.283 1.1.294
- python-lsp-server 1.6.0 1.7.1上
- pytz从2021.3到2022.1
- pyzmq 22.3.0 23.2.0
- 从2.27.1 2.28.1请求
- 绳子从0.22.0 1.7.0
- s3transfer 0.5.0 0.6.0
- 1.1.1 scikit-learn从1.0.2中
- scipy 1.7.3 1.9.1
- setuptools 61.2.0 63.4.1
- ssh-import-id从5.10到5.11
- 堆栈数据从0.2.0 0.6.2
- testpath 0.5.0 0.6.0
- tomli 1.2.2 2.0.1
- ujson 5.1.0 5.4.0
- urllib3 1.26.9 1.26.11
- virtualenv 20.8.0 20.16.3
- whatthepatch 1.0.4 1.0.2中
- 轮0.37.0 0.37.1
升级R库:
- 箭头从10.0.0 10.0.1
- 从4.0.4到你
- 扫帚1.0.1 1.0.3
- bslib 0.4.1 0.4.2
- 时间从2.3 -58 2.3 -59人
- cli 3.4.1 3.6.0
- 色彩从2.0 3 - 2.1 0
- 旋度5.0.0 4.3.3
- data.tablefrom 1.14.4 to 1.14.6
- dbplyr tripwire 2.2.1
- 摘要从0.6.30 0.6.31
- dplyr 1.0.10 1.1.0
- e1071从1.7 -12 1.7 -13
- 评估从0.18到0.20
- 从1.0.3 fansi 1.0.4
- fontawesome 0.4.0 0.5.0
- forcats 0.5.2 1.0.0
- fs 1.5.2 1.6.1
- 未来1.29.0 1.31.0
- 漱口1.3.0从这次1.2.1版本
- 哥特1.9.1升级到1.9.2从
- glmnet从4.1到4.1 (4 6
- 全局0.16.1 0.16.2
- 高尔半岛1.0.0 1.0.1
- highr从0.9到0.10
- htmltools 0.5.3 0.5.4
- htmlwidgets 1.5.4 1.6.1
- httpuv 1.6.6 1.6.8
- isoband 0.2.6虽然只是0.2.7
- jsonlite 1.8.3 1.8.4
- knitr从1.40到1.42
- 熔岩从1.7.0 1.7.1上
- listenv 0.8.0 0.9.0
- lubridate 1.9.0 1.9.1
- 减价从1.3到1.5
- modelr 0.1.9 0.1.10
- openssl 2.0.4 2.0.5
- 平行1.32.1 1.34.0
- pkgbuild 1.4.0 1.3.1
- pkgdown 2.0.6 2.0.7
- pkgload 1.3.1 1.3.2
- plyr 1.8.8 1.8.7
- progressr从0.11.0 0.13.0。它
- purrr 0.3.5 1.0.1
- 从1.2.4 ragg 1.2.5
- Rcpp 1.0.9 1.0.10
- readxl 1.4.1 1.4.2
- 食谱从1.0.3 1.0.4
- rmarkdown从2.18到2.20
- RODBC从1.3 -19 1.3 -20
- roxygen2 7.2.1 7.2.3
- RSQLite 2.2.18 2.2.20
- sass 0.4.2 0.4.5
- 闪亮的1.7.3 1.7.4
- sourcetools 0.1.7 0.1.7-1
- sparklyr 1.7.8 1.7.9
- SparkR 3.3.2 3.4.0
- 空间从7.3 -11 7.3 -15
- stringi 1.7.8 1.7.12
- stringr 1.4.1 1.5.0
- 生存从3.4 0到3.5 - 3
- testthat 3.1.5 3.1.6
- tidyr 1.3.0从这次1.2.1版本
- timechange 0.1.1 0.2.0
- timeDate从4021.106到4022.108
- tinytex从0.42到0.44
- 从1.2.2 use utf8 1.2.3
- vctrs 0.5.0 0.5.2
- 发呜呜声1.6.0 1.6.1
- 须从0.4到0.4.1
- xfun从0.34到0.37
- yaml 2.3.6 2.3.7
升级Java库:
- com.amazonaws。aws-java-sdk-autoscaling from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-cloudformation from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-cloudfront from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-cloudhsm from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-cloudsearch from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-cloudtrail from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-cloudwatch from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-cloudwatchmetrics from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-codedeploy from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-cognitoidentity from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-cognitosync from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-config from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-core from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-datapipeline from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-directconnect from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-directory from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-dynamodb from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-ec2 from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-ecs from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-efs from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-elasticache from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-elasticbeanstalk from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-elasticloadbalancing from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-elastictranscoder from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-emr from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-glacier from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-glue from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-iam from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-importexport from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-kinesis from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-kms from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-lambda from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-logs from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-machinelearning from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-opsworks from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-rds from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-redshift from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-route53 from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-s3 from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-ses from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-simpledb from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-simpleworkflow from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-sns from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-sqs from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-ssm from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-storagegateway from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-sts from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-support from 1.12.189 to 1.12.390
- com.amazonaws。aws-java-sdk-workspaces from 1.12.189 to 1.12.390
- com.amazonaws。jmespath-javafrom 1.12.189 to 1.12.390
- com.fasterxml.jackson.core。jackson-annotationsfrom 2.13.4 to 2.14.2
- com.fasterxml.jackson.core。jackson-corefrom 2.13.4 to 2.14.2
- com.fasterxml.jackson.core。jackson-databindfrom 2.13.4.2 to 2.14.2
- com.fasterxml.jackson.dataformat。jackson-dataformat-cborfrom 2.13.4 to 2.14.2
- com.fasterxml.jackson.datatype。jackson-datatype-jodafrom 2.13.4 to 2.14.2
- com.fasterxml.jackson.module。jackson-module-paranamerfrom 2.13.4 to 2.14.2
- com.fasterxml.jackson.module.jackson-module-scala_2.12 2.13.4 2.14.2
- com.github.luben。zstd-jnifrom 1.5.2-1 to 1.5.2-5
- com.google.code.gson。gsonfrom 2.8.6 to 2.8.9
- com.google.crypto.tink。叮叮铃from 1.6.1 to 1.7.0
- com.h2database。h2from 2.0.204 to 2.1.214
- com.jcraft。jschfrom 0.1.50 to 0.1.55
- 1.1.2 com.ning.compress-lzf从1.1
- 从1.3.3 commons-fileupload.commons-fileupload 1.5
- dev.ludovic.netlib.arpack 3.0.3 2.2.1
- dev.ludovic.netlib.blas 3.0.3 2.2.1
- dev.ludovic.netlib.lapack 3.0.3 2.2.1
- io.dropwizard.metrics。metrics-corefrom 4.1.1 to 4.2.10
- io.dropwizard.metrics。metrics-graphitefrom 4.1.1 to 4.2.10
- io.dropwizard.metrics。metrics-healthchecksfrom 4.1.1 to 4.2.10
- io.dropwizard.metrics。metrics-jetty9from 4.1.1 to 4.2.10
- io.dropwizard.metrics。metrics-jmxfrom 4.1.1 to 4.2.10
- io.dropwizard.metrics。metrics-jsonfrom 4.1.1 to 4.2.10
- io.dropwizard.metrics。metrics-jvmfrom 4.1.1 to 4.2.10
- io.dropwizard.metrics。metrics-servletsfrom 4.1.1 to 4.2.10
- 从4.1.74 io.netty.netty-all。决赛4.1.87.Final
- 从4.1.74 io.netty.netty-buffer。决赛4.1.87.Final
- 从4.1.74 io.netty.netty-codec。决赛4.1.87.Final
- 从4.1.74 io.netty.netty-common。决赛4.1.87.Final
- 从4.1.74 io.netty.netty-handler。决赛4.1.87.Final
- 从4.1.74 io.netty.netty-resolver。决赛4.1.87.Final
- 从4.1.74 io.netty.netty-transport。决赛4.1.87.Final
- 从4.1.74 io.netty.netty-transport-classes-epoll。决赛4.1.87.Final
- 从4.1.74 io.netty.netty-transport-classes-kqueue。决赛4.1.87.Final
- 从4.1.74 io.netty.netty-transport-native-unix-common。决赛4.1.87.Final
- joda-time。joda-timefrom 2.10.13 to 2.12.1
- net.razorvine。泡菜from 1.2 to 1.3
- org.antlr。antlr4-runtime from 4.8 to 4.9.3
- org.apache.ant。蚂蚁from 1.9.2 to 1.9.16
- org.apache.ant。ant-jschfrom 1.9.2 to 1.9.16
- org.apache.ant。ant-launcherfrom 1.9.2 to 1.9.16
- org.apache.arrow。arrow-formatfrom 7.0.0 to 11.0.0
- org.apache.arrow。arrow-memory-corefrom 7.0.0 to 11.0.0
- org.apache.arrow。箭头-memory-netty from 7.0.0 to 11.0.0
- org.apache.arrow。arrow-vectorfrom 7.0.0 to 11.0.0
- org.apache.avro。avrofrom 1.11.0 to 1.11.1
- org.apache.avro。avro-ipcfrom 1.11.0 to 1.11.1
- org.apache.avro。avro-mapredfrom 1.11.0 to 1.11.1
- org.apache.httpcomponents。httpclientfrom 4.5.13 to 4.5.14
- org.apache.httpcomponents。httpcorefrom 4.4.14 to 4.4.16
- org.apache.ivy。艾薇from 2.5.0 to 2.5.1
- 从2.18.0 2.19.0 org.apache.logging.log4j.log4j - 1.2 api
- org.apache.logging.log4j。log4j apifrom 2.18.0 to 2.19.0
- org.apache.logging.log4j。log4j-corefrom 2.18.0 to 2.19.0
- org.apache.orc。orc-corefrom 1.7.6 to 1.8.2-shaded-protobuf
- org.apache.orc。orc-mapreducefrom 1.7.6 to 1.8.2-shaded-protobuf
- org.apache.orc。orc-shimsfrom 1.7.6 to 1.8.2
- org.apache.xbean。xbean-asm9-shaded从4.20到4.22
- org.apache.zookeeper。动物园管理员from 3.6.2 to 3.6.3
- org.apache.zookeeper。zookeeper-jutefrom 3.6.2 to 3.6.3
- org.eclipse.jetty。jetty-clientfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-continuationfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-httpfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-iofrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-jndifrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-plusfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-proxyfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-securityfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty服务器from 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty servletfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-servletsfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-utilfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-util-ajaxfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-webappfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty。jetty-xmlfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty.websocket。从9.4.46 websocket-api。v20220331, 9.4.50.v20221201
- org.eclipse.jetty.websocket。websocket-clientfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty.websocket。websocket-commonfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty.websocket。websocket服务器from 9.4.46.v20220331 to 9.4.50.v20221201
- org.eclipse.jetty.websocket。websocket-servletfrom 9.4.46.v20220331 to 9.4.50.v20221201
- org.hibernate.validator。hibernate验证框架from 6.1.0.Final to 6.1.7.Final
- org.mlflow。mlflow-spark 2.1.1 2.2.0
- org.postgresql。postgresqlfrom 42.3.3 to 42.3.8
- org.roaringbitmap。RoaringBitmapfrom 0.9.25 to 0.9.39
- org.roaringbitmap。垫片from 0.9.25 to 0.9.39
- org.rocksdb。rocksdbjnifrom 6.28.2 to 7.8.3
- org.scala-lang.scala-compiler_2.12 2.12.14 2.12.15
- org.scala-lang.scala-library_2.12 2.12.14 2.12.15
- org.scala-lang.scala-reflect_2.12 2.12.14 2.12.15
- 从1.2 org.scalanlp.breeze-macros_2.12魅惑
- 从1.2 org.scalanlp.breeze_2.12魅惑
- org.slf4j。jcl-over-slf4j 1.7.36 2.0.6
- org.slf4j。jul-to-slf4j 1.7.36 2.0.6
- org.slf4j。slf4j-apifrom 1.7.36 to 2.0.6
- org.threeten。threeten-extra 1.5.0 1.7.1上
- org.wildfly.openssl。wildfly-opensslfrom 1.0.7.Final to 1.1.3.Final
- org.yaml。snakeyamlfrom 1.24 to 1.33

Apache火花

砖13.0运行时包含Apache 3.4.0火花。

火花SQL

特性

实现支持列在表的默认值(火星- 38334)
添加Dataset.as (StructType) (火星- 39625)
支持参数化SQL (火星- 41271,火星- 42702)
添加透视/融化(火星- 38864,火星- 39876)
支持“侧列别名引用”(火星- 27561)
支持结果补偿条款(火星- 28330,火星- 39159)
没有时区支持时间戳数据类型(火星- 35662)
支持标量子查询时间旅行(火星- 39306)
使目录API兼容3-layer-namespace (火星- 39235)
支持时间戳在几秒钟内使用Dataframe穿越时间的选项(火星- 39633)
添加SparkSession.config(图)(火星- 40163)
支持改变会话目录的默认数据库(火星- 35242)
Protobuf支持火花- from_protobuf和to_protobuf (火星- 40654)
添加源并入条款(不匹配时火星- 40921)
放松点约束创建表列选项(火星- 40944)
SQL等效Dataframe覆盖命令(火星- 40956)
支持生成没有要求孩子输出主机外引用(火星- 41441)
ORDER BY (火星- 41637)
集团所有火星- 41635)
添加flatMapSortedGroups和cogroupSorted (火星- 38591)
支持与相关子查询non-equality谓词(火星- 36114)
支持与相关子查询通过联盟/交叉/除了(火星- 36124)

ANSI合规

ANSI SQL模式:无效访问地图上总是返回null列(火星- 40066)
支持双引用标识符(火星- 40585)
ANSI SQL模式:圆整数溢出/ Bround应该返回一个错误(火星- 42045)
支持ANSI间隔积分(铸造火星- 40008)
支持ANSI间隔的小数(火星- 40014)
返回更广泛的ANSI间隔类型百分比的函数(火星- 40151)
支持ANSI间隔的小数(火星- 39470)
支持铸造间隔积分在ANSI模式(火星- 39451)
强化SQLSTATE用法错误类(火星- 41994)

功能

支持FROM子句中的表值生成器函数(火星- 41594)
支持ANSI聚合函数:REGR_SXY (火星- 37681)
支持ANSI聚合函数:REGR_R2 (火星- 37641)
支持ANSI聚合函数:REGR_SXX (火星- 37672)
支持ANSI聚合函数:REGR_SYY (火星- 37702)
支持ANSI聚合函数:REGR_SLOPE (火星- 39230)
支持ANSI聚合函数:REGR_INTERCEPT (火星- 37623)
支持ANSI聚合函数PERCENTILE_CONT窗函数(火星- 38219)
支持ANSI聚合函数:PERCENTILE_DISC (火星- 37691)
支持SPLIT_PART函数(火星- 38063)
支持TRY_AVG函数(火星- 38589)
支持TRY_TO_BINARY函数(火星- 38590)
支持TO_NUMBER和TRY_TO_NUMBER SQL函数根据新规范(火星- 38796)
支持ANSI一般价值规范和功能——用户(火星- 39138)
支持TO_CHAR和TRY_TO_CHAR函数格式十进制值作为字符串(火星- 28516)
支持ANY_VALUE聚合函数(火星- 39213)
支持EQUAL_NUL函数(火星- 39305)
支持聚合函数值(火星- 39320)
支持REGEXP_COUNT函数(火星- 39618)
的支持REGEXP_INSTR函数(火星- 39744)
的支持REGEXP_SUBSTR函数(火星- 39695)
支持透视功能(火星- 39876)
支持TRY_TO_TIMESTAMP函数(火星- 39795)
支持url编码/解码内置函数和整理url-related函数(火星- 39741)
支持聚合函数模式(火星- 39808)
支持函数(火星- 40109)
返回函数添加别名:LEN DATEPART, DATE_DIFF CURDATE (火星- 40352)
提高TO_BINARY函数(火星- 40112)
支持CURRENT_SCHEMA (火星- 41323)
支持数据屏蔽内置函数面具(火星- 40687)
支持高阶函数:ARRAY_COMPACT (火星- 41235)
支持ARRAY_APPEND函数(火星- 41232)
支持ARRAY_INSERT函数(火星- 41234)
支持LUHN_CHECK函数(火星- 42191)
支持ARRAY_SORT(列,比较器)(火星- 39925)

数据源

支持列统计DS v2 (火星- 41378)
在DS v2存储分区加入(SPJ) (火星- 37375)
在DS v2(行级业务火星- 35801)
在界面添加SupportsReportOrdering混合DS v2扫描(火星- 38647)
推断出日期类型为CSV模式推理(火星- 39469)
支持驱动指标在DS v2定义度量API (火星- 39635)
分配和排序支持DS v2函数以书面形式(火星- 39607)
StringEndsWith /包含支持压低拼花,这样我们可以利用字典过滤器(火星- 39002)
支持UDT火花铺矢量化的读者火星- 39086)
扩展元数据列支持拼花行索引文件(火星- 37980)
支持阅读铺FIXED_LEN_BYTE_ARRAY类型(火星- 41096)
优化过滤谓词的顺序(火星- 40045)
支持与该JDBC (CTE和临时表查询火星- 37259)
支持ignoreCorruptFiles和ignoreMissingFiles数据源的选择(火星- 38767)
退出v1写writefile (火星- 41407)
添加读字符填充覆盖外部数据文件(火星- 40697)

查询优化

合并不相关的标量子查询(火星- 34079)
默认启用布隆过滤器连接(火星- 38841)
删除不必要的不同总表达distinctKeys (火星- 38832)
支持谓词下推和列修剪de-duped ct (火星- 37670)
删除外连接如果聚合函数复制不可知论者流一边(火星- 38886)
删除左/右外连接如果只选择左/右侧列和连接键在另一边是独一无二的(火星- 39172)
优化全球RepartitionByExpression排序(火星- 39911)
优化TransposeWindow规则(火星- 38034)
提高EliminateSorts支持移除类型通过LocalLimit (火星- 40050)
推动本地限制双方如果联接条件是空的(火星- 40040)
添加PushProjectionThroughLimit优化器(火星- 40501)
支持主/透视与加入的孩子(火星- 41195)
支持与多个不确定性过滤器(列修剪火星- 41017)
提高输出与AQE缓存分区和排序(火星- 41048)
提高多像性能通过创建一个平衡表达式树谓词(火星- 41167)
删除如果是RepartitionByExpression的孩子(火星- 36703)
使用可用的列统计数据查询阶段完成(火星- 39991)
重用WindowSpecDefinition表达式(火星- 41805)
改善AliasAwareOutputPartitioning AliasAwareQueryOutputOrdering考虑所有别名(火星- 40086,火星- 42049)
通过Python udf压低限制(火星- 42115)

代码生成和查询执行

在BroadcastNestedLoopJoinExec defaultJoin运行并行(火星- 40487)
Codegen支持HiveGenericUDF (火星- 42051)
介绍洗牌SinglePartition (火星- 41986)
让民进党支持修剪方面联盟(火星- 39217)

其他值得注意的变化

支持自动分区统计信息收集(火星- 38573)
格式错误消息的节俭服务器(火星- 40098)
添加一个扩展API进行计划正常化的缓存(火星- 41183)
重构火花类型通过引入物理类型(火星- 41226)
其中现场支持和递归检查(火星- 41396)
集中列解决逻辑(火星- 41405)
改善计划变更验证(火星- 42081)
介绍SparkPath类型安全(火星- 41970)
db_name抛出异常。view_name当创建临时视图数据API (火星- 41090)
改变掩模函数的参数的默认值从1到零(火星- 42070)

火花的核心

解除

避免不必要的任务重新运行退役执行人失去如果洗牌数据迁移(火星- 41469)
忽略阶段获取失败造成的退役的执行人(火星- 40481)
启用spark.storage.decommission。抽样|洗牌)Blocks.enabled默认情况下(火星- 40198)
添加对纱线的支持退役当ESS是禁用的(火星- 30835)

调度器

使舞台调度支持本地集群模式(火星- 41949)
支持独立的阶段任务资源水平集群动态分配时禁用(火星- 39853)
延迟onDisconnected使司机收到ExecutorExitCode (火星- 39957)
通过舞台任务指标(提高投机火星- 32170)
添加资源调度支持独立的阶段水平集群(火星- 39062)
改善LaunchTask过程避免阶段失败造成的不能发送LaunchTask消息(火星- 39955)

洗牌

客户端添加基于推动洗牌读指标(火星- 36620)
推动基于洗牌洗牌服务器端指标(火星- 33573)
确保mergedShuffleCleaner db close(之前已经关闭火星- 40186)
添加RocksDB支持洗牌服务状态存储(火星- 38888)
封装并且用于存储远程DB /外部洗牌状态(火星- 38909)
启用spark.dynamicAllocation.shuffleTracking。默认启用(火星- 3984)
启用了基于推的洗牌服务将状态存储在纳米水平DB工作保存重启(火星- 33236)
删除使用洗牌洗牌块服务执行人(发布火星- 37618)

其他值得注意的变化

支持站点环境(火星- 39457)
启用默认spark.kryo.unsafe (火星- 42137)
不允许任意定制类路径与代理用户集群模式(火星- 41958)
避免BlockManager续费如果遗嘱执行人已经丢失(火星- 41360)
删除单个任务结果的限制必须符合2 gb (火星- 40622)
移除弃用spark.akka的支持。*配置(火星- 40401)
改变默认日志记录到stderr符合log4j的行为(火星- 40406)
排除DirectTaskResult元数据在计算结果大小(火星- 40261)
允许自定义初始分区数量()行为(火星- 40211)
使用可中断锁而不是同步的Executor.updateDependencies () (火星- 40235)
任务应该触发任务失败的听众(火星- 40106)
添加能够选择性地禁用看或轮询(火星- 36462)
不要缓存非系列化广播关系驱动程序(火星- 39983)
解决死锁TaskMemoryManager和UnsafeExternalSorter之间。SpillableIterator (火星- 39283)
暴露阶段TaskContext(分区数量火星- 38679)
使内存开销因素可配置(火星- 38194)
避免使用bash ShellBasedGroupsMappingProvider - c (火星- 38992)

结构化流

主要功能

异步进度跟踪(火星- 39591)
Python任意状态处理结构化流(火星- 40434)
Protobuf支持结构化流(火星- 40653)
修复记录过滤后期支持链接有状态操作符(火星- 40925)

其他值得注意的变化

引入流检查点文件管理器基于Hadoop Abortable接口(火星- 40039)
反对触发器。一次,促进触发。AvailableNow (火星- 39805)
公开信息目录表的逻辑计划流查询(火星- 39564)
支持从流水槽收集度量标准(火星- 38564)
反对DStream API (火星- 42075)
翻转卡夫卡抵消获取配置的默认值(火星- 40844)
提供克隆引发会话DataFrame PySpark foreachBatch水槽(在用户函数火星- 41379)

火花连接

Python客户机

实现DataFrame API (火星- 41279)
实现列API (火星- 41282)
实现功能的API (火星- 41283)
实现SparkSession API (火星- 41281)
实现I / O API (火星- 41284)
实现目录API (火星- 41289)
支持用户定义函数在Python中(火星- 41661)
支持熊猫/箭头函数API (火星- 42393)
支持运行时SQL配置(火星- 42499)
构建、火花连接方案和基础设施(火星- 41286)
火花Python客户机连接类型注解(火星- 40451)

Scala的客户

Scala实现基本的客户端(火星- 41534,火星- 42133,火星- 42043,火星- 41822)
实现SparkSession API (火星- 42639,火星- 42581,火星- 42564,火星- 42544,火星- 42631)
实现Dataframe API (火星- 42440,火星- 42559,火星- 42558,火星- 42556,火星- 42468,火星- 42529,火星- 42561,火星- 42894,火星- 41874,火星- 42691,火星- 42692,火星- 42481,火星- 42541,火星- 42542,火星- 42520,火星- 41823)
实现列API (火星- 42441,火星- 42560)
实现功能的API (火星- 42461,火星- 42579,火星- 42527,火星- 42531,火星- 42495,火星- 42557)
实现I / O API (火星- 42457,火星- 42555,火星- 42690,火星- 42878,火星- 42757,火星- 42482,火星- 42733,火星- 42518)
实现运行时SQL配置(火星- 42586)
支持基本的用户定义函数(火星- 42283,火星- 42653,火星- 42543)
基本类型的API支持(火星- 42580,火星- 42605)
火花连接测试基础设施(火星- 42172,火星- 42377,火星- 42599)
实现REPL支持(火星- 42656,火星- 42884)

PySpark

熊猫API火花

重大的改进
- Python任意状态处理结构化流(火星- 40434)
- 实现大熊猫API失踪的参数(火星- 42883)
- 熊猫1.5支持(火星- 40576)
主要特点
- 实现系列。searchsorted (火星- 40330)
- 实现系列。autocorr (火星- 38774)
- 实现DataFrame。模式(火星- 40138)
- 实现DataFrame。箱线图和DataFrame.plot。框(火星- 38993)
- 实现DataFrame。corrwith (火星- 38907)
- 实现DataFrame。重新取样和系列。重新取样(火星- 39081)
- 实现DataFrame.interpolate和Series.interpolate (火星- 38844)
- 实现DataFrame。ewm和系列。ewm (火星- 38785)
- 实现GroupBy。刺激(火星- 40334)
- 实现GroupBy。n (火星- 40333)
- 实现GroupBy。分位数(火星- 40332)
- 实现GroupBy。扫描电镜(火星- 40305)
- 实现GroupBy。疯了(火星- 39284)
- 实现GroupBy。斜(火星- 39246)
- 实现GroupBy。ewm (火星- 39129)
- 支持GroupBy位置索引(火星- 38947)

其他值得注意的变化

重大改进
- 提供一个内存分析器PySpark用户定义的函数(火星- 40281)
- 使目录API兼容3-layer-namespace (火星- 39235)
- 在PySpark NumPy输入支持(火星- 39405)
- PySpark错误改善(火星- 41597)
主要功能
- 支持参数化SQL PySpark (火星- 41666)
- 实现“中值”功能(火星- 40003)
- 实现“模式”功能(火星- 40007)
- 实现“透视/融化”功能(火星- 39877)
- 支持在PySpark Varchar (火星- 39760)
- 支持CharType PySpark (火星- 39809)

MLLIB

实现PyTorch分销商(火星- 41589)
统一数据验证(火星- 38584)
减少ALS的洗牌大小(火星- 40476,火星- 40745)
Dedup等张回归复制功能(火星- 41008)
KMeans blockify输入向量(火星- 30661)
添加相关性得分nDCG评价(火星- 39446)

SparkR

添加透视/融化(火星- 41267)
添加array_sort(列,比较器)(火星- 40167)
支持多个“列”R(下降火星- 40087)
箭与SparkR 9.0.0支持(火星- 40114)
使目录API兼容3-layer-namespace (火星- 39579,火星- 39646,火星- 39645,火星- 39236,火星- 39716,火星- 39719)
支持R 4.2.0 (火星- 39372)

住UI和历史服务器服务

更好的UI火花可伸缩性和司机稳定对于大型应用程序(火星- 41053)
使用RocksDB spark.history.store.hybridStore。diskBackend默认情况下(火星- 42277)
嵌套组执行根执行(下火星- 41752)
环境中显示指标属性选项卡(火星- 39110)
修复StagePage输入大小/记录没有显示当记录大于0 (火星- 34777)
改善事件日志记录通过使用杰克逊代替Json4s JsonProtocol性能(火星- 39489)
支持spark.history.fs.update。batchSize (火星- 39225)

构建

更新cloudpickle v2.2.0 (火星- 40991)
反对Python 3.7支持(火星- 39861)
支持Python 3.11 (火星- 41454)
更新dev.ludovic.netlib 3.0.2 (火星- 40251)
更新的微风2.0 (火星- 39616)
更新slf4j 2.0.6版本(火星- 41561)
6.4.1 kubernetes-client版本更新(火星- 42362)
更新rocksdbjni 7.9.2 (火星- 42129)
更新Apache箭头11.0.0 (火星- 42161)
3.3.2升级Apache卡夫卡(火星- 42109)

维护更新

看到砖13.0运行时的维护更新。

系统环境

操作系统:Ubuntu 22.04.2 LTS
Java:祖鲁8.68.0.21-CA-linux64
Scala:2.12.15
Python:3.10.6
R:4.2.2
三角洲湖:tripwire

安装Python库

图书馆	版本	图书馆	版本	图书馆	版本
appdirs	1.4.4	argon2-cffi	21.3.0	argon2-cffi-bindings	21.2.0
asttokens	2.2.1	attrs	21.4.0	backcall	0.2.0
beautifulsoup4	4.11.1	黑色的	22.6.0	漂白剂	4.1.0
信号灯	1.4	boto3	1.24.28	botocore	1.27.28
certifi	2022.9.14	cffi	1.15.1	chardet	4.0.0
charset-normalizer	2.0.4	点击	8.0.4	密码学	37.0.1
周期计	0.11.0	Cython	0.29.32	dbus-python	1.2.18
debugpy	1.5.1	装饰	5.1.1	defusedxml	是0.7.1
distlib	0.3.6	docstring-to-markdown	0.12	entrypoints	0.4
执行	1.2.0	facets-overview	1.0.2中	fastjsonschema	2.16.3
filelock	3.10.7	fonttools	4.25.0	googleapis-common-protos	1.56.4
grpcio	1.48.1	grpcio-status	1.48.1	httplib2	0.20.2
idna	3.3	importlib-metadata	4.6.4	ipykernel	6.17.1
ipython	8.10.0	ipython-genutils	0.2.0	ipywidgets	7.7.2
绝地武士	0.18.1	吉普车	是0.7.1	Jinja2	14
jmespath	0.10.0	joblib	1.2.0	jsonschema	4.16.0
jupyter-client	7.3.4	jupyter_core	4.11.2	jupyterlab-pygments	0.1.2
jupyterlab-widgets	1.0.0	密匙环	23.5.0	kiwisolver	1.4.2
launchpadlib	1.10.16	lazr.restfulclient	0.14.4	lazr.uri	1.0.6
MarkupSafe	2.0.1	matplotlib	3.5.2	matplotlib-inline	0.1.6
麦凯布	0.7.0	使走调	0.8.4	more-itertools	8.10.0
mypy-extensions	0.4.3	nbclient	0.5.13	nbconvert	6.4.4
nbformat	发送的	nest-asyncio	1.5.5	nodeenv	1.7.0
笔记本	6.4.12	numpy	1.21.5	oauthlib	3.2.0
包装	21.3	熊猫	1.4.4	pandocfilters	1.5.0
parso	0.8.3	pathspec	0.9.0	容易受骗的人	0.5.2
pexpect	4.8.0	pickleshare	0.7.5	枕头	9.2.0
皮普	22.2.2	bob体育客户端下载platformdirs	2.5.2	情节	5.9.0
pluggy	1.0.0	prometheus-client	0.14.1	prompt-toolkit	3.0.36
protobuf	3.19.4	psutil	5.9.0	psycopg2	2.9.3
ptyprocess	0.7.0	pure-eval	0.2.2	pyarrow	7.0.0
pycparser	2.21	pyflakes	3.0.1	Pygments	2.11.2
PyGObject	3.42.1	PyJWT	tripwire	pyodbc	4.0.32
pyparsing	3.0.9	pyright	1.1.294	pyrsistent	0.18.0
python-dateutil	2.8.2	python-lsp-jsonrpc	1.0.0	python-lsp-server	1.7.1上
pytoolconfig	1.2.2	pytz	2022.1	pyzmq	23.2.0
请求	2.28.1	绳子	1.7.0	s3transfer	0.6.0
scikit-learn	1.1.1	scipy	1.9.1	seaborn	0.11.2
SecretStorage	3.3.1	Send2Trash	1.8.0	setuptools	63.4.1
六个	1.16.0	soupsieve	2.3.1	ssh-import-id	5.11
堆栈数据	0.6.2	statsmodels	0.13.2	韧性	8.0.1
terminado	0.13.1	testpath	0.6.0	threadpoolctl	2.2.0
tokenize-rt	4.2.1	tomli	2.0.1	龙卷风	6.1
traitlets	5.1.1	ujson	5.4.0	unattended-upgrades	0.1
urllib3	1.26.11	virtualenv	20.16.3	wadllib	1.3.6
wcwidth	0.2.5	webencodings	0.5.1	whatthepatch	1.0.2中
轮	0.37.1	widgetsnbextension	3.6.1	yapf	0.31.0
氧化锌碘仿糊	1.0.0

安装R库

R库的安装微软在2023-02-10凹口快照。

图书馆	版本	图书馆	版本	图书馆	版本
箭头	10.0.1	askpass	1.1	为了	0.2.1
补丁	1.4.1	基地	4.2.2	base64enc	0.1 - 3
位	你	bit64	你	团	1.2.3
引导	-28 - 1.3	酿造	1.0 8	生动	1.1.3
扫帚	1.0.3	bslib	0.4.2	cachem	1.0.6
callr	3.7.3	脱字符号	-93 - 6.0	cellranger	1.1.0
时间	-59 - 2.3	类	-21 - 7.3	cli	3.6.0
clipr	0.8.0	时钟	0.6.1	集群	2.1.4
codetools	-19 - 0.2	色彩	2.1 0	commonmark	1.8.1
编译器	4.2.2	配置	0.3.1	cpp11	0.4.3
蜡笔	1.5.2	凭证	1.3.2	旋度	5.0.0
data.table	1.14.6	数据集	4.2.2	DBI	1.1.3
dbplyr	tripwire	desc	1.4.2	devtools	2.4.5
diffobj	0.3.5	消化	0.6.31	downlit	0.4.2
dplyr	1.1.0	dtplyr	1.2.2	e1071	-13 - 1.7
省略	0.3.2	评估	0.20	fansi	1.0.4
farver	2.1.1	fastmap	1.1.0	fontawesome	0.5.0
forcats	1.0.0	foreach	1.5.2	外国	-82 - 0.8
打造	0.2.0	fs	1.6.1	未来	1.31.0
future.apply	1.10.0	含漱剂	1.3.0	泛型	0.1.3
哥特	1.9.2	ggplot2	3.4.0	“大酒店”	1.3.1
gitcreds	0.1.2	glmnet	4.1 6	全局变量	0.16.2
胶水	1.6.2	googledrive	2.0.0	googlesheets4	1.0.1
高尔	1.0.1	图形	4.2.2	grDevices	4.2.2
网格	4.2.2	gridExtra	2.3	gsubfn	0.7
gtable	0.3.1	需要戴安全帽的	1.2.0	还	2.5.1
highr	0.10	hms	1.1.2	htmltools	0.5.4
htmlwidgets	1.6.1	httpuv	1.6.8	httr	1.4.4
id	1.0.1	ini	0.3.1	不小	-13 - 0.9
isoband	0.2.7	迭代器	1.0.14	jquerylib	0.1.4
jsonlite	1.8.4	KernSmooth	-20 - 2.23	knitr	1.42
标签	0.4.2	晚些时候	1.3.0	晶格	-45 - 0.20
熔岩	1.7.1上	生命周期	1.0.3	listenv	0.9.0
lubridate	1.9.1	magrittr	2.0.3	减价	1.5
质量	7.3 - -58.2	矩阵	1.5 - 1	memoise	2.0.1
方法	4.2.2	mgcv	-41 - 1.8	mime	0.12
miniUI	0.1.1.1	ModelMetrics	1.2.2.2	modelr	0.1.10
孟塞尔	0.5.0	nlme	-162 - 3.1	nnet	-18 - 7.3
numDeriv	2016.8 - -1.1	openssl	2.0.5	平行	4.2.2
平行	1.34.0	支柱	1.8.1	pkgbuild	1.4.0
pkgconfig	2.0.3	pkgdown	2.0.7	pkgload	1.3.2
plogr	0.2.0	plyr	1.8.8	赞美	1.0.0
prettyunits	1.1.1	pROC	1.18.0	processx	3.8.0
prodlim	2019.11.13	profvis	0.3.7	进步	1.2.2
progressr	0.13.0	承诺	1.2.0.1	原型	1.0.0
代理	-27 - 0.4	ps	1.7.2	purrr	1.0.1
r2d3	0.2.6虽然只是	R6	2.5.1	ragg	1.2.5
randomForest	4.7 - -1.1	rappdirs	0.3.3	rcmdcheck	1.4.0
RColorBrewer	1.1 - 3	Rcpp	1.0.10	RcppEigen	0.3.3.9.3
readr	2.1.3	readxl	1.4.2	食谱	1.0.4
复赛	1.0.1	rematch2	2.1.2	遥控器	2.4.2
reprex	2.0.2	reshape2	1.4.4	rlang	1.0.6
rmarkdown	2.20	RODBC	-20 - 1.3	roxygen2	7.2.3
rpart	4.1.19	rprojroot	2.0.3	Rserve	-12 - 1.8
RSQLite	2.2.20	rstudioapi	0.14	rversions	2.1.2
房车	1.0.3	萨斯	0.4.5	尺度	1.2.1 "
selectr	0.4 - 2	sessioninfo	1.2.2	形状	1.4.6
闪亮的	1.7.4	sourcetools	0.1.7-1	sparklyr	1.7.9
SparkR	3.4.0	空间	-15 - 7.3	样条函数	4.2.2
sqldf	-11 - 0.4	SQUAREM	2021.1	统计数据	4.2.2
stats4	4.2.2	stringi	1.7.12	stringr	1.5.0
生存	3.5 - 3	sys	3.4.1	systemfonts	1.0.4
tcltk	4.2.2	testthat	3.1.6	textshaping	0.3.6
宠物猫	3.1.8中	tidyr	1.3.0	tidyselect	1.2.0
tidyverse	1.3.2	timechange	0.2.0	timeDate	4022.108
tinytex	0.44	工具	4.2.2	tzdb	0.3.0
urlchecker	1.0.1	usethis	2.1.6	use utf8	1.2.3
跑龙套	4.2.2	uuid	1.1 0	vctrs	0.5.2
viridisLite	0.4.1	发呜呜声	1.6.1	沃尔多	0.4.0
晶须	0.4.1	withr	2.5.0	xfun	0.37
xml2	1.3.3	xopen	1.0.0	xtable	1.8 - 4
yaml	2.3.7	邮政编码	2.2.2

安装了Java和Scala库(Scala 2.12集群版)

组ID	工件ID	版本
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.12.390
com.amazonaws	aws-java-sdk-cloudformation	1.12.390
com.amazonaws	aws-java-sdk-cloudfront	1.12.390
com.amazonaws	aws-java-sdk-cloudhsm	1.12.390
com.amazonaws	aws-java-sdk-cloudsearch	1.12.390
com.amazonaws	aws-java-sdk-cloudtrail	1.12.390
com.amazonaws	aws-java-sdk-cloudwatch	1.12.390
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.390
com.amazonaws	aws-java-sdk-codedeploy	1.12.390
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.390
com.amazonaws	aws-java-sdk-cognitosync	1.12.390
com.amazonaws	aws-java-sdk-config	1.12.390
com.amazonaws	aws-java-sdk-core	1.12.390
com.amazonaws	aws-java-sdk-datapipeline	1.12.390
com.amazonaws	aws-java-sdk-directconnect	1.12.390
com.amazonaws	aws-java-sdk-directory	1.12.390
com.amazonaws	aws-java-sdk-dynamodb	1.12.390
com.amazonaws	aws-java-sdk-ec2	1.12.390
com.amazonaws	aws-java-sdk-ecs	1.12.390
com.amazonaws	aws-java-sdk-efs	1.12.390
com.amazonaws	aws-java-sdk-elasticache	1.12.390
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.390
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.390
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.390
com.amazonaws	aws-java-sdk-emr	1.12.390
com.amazonaws	aws-java-sdk-glacier	1.12.390
com.amazonaws	aws-java-sdk-glue	1.12.390
com.amazonaws	aws-java-sdk-iam	1.12.390
com.amazonaws	aws-java-sdk-importexport	1.12.390
com.amazonaws	aws-java-sdk-kinesis	1.12.390
com.amazonaws	aws-java-sdk-kms	1.12.390
com.amazonaws	aws-java-sdk-lambda	1.12.390
com.amazonaws	aws-java-sdk-logs	1.12.390
com.amazonaws	aws-java-sdk-machinelearning	1.12.390
com.amazonaws	aws-java-sdk-opsworks	1.12.390
com.amazonaws	aws-java-sdk-rds	1.12.390
com.amazonaws	aws-java-sdk-redshift	1.12.390
com.amazonaws	aws-java-sdk-route53	1.12.390
com.amazonaws	aws-java-sdk-s3	1.12.390
com.amazonaws	aws-java-sdk-ses	1.12.390
com.amazonaws	aws-java-sdk-simpledb	1.12.390
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.390
com.amazonaws	aws-java-sdk-sns	1.12.390
com.amazonaws	aws-java-sdk-sqs	1.12.390
com.amazonaws	aws-java-sdk-ssm	1.12.390
com.amazonaws	aws-java-sdk-storagegateway	1.12.390
com.amazonaws	aws-java-sdk-sts	1.12.390
com.amazonaws	aws-java-sdk-support	1.12.390
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.390
com.amazonaws	jmespath-java	1.12.390
com.clearspring.analytics	流	2.9.6
com.databricks	Rserve	1.8 - 3
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo-shaded	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	同学	1.3.4
com.fasterxml.jackson.core	jackson-annotations	2.14.2
com.fasterxml.jackson.core	jackson-core	2.14.2
com.fasterxml.jackson.core	jackson-databind	2.14.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.14.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.14.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.13.4
com.fasterxml.jackson.module	jackson-module-paranamer	2.14.2
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.14.2
com.github.ben-manes.caffeine	咖啡因	2.3.4
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java	1.1人
com.github.fommil.netlib	native_system-java	1.1
com.github.fommil.netlib	native_system-java	1.1人
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1人
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1人
com.github.luben	zstd-jni	1.5.2-5
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.8.9
com.google.crypto.tink	叮叮铃	1.7.0
com.google.flatbuffers	flatbuffers-java	1.12.0
com.google.guava	番石榴	15.0
com.google.protobuf	protobuf-java	2.6.1
com.h2database	h2	2.1.214
com.helger	分析器	1.1.1
com.jcraft	jsch	0.1.55
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.ning	compress-lzf	1.1.2
com.sun.mail	javax.mail	1.5.2
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.10.0
com.twitter	chill_2.12	0.10.0
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	配置	1.2.1 "
com.typesafe.scala-logging	scala-logging_2.12	3.7.2章
com.uber	h3	3.7.0
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	4.0.3
commons-cli	commons-cli	1.5.0
commons-codec	commons-codec	1.15
commons-collections	commons-collections	3.2.2
commons-dbcp	commons-dbcp	1.4
commons-fileupload	commons-fileupload	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.11.0
commons lang	commons lang	2.6
通用日志	通用日志	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	3.0.3
dev.ludovic.netlib	布拉斯特区	3.0.3
dev.ludovic.netlib	lapack	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0.21
io.delta	delta-sharing-spark_2.12	0.6.3
io.dropwizard.metrics	metrics-core	4.2.10
io.dropwizard.metrics	metrics-graphite	4.2.10
io.dropwizard.metrics	metrics-healthchecks	4.2.10
io.dropwizard.metrics	metrics-jetty9	4.2.10
io.dropwizard.metrics	metrics-jmx	4.2.10
io.dropwizard.metrics	metrics-json	4.2.10
io.dropwizard.metrics	metrics-jvm	4.2.10
io.dropwizard.metrics	metrics-servlets	4.2.10
io.netty	netty-all	4.1.87.Final
io.netty	netty-buffer	4.1.87.Final
io.netty	netty-codec	4.1.87.Final
io.netty	netty-codec-http	4.1.87.Final
io.netty	netty-codec-http2	4.1.87.Final
io.netty	netty-codec-socks	4.1.87.Final
io.netty	netty-common	4.1.87.Final
io.netty	netty-handler	4.1.87.Final
io.netty	netty-handler-proxy	4.1.87.Final
io.netty	netty-resolver	4.1.87.Final
io.netty	netty-transport	4.1.87.Final
io.netty	netty-transport-classes-epoll	4.1.87.Final
io.netty	netty-transport-classes-kqueue	4.1.87.Final
io.netty	netty-transport-native-epoll	4.1.87.Final
io.netty	netty-transport-native-epoll	4.1.87.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.1.87.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.87.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.1.87.Final-osx-x86_64
io.netty	netty-transport-native-unix-common	4.1.87.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	收集器	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	激活	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo api	3.0.1
javax.transaction	jta	1.1
javax.transaction	事务api	1.1
javax.xml.bind	jaxb-api	. 2.2.11
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.12.1
net.java.dev.jna	jna	5.8.0
net.razorvine	泡菜	1.3
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.snowflake	snowflake-jdbc	3.13.22
net.sourceforge.f2j	arpack_combined_all	0.1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.9.3
org.antlr	stringtemplate	3.2.1之上
org.apache.ant	蚂蚁	1.9.16
org.apache.ant	ant-jsch	1.9.16
org.apache.ant	ant-launcher	1.9.16
org.apache.arrow	arrow-format	11.0.0
org.apache.arrow	arrow-memory-core	11.0.0
org.apache.arrow	arrow-memory-netty	11.0.0
org.apache.arrow	arrow-vector	11.0.0
org.apache.avro	avro	1.11.1
org.apache.avro	avro-ipc	1.11.1
org.apache.avro	avro-mapred	1.11.1
org.apache.commons	commons-collections4	4.4
org.apache.commons	commons-compress	1.21
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	commons-text	1.10.0
org.apache.curator	curator-client	2.13.0
org.apache.curator	curator-framework	2.13.0
org.apache.curator	curator-recipes	2.13.0
org.apache.datasketches	datasketches-java	3.1.0
org.apache.datasketches	datasketches-memory	2.0.0
org.apache.derby	德比	10.14.2.0
org.apache.hadoop	hadoop-client-runtime	3.3.4
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	hive-cli	2.3.9
org.apache.hive	hive-jdbc	2.3.9
org.apache.hive	hive-llap-client	2.3.9
org.apache.hive	hive-llap-common	2.3.9
org.apache.hive	hive-serde	2.3.9
org.apache.hive	hive-shims	2.3.9
org.apache.hive	hive-storage-api	2.8.1发布
org.apache.hive.shims	蜂巢0.23 -垫片	2.3.9
org.apache.hive.shims	hive-shims-common	2.3.9
org.apache.hive.shims	hive-shims-scheduler	2.3.9
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	艾薇	2.5.1
org.apache.logging.log4j	log4j - 1.2 api	2.19.0
org.apache.logging.log4j	log4j api	2.19.0
org.apache.logging.log4j	log4j-core	2.19.0
org.apache.logging.log4j	log4j-slf4j2-impl	2.19.0
org.apache.mesos	便	1.11.0-shaded-protobuf
org.apache.orc	orc-core	1.8.2-shaded-protobuf
org.apache.orc	orc-mapreduce	1.8.2-shaded-protobuf
org.apache.orc	orc-shims	1.8.2
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.xbean	xbean-asm9-shaded	4.22
org.apache.yetus	audience-annotations	0.13.0
org.apache.zookeeper	动物园管理员	3.6.3
org.apache.zookeeper	zookeeper-jute	3.6.3
org.checkerframework	checker-qual	3.5.0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.50.v20221201
org.eclipse.jetty	jetty-continuation	9.4.50.v20221201
org.eclipse.jetty	jetty-http	9.4.50.v20221201
org.eclipse.jetty	jetty-io	9.4.50.v20221201
org.eclipse.jetty	jetty-jndi	9.4.50.v20221201
org.eclipse.jetty	jetty-plus	9.4.50.v20221201
org.eclipse.jetty	jetty-proxy	9.4.50.v20221201
org.eclipse.jetty	jetty-security	9.4.50.v20221201
org.eclipse.jetty	jetty服务器	9.4.50.v20221201
org.eclipse.jetty	jetty servlet	9.4.50.v20221201
org.eclipse.jetty	jetty-servlets	9.4.50.v20221201
org.eclipse.jetty	jetty-util	9.4.50.v20221201
org.eclipse.jetty	jetty-util-ajax	9.4.50.v20221201
org.eclipse.jetty	jetty-webapp	9.4.50.v20221201
org.eclipse.jetty	jetty-xml	9.4.50.v20221201
org.eclipse.jetty.websocket	websocket-api	9.4.50.v20221201
org.eclipse.jetty.websocket	websocket-client	9.4.50.v20221201
org.eclipse.jetty.websocket	websocket-common	9.4.50.v20221201
org.eclipse.jetty.websocket	websocket服务器	9.4.50.v20221201
org.eclipse.jetty.websocket	websocket-servlet	9.4.50.v20221201
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.36
org.glassfish.jersey.containers	jersey-container-servlet-core	2.36
org.glassfish.jersey.core	jersey客户端	2.36
org.glassfish.jersey.core	jersey-common	2.36
org.glassfish.jersey.core	jersey-server	2.36
org.glassfish.jersey.inject	jersey-hk2	2.36
org.hibernate.validator	hibernate验证框架	6.1.7.Final
org.javassist	javassist	3.25.0-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	注释	17.0.0
org.joda	joda-convert	1.7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M11
org.json4s	json4s-core_2.12	3.7.0-M11
org.json4s	json4s-jackson_2.12	3.7.0-M11
org.json4s	json4s-scalap_2.12	3.7.0-M11
org.lz4	lz4-java	1.8.0
org.mariadb.jdbc	mariadb-java-client	第2.7.4
org.mlflow	mlflow-spark	2.2.0
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.3.8
org.roaringbitmap	RoaringBitmap	0.9.39
org.roaringbitmap	垫片	0.9.39
org.rocksdb	rocksdbjni	7.8.3
org.rosuda.REngine	REngine	魅惑
org.scala-lang	scala-compiler_2.12	2.12.15
org.scala-lang	scala-library_2.12	2.12.15
org.scala-lang	scala-reflect_2.12	2.12.15
org.scala-lang.modules	scala-collection-compat_2.12	2.4.3
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	测试界面	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	breeze-macros_2.12	魅惑
org.scalanlp	breeze_2.12	魅惑
org.scalatest	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	2.0.6
org.slf4j	jul-to-slf4j	2.0.6
org.slf4j	slf4j-api	2.0.6
org.threeten	threeten-extra	1.7.1上
org.tukaani	xz	1.9
org.typelevel	algebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	spire-macros_2.12	0.17.0
org.typelevel	spire-bob体育客户端下载platform_2.12	0.17.0
org.typelevel	spire-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	wildfly-openssl	1.1.3.Final
org.xerial	sqlite-jdbc	3.8.11.2
org.xerial.snappy	snappy-java	1.1.8.4
org.yaml	snakeyaml	1.33
奥罗	奥罗	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	1.6.1-linux-x86_64
software.amazon.ion	ion-java	1.0.2中
stax	stax-api	1.0.1