砖运行时的11.0(不支持)<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#databricks-runtime-110-unsupported" title="">
以下版本注释提供信息数据砖11.0运行时,由Apache 3.3.0火花。2022年6月砖发布这些图片。
新特性和改进<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#new-features-and-improvements" title="">
新版本的Apache火花<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#new-version-of-apache-spark" title="">
砖运行时的11.0和11.0砖运行时的光子包括Apache 3.3.0火花。有关详细信息,请参见<一个类="reference internal" href="//www.neidfyre.com/docs/release-notes/runtime/#spark">Apache火花。
Python现在笔记本使用IPython内核<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#python-notebooks-now-use-the-ipython-kernel" title="">
在砖运行时的11.0及以上,Python笔记本使用IPython内核执行Python代码。看到<一个类="reference internal" href="//www.neidfyre.com/docs/docs/notebooks/ipython-kernel.html">IPython内核。
支持ipywidgets<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#support-for-ipywidgets" title="">
您现在可以使用ipywidgets Python笔记本互动让你的砖。看到<一个类="reference internal" href="//www.neidfyre.com/docs/docs/notebooks/ipywidgets.html">ipywidgets。
突触连接器现在写拼花non-legacy模式中的数据<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#synapse-connector-now-writes-parquet-data-in-non-legacy-mode" title="">
Azure突触连接器现在写拼花non-legacy模式中的数据。它保留了INT96当使用混合基和时间戳格式复制命令批处理和流媒体的工作负载。
HTTPS方案现在执行当沛富客户机使用SAS令牌<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#https-scheme-now-enforced-when-abfs-client-uses-sas-token" title="">
当Azure Blob文件系统(沛富)客户机使用共享访问签名(SAS)令牌,HTTPS计划正在实施。
SQL:DESC现在是一个别名吗描述
您现在可以使用DESC作为一个别名描述当你描述外部位置或存储凭证。例如:
——描述一个外部的位置。DESC外部位置location_name;——描述一个存储凭证。DESC存储凭证credential_name;
SQL:新current_version函数输出版本细节<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#sql-new-current_version-function-outputs-version-details" title="">
新current_version如果可用函数输出当前砖运行时版本,当前砖SQL版本如果可用,和其他相关版本的细节。使用这个新函数查询version-related信息。看到<一个类="reference internal" href="//www.neidfyre.com/docs/docs/sql/language-manual/functions/current_version.html">current_version函数。
删除失踪三角洲表约束现在提出了一个错误<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#dropping-a-missing-delta-table-constraint-now-raises-an-error" title="">
如果你现在想删除一个增量表约束的名字,不存在约束,你会得到一个错误。之前的行为,也不会抛出错误如果约束条件不存在,你现在必须使用如果存在声明。看到<一个类="reference internal" href="//www.neidfyre.com/docs/docs/sql/language-manual/sql-ref-syntax-ddl-alter-table.html">ALTER TABLE。
SQL:新除了条款选择声明不包括列选择<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#sql-new-except-clause-in-select-statement-excludes-columns-from-selection" title="">
选择语句现在支持除了条款排除列选择。例如,选择*除了(x)从表返回所有的表列的除外x。嵌套列也是允许的。例如,选择*除了(x.a)从表返回所有的表但省略了字段的列一个从结构x。
支持增量表中删除列(公共预览版)<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#support-for-dropping-columns-in-delta-tables-public-preview" title="">
您可以使用改变表< table_name >下降列(如果存在)< column_name >或改变表< table_name >下降列(如果存在)(< column_name >,*)放弃一个列或一组列,分别从三角洲表仅元数据操作。soft-deleted列是有效的”,“他们仍在底层铺文件但三角洲表不再可见。
您可以使用REORG表< table_name >应用(清洗)触发一个文件改写的文件包含任何soft-deleted等数据列。
您可以使用真空从物理存储删除删除文件,包括旧的文件,包含了列和重写了REORG表。
复制成改进<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#copy-into-improvements" title="">
您现在可以创建空的占位符三角洲表模式后推断出在一个复制成命令:
创建表如果不存在my_table(评论<table_description>](TBLPROPERTIES(<table_properties>));复制成my_table从“/道路/ /文件”FILEFORMAT=<格式>FORMAT_OPTIONS(“mergeSchema”=“真正的”)COPY_OPTIONS(“mergeSchema”=“真正的”);
前面的SQL语句是幂等的,可以将确切地摄取数据运行一次差值表。
请注意
空三角洲表之外不是可用的复制成。你不能使用插入成和合并成将数据写入的非模式化三角洲表。在数据插入到表中复制成,桌子是可查询。
如果你摄取的数据无法读取由于一些腐败问题,通过设置您可以跳过损坏文件ignoreCorruptFiles来真正的在FORMAT_OPTIONS:
复制成my_table从“/道路/ /文件”FILEFORMAT=<格式>FORMAT_OPTIONS(“ignoreCorruptFiles”=“真正的”)
的复制成命令返回文件的数量由于腐败的跳过num_skipped_corrupt_files列。这个指标也出现在operationMetrics列下numSkippedCorruptFiles在你运行描述历史在三角洲表。
腐败不跟踪文件复制成可以加载,所以他们在随后的运行,如果腐败是固定的。你可以看到哪些文件是腐败的运行复制成在验证模式。
转换来δ现在支持统一目录启用的环境中(公共预览版)<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#convert-to-delta-is-now-supported-in-unity-catalog-enabled-environments-public-preview" title="">
在<一个类="reference internal" href="//www.neidfyre.com/docs/docs/data-governance/unity-catalog/index.html">Unity-Catalog使环境,转换来δ您现在可以:
拼花文件在外部位置转换为三角洲湖。
拼花外部表转换为三角洲表。
行为变化<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#behavior-changes" title="">
SQL:lpad和rpad现在支持字节序列的功能<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#sql-lpad-and-rpad-functions-now-support-byte-sequences" title="">
的<一个类="reference internal" href="//www.neidfyre.com/docs/docs/sql/language-manual/functions/lpad.html">lpad和<一个类="reference internal" href="//www.neidfyre.com/docs/docs/sql/language-manual/functions/rpad.html">rpad功能已被更新,添加对字节序列除了字符串的支持。
字符串格式format_string和printf不再允许% 0美元
指定的格式% 0美元在format_string和printf默认功能现在抛出一个错误。这种变化是保持与以前版本的砖运行时的预期行为和常见的第三方数据库。第一个参数应该参考% 1 $当您使用一个参数指数表示的位置参数的参数列表。
CSV文件的Null值现在写成非上市默认空字符串<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#null-values-in-csv-files-are-now-written-as-unquoted-empty-strings-by-default" title="">
Null值在CSV文件以前写成引用空字符串。在这个版本中,null值在CSV文件写成非上市默认空字符串。改变回以前的行为,设置nullValue选项”“写操作。
该表属性外部现在保留<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#the-table-property-external-is-now-reserved" title="">
房地产外部现在是一个保留默认表属性。现在你使用时抛出异常外部财产的创建表…TBLPROPERTIES和改变表…集TBLPROPERTIES条款。
Log4j从Log4j 1升级到Log4j 2<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#log4j-is-upgraded-from-log4j-1-to-log4j-2" title="">
Log4j 1被升级到Log4j 2。遗留Log4j 1依赖性被移除。
如果你依赖于以前的Log4j 1类包括砖内运行时,这些类不再存在。你应该升级你的依赖性Log4j 2。
如果你有自定义插件或依赖Log4j配置文件2,他们可能不再使用Log4j的版本在这个版本2。寻求帮助,请联系您的砖的代表。
现在从Maven库安装默认数据平面上得到解决<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#libraries-installed-from-maven-are-now-resolved-in-your-data-plane-by-default" title="">
Maven库现在解决在数据平面在默认情况下,当你安装图书馆集群上。你集群必须能够访问<一个类="reference external" href="https://maven.org">Maven中央。另外,您可以通过设置恢复到先前的行为<一个类="reference internal" href="//www.neidfyre.com/docs/docs/clusters/configure.html">火花配置属性:
spark.databricks.libraries。enableMavenResolution假
错误修复<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#bug-fixes" title="">
二进制兼容性的
LeafNode,UnaryNode,BinaryNodeApache火花和砖之间运行时已经固定,现在的类与Apache火花3.3.0以上兼容。如果你遇到以下或类似的消息与砖运行时使用一个第三方的包时,重建包与Apache火花3.3.0或以上:发现接口org.apache.spark.sql.catalyst.plans.logical.UnaryNode,但类是预期。
库升级<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#library-upgrades" title="">
升级的Python库:
bob体育客户端下载platformdirs 2.5.1 2.5.2
protobuf 3.20.0 3.20.1
升级R库:
团从1.2.2 1.2.3
扫帚0.7.12 0.8.0
脱字符号从6.0 -91 6.0 -92
cli 3.2.0 3.3.0
dplyr 1.0.8 1.0.9
未来1.24.0 1.25.0
future.applyfrom 1.8.1 to 1.9.0
哥特1.6.0 1.5.0
从3.3.5 ggplot2 3.3.6
从4.1 glmnet 3到4.1 - 4
还从2.4.3 2.5.0
httr 1.4.2 3
knitr从1.38到1.39
magrittr 2.0.2 2.0.3
平行1.30.0 1.31.1
ps 1.6.0 1.7.0
RColorBrewer从1.1 - 2到1.1 - 3
RcppEigen 0.3.3.9.1 0.3.3.9.2
readxl 1.4.0 1.3.1
rmarkdown从2.13到2.14
rprojroot 2.0.2 2.0.3
RSQLite . 2.2.11 2.2.13
尺度从1.1.1 1.2.0
3.1.4 testthat从3.1.2
宠物猫3.1.6 3.1.7
tinytex从0.37到0.38
tzdb 0.2.0 0.3.0
uuid从1.0 4到1.1 0
vctrs 0.3.8 0.4.1
升级Java库:
com.fasterxml.jackson.core。jackson-annotationsfrom 2.13.0 to 2.13.3
com.fasterxml.jackson.core。jackson-corefrom 2.13.0 to 2.13.3
com.fasterxml.jackson.core。jackson-databindfrom 2.13.0 to 2.13.3
com.fasterxml.jackson.dataformat。jackson-dataformat-cborfrom 2.13.0 to 2.13.3
com.fasterxml.jackson.datatype。jackson-datatype-jodafrom 2.13.0 to 2.13.3
com.fasterxml.jackson.module。jackson-module-paranamerfrom 2.13.0 to 2.13.3
com.fasterxml.jackson.module.jackson-module-scala_2.12 2.13.0 2.13.3
com.google.crypto.tink。叮叮铃from 1.6.0 to 1.6.1
从1.0.3 com.ning.compress-lzf 1.1
dev.ludovic.netlib.arpack 2.2.0 2.2.1
dev.ludovic.netlib.blas 2.2.0 2.2.1
dev.ludovic.netlib.lapack 2.2.0 2.2.1
从4.1.73 io.netty.netty-all。决赛4.1.74.Final
从4.1.73 io.netty.netty-buffer。决赛4.1.74.Final
从4.1.73 io.netty.netty-codec。决赛4.1.74.Final
从4.1.73 io.netty.netty-common。决赛4.1.74.Final
从4.1.73 io.netty.netty-handler。决赛4.1.74.Final
从4.1.73 io.netty.netty-resolver。决赛4.1.74.Final
从2.0.46 io.netty.netty-tcnative-classes。决赛2.0.48.Final
从4.1.73 io.netty.netty-transport。决赛4.1.74.Final
从4.1.73 io.netty.netty-transport-classes-epoll。决赛4.1.74.Final
从4.1.73 io.netty.netty-transport-classes-kqueue。决赛4.1.74.Final
从4.1.73 io.netty.netty-transport-native-epoll-linux-aarch_64。决赛4.1.74.Final
从4.1.73 io.netty.netty-transport-native-epoll-linux-x86_64。决赛4.1.74.Final
从4.1.73 io.netty.netty-transport-native-kqueue-osx-aarch_64。决赛4.1.74.Final
从4.1.73 io.netty.netty-transport-native-kqueue-osx-x86_64。决赛4.1.74.Final
从4.1.73 io.netty.netty-transport-native-unix-common。决赛4.1.74.Final
joda-time。joda-timefrom 2.10.12 to 2.10.13
org.apache.commons.commons-math3 3.4.1 3.6.1
org.apache.httpcomponents。httpcorefrom 4.4.12 to 4.4.14
org.apache.orc。orc-corefrom 1.7.3 to 1.7.4
org.apache.orc。orc-mapreducefrom 1.7.3 to 1.7.4
org.apache.orc。orc-shimsfrom 1.7.3 to 1.7.4
org.eclipse.jetty。jetty-clientfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-continuationfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-httpfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-iofrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-jndifrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-plusfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-proxyfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-securityfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty服务器from 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty servletfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-servletsfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-utilfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-util-ajaxfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-webappfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-xmlfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty.websocket。从9.4.43 websocket-api。v20210629, 9.4.46.v20220331
org.eclipse.jetty.websocket。websocket-clientfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty.websocket。websocket-commonfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty.websocket。websocket服务器from 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty.websocket。websocket-servletfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.mariadb.jdbc。mariadb-java-client 2.2.5第2.7.4
org.postgresql。postgresqlfrom 42.2.19 to 42.3.3
org.roaringbitmap。RoaringBitmapfrom 0.9.23 to 0.9.25
org.roaringbitmap。垫片from 0.9.23 to 0.9.25
org.rocksdb。rocksdbjnifrom 6.20.3 to 6.24.2
org.slf4j。jcl-over-slf4j 1.7.32 1.7.36
org.slf4j。jul-to-slf4j 1.7.32 1.7.36
org.slf4j。slf4j-apifrom 1.7.30 to 1.7.36
Apache火花<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#apache-spark" title="">
砖11.0运行时包含Apache 3.3.0火花。
火花SQL和核心<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#spark-sql-and-core" title="">
ANSI模式<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#ansi-mode" title="">
新的明确的语法规则在ANSI模式(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-33354">火星- 33354)
英语教学()方法应该返回null如果指数是零在ANSI模式(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38304">火星- 38304)
选择返回null结果如果元素不存在于数组/地图(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37750">火星- 37750)
允许铸造数值类型和时间戳之间的类型(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37714">火星- 37714)
默认禁用ANSI保留关键字(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37724">火星- 37724)
使用存储分配规则解决函数调用(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37438">火星- 37438)
Datetime之间添加一个配置允许铸造和数字(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37179">火星- 37179)
添加一个配置可选择性地执行ANSI保留关键字(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37133">火星- 37133)
不允许二进制操作之间的时间间隔和字符串(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36508">火星- 36508)
功能增强<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#feature-enhancements" title="">
支持ANSI SQL间隔类型(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-27790">火星- 27790)
错误消息的改进(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38781">火星- 38781)
隐藏文件元数据支持SQL(火花<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37273">火星- 37273)
支持原始字符串(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36371">火星- 36371)
批Dataset.observe助手类()(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-34806">火星- 34806)
支持指定初始分区号平衡(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38410">火星- 38410)
支持级联模式
dropNamespaceAPI (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37929">火星- 37929)允许存储分配和隐式铸datetime类型(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37707">火星- 37707)
收集、第一个和最后一个应该是确定的聚合函数(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-32940">火星- 32940)
添加ExpressionBuilder函数复杂过载(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37164">火星- 37164)
添加数组支持联盟的名字(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36546">火星- 36546)
添加df。withMetadata:语法糖dataframe更新元数据(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36642">火星- 36642)
支持原始字符串(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36371">火星- 36371)
使用在解析日期/时间戳与默认模式(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36418">火星- 36418)
支持价值类嵌套模式的数据集(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-20384">火星- 20384)
增加语法的支持(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37219">火星- 37219)
添加重复TABLESAMPLE指定种子(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37165">火星- 37165)
添加ansi语法
集目录xxx改变当前目录(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36841">火星- 36841)支持我喜欢(所有| |)——不分大小写(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36674">火星- 36674,<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36736">火星- 36736,<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36778">火星- 36778)
支持查询阶段显示格式化的解释模式(运行时统计数据<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38322">火星- 38322)
添加泄漏规模指标排序合并连接(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37726">火星- 37726)
更新显示函数的SQL语法(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37777">火星- 37777)
支持删除列(如果存在)语法(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38939">火星- 38939)
新的内置函数和他们的扩展(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38783">火星- 38783)
Datetime
添加TIMESTAMPADD()函数(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38195">火星- 38195)
添加TIMESTAMPDIFF()函数(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38284">火星- 38284)
添加
DATEDIFF ()别名TIMESTAMPDIFF ()(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38389">火星- 38389)添加
返回()别名TIMESTAMPADD ()(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38332">火星- 38332)添加
转换\ _timezone ()函数(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37552">火星- 37552,<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37568">火星- 37568)暴露make_date表达功能。scala (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36554">火星- 36554)
AES函数(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-12567">火星- 12567)
添加aes_encrypt和aes_decrypt装入的函数(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-12567">火星- 12567)
支持GCM模式
aes \ _encrypt ()/aes \ _decrypt ()(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37591">火星- 37591)集
GCM为默认模式aes \ _encrypt ()/aes \ _decrypt ()(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37666">火星- 37666)添加
模式和填充参数,aes \ _encrypt ()/aes \ _decrypt ()(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37586">火星- 37586)
ANSI聚合函数(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37671">火星- 37671)
支持ANSI聚合函数:regr_count (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37613">火星- 37613)
支持ANSI聚合函数:regr_avgx & regr_avgy (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37614">火星- 37614)
支持ANSI聚合函数:percentile_cont (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37676">火星- 37676,<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38219">火星- 38219)
支持ANSI聚合函数:percentile_disc (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37691">火星- 37691)
支持ANSI聚合函数:regr_count (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37613">火星- 37613)
支持ANSI聚合函数:array_agg (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-27974">火星- 27974)
支持ANSI聚合函数:regr_r2 (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37641">火星- 37641)
新的SQL函数:try_avg (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38589">火星- 38589)
集合
介绍SQL函数ARRAY_SIZE (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38345">火星- 38345)
新的SQL函数:map_contains_key (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37584">火星- 37584)
新的SQL函数:try_element_at (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37533">火星- 37533)
新的SQL函数:try_sum (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38548">火星- 38548)
格式
添加一个新的SQL函数to_binary (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37507">火星- 37507,<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38796">火星- 38796)
新的SQL函数:try_to_binary (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38590">火星- 38590,<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38796">火星- 38796)
数据类型格式功能:
到\ _number(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-28137">火星- 28137)
字符串/二进制
添加包含字符串()函数(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37508">火星- 37508)
添加
startswith ()和endswith ()字符串函数(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37520">火星- 37520)为二进制字符串(添加lpad和rpad功能<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37047">火星- 37047)
支持split_part函数(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38063">火星- 38063)
尺度参数添加到地板上,装天花板函数(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37475">火星- 37475)
新的SQL函数:try_subtract和try_multiply (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38164">火星- 38164)
实现histogram_numeric聚合函数支持部分聚合(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-16280">火星- 16280)
添加max_by / min_by sql。函数(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36963">火星- 36963)
添加新的内置SQL函数:SEC和CSC (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36683">火星- 36683)
array_intersect处理重复的双。南和浮动。南(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36754">火星- 36754)
添加床Scala和Python函数(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36660">火星- 36660)
性能增强<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#performance-enhancements" title="">
舞台的代码生成
为类添加代码生成聚合不分组关键字(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37564">火星- 37564)
添加代码生成完整的外排序合并连接(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-35352">火星- 35352)
添加代码生成完整的外洗好的散列连接(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-32567">火星- 32567)
添加代码生成存在排序合并连接(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37316">火星- 37316)
下推(过滤器)
通过RebalancePartitions压低过滤器(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37828">火星- 37828)
下推布尔列过滤器(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36644">火星- 36644)
压低限制1右边的左边半/反连接如果连接条件是空的(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37917">火星- 37917)
翻译标准聚合函数叠加(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37527">火星- 37527)
支持传播空关系通过聚合/联盟(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-35442">火星- 35442)
行级运行时过滤(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-32268">火星- 32268)
支持行级运行时左半连接过滤器(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38565">火星- 38565)
支持谓词下推和列修剪de-duped ct (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37670">火星- 37670)
向量化
实现一个ConstantColumnVector和提高性能的隐藏文件元数据(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37896">火星- 37896)
支持矢量化VectorizedPlainValuesReader阅读。readBooleans (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-35867">火星- 35867)
结合/删除/替换节点
结合工会如果它们之间有一个项目(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37915">火星- 37915)
结合一个演员如果我们可以安全地up-cast又甩了两次钩(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37922">火星- 37922)
删除如果是RepartitionByExpression的孩子(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36703">火星- 36703)
删除外连接如果它只有不同的流与别名(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37292">火星- 37292)
总如果孩子已经取代哈希排序排序(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37455">火星- 37455)
只有崩溃项目如果我们不重复的昂贵的表达式(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36718">火星- 36718)
删除多余的别名RewritePredicateSubquery后(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36280">火星- 36280)
合并不相关的标量子查询(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-34079">火星- 34079)
分区
不添加动态分区修剪如果存在静态分区修剪(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38148">火星- 38148)
改善RebalancePartitions规则优化器(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37904">火星- 37904)
添加小分区因素调整分区(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37357">火星- 37357)
加入
调整逻辑降级广播DynamicJoinSelection散列连接(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37753">火星- 37753)
忽略重复的连接键在构建关系半/反洗好的散列连接(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36794">火星- 36794)
支持优化倾斜加入即使引入额外的洗牌(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-33832">火星- 33832)
AQE
支持消除限制AQE优化器(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36424">火星- 36424)
优化一行计划在正常和AQE优化器(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38162">火星- 38162)
聚合。groupon支持可折叠的表达式(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38489">火星- 38489)
ByteArrayMethods arrayEquals应该快速跳过检查校准对齐平台(bob体育客户端下载<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37796">火星- 37796)
添加树模式修剪CTESubstitution规则(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37379">火星- 37379)
添加更多的不是运营商简化(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36665">火星- 36665)
支持BooleanType UnwrapCastInBinaryComparison (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36607">火星- 36607)
合并后删除所有表达式第一个非可空表达式(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36359">火星- 36359)
添加一个逻辑计划游客传播不同的属性(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36194">火星- 36194)
内置连接器的增强<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#built-in-connector-enhancements" title="">
一般
宽大的序列化datetime从数据源(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38437">火星- 38437)
治疗表位置时绝对路径是削减的第一个字母创建/修改表(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38236">火星- 38236)
从空静态类型分区数量(删除前导零<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-35561">火星- 35561)
支持
ignoreCorruptFiles和ignoreMissingFiles在数据源的选择(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38767">火星- 38767)添加命令
显示目录(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-35973">火星- 35973)
拼花
使匹配模式由字段id列名称(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38094">火星- 38094)
删除检查字段名称拼花(读/写数据时<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-27442">火星- 27442)
支持矢量化读取布尔值使用RLE编码与拼花DataPage V2 (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37864">火星- 37864)
支持拼花v2数据页面编码(DELTA_BINARY_PACKED)矢量化路径(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36879">火星- 36879)
变基时间戳在会话时区保存在拼花/ Avro元数据(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37705">火星- 37705)
压低总集团通过分区列(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36646">火星- 36646)
总(最小/最大/数)压低拼花(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36645">火星- 36645)
拼花:启用匹配模式列字段id (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38094">火星- 38094)
默认的页面大小减少LONG_ARRAY_OFFSET如果G1GC和ON_HEAP使用(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37593">火星- 37593)
实现矢量化DELTA_BYTE_ARRAY和拼花V2 DELTA_LENGTH_BYTE_ARRAY编码支持(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37974">火星- 37974)
拼花矢量化读者支持复杂类型(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-34863">火星- 34863)
兽人
删除现有读/写数据时检查字段名兽人(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37965">火星- 37965)
兽人总压低(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-34960">火星- 34960)
阅读和写作支持ANSI间隔从/到兽人数据源(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36931">火星- 36931)
支持在兽人数据源(头号列名<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36663">火星- 36663)
JSON
尊重allowNonNumericNumbers当解析JSON读者引用南和无穷值(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38060">火星- 38060)
默认使用投给datetime CSV / JSON (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36536">火星- 36536)
对齐错误消息不支持的关键类型在MapType Json读者(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-35320">火星- 35320)
CSV
修复指的腐败记录列从CSV (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38523">火星- 38534)
null值应该保存什么而不是引用默认空字符串" " (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37575">火星- 37575)
JDBC
直接声明添加到DB2方言截断实现(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-30062">火星- 30062)
蜂巢
支持写蜂巢桶表(蜂巢与蜂巢散列文件格式)(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-32712">火星- 32712)
在客户端使用表达式过滤蜂巢分区(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-35437">火星- 35437)
支持动态分区修剪HiveTableScanExec (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36876">火星- 36876)
InsertIntoHiveDir应该使用数据源的转换(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38215">火星- 38215)
支持写蜂巢桶表(拼花/兽人与蜂巢散列格式)(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-32709">火星- 32709)
节点解除<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#node-decommission" title="">
FallbackStorage不应该试图解决任意“远程”主机名(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38062">火星- 38062)
ExecutorMonitor。onExecutorRemoved应该处理ExecutorDecommission完成(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38023">火星- 38023)
其他值得注意的变化<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#other-notable-changes" title="">
添加细粒度锁BlockInfoManager (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37356">火星- 37356)
支持映射火花gpu / fpga资源类型定制纱线资源类型(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37208">火星- 37208)
报告准确洗牌块大小如果其倾斜(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36967">火星- 36967)
在网络层(支持网状的日志<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36719">火星- 36719)
结构化流<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#structured-streaming" title="">
主要功能<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#major-features" title="">
介绍触发。AvailableNow等运行流查询触发。一旦在多个批次(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36533">火星- 36533)
其他值得注意的变化<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#other-notable-changes" title="">
使用有状态的运营商StatefulOpClusteredDistribution尊重向后兼容性(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38204">火星- 38204)
修复flatMapGroupsWithState超时键(在批处理数据<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38320">火星- 38320)
修复正确性问题与RocksDB stream-stream外连接状态存储提供商(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38684">火星- 38684)
支持触发。AvailableNow卡夫卡数据源(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36649">火星- 36649)
优化路径写在RocksDB状态存储提供商(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37224">火星- 37224)
引入一个新的数据源提供一套一致的每microbatch行(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37062">火星- 37062)
使用有状态的运营商HashClusteredDistribution尊重向后兼容性(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38204">火星- 38204)
PySpark<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#pyspark" title="">
熊猫API火花<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#pandas-api-on-spark" title="">
重大改进<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#major-improvements" title="">
“distributed-sequence”指数优化与违约(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36559">火星- 36559,<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36338">火星- 36338)
支持指定指数在熊猫火花API(类型和名称<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36709">火星- 36709)
显示默认的索引类型在SQL火花熊猫API(计划<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38654">火星- 38654)
主要功能<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#major-features" title="">
实现SparkSQL本机ps.merge_asof (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36813">火星- 36813)
在熊猫API支持TimedeltaIndex火花(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37525">火星- 37525)
支持Python的timedelta (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37275">火星- 37275,<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37510">火星- 37510)
在CategoricalAccessor / CategoricalIndex(实现功能<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36185">火星- 36185)
使用Python的标准字符串格式化程序SQL API在熊猫API火花(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37436">火星- 37436)
支持timedelta系列的基本操作/指数(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37510">火星- 37510)
支持ps.MultiIndex。dtypes (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36930">火星- 36930)
实现指数。地图(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36469">火星- 36469)
实现系列。__xor__和系列。__rxor__ (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36653">火星- 36653)
实现一元运算符
反积分ps.Series /指数(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36003">火星- 36003)实现DataFrame。浸(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36396">火星- 36396)
支持str和时间戳(系列| DataFrame) .describe () (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37657">火星- 37657)
支持λ
列参数的DataFrame.rename(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38763">火星- 38763)
其他值得注意的变化<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#other-notable-changes" title="">
突发的变化<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#breaking-changes" title="">
减少引用Python 3.6的支持文档和Python / docs (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36977">火星- 36977)
删除namedtuple黑客通过替换内置泡菜cloudpickle (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-32079">火星- 32079)
撞最低熊猫版本1.0.5 (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37465">火星- 37465)
重大改进
提供一个分析器Python /熊猫udf (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37443">火星- 37443)
使用Python的标准SQL API在PySpark字符串格式化程序(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37516">火星- 37516)
暴露SQL PySpark异常状态和错误类(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36953">火星- 36953)
试图捕捉faulthanlder当Python工人崩溃(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36062">火星- 36062)
主要功能<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#major-features" title="">
实现DataFrame。在Python mapInArrow (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37228">火星- 37228)
使用Python的标准SQL API在PySpark字符串格式化程序(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37516">火星- 37516)
添加df。withMetadata pyspark API (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36642">火星- 36642)
支持Python的timedelta (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37275">火星- 37275)
暴露在pyspark.sql tableExists。目录(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36176">火星- 36176)
暴露在pyspark.sql databaseExists。目录(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36207">火星- 36207)
暴露在pyspark functionExists sql目录(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36258">火星- 36258)
添加Dataframe。观察PySpark (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36263">火星- 36263)
添加max_by / min_by API PySpark (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36972">火星- 36972)
支持嵌套来推断dict创建DataFrame时结构(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-35929">火星- 35929)
添加位/ octet_length Scala api, Python和R (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36751">火星- 36751)
支持我喜欢Python API (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36882">火星- 36882)
添加Python DataFrame isEmpty方法API (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37207">火星- 37207)
添加多个列添加支持(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-35173">火星- 35173)
添加SparkContext。一个ddArchive in PySpark (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38278">火星- 38278)
使sql类型repr eval-able (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-18621">火星- 18621)
fpm的内联类型提示。py在python / pyspark / mllib (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37396">火星- 37396)
实现
dropna参数的SeriesGroupBy.value_counts(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38837">火星- 38837)
MLLIB<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#mllib" title="">
主要功能<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#major-features" title="">
添加distanceMeasure param trainKMeansModel (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37118">火星- 37118)
暴露LogisticRegression。集在itialModel, like KMeans et al do (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36481">火星- 36481)
支持为每个paramMap CrossValidatorModel得到标准差指标(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36425">火星- 36425)
重大改进<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#major-improvements" title="">
优化一些treeAggregates MLlib推迟分配(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-35848">火星- 35848)
重写_shared_params_code_gen。py内联类型提示毫升/参数/共享。py (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37419">火星- 37419)
其他值得注意的变化<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#other-notable-changes" title="">
更新至1.2微风(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-35310">火星- 35310)
SparkR<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#sparkr" title="">
迁移SparkR pkgdown文档(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37474">火星- 37474)
暴露make_date R的表达(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37108">火星- 37108)
添加max_by / min_by API SparkR (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36976">火星- 36976)
支持我喜欢API R (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36899">火星- 36899)
添加sec和csc R函数(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36824">火星- 36824)
添加位/ octet_length Scala api, Python和R (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36751">火星- 36751)
添加床作为一个R函数(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36688">火星- 36688)
用户界面<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#ui" title="">
投机指标总结阶段(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36038">火星- 36038)
统一洗牌读块洗牌时间读取回StagePage等待时间(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37469">火星- 37469)
添加修改配置SQL执行的UI (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-34735">火星- 34735)
使ThriftServer承认spark.sql.redaction.string。正则表达式(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36400">火星- 36400)
连接并开始处理程序在UI应用程序开始后(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-36237">火星- 36237)
提交时间添加到SQL选项卡的图节点(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-34399">火星- 34399)
支持RocksDB火花历史上的后端服务器(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37680">火星- 37680)
火花在UI上显示选项熊猫API (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38656">火星- 38656)
重命名“SQL”到“SQL / DataFrame”SQL UI页面(<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38657">火星- 38657)
构建<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#build" title="">
从log4j 1迁移到log4j 2 (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-37814">火星- 37814)
升级log4j2 2.17.2 (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38544">火星- 38544)
升级到Py4J 0.10.9.5 (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38563">火星- 38563)
更新兽人1.7.4 (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38866">火星- 38866)
更新的datatable 1.10.25 (<一个类="reference external" href="https://issues.apache.org/jira/browse/SPARK-38924">火星- 38924)
维护更新<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#maintenance-updates" title="">
看到<一个类="reference internal" href="//www.neidfyre.com/docs/docs/release-notes/runtime/maintenance-updates.html">砖11.0运行时。
系统环境<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#system-environment" title="">
操作系统:Ubuntu 20.04.4 LTS
Java:祖鲁8.56.0.21-CA-linux64
Scala:2.12.14
Python:3.9.5
R:4.1.3
三角洲湖:1.2.1 "
安装Python库<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#installed-python-libraries" title="">
图书馆 |
版本 |
图书馆 |
版本 |
图书馆 |
版本 |
|---|---|---|---|---|---|
Antergos Linux |
2015.10 (ISO-Rolling) |
argon2-cffi |
20.1.0 |
async-generator |
1.10 |
attrs |
21.2.0 |
backcall |
0.2.0 |
backports.entry-points-selectable |
1.1.1 |
漂白剂 |
4.0.0 |
boto3 |
1.21.18 |
botocore |
1.24.18 |
certifi |
2021.10.8 |
cffi |
1.14.6 |
chardet |
4.0.0 |
charset-normalizer |
2.0.4 |
周期计 |
0.10.0 |
Cython |
0.29.24 |
dbus-python |
1.2.16 |
debugpy |
1.4.1 |
装饰 |
5.1.0 |
defusedxml |
是0.7.1 |
distlib |
0.3.4 |
distro-info |
0.23 ubuntu1 |
entrypoints |
0.3 |
facets-overview |
1.0.0 |
filelock |
3.6.0 |
idna |
3.2 |
ipykernel |
6.12.1 |
ipython |
7.32.0 |
ipython-genutils |
0.2.0 |
ipywidgets |
7.7.0 |
绝地武士 |
0.18.0 |
Jinja2 |
14 |
jmespath |
0.10.0 |
joblib |
1.0.1 |
jsonschema |
3.2.0 |
jupyter-client |
6.1.12 |
jupyter-core |
4.8.1 |
jupyterlab-pygments |
0.1.2 |
jupyterlab-widgets |
1.0.0 |
kiwisolver |
1.3.1 |
MarkupSafe |
2.0.1 |
matplotlib |
3.4.3 |
matplotlib-inline |
0.1.2 |
使走调 |
0.8.4 |
nbclient |
0.5.3 |
nbconvert |
6.1.0 |
nbformat |
5.1.3 |
nest-asyncio |
1.5.1 |
笔记本 |
6.4.5 |
numpy |
1.20.3 |
包装 |
21.0 |
熊猫 |
1.3.4 |
pandocfilters |
3 |
parso |
0.8.2 |
容易受骗的人 |
0.5.2 |
pexpect |
4.8.0 |
pickleshare |
0.7.5 |
枕头 |
8.4.0 |
皮普 |
21.2.4 |
bob体育客户端下载platformdirs |
2.5.2 |
情节 |
5.6.0 |
prometheus-client |
0.11.0 |
prompt-toolkit |
3.0.20 |
protobuf |
3.20.1 |
psutil |
5.8.0 |
psycopg2 |
2.9.3 |
ptyprocess |
0.7.0 |
pyarrow |
7.0.0 |
pycparser |
2.20 |
Pygments |
2.10.0 |
PyGObject |
3.36.0 |
pyodbc |
4.0.31 |
pyparsing |
3.0.4 |
pyrsistent |
0.18.0 |
python-apt |
2.0.0 + ubuntu0.20.4.7 |
python-dateutil |
2.8.2 |
pytz |
2021.3 |
pyzmq |
22.2.1 |
请求 |
2.26.0 |
requests-unixsocket |
0.2.0 |
s3transfer |
0.5.2 |
scikit-learn |
0.24.2 |
scipy |
1.7.1上 |
seaborn |
0.11.2 |
Send2Trash |
1.8.0 |
setuptools |
58.0.4 |
六个 |
1.16.0 |
ssh-import-id |
5.10 |
statsmodels |
0.12.2 |
韧性 |
8.0.1 |
terminado |
0.9.4 |
testpath |
0.5.0 |
threadpoolctl |
2.2.0 |
龙卷风 |
6.1 |
traitlets |
5.1.0 |
unattended-upgrades |
0.1 |
urllib3 |
1.26.7 |
virtualenv |
20.8.0 |
wcwidth |
0.2.5 |
webencodings |
0.5.1 |
轮 |
0.37.0 |
widgetsnbextension |
3.6.0 |
安装R库<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#installed-r-libraries" title="">
R库的安装<一个类="reference external" href="https://cran.microsoft.com/snapshot/2022-05-06/">微软在2022-05-06凹口快照。
图书馆 |
版本 |
图书馆 |
版本 |
图书馆 |
版本 |
|---|---|---|---|---|---|
askpass |
1.1 |
为了 |
0.2.1 |
补丁 |
1.4.1 |
基地 |
4.1.3 |
base64enc |
0.1 - 3 |
位 |
4.0.4 |
bit64 |
你 |
团 |
1.2.3 |
引导 |
-28 - 1.3 |
酿造 |
1.0 7 |
生动 |
1.1.3 |
扫帚 |
0.8.0 |
bslib |
0.3.1 |
cachem |
1.0.6 |
callr |
3.7.0 |
脱字符号 |
-92 - 6.0 |
cellranger |
1.1.0 |
时间 |
-56 - 2.3 |
类 |
-20 - 7.3 |
cli |
3.3.0 |
clipr |
0.8.0 |
集群 |
2.1.3 |
codetools |
-18 - 0.2 |
色彩 |
2.0 - 3 |
commonmark |
1.8.0 |
编译器 |
4.1.3 |
配置 |
0.3.1 |
cpp11 |
0.4.2 |
蜡笔 |
1.5.1 |
凭证 |
1.3.2 |
旋度 |
4.3.2 |
data.table |
1.14.2 |
数据集 |
4.1.3 |
DBI |
1.1.2 |
dbplyr |
2.1.1 |
desc |
1.4.1 |
devtools |
2.4.3 |
diffobj |
0.3.5 |
消化 |
0.6.29 |
dplyr |
1.0.9 |
dtplyr |
1.2.1 " |
e1071 |
1.7 9 |
省略 |
0.3.2 |
评估 |
0.15 |
fansi |
1.0.3 |
farver |
魅惑 |
fastmap |
1.1.0 |
fontawesome |
0.2.2 |
forcats |
0.5.1 |
foreach |
1.5.2 |
外国 |
-82 - 0.8 |
打造 |
0.2.0 |
fs |
1.5.2 |
未来 |
1.25.0 |
future.apply |
1.9.0 |
含漱剂 |
1.2.0 |
泛型 |
0.1.2 |
哥特 |
1.6.0 |
ggplot2 |
3.3.6 |
“大酒店” |
1.3.0 |
gitcreds |
0.1.1 |
glmnet |
4.1 - 4 |
全局变量 |
0.14.0 |
胶水 |
1.6.2 |
googledrive |
2.0.0 |
googlesheets4 |
1.0.0 |
高尔 |
1.0.0 |
图形 |
4.1.3 |
grDevices |
4.1.3 |
网格 |
4.1.3 |
gridExtra |
2.3 |
gsubfn |
0.7 |
gtable |
0.3.0 |
需要戴安全帽的 |
0.2.0 |
还 |
2.5.0 |
highr |
0.9 |
hms |
1.1.1 |
htmltools |
0.5.2 |
htmlwidgets |
1.5.4 |
httpuv |
1.6.5 |
httr |
3 |
id |
1.0.1 |
ini |
0.3.1 |
不小 |
-12 - 0.9 |
isoband |
0.2.5 |
迭代器 |
1.0.14 |
jquerylib |
0.1.4 |
jsonlite |
1.8.0 |
KernSmooth |
-20 - 2.23 |
knitr |
1.39 |
标签 |
0.4.2 |
晚些时候 |
1.3.0 |
晶格 |
-45 - 0.20 |
熔岩 |
1.6.10 |
生命周期 |
1.0.1 |
listenv |
0.8.0 |
lubridate |
1.8.0 |
magrittr |
2.0.3 |
减价 |
1.1 |
质量 |
-56 - 7.3 |
矩阵 |
1.4 - 1 |
memoise |
2.0.1 |
方法 |
4.1.3 |
mgcv |
-40 - 1.8 |
mime |
0.12 |
ModelMetrics |
1.2.2.2 |
modelr |
0.1.8 |
孟塞尔 |
0.5.0 |
nlme |
-157 - 3.1 |
nnet |
-17 - 7.3 |
numDeriv |
2016.8 - -1.1 |
openssl |
2.0.0 |
平行 |
4.1.3 |
平行 |
1.31.1 |
支柱 |
1.7.0 |
pkgbuild |
1.3.1 |
pkgconfig |
2.0.3 |
pkgload |
1.2.4 |
plogr |
0.2.0 |
plyr |
1.8.7 |
赞美 |
1.0.0 |
prettyunits |
1.1.1 |
pROC |
1.18.0 |
processx |
3.5.3 |
prodlim |
2019.11.13 |
进步 |
1.2.2 |
progressr |
0.10.0 |
承诺 |
1.2.0.1 |
原型 |
1.0.0 |
代理 |
-26 - 0.4 |
ps |
1.7.0 |
purrr |
0.3.4 |
r2d3 |
0.2.6虽然只是 |
R6 |
2.5.1 |
randomForest |
4.7 - 1 |
rappdirs |
0.3.3 |
rcmdcheck |
1.4.0 |
RColorBrewer |
1.1 - 3 |
Rcpp |
1.0.8.3 |
RcppEigen |
0.3.3.9.2 |
readr |
2.1.2 |
readxl |
1.4.0 |
食谱 |
0.2.0 |
复赛 |
1.0.1 |
rematch2 |
2.1.2 |
遥控器 |
2.4.2 |
reprex |
2.0.1 |
reshape2 |
1.4.4 |
rlang |
1.0.2中 |
rmarkdown |
2.14 |
RODBC |
-19 - 1.3 |
roxygen2 |
7.1.2 |
rpart |
4.1.16 |
rprojroot |
2.0.3 |
Rserve |
-10 - 1.8 |
RSQLite |
2.2.13 |
rstudioapi |
0.13 |
rversions |
2.1.1 |
房车 |
1.0.2中 |
萨斯 |
0.4.1 |
尺度 |
1.2.0 |
selectr |
0.4 - 2 |
sessioninfo |
1.2.2 |
形状 |
1.4.6 |
闪亮的 |
1.7.1上 |
sourcetools |
0.1.7 |
sparklyr |
1.7.5 |
SparkR |
3.3.0 |
空间 |
-11 - 7.3 |
样条函数 |
4.1.3 |
sqldf |
-11 - 0.4 |
SQUAREM |
2021.1 |
统计数据 |
4.1.3 |
stats4 |
4.1.3 |
stringi |
1.7.6 |
stringr |
1.4.0 |
生存 |
-13 - 3.2 |
sys |
3.4 |
tcltk |
4.1.3 |
testthat |
3.1.4 |
宠物猫 |
3.1.7 |
tidyr |
1.2.0 |
tidyselect |
1.1.2 |
tidyverse |
1.3.1 |
timeDate |
3043.102 |
tinytex |
0.38 |
工具 |
4.1.3 |
tzdb |
0.3.0 |
usethis |
2.1.5 |
use utf8 |
1.2.2 |
跑龙套 |
4.1.3 |
uuid |
1.1 0 |
vctrs |
0.4.1 |
viridisLite |
0.4.0 |
发呜呜声 |
1.5.7 |
沃尔多 |
0.4.0 |
晶须 |
0.4 |
withr |
2.5.0 |
xfun |
0.30 |
xml2 |
1.3.3 |
xopen |
1.0.0 |
xtable |
1.8 - 4 |
yaml |
2.3.5 |
邮政编码 |
2.2.0 |
安装了Java和Scala库(Scala 2.12集群版)<一个类="headerlink" href="//www.neidfyre.com/docs/release-notes/runtime/#installed-java-and-scala-libraries-scala-212-cluster-version" title="">
组ID |
工件ID |
版本 |
|---|---|---|
antlr |
antlr |
2.7.7 |
com.amazonaws |
amazon-kinesis-client |
1.12.0 |
com.amazonaws |
aws-java-sdk-autoscaling |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudformation |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudfront |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudhsm |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudsearch |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudtrail |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudwatch |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudwatchmetrics |
1.12.189 |
com.amazonaws |
aws-java-sdk-codedeploy |
1.12.189 |
com.amazonaws |
aws-java-sdk-cognitoidentity |
1.12.189 |
com.amazonaws |
aws-java-sdk-cognitosync |
1.12.189 |
com.amazonaws |
aws-java-sdk-config |
1.12.189 |
com.amazonaws |
aws-java-sdk-core |
1.12.189 |
com.amazonaws |
aws-java-sdk-datapipeline |
1.12.189 |
com.amazonaws |
aws-java-sdk-directconnect |
1.12.189 |
com.amazonaws |
aws-java-sdk-directory |
1.12.189 |
com.amazonaws |
aws-java-sdk-dynamodb |
1.12.189 |
com.amazonaws |
aws-java-sdk-ec2 |
1.12.189 |
com.amazonaws |
aws-java-sdk-ecs |
1.12.189 |
com.amazonaws |
aws-java-sdk-efs |
1.12.189 |
com.amazonaws |
aws-java-sdk-elasticache |
1.12.189 |
com.amazonaws |
aws-java-sdk-elasticbeanstalk |
1.12.189 |
com.amazonaws |
aws-java-sdk-elasticloadbalancing |
1.12.189 |
com.amazonaws |
aws-java-sdk-elastictranscoder |
1.12.189 |
com.amazonaws |
aws-java-sdk-emr |
1.12.189 |
com.amazonaws |
aws-java-sdk-glacier |
1.12.189 |
com.amazonaws |
aws-java-sdk-glue |
1.12.189 |
com.amazonaws |
aws-java-sdk-iam |
1.12.189 |
com.amazonaws |
aws-java-sdk-importexport |
1.12.189 |
com.amazonaws |
aws-java-sdk-kinesis |
1.12.189 |
com.amazonaws |
aws-java-sdk-kms |
1.12.189 |
com.amazonaws |
aws-java-sdk-lambda |
1.12.189 |
com.amazonaws |
aws-java-sdk-logs |
1.12.189 |
com.amazonaws |
aws-java-sdk-machinelearning |
1.12.189 |
com.amazonaws |
aws-java-sdk-opsworks |
1.12.189 |
com.amazonaws |
aws-java-sdk-rds |
1.12.189 |
com.amazonaws |
aws-java-sdk-redshift |
1.12.189 |
com.amazonaws |
aws-java-sdk-route53 |
1.12.189 |
com.amazonaws |
aws-java-sdk-s3 |
1.12.189 |
com.amazonaws |
aws-java-sdk-ses |
1.12.189 |
com.amazonaws |
aws-java-sdk-simpledb |
1.12.189 |
com.amazonaws |
aws-java-sdk-simpleworkflow |
1.12.189 |
com.amazonaws |
aws-java-sdk-sns |
1.12.189 |
com.amazonaws |
aws-java-sdk-sqs |
1.12.189 |
com.amazonaws |
aws-java-sdk-ssm |
1.12.189 |
com.amazonaws |
aws-java-sdk-storagegateway |
1.12.189 |
com.amazonaws |
aws-java-sdk-sts |
1.12.189 |
com.amazonaws |
aws-java-sdk-support |
1.12.189 |
com.amazonaws |
aws-java-sdk-swf-libraries |
1.11.22 |
com.amazonaws |
aws-java-sdk-workspaces |
1.12.189 |
com.amazonaws |
jmespath-java |
1.12.189 |
com.chuusai |
shapeless_2.12 |
2.3.3 |
com.clearspring.analytics |
流 |
2.9.6 |
com.databricks |
Rserve |
1.8 - 3 |
com.databricks |
jets3t |
0.7.1-0 |
com.databricks.scalapb |
compilerplugin_2.12 |
0.4.15-10 |
com.databricks.scalapb |
scalapb-runtime_2.12 |
0.4.15-10 |
com.esotericsoftware |
kryo-shaded |
4.0.2 |
com.esotericsoftware |
minlog |
1.3.0 |
com.fasterxml |
同学 |
1.3.4 |
com.fasterxml.jackson.core |
jackson-annotations |
2.13.3 |
com.fasterxml.jackson.core |
jackson-core |
2.13.3 |
com.fasterxml.jackson.core |
jackson-databind |
2.13.3 |
com.fasterxml.jackson.dataformat |
jackson-dataformat-cbor |
2.13.3 |
com.fasterxml.jackson.datatype |
jackson-datatype-joda |
2.13.3 |
com.fasterxml.jackson.module |
jackson-module-paranamer |
2.13.3 |
com.fasterxml.jackson.module |
jackson-module-scala_2.12 |
2.13.3 |
com.github.ben-manes.caffeine |
咖啡因 |
2.3.4 |
com.github.fommil |
jniloader |
1.1 |
com.github.fommil.netlib |
核心 |
1.1.2 |
com.github.fommil.netlib |
native_ref-java |
1.1 |
com.github.fommil.netlib |
native_ref-java-natives |
1.1 |
com.github.fommil.netlib |
native_system-java |
1.1 |
com.github.fommil.netlib |
native_system-java-natives |
1.1 |
com.github.fommil.netlib |
netlib-native_ref-linux-x86_64-natives |
1.1 |
com.github.fommil.netlib |
netlib-native_system-linux-x86_64-natives |
1.1 |
com.github.luben |
zstd-jni |
1.5.2-1 |
com.github.wendykierp |
JTransforms |
3.1 |
com.google.code.findbugs |
jsr305 |
3.0.0 |
com.google.code.gson |
gson |
2.8.6 |
com.google.crypto.tink |
叮叮铃 |
1.6.1 |
com.google.flatbuffers |
flatbuffers-java |
1.12.0 |
com.google.guava |
番石榴 |
15.0 |
com.google.protobuf |
protobuf-java |
2.6.1 |
com.h2database |
h2 |
2.0.204 |
com.helger |
分析器 |
1.1.1 |
com.jcraft |
jsch |
0.1.50 |
com.jolbox |
bonecp |
0.8.0.RELEASE |
com.lihaoyi |
sourcecode_2.12 |
0.1.9 |
com.microsoft.azure |
azure-data-lake-store-sdk |
2.3.9 |
com.ning |
compress-lzf |
1.1 |
com.sun.mail |
javax.mail |
1.5.2 |
com.tdunning |
json |
1.8 |
com.thoughtworks.paranamer |
paranamer |
2.8 |
com.trueaccord.lenses |
lenses_2.12 |
0.4.12 |
com.twitter |
chill-java |
0.10.0 |
com.twitter |
chill_2.12 |
0.10.0 |
com.twitter |
util-app_2.12 |
7.1.0 |
com.twitter |
util-core_2.12 |
7.1.0 |
com.twitter |
util-function_2.12 |
7.1.0 |
com.twitter |
util-jvm_2.12 |
7.1.0 |
com.twitter |
util-lint_2.12 |
7.1.0 |
com.twitter |
util-registry_2.12 |
7.1.0 |
com.twitter |
util-stats_2.12 |
7.1.0 |
com.typesafe |
配置 |
1.2.1 " |
com.typesafe.scala-logging |
scala-logging_2.12 |
3.7.2章 |
com.univocity |
univocity-parsers |
2.9.1 |
com.zaxxer |
HikariCP |
4.0.3 |
commons-cli |
commons-cli |
1.5.0 |
commons-codec |
commons-codec |
1.15 |
commons-collections |
commons-collections |
3.2.2 |
commons-dbcp |
commons-dbcp |
1.4 |
commons-fileupload |
commons-fileupload |
1.3.3 |
commons-httpclient |
commons-httpclient |
3.1 |
commons-io |
commons-io |
2.11.0 |
commons lang |
commons lang |
2.6 |
通用日志 |
通用日志 |
1.1.3 |
commons-pool |
commons-pool |
1.5.4 |
dev.ludovic.netlib |
arpack |
2.2.1 |
dev.ludovic.netlib |
布拉斯特区 |
2.2.1 |
dev.ludovic.netlib |
lapack |
2.2.1 |
蜂巢3.2 - 2.3 - __hadoop - |
jets3t - 0.7 |
liball_deps_2.12 |
info.ganglia.gmetric4j |
gmetric4j |
1.0.10 |
io.airlift |
aircompressor |
0.21 |
io.delta |
delta-sharing-spark_2.12 |
0.4.0 |
io.dropwizard.metrics |
metrics-core |
以下4.4.1 |
io.dropwizard.metrics |
metrics-graphite |
以下4.4.1 |
io.dropwizard.metrics |
metrics-healthchecks |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jetty9 |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jmx |
以下4.4.1 |
io.dropwizard.metrics |
metrics-json |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jvm |
以下4.4.1 |
io.dropwizard.metrics |
metrics-servlets |
以下4.4.1 |
io.netty |
netty-all |
4.1.74.Final |
io.netty |
netty-buffer |
4.1.74.Final |
io.netty |
netty-codec |
4.1.74.Final |
io.netty |
netty-common |
4.1.74.Final |
io.netty |
netty-handler |
4.1.74.Final |
io.netty |
netty-resolver |
4.1.74.Final |
io.netty |
netty-tcnative-classes |
2.0.48.Final |
io.netty |
netty-transport |
4.1.74.Final |
io.netty |
netty-transport-classes-epoll |
4.1.74.Final |
io.netty |
netty-transport-classes-kqueue |
4.1.74.Final |
io.netty |
netty-transport-native-epoll-linux-aarch_64 |
4.1.74.Final |
io.netty |
netty-transport-native-epoll-linux-x86_64 |
4.1.74.Final |
io.netty |
netty-transport-native-kqueue-osx-aarch_64 |
4.1.74.Final |
io.netty |
netty-transport-native-kqueue-osx-x86_64 |
4.1.74.Final |
io.netty |
netty-transport-native-unix-common |
4.1.74.Final |
io.prometheus |
simpleclient |
0.7.0 |
io.prometheus |
simpleclient_common |
0.7.0 |
io.prometheus |
simpleclient_dropwizard |
0.7.0 |
io.prometheus |
simpleclient_pushgateway |
0.7.0 |
io.prometheus |
simpleclient_servlet |
0.7.0 |
io.prometheus.jmx |
收集器 |
0.12.0 |
jakarta.annotation |
jakarta.annotation-api |
1.3.5 |
jakarta.servlet |
jakarta.servlet-api |
4.0.3 |
jakarta.validation |
jakarta.validation-api |
2.0.2 |
jakarta.ws.rs |
jakarta.ws.rs-api |
2.1.6 |
javax.activation |
激活 |
1.1.1 |
javax.annotation |
javax.annotation-api |
1.3.2 |
javax.el |
javax.el-api |
2.2.4 |
javax.jdo |
jdo api |
3.0.1 |
javax.transaction |
jta |
1.1 |
javax.transaction |
事务api |
1.1 |
javax.xml.bind |
jaxb-api |
. 2.2.11 |
javolution |
javolution |
5.5.1 |
jline |
jline |
2.14.6 |
joda-time |
joda-time |
2.10.13 |
maven-trees |
蜂巢3.2 - 2.3 - __hadoop - |
liball_deps_2.12 |
net.java.dev.jna |
jna |
5.8.0 |
net.razorvine |
泡菜 |
1.2 |
net.sf.jpam |
jpam |
1.1 |
net.sf.opencsv |
opencsv |
2.3 |
net.sf.supercsv |
super-csv |
2.2.0 |
net.snowflake |
snowflake-ingest-sdk |
0.9.6 |
net.snowflake |
snowflake-jdbc |
3.13.14 |
net.snowflake |
spark-snowflake_2.12 |
2.10.0-spark_3.1 |
net.sourceforge.f2j |
arpack_combined_all |
0.1 |
org.acplt.remotetea |
remotetea-oncrpc |
1.1.2 |
org.antlr |
ST4 |
4.0.4 |
org.antlr |
antlr-runtime |
3.5.2 |
org.antlr |
antlr4-runtime |
4.8 |
org.antlr |
stringtemplate |
3.2.1之上 |
org.apache.ant |
蚂蚁 |
1.9.2 |
org.apache.ant |
ant-jsch |
1.9.2 |
org.apache.ant |
ant-launcher |
1.9.2 |
org.apache.arrow |
arrow-format |
7.0.0 |
org.apache.arrow |
arrow-memory-core |
7.0.0 |
org.apache.arrow |
arrow-memory-netty |
7.0.0 |
org.apache.arrow |
arrow-vector |
7.0.0 |
org.apache.avro |
avro |
1.11.0 |
org.apache.avro |
avro-ipc |
1.11.0 |
org.apache.avro |
avro-mapred |
1.11.0 |
org.apache.commons |
commons-collections4 |
4.4 |
org.apache.commons |
commons-compress |
1.21 |
org.apache.commons |
commons-crypto |
1.1.0 |
org.apache.commons |
commons-lang3 |
3.12.0 |
org.apache.commons |
commons-math3 |
3.6.1 |
org.apache.commons |
commons-text |
1.9 |
org.apache.curator |
curator-client |
2.13.0 |
org.apache.curator |
curator-framework |
2.13.0 |
org.apache.curator |
curator-recipes |
2.13.0 |
org.apache.derby |
德比 |
10.14.2.0 |
org.apache.hadoop |
hadoop-client-api |
3.3.2-databricks |
org.apache.hadoop |
hadoop-client-runtime |
3.3.2 |
org.apache.hive |
hive-beeline |
2.3.9 |
org.apache.hive |
hive-cli |
2.3.9 |
org.apache.hive |
hive-jdbc |
2.3.9 |
org.apache.hive |
hive-llap-client |
2.3.9 |
org.apache.hive |
hive-llap-common |
2.3.9 |
org.apache.hive |
hive-serde |
2.3.9 |
org.apache.hive |
hive-shims |
2.3.9 |
org.apache.hive |
hive-storage-api |
2.7.2 |
org.apache.hive.shims |
蜂巢0.23 -垫片 |
2.3.9 |
org.apache.hive.shims |
hive-shims-common |
2.3.9 |
org.apache.hive.shims |
hive-shims-scheduler |
2.3.9 |
org.apache.httpcomponents |
httpclient |
4.5.13 |
org.apache.httpcomponents |
httpcore |
4.4.14 |
org.apache.ivy |
艾薇 |
2.5.0 |
org.apache.logging.log4j |
log4j - 1.2 api |
2.17.2 |
org.apache.logging.log4j |
log4j api |
2.17.2 |
org.apache.logging.log4j |
log4j-core |
2.17.2 |
org.apache.logging.log4j |
log4j-slf4j-impl |
2.17.2 |
org.apache.mesos |
mesos-shaded-protobuf |
1.4.0 |
org.apache.orc |
orc-core |
1.7.4 |
org.apache.orc |
orc-mapreduce |
1.7.4 |
org.apache.orc |
orc-shims |
1.7.4 |
org.apache.parquet |
parquet-column |
1.12.0-databricks-0004 |
org.apache.parquet |
parquet-common |
1.12.0-databricks-0004 |
org.apache.parquet |
parquet-encoding |
1.12.0-databricks-0004 |
org.apache.parquet |
parquet-format-structures |
1.12.0-databricks-0004 |
org.apache.parquet |
parquet-hadoop |
1.12.0-databricks-0004 |
org.apache.parquet |
parquet-jackson |
1.12.0-databricks-0004 |
org.apache.thrift |
libfb303 |
0.9.3 |
org.apache.thrift |
libthrift |
0.12.0 |
org.apache.xbean |
xbean-asm9-shaded |
4.20 |
org.apache.yetus |
audience-annotations |
0.5.0 |
org.apache.zookeeper |
动物园管理员 |
操作 |
org.apache.zookeeper |
zookeeper-jute |
操作 |
org.checkerframework |
checker-qual |
3.5.0 |
org.codehaus.jackson |
jackson-core-asl |
1.9.13 |
org.codehaus.jackson |
jackson-mapper-asl |
1.9.13 |
org.codehaus.janino |
commons-compiler |
3.0.16 |
org.codehaus.janino |
janino |
3.0.16 |
org.datanucleus |
datanucleus-api-jdo |
4.2.4 |
org.datanucleus |
datanucleus-core |
4.1.17 |
org.datanucleus |
datanucleus-rdbms |
4.1.19 |
org.datanucleus |
javax.jdo |
3.2.0-m3 |
org.eclipse.jetty |
jetty-client |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-continuation |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-http |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-io |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-jndi |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-plus |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-proxy |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-security |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty服务器 |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty servlet |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-servlets |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-util |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-util-ajax |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-webapp |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-xml |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket-api |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket-client |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket-common |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket服务器 |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket-servlet |
9.4.46.v20220331 |
org.fusesource.leveldbjni |
leveldbjni-all |
1.8 |
org.glassfish.hk2 |
hk2-api |
2.6.1 |
org.glassfish.hk2 |
hk2-locator |
2.6.1 |
org.glassfish.hk2 |
hk2-utils |
2.6.1 |
org.glassfish.hk2 |
osgi-resource-locator |
1.0.3 |
org.glassfish.hk2.external |
aopalliance-repackaged |
2.6.1 |
org.glassfish.hk2.external |
jakarta.inject |
2.6.1 |
org.glassfish.jersey.containers |
jersey-container-servlet |
2.34 |
org.glassfish.jersey.containers |
jersey-container-servlet-core |
2.34 |
org.glassfish.jersey.core |
jersey客户端 |
2.34 |
org.glassfish.jersey.core |
jersey-common |
2.34 |
org.glassfish.jersey.core |
jersey-server |
2.34 |
org.glassfish.jersey.inject |
jersey-hk2 |
2.34 |
org.hibernate.validator |
hibernate验证框架 |
6.1.0.Final |
org.javassist |
javassist |
3.25.0-GA |
org.jboss.logging |
jboss-logging |
3.3.2.Final |
org.jdbi |
jdbi |
2.63.1 |
org.jetbrains |
注释 |
17.0.0 |
org.joda |
joda-convert |
1.7 |
org.jodd |
jodd-core |
3.5.2 |
org.json4s |
json4s-ast_2.12 |
3.7.0-M11 |
org.json4s |
json4s-core_2.12 |
3.7.0-M11 |
org.json4s |
json4s-jackson_2.12 |
3.7.0-M11 |
org.json4s |
json4s-scalap_2.12 |
3.7.0-M11 |
org.lz4 |
lz4-java |
1.8.0 |
org.mariadb.jdbc |
mariadb-java-client |
第2.7.4 |
org.objenesis |
objenesis |
2.5.1 |
org.postgresql |
postgresql |
42.3.3 |
org.roaringbitmap |
RoaringBitmap |
0.9.25 |
org.roaringbitmap |
垫片 |
0.9.25 |
org.rocksdb |
rocksdbjni |
6.24.2 |
org.rosuda.REngine |
REngine |
魅惑 |
org.scala-lang |
scala-compiler_2.12 |
2.12.14 |
org.scala-lang |
scala-library_2.12 |
2.12.14 |
org.scala-lang |
scala-reflect_2.12 |
2.12.14 |
org.scala-lang.modules |
scala-collection-compat_2.12 |
2.4.3 |
org.scala-lang.modules |
scala-parser-combinators_2.12 |
1.1.2 |
org.scala-lang.modules |
scala-xml_2.12 |
1.2.0 |
org.scala-sbt |
测试界面 |
1.0 |
org.scalacheck |
scalacheck_2.12 |
1.14.2 |
org.scalactic |
scalactic_2.12 |
3.0.8 |
org.scalanlp |
breeze-macros_2.12 |
1.2 |
org.scalanlp |
breeze_2.12 |
1.2 |
org.scalatest |
scalatest_2.12 |
3.0.8 |
org.slf4j |
jcl-over-slf4j |
1.7.36 |
org.slf4j |
jul-to-slf4j |
1.7.36 |
org.slf4j |
slf4j-api |
1.7.36 |
org.spark-project.spark |
未使用的 |
1.0.0 |
org.threeten |
threeten-extra |
1.5.0 |
org.tukaani |
xz |
1.8 |
org.typelevel |
algebra_2.12 |
2.0.1 |
org.typelevel |
cats-kernel_2.12 |
2.1.1 |
org.typelevel |
macro-compat_2.12 |
1.1.1 |
org.typelevel |
spire-macros_2.12 |
0.17.0 |
org.typelevel |
spire-bob体育客户端下载platform_2.12 |
0.17.0 |
org.typelevel |
spire-util_2.12 |
0.17.0 |
org.typelevel |
spire_2.12 |
0.17.0 |
org.wildfly.openssl |
wildfly-openssl |
1.0.7.Final |
org.xerial |
sqlite-jdbc |
3.8.11.2 |
org.xerial.snappy |
snappy-java |
1.1.8.4 |
org.yaml |
snakeyaml |
1.24 |
奥罗 |
奥罗 |
2.0.8 |
pl.edu.icm |
JLargeArrays |
1.5 |
software.amazon.ion |
ion-java |
1.0.2中 |
stax |
stax-api |
1.0.1 |