Databricks Runtime 7.0(不支持)

Databricks于2020年6月发布了这张图片。

以下发布说明提供了有关Databricks Runtime 7.0的信息，由Apache Spark 3.0提供支持。

新功能

Databricks Runtime 7.0包含以下新特性:

  • Scala 2.12

    Databricks Runtime 7.0将Scala从2.11.12升级到2.12.10。Scala 2.12和2.11之间的变更列表在Scala 2.12.0发布说明．

  • Auto Loader(公开预览)在Databricks Runtime 6.4中发布，在Databricks Runtime 7.0中进行了改进

    Auto Loader为您提供了一种更有效的方法来增量处理在ETL期间到达云blob存储的新数据文件。这是对基于文件的结构化流的改进，结构化流通过重复列出云目录并跟踪已查看的文件来识别新文件，随着目录的增长，效率会非常低。Auto Loader也比基于文件通知的结构化流更方便和有效，后者需要您手动配置云上的文件通知服务，并且不允许您回填现有文件。详细信息请参见什么是自动加载器?．

  • 复制成(公共预览版)，它允许你通过幂等重试将数据加载到Delta Lake中，在Databricks Runtime 7.0中得到了改进

    在Databricks Runtime 6.4中作为公开预览发布复制成SQL命令允许您通过幂等重试将数据加载到Delta Lake。现在要将数据加载到Delta Lake，你必须使用Apache Spark DataFrame api。如果在加载过程中出现故障，您必须有效地处理它们。新复制成命令提供了一个熟悉的声明式接口来在SQL中加载数据。该命令跟踪以前加载的文件，在出现故障时可以安全地重新运行它。详细信息请参见复制到．

改进

  • 更多Amazon Kinesis并发流:

    Amazon Kinesis结构化流媒体源使用ListShards默认情况下获取Kinesis流中的shards列表。这需要额外的IAM权限才能成功运行您的流。在以前版本的Databricks Runtime中，DescribeStream默认使用。ListShards的API限值明显高于DescribeStream(每个流每秒100个请求ListShards而不是在整个AWS帐户上每秒10个请求DescribeStream)．这个改变将允许用户在Databricks中使用结构化流运行超过10个并发的Kinesis流。

  • Azure Synapse(以前的SQL数据仓库)连接器支持复制声明。

    的主要好处复制特权较低的用户可以不需要严格限制就可以向Azure Synapse写入数据吗控制Azure Synapse上的权限。

  • 的% matplotlib内联魔法命令不再需要显示Matplolib对象内联在笔记本单元格中。默认情况下，它们总是内联显示。

  • Matplolib现在使用透明= False，这样用户指定的背景就不会丢失。此行为可以通过设置Spark配置来覆盖spark.databricks.workspace.matplotlib.transparent真正的．

  • 在高并发模式集群上运行结构化流生产作业时，由于之前运行的作业没有正确终止，作业的重新启动偶尔会失败。Databricks Runtime 6.3引入了设置SQL配置的功能spark.sql.streaming.stopActiveRunOnRestart真正的以确保前一次运行停止。此配置在Databricks Runtime 7.0中默认设置。

库的主要变化

Python包

主要Python包升级:

  • Boto3 1.9.162 -> 1.12.0

  • Matplotlib 3.0.3 -> 3.1.3

  • Numpy 1.16.2 -> 1.18.1

  • 熊猫0.24.2 -> 1.0.1

  • PIP 19.0.3 -> 20.0.2

  • Pyarrow 0.13.0 -> 0.15.1

  • Psycopg2 2.7.6 -> 2.8.4

  • Scikit-learn 0.20.3 -> 0.22.1

  • Scipy 1.2.1 -> 1.4.1

  • Seaborn 0.9.0 -> 0.10.0

Python包删除:

  • Boto(使用boto3)

  • pycurl

请注意

Databricks Runtime 7.0中的Python环境使用了Python 3.7，这与安装的Ubuntu系统Python有所不同:/usr/bin/python而且/usr/bin/python2链接到Python 2.7和/usr/bin/python3链接到Python 3.6。

R包

新增R包:

  • 扫帚

  • highr

  • isoband

  • knitr

  • 减价

  • modelr

  • reprex

  • rmarkdown

  • 房车

  • selectr

  • tidyverse

  • tinytex

  • xfun

删除R包:

  • abind

  • bitops

  • 车

  • carData

  • doMC

  • “绿带运动”

  • 水

  • 的小

  • lme4

  • mapproj

  • 地图

  • maptools

  • MatrixModels

  • minqa

  • mvtnorm

  • nloptr

  • openxlsx

  • pbkrtest

  • pkgKitten

  • quantreg

  • R.methodsS3

  • R.oo

  • R.utils

  • RcppEigen

  • RCurl

  • 里约热内卢

  • sp

  • SparseM

  • statmod

  • 邮政编码

Java和Scala库

  • AWS SDK (AWS -java- SDK)升级至1.11.655。

  • Amazon Kinesis Client升级至1.12.0

  • Apache Hive版本，用于处理Hive自定义函数，Hive SerDes升级到2.3。

  • 以前Azure Storage和Key Vault jar被打包为Databricks Runtime的一部分，这将阻止您使用附加到集群的这些库的不同版本。类下com.microsoft.azure.storage而且com.microsoft.azure.keyvault不再在Databricks运行时的类路径上。如果依赖于这些类路径中的任何一个，现在必须将Azure Storage SDK或Azure Key Vault SDK附加到集群。

行为变化

本节列出了从Databricks Runtime 6.6到Databricks Runtime 7.0的行为变化。当您将工作负载从较低的Databricks Runtime版本迁移到Databricks Runtime 7.0及以上版本时，应该注意这些问题。

火花行为改变

因为Databricks Runtime 7.0是在Spark 3.0上构建的第一个Databricks Runtime，所以当您从Databricks Runtime 5.5 LTS或6迁移工作负载时，您应该注意许多更改。x，它们构建在Spark 2.4上。中每个功能区域的“行为更改”部分列出了这些更改Apache火花本发布说明部分的文章:

其他行为变化

  • 升级到Scala 2.12的主要变化如下:

    • 包单元格序列化的处理方式不同。下面的示例说明了行为更改以及如何处理它。

      运行foo.bar.MyObjectInPackageCell.run ()如下包单元格中定义的那样将触发错误java.lang.NoClassDefFoundError:可以不初始化类foo.bar.MyObjectInPackageCell美元

      包喷火．酒吧情况下类MyIntStruct（int：Int）进口org．apache．火花．sql．SparkSession进口org．apache．火花．sql．功能．＿进口org．apache．火花．sql．列对象MyObjectInPackageCell扩展可序列化的｛//因为SparkSession不能在Spark executor中创建，//下面的行触发错误//无法初始化foo.bar.MyObjectInPackageCell$ . exe类瓦尔火花＝SparkSession．构建器．getOrCreate（）def喷火：Int= >选项［MyIntStruct］＝（x：Int）= >一些（MyIntStruct（One hundred.）)瓦尔theUDF＝udf（喷火）瓦尔df＝｛瓦尔myUDFInstance＝theUDF（上校（“id”）)火花．范围（0，1，1，1)．withColumn（“u”，myUDFInstance）｝def运行()：单位＝｛df．收集（）.foreach（println）｝｝

      要解决这个错误，可以使用换行MyObjectInPackageCell在可序列化类内部。

    • 某些情况下使用DataStreamWriter.foreachBatch将需要一个源代码更新。这个变化是由于Scala 2.12具有从lambda表达式到SAM类型的自动转换，这可能会导致歧义。

      例如，下面的Scala代码无法编译:

      流．writeStream．foreachBatch｛（df，id）= >myFunc（df，id）｝

      若要修复编译错误，请更改foreachBatch｛(df,id)= >myFunc (df,id)｝来foreachBatch (myFunc_）或者显式地使用Java API:foreachBatch(新VoidFunction2…)．

  • 随着AWS SDK升级到1.11.655，使用org.apache.hadoop.fs.s3native.NativeS3FileSystem需要AWS Signature v4和桶端点设置。如果用户已将AWS Signature v2配置为使用S3N文件系统对S3的请求进行签名，或者用户访问包含“+”字符的S3路径并使用旧的S3N文件系统(例如S3N://bucket/path/+文件)，则可能抛出403 Forbidden错误。

  • 由于处理Hive自定义函数和Hive SerDes的Apache Hive版本升级到2.3，需要进行以下两个修改:

    • 蜂巢的SerDe接口被抽象类替换AbstractSerDe．对于任何自定义HiveSerDe实现，迁移到AbstractSerDe是必需的。

    • 设置spark.sql.hive.metastore.jars来内装式意味着Hive 2.3 metastore客户端将被用于访问Databricks Runtime 7.0的metastore。如果需要访问基于Hive 1.2的外部亚metastore，请设置spark.sql.hive.metastore.jars到包含Hive 1.2 jar的文件夹。

弃用和删除

  • 数据跳过索引在Databricks Runtime 4.3中被弃用，在Databricks Runtime 7.0中被移除。我们建议您改用Delta表，它提供改进的数据跳过功能．

  • 在Databricks Runtime 7.0中，Apache Spark的底层版本使用了Scala 2.12。由于在Scala 2.11上编译的库会以意想不到的方式禁用Databricks Runtime 7.0集群，因此运行Databricks Runtime 7.0及以上版本的集群不会安装配置为安装在所有集群上的库．集群库选项卡显示状态跳过以及一条解释库处理更改的弃用消息。但是，如果您有一个在早期版本的Databricks Runtime上创建的集群在Databricks平台3.20版bob体育客户端下载本发布到您的工作空间之前，并且现在编辑该集群以使用Databricks Runtime 7.0，则配置为安装在所有集群上的任何库都将安装在该集群上。在这种情况下，安装的库中任何不兼容的jar都可能导致集群被禁用。解决方法是克隆集群或创建一个新的集群。

  • org.apache.hadoop.fs.s3native.NativeS3FileSystem而且org.apache.hadoop.fs.s3.S3FileSystem不再支持访问S3。

    我们强烈建议您使用com.databricks.s3a.S3AFileSystem，这是默认的s3a: / /，s3: / /,s3n: / /Databricks Runtime中的文件系统方案。如果您需要迁移到com.databricks.s3a.S3AFileSystem，请联系Databricks支持或您的Databricks代表。

  • 使用的能力什么是数据库文件系统(DBFS)?已在社区版Databricks Runtime 7.0中删除。我们建议您使用% fscp将数据复制到本地目录或从本地目录复制。

Apache火花

Databricks Runtime 7.0包含Apache Spark 3.0。

核心，Spark SQL，结构化流

突出了

性能增强

可扩展性增强

连接器的增强

功能增强

SQL兼容性增强

监视和可调试性增强

PySpark增强

文档和测试覆盖率增强

其他显著变化

Spark核心、Spark SQL和结构化流的行为更改

下面的迁移指南列出了Apache Spark 2.4和3.0之间的行为变化。这些更改可能需要更新在较低的Databricks运行时版本上运行的作业:

以下行为更改不包括在这些迁移指南中:

  • 在Spark 3.0中，已弃用的类org.apache.spark.sql.streaming.ProcessingTime已被删除。使用org.apache.spark.sql.streaming.Trigger.ProcessingTime代替。同样的,org.apache.spark.sql.execution.streaming.continuous.ContinuousTrigger已经被移除了，取而代之的是触发器。连续,org.apache.spark.sql.execution.streaming.OneTimeTrigger一直隐藏在偏爱之中触发器。一次．（火星- 28199）

  • 在Databricks Runtime 7.0中，当读取Hive SerDe表时，Spark默认不允许读取非表分区子目录下的文件。要启用它，请设置配置spark.databricks.io.hive.scanNonpartitionedDirectory.enabled作为真正的．这不会影响Spark本机表读取器和文件读取器。

MLlib

突出了

MLlib的行为变化

下面的迁移指南列出了Apache Spark 2.4和3.0之间的行为变化。这些更改可能需要更新在较低的Databricks运行时版本上运行的作业:

以下行为更改不在迁移指南中涵盖:

  • 在Spark 3.0中，Pyspark中的多类逻辑回归现在将(正确地)返回LogisticRegressionSummary，而不是子类BinaryLogisticRegressionSummary．所暴露的附加方法BinaryLogisticRegressionSummary在这种情况下不管用。（火星- 31681）

  • 在Spark 3.0中pyspark.ml.param.shared.Has *Mixins不提供任何信息设置*(自我,值)Setter方法，使用各自的self.set(自我。*,值)代替。详见SPARK-29093。（火星- 29093）

SparkR

  • SparkR互操作性中的箭头优化(火星- 26759）

  • 通过向量化R增强性能gapply()， dapply()， createDataFrame, collect()

  • “急于执行”的R shell, IDE (火星- 24572）

  • 幂迭代聚类的R API (火星- 19827）

SparkR的行为变化

下面的迁移指南列出了Apache Spark 2.4和3.0之间的行为变化。这些更改可能需要更新在较低的Databricks运行时版本上运行的作业:

编程指南

GraphX

编程指南:GraphX编程指南．

的用法

已知的问题

  • 如果缺少年份字段，则使用模式字母“D”解析年份的日期将返回错误的结果。这可能发生在SQL函数中，例如to_timestamp它使用模式字符串将日期时间字符串解析为日期时间值。（火星- 31939）

  • 如果键值为-0.0和0.0，子查询中的Join/Window/Aggregate可能会导致错误的结果。（火星- 31958）

  • 窗口查询可能会因意外的模糊自连接错误而失败。（火星- 31956）

  • 使用dropDuplicates操作人员可能无法重新启动Spark 2.x写入的检查点。（火星- 31990）

维护更新

看到Databricks Runtime 7.0维护更新．

系统环境

  • 操作系统: Ubuntu 18.04.4 LTS

  • Java: 1.8.0_252

  • Scala: 2.12.10

  • Python: 3.7.5

  • R: R版本3.6.3 (2020-02-29)

  • 三角洲湖0.7.0

已安装的Python库

图书馆

版本

图书馆

版本

图书馆

版本

asn1crypto

1.3.0

backcall

0.1.0

boto3

1.12.0

botocore

1.15.0

certifi

2020.4.5

cffi

1.14.0

chardet

3.0.4

密码学

2.8

周期计

0.10.0

Cython

0.29.15

装饰

4.1.1

docutils

0.15.2

entrypoints

0.3

idna

2.8

ipykernel

5.1.4

ipython

7.12.0

ipython-genutils

0.2.0

绝地武士

0.14.1

jmespath

0.9.4

joblib

0.14.1

jupyter-client

5.3.4

jupyter-core

4.6.1

kiwisolver

1.1.0

matplotlib

3.1.3

numpy

1.18.1

熊猫

1.0.1

parso

0.5.2

容易受骗的人

0.5.1

pexpect

4.8.0

pickleshare

0.7.5

皮普

20.0.2

prompt-toolkit

3.0.3

psycopg2

2.8.4

ptyprocess

0.6.0

pyarrow

0.15.1

pycparser

2.19

Pygments

2.5.2

PyGObject

3.26.1

pyOpenSSL

19.1.0

pyparsing

2.4.6

PySocks

1.7.1上

python-apt

1.6.5 + ubuntu0.3

python-dateutil

2.8.1发布

pytz

2019.3

pyzmq

18.1.1

请求

2.22.0

s3transfer

0.3.3

scikit-learn

0.22.1

scipy

1.4.1

seaborn

0.10.0

setuptools

45.2.0

六个

1.14.0

ssh-import-id

5.7

statsmodels

0.11.0

龙卷风

6.0.3

traitlets

4.3.3

unattended-upgrades

0．1

urllib3

1.25.8

virtualenv

16.7.10

wcwidth

0.1.8

轮

0.34.2

已安装的R库

R库从(微软CRAN快照2020-04-22)．

图书馆

版本

图书馆

版本

图书馆

版本

askpass

1．1

为了

0.2.1

补丁

1.1.6

基地

3.6.3

base64enc

0.1 - 3

黑洞

1.72.0-3

位

1.1 - -15.2

bit64

0.9 7

团

1.2.1 "

引导

-25 - 1.3

酿造

1.0 6

扫帚

0.5.6

callr

3.4.3

脱字符号

-86 - 6.0

cellranger

1.1.0

时间

-55 - 2.3

类

-17 - 7.3

cli

2.0.2

clipr

0.7.0

集群

魅惑

codetools

-16 - 0.2

色彩

1.4 - 1

commonmark

1.7

编译器

3.6.3

配置

0.3

covr

3.5.0

蜡笔

1.3.4

相声

1.1.0.1

旋度

4.３

data.table

1.12.8

数据集

3.6.3

DBI

1.1.0

dbplyr

3

desc

1.2.0

devtools

tripwire

消化

0.6.25

dplyr

0.8.5

DT

0.13

省略

0.3.0

评估

0.14

fansi

0.4.1

farver

2.0.3

fastmap

1.0.1

forcats

0.5.0

foreach

1.5.0

外国

-76 - 0.8

打造

0.2.0

fs

1.4.1

泛型

发布

ggplot2

3.3.0

“大酒店”

1.1.0

git2r

0.26.1

glmnet

3.0 - 2

全局变量

0.12.5

胶水

1.4.0

高尔

0.2.1

图形

3.6.3

grDevices

3.6.3

网格

3.6.3

gridExtra

2．3

gsubfn

0.7

gtable

0.3.0

还

2.2.0

highr

0.8

hms

0.5.3

htmltools

0.4.0

htmlwidgets

1.5.1

httpuv

1.5.2

httr

1.4.1

hwriter

1.3.2

hwriterPlus

1.0 - 3

ini

0.3.1

不小

0.9 9

isoband

0.2.1

迭代器

1.0.12

jsonlite

1.6.1

KernSmooth

-17 - 2.23

knitr

1.28

标签

0.3

晚些时候

1.0.0

晶格

-41 - 0.20

熔岩

1.6.7

lazyeval

0.2.2

生命周期

0.2.0

lubridate

1.7.8

magrittr

1．5

减价

1．1

质量

7.3 - -51.6

矩阵

-18 - 1.2

memoise

1.1.0

方法

3.6.3

mgcv

-31 - 1.8

mime

0.9

ModelMetrics

1.2.2.2

modelr

0.1.6

孟塞尔

0.5.0

nlme

-147 - 3.1

nnet

-14 - 7.3

numDeriv

2016.8 - -1.1

openssl

1.4.1

平行

3.6.3

支柱

3

pkgbuild

1.0.6

pkgconfig

2.0.3

pkgload

1.0.2中

plogr

0.2.0

plyr

1.8.6

赞美

1.0.0

prettyunits

1.1.1

pROC

1.16.2

processx

3.4.2

prodlim

2019.11.13

进步

1.2.2

承诺

1.1.0

原型

1.0.0

ps

1.3.2

purrr

0.3.4

r2d3

0.2.3

R6

2.4.1

randomForest

-14 - 4.6

rappdirs

0.3.1

rcmdcheck

1.3.3

RColorBrewer

1.1 - 2

Rcpp

1.0.4.6

readr

1.3.1

readxl

1.3.1

食谱

0.1.10

复赛

1.0.1

rematch2

2.1.1

遥控器

2.1.1

reprex

0.3.0

reshape2

1.4.4

雷克斯

1.2.0

rjson

0.2.20

rlang

0.4.5

rmarkdown

2.1

RODBC

-16 - 1.3

roxygen2

7.1.0

rpart

-15 - 4.1

rprojroot

1.3 - 2

Rserve

1.8 6

RSQLite

2.2.0

rstudioapi

0.11

rversions

2.0.1

房车

0.3.5

尺度

1.1.0

selectr

0.4 - 2

sessioninfo

1.1.1

形状

1.4.4

闪亮的

1.4.0.2

sourcetools

0.1.7

sparklyr

1.2.0

SparkR

3.0.0

空间

-11 - 7.3

样条函数

3.6.3

sqldf

-11 - 0.4

SQUAREM

2020.2

统计数据

3.6.3

stats4

3.6.3

stringi

1.4.6

stringr

1.4.0

生存

-12 - 3.1

sys

3．3

tcltk

3.6.3

TeachingDemos

2.10

testthat

2.3.2

宠物猫

3.0.1

tidyr

1.0.2中

tidyselect

1.0.0

tidyverse

1.3.0

timeDate

3043.102

tinytex

0.22

工具

3.6.3

usethis

1.6.0

use utf8

1.1.4

跑龙套

3.6.3

vctrs

0.2.4

viridisLite

0.3.0

晶须

0.4

withr

2.2.0

xfun

0.13

xml2

1.3.1

xopen

1.0.0

xtable

1.8 - 4

yaml

2.2.1

安装Java和Scala库(Scala 2.12集群版本)

组ID

工件ID

版本

antlr

antlr

2.7.7

com.amazonaws

amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscaling

1.11.655

com.amazonaws

aws-java-sdk-cloudformation

1.11.655

com.amazonaws

aws-java-sdk-cloudfront

1.11.655

com.amazonaws

aws-java-sdk-cloudhsm

1.11.655

com.amazonaws

aws-java-sdk-cloudsearch

1.11.655

com.amazonaws

aws-java-sdk-cloudtrail

1.11.655

com.amazonaws

aws-java-sdk-cloudwatch

1.11.655

com.amazonaws

aws-java-sdk-cloudwatchmetrics

1.11.655

com.amazonaws

aws-java-sdk-codedeploy

1.11.655

com.amazonaws

aws-java-sdk-cognitoidentity

1.11.655

com.amazonaws

aws-java-sdk-cognitosync

1.11.655

com.amazonaws

aws-java-sdk-config

1.11.655

com.amazonaws

aws-java-sdk-core

1.11.655

com.amazonaws

aws-java-sdk-datapipeline

1.11.655

com.amazonaws

aws-java-sdk-directconnect

1.11.655

com.amazonaws

aws-java-sdk-directory

1.11.655

com.amazonaws

aws-java-sdk-dynamodb

1.11.655

com.amazonaws

aws-java-sdk-ec2

1.11.655

com.amazonaws

aws-java-sdk-ecs

1.11.655

com.amazonaws

aws-java-sdk-efs

1.11.655

com.amazonaws

aws-java-sdk-elasticache

1.11.655

com.amazonaws

aws-java-sdk-elasticbeanstalk

1.11.655

com.amazonaws

aws-java-sdk-elasticloadbalancing

1.11.655

com.amazonaws

aws-java-sdk-elastictranscoder

1.11.655

com.amazonaws

aws-java-sdk-emr

1.11.655

com.amazonaws

aws-java-sdk-glacier

1.11.655

com.amazonaws

aws-java-sdk-iam

1.11.655

com.amazonaws

aws-java-sdk-importexport

1.11.655

com.amazonaws

aws-java-sdk-kinesis

1.11.655

com.amazonaws

aws-java-sdk-kms

1.11.655

com.amazonaws

aws-java-sdk-lambda

1.11.655

com.amazonaws

aws-java-sdk-logs

1.11.655

com.amazonaws

aws-java-sdk-machinelearning

1.11.655

com.amazonaws

aws-java-sdk-opsworks

1.11.655

com.amazonaws

aws-java-sdk-rds

1.11.655

com.amazonaws

aws-java-sdk-redshift

1.11.655

com.amazonaws

aws-java-sdk-route53

1.11.655

com.amazonaws

aws-java-sdk-s3

1.11.655

com.amazonaws

aws-java-sdk-ses

1.11.655

com.amazonaws

aws-java-sdk-simpledb

1.11.655

com.amazonaws

aws-java-sdk-simpleworkflow

1.11.655

com.amazonaws

aws-java-sdk-sns

1.11.655

com.amazonaws

aws-java-sdk-sqs

1.11.655

com.amazonaws

aws-java-sdk-ssm

1.11.655

com.amazonaws

aws-java-sdk-storagegateway

1.11.655

com.amazonaws

aws-java-sdk-sts

1.11.655

com.amazonaws

aws-java-sdk-support

1.11.655

com.amazonaws

aws-java-sdk-swf-libraries

1.11.22

com.amazonaws

aws-java-sdk-workspaces

1.11.655

com.amazonaws

jmespath-java

1.11.655

com.chuusai

shapeless_2.12

2.3.3

com.clearspring.analytics

流

2.9.6

com.databricks

Rserve

1.8 - 3

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.12

0.4.15-10

com.databricks.scalapb

scalapb-runtime_2.12

0.4.15-10

com.esotericsoftware

kryo-shaded

4.0.2

com.esotericsoftware

minlog

1.3.0

com.fasterxml

同学

1.3.4

com.fasterxml.jackson.core

jackson-annotations

2.10.0

com.fasterxml.jackson.core

jackson-core

2.10.0

com.fasterxml.jackson.core

jackson-databind

2.10.0

com.fasterxml.jackson.dataformat

jackson-dataformat-cbor

2.10.0

com.fasterxml.jackson.datatype

jackson-datatype-joda

2.10.0

com.fasterxml.jackson.module

jackson-module-paranamer

2.10.0

com.fasterxml.jackson.module

jackson-module-scala_2.12

2.10.0

com.github.ben-manes.caffeine

咖啡因

2.3.4

com.github.fommil

jniloader

1．1

com.github.fommil.netlib

核心

1.1.2

com.github.fommil.netlib

native_ref-java

1．1

com.github.fommil.netlib

native_ref-java-natives

1．1

com.github.fommil.netlib

native_system-java

1．1

com.github.fommil.netlib

native_system-java-natives

1．1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1．1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1．1

com.github.joshelser

dropwizard-metrics-hadoop-metrics2-reporter

0.1.2

com.github.luben

zstd-jni

1.4.4-3

com.github.wendykierp

JTransforms

3．1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.2.4

com.google.flatbuffers

flatbuffers-java

1.9.0

com.google.guava

番石榴

15.0

com.google.protobuf

protobuf-java

2.6.1

com.h2database

h2

1.4.195

com.helger

分析器

1.1.1

com.jcraft

jsch

0.1.50

com.jolbox

bonecp

0.8.0.RELEASE

com.microsoft.azure

azure-data-lake-store-sdk

2.2.8

com.microsoft.sqlserver

mssql-jdbc

8.2.1.jre8

com.ning

compress-lzf

1.0.3

com.sun.mail

javax.mail

1.5.2

com.tdunning

json

1．8

com.thoughtworks.paranamer

paranamer

2.8

com.trueaccord.lenses

lenses_2.12

0.4.12

com.twitter

chill-java

0.9.5

com.twitter

chill_2.12

0.9.5

com.twitter

util-app_2.12

7.1.0

com.twitter

util-core_2.12

7.1.0

com.twitter

util-function_2.12

7.1.0

com.twitter

util-jvm_2.12

7.1.0

com.twitter

util-lint_2.12

7.1.0

com.twitter

util-registry_2.12

7.1.0

com.twitter

util-stats_2.12

7.1.0

com.typesafe

配置

1.2.1 "

com.typesafe.scala-logging

scala-logging_2.12

3.7.2章

com.univocity

univocity-parsers

2.8.3

com.zaxxer

HikariCP

3.1.0

commons-beanutils

commons-beanutils

1.9.4

commons-cli

commons-cli

1．2

commons-codec

commons-codec

1.10

commons-collections

commons-collections

3.2.2

commons configuration

commons configuration

1．6

commons-dbcp

commons-dbcp

1．4

commons-digester

commons-digester

1．8

commons-fileupload

commons-fileupload

1.3.3

commons-httpclient

commons-httpclient

3．1

commons-io

commons-io

2.4

commons lang

commons lang

2.6

通用日志

通用日志

1.1.3

commons net

commons net

3．1

commons-pool

commons-pool

1.5.4

info.ganglia.gmetric4j

gmetric4j

1.0.10

io.airlift

aircompressor

0．10

io.dropwizard.metrics

metrics-core

以下4.4.1

io.dropwizard.metrics

metrics-graphite

以下4.4.1

io.dropwizard.metrics

metrics-healthchecks

以下4.4.1

io.dropwizard.metrics

metrics-jetty9

以下4.4.1

io.dropwizard.metrics

metrics-jmx

以下4.4.1

io.dropwizard.metrics

metrics-json

以下4.4.1

io.dropwizard.metrics

metrics-jvm

以下4.4.1

io.dropwizard.metrics

metrics-servlets

以下4.4.1

io.netty

netty-all

4.1.47.Final

jakarta.annotation

jakarta.annotation-api

1.3.5

jakarta.validation

jakarta.validation-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.activation

激活

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

jsp-api

2.1

javax.transaction

jta

1．1

javax.transaction

事务api

1．1

javax.xml.bind

jaxb-api

2.2.2

javax.xml.stream

stax-api

1.0 - 2

javolution

javolution

5.5.1

jline

jline

2.14.6

joda-time

joda-time

2.10.5

log4j

apache-log4j-extras

1.2.17

log4j

log4j

1.2.17

net.razorvine

地幔岩

4.30

net.sf.jpam

jpam

1．1

net.sf.opencsv

opencsv

2．3

net.sf.supercsv

super-csv

2.2.0

net.snowflake

snowflake-ingest-sdk

0.9.6

net.snowflake

snowflake-jdbc

3.12.0

net.snowflake

spark-snowflake_2.12

2.5.9-spark_2.4

net.sourceforge.f2j

arpack_combined_all

0．1

org.acplt.remotetea

remotetea-oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4.7.1

org.antlr

stringtemplate

3.2.1之上

org.apache.ant

蚂蚁

1.9.2

org.apache.ant

ant-jsch

1.9.2

org.apache.ant

ant-launcher

1.9.2

org.apache.arrow

arrow-format

0.15.1

org.apache.arrow

arrow-memory

0.15.1

org.apache.arrow

arrow-vector

0.15.1

org.apache.avro

avro

1.8.2

org.apache.avro

avro-ipc

1.8.2

org.apache.avro

avro-mapred-hadoop2

1.8.2

org.apache.commons

commons-compress

1.8.1

org.apache.commons

commons-crypto

1.0.0

org.apache.commons

commons-lang3

3.9

org.apache.commons

commons-math3

3.4.1

org.apache.commons

commons-text

1．6

org.apache.curator

curator-client

2.7.1

org.apache.curator

curator-framework

2.7.1

org.apache.curator

curator-recipes

2.7.1

org.apache.derby

德比

10.12.1.1

org.apache.directory.api

api-asn1-api

1.0.0-M20

org.apache.directory.api

api-util

1.0.0-M20

org.apache.directory.server

apacheds-i18n

2.0.0-M15

org.apache.directory.server

apacheds-kerberos-codec

2.0.0-M15

org.apache.hadoop

hadoop-annotations

第2.7.4

org.apache.hadoop

hadoop-auth

第2.7.4

org.apache.hadoop

hadoop-client

第2.7.4

org.apache.hadoop

hadoop-common

第2.7.4

org.apache.hadoop

hadoop-hdfs

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-app

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-common

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-core

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-jobclient

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-shuffle

第2.7.4

org.apache.hadoop

hadoop-yarn-api

第2.7.4

org.apache.hadoop

hadoop-yarn-client

第2.7.4

org.apache.hadoop

hadoop-yarn-common

第2.7.4

org.apache.hadoop

hadoop-yarn-server-common

第2.7.4

org.apache.hive

hive-beeline

2.3.7

org.apache.hive

hive-cli

2.3.7

org.apache.hive

hive-common

2.3.7

org.apache.hive

hive-exec-core

2.3.7

org.apache.hive

hive-jdbc

2.3.7

org.apache.hive

hive-llap-client

2.3.7

org.apache.hive

hive-llap-common

2.3.7

org.apache.hive

hive-metastore

2.3.7

org.apache.hive

hive-serde

2.3.7

org.apache.hive

hive-shims

2.3.7

org.apache.hive

hive-storage-api

2.7.1

org.apache.hive

hive-vector-code-gen

2.3.7

org.apache.hive.shims

蜂巢0.23 -垫片

2.3.7

org.apache.hive.shims

hive-shims-common

2.3.7

org.apache.hive.shims

hive-shims-scheduler

2.3.7

org.apache.htrace

htrace-core

3.1.0-incubating

org.apache.httpcomponents

httpclient

4.5.6

org.apache.httpcomponents

httpcore

4.4.12

org.apache.ivy

艾薇

测试盒框

org.apache.orc

orc-core

1.5.10

org.apache.orc

orc-mapreduce

1.5.10

org.apache.orc

orc-shims

1.5.10

org.apache.parquet

parquet-column

1.10.1.2-databricks4

org.apache.parquet

parquet-common

1.10.1.2-databricks4

org.apache.parquet

parquet-encoding

1.10.1.2-databricks4

org.apache.parquet

parquet-format

测试盒框

org.apache.parquet

parquet-hadoop

1.10.1.2-databricks4

org.apache.parquet

parquet-jackson

1.10.1.2-databricks4

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.velocity

速度

1．5

org.apache.xbean

xbean-asm7-shaded

4.15

org.apache.yetus

audience-annotations

0.5.0

org.apache.zookeeper

动物园管理员

3.4.14

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-jaxrs

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.jackson

jackson-xc

1.9.13

org.codehaus.janino

commons-compiler

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

datanucleus-api-jdo

4.2.4

org.datanucleus

datanucleus-core

4.1.17

org.datanucleus

datanucleus-rdbms

4.1.19

org.datanucleus

javax.jdo

3.2.0-m3

org.eclipse.jetty

jetty-client

9.4.18.v20190429

org.eclipse.jetty

jetty-continuation

9.4.18.v20190429

org.eclipse.jetty

jetty-http

9.4.18.v20190429

org.eclipse.jetty

jetty-io

9.4.18.v20190429

org.eclipse.jetty

jetty-jndi

9.4.18.v20190429

org.eclipse.jetty

jetty-plus

9.4.18.v20190429

org.eclipse.jetty

jetty-proxy

9.4.18.v20190429

org.eclipse.jetty

jetty-security

9.4.18.v20190429

org.eclipse.jetty

jetty服务器

9.4.18.v20190429

org.eclipse.jetty

jetty servlet

9.4.18.v20190429

org.eclipse.jetty

jetty-servlets

9.4.18.v20190429

org.eclipse.jetty

jetty-util

9.4.18.v20190429

org.eclipse.jetty

jetty-webapp

9.4.18.v20190429

org.eclipse.jetty

jetty-xml

9.4.18.v20190429

org.fusesource.leveldbjni

leveldbjni-all

1．8

org.glassfish.hk2

hk2-api

2.6.1

org.glassfish.hk2

hk2-locator

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-resource-locator

1.0.3

org.glassfish.hk2.external

aopalliance-repackaged

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

jersey-container-servlet

2.30

org.glassfish.jersey.containers

jersey-container-servlet-core

2.30

org.glassfish.jersey.core

jersey客户端

2.30

org.glassfish.jersey.core

jersey-common

2.30

org.glassfish.jersey.core

jersey-server

2.30

org.glassfish.jersey.inject

jersey-hk2

2.30

org.glassfish.jersey.media

jersey-media-jaxb

2.30

org.hibernate.validator

hibernate验证框架

6.1.0.Final

org.javassist

javassist

3.25.0-GA

org.jboss.logging

jboss-logging

3.3.2.Final

org.jdbi

jdbi

2.63.1

org.joda

joda-convert

1.7

org.jodd

jodd-core

3.5.2

org.json4s

json4s-ast_2.12

3.6.6

org.json4s

json4s-core_2.12

3.6.6

org.json4s

json4s-jackson_2.12

3.6.6

org.json4s

json4s-scalap_2.12

3.6.6

org.lz4

lz4-java

1.7.1上

org.mariadb.jdbc

mariadb-java-client

2.1.2

org.objenesis

objenesis

2.5.1

org.postgresql

postgresql

42.1.4

org.roaringbitmap

RoaringBitmap

0.7.45

org.roaringbitmap

垫片

0.7.45

org.rocksdb

rocksdbjni

6.2.2

org.rosuda.REngine

REngine

魅惑

org.scala-lang

scala-compiler_2.12

2.12.10

org.scala-lang

scala-library_2.12

2.12.10

org.scala-lang

scala-reflect_2.12

2.12.10

org.scala-lang.modules

scala-collection-compat_2.12

2.1.1

org.scala-lang.modules

scala-parser-combinators_2.12

1.1.2

org.scala-lang.modules

scala-xml_2.12

1.2.0

org.scala-sbt

测试界面

1．0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

breeze-macros_2.12

1．0

org.scalanlp

breeze_2.12

1．0

org.scalatest

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1.7.30

org.slf4j

jul-to-slf4j

1.7.30

org.slf4j

slf4j-api

1.7.30

org.slf4j

slf4j-log4j12

1.7.30

org.spark-project.spark

未使用的

1.0.0

org.springframework

spring核心

4.1.4.RELEASE

org.springframework

spring测试

4.1.4.RELEASE

org.threeten

threeten-extra

1.5.0

org.tukaani

xz

1．5

org.typelevel

algebra_2.12

2.0.0-M2

org.typelevel

cats-kernel_2.12

2.0.0-M4

org.typelevel

machinist_2.12

0.6.8

org.typelevel

macro-compat_2.12

1.1.1

org.typelevel

spire-macros_2.12

0.17.0-M1

org.typelevel

spire-bob体育客户端下载platform_2.12

0.17.0-M1

org.typelevel

spire-util_2.12

0.17.0-M1

org.typelevel

spire_2.12

0.17.0-M1

org.xerial

sqlite-jdbc

3.8.11.2

org.xerial.snappy

snappy-java

1.1.7.5

org.yaml

snakeyaml

1.24

奥罗

奥罗

2.0.8

pl.edu.icm

JLargeArrays

1．5

software.amazon.ion

ion-java

1.0.2中

stax

stax-api

1.0.1

xmlenc

xmlenc

0.52