砖运行时的7.0(不支持)

砖这张照片在2020年6月发布。

以下版本注释提供信息数据砖7.0运行时,由Apache 3.0火花。

新功能

砖7.0运行时包含了以下新的特点:

  • Scala 2.12

    砖运行时的7.0升级Scala 2.11.12 2.12.10。Scala 2.12和2.11之间的变化列表Scala 2.12.0发布说明。

  • 自动加载程序(公共预览版)发布在砖6.4运行时,一直在改进砖7.0运行时

    自动加载器可以提供一个更有效的方法来处理新的数据文件逐步到达云在ETL blob存储。这是一个改进的基于文件的结构化流,识别新文件通过不断云目录清单和跟踪的文件已经出现,并且可以非常低效的目录。自动加载程序也比file-notification-based更方便和有效的结构化流,这要求您手动配置file-notification服务在云上,不让你回填现有的文件。有关详细信息,请参见自动加载器是什么?。

  • 复制成(公共预览版),它可以让你与幂等数据加载到三角洲湖重试,一直在改进砖7.0运行时

    作为一个公共预览版发布砖6.4运行时,复制成SQL命令允许您将数据加载到三角洲湖与幂等重试。将数据加载到三角洲湖今天你必须使用Apache火花DataFrame api。如果有在加载失败,你必须有效地处理它们。新复制成命令提供了一个熟悉的声明式界面加载数据的SQL。命令跟踪之前加载文件和你安全地重新运行失败的案例。有关详细信息,请参见复制到。

改进

  • 更多的并发流:亚马逊运动

    亚马逊运动结构化流源使用ListShards默认的列表的碎片运动流。这需要额外我权限成功运行您的流。在早期版本的砖运行时,DescribeStream在默认情况下使用。ListShards有一个API的限制明显高于DescribeStream(每流为每秒100个请求ListShards与10每秒请求你整个AWS帐户DescribeStream)。这一变化将允许用户运行10多个并发动作流砖结构的流。

  • SQL Azure突触(原数据仓库)连接器支持复制声明。

    的主要好处复制是低特权用户可以写入数据到Azure突触无需严格吗控制权限Azure突触。

  • 的% matplotlib内联神奇的命令已不再需要显示Matplolib对象内联在笔记本电池。他们总是默认显示内联。

  • Matplolib现在数据呈现透明= False不会丢失,所以指定的背景。这种行为可以通过设置覆盖火花配置spark.databricks.workspace.matplotlib.transparent真正的。

  • 结构化流生产工作在高并发运行时模式集群,重启的工作偶尔会失败,因为之前运行工作不正常终止。砖6.3运行时介绍了设置SQL配置的能力spark.sql.streaming.stopActiveRunOnRestart真正的在您的集群,以确保之前停止运行。这个配置是砖7.0运行时的默认设置。

主要图书馆的变化

Python包

主要的Python包升级:

  • boto3 1.9.162 - > 1.12.0

  • matplotlib 3.0.3 - > 3.1.3

  • numpy 1.16.2 - > 1.18.1

  • 熊猫0.24.2 - > 1.0.1

  • 皮普19.0.3 - > 20.0.2

  • pyarrow 0.13.0 - > 0.15.1

  • psycopg2 2.7.6 - > 2.8.4

  • scikit-learn 0.20.3 - > 0.22.1

  • scipy 1.2.1 - > 1.4.1

  • seaborn 0.9.0 - > 0.10.0

Python包删除:

  • 宝途(用boto3)

  • pycurl

请注意

砖的Python环境运行时7.0使用Python 3.7,这是不同的Python安装Ubuntu系统:/usr/bin/python和/usr/bin/python2与Python 2.7和吗/usr/bin/python3与Python 3.6。

R包

R包补充道:

  • 扫帚

  • highr

  • isoband

  • knitr

  • 减价

  • modelr

  • reprex

  • rmarkdown

  • 房车

  • selectr

  • tidyverse

  • tinytex

  • xfun

R包删除:

  • abind

  • bitops

  • 车

  • carData

  • doMC

  • “绿带运动”

  • 水

  • 的小

  • lme4

  • mapproj

  • 地图

  • maptools

  • MatrixModels

  • minqa

  • mvtnorm

  • nloptr

  • openxlsx

  • pbkrtest

  • pkgKitten

  • quantreg

  • R.methodsS3

  • R.oo

  • R.utils

  • RcppEigen

  • RCurl

  • 力拓

  • sp

  • SparseM

  • statmod

  • 邮政编码

Java和Scala库

  • AWS SDK (aws-java-sdk)升级到1.11.655。

  • 亚马逊运动1.12.0客户端升级

  • Apache蜂巢蜂巢版本用于处理用户定义函数和蜂巢并行转换器升级到2.3。

  • 以前Azure存储和关键库jar打包为砖运行时的一部分,这将阻止你使用不同版本的库连接到集群。类下com.microsoft.azure.storage和com.microsoft.azure.keyvault不再在砖的运行时类路径。如果你依赖的类路径,你现在必须附加存储Azure SDK或Azure关键库SDK集群。

行为变化

本节列出的行为变化从砖运行时的6.6至7.0砖运行时。你应该意识到这些工作负载迁移从较低的砖砖运行时7.0及以上的运行时版本。

引发行为变化

因为砖运行时的7.0是第一个砖3.0运行时建立在火花,有许多变化,你应该知道当你从砖迁移工作负载运行时5.5 LTS或6。2.4 x,这是建立在火花。这些变化中列出每个功能区的“行为改变”一节Apache火花部分本文发布说明:

其他行为变化

  • 升级到Scala 2.12涉及以下变化:

    • 包细胞序列化处理不同。下面的例子说明了行为改变以及如何处理它。

      运行foo.bar.MyObjectInPackageCell.run ()如下包中定义的细胞将引发错误java.lang.NoClassDefFoundError:可以不初始化类foo.bar.MyObjectInPackageCell美元

      包喷火。酒吧情况下类MyIntStruct(int:Int)进口org。apache。火花。sql。SparkSession进口org。apache。火花。sql。功能。_进口org。apache。火花。sql。列对象MyObjectInPackageCell扩展可序列化的{/ /因为在火花执行人SparkSession不能被创造,/ /以下行触发误差/ /不能初始化类foo.bar.MyObjectInPackageCell $瓦尔火花=SparkSession。构建器。getOrCreate()def喷火:Int= >选项(MyIntStruct]=(x:Int)= >一些(MyIntStruct(One hundred.))瓦尔theUDF=udf(喷火)瓦尔df={瓦尔myUDFInstance=theUDF(上校(“id”))火花。范围(0,1,1,1)。withColumn(“u”,myUDFInstance)}def运行():单位={df。收集()。foreach(println)}}

      要解决这个错误,你可以包装MyObjectInPackageCell在一个可序列化的类。

    • 某些情况下使用DataStreamWriter.foreachBatch需要更新源代码。这种变化是由于这一事实Scala 2.12从lambda表达式自动转换到山姆类型和可能导致歧义。

      例如,下面的Scala代码不能编译:

      流。writeStream。foreachBatch{(df,id)= >myFunc(df,id)}

      解决编译错误,改变foreachBatch{(df,id)= >myFunc (df,id)}来foreachBatch (myFunc_)或使用Java API明确:foreachBatch(新VoidFunction2…)。

  • 1.11.655 AWS SDK升级,使用org.apache.hadoop.fs.s3native.NativeS3FileSystem需要AWS签名v4和桶端点设置。403年禁止如果用户可能会引发错误配置AWS签名v2签署与S3N S3请求文件系统或用户访问S3路径包含“+”的角色,并使用遗留S3N文件系统(例如S3N: / /桶/路径/ +文件)。

  • 因为Apache蜂巢蜂巢版本用于处理用户定义函数和蜂巢并行转换器是升级到2.3,需要两个变化:

    • 蜂巢的SerDe接口是取而代之的是一个抽象类AbstractSerDe。对于任何定制的蜂巢SerDe实现,迁移到AbstractSerDe是必需的。

    • 设置spark.sql.hive.metastore.jars来内装式意味着蜂巢2.3 metastore客户机将用于访问metastores砖7.0运行时。如果你需要访问基于蜂巢1.2外部metastores集spark.sql.hive.metastore.jars的文件夹,其中包含蜂巢1.2罐。

不支持和删除

  • 数据跳过指数弃用在砖砖4.3运行时,删除7.0运行时。相反,我们建议您使用三角洲表提供改进的数据跳过功能。

  • 在砖7.0运行时,底层使用Scala 2.12版本的Apache火花。自库编译Scala 2.11可以禁用砖7.0运行时集群以意想不到的方式,集群运行砖运行时的7.0及以上不安装图书馆所有集群上安装配置。集群库选项卡显示一个状态跳过弃用的信息,解释了图书馆处理的变化。然而,如果你有一个集群,是砖的早期版本运行时创建的之前砖平台3.20版本发布到您的工作bob体育客户端下载空间中,你现在编辑集群使用砖7.0运行时,任何库配置为安装在所有集群将被安装在集群。在这种情况下,任何不兼容的jar安装库可以使集群被禁用。解决方法是克隆集群或创建一个新的集群。

  • org.apache.hadoop.fs.s3native.NativeS3FileSystem和org.apache.hadoop.fs.s3.S3FileSystem不再支持访问S3。

    我们强烈鼓励你使用com.databricks.s3a.S3AFileSystem,这是默认的s3a: / /,s3: / /,s3n: / /在砖运行时文件系统方案。如果你需要援助与迁移com.databricks.s3a.S3AFileSystem,联系砖或砖代表的支持。

  • 能够使用砖文件系统(DBFS)是什么?在砖Community Edition 7.0运行时删除。我们建议您使用% fscp复制你的数据和从本地目录。

Apache火花

砖7.0运行时包含Apache 3.0火花。

核心,火花SQL,结构化流

突出了

性能增强

可扩展性增强

连接器的增强

功能增强

SQL兼容性增强

监控和debugability增强

PySpark增强

文档和测试覆盖率的增强

其他值得注意的变化

行为变化引发的核心,火花SQL和结构化流

以下迁移指南列出行为改变之间的Apache 2.4和3.0火花。这些变化可能需要更新的工作你已经运行在较低的砖运行时版本:

以下行为变化中未涉及这些迁移指南:

  • 在火花3.0中,弃用类org.apache.spark.sql.streaming.ProcessingTime被移除。使用org.apache.spark.sql.streaming.Trigger.ProcessingTime代替。同样的,org.apache.spark.sql.execution.streaming.continuous.ContinuousTrigger已被删除的吗Trigger.Continuous,org.apache.spark.sql.execution.streaming.OneTimeTrigger一直隐藏在忙的吗Trigger.Once。(火星- 28199)

  • 在砖7.0运行时,阅读一个蜂巢SerDe表时,默认情况下火花不允许读文件下的子目录表分区。要启用它,设置配置spark.databricks.io.hive.scanNonpartitionedDirectory.enabled作为真正的。这并不影响火花原生表读者和文件读者。

MLlib

突出了

行为改变MLlib

以下迁移指南列出了Apache火花2.4和3.0之间的行为变化。这些变化可能需要更新的工作你已经运行在较低的砖运行时版本:

以下行为变化中未涉及迁移指南:

  • 在火花3.0中,一个多级逻辑回归Pyspark现在将(正确地)返回LogisticRegressionSummary,而不是子类BinaryLogisticRegressionSummary。额外的暴露的方法BinaryLogisticRegressionSummary在这种情况下,无论如何也不会工作。(火星- 31681)

  • 在火花3.0中,pyspark.ml.param.shared.Has *mixin不提供任何设置*(自我,值)setter方法,使用各自的self.set(自我。*,值)代替。有关详细信息,请参阅火花- 29093。(火星- 29093)

SparkR

  • 箭头优化SparkR的互操作性(火星- 26759)

  • 通过矢量R性能增强新闻出版总署(),斑纹(),createDataFrame,收集()

  • “希望执行”R shell, IDE (火星- 24572)

  • R API为权力迭代聚类(火星- 19827)

行为改变SparkR

以下迁移指南列出了Apache火花2.4和3.0之间的行为变化。这些变化可能需要更新的工作你已经运行在较低的砖运行时版本:

编程指南

GraphX

编程指南:GraphX编程指南。

的用法

已知的问题

  • 解析天每年的使用模式字母“D”今年返回错误的结果,如果字段是失踪。这可以发生在SQL函数to_timestamp它解析datetime字符串使用模式字符串datetime值。(火星- 31939)

  • 加入/窗/聚合内部子查询可能导致错误结果如果键值-0.0和0.0。(火星- 31958)

  • 一个窗口查询可能会失败与模糊自意外错误。(火星- 31956)

  • 流媒体查询,dropDuplicates运营商可能无法重启检查点火花写的2.倍。(火星- 31990)

维护更新

看到砖7.0运行时的维护更新。

系统环境

  • 操作系统:Ubuntu 18.04.4 LTS

  • Java:1.8.0_252

  • Scala:2.12.10

  • Python:3.7.5

  • R:R版本3.6.3 (2020-02-29)

  • 三角洲湖0.7.0

安装Python库

图书馆

版本

图书馆

版本

图书馆

版本

asn1crypto

1.3.0

backcall

0.1.0

boto3

1.12.0

botocore

1.15.0

certifi

2020.4.5

cffi

1.14.0

chardet

3.0.4

密码学

2.8

周期计

0.10.0

Cython

0.29.15

装饰

4.1.1

docutils

0.15.2

entrypoints

0.3

idna

2.8

ipykernel

5.1.4

ipython

7.12.0

ipython-genutils

0.2.0

绝地武士

0.14.1

jmespath

0.9.4

joblib

0.14.1

jupyter-client

5.3.4

jupyter-core

4.6.1

kiwisolver

1.1.0

matplotlib

3.1.3

numpy

1.18.1

熊猫

1.0.1

parso

0.5.2

容易受骗的人

0.5.1

pexpect

4.8.0

pickleshare

0.7.5

皮普

20.0.2

prompt-toolkit

3.0.3

psycopg2

2.8.4

ptyprocess

0.6.0

pyarrow

0.15.1

pycparser

2.19

Pygments

2.5.2

PyGObject

3.26.1

pyOpenSSL

19.1.0

pyparsing

2.4.6

PySocks

1.7.1上

python-apt

1.6.5 + ubuntu0.3

python-dateutil

2.8.1发布

pytz

2019.3

pyzmq

18.1.1

请求

2.22.0

s3transfer

0.3.3

scikit-learn

0.22.1

scipy

1.4.1

seaborn

0.10.0

setuptools

45.2.0

六个

1.14.0

ssh-import-id

5.7

statsmodels

0.11.0

龙卷风

6.0.3

traitlets

4.3.3

unattended-upgrades

0.1

urllib3

1.25.8

virtualenv

16.7.10

wcwidth

0.1.8

轮

0.34.2

安装R库

R库安装(微软在2020-04-22凹口快照)。

图书馆

版本

图书馆

版本

图书馆

版本

askpass

1.1

为了

0.2.1

补丁

1.1.6

基地

3.6.3

base64enc

0.1 - 3

黑洞

1.72.0-3

位

1.1 - -15.2

bit64

0.9 7

团

1.2.1 "

引导

-25 - 1.3

酿造

1.0 6

扫帚

0.5.6

callr

3.4.3

脱字符号

-86 - 6.0

cellranger

1.1.0

时间

-55 - 2.3

类

-17 - 7.3

cli

2.0.2

clipr

0.7.0

集群

魅惑

codetools

-16 - 0.2

色彩

1.4 - 1

commonmark

1.7

编译器

3.6.3

配置

0.3

covr

3.5.0

蜡笔

1.3.4

相声

1.1.0.1

旋度

4.3

data.table

1.12.8

数据集

3.6.3

DBI

1.1.0

dbplyr

3

desc

1.2.0

devtools

tripwire

消化

0.6.25

dplyr

0.8.5

DT

0.13

省略

0.3.0

评估

0.14

fansi

0.4.1

farver

2.0.3

fastmap

1.0.1

forcats

0.5.0

foreach

1.5.0

外国

-76 - 0.8

打造

0.2.0

fs

1.4.1

泛型

发布

ggplot2

3.3.0

“大酒店”

1.1.0

git2r

0.26.1

glmnet

3.0 - 2

全局变量

0.12.5

胶水

1.4.0

高尔

0.2.1

图形

3.6.3

grDevices

3.6.3

网格

3.6.3

gridExtra

2.3

gsubfn

0.7

gtable

0.3.0

还

2.2.0

highr

0.8

hms

0.5.3

htmltools

0.4.0

htmlwidgets

1.5.1

httpuv

1.5.2

httr

1.4.1

hwriter

1.3.2

hwriterPlus

1.0 - 3

ini

0.3.1

不小

0.9 9

isoband

0.2.1

迭代器

1.0.12

jsonlite

1.6.1

KernSmooth

-17 - 2.23

knitr

1.28

标签

0.3

晚些时候

1.0.0

晶格

-41 - 0.20

熔岩

1.6.7

lazyeval

0.2.2

生命周期

0.2.0

lubridate

1.7.8

magrittr

1.5

减价

1.1

质量

7.3 - -51.6

矩阵

-18 - 1.2

memoise

1.1.0

方法

3.6.3

mgcv

-31 - 1.8

mime

0.9

ModelMetrics

1.2.2.2

modelr

0.1.6

孟塞尔

0.5.0

nlme

-147 - 3.1

nnet

-14 - 7.3

numDeriv

2016.8 - -1.1

openssl

1.4.1

平行

3.6.3

支柱

3

pkgbuild

1.0.6

pkgconfig

2.0.3

pkgload

1.0.2中

plogr

0.2.0

plyr

1.8.6

赞美

1.0.0

prettyunits

1.1.1

pROC

1.16.2

processx

3.4.2

prodlim

2019.11.13

进步

1.2.2

承诺

1.1.0

原型

1.0.0

ps

1.3.2

purrr

0.3.4

r2d3

0.2.3

R6

2.4.1

randomForest

-14 - 4.6

rappdirs

0.3.1

rcmdcheck

1.3.3

RColorBrewer

1.1 - 2

Rcpp

1.0.4.6

readr

1.3.1

readxl

1.3.1

食谱

0.1.10

复赛

1.0.1

rematch2

2.1.1

遥控器

2.1.1

reprex

0.3.0

reshape2

1.4.4

雷克斯

1.2.0

rjson

0.2.20

rlang

0.4.5

rmarkdown

2.1

RODBC

-16 - 1.3

roxygen2

7.1.0

rpart

-15 - 4.1

rprojroot

1.3 - 2

Rserve

1.8 6

RSQLite

2.2.0

rstudioapi

0.11

rversions

2.0.1

房车

0.3.5

尺度

1.1.0

selectr

0.4 - 2

sessioninfo

1.1.1

形状

1.4.4

闪亮的

1.4.0.2

sourcetools

0.1.7

sparklyr

1.2.0

SparkR

3.0.0

空间

-11 - 7.3

样条函数

3.6.3

sqldf

-11 - 0.4

SQUAREM

2020.2

统计数据

3.6.3

stats4

3.6.3

stringi

1.4.6

stringr

1.4.0

生存

-12 - 3.1

sys

3.3

tcltk

3.6.3

TeachingDemos

2.10

testthat

2.3.2

宠物猫

3.0.1

tidyr

1.0.2中

tidyselect

1.0.0

tidyverse

1.3.0

timeDate

3043.102

tinytex

0.22

工具

3.6.3

usethis

1.6.0

use utf8

1.1.4

跑龙套

3.6.3

vctrs

0.2.4

viridisLite

0.3.0

晶须

0.4

withr

2.2.0

xfun

0.13

xml2

1.3.1

xopen

1.0.0

xtable

1.8 - 4

yaml

2.2.1

安装了Java和Scala库(Scala 2.12集群版)

组ID

工件ID

版本

antlr

antlr

2.7.7

com.amazonaws

amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscaling

1.11.655

com.amazonaws

aws-java-sdk-cloudformation

1.11.655

com.amazonaws

aws-java-sdk-cloudfront

1.11.655

com.amazonaws

aws-java-sdk-cloudhsm

1.11.655

com.amazonaws

aws-java-sdk-cloudsearch

1.11.655

com.amazonaws

aws-java-sdk-cloudtrail

1.11.655

com.amazonaws

aws-java-sdk-cloudwatch

1.11.655

com.amazonaws

aws-java-sdk-cloudwatchmetrics

1.11.655

com.amazonaws

aws-java-sdk-codedeploy

1.11.655

com.amazonaws

aws-java-sdk-cognitoidentity

1.11.655

com.amazonaws

aws-java-sdk-cognitosync

1.11.655

com.amazonaws

aws-java-sdk-config

1.11.655

com.amazonaws

aws-java-sdk-core

1.11.655

com.amazonaws

aws-java-sdk-datapipeline

1.11.655

com.amazonaws

aws-java-sdk-directconnect

1.11.655

com.amazonaws

aws-java-sdk-directory

1.11.655

com.amazonaws

aws-java-sdk-dynamodb

1.11.655

com.amazonaws

aws-java-sdk-ec2

1.11.655

com.amazonaws

aws-java-sdk-ecs

1.11.655

com.amazonaws

aws-java-sdk-efs

1.11.655

com.amazonaws

aws-java-sdk-elasticache

1.11.655

com.amazonaws

aws-java-sdk-elasticbeanstalk

1.11.655

com.amazonaws

aws-java-sdk-elasticloadbalancing

1.11.655

com.amazonaws

aws-java-sdk-elastictranscoder

1.11.655

com.amazonaws

aws-java-sdk-emr

1.11.655

com.amazonaws

aws-java-sdk-glacier

1.11.655

com.amazonaws

aws-java-sdk-iam

1.11.655

com.amazonaws

aws-java-sdk-importexport

1.11.655

com.amazonaws

aws-java-sdk-kinesis

1.11.655

com.amazonaws

aws-java-sdk-kms

1.11.655

com.amazonaws

aws-java-sdk-lambda

1.11.655

com.amazonaws

aws-java-sdk-logs

1.11.655

com.amazonaws

aws-java-sdk-machinelearning

1.11.655

com.amazonaws

aws-java-sdk-opsworks

1.11.655

com.amazonaws

aws-java-sdk-rds

1.11.655

com.amazonaws

aws-java-sdk-redshift

1.11.655

com.amazonaws

aws-java-sdk-route53

1.11.655

com.amazonaws

aws-java-sdk-s3

1.11.655

com.amazonaws

aws-java-sdk-ses

1.11.655

com.amazonaws

aws-java-sdk-simpledb

1.11.655

com.amazonaws

aws-java-sdk-simpleworkflow

1.11.655

com.amazonaws

aws-java-sdk-sns

1.11.655

com.amazonaws

aws-java-sdk-sqs

1.11.655

com.amazonaws

aws-java-sdk-ssm

1.11.655

com.amazonaws

aws-java-sdk-storagegateway

1.11.655

com.amazonaws

aws-java-sdk-sts

1.11.655

com.amazonaws

aws-java-sdk-support

1.11.655

com.amazonaws

aws-java-sdk-swf-libraries

1.11.22

com.amazonaws

aws-java-sdk-workspaces

1.11.655

com.amazonaws

jmespath-java

1.11.655

com.chuusai

shapeless_2.12

2.3.3

com.clearspring.analytics

流

2.9.6

com.databricks

Rserve

1.8 - 3

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.12

0.4.15-10

com.databricks.scalapb

scalapb-runtime_2.12

0.4.15-10

com.esotericsoftware

kryo-shaded

4.0.2

com.esotericsoftware

minlog

1.3.0

com.fasterxml

同学

1.3.4

com.fasterxml.jackson.core

jackson-annotations

2.10.0

com.fasterxml.jackson.core

jackson-core

2.10.0

com.fasterxml.jackson.core

jackson-databind

2.10.0

com.fasterxml.jackson.dataformat

jackson-dataformat-cbor

2.10.0

com.fasterxml.jackson.datatype

jackson-datatype-joda

2.10.0

com.fasterxml.jackson.module

jackson-module-paranamer

2.10.0

com.fasterxml.jackson.module

jackson-module-scala_2.12

2.10.0

com.github.ben-manes.caffeine

咖啡因

2.3.4

com.github.fommil

jniloader

1.1

com.github.fommil.netlib

核心

1.1.2

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java-natives

1.1

com.github.fommil.netlib

native_system-java

1.1

com.github.fommil.netlib

native_system-java-natives

1.1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1.1

com.github.joshelser

dropwizard-metrics-hadoop-metrics2-reporter

0.1.2

com.github.luben

zstd-jni

1.4.4-3

com.github.wendykierp

JTransforms

3.1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.2.4

com.google.flatbuffers

flatbuffers-java

1.9.0

com.google.guava

番石榴

15.0

com.google.protobuf

protobuf-java

2.6.1

com.h2database

h2

1.4.195

com.helger

分析器

1.1.1

com.jcraft

jsch

0.1.50

com.jolbox

bonecp

0.8.0.RELEASE

com.microsoft.azure

azure-data-lake-store-sdk

2.2.8

com.microsoft.sqlserver

mssql-jdbc

8.2.1.jre8

com.ning

compress-lzf

1.0.3

com.sun.mail

javax.mail

1.5.2

com.tdunning

json

1.8

com.thoughtworks.paranamer

paranamer

2.8

com.trueaccord.lenses

lenses_2.12

0.4.12

com.twitter

chill-java

0.9.5

com.twitter

chill_2.12

0.9.5

com.twitter

util-app_2.12

7.1.0

com.twitter

util-core_2.12

7.1.0

com.twitter

util-function_2.12

7.1.0

com.twitter

util-jvm_2.12

7.1.0

com.twitter

util-lint_2.12

7.1.0

com.twitter

util-registry_2.12

7.1.0

com.twitter

util-stats_2.12

7.1.0

com.typesafe

配置

1.2.1 "

com.typesafe.scala-logging

scala-logging_2.12

3.7.2章

com.univocity

univocity-parsers

2.8.3

com.zaxxer

HikariCP

3.1.0

commons-beanutils

commons-beanutils

1.9.4

commons-cli

commons-cli

1.2

commons-codec

commons-codec

1.10

commons-collections

commons-collections

3.2.2

commons configuration

commons configuration

1.6

commons-dbcp

commons-dbcp

1.4

commons-digester

commons-digester

1.8

commons-fileupload

commons-fileupload

1.3.3

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2.4

commons lang

commons lang

2.6

通用日志

通用日志

1.1.3

commons net

commons net

3.1

commons-pool

commons-pool

1.5.4

info.ganglia.gmetric4j

gmetric4j

1.0.10

io.airlift

aircompressor

0.10

io.dropwizard.metrics

metrics-core

以下4.4.1

io.dropwizard.metrics

metrics-graphite

以下4.4.1

io.dropwizard.metrics

metrics-healthchecks

以下4.4.1

io.dropwizard.metrics

metrics-jetty9

以下4.4.1

io.dropwizard.metrics

metrics-jmx

以下4.4.1

io.dropwizard.metrics

metrics-json

以下4.4.1

io.dropwizard.metrics

metrics-jvm

以下4.4.1

io.dropwizard.metrics

metrics-servlets

以下4.4.1

io.netty

netty-all

4.1.47.Final

jakarta.annotation

jakarta.annotation-api

1.3.5

jakarta.validation

jakarta.validation-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.activation

激活

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

jsp-api

2.1

javax.transaction

jta

1.1

javax.transaction

事务api

1.1

javax.xml.bind

jaxb-api

2.2.2

javax.xml.stream

stax-api

1.0 - 2

javolution

javolution

5.5.1

jline

jline

2.14.6

joda-time

joda-time

2.10.5

log4j

apache-log4j-extras

1.2.17

log4j

log4j

1.2.17

net.razorvine

地幔岩

4.30

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

super-csv

2.2.0

net.snowflake

snowflake-ingest-sdk

0.9.6

net.snowflake

snowflake-jdbc

3.12.0

net.snowflake

spark-snowflake_2.12

2.5.9-spark_2.4

net.sourceforge.f2j

arpack_combined_all

0.1

org.acplt.remotetea

remotetea-oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4.7.1

org.antlr

stringtemplate

3.2.1之上

org.apache.ant

蚂蚁

1.9.2

org.apache.ant

ant-jsch

1.9.2

org.apache.ant

ant-launcher

1.9.2

org.apache.arrow

arrow-format

0.15.1

org.apache.arrow

arrow-memory

0.15.1

org.apache.arrow

arrow-vector

0.15.1

org.apache.avro

avro

1.8.2

org.apache.avro

avro-ipc

1.8.2

org.apache.avro

avro-mapred-hadoop2

1.8.2

org.apache.commons

commons-compress

1.8.1

org.apache.commons

commons-crypto

1.0.0

org.apache.commons

commons-lang3

3.9

org.apache.commons

commons-math3

3.4.1

org.apache.commons

commons-text

1.6

org.apache.curator

curator-client

2.7.1

org.apache.curator

curator-framework

2.7.1

org.apache.curator

curator-recipes

2.7.1

org.apache.derby

德比

10.12.1.1

org.apache.directory.api

api-asn1-api

1.0.0-M20

org.apache.directory.api

api-util

1.0.0-M20

org.apache.directory.server

apacheds-i18n

2.0.0-M15

org.apache.directory.server

apacheds-kerberos-codec

2.0.0-M15

org.apache.hadoop

hadoop-annotations

第2.7.4

org.apache.hadoop

hadoop-auth

第2.7.4

org.apache.hadoop

hadoop-client

第2.7.4

org.apache.hadoop

hadoop-common

第2.7.4

org.apache.hadoop

hadoop-hdfs

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-app

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-common

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-core

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-jobclient

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-shuffle

第2.7.4

org.apache.hadoop

hadoop-yarn-api

第2.7.4

org.apache.hadoop

hadoop-yarn-client

第2.7.4

org.apache.hadoop

hadoop-yarn-common

第2.7.4

org.apache.hadoop

hadoop-yarn-server-common

第2.7.4

org.apache.hive

hive-beeline

2.3.7

org.apache.hive

hive-cli

2.3.7

org.apache.hive

hive-common

2.3.7

org.apache.hive

hive-exec-core

2.3.7

org.apache.hive

hive-jdbc

2.3.7

org.apache.hive

hive-llap-client

2.3.7

org.apache.hive

hive-llap-common

2.3.7

org.apache.hive

hive-metastore

2.3.7

org.apache.hive

hive-serde

2.3.7

org.apache.hive

hive-shims

2.3.7

org.apache.hive

hive-storage-api

2.7.1

org.apache.hive

hive-vector-code-gen

2.3.7

org.apache.hive.shims

蜂巢0.23 -垫片

2.3.7

org.apache.hive.shims

hive-shims-common

2.3.7

org.apache.hive.shims

hive-shims-scheduler

2.3.7

org.apache.htrace

htrace-core

3.1.0-incubating

org.apache.httpcomponents

httpclient

4.5.6

org.apache.httpcomponents

httpcore

4.4.12

org.apache.ivy

艾薇

测试盒框

org.apache.orc

orc-core

1.5.10

org.apache.orc

orc-mapreduce

1.5.10

org.apache.orc

orc-shims

1.5.10

org.apache.parquet

parquet-column

1.10.1.2-databricks4

org.apache.parquet

parquet-common

1.10.1.2-databricks4

org.apache.parquet

parquet-encoding

1.10.1.2-databricks4

org.apache.parquet

parquet-format

测试盒框

org.apache.parquet

parquet-hadoop

1.10.1.2-databricks4

org.apache.parquet

parquet-jackson

1.10.1.2-databricks4

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.velocity

速度

1.5

org.apache.xbean

xbean-asm7-shaded

4.15

org.apache.yetus

audience-annotations

0.5.0

org.apache.zookeeper

动物园管理员

3.4.14

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-jaxrs

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.jackson

jackson-xc

1.9.13

org.codehaus.janino

commons-compiler

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

datanucleus-api-jdo

4.2.4

org.datanucleus

datanucleus-core

4.1.17

org.datanucleus

datanucleus-rdbms

4.1.19

org.datanucleus

javax.jdo

3.2.0-m3

org.eclipse.jetty

jetty-client

9.4.18.v20190429

org.eclipse.jetty

jetty-continuation

9.4.18.v20190429

org.eclipse.jetty

jetty-http

9.4.18.v20190429

org.eclipse.jetty

jetty-io

9.4.18.v20190429

org.eclipse.jetty

jetty-jndi

9.4.18.v20190429

org.eclipse.jetty

jetty-plus

9.4.18.v20190429

org.eclipse.jetty

jetty-proxy

9.4.18.v20190429

org.eclipse.jetty

jetty-security

9.4.18.v20190429

org.eclipse.jetty

jetty服务器

9.4.18.v20190429

org.eclipse.jetty

jetty servlet

9.4.18.v20190429

org.eclipse.jetty

jetty-servlets

9.4.18.v20190429

org.eclipse.jetty

jetty-util

9.4.18.v20190429

org.eclipse.jetty

jetty-webapp

9.4.18.v20190429

org.eclipse.jetty

jetty-xml

9.4.18.v20190429

org.fusesource.leveldbjni

leveldbjni-all

1.8

org.glassfish.hk2

hk2-api

2.6.1

org.glassfish.hk2

hk2-locator

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-resource-locator

1.0.3

org.glassfish.hk2.external

aopalliance-repackaged

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

jersey-container-servlet

2.30

org.glassfish.jersey.containers

jersey-container-servlet-core

2.30

org.glassfish.jersey.core

jersey客户端

2.30

org.glassfish.jersey.core

jersey-common

2.30

org.glassfish.jersey.core

jersey-server

2.30

org.glassfish.jersey.inject

jersey-hk2

2.30

org.glassfish.jersey.media

jersey-media-jaxb

2.30

org.hibernate.validator

hibernate验证框架

6.1.0.Final

org.javassist

javassist

3.25.0-GA

org.jboss.logging

jboss-logging

3.3.2.Final

org.jdbi

jdbi

2.63.1

org.joda

joda-convert

1.7

org.jodd

jodd-core

3.5.2

org.json4s

json4s-ast_2.12

3.6.6

org.json4s

json4s-core_2.12

3.6.6

org.json4s

json4s-jackson_2.12

3.6.6

org.json4s

json4s-scalap_2.12

3.6.6

org.lz4

lz4-java

1.7.1上

org.mariadb.jdbc

mariadb-java-client

2.1.2

org.objenesis

objenesis

2.5.1

org.postgresql

postgresql

42.1.4

org.roaringbitmap

RoaringBitmap

0.7.45

org.roaringbitmap

垫片

0.7.45

org.rocksdb

rocksdbjni

6.2.2

org.rosuda.REngine

REngine

魅惑

org.scala-lang

scala-compiler_2.12

2.12.10

org.scala-lang

scala-library_2.12

2.12.10

org.scala-lang

scala-reflect_2.12

2.12.10

org.scala-lang.modules

scala-collection-compat_2.12

2.1.1

org.scala-lang.modules

scala-parser-combinators_2.12

1.1.2

org.scala-lang.modules

scala-xml_2.12

1.2.0

org.scala-sbt

测试界面

1.0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

breeze-macros_2.12

1.0

org.scalanlp

breeze_2.12

1.0

org.scalatest

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1.7.30

org.slf4j

jul-to-slf4j

1.7.30

org.slf4j

slf4j-api

1.7.30

org.slf4j

slf4j-log4j12

1.7.30

org.spark-project.spark

未使用的

1.0.0

org.springframework

spring核心

4.1.4.RELEASE

org.springframework

spring测试

4.1.4.RELEASE

org.threeten

threeten-extra

1.5.0

org.tukaani

xz

1.5

org.typelevel

algebra_2.12

2.0.0-M2

org.typelevel

cats-kernel_2.12

2.0.0-M4

org.typelevel

machinist_2.12

0.6.8

org.typelevel

macro-compat_2.12

1.1.1

org.typelevel

spire-macros_2.12

0.17.0-M1

org.typelevel

spire-bob体育客户端下载platform_2.12

0.17.0-M1

org.typelevel

spire-util_2.12

0.17.0-M1

org.typelevel

spire_2.12

0.17.0-M1

org.xerial

sqlite-jdbc

3.8.11.2

org.xerial.snappy

snappy-java

1.1.7.5

org.yaml

snakeyaml

1.24

奥罗

奥罗

2.0.8

pl.edu.icm

JLargeArrays

1.5

software.amazon.ion

ion-java

1.0.2中

stax

stax-api

1.0.1

xmlenc

xmlenc

0.52