Databricks Runtime 6.5(不支持)

Databricks于2020年4月发布了这张图片。

以下发行说明提供了Databricks运行时6.5的信息,由Apache Spark提供支持。

新功能

Delta表上所有写入、更新和删除的操作度量现在显示在表历史中

现在,您可以在表的历史记录中查看Delta表上所有写入、更新和删除的操作指标(例如,更改的文件数和行数)。这些指标的生成在默认情况下是启用的。您可以通过运行以下命令查看历史:

描述历史deltaTableName
操作指标

对Delta Lake流微批次处理的数据进行速率限制

当你处理德尔塔湖的数据时结构化流,您现在可以设置该选项maxBytesPerTrigger以速率限制每个微批处理的数据量。这设置了一个“软最大值”,这意味着批处理大约这个数据量,并且处理的数据可能超过限制。

如果你使用触发器。一次对于流,此选项将被忽略。此外,如果您将此选项与maxFilesPerTrigger时,微批处理数据直到maxFilesPerTriggermaxBytesPerTrigger达到极限。

改进

雪花连接器更新到2.5.9

更新后的连接器将Snowflake JDBC驱动程序提升到3.12.0。

Java升级到1.8.0_242

此版本引入了对信任锚证书的新检查,以确保信任锚是CA证书并包含适当的扩展。信任锚证书必须包含基本约束扩展ca字段设置为true。此外,如果它们包含密钥使用扩展,则keyCertSign位必须设置。

如果你使用自签名信任锚证书,你可能会遇到以下由新检查引入的异常:

主题为“…”的TrustAnchor不是CA证书主题为“…”的TrustAnchor在KeyUsage扩展中没有设置keyCertSign位

要继续使用自签名信任锚证书,您有两个选项来解决上述异常:

  • 设置Java系统属性jdk.security.allowNonCaAnchor由Java 1.9.0_242引入真正的恢复先前的行为。你可以使用spark.driver.extraJavaOptions而且spark.executor.extraJavaOptions将此系统属性分别设置为Spark driver和executor。

  • 属性中包含一个基本约束扩展ca字段设置为真正的到您的信任锚证书。如果您的信任锚证书包含密钥使用扩展,请设置keyCertSign位。

    如果使用Java Keytool生成公私钥对,请设置extBasicConstraints = ca:真的生成信任锚证书时。如果您的信任锚证书包含密钥使用扩展,请设置keyCertSign位extkeyCertSign KeyUsage =…生成信任锚证书时。

S3选择连接器:修正了DECIMAL和CASE WHEN的语法

在Amazon S3 Select中转换到DECIMAL类型时,DECIMAL类型转换忽略了精度和比例,因为Amazon S3 Select中删除了对DECIMAL(精度、比例)的支持。所有内部的CASE WHEN引用都已替换为COALESCE和NULLIF函数,这些函数由Amazon S3 Select正式支持。

Kinesis流源启动更有效的任务大小

Kinesis流源现在自动合并预取的数据块,以减少为处理这些块而生成的任务数量。

升级的R库

升级了几个已安装的R库。看到已安装的R库

的用法

  • 宝途软件包已弃用,并将在即将发布的Databricks Runtime主要版本中删除。Databricks建议您使用boto3代替。

  • 以下R包将在Databricks Runtime即将发布的主要版本中被删除:

    • abind

    • bitops

    • carData

    • doMC

    • “绿带运动”

    • 的小

    • lme4

    • mapproj

    • 地图

    • maptools

    • MatrixModels

    • minqa

    • mvtnorm

    • nloptr

    • openxlsx

    • pbkrtest

    • pkgKitten

    • quantreg

    • R.methodsS3

    • R.oo

    • R.utils

    • RcppEigen

    • RCurl

    • 里约热内卢

    • sp

    • SparseM

    • statmod

    • 邮政编码

Databricks建议使用以下代码来安装和加载Databricks Runtime未安装的R包:

如果需要“package_name”)){install.packages“package_name”图书馆“package_name”

Apache火花

Databricks Runtime 6.5包含Apache Spark 2.4.5。此版本包括所有Spark修复和改进Databricks Runtime 6.4(不支持),以及以下对Spark的额外错误修复和改进:

  • (火花- 27099)[SQL]添加' xxhash64 '用于将任意列哈希到Long

  • (火花- 26151)[SQL]返回错误CSV记录的部分结果

  • (火花- 30927)StreamingQueryManager应避免保留对终止的StreamingQuery的引用

  • (火花- 22590)sparkContext副本。localproperties在BroadcastExchangeExec.executionContext中的子线程

  • (火花- 30671)emptyDataFrame应该使用LocalRelation

  • (火花- 30556)[SQL]用threadlocal俘获重置SQLExecution中改变的状态

  • (火花- 30763)[SQL]修复java.lang.IndexOutOfBoundsException regexp_extract没有组1

  • (火花- 30806)[SQL]在UnboundedWindowFunctionFrame中对每个组计算一次

  • (火花- 30731)更新废弃的Mkdocs选项

  • (火花- 30857)[SQL]修复纪元之前的时间戳截断为小时和天的问题

  • (火花- 30798)会话范围。在QueryExecution中激活

  • (火花- 30793)[SQL]修复了epoch之前的时间戳截断为分钟和秒的问题

  • (火花- 30826)[SQL]尊重引用大小写StringStartsWith推到拼花地板上

  • (火花- 30797)[SQL]在truncate table中建立ACL时,对ACL表项设置传统的用户/组/其他权限

  • (火花- 30065)[SQL] DataFrameNaFunctions。Drop应该处理重复的列

  • (火花- 29890)[SQL] DataFrameNaFunctions。Fill应该处理重复的列

  • (火花- 30310)解决SparkUncaughtExceptionHandler和添加的测试中缺失的匹配情况

  • (火花- 30512)增加了一个专门的boss事件循环组

维护更新

看到Databricks Runtime 6.5维护更新

系统环境

  • 操作系统: Ubuntu 16.04.6 LTS

  • Java: 1.8.0_252

  • Scala: 2.11.12

  • Python: 3.7.3

  • R: R版本3.6.3 (2020-02-29)

  • 三角洲湖: 0.5.0

请注意

尽管Scala 2.12在Apache Spark 2.4中作为实验特性可用,但Databricks Runtime 6.5不支持它。

已安装的Python库

图书馆

版本

图书馆

版本

图书馆

版本

asn1crypto

0.24.0

backcall

0.1.0

宝途

2.49.0

boto3

1.9.162

botocore

1.12.163

certifi

2019.3.9

cffi

1.12.2

chardet

3.0.4

密码学

2.6.1

周期计

0.10.0

Cython

0.29.6

装饰

4.4.0

docutils

0.14

idna

2.8

ipykernel

5.1.0

ipython

7.4.0

ipython-genutils

0.2.0

绝地武士

0.13.3

jmespath

0.9.4

jupyter-client

5.2.4

jupyter-core

4.4.0

kiwisolver

1.1.0

matplotlib

3.0.3

numpy

1.16.2

熊猫

0.24.2

parso

0.3.4

容易受骗的人

0.5.1

pexpect

4.6.0

pickleshare

0.7.5

皮普

19.0.3

prompt-toolkit

2.0.9

psycopg2

2.7.6.1

ptyprocess

0.6.0

pyarrow

0.13.0

pycparser

2.19

pycurl

7.43.0

Pygments

2.3.1

PyGObject

3.20.0

pyOpenSSL

19.0.0

pyparsing

2.4.6

PySocks

1.6.8

python-apt

1.1.0.b1 + ubuntu0.16.04.8

python-dateutil

2.8.0

pytz

2018.9

pyzmq

18.0.0

请求

2.21.0

s3transfer

0.2.1

scikit-learn

0.20.3

scipy

1.2.1 "

seaborn

0.9.0

setuptools

40.8.0

六个

1.12.0

ssh-import-id

5.5

statsmodels

0.9.0

龙卷风

6.0.2

traitlets

4.3.2

unattended-upgrades

0.1

urllib3

1.24.1

virtualenv

16.4.1

wcwidth

0.1.7

0.33.1

已安装的R库

R库从微软CRAN快照2020-02-26

图书馆

版本

图书馆

版本

图书馆

版本

abind

1.4 - 5

askpass

1.1

为了

0.2.1

补丁

1.1.5

基地

3.6.3

base64enc

0.1 - 3

黑洞

1.72.0-3

1.1 - -15.2

bit64

0.9 7

bitops

1.0 6

1.2.1 "

引导

-23 - 1.3

酿造

1.0 6

callr

3.4.2

3.0 6

carData

3.0 - 3

脱字符号

-85 - 6.0

cellranger

1.1.0

时间

-55 - 2.3

-15 - 7.3

cli

2.0.1

clipr

0.7.0

clisymbols

1.2.0

集群

魅惑

codetools

-16 - 0.2

色彩

1.4 - 1

commonmark

1.7

编译器

3.6.3

配置

0.3

covr

3.4.0

蜡笔

1.3.4

相声

1.0.0

旋度

4.3

data.table

1.12.8

数据集

3.6.3

DBI

1.1.0

dbplyr

1.4.2

desc

1.2.0

devtools

2.2.2

消化

0.6.25

doMC

1.3.6

dplyr

0.8.4

DT

0.12

省略

0.3.0

评估

0.14

fansi

0.4.1

farver

2.0.3

fastmap

1.0.1

forcats

0.4.0

foreach

1.4.8

外国

-75 - 0.8

打造

0.2.0

fs

1.3.1

“绿带运动”

2.1.5

泛型

发布

ggplot2

3.2.1之上

“大酒店”

1.1.0

git2r

0.26.1

glmnet

3.0 - 2

胶水

1.3.1

高尔

0.2.1

图形

3.6.3

grDevices

3.6.3

网格

3.6.3

gridExtra

2.3

gsubfn

0.7

gtable

0.3.0

3.28.0.2

2.2.0

hms

0.5.3

htmltools

0.4.0

htmlwidgets

1.5.1

httpuv

1.5.2

httr

1.4.1

hwriter

1.3.2

hwriterPlus

1.0 - 3

ini

0.3.1

不小

0.9 9

迭代器

1.0.12

jsonlite

1.6.1

KernSmooth

-16 - 2.23

标签

0.3

晚些时候

1.0.0

晶格

-40 - 0.20

熔岩

1.6.6

lazyeval

0.2.2

生命周期

0.1.0

的小

0.3.9

lme4

-21 - 1.1

lubridate

1.7.4

magrittr

1.5

mapproj

1.2.7

地图

3.3.0

maptools

0.9 9

质量

7.3 - -51.5

矩阵

-18 - 1.2

MatrixModels

0.4 - 1

memoise

1.1.0

方法

3.6.3

mgcv

-31 - 1.8

mime

0.9

minqa

1.2.4

ModelMetrics

1.2.2.1

孟塞尔

0.5.0

mvtnorm

1.1 0

nlme

-144 - 3.1

nloptr

1.2.1 "

nnet

-13 - 7.3

numDeriv

2016.8 - -1.1

openssl

1.4.1

openxlsx

4.1.4

平行

3.6.3

pbkrtest

0.4 - -8.6

支柱

3

pkgbuild

1.0.6

pkgconfig

2.0.3

pkgKitten

0.1.5

pkgload

1.0.2中

plogr

0.2.0

plyr

1.8.5

赞美

1.0.0

prettyunits

1.1.1

pROC

1.16.1

processx

3.4.2

prodlim

2019.11.13

进步

1.2.2

承诺

1.1.0

原型

1.0.0

ps

1.3.2

purrr

0.3.3

quantreg

5.54

R.methodsS3

1.8.0

R.oo

1.23.0

R.utils

2.9.2

r2d3

0.2.3

R6

2.4.1

randomForest

-14 - 4.6

rappdirs

0.3.1

rcmdcheck

1.3.3

RColorBrewer

1.1 - 2

Rcpp

1.0.3

RcppEigen

0.3.3.7.0

RCurl

1.98 - -1.1

readr

1.3.1

readxl

1.3.1

食谱

0.1.9

复赛

1.0.1

遥控器

2.1.1

reshape2

3

雷克斯

1.1.2

里约热内卢

0.5.16

rlang

0.4.4

RODBC

-16 - 1.3

roxygen2

7.0.2

rpart

-15 - 4.1

rprojroot

1.3 - 2

Rserve

1.8 6

RSQLite

2.2.0

rstudioapi

0.11

rversions

2.0.1

尺度

1.1.0

sessioninfo

1.1.1

形状

1.4.4

闪亮的

1.4.0

sourcetools

0.1.7

sp

1.4 0

sparklyr

1.1.0

SparkR

2.4.5

SparseM

1.78

空间

-11 - 7.3

样条函数

3.6.3

sqldf

-11 - 0.4

SQUAREM

2020.2

statmod

1.4.34

统计数据

3.6.3

stats4

3.6.3

stringi

1.4.6

stringr

1.4.0

生存

2.44 - -1.1

sys

3.3

tcltk

3.6.3

TeachingDemos

2.10

testthat

2.3.1

宠物猫

2.1.3

tidyr

1.0.2中

tidyselect

1.0.0

timeDate

3043.102

工具

3.6.3

usethis

1.5.1

use utf8

1.1.4

跑龙套

3.6.3

vctrs

0.2.3

viridisLite

0.3.0

晶须

0.4

withr

2.1.2

xml2

1.2.2

xopen

1.0.0

xtable

1.8 - 4

yaml

2.2.1

邮政编码

2.0.4

安装Java和Scala库(Scala 2.11集群版本)

组ID

工件ID

版本

antlr

antlr

2.7.7

com.amazonaws

amazon-kinesis-client

1.8.10

com.amazonaws

aws-java-sdk-autoscaling

1.11.595

com.amazonaws

aws-java-sdk-cloudformation

1.11.595

com.amazonaws

aws-java-sdk-cloudfront

1.11.595

com.amazonaws

aws-java-sdk-cloudhsm

1.11.595

com.amazonaws

aws-java-sdk-cloudsearch

1.11.595

com.amazonaws

aws-java-sdk-cloudtrail

1.11.595

com.amazonaws

aws-java-sdk-cloudwatch

1.11.595

com.amazonaws

aws-java-sdk-cloudwatchmetrics

1.11.595

com.amazonaws

aws-java-sdk-codedeploy

1.11.595

com.amazonaws

aws-java-sdk-cognitoidentity

1.11.595

com.amazonaws

aws-java-sdk-cognitosync

1.11.595

com.amazonaws

aws-java-sdk-config

1.11.595

com.amazonaws

aws-java-sdk-core

1.11.595

com.amazonaws

aws-java-sdk-datapipeline

1.11.595

com.amazonaws

aws-java-sdk-directconnect

1.11.595

com.amazonaws

aws-java-sdk-directory

1.11.595

com.amazonaws

aws-java-sdk-dynamodb

1.11.595

com.amazonaws

aws-java-sdk-ec2

1.11.595

com.amazonaws

aws-java-sdk-ecs

1.11.595

com.amazonaws

aws-java-sdk-efs

1.11.595

com.amazonaws

aws-java-sdk-elasticache

1.11.595

com.amazonaws

aws-java-sdk-elasticbeanstalk

1.11.595

com.amazonaws

aws-java-sdk-elasticloadbalancing

1.11.595

com.amazonaws

aws-java-sdk-elastictranscoder

1.11.595

com.amazonaws

aws-java-sdk-emr

1.11.595

com.amazonaws

aws-java-sdk-glacier

1.11.595

com.amazonaws

aws-java-sdk-glue

1.11.595

com.amazonaws

aws-java-sdk-iam

1.11.595

com.amazonaws

aws-java-sdk-importexport

1.11.595

com.amazonaws

aws-java-sdk-kinesis

1.11.595

com.amazonaws

aws-java-sdk-kms

1.11.595

com.amazonaws

aws-java-sdk-lambda

1.11.595

com.amazonaws

aws-java-sdk-logs

1.11.595

com.amazonaws

aws-java-sdk-machinelearning

1.11.595

com.amazonaws

aws-java-sdk-opsworks

1.11.595

com.amazonaws

aws-java-sdk-rds

1.11.595

com.amazonaws

aws-java-sdk-redshift

1.11.595

com.amazonaws

aws-java-sdk-route53

1.11.595

com.amazonaws

aws-java-sdk-s3

1.11.595

com.amazonaws

aws-java-sdk-ses

1.11.595

com.amazonaws

aws-java-sdk-simpledb

1.11.595

com.amazonaws

aws-java-sdk-simpleworkflow

1.11.595

com.amazonaws

aws-java-sdk-sns

1.11.595

com.amazonaws

aws-java-sdk-sqs

1.11.595

com.amazonaws

aws-java-sdk-ssm

1.11.595

com.amazonaws

aws-java-sdk-storagegateway

1.11.595

com.amazonaws

aws-java-sdk-sts

1.11.595

com.amazonaws

aws-java-sdk-support

1.11.595

com.amazonaws

aws-java-sdk-swf-libraries

1.11.22

com.amazonaws

aws-java-sdk-workspaces

1.11.595

com.amazonaws

jmespath-java

1.11.595

com.carrotsearch

hppc

0.7.2

com.chuusai

shapeless_2.11

2.3.2

com.clearspring.analytics

2.7.0

com.databricks

Rserve

1.8 - 3

com.databricks

dbml-local_2.11

0.5.0-db8-spark2.4

com.databricks

dbml-local_2.11-tests

0.5.0-db8-spark2.4

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.11

0.4.15-9

com.databricks.scalapb

scalapb-runtime_2.11

0.4.15-9

com.esotericsoftware

kryo-shaded

4.0.2

com.esotericsoftware

minlog

1.3.0

com.fasterxml

同学

1.0.0

com.fasterxml.jackson.core

jackson-annotations

2.6.7

com.fasterxml.jackson.core

jackson-core

2.6.7

com.fasterxml.jackson.core

jackson-databind

2.6.7.3

com.fasterxml.jackson.dataformat

jackson-dataformat-cbor

2.6.7

com.fasterxml.jackson.datatype

jackson-datatype-joda

2.6.7

com.fasterxml.jackson.module

jackson-module-paranamer

2.6.7

com.fasterxml.jackson.module

jackson-module-scala_2.11

2.6.7.1

com.github.fommil

jniloader

1.1

com.github.fommil.netlib

核心

1.1.2

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java-natives

1.1

com.github.fommil.netlib

native_system-java

1.1

com.github.fommil.netlib

native_system-java-natives

1.1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1.1

com.github.luben

zstd-jni

1.3.2-2

com.github.rwl

jtransforms

测试盒框

com.google.code.findbugs

jsr305

2.0.1

com.google.code.gson

gson

2.2.4

com.google.guava

番石榴

15.0

com.google.protobuf

protobuf-java

2.6.1

com.googlecode.javaewah

JavaEWAH

0.3.2

com.h2database

h2

1.3.174

com.jcraft

jsch

0.1.50

com.jolbox

bonecp

0.8.0.RELEASE

com.microsoft.azure

azure-data-lake-store-sdk

2.2.8

com.microsoft.azure

azure存储

7.0.0

com.microsoft.sqlserver

mssql-jdbc

6.2.2.jre8

com.ning

compress-lzf

1.0.3

com.sun.mail

javax.mail

1.5.2

com.thoughtworks.paranamer

paranamer

2.8

com.trueaccord.lenses

lenses_2.11

0.3

com.twitter

chill-java

0.9.3

com.twitter

chill_2.11

0.9.3

com.twitter

parquet-hadoop-bundle

1.6.0

com.twitter

util-app_2.11

6.23.0

com.twitter

util-core_2.11

6.23.0

com.twitter

util-jvm_2.11

6.23.0

com.typesafe

配置

1.2.1 "

com.typesafe.scala-logging

scala-logging-api_2.11

2.1.2

com.typesafe.scala-logging

scala-logging-slf4j_2.11

2.1.2

com.univocity

univocity-parsers

2.7.3

com.vlkan

flatbuffers

1.2.0-3f79e055

com.zaxxer

HikariCP

3.1.0

commons-beanutils

commons-beanutils

1.9.4

commons-cli

commons-cli

1.2

commons-codec

commons-codec

1.10

commons-collections

commons-collections

3.2.2

commons configuration

commons configuration

1.6

commons-dbcp

commons-dbcp

1.4

commons-digester

commons-digester

1.8

commons-fileupload

commons-fileupload

1.3.3

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2.4

commons lang

commons lang

2.6

通用日志

通用日志

1.1.3

commons net

commons net

3.1

commons-pool

commons-pool

1.5.4

info.ganglia.gmetric4j

gmetric4j

1.0.7

io.airlift

aircompressor

0.10

io.dropwizard.metrics

metrics-core

3.1.5

io.dropwizard.metrics

metrics-ganglia

3.1.5

io.dropwizard.metrics

metrics-graphite

3.1.5

io.dropwizard.metrics

metrics-healthchecks

3.1.5

io.dropwizard.metrics

metrics-jetty9

3.1.5

io.dropwizard.metrics

metrics-json

3.1.5

io.dropwizard.metrics

metrics-jvm

3.1.5

io.dropwizard.metrics

metrics-log4j

3.1.5

io.dropwizard.metrics

metrics-servlets

3.1.5

io.netty

网状的

3.9.9.Final

io.netty

netty-all

4.1.42.Final

javax.activation

激活

1.1.1

javax.annotation

javax.annotation-api

1.2

javax.el

javax.el-api

2.2.4

javax.jdo

jdo api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

jsp-api

2.1

javax.transaction

jta

1.1

javax.validation

验证api

1.1.0.Final

javax.ws.rs

javax.ws.rs-api

2.0.1

javax.xml.bind

jaxb-api

2.2.2

javax.xml.stream

stax-api

1.0 - 2

javolution

javolution

5.5.1

jline

jline

2.14.6

joda-time

joda-time

2.9.3

junit

junit

4.12

log4j

apache-log4j-extras

1.2.17

log4j

log4j

1.2.17

net.hydromatic

eigenbase-properties

1.1.5

net.razorvine

地幔岩

4.13

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

super-csv

2.2.0

net.snowflake

snowflake-ingest-sdk

0.9.6

net.snowflake

snowflake-jdbc

3.12.0

net.snowflake

spark-snowflake_2.11

2.5.9-spark_2.4

net.sourceforge.f2j

arpack_combined_all

0.1

org.acplt

oncrpc

1.0.7

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.4

org.antlr

antlr4-runtime

4.7

org.antlr

stringtemplate

3.2.1之上

org.apache.ant

蚂蚁

1.9.2

org.apache.ant

ant-jsch

1.9.2

org.apache.ant

ant-launcher

1.9.2

org.apache.arrow

arrow-format

0.10.0

org.apache.arrow

arrow-memory

0.10.0

org.apache.arrow

arrow-vector

0.10.0

org.apache.avro

avro

1.8.2

org.apache.avro

avro-ipc

1.8.2

org.apache.avro

avro-mapred-hadoop2

1.8.2

org.apache.calcite

calcite-avatica

1.2.0-incubating

org.apache.calcite

calcite-core

1.2.0-incubating

org.apache.calcite

calcite-linq4j

1.2.0-incubating

org.apache.commons

commons-compress

1.8.1

org.apache.commons

commons-crypto

1.0.0

org.apache.commons

commons-lang3

3.5

org.apache.commons

commons-math3

3.4.1

org.apache.curator

curator-client

2.7.1

org.apache.curator

curator-framework

2.7.1

org.apache.curator

curator-recipes

2.7.1

org.apache.derby

德比

10.12.1.1

org.apache.directory.api

api-asn1-api

1.0.0-M20

org.apache.directory.api

api-util

1.0.0-M20

org.apache.directory.server

apacheds-i18n

2.0.0-M15

org.apache.directory.server

apacheds-kerberos-codec

2.0.0-M15

org.apache.hadoop

hadoop-annotations

2.7.3

org.apache.hadoop

hadoop-auth

2.7.3

org.apache.hadoop

hadoop-client

2.7.3

org.apache.hadoop

hadoop-common

2.7.3

org.apache.hadoop

hadoop-hdfs

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-app

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-common

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-core

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-jobclient

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-shuffle

2.7.3

org.apache.hadoop

hadoop-yarn-api

2.7.3

org.apache.hadoop

hadoop-yarn-client

2.7.3

org.apache.hadoop

hadoop-yarn-common

2.7.3

org.apache.hadoop

hadoop-yarn-server-common

2.7.3

org.apache.htrace

htrace-core

3.1.0-incubating

org.apache.httpcomponents

httpclient

4.5.6

org.apache.httpcomponents

httpcore

4.4.10

org.apache.ivy

艾薇

测试盒框

org.apache.orc

orc-core-nohive

1.5.5

org.apache.orc

orc-mapreduce-nohive

1.5.5

org.apache.orc

orc-shims

1.5.5

org.apache.parquet

parquet-column

1.10.1.2-databricks4

org.apache.parquet

parquet-common

1.10.1.2-databricks4

org.apache.parquet

parquet-encoding

1.10.1.2-databricks4

org.apache.parquet

parquet-format

测试盒框

org.apache.parquet

parquet-hadoop

1.10.1.2-databricks4

org.apache.parquet

parquet-jackson

1.10.1.2-databricks4

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.9.3

org.apache.xbean

xbean-asm6-shaded

4.8

org.apache.zookeeper

动物园管理员

3.4.6

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-jaxrs

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.jackson

jackson-xc

1.9.13

org.codehaus.janino

commons-compiler

3.0.10

org.codehaus.janino

janino

3.0.10

org.datanucleus

datanucleus-api-jdo

3.2.6

org.datanucleus

datanucleus-core

3.2.10

org.datanucleus

datanucleus-rdbms

3.2.9

org.eclipse.jetty

jetty-client

9.3.27.v20190418

org.eclipse.jetty

jetty-continuation

9.3.27.v20190418

org.eclipse.jetty

jetty-http

9.3.27.v20190418

org.eclipse.jetty

jetty-io

9.3.27.v20190418

org.eclipse.jetty

jetty-jndi

9.3.27.v20190418

org.eclipse.jetty

jetty-plus

9.3.27.v20190418

org.eclipse.jetty

jetty-proxy

9.3.27.v20190418

org.eclipse.jetty

jetty-security

9.3.27.v20190418

org.eclipse.jetty

jetty服务器

9.3.27.v20190418

org.eclipse.jetty

jetty servlet

9.3.27.v20190418

org.eclipse.jetty

jetty-servlets

9.3.27.v20190418

org.eclipse.jetty

jetty-util

9.3.27.v20190418

org.eclipse.jetty

jetty-webapp

9.3.27.v20190418

org.eclipse.jetty

jetty-xml

9.3.27.v20190418

org.fusesource.leveldbjni

leveldbjni-all

1.8

org.glassfish.hk2

hk2-api

2.4.0-b34

org.glassfish.hk2

hk2-locator

2.4.0-b34

org.glassfish.hk2

hk2-utils

2.4.0-b34

org.glassfish.hk2

osgi-resource-locator

1.0.1

org.glassfish.hk2.external

aopalliance-repackaged

2.4.0-b34

org.glassfish.hk2.external

javax.inject

2.4.0-b34

org.glassfish.jersey.bundles.repackaged

jersey-guava

2.22.2

org.glassfish.jersey.containers

jersey-container-servlet

2.22.2

org.glassfish.jersey.containers

jersey-container-servlet-core

2.22.2

org.glassfish.jersey.core

jersey客户端

2.22.2

org.glassfish.jersey.core

jersey-common

2.22.2

org.glassfish.jersey.core

jersey-server

2.22.2

org.glassfish.jersey.media

jersey-media-jaxb

2.22.2

org.hamcrest

hamcrest-core

1.3

org.hamcrest

hamcrest-library

1.3

org.hibernate

hibernate验证框架

5.1.1.Final

org.iq80.snappy

时髦的

0.2

org.javassist

javassist

3.18.1-GA

org.jboss.logging

jboss-logging

3.1.3.GA

org.jdbi

jdbi

2.63.1

org.joda

joda-convert

1.7

org.jodd

jodd-core

3.5.2

org.json4s

json4s-ast_2.11

3.5.3

org.json4s

json4s-core_2.11

3.5.3

org.json4s

json4s-jackson_2.11

3.5.3

org.json4s

json4s-scalap_2.11

3.5.3

org.lz4

lz4-java

1.4.0

org.mariadb.jdbc

mariadb-java-client

2.1.2

org.mockito

mockito-core

1.10.19

org.objenesis

objenesis

2.5.1

org.postgresql

postgresql

42.1.4

org.roaringbitmap

RoaringBitmap

0.7.45

org.roaringbitmap

垫片

0.7.45

org.rocksdb

rocksdbjni

6.2.2

org.rosuda.REngine

REngine

魅惑

org.scala-lang

scala-compiler_2.11

2.11.12

org.scala-lang

scala-library_2.11

2.11.12

org.scala-lang

scala-reflect_2.11

2.11.12

org.scala-lang.modules

scala-parser-combinators_2.11

1.1.0

org.scala-lang.modules

scala-xml_2.11

1.0.5

org.scala-sbt

测试界面

1.0

org.scalacheck

scalacheck_2.11

1.12.5

org.scalactic

scalactic_2.11

3.0.3

org.scalanlp

breeze-macros_2.11

0.13.2

org.scalanlp

breeze_2.11

0.13.2

org.scalatest

scalatest_2.11

3.0.3

org.slf4j

jcl-over-slf4j

1.7.16

org.slf4j

jul-to-slf4j

1.7.16

org.slf4j

slf4j-api

1.7.16

org.slf4j

slf4j-log4j12

1.7.16

org.spark-project.hive

hive-beeline

1.2.1.spark2

org.spark-project.hive

hive-cli

1.2.1.spark2

org.spark-project.hive

hive-jdbc

1.2.1.spark2

org.spark-project.hive

hive-metastore

1.2.1.spark2

org.spark-project.spark

未使用的

1.0.0

org.spire-math

spire-macros_2.11

0.13.0

org.spire-math

spire_2.11

0.13.0

org.springframework

spring核心

4.1.4.RELEASE

org.springframework

spring测试

4.1.4.RELEASE

org.tukaani

xz

1.5

org.typelevel

machinist_2.11

0.6.1

org.typelevel

macro-compat_2.11

1.1.1

org.xerial

sqlite-jdbc

3.8.11.2

org.xerial.snappy

snappy-java

1.1.7.3

org.yaml

snakeyaml

1.16

奥罗

奥罗

2.0.8

software.amazon.ion

ion-java

1.0.2中

stax

stax-api

1.0.1

xmlenc

xmlenc

0.52