砖运行时5.5 LTS(不支持)

砖在2019年7月发布了这张照片。它实际上是长期支持(LTS) 2019年8月。截至2021年7月27日,支持。砖5.5运行时扩展支持(不支持)7月8日公布的2021年,5.5支持延伸至2021年12月。它使用Ubuntu 18.04.5 LTS而不是弃用Ubuntu 16.04.6 LTS分布用于运行时5.5 LTS原砖。Ubuntu 16.04.6 LTS支持停止在4月1日,2021年。

以下版本注释提供信息数据砖5.5运行时,由Apache火花。

新功能

三角洲湖上砖自动优化

今天,当你写数据到云存储时,你需要为最佳紧凑的文件I / O性能。你需要担心正确的文件大小,多长时间紧凑的文件,使用一个集群,多大等等。为了解决这类问题,我们兴奋地宣布汽车的总体可用性优化与三角洲湖在砖。在每次写入增量表,我们会自动算出正确的文件大小和紧凑的文件,这样您不必担心优化存储布局。中写道,如果自动最优化选择是真正的,砖自动决定是否需要一个优化和优化小文件。有关详细信息,请参见配置三角洲湖控制数据文件大小。

三角洲湖上砖改进的最小、最大,计算聚合查询性能

性能的最小、最大,计算聚合查询三角洲湖上砖已经被减少的数据量显著提高的阅读。现在这些查询都使用运行数据和元数据分区的值,而不是扫描数据。

转眼间,雅典娜支持三角洲表在AWS S3(公共预览版)

你现在可以查询三角洲从外部工具,如转眼间和雅典娜表。转眼间,雅典娜支持阅读时从外部表读取数据文件的列表来处理从一个清单文件,这是一个文本文件包含的数据文件读取列表查询一个表。当一个外部表中定义的蜂巢metastore使用manifest文件,转眼间,雅典娜使用中的文件列表清单,而不是寻找文件目录清单。

胶砖metastore目录

胶水目录支持通常是可用的。这个特性允许您配置砖运行时使用AWS胶metastore数据目录,可以作为一个替代外部蜂巢metastore。它还支持多个共享相同的metastore砖工作区。和限制的更多信息,参见使用AWS胶水数据目录作为metastore(遗留)。

预览

凭据透传胶水的目录私人预览。联系支持,如果你想试一试。

速度模型与改进的二进制文件数据源推理管道和标量迭代器熊猫UDF(公共预览版)

机器学习的任务,特别是在图像和视频领域,经常需要使用大量的文件。在砖运行时的5.4中,我们已经提供二进制文件数据源来帮助ETL任意文件,如图片,到火花表中。在砖运行时的5.5中,我们添加了一个选项,recursiveFileLookup,加载文件递归嵌套输入目录。看到二进制文件。

二进制文件数据源使您能够运行模型并行推理任务从火花表使用一个标量熊猫UDF。然而,您可能需要初始化模型每批记录,它介绍了开销。在砖运行时的5.5中,我们补丁一个新的熊猫UDF类型称为“标量迭代器”从Apache火花的主人。通过它你可以初始化一个模型只有一次,将模型应用于许多输入批次,从而导致好几次加速ResNet50等模型。看到系列标量UDF。

秘密API R笔记本

的秘密的API让你注入秘密的笔记本没有硬编码。这个API现在可用在R笔记本除了现有的Scala支持Python和笔记本。您可以使用dbutils.secrets.get函数获取机密。秘密是修订之前印刷笔记本电池。

改进

  • 支持运行Python中的三角洲湖SQL操作foreachBatch:我们有固定的已知的限制无法写入δ表内foreachBatch在Python中定义的结构化流查询。这是有用的在一个常见的Python流负载;例如,编写使用合并和foreachBatch流聚集在更新模式。

  • 三角洲的性能数据表存储在Azure Gen2湖:检查最新版本的三角洲表ADLS Gen2现在只检查事务日志的末尾,而不是列出所有可用的版本。这样的优化会使更新一个常数时间操作,大大提高延迟。

  • 优化的可伸缩性ZORDER通过:z值非常大的三角洲表上现在使用更小的单位的工作都是由先进的允许控制。这个特性这个操作不牺牲集群的稳定性,提高了利用率。

  • 提高性能的DML命令与大量的表列:我们现在表现得更好当扫描匹配数据列修剪更新,删除,合并命令。

  • 支持VNet +服务端点设置在火花——突触分析连接器:我们添加了ADL Gen2路径允许列表作为临时数据位置(.option (“tempDir”,“abfss: / /……”)),并添加了一个新的选择useAzureMSI,而不是使用forward_spark_azure_storage_credentials以防你的突触分析配置为通过管理身份验证V2存储账户。

  • 磁盘缓存自动失效:现在磁盘缓存自动检测文件已修改或覆盖在被缓存。任何过期条目自动失效并驱逐出缓存。看到优化性能和缓存数据砖。

  • 升级的Python库轮0.33.3 0.33.4。

  • 从3.1升级R图书馆nlme -139 3.1 -140。

错误修复

  • 固定一个bug S3-SQS / ABS-AQS连接器可能触及腐败三角洲表错误当一个文件被删除并重新添加。

  • 固定为R命令取消,不要运行工作。之前,R命令无法运行引发的就业机会可能会取消,但笔记本电脑的国家将丢失;命令现在可以取消不丢失笔记本电脑的状态。

  • 现在删除或移动管理表缓存无效三角洲湖日志。

  • 固定写作三角洲湖检查点的故障可能导致失败FileAlreadyExistsException。

  • Scala REPL现在设置正确—target: jvm - 1.8国旗来支持调用Java方法使用Java 8特性。

Apache火花

砖5.5运行时包含Apache 2.4.3火花。这个版本包括所有火花修复和改进中砖运行时的5.4(不支持)以及以下额外的bug修复和改进了火花:

维护更新

看到砖5.5运行时的维护更新。

系统环境

  • 操作系统:Ubuntu 16.04.6 LTS

  • Java:1.8.0_252

  • Scala:2.11.12

  • Python:2.7.12 Python 2集群和3.5.2 Python 3集群。

  • R:R版本3.6.0 (2019-04-26)

  • GPU集群:以下安装NVIDIA GPU库:

    • 375.66特斯拉的司机

    • CUDA 9.0

    • cuDNN 7.0

请注意

尽管Scala 2.12支持Apache 2.4火花,它在砖5.5运行时不支持。

安装Python库

图书馆

版本

图书馆

版本

图书馆

版本

ansi2html

1.1.1

argparse

1.2.1 "

backports-abc

0.5

宝途

2.42.0

boto3

1.4.1

botocore

1.4.70

brewer2mpl

1.4.1

certifi

2016.2.28

cffi

1.7.0

chardet

tripwire

彩色光

0.3.7

configobj

5.0.6

密码学

1.5

周期计

0.10.0

Cython

0.24.1

装饰

4.0.10

docutils

0.14

enum34

1.1.6

et-xmlfile

1.0.1

freetype-py

1.0.2中

funcsigs

1.0.2中

fusepy

2.0.4

期货

3.2.0

ggplot

0.6.8

html5lib

0.999

idna

2.1

ipaddress

1.0.16

ipython

2.2.0

ipython-genutils

0.1.0

jdcal

1.2

Jinja2

2.8

jmespath

0.9.0

llvmlite

0.13.0

lxml

3.6.4

MarkupSafe

0.23

matplotlib

1.5.3

mpld3

0.2

msgpack-python

0.4.7

ndg-httpsclient

0.3.3

numba

0.28.1

numpy

1.11.1

openpyxl

2.3.2

熊猫

0.19.2

pathlib2

魅惑

容易受骗的人

0.4.1

pexpect

4.0.1

pickleshare

0.7.4

枕头

3.3.1

皮普

19.1.1

厚度

3.9

prompt-toolkit

1.0.7

psycopg2

2.6.2

ptyprocess

0.5.1

py4j

0.10.3

pyarrow

0.8.0

pyasn1

0.1.9

pycparser

2.14

Pygments

2.1.3

PyGObject

3.20.0

pyOpenSSL

16.0.0

pyparsing

2.2.0

pypng

0.0.18

Python

2.7.12

python-dateutil

2.5.3

python-geohash

0.8.5

pytz

2016.6.1

请求

2.11.1

s3transfer

0.1.9

scikit-learn

0.18.1

scipy

0.18.1

冲刷

0.32

seaborn

是0.7.1

setuptools

41.0.1

simplejson

3.8.2

simples3

1.0

singledispatch

3.4.0.3

六个

1.10.0

statsmodels

0.6.1

龙卷风

5.1.1

traitlets

4.3.0

urllib3

1.19.1

virtualenv

16.1.0

wcwidth

0.1.7

轮

0.33.4

wsgiref

0.1.2

安装R库

图书馆

版本

图书馆

版本

图书馆

版本

abind

1.4 - 5

askpass

1.1

为了

0.2.1

补丁

1.1.3

基地

3.6.0

base64enc

0.1 - 3

黑洞

1.69.0-1

位

-14 - 1.1

bit64

0.9 7

bitops

1.0 6

团

1.1.1

引导

-20 - 1.3

酿造

1.0 6

callr

3.2.0

车

3.0 - 2

carData

3.0 - 2

脱字符号

-82 - 6.0

cellranger

1.1.0

时间

-53 - 2.3

类

-15 - 7.3

cli

1.1.0

clipr

0.5.0

clisymbols

1.2.0

集群

2.0.8

codetools

-16 - 0.2

色彩

1.4 - 1

commonmark

1.7

编译器

3.6.0

配置

0.3

蜡笔

1.3.4

旋度

3.3

data.table

1.12.0

数据集

3.6.0

DBI

1.0.0

dbplyr

1.3.0

desc

1.2.0

devtools

2.0.1

消化

0.6.18

doMC

1.3.5

dplyr

0.8.0.1

省略

0.1.0

fansi

0.4.0

forcats

0.4.0

foreach

1.4.4

外国

-71 - 0.8

打造

0.2.0

fs

1.2.7

“绿带运动”

2.1.5

泛型

发布

ggplot2

3.1.0

“大酒店”

1.0.1

git2r

0.25.2

glmnet

-16 - 2.0

胶水

1.3.1

高尔

0.2.0

图形

3.6.0

grDevices

3.6.0

网格

3.6.0

gridExtra

2.3

gsubfn

0.7

gtable

0.3.0

水

3.22.1.1

还

魅惑

hms

0.4.2

htmltools

0.3.6

htmlwidgets

1.3

httr

1.4.0

hwriter

1.3.2

hwriterPlus

1.0 - 3

ini

0.3.1

不小

0.9 8

迭代器

1.0.10

jsonlite

1.6

KernSmooth

-15 - 2.23

标签

0.3

晶格

-38 - 0.20

熔岩

1.6.5

lazyeval

0.2.2

的小

0.3.7

lme4

-21 - 1.1

lubridate

1.7.4

magrittr

1.5

mapproj

1.2.6

地图

3.3.0

maptools

0.9 - 5

质量

7.3 - -51.1

矩阵

-17 - 1.2

MatrixModels

0.4 - 1

memoise

1.1.0

方法

3.6.0

mgcv

-28 - 1.8

mime

0.6

minqa

1.2.4

ModelMetrics

1.2.2

孟塞尔

0.5.0

mvtnorm

-10 - 1.0

nlme

-140 - 3.1

nloptr

1.2.1 "

nnet

-12 - 7.3

numDeriv

2016.8 - 1

openssl

1.3

openxlsx

4.1.0

平行

3.6.0

pbkrtest

0.4 7

支柱

1.3.1

pkgbuild

1.0.3

pkgconfig

2.0.2

pkgKitten

0.1.4

pkgload

1.0.2中

plogr

0.2.0

plyr

1.8.4

赞美

1.0.0

prettyunits

1.0.2中

pROC

1.14.0

processx

3.3.0

prodlim

2018.04.18

进步

1.2.0

原型

1.0.0

ps

1.3.0

purrr

0.3.2

quantreg

5.38

R.methodsS3

1.7.1上

R.oo

1.22.0

R.utils

2.8.0

r2d3

0.2.3

R6

测试盒框

randomForest

-14 - 4.6

rappdirs

0.3.1

rcmdcheck

1.3.2

RColorBrewer

1.1 - 2

Rcpp

1.0.1

RcppEigen

0.3.3.5.0

RcppRoll

0.3.0

RCurl

1.95 - -4.12

readr

1.3.1

readxl

1.3.1

食谱

0.1.5

复赛

1.0.1

遥控器

2.0.2

reshape2

3

力拓

0.5.16

rlang

0.3.3

RODBC

-15 - 1.3

roxygen2

但是

rpart

-15 - 4.1

rprojroot

1.3 - 2

Rserve

1.8 6

RSQLite

2.1.1

rstudioapi

0.10

尺度

1.0.0

sessioninfo

1.1.1

sp

1.3 - 1

sparklyr

1.0.0

SparkR

2.4.4

SparseM

1.77

空间

-11 - 7.3

样条函数

3.6.0

sqldf

-11 - 0.4

SQUAREM

2017.10 - 1

statmod

1.4.30

统计数据

3.6.0

stats4

3.6.0

stringi

3

stringr

1.4.0

生存

2.43 - 3

sys

3.1

tcltk

3.6.0

TeachingDemos

2.10

testthat

2.0.1

宠物猫

2.1.1

tidyr

0.8.3

tidyselect

0.2.5

timeDate

3043.102

工具

3.6.0

usethis

1.4.0

use utf8

1.1.4

跑龙套

3.6.0

viridisLite

0.3.0

晶须

0.3 - 2

withr

2.1.2

xml2

1.2.0

xopen

1.0.0

yaml

2.2.0

邮政编码

2.0.1

安装了Java和Scala库(Scala 2.11集群版)

组ID

工件ID

版本

antlr

antlr

2.7.7

com.amazonaws

amazon-kinesis-client

1.8.10

com.amazonaws

aws-java-sdk-autoscaling

1.11.313

com.amazonaws

aws-java-sdk-cloudformation

1.11.313

com.amazonaws

aws-java-sdk-cloudfront

1.11.313

com.amazonaws

aws-java-sdk-cloudhsm

1.11.313

com.amazonaws

aws-java-sdk-cloudsearch

1.11.313

com.amazonaws

aws-java-sdk-cloudtrail

1.11.313

com.amazonaws

aws-java-sdk-cloudwatch

1.11.313

com.amazonaws

aws-java-sdk-cloudwatchmetrics

1.11.313

com.amazonaws

aws-java-sdk-codedeploy

1.11.313

com.amazonaws

aws-java-sdk-cognitoidentity

1.11.313

com.amazonaws

aws-java-sdk-cognitosync

1.11.313

com.amazonaws

aws-java-sdk-config

1.11.313

com.amazonaws

aws-java-sdk-core

1.11.313

com.amazonaws

aws-java-sdk-datapipeline

1.11.313

com.amazonaws

aws-java-sdk-directconnect

1.11.313

com.amazonaws

aws-java-sdk-directory

1.11.313

com.amazonaws

aws-java-sdk-dynamodb

1.11.313

com.amazonaws

aws-java-sdk-ec2

1.11.313

com.amazonaws

aws-java-sdk-ecs

1.11.313

com.amazonaws

aws-java-sdk-efs

1.11.313

com.amazonaws

aws-java-sdk-elasticache

1.11.313

com.amazonaws

aws-java-sdk-elasticbeanstalk

1.11.313

com.amazonaws

aws-java-sdk-elasticloadbalancing

1.11.313

com.amazonaws

aws-java-sdk-elastictranscoder

1.11.313

com.amazonaws

aws-java-sdk-emr

1.11.313

com.amazonaws

aws-java-sdk-glacier

1.11.313

com.amazonaws

aws-java-sdk-glue

1.11.313

com.amazonaws

aws-java-sdk-iam

1.11.313

com.amazonaws

aws-java-sdk-importexport

1.11.313

com.amazonaws

aws-java-sdk-kinesis

1.11.313

com.amazonaws

aws-java-sdk-kms

1.11.313

com.amazonaws

aws-java-sdk-lambda

1.11.313

com.amazonaws

aws-java-sdk-logs

1.11.313

com.amazonaws

aws-java-sdk-machinelearning

1.11.313

com.amazonaws

aws-java-sdk-opsworks

1.11.313

com.amazonaws

aws-java-sdk-rds

1.11.313

com.amazonaws

aws-java-sdk-redshift

1.11.313

com.amazonaws

aws-java-sdk-route53

1.11.313

com.amazonaws

aws-java-sdk-s3

1.11.313

com.amazonaws

aws-java-sdk-ses

1.11.313

com.amazonaws

aws-java-sdk-simpledb

1.11.313

com.amazonaws

aws-java-sdk-simpleworkflow

1.11.313

com.amazonaws

aws-java-sdk-sns

1.11.313

com.amazonaws

aws-java-sdk-sqs

1.11.313

com.amazonaws

aws-java-sdk-ssm

1.11.313

com.amazonaws

aws-java-sdk-storagegateway

1.11.313

com.amazonaws

aws-java-sdk-sts

1.11.313

com.amazonaws

aws-java-sdk-support

1.11.313

com.amazonaws

aws-java-sdk-swf-libraries

1.11.22

com.amazonaws

aws-java-sdk-workspaces

1.11.313

com.amazonaws

jmespath-java

1.11.313

com.carrotsearch

hppc

0.7.2

com.chuusai

shapeless_2.11

2.3.2

com.clearspring.analytics

流

2.7.0

com.databricks

Rserve

1.8 - 3

com.databricks

dbml-local_2.11

0.5.0-db8-spark2.4

com.databricks

dbml-local_2.11-tests

0.5.0-db8-spark2.4

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.11

0.4.15-9

com.databricks.scalapb

scalapb-runtime_2.11

0.4.15-9

com.esotericsoftware

kryo-shaded

4.0.2

com.esotericsoftware

minlog

1.3.0

com.fasterxml

同学

1.0.0

com.fasterxml.jackson.core

jackson-annotations

2.6.7

com.fasterxml.jackson.core

jackson-core

2.6.7

com.fasterxml.jackson.core

jackson-databind

2.6.7.1

com.fasterxml.jackson.dataformat

jackson-dataformat-cbor

2.6.7

com.fasterxml.jackson.datatype

jackson-datatype-joda

2.6.7

com.fasterxml.jackson.module

jackson-module-paranamer

2.6.7

com.fasterxml.jackson.module

jackson-module-scala_2.11

2.6.7.1

com.github.fommil

jniloader

1.1

com.github.fommil.netlib

核心

1.1.2

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java-natives

1.1

com.github.fommil.netlib

native_system-java

1.1

com.github.fommil.netlib

native_system-java-natives

1.1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1.1

com.github.luben

zstd-jni

1.3.2-2

com.github.rwl

jtransforms

测试盒框

com.google.code.findbugs

jsr305

2.0.1

com.google.code.gson

gson

2.2.4

com.google.guava

番石榴

15.0

com.google.protobuf

protobuf-java

2.6.1

com.googlecode.javaewah

JavaEWAH

0.3.2

com.h2database

h2

1.3.174

com.jcraft

jsch

0.1.50

com.jolbox

bonecp

0.8.0.RELEASE

com.microsoft.azure

azure-data-lake-store-sdk

2.2.8

com.microsoft.azure

azure存储

5.2.0

com.microsoft.sqlserver

mssql-jdbc

6.2.2.jre8

com.ning

compress-lzf

1.0.3

com.sun.mail

javax.mail

1.5.2

com.thoughtworks.paranamer

paranamer

2.8

com.trueaccord.lenses

lenses_2.11

0.3

com.twitter

chill-java

0.9.3

com.twitter

chill_2.11

0.9.3

com.twitter

parquet-hadoop-bundle

1.6.0

com.twitter

util-app_2.11

6.23.0

com.twitter

util-core_2.11

6.23.0

com.twitter

util-jvm_2.11

6.23.0

com.typesafe

配置

1.2.1 "

com.typesafe.scala-logging

scala-logging-api_2.11

2.1.2

com.typesafe.scala-logging

scala-logging-slf4j_2.11

2.1.2

com.univocity

univocity-parsers

2.7.3

com.vlkan

flatbuffers

1.2.0-3f79e055

com.zaxxer

HikariCP

3.1.0

commons-beanutils

commons-beanutils

1.9.3

commons-cli

commons-cli

1.2

commons-codec

commons-codec

1.10

commons-collections

commons-collections

3.2.2

commons configuration

commons configuration

1.6

commons-dbcp

commons-dbcp

1.4

commons-digester

commons-digester

1.8

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2.4

commons lang

commons lang

2.6

通用日志

通用日志

1.1.3

commons net

commons net

3.1

commons-pool

commons-pool

1.5.4

info.ganglia.gmetric4j

gmetric4j

1.0.7

io.airlift

aircompressor

0.10

io.dropwizard.metrics

metrics-core

3.1.5

io.dropwizard.metrics

metrics-ganglia

3.1.5

io.dropwizard.metrics

metrics-graphite

3.1.5

io.dropwizard.metrics

metrics-healthchecks

3.1.5

io.dropwizard.metrics

metrics-jetty9

3.1.5

io.dropwizard.metrics

metrics-json

3.1.5

io.dropwizard.metrics

metrics-jvm

3.1.5

io.dropwizard.metrics

metrics-log4j

3.1.5

io.dropwizard.metrics

metrics-servlets

3.1.5

io.netty

网状的

3.9.9.Final

io.netty

netty-all

4.1.17.Final

javax.activation

激活

1.1.1

javax.annotation

javax.annotation-api

1.2

javax.el

javax.el-api

2.2.4

javax.jdo

jdo api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

jsp-api

2.1

javax.transaction

jta

1.1

javax.validation

验证api

1.1.0.Final

javax.ws.rs

javax.ws.rs-api

2.0.1

javax.xml.bind

jaxb-api

2.2.2

javax.xml.stream

stax-api

1.0 - 2

javolution

javolution

5.5.1

jline

jline

2.14.6

joda-time

joda-time

2.9.3

log4j

apache-log4j-extras

1.2.17

log4j

log4j

1.2.17

maven-trees

hive-exec-with-glue

蜂巢- 12679 patch_deploy

maven-trees

hive-exec-with-glue

hive-exec_shaded

net.hydromatic

eigenbase-properties

1.1.5

net.razorvine

地幔岩

4.13

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

super-csv

2.2.0

net.snowflake

snowflake-ingest-sdk

0.9.5

net.snowflake

snowflake-jdbc

3.6.15

net.snowflake

spark-snowflake_2.11

2.4.10-spark_2.4

net.sourceforge.f2j

arpack_combined_all

0.1

org.acplt

oncrpc

1.0.7

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.4

org.antlr

antlr4-runtime

4.7

org.antlr

stringtemplate

3.2.1之上

org.apache.ant

蚂蚁

1.9.2

org.apache.ant

ant-jsch

1.9.2

org.apache.ant

ant-launcher

1.9.2

org.apache.arrow

arrow-format

0.10.0

org.apache.arrow

arrow-memory

0.10.0

org.apache.arrow

arrow-vector

0.10.0

org.apache.avro

avro

1.8.2

org.apache.avro

avro-ipc

1.8.2

org.apache.avro

avro-mapred-hadoop2

1.8.2

org.apache.calcite

calcite-avatica

1.2.0-incubating

org.apache.calcite

calcite-core

1.2.0-incubating

org.apache.calcite

calcite-linq4j

1.2.0-incubating

org.apache.commons

commons-compress

1.8.1

org.apache.commons

commons-crypto

1.0.0

org.apache.commons

commons-lang3

3.5

org.apache.commons

commons-math3

3.4.1

org.apache.curator

curator-client

2.7.1

org.apache.curator

curator-framework

2.7.1

org.apache.curator

curator-recipes

2.7.1

org.apache.derby

德比

10.12.1.1

org.apache.directory.api

api-asn1-api

1.0.0-M20

org.apache.directory.api

api-util

1.0.0-M20

org.apache.directory.server

apacheds-i18n

2.0.0-M15

org.apache.directory.server

apacheds-kerberos-codec

2.0.0-M15

org.apache.hadoop

hadoop-annotations

2.7.3

org.apache.hadoop

hadoop-auth

2.7.3

org.apache.hadoop

hadoop-client

2.7.3

org.apache.hadoop

hadoop-common

2.7.3

org.apache.hadoop

hadoop-hdfs

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-app

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-common

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-core

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-jobclient

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-shuffle

2.7.3

org.apache.hadoop

hadoop-yarn-api

2.7.3

org.apache.hadoop

hadoop-yarn-client

2.7.3

org.apache.hadoop

hadoop-yarn-common

2.7.3

org.apache.hadoop

hadoop-yarn-server-common

2.7.3

org.apache.htrace

htrace-core

3.1.0-incubating

org.apache.httpcomponents

httpclient

4.5.4

org.apache.httpcomponents

httpcore

4.4.8

org.apache.ivy

艾薇

测试盒框

org.apache.orc

orc-core-nohive

1.5.2

org.apache.orc

orc-mapreduce-nohive

1.5.2

org.apache.orc

orc-shims

1.5.2

org.apache.parquet

parquet-column

1.10.1.1-databricks3

org.apache.parquet

parquet-common

1.10.1.1-databricks3

org.apache.parquet

parquet-encoding

1.10.1.1-databricks3

org.apache.parquet

parquet-format

测试盒框

org.apache.parquet

parquet-hadoop

1.10.1.1-databricks3

org.apache.parquet

parquet-jackson

1.10.1.1-databricks3

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.9.3

org.apache.xbean

xbean-asm6-shaded

4.8

org.apache.zookeeper

动物园管理员

3.4.6

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-jaxrs

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.jackson

jackson-xc

1.9.13

org.codehaus.janino

commons-compiler

3.0.10

org.codehaus.janino

janino

3.0.10

org.datanucleus

datanucleus-api-jdo

3.2.6

org.datanucleus

datanucleus-core

3.2.10

org.datanucleus

datanucleus-rdbms

3.2.9

org.eclipse.jetty

jetty-client

9.3.20.v20170531

org.eclipse.jetty

jetty-continuation

9.3.20.v20170531

org.eclipse.jetty

jetty-http

9.3.20.v20170531

org.eclipse.jetty

jetty-io

9.3.20.v20170531

org.eclipse.jetty

jetty-jndi

9.3.20.v20170531

org.eclipse.jetty

jetty-plus

9.3.20.v20170531

org.eclipse.jetty

jetty-proxy

9.3.20.v20170531

org.eclipse.jetty

jetty-security

9.3.20.v20170531

org.eclipse.jetty

jetty服务器

9.3.20.v20170531

org.eclipse.jetty

jetty servlet

9.3.20.v20170531

org.eclipse.jetty

jetty-servlets

9.3.20.v20170531

org.eclipse.jetty

jetty-util

9.3.20.v20170531

org.eclipse.jetty

jetty-webapp

9.3.20.v20170531

org.eclipse.jetty

jetty-xml

9.3.20.v20170531

org.fusesource.leveldbjni

leveldbjni-all

1.8

org.glassfish.hk2

hk2-api

2.4.0-b34

org.glassfish.hk2

hk2-locator

2.4.0-b34

org.glassfish.hk2

hk2-utils

2.4.0-b34

org.glassfish.hk2

osgi-resource-locator

1.0.1

org.glassfish.hk2.external

aopalliance-repackaged

2.4.0-b34

org.glassfish.hk2.external

javax.inject

2.4.0-b34

org.glassfish.jersey.bundles.repackaged

jersey-guava

2.22.2

org.glassfish.jersey.containers

jersey-container-servlet

2.22.2

org.glassfish.jersey.containers

jersey-container-servlet-core

2.22.2

org.glassfish.jersey.core

jersey客户端

2.22.2

org.glassfish.jersey.core

jersey-common

2.22.2

org.glassfish.jersey.core

jersey-server

2.22.2

org.glassfish.jersey.media

jersey-media-jaxb

2.22.2

org.hibernate

hibernate验证框架

5.1.1.Final

org.iq80.snappy

时髦的

0.2

org.javassist

javassist

3.18.1-GA

org.jboss.logging

jboss-logging

3.1.3.GA

org.jdbi

jdbi

2.63.1

org.joda

joda-convert

1.7

org.jodd

jodd-core

3.5.2

org.json4s

json4s-ast_2.11

3.5.3

org.json4s

json4s-core_2.11

3.5.3

org.json4s

json4s-jackson_2.11

3.5.3

org.json4s

json4s-scalap_2.11

3.5.3

org.lz4

lz4-java

1.4.0

org.mariadb.jdbc

mariadb-java-client

2.1.2

org.mockito

mockito-all

1.9.5

org.objenesis

objenesis

2.5.1

org.postgresql

postgresql

42.1.4

org.roaringbitmap

RoaringBitmap

0.7.45

org.roaringbitmap

垫片

0.7.45

org.rocksdb

rocksdbjni

5.2.1

org.rosuda.REngine

REngine

魅惑

org.scala-lang

scala-compiler_2.11

2.11.12

org.scala-lang

scala-library_2.11

2.11.12

org.scala-lang

scala-reflect_2.11

2.11.12

org.scala-lang.modules

scala-parser-combinators_2.11

1.1.0

org.scala-lang.modules

scala-xml_2.11

1.0.5

org.scala-sbt

测试界面

1.0

org.scalacheck

scalacheck_2.11

1.12.5

org.scalactic

scalactic_2.11

3.0.3

org.scalanlp

breeze-macros_2.11

0.13.2

org.scalanlp

breeze_2.11

0.13.2

org.scalatest

scalatest_2.11

3.0.3

org.slf4j

jcl-over-slf4j

1.7.16

org.slf4j

jul-to-slf4j

1.7.16

org.slf4j

slf4j-api

1.7.16

org.slf4j

slf4j-log4j12

1.7.16

org.spark-project.hive

hive-beeline

1.2.1.spark2

org.spark-project.hive

hive-cli

1.2.1.spark2

org.spark-project.hive

hive-jdbc

1.2.1.spark2

org.spark-project.hive

hive-metastore

1.2.1.spark2

org.spark-project.spark

未使用的

1.0.0

org.spire-math

spire-macros_2.11

0.13.0

org.spire-math

spire_2.11

0.13.0

org.springframework

spring核心

4.1.4.RELEASE

org.springframework

spring测试

4.1.4.RELEASE

org.tukaani

xz

1.5

org.typelevel

machinist_2.11

0.6.1

org.typelevel

macro-compat_2.11

1.1.1

org.xerial

sqlite-jdbc

3.8.11.2

org.xerial.snappy

snappy-java

1.1.7.3

org.yaml

snakeyaml

1.16

奥罗

奥罗

2.0.8

software.amazon.ion

ion-java

1.0.2中

stax

stax-api

1.0.1

xmlenc

xmlenc

0.52