砖运行时的6.0(不支持)
2019年10月砖公布的这张照片。
以下版本注释提供信息数据砖6.0运行时,由Apache火花。
新功能
Python环境
砖6.0运行时包括重大变化的Python和Python环境中配置的方式,包括升级Python3.7.3精炼安装Python包的列表,这些安装包升级到新版本。有关详细信息,请参见安装Python库。
此外,作为以前宣布,砖6.0运行时不支持Python 2。
主要变化包括:
Python从3.5.2 3.7.3升级。一些老版本的Python包可能不是向前兼容Python 3.7,因为他们依赖于旧版本不兼容的Cython Python 3.7。类似于安装这样一个包可以触发错误
“PyThreadState”{”结构_t '}有没有成员命名“exc_type”(见GitHub发行1978详情)。安装Python 3.7兼容的版本的Python包。主要升级包:
boto3, 1.9.162
ipython来7.4.0
matplotlib, 3.0.3
numpy, 1.16.2
熊猫,0.24.2
pyarrow, 0.13.0
相比之下,砖运行时5.5 LTS(不支持),以下Python包新包括:asn1crypto, backcall,绝地武士,kiwisolver parso, PySocks。
相比之下,砖运行时5.5 LTS(不支持)以下Python包没有安装:ansi2html, brewer2mpl,彩色光,configobj, enum34, et-xmlfile, freetype-py, funcsigs, fusepy, ggplot, html5lib, ipaddress, jdcal, Jinja2, llvmlite, lxml, MarkupSafe, mpld3, msgpack-python, ndg-httpsclient, numba, openpyxl, pathlib2,枕头,厚度,pyasn1, pypng, python-geohash,冲刷,simplejson, singledispatch。
的
显示Python函数ggplot对象不再支持因为ggplot包不兼容新版本的熊猫。设置
PYSPARK_PYTHON来/砖/ python2 / bin / python不支持,因为砖6.0运行时不支持Python 2。一个集群仍然可以这样设置。然而,Python笔记本和Python命令将不会工作,也就是说,Python命令细胞将“取消”的错误和失败Python壳牌失败的来开始错误将会出现在司机日志。如果
PYSPARK_PYTHON指向一个Python可执行的环境管理Virtualenv这个环境将被激活init脚本、SSH会话和笔记本。您可以使用python和皮普中定义的命令激活环境直接不用指定这些命令的绝对位置。默认情况下,PYSPARK_PYTHON被设置为/砖/ python3 / bin / python。因此,默认情况下,python指出/砖/ python3 / bin / python和皮普指出/砖/ python3 / bin /皮普为init脚本、SSH会话和笔记本。如果你的PYSPARK_PYTHON指向一个Python可执行,不在一个环境由Virtualenv或如果您正在编写一个init脚本创建指定的PythonPYSPARK_PYTHON,您将需要使用绝对路径访问正确的python和皮普。当Python库隔离启用(这是默认启用),激活环境仍然是环境吗PYSPARK_PYTHON与相关联。我们建议您使用库工具(dbutils.library)修改相关的孤立的环境一个Python笔记本。
Scala和Java api三角洲湖DML命令
您现在可以修改使用编程api三角洲表中的数据删除,更新和合并。这些api镜子相应的SQL命令的语法和语义,对许多工作负载,例如,缓慢变化维度(SCD)操作,合并改变复制的数据,插入从流媒体查询。
有关详细信息,请参见三角洲湖是什么?。
Scala和Java api三角洲湖实用程序的命令
砖运行时现在的编程api真空和历史实用程序的命令。这些api镜子可用相应的SQL命令的语法和语义在砖的早期版本中运行时。
你可以清理文件不再引用的三角洲表和保留阈值以上的运行真空在桌子上。运行真空递归地命令在桌子上真空与三角洲有关的目录表。文件的默认保留阈值是7天。时间旅行的能力回到一个版本超过保存期丢失后运行真空。真空不是自动触发。
操作,您可以检索信息用户、时间戳等每个写表通过运行一个增量历史命令。倒序返回的操作。默认情况下,表历史保留30天。
有关详细信息,请参见三角洲湖是什么?。
优化存储使用本地文件api
本地文件api很有用,因为它允许您访问文件从底层分布式对象存储在本地文件。在砖运行时的6.0中,我们提高了融合,使本地文件api来解决关键限制。砖运行时6.0显著提高读写速度和支持文件大于2 GB。如果你需要更快和更可靠的读取和写入比如分布式模型训练,你会发现此增强功能特别有用。此外,你不需要加载数据到本地存储工作负载,节约成本和提高生产力。
有关详细信息,请参见砖文件系统(DBFS)是什么?。
湖服务多个Azure的凭证数据存储Gen1账户
现在,您可以设置多个服务凭证从砖访问Azure数据存储Gen1湖占使用Apache火花在一个会话中。为此,添加帐户。<帐户名称>配置钥匙。举个例子,如果你想设置账户的凭证访问adl: / / example1.azuredatalakestore.net和adl: / / example2.azuredatalakestore.net你可以如下:
火花。相依。集(“fs.adl.oauth2.access.token.provider.type”,“ClientCredential”)火花。相依。集(“fs.adl.account.example1.oauth2.client.id”,“< application-id-example1 >”)火花。相依。集(“fs.adl.account.example1.oauth2.credential”,dbutils。秘密。得到(范围=“< scope-name >”,关键=“< key-name-for-service-credential-example1 >”))火花。相依。集(“fs.adl.account.example1.oauth2.refresh.url”,“https://login.microsoftonline.com/ < directory-id-example1 > / oauth2 /令牌”)火花。相依。集(“fs.adl.account.example2.oauth2.client.id”,“< application-id-example2 >”)火花。相依。集(“fs.adl.account.example2.oauth2.credential”,dbutils。秘密。得到(范围=“< scope-name >”,关键=“< key-name-for-service-credential-example2 >”))火花。相依。集(“fs.adl.account.example2.oauth2.refresh.url”,“https://login.microsoftonline.com/ < directory-id-example2 > / oauth2 /令牌”)
改进
AWS SDK 1.11.596升级。
升级存储Azure SDK的WASB司机到7.0。
优化现在提供了一个概要文件数量等指标的添加,删除的文件数量,文件和最大和最小尺寸。看到紧凑的数据文件与优化在三角洲湖。
删除
砖毫升模型出口被移除。使用MLeap导入和导出模型。
Apache火花
请注意
本文包含引用奴隶,砖不使用的一个术语。从软件中删除这个词时,我们就将它从这篇文章。
砖6.0运行时包含Apache 2.4.3火花。这个版本包括所有火花修复和改进中砖运行时5.5 LTS(不支持)以及以下额外的bug修复和改进了火花:
(火花- 27992)(火花- 28881)PYTHON允许PYTHON加入连接线程传播错误
(火花- 27330)[SS]支持在foreach任务中止作家(6.0,5. x)
(火花- 28642)[SQL]隐藏凭证在显示创建表
(火花- 28699)(核心)修复一个角落流产不确定的阶段
(火花- 28647)[WEBUI]恢复额外的指标特性
(火花- 28766)[R][医生]修复凹口传入可行性警告无效的URL
(火花- 28486)(核心)(PYTHON) PythonBroadcast的数据文件映射到由GC BroadcastBlock避免删除
(火花- 25035)(核心)避免内存映射磁盘存储块复制
(火花- 27234)[SS] [PYTHON)使用InheritableThreadLocal当前时代的EpochTracker(支持PYTHON udf)
(火花- 28638)[WEBUI]任务总结应该只包含成功的任务指标
(火花- 28153)PYTHON使用AtomicReference InputFileBlockHolder(支持input_file_name PYTHON UDF)
(火花- 28564)(核心)访问历史应用程序默认为最后尝试id
(火花- 28260)集群可以auto-terminate而thriftserver查询仍然是获取结果
(火花- 26152)(核心)同步工人与工人清理关闭
(火花- 28545)[SQL]添加散列映射ObjectAggregationIterator定向日志的大小
(火花- 28489)[SS] KafkaOffsetRangeCalculator修复一个缺陷。getRanges可能会抵消下降
(火花- 28421)(毫升)SparseVector。应用性能优化
(火花- 28156)[SQL]自不应该错过缓存视图
(火花- 28152)[SQL]映射ShortType SMALLINT和FloatType MsSqlServerDialect真实
(火花- 28054)[SQL]修复错误时插入蜂巢分区表动态分区名称的大写
(火花- 27159)[SQL]更新该服务器方言支持二进制类型
(火花- 28355)(核心)(PYTHON)使用火花设计及其阈值的com…
(火花- 27989)(核心)添加重试连接上美丽的司机
(火花- 27416)[SQL] UnsafeMapData & UnsafeArrayData Kryo序列化…
(火花- 28430)(UI)修复阶段表呈现一些任务时失踪的指标
(火花- 27485)EnsureRequirements。重新排序应该优雅地处理重复的表达式
(火花- 28404)[SS]修复RateStreamContinuousPartitionReader负超时值
(火花- 28378)(PYTHON)删除cgi.escape的使用
(火花- 28371)[SQL]使铺“StartsWith”过滤空值
(火花- 28015)[SQL]检查stringToDate()消耗整个输入yyyy和yyyy - m [m]格式
(火花- 28302)(核心)确定为在Windows上SparkLauncher生成惟一的输出文件
(火花- 28308)(核心)CalendarInterval次秒级前应该填补一部分解析
(火花- 28170)(毫升)(PYTHON)统一文档向量和矩阵
(火花- 28160)(核心)修复一个缺陷时,回调函数可能挂不例外了
(火花- 27839)[SQL]改变UTF8String.replace()操作UTF8字节
(火花- 28157)(核心)明确合成KVStoreLogInfo列入黑名单的条目
(火花- 28128)(PYTHON] [SQL]熊猫分组udf跳过空分区
(火花- 28012)[SQL]蜂巢UDF支持结构体类型可折叠的表达式
(火花- 28164)修复使用的描述start-slave.sh
(火花- 27100)[SQL]使用数组而不是Seq在FilePartition为了防止StackOverflowError
(火花- 28154)(毫升)GMM修复双缓存
维护更新
看到砖6.0运行时的维护更新。
系统环境
操作系统:Ubuntu 16.04.6 LTS
Java:1.8.0_232
Scala:2.11.12
Python:3.7.3
R:R版本3.6.1 (2019-07-05)
三角洲湖:0.3.0
请注意
尽管Scala 2.12可用作为Apache火花2.4实验特性,它不支持在砖6.0运行时。
安装Python库
图书馆 |
版本 |
图书馆 |
版本 |
图书馆 |
版本 |
|---|---|---|---|---|---|
asn1crypto |
0.24.0 |
backcall |
0.1.0 |
宝途 |
2.49.0 |
boto3 |
1.9.162 |
botocore |
1.12.163 |
certifi |
2019.3.9 |
cffi |
1.12.2 |
chardet |
3.0.4 |
密码学 |
2.6.1 |
周期计 |
0.10.0 |
Cython |
0.29.6 |
装饰 |
4.4.0 |
docutils |
0.14 |
idna |
2.8 |
ipython |
7.4.0 |
ipython-genutils |
0.2.0 |
绝地武士 |
0.13.3 |
jmespath |
0.9.4 |
kiwisolver |
1.1.0 |
matplotlib |
3.0.3 |
numpy |
1.16.2 |
熊猫 |
0.24.2 |
parso |
0.3.4 |
容易受骗的人 |
0.5.1 |
pexpect |
4.6.0 |
pickleshare |
0.7.5 |
皮普 |
19.0.3 |
prompt-toolkit |
2.0.9 |
psycopg2 |
2.7.6.1 |
ptyprocess |
0.6.0 |
pyarrow |
0.13.0 |
pycparser |
2.19 |
pycurl |
7.43.0 |
Pygments |
2.3.1 |
PyGObject |
3.20.0 |
pyOpenSSL |
19.0.0 |
pyparsing |
2.4.2 |
PySocks |
1.6.8 |
python-apt |
1.1.0.b1 + ubuntu0.16.04.5 |
python-dateutil |
2.8.0 |
pytz |
2018.9 |
请求 |
2.21.0 |
s3transfer |
0.2.1 |
scikit-learn |
0.20.3 |
scipy |
1.2.1 " |
seaborn |
0.9.0 |
setuptools |
40.8.0 |
六个 |
1.12.0 |
ssh-import-id |
5.5 |
statsmodels |
0.9.0 |
traitlets |
4.3.2 |
unattended-upgrades |
0.1 |
urllib3 |
1.24.1 |
virtualenv |
16.4.1 |
wcwidth |
0.1.7 |
轮 |
0.33.1 |
安装R库
图书馆 |
版本 |
图书馆 |
版本 |
图书馆 |
版本 |
|---|---|---|---|---|---|
abind |
1.4 - 5 |
askpass |
1.1 |
为了 |
0.2.1 |
补丁 |
1.1.3 |
基地 |
3.6.1 |
base64enc |
0.1 - 3 |
黑洞 |
1.69.0-1 |
位 |
-14 - 1.1 |
bit64 |
0.9 7 |
bitops |
1.0 6 |
团 |
1.1.1 |
引导 |
-23 - 1.3 |
酿造 |
1.0 6 |
callr |
3.2.0 |
车 |
3.0 - 2 |
carData |
3.0 - 2 |
脱字符号 |
-82 - 6.0 |
cellranger |
1.1.0 |
时间 |
-53 - 2.3 |
类 |
-15 - 7.3 |
cli |
1.1.0 |
clipr |
0.5.0 |
clisymbols |
1.2.0 |
集群 |
魅惑 |
codetools |
-16 - 0.2 |
色彩 |
1.4 - 1 |
commonmark |
1.7 |
编译器 |
3.6.1 |
配置 |
0.3 |
蜡笔 |
1.3.4 |
旋度 |
3.3 |
data.table |
1.12.0 |
数据集 |
3.6.1 |
DBI |
1.0.0 |
dbplyr |
1.3.0 |
desc |
1.2.0 |
devtools |
2.0.1 |
消化 |
0.6.18 |
doMC |
1.3.5 |
dplyr |
0.8.0.1 |
省略 |
0.1.0 |
fansi |
0.4.0 |
forcats |
0.4.0 |
foreach |
1.4.4 |
外国 |
-72 - 0.8 |
打造 |
0.2.0 |
fs |
1.2.7 |
“绿带运动” |
2.1.5 |
泛型 |
发布 |
ggplot2 |
3.1.0 |
“大酒店” |
1.0.1 |
git2r |
0.25.2 |
glmnet |
-16 - 2.0 |
胶水 |
1.3.1 |
高尔 |
0.2.0 |
图形 |
3.6.1 |
grDevices |
3.6.1 |
网格 |
3.6.1 |
gridExtra |
2.3 |
gsubfn |
0.7 |
gtable |
0.3.0 |
水 |
3.22.1.1 |
还 |
魅惑 |
hms |
0.4.2 |
htmltools |
0.3.6 |
htmlwidgets |
1.3 |
httr |
1.4.0 |
hwriter |
1.3.2 |
hwriterPlus |
1.0 - 3 |
ini |
0.3.1 |
不小 |
0.9 8 |
迭代器 |
1.0.10 |
jsonlite |
1.6 |
KernSmooth |
-15 - 2.23 |
标签 |
0.3 |
晶格 |
-38 - 0.20 |
熔岩 |
1.6.5 |
lazyeval |
0.2.2 |
的小 |
0.3.7 |
lme4 |
-21 - 1.1 |
lubridate |
1.7.4 |
magrittr |
1.5 |
mapproj |
1.2.6 |
地图 |
3.3.0 |
maptools |
0.9 - 5 |
质量 |
7.3 - -51.4 |
矩阵 |
-17 - 1.2 |
MatrixModels |
0.4 - 1 |
memoise |
1.1.0 |
方法 |
3.6.1 |
mgcv |
-28 - 1.8 |
mime |
0.6 |
minqa |
1.2.4 |
ModelMetrics |
1.2.2 |
孟塞尔 |
0.5.0 |
mvtnorm |
-10 - 1.0 |
nlme |
-141 - 3.1 |
nloptr |
1.2.1 " |
nnet |
-12 - 7.3 |
numDeriv |
2016.8 - 1 |
openssl |
1.3 |
openxlsx |
4.1.0 |
平行 |
3.6.1 |
pbkrtest |
0.4 7 |
支柱 |
1.3.1 |
pkgbuild |
1.0.3 |
pkgconfig |
2.0.2 |
pkgKitten |
0.1.4 |
pkgload |
1.0.2中 |
plogr |
0.2.0 |
plyr |
1.8.4 |
赞美 |
1.0.0 |
prettyunits |
1.0.2中 |
pROC |
1.14.0 |
processx |
3.3.0 |
prodlim |
2018.04.18 |
进步 |
1.2.0 |
原型 |
1.0.0 |
ps |
1.3.0 |
purrr |
0.3.2 |
quantreg |
5.38 |
R.methodsS3 |
1.7.1上 |
R.oo |
1.22.0 |
R.utils |
2.8.0 |
r2d3 |
0.2.3 |
R6 |
测试盒框 |
randomForest |
-14 - 4.6 |
rappdirs |
0.3.1 |
rcmdcheck |
1.3.2 |
RColorBrewer |
1.1 - 2 |
Rcpp |
1.0.1 |
RcppEigen |
0.3.3.5.0 |
RcppRoll |
0.3.0 |
RCurl |
1.95 - -4.12 |
readr |
1.3.1 |
readxl |
1.3.1 |
食谱 |
0.1.5 |
复赛 |
1.0.1 |
遥控器 |
2.0.2 |
reshape2 |
3 |
力拓 |
0.5.16 |
rlang |
0.3.3 |
RODBC |
-15 - 1.3 |
roxygen2 |
但是 |
rpart |
-15 - 4.1 |
rprojroot |
1.3 - 2 |
Rserve |
1.8 6 |
RSQLite |
2.1.1 |
rstudioapi |
0.10 |
尺度 |
1.0.0 |
sessioninfo |
1.1.1 |
sp |
1.3 - 1 |
sparklyr |
1.0.0 |
SparkR |
2.4.4 |
SparseM |
1.77 |
空间 |
-11 - 7.3 |
样条函数 |
3.6.1 |
sqldf |
-11 - 0.4 |
SQUAREM |
2017.10 - 1 |
statmod |
1.4.30 |
统计数据 |
3.6.1 |
stats4 |
3.6.1 |
stringi |
3 |
stringr |
1.4.0 |
生存 |
2.44 - -1.1 |
sys |
3.1 |
tcltk |
3.6.1 |
TeachingDemos |
2.10 |
testthat |
2.0.1 |
宠物猫 |
2.1.1 |
tidyr |
0.8.3 |
tidyselect |
0.2.5 |
timeDate |
3043.102 |
工具 |
3.6.1 |
usethis |
1.4.0 |
use utf8 |
1.1.4 |
跑龙套 |
3.6.1 |
viridisLite |
0.3.0 |
晶须 |
0.3 - 2 |
withr |
2.1.2 |
xml2 |
1.2.0 |
xopen |
1.0.0 |
yaml |
2.2.0 |
邮政编码 |
2.0.1 |
安装了Java和Scala库(Scala 2.11集群版)
组ID |
工件ID |
版本 |
|---|---|---|
antlr |
antlr |
2.7.7 |
com.amazonaws |
amazon-kinesis-client |
1.8.10 |
com.amazonaws |
aws-java-sdk-autoscaling |
1.11.595 |
com.amazonaws |
aws-java-sdk-cloudformation |
1.11.595 |
com.amazonaws |
aws-java-sdk-cloudfront |
1.11.595 |
com.amazonaws |
aws-java-sdk-cloudhsm |
1.11.595 |
com.amazonaws |
aws-java-sdk-cloudsearch |
1.11.595 |
com.amazonaws |
aws-java-sdk-cloudtrail |
1.11.595 |
com.amazonaws |
aws-java-sdk-cloudwatch |
1.11.595 |
com.amazonaws |
aws-java-sdk-cloudwatchmetrics |
1.11.595 |
com.amazonaws |
aws-java-sdk-codedeploy |
1.11.595 |
com.amazonaws |
aws-java-sdk-cognitoidentity |
1.11.595 |
com.amazonaws |
aws-java-sdk-cognitosync |
1.11.595 |
com.amazonaws |
aws-java-sdk-config |
1.11.595 |
com.amazonaws |
aws-java-sdk-core |
1.11.595 |
com.amazonaws |
aws-java-sdk-datapipeline |
1.11.595 |
com.amazonaws |
aws-java-sdk-directconnect |
1.11.595 |
com.amazonaws |
aws-java-sdk-directory |
1.11.595 |
com.amazonaws |
aws-java-sdk-dynamodb |
1.11.595 |
com.amazonaws |
aws-java-sdk-ec2 |
1.11.595 |
com.amazonaws |
aws-java-sdk-ecs |
1.11.595 |
com.amazonaws |
aws-java-sdk-efs |
1.11.595 |
com.amazonaws |
aws-java-sdk-elasticache |
1.11.595 |
com.amazonaws |
aws-java-sdk-elasticbeanstalk |
1.11.595 |
com.amazonaws |
aws-java-sdk-elasticloadbalancing |
1.11.595 |
com.amazonaws |
aws-java-sdk-elastictranscoder |
1.11.595 |
com.amazonaws |
aws-java-sdk-emr |
1.11.595 |
com.amazonaws |
aws-java-sdk-glacier |
1.11.595 |
com.amazonaws |
aws-java-sdk-glue |
1.11.595 |
com.amazonaws |
aws-java-sdk-iam |
1.11.595 |
com.amazonaws |
aws-java-sdk-importexport |
1.11.595 |
com.amazonaws |
aws-java-sdk-kinesis |
1.11.595 |
com.amazonaws |
aws-java-sdk-kms |
1.11.595 |
com.amazonaws |
aws-java-sdk-lambda |
1.11.595 |
com.amazonaws |
aws-java-sdk-logs |
1.11.595 |
com.amazonaws |
aws-java-sdk-machinelearning |
1.11.595 |
com.amazonaws |
aws-java-sdk-opsworks |
1.11.595 |
com.amazonaws |
aws-java-sdk-rds |
1.11.595 |
com.amazonaws |
aws-java-sdk-redshift |
1.11.595 |
com.amazonaws |
aws-java-sdk-route53 |
1.11.595 |
com.amazonaws |
aws-java-sdk-s3 |
1.11.595 |
com.amazonaws |
aws-java-sdk-ses |
1.11.595 |
com.amazonaws |
aws-java-sdk-simpledb |
1.11.595 |
com.amazonaws |
aws-java-sdk-simpleworkflow |
1.11.595 |
com.amazonaws |
aws-java-sdk-sns |
1.11.595 |
com.amazonaws |
aws-java-sdk-sqs |
1.11.595 |
com.amazonaws |
aws-java-sdk-ssm |
1.11.595 |
com.amazonaws |
aws-java-sdk-storagegateway |
1.11.595 |
com.amazonaws |
aws-java-sdk-sts |
1.11.595 |
com.amazonaws |
aws-java-sdk-support |
1.11.595 |
com.amazonaws |
aws-java-sdk-swf-libraries |
1.11.22 |
com.amazonaws |
aws-java-sdk-workspaces |
1.11.595 |
com.amazonaws |
jmespath-java |
1.11.595 |
com.carrotsearch |
hppc |
0.7.2 |
com.chuusai |
shapeless_2.11 |
2.3.2 |
com.clearspring.analytics |
流 |
2.7.0 |
com.databricks |
Rserve |
1.8 - 3 |
com.databricks |
dbml-local_2.11 |
0.5.0-db8-spark2.4 |
com.databricks |
dbml-local_2.11-tests |
0.5.0-db8-spark2.4 |
com.databricks |
jets3t |
0.7.1-0 |
com.databricks.scalapb |
compilerplugin_2.11 |
0.4.15-9 |
com.databricks.scalapb |
scalapb-runtime_2.11 |
0.4.15-9 |
com.esotericsoftware |
kryo-shaded |
4.0.2 |
com.esotericsoftware |
minlog |
1.3.0 |
com.fasterxml |
同学 |
1.0.0 |
com.fasterxml.jackson.core |
jackson-annotations |
2.6.7 |
com.fasterxml.jackson.core |
jackson-core |
2.6.7 |
com.fasterxml.jackson.core |
jackson-databind |
2.6.7.1 |
com.fasterxml.jackson.dataformat |
jackson-dataformat-cbor |
2.6.7 |
com.fasterxml.jackson.datatype |
jackson-datatype-joda |
2.6.7 |
com.fasterxml.jackson.module |
jackson-module-paranamer |
2.6.7 |
com.fasterxml.jackson.module |
jackson-module-scala_2.11 |
2.6.7.1 |
com.github.fommil |
jniloader |
1.1 |
com.github.fommil.netlib |
核心 |
1.1.2 |
com.github.fommil.netlib |
native_ref-java |
1.1 |
com.github.fommil.netlib |
native_ref-java-natives |
1.1 |
com.github.fommil.netlib |
native_system-java |
1.1 |
com.github.fommil.netlib |
native_system-java-natives |
1.1 |
com.github.fommil.netlib |
netlib-native_ref-linux-x86_64-natives |
1.1 |
com.github.fommil.netlib |
netlib-native_system-linux-x86_64-natives |
1.1 |
com.github.luben |
zstd-jni |
1.3.2-2 |
com.github.rwl |
jtransforms |
测试盒框 |
com.google.code.findbugs |
jsr305 |
2.0.1 |
com.google.code.gson |
gson |
2.2.4 |
com.google.guava |
番石榴 |
15.0 |
com.google.protobuf |
protobuf-java |
2.6.1 |
com.googlecode.javaewah |
JavaEWAH |
0.3.2 |
com.h2database |
h2 |
1.3.174 |
com.jcraft |
jsch |
0.1.50 |
com.jolbox |
bonecp |
0.8.0.RELEASE |
com.microsoft.azure |
azure-data-lake-store-sdk |
2.2.8 |
com.microsoft.azure |
azure存储 |
7.0.0 |
com.microsoft.sqlserver |
mssql-jdbc |
6.2.2.jre8 |
com.ning |
compress-lzf |
1.0.3 |
com.sun.mail |
javax.mail |
1.5.2 |
com.thoughtworks.paranamer |
paranamer |
2.8 |
com.trueaccord.lenses |
lenses_2.11 |
0.3 |
com.twitter |
chill-java |
0.9.3 |
com.twitter |
chill_2.11 |
0.9.3 |
com.twitter |
parquet-hadoop-bundle |
1.6.0 |
com.twitter |
util-app_2.11 |
6.23.0 |
com.twitter |
util-core_2.11 |
6.23.0 |
com.twitter |
util-jvm_2.11 |
6.23.0 |
com.typesafe |
配置 |
1.2.1 " |
com.typesafe.scala-logging |
scala-logging-api_2.11 |
2.1.2 |
com.typesafe.scala-logging |
scala-logging-slf4j_2.11 |
2.1.2 |
com.univocity |
univocity-parsers |
2.7.3 |
com.vlkan |
flatbuffers |
1.2.0-3f79e055 |
com.zaxxer |
HikariCP |
3.1.0 |
commons-beanutils |
commons-beanutils |
1.9.3 |
commons-cli |
commons-cli |
1.2 |
commons-codec |
commons-codec |
1.10 |
commons-collections |
commons-collections |
3.2.2 |
commons configuration |
commons configuration |
1.6 |
commons-dbcp |
commons-dbcp |
1.4 |
commons-digester |
commons-digester |
1.8 |
commons-httpclient |
commons-httpclient |
3.1 |
commons-io |
commons-io |
2.4 |
commons lang |
commons lang |
2.6 |
通用日志 |
通用日志 |
1.1.3 |
commons net |
commons net |
3.1 |
commons-pool |
commons-pool |
1.5.4 |
info.ganglia.gmetric4j |
gmetric4j |
1.0.7 |
io.airlift |
aircompressor |
0.10 |
io.dropwizard.metrics |
metrics-core |
3.1.5 |
io.dropwizard.metrics |
metrics-ganglia |
3.1.5 |
io.dropwizard.metrics |
metrics-graphite |
3.1.5 |
io.dropwizard.metrics |
metrics-healthchecks |
3.1.5 |
io.dropwizard.metrics |
metrics-jetty9 |
3.1.5 |
io.dropwizard.metrics |
metrics-json |
3.1.5 |
io.dropwizard.metrics |
metrics-jvm |
3.1.5 |
io.dropwizard.metrics |
metrics-log4j |
3.1.5 |
io.dropwizard.metrics |
metrics-servlets |
3.1.5 |
io.netty |
网状的 |
3.9.9.Final |
io.netty |
netty-all |
4.1.17.Final |
javax.activation |
激活 |
1.1.1 |
javax.annotation |
javax.annotation-api |
1.2 |
javax.el |
javax.el-api |
2.2.4 |
javax.jdo |
jdo api |
3.0.1 |
javax.servlet |
javax.servlet-api |
3.1.0 |
javax.servlet.jsp |
jsp-api |
2.1 |
javax.transaction |
jta |
1.1 |
javax.validation |
验证api |
1.1.0.Final |
javax.ws.rs |
javax.ws.rs-api |
2.0.1 |
javax.xml.bind |
jaxb-api |
2.2.2 |
javax.xml.stream |
stax-api |
1.0 - 2 |
javolution |
javolution |
5.5.1 |
jline |
jline |
2.14.6 |
joda-time |
joda-time |
2.9.3 |
junit |
junit |
4.12 |
log4j |
apache-log4j-extras |
1.2.17 |
log4j |
log4j |
1.2.17 |
net.hydromatic |
eigenbase-properties |
1.1.5 |
net.razorvine |
地幔岩 |
4.13 |
net.sf.jpam |
jpam |
1.1 |
net.sf.opencsv |
opencsv |
2.3 |
net.sf.supercsv |
super-csv |
2.2.0 |
net.snowflake |
snowflake-ingest-sdk |
0.9.5 |
net.snowflake |
snowflake-jdbc |
3.6.15 |
net.snowflake |
spark-snowflake_2.11 |
2.4.10-spark_2.4 |
net.sourceforge.f2j |
arpack_combined_all |
0.1 |
org.acplt |
oncrpc |
1.0.7 |
org.antlr |
ST4 |
4.0.4 |
org.antlr |
antlr-runtime |
3.4 |
org.antlr |
antlr4-runtime |
4.7 |
org.antlr |
stringtemplate |
3.2.1之上 |
org.apache.ant |
蚂蚁 |
1.9.2 |
org.apache.ant |
ant-jsch |
1.9.2 |
org.apache.ant |
ant-launcher |
1.9.2 |
org.apache.arrow |
arrow-format |
0.10.0 |
org.apache.arrow |
arrow-memory |
0.10.0 |
org.apache.arrow |
arrow-vector |
0.10.0 |
org.apache.avro |
avro |
1.8.2 |
org.apache.avro |
avro-ipc |
1.8.2 |
org.apache.avro |
avro-mapred-hadoop2 |
1.8.2 |
org.apache.calcite |
calcite-avatica |
1.2.0-incubating |
org.apache.calcite |
calcite-core |
1.2.0-incubating |
org.apache.calcite |
calcite-linq4j |
1.2.0-incubating |
org.apache.commons |
commons-compress |
1.8.1 |
org.apache.commons |
commons-crypto |
1.0.0 |
org.apache.commons |
commons-lang3 |
3.5 |
org.apache.commons |
commons-math3 |
3.4.1 |
org.apache.curator |
curator-client |
2.7.1 |
org.apache.curator |
curator-framework |
2.7.1 |
org.apache.curator |
curator-recipes |
2.7.1 |
org.apache.derby |
德比 |
10.12.1.1 |
org.apache.directory.api |
api-asn1-api |
1.0.0-M20 |
org.apache.directory.api |
api-util |
1.0.0-M20 |
org.apache.directory.server |
apacheds-i18n |
2.0.0-M15 |
org.apache.directory.server |
apacheds-kerberos-codec |
2.0.0-M15 |
org.apache.hadoop |
hadoop-annotations |
2.7.3 |
org.apache.hadoop |
hadoop-auth |
2.7.3 |
org.apache.hadoop |
hadoop-client |
2.7.3 |
org.apache.hadoop |
hadoop-common |
2.7.3 |
org.apache.hadoop |
hadoop-hdfs |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-app |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-common |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-core |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-jobclient |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-shuffle |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-api |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-client |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-common |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-server-common |
2.7.3 |
org.apache.htrace |
htrace-core |
3.1.0-incubating |
org.apache.httpcomponents |
httpclient |
4.5.6 |
org.apache.httpcomponents |
httpcore |
4.4.10 |
org.apache.ivy |
艾薇 |
测试盒框 |
org.apache.orc |
orc-core-nohive |
1.5.5 |
org.apache.orc |
orc-mapreduce-nohive |
1.5.5 |
org.apache.orc |
orc-shims |
1.5.5 |
org.apache.parquet |
parquet-column |
1.10.1.2-databricks3 |
org.apache.parquet |
parquet-common |
1.10.1.2-databricks3 |
org.apache.parquet |
parquet-encoding |
1.10.1.2-databricks3 |
org.apache.parquet |
parquet-format |
测试盒框 |
org.apache.parquet |
parquet-hadoop |
1.10.1.2-databricks3 |
org.apache.parquet |
parquet-jackson |
1.10.1.2-databricks3 |
org.apache.thrift |
libfb303 |
0.9.3 |
org.apache.thrift |
libthrift |
0.9.3 |
org.apache.xbean |
xbean-asm6-shaded |
4.8 |
org.apache.zookeeper |
动物园管理员 |
3.4.6 |
org.codehaus.jackson |
jackson-core-asl |
1.9.13 |
org.codehaus.jackson |
jackson-jaxrs |
1.9.13 |
org.codehaus.jackson |
jackson-mapper-asl |
1.9.13 |
org.codehaus.jackson |
jackson-xc |
1.9.13 |
org.codehaus.janino |
commons-compiler |
3.0.10 |
org.codehaus.janino |
janino |
3.0.10 |
org.datanucleus |
datanucleus-api-jdo |
3.2.6 |
org.datanucleus |
datanucleus-core |
3.2.10 |
org.datanucleus |
datanucleus-rdbms |
3.2.9 |
org.eclipse.jetty |
jetty-client |
9.3.27.v20190418 |
org.eclipse.jetty |
jetty-continuation |
9.3.27.v20190418 |
org.eclipse.jetty |
jetty-http |
9.3.27.v20190418 |
org.eclipse.jetty |
jetty-io |
9.3.27.v20190418 |
org.eclipse.jetty |
jetty-jndi |
9.3.27.v20190418 |
org.eclipse.jetty |
jetty-plus |
9.3.27.v20190418 |
org.eclipse.jetty |
jetty-proxy |
9.3.27.v20190418 |
org.eclipse.jetty |
jetty-security |
9.3.27.v20190418 |
org.eclipse.jetty |
jetty服务器 |
9.3.27.v20190418 |
org.eclipse.jetty |
jetty servlet |
9.3.27.v20190418 |
org.eclipse.jetty |
jetty-servlets |
9.3.27.v20190418 |
org.eclipse.jetty |
jetty-util |
9.3.27.v20190418 |
org.eclipse.jetty |
jetty-webapp |
9.3.27.v20190418 |
org.eclipse.jetty |
jetty-xml |
9.3.27.v20190418 |
org.fusesource.leveldbjni |
leveldbjni-all |
1.8 |
org.glassfish.hk2 |
hk2-api |
2.4.0-b34 |
org.glassfish.hk2 |
hk2-locator |
2.4.0-b34 |
org.glassfish.hk2 |
hk2-utils |
2.4.0-b34 |
org.glassfish.hk2 |
osgi-resource-locator |
1.0.1 |
org.glassfish.hk2.external |
aopalliance-repackaged |
2.4.0-b34 |
org.glassfish.hk2.external |
javax.inject |
2.4.0-b34 |
org.glassfish.jersey.bundles.repackaged |
jersey-guava |
2.22.2 |
org.glassfish.jersey.containers |
jersey-container-servlet |
2.22.2 |
org.glassfish.jersey.containers |
jersey-container-servlet-core |
2.22.2 |
org.glassfish.jersey.core |
jersey客户端 |
2.22.2 |
org.glassfish.jersey.core |
jersey-common |
2.22.2 |
org.glassfish.jersey.core |
jersey-server |
2.22.2 |
org.glassfish.jersey.media |
jersey-media-jaxb |
2.22.2 |
org.hamcrest |
hamcrest-core |
1.3 |
org.hamcrest |
hamcrest-library |
1.3 |
org.hibernate |
hibernate验证框架 |
5.1.1.Final |
org.iq80.snappy |
时髦的 |
0.2 |
org.javassist |
javassist |
3.18.1-GA |
org.jboss.logging |
jboss-logging |
3.1.3.GA |
org.jdbi |
jdbi |
2.63.1 |
org.joda |
joda-convert |
1.7 |
org.jodd |
jodd-core |
3.5.2 |
org.json4s |
json4s-ast_2.11 |
3.5.3 |
org.json4s |
json4s-core_2.11 |
3.5.3 |
org.json4s |
json4s-jackson_2.11 |
3.5.3 |
org.json4s |
json4s-scalap_2.11 |
3.5.3 |
org.lz4 |
lz4-java |
1.4.0 |
org.mariadb.jdbc |
mariadb-java-client |
2.1.2 |
org.mockito |
mockito-core |
1.10.19 |
org.objenesis |
objenesis |
2.5.1 |
org.postgresql |
postgresql |
42.1.4 |
org.roaringbitmap |
RoaringBitmap |
0.7.45 |
org.roaringbitmap |
垫片 |
0.7.45 |
org.rocksdb |
rocksdbjni |
6.2.2 |
org.rosuda.REngine |
REngine |
魅惑 |
org.scala-lang |
scala-compiler_2.11 |
2.11.12 |
org.scala-lang |
scala-library_2.11 |
2.11.12 |
org.scala-lang |
scala-reflect_2.11 |
2.11.12 |
org.scala-lang.modules |
scala-parser-combinators_2.11 |
1.1.0 |
org.scala-lang.modules |
scala-xml_2.11 |
1.0.5 |
org.scala-sbt |
测试界面 |
1.0 |
org.scalacheck |
scalacheck_2.11 |
1.12.5 |
org.scalactic |
scalactic_2.11 |
3.0.3 |
org.scalanlp |
breeze-macros_2.11 |
0.13.2 |
org.scalanlp |
breeze_2.11 |
0.13.2 |
org.scalatest |
scalatest_2.11 |
3.0.3 |
org.slf4j |
jcl-over-slf4j |
1.7.16 |
org.slf4j |
jul-to-slf4j |
1.7.16 |
org.slf4j |
slf4j-api |
1.7.16 |
org.slf4j |
slf4j-log4j12 |
1.7.16 |
org.spark-project.hive |
hive-beeline |
1.2.1.spark2 |
org.spark-project.hive |
hive-cli |
1.2.1.spark2 |
org.spark-project.hive |
hive-jdbc |
1.2.1.spark2 |
org.spark-project.hive |
hive-metastore |
1.2.1.spark2 |
org.spark-project.spark |
未使用的 |
1.0.0 |
org.spire-math |
spire-macros_2.11 |
0.13.0 |
org.spire-math |
spire_2.11 |
0.13.0 |
org.springframework |
spring核心 |
4.1.4.RELEASE |
org.springframework |
spring测试 |
4.1.4.RELEASE |
org.tukaani |
xz |
1.5 |
org.typelevel |
machinist_2.11 |
0.6.1 |
org.typelevel |
macro-compat_2.11 |
1.1.1 |
org.xerial |
sqlite-jdbc |
3.8.11.2 |
org.xerial.snappy |
snappy-java |
1.1.7.3 |
org.yaml |
snakeyaml |
1.16 |
奥罗 |
奥罗 |
2.0.8 |
software.amazon.ion |
ion-java |
1.0.2中 |
stax |
stax-api |
1.0.1 |
xmlenc |
xmlenc |
0.52 |