砖运行时的5.0(不支持)
砖在2018年11月发布了这张照片。
以下版本注释提供信息数据砖5.0运行时,由Apache火花。
新功能
三角洲湖
子查询现在支持
在哪里
支持的条款删除
和更新
命令。新的可扩展的实现
合并
命令。插入和更新的数量上没有限制。
可用于SCD 1型和2型查询。
可以从流媒体查询执行插入“更新”模式(例如,写流聚合输出到三角洲表)。看例子写流聚合成砖使用合并和foreachBatch三角洲笔记本。
结构化流
Azure Blob存储文件通知基于流源。这可以显著降低上市成本在Azure上运行一个结构化流查询时文件Blob存储。而不是使用清单找到新的文件进行处理,这个流源可以直接读取文件事件通知来找到新的文件。看到Azure Blob存储文件源Azure的队列存储(遗留)。
改进
三角洲湖
优化
性能和稳定性。的
优化
命令尽快提交批,而不是最后。默认的线程数量减少
优化
并行运行。这是一个严格的大型表的性能提高。加快
优化
写作时写道,避免不必要的排序数据分区表。加快
优化ZORDER通过
通过增量。这意味着该命令现在避免重写数据文件已经z值相同的列(s)。看到数据不与z顺序索引三角洲湖。
快照隔离当δ表查询。任何查询与多个引用一个三角洲表(例如,自)读取来自同一个表快照即使有并发更新表。
改进查询延迟阅读时小(< 2000文件)δ缓存元数据表的司机。
改善MLlib逻辑回归性能。
改进MLlib树算法性能。
升级几个Java和Scala库。看到安装了Java和Scala库(Scala 2.11集群版)。
升级安装Python库:
皮普:10.0.1至18.0
setuptools: 39.2.0 40.4.1
龙卷风:5.0.2 5.1.1
升级安装几个R库。看到安装R库。
错误修复
三角洲湖
配置中设置SQL相依现在正确地适用于三角洲湖首次加载操作在不同的笔记本。
固定一个错误
删除
命令会错误地删除条件的求值结果为空的行。流,超过两天处理首批(也就是说,表中的数据流开始时)不再失败
FileNotFoundException
当试图从一个检查点恢复。避免导致竞态条件
NoClassDefError
当加载一个新表。解决
真空
AssertionError之外声明的操作可能失败的地方:“不应该有任何绝对路径删除。”固定
显示创建表
命令不包括Hive-generated存储属性。
执行人,把许多
NoClassDefFoundError
为内部引发类错误现在自动重新启动修复这个问题。
Apache火花
砖5.0运行时包含Apache火花测试盒框。
核心和火花SQL
请注意
本文包含引用奴隶,砖不使用的一个术语。从软件中删除这个词时,我们就将它从这篇文章。
主要功能
障碍执行模式:(火花- 24374)在调度程序支持障碍执行模式,更好的整合与深度学习框架。
Scala 2.12支持:(火花- 14220)添加实验Scala 2.12支持。现在您可以使用Scala 2.12构建火花和写火花在Scala 2.12的应用程序。
高阶函数:(火花- 23899)添加许多新的内置函数,包括高阶函数,简化处理复杂数据类型。看到Apache火花内置函数。
内置Avro数据来源:(火花- 24768)内联Spark-Avro包逻辑类型支持,更好的性能和可用性。
API
(火花- 24035)SQL语法主
(火花- 24940)合并和重新分配为SQL查询提示
(火花- 19602)支持列解决完全限定的列名称
(火花- 21274)实现除所有和相交
性能和稳定性
(火花- 16406)引用解析为大量的列应该会更快
(火花- 23486)从外部目录缓存函数名lookupFunctions
(火花- 23803)支持桶修剪
(火花- 24802)优化规则排除
(火花- 4502)修剪为拼花表嵌套模式
(火花- 24296)支持复制块大于2 GB
(火花- 24307)支持发送消息超过2 gb的内存
(火花- 23243)洗牌+重新分配一个抽样可能导致不正确的答案
(火花- 25181)有限BlockManager主人和奴隶线程池的大小,降低内存开销,当网络是缓慢的
连接器
(火花- 23972)更新镶花1.8.2 1.10.0
(火花- 25419)镶木地板谓词下推改进
(火花- 23456)本机兽人读者在默认情况下
(火花- 22279)使用本机兽人读者阅读蜂巢serde表默认情况下
(火花- 21783)默认打开兽人过滤器下推
(火花- 24959)加快count () JSON和CSV
(火花- 24244)解析CSV解析器只需要列
(火花- 23786)CSV模式验证,列名不检查
(火花- 24423)选择从JDBC查询用于指定查询阅读
(火花- 22814)分区支持JDBC的日期/时间戳列
(火花- 24771)更新从1.7.7 Avro到1.8
PySpark
(火花- 24215)实现即时抓取DataFrame api
(火花- 22274)- - - - - -(火花- 22239)用户定义的聚合函数与熊猫udf
(火花- 24396)为Python添加结构化流ForeachWriter
(火花- 23874)Apache箭头0.10.0升级
(火花- 25004)添加spark.executor.pyspark。内存限制
(火花- 23030)使用箭头流格式创建和收集大熊猫DataFrames
(火花- 24624)支持Python UDF和标量熊猫UDF的混合物
其他值得注意的变化
(火花- 24596)Non-cascading缓存失效
(火花- 23880)不触发任何缓存数据的工作吗
(火花- 23510)(火花- 24312)支持蜂巢2.2和2.3 metastore蜂巢
(火花- 23711)为UnsafeProjection添加后备发电机
(火花- 24626)并行化的位置大小计算分析表命令
结构化流
主要功能
(火花- 24565)暴露的输出行每个microbatch DataFrame使用foreachBatch (Scala, Python和Java)
(火花- 24396)Python API foreach和ForeachWriter补充道
(火花- 25005)支持“kafka.isolation。水平”只读提交记录使用事务从卡夫卡主题写生产商。
其他值得注意的变化
(火花- 24662)支持流的限制算子附加或完整的模式
(火花- 24763)删除冗余的关键数据流聚合的价值
(火花- 24156)更快的生成输出结果和/或国家清理与有状态操作(mapGroupsWithState stream-stream加入,流聚合流dropDuplicates)当没有输入流中的数据。
(火花- 24730)支持选择的最小或最大水印当有多个查询中输入流
(火花- 25399)固定一臭虫,其重用执行线程从连续处理microbatch流可能导致一个正确性问题
(火花- 18057)客户机从0.10.0.1到2.0.0版本升级卡夫卡
编程指南:结构化流编程指南。
MLlib
主要功能
(火花- 22666)火花数据源图像格式
其他值得注意的变化
(火花- 22119)(火花- 23412)(火花- 23217)添加余弦距离测量KMeans / BisectingKMeans /聚类评估者
(火花- 10697)在关联规则挖掘提升计算
(火花- 14682)(火花- 24231)提供evaluateEachIteration方法或等价的火花。毫升GBTs
(火花- 7132)(火花- 24333)添加符合验证将火花。毫升GBT
(火花- 15784)(火花- 19826)迭代聚类spark.ml增加力量
(火花- 15064)语言环境支持StopWordsRemover
(火花- 21741)Python API DataFrame-based多元史书
(火花- 21898)(火花- 23751)在MLlib特性为KolmogorovSmirnovTest平价
(火花- 10884)支持对单一实例相关的回归和分类预测模型
(火花- 23783)添加新的通用毫升管道出口特点
(火花- 11239)PMML出口毫升线性回归
编程指南:机器学习库(MLlib)指南。
SparkR
(火花- 25393)添加新函数from_csv ()
(火花- 21291)添加R partitionBy DataFrame API
(火花- 25007)添加array_intersect / array_except / array_union / SparkR洗牌
(火花- 25234)避免在并行处理整数溢出
(火花- 25117)添加除了R所有支持和相交
(火花- 24537)添加array_remove / array_zip / map_from_arrays / array_distinct
(火花- 24187)增加SparkR array_join函数
(火花- 24331)添加arrays_overlap、array_repeat map_entries SparkR
(火花- 24198)SparkR添加部分功能
(火花- 24197)添加array_sort SparkR函数
(火花- 24185)SparkR加平功能
(火花- 24069)添加array_min / array_max功能
(火花- 24054)添加array_position函数/ element_at功能
(火花- 23770)添加在SparkR repartitionByRange API
编程指南:在火花SparkR (R)。
的用法
(火花- 23451)反对KMeans computeCost
(火花- 25345)反对从ImageSchema readImages api
行为的变化
(火花- 23549)比较时间戳和日期时的时间戳
(火花- 24324)熊猫分组地图UDF应该分配结果列的名字
(火花- 25088)其他服务器默认&文档更新
(火花- 23425)数据加载与通配符使用hdfs文件路径不能正常工作
(火花- 23173)from_json可以产生零位标记为非空字段
(火花- 24966)为集合操作实现优先规则
(火花- 25708)在没有GROUP BY总应该是全球性的
(火花- 24341)正确处理多值子查询
(火花- 19724)创建一个管理表存在默认位置应该抛出一个异常
看到迁移向导对所有的行为变化。
已知的问题
(火花- 25793)负荷模型在BisectingKMeans bug
(火花- 25271)cta与蜂巢拼花表应该利用本地拼花源
(火花- 24935)问题执行蜂巢UDAF从火花2.2开始的
维护更新
看到砖5.0运行时的维护更新。
系统环境
操作系统:Ubuntu 16.04.5 LTS
Java:1.8.0_162
Scala:2.11.8
Python:2.7.12 Python 2集群和3.5.2 Python 3集群。
R:R版本3.4.4 (2018-03-15)
GPU集群:以下安装NVIDIA GPU库:
375.66特斯拉的司机
CUDA 9.0
cuDNN 7.0
请注意
尽管Scala 2.12支持Apache 2.4火花,它在砖5.0运行时不支持。
安装Python库
图书馆 |
版本 |
图书馆 |
版本 |
图书馆 |
版本 |
---|---|---|---|---|---|
ansi2html |
1.1.1 |
argparse |
1.2.1 " |
backports-abc |
0.5 |
宝途 |
2.42.0 |
boto3 |
1.4.1 |
botocore |
1.4.70 |
brewer2mpl |
1.4.1 |
certifi |
2016.2.28 |
cffi |
1.7.0 |
chardet |
tripwire |
彩色光 |
0.3.7 |
configobj |
5.0.6 |
密码学 |
1.5 |
周期计 |
0.10.0 |
Cython |
0.24.1 |
装饰 |
4.0.10 |
docutils |
0.14 |
enum34 |
1.1.6 |
et-xmlfile |
1.0.1 |
freetype-py |
1.0.2中 |
funcsigs |
1.0.2中 |
fusepy |
2.0.4 |
期货 |
3.2.0 |
ggplot |
0.6.8 |
html5lib |
0.999 |
idna |
2.1 |
ipaddress |
1.0.16 |
ipython |
2.2.0 |
ipython-genutils |
0.1.0 |
jdcal |
1.2 |
Jinja2 |
2.8 |
jmespath |
0.9.0 |
llvmlite |
0.13.0 |
lxml |
3.6.4 |
MarkupSafe |
0.23 |
matplotlib |
1.5.3 |
mpld3 |
0.2 |
msgpack-python |
0.4.7 |
ndg-httpsclient |
0.3.3 |
numba |
0.28.1 |
numpy |
1.11.1 |
openpyxl |
2.3.2 |
熊猫 |
0.19.2 |
pathlib2 |
魅惑 |
容易受骗的人 |
0.4.1 |
pexpect |
4.0.1 |
pickleshare |
0.7.4 |
枕头 |
3.3.1 |
皮普 |
18.0 |
厚度 |
3.9 |
prompt-toolkit |
1.0.7 |
psycopg2 |
2.6.2 |
ptyprocess |
0.5.1 |
py4j |
0.10.3 |
pyarrow |
0.8.0 |
pyasn1 |
0.1.9 |
pycparser |
2.14 |
Pygments |
2.1.3 |
PyGObject |
3.20.0 |
pyOpenSSL |
16.0.0 |
pyparsing |
2.2.0 |
pypng |
0.0.18 |
Python |
2.7.12 |
python-dateutil |
2.5.3 |
python-geohash |
0.8.5 |
pytz |
2016.6.1 |
请求 |
2.11.1 |
s3transfer |
0.1.9 |
scikit-learn |
0.18.1 |
scipy |
0.18.1 |
冲刷 |
0.32 |
seaborn |
是0.7.1 |
setuptools |
40.4.1 |
simplejson |
3.8.2 |
simples3 |
1.0 |
singledispatch |
3.4.0.3 |
六个 |
1.10.0 |
statsmodels |
0.6.1 |
龙卷风 |
5.1.1 |
traitlets |
4.3.0 |
urllib3 |
1.19.1 |
virtualenv |
15.0.1 |
wcwidth |
0.1.7 |
轮 |
0.31.1 |
wsgiref |
0.1.2 |
安装R库
图书馆 |
版本 |
图书馆 |
版本 |
图书馆 |
版本 |
---|---|---|---|---|---|
abind |
1.4 - 5 |
为了 |
0.2.0 |
补丁 |
1.1.2 |
基地 |
3.4.4 |
base64enc |
0.1 - 3 |
黑洞 |
1.66.0-1 |
bindr |
0.1.1 |
bindrcpp |
0.2.2 |
位 |
-14 - 1.1 |
bit64 |
0.9 7 |
bitops |
1.0 6 |
团 |
1.1.1 |
引导 |
-20 - 1.3 |
酿造 |
1.0 6 |
扫帚 |
0.5.0 |
callr |
3.0.0 |
车 |
3.0 - 2 |
carData |
3.0 - 1 |
脱字符号 |
-80 - 6.0 |
cellranger |
1.1.0 |
时间 |
-52 - 2.3 |
类 |
-14 - 7.3 |
cli |
1.0.0 |
集群 |
2.0.7-1 |
codetools |
-15 - 0.2 |
色彩 |
1.3 - 2 |
commonmark |
1.5 |
编译器 |
3.4.4 |
蜡笔 |
1.3.4 |
旋度 |
3.2 |
CVST |
0.2 - 2 |
data.table |
1.11.4 |
数据集 |
3.4.4 |
DBI |
1.0.0 |
ddalpha |
1.3.4 |
DEoptimR |
1.0 8 |
desc |
1.2.0 |
devtools |
1.13.6 |
消化 |
0.6.16 |
dimRed |
0.1.0 |
doMC |
1.3.5 |
dplyr |
0.7.6 |
DRR |
0.0.3 |
fansi |
0.3.0 |
forcats |
0.3.0 |
foreach |
1.4.4 |
外国 |
-70 - 0.8 |
“绿带运动” |
2.1.3 |
几何 |
0.3 6 |
ggplot2 |
3.0.0 |
git2r |
0.23.0 |
glmnet |
-16 - 2.0 |
胶水 |
1.3.0 |
高尔 |
0.1.2 |
图形 |
3.4.4 |
grDevices |
3.4.4 |
网格 |
3.4.4 |
gsubfn |
0.7 |
gtable |
0.2.0 |
水 |
3.20.0.2 |
还 |
1.1.2 |
hms |
0.4.2 |
httr |
1.3.1 |
hwriter |
1.3.2 |
hwriterPlus |
1.0 - 3 |
不小 |
0.9 7 |
迭代器 |
1.0.10 |
jsonlite |
1.5 |
kernlab |
-27 - 0.9 |
KernSmooth |
-15 - 2.23 |
标签 |
0.3 |
晶格 |
-35 - 0.20 |
熔岩 |
1.6.3 |
lazyeval |
0.2.1 |
的小 |
0.3.4 |
lme4 |
1.1 19次 |
lubridate |
1.7.4 |
魔法 |
1.5 8 |
magrittr |
1.5 |
mapproj |
1.2.6 |
地图 |
3.3.0 |
maptools |
0.9 - 3 |
质量 |
-50 - 7.3 |
矩阵 |
-14 - 1.2 |
MatrixModels |
0.4 - 1 |
memoise |
1.1.0 |
方法 |
3.4.4 |
mgcv |
-24 - 1.8 |
mime |
0.5 |
minqa |
1.2.4 |
ModelMetrics |
1.2.0 |
孟塞尔 |
0.5.0 |
mvtnorm |
1.0 8 |
nlme |
-137 - 3.1 |
nloptr |
1.0.4 |
nnet |
-12 - 7.3 |
numDeriv |
2016.8 - 1 |
openssl |
1.0.2中 |
openxlsx |
4.1.0 |
平行 |
3.4.4 |
pbkrtest |
0.4 7 |
支柱 |
1.3.0 |
pkgbuild |
1.0.0 |
pkgconfig |
2.0.2 |
pkgKitten |
0.1.4 |
pkgload |
1.0.0 |
plogr |
0.2.0 |
请 |
2.7 0 |
plyr |
1.8.4 |
赞美 |
1.0.0 |
prettyunits |
1.0.2中 |
pROC |
1.12.1 |
processx |
3.2.0 |
prodlim |
2018.04.18 |
原型 |
1.0.0 |
ps |
1.1.0 |
purrr |
0.2.5 |
quantreg |
5.36 |
R.methodsS3 |
1.7.1上 |
R.oo |
1.22.0 |
R.utils |
2.7.0 |
R6 |
2.2.2 |
randomForest |
-14 - 4.6 |
RColorBrewer |
1.1 - 2 |
Rcpp |
0.12.18 |
RcppEigen |
0.3.3.4.0 |
RcppRoll |
0.3.0 |
RCurl |
1.95 - -4.11 |
readr |
1.1.1 |
readxl |
1.1.0 |
食谱 |
0.1.3 |
复赛 |
1.0.1 |
reshape2 |
3 |
力拓 |
0.5.10 |
rlang |
0.2.2 |
robustbase |
0.93 - 2 |
RODBC |
-15 - 1.3 |
roxygen2 |
6.1.0 |
rpart |
-13 - 4.1 |
rprojroot |
1.3 - 2 |
Rserve |
1.7 - 3 |
RSQLite |
2.1.1 |
rstudioapi |
0.7 |
尺度 |
1.0.0 |
sfsmisc |
1.1 - 2 |
sp |
1.3 - 1 |
SparkR |
测试盒框 |
SparseM |
1.77 |
空间 |
-11 - 7.3 |
样条函数 |
3.4.4 |
sqldf |
-11 - 0.4 |
SQUAREM |
2017.10 - 1 |
statmod |
1.4.30 |
统计数据 |
3.4.4 |
stats4 |
3.4.4 |
stringi |
1.2.4 |
stringr |
1.3.1 |
生存 |
2.42 6 |
tcltk |
3.4.4 |
TeachingDemos |
2.10 |
testthat |
2.0.0 |
宠物猫 |
1.4.2 |
tidyr |
0.8.1 |
tidyselect |
0.2.4 |
timeDate |
3043.102 |
工具 |
3.4.4 |
use utf8 |
1.1.4 |
跑龙套 |
3.4.4 |
viridisLite |
0.3.0 |
晶须 |
0.3 - 2 |
withr |
2.1.2 |
xml2 |
1.2.0 |
邮政编码 |
1.0.0 |
安装了Java和Scala库(Scala 2.11集群版)
组ID |
工件ID |
版本 |
---|---|---|
antlr |
antlr |
2.7.7 |
com.amazonaws |
amazon-kinesis-client |
1.8.10 |
com.amazonaws |
aws-java-sdk-autoscaling |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudformation |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudfront |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudhsm |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudsearch |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudtrail |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudwatch |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudwatchmetrics |
1.11.313 |
com.amazonaws |
aws-java-sdk-codedeploy |
1.11.313 |
com.amazonaws |
aws-java-sdk-cognitoidentity |
1.11.313 |
com.amazonaws |
aws-java-sdk-cognitosync |
1.11.313 |
com.amazonaws |
aws-java-sdk-config |
1.11.313 |
com.amazonaws |
aws-java-sdk-core |
1.11.313 |
com.amazonaws |
aws-java-sdk-datapipeline |
1.11.313 |
com.amazonaws |
aws-java-sdk-directconnect |
1.11.313 |
com.amazonaws |
aws-java-sdk-directory |
1.11.313 |
com.amazonaws |
aws-java-sdk-dynamodb |
1.11.313 |
com.amazonaws |
aws-java-sdk-ec2 |
1.11.313 |
com.amazonaws |
aws-java-sdk-ecs |
1.11.313 |
com.amazonaws |
aws-java-sdk-efs |
1.11.313 |
com.amazonaws |
aws-java-sdk-elasticache |
1.11.313 |
com.amazonaws |
aws-java-sdk-elasticbeanstalk |
1.11.313 |
com.amazonaws |
aws-java-sdk-elasticloadbalancing |
1.11.313 |
com.amazonaws |
aws-java-sdk-elastictranscoder |
1.11.313 |
com.amazonaws |
aws-java-sdk-emr |
1.11.313 |
com.amazonaws |
aws-java-sdk-glacier |
1.11.313 |
com.amazonaws |
aws-java-sdk-iam |
1.11.313 |
com.amazonaws |
aws-java-sdk-importexport |
1.11.313 |
com.amazonaws |
aws-java-sdk-kinesis |
1.11.313 |
com.amazonaws |
aws-java-sdk-kms |
1.11.313 |
com.amazonaws |
aws-java-sdk-lambda |
1.11.313 |
com.amazonaws |
aws-java-sdk-logs |
1.11.313 |
com.amazonaws |
aws-java-sdk-machinelearning |
1.11.313 |
com.amazonaws |
aws-java-sdk-opsworks |
1.11.313 |
com.amazonaws |
aws-java-sdk-rds |
1.11.313 |
com.amazonaws |
aws-java-sdk-redshift |
1.11.313 |
com.amazonaws |
aws-java-sdk-route53 |
1.11.313 |
com.amazonaws |
aws-java-sdk-s3 |
1.11.313 |
com.amazonaws |
aws-java-sdk-ses |
1.11.313 |
com.amazonaws |
aws-java-sdk-simpledb |
1.11.313 |
com.amazonaws |
aws-java-sdk-simpleworkflow |
1.11.313 |
com.amazonaws |
aws-java-sdk-sns |
1.11.313 |
com.amazonaws |
aws-java-sdk-sqs |
1.11.313 |
com.amazonaws |
aws-java-sdk-ssm |
1.11.313 |
com.amazonaws |
aws-java-sdk-storagegateway |
1.11.313 |
com.amazonaws |
aws-java-sdk-sts |
1.11.313 |
com.amazonaws |
aws-java-sdk-support |
1.11.313 |
com.amazonaws |
aws-java-sdk-swf-libraries |
1.11.22 |
com.amazonaws |
aws-java-sdk-workspaces |
1.11.313 |
com.amazonaws |
jmespath-java |
1.11.313 |
com.carrotsearch |
hppc |
0.7.2 |
com.chuusai |
shapeless_2.11 |
2.3.2 |
com.clearspring.analytics |
流 |
2.7.0 |
com.databricks |
Rserve |
1.8 - 3 |
com.databricks |
dbml-local_2.11 |
0.5.0-db7-spark2.4 |
com.databricks |
dbml-local_2.11-tests |
0.5.0-db7-spark2.4 |
com.databricks |
jets3t |
0.7.1-0 |
com.databricks.scalapb |
compilerplugin_2.11 |
0.4.15-9 |
com.databricks.scalapb |
scalapb-runtime_2.11 |
0.4.15-9 |
com.esotericsoftware |
kryo-shaded |
4.0.2 |
com.esotericsoftware |
minlog |
1.3.0 |
com.fasterxml |
同学 |
1.0.0 |
com.fasterxml.jackson.core |
jackson-annotations |
2.6.7 |
com.fasterxml.jackson.core |
jackson-core |
2.6.7 |
com.fasterxml.jackson.core |
jackson-databind |
2.6.7.1 |
com.fasterxml.jackson.dataformat |
jackson-dataformat-cbor |
2.6.7 |
com.fasterxml.jackson.datatype |
jackson-datatype-joda |
2.6.7 |
com.fasterxml.jackson.module |
jackson-module-paranamer |
2.6.7 |
com.fasterxml.jackson.module |
jackson-module-scala_2.11 |
2.6.7.1 |
com.github.fommil |
jniloader |
1.1 |
com.github.fommil.netlib |
核心 |
1.1.2 |
com.github.fommil.netlib |
native_ref-java |
1.1 |
com.github.fommil.netlib |
native_ref-java-natives |
1.1 |
com.github.fommil.netlib |
native_system-java |
1.1 |
com.github.fommil.netlib |
native_system-java-natives |
1.1 |
com.github.fommil.netlib |
netlib-native_ref-linux-x86_64-natives |
1.1 |
com.github.fommil.netlib |
netlib-native_system-linux-x86_64-natives |
1.1 |
com.github.luben |
zstd-jni |
1.3.2-2 |
com.github.rwl |
jtransforms |
测试盒框 |
com.google.code.findbugs |
jsr305 |
2.0.1 |
com.google.code.gson |
gson |
2.2.4 |
com.google.guava |
番石榴 |
15.0 |
com.google.protobuf |
protobuf-java |
2.6.1 |
com.googlecode.javaewah |
JavaEWAH |
0.3.2 |
com.h2database |
h2 |
1.3.174 |
com.jcraft |
jsch |
0.1.50 |
com.jolbox |
bonecp |
0.8.0.RELEASE |
com.mchange |
c3p0 |
0.9.5.1 |
com.mchange |
mchange-commons-java |
0.2.10 |
com.microsoft.azure |
azure-data-lake-store-sdk |
2.2.8 |
com.microsoft.sqlserver |
mssql-jdbc |
6.2.2.jre8 |
com.ning |
compress-lzf |
1.0.3 |
com.sun.mail |
javax.mail |
1.5.2 |
com.thoughtworks.paranamer |
paranamer |
2.8 |
com.trueaccord.lenses |
lenses_2.11 |
0.3 |
com.twitter |
chill-java |
0.9.3 |
com.twitter |
chill_2.11 |
0.9.3 |
com.twitter |
parquet-hadoop-bundle |
1.6.0 |
com.twitter |
util-app_2.11 |
6.23.0 |
com.twitter |
util-core_2.11 |
6.23.0 |
com.twitter |
util-jvm_2.11 |
6.23.0 |
com.typesafe |
配置 |
1.2.1 " |
com.typesafe.scala-logging |
scala-logging-api_2.11 |
2.1.2 |
com.typesafe.scala-logging |
scala-logging-slf4j_2.11 |
2.1.2 |
com.univocity |
univocity-parsers |
2.7.3 |
com.vlkan |
flatbuffers |
1.2.0-3f79e055 |
com.zaxxer |
HikariCP |
3.1.0 |
commons-beanutils |
commons-beanutils |
1.7.0 |
commons-beanutils |
commons-beanutils-core |
1.8.0 |
commons-cli |
commons-cli |
1.2 |
commons-codec |
commons-codec |
1.10 |
commons-collections |
commons-collections |
3.2.2 |
commons configuration |
commons configuration |
1.6 |
commons-dbcp |
commons-dbcp |
1.4 |
commons-digester |
commons-digester |
1.8 |
commons-httpclient |
commons-httpclient |
3.1 |
commons-io |
commons-io |
2.4 |
commons lang |
commons lang |
2.6 |
通用日志 |
通用日志 |
1.1.3 |
commons net |
commons net |
3.1 |
commons-pool |
commons-pool |
1.5.4 |
info.ganglia.gmetric4j |
gmetric4j |
1.0.7 |
io.airlift |
aircompressor |
0.10 |
io.dropwizard.metrics |
metrics-core |
3.1.5 |
io.dropwizard.metrics |
metrics-ganglia |
3.1.5 |
io.dropwizard.metrics |
metrics-graphite |
3.1.5 |
io.dropwizard.metrics |
metrics-healthchecks |
3.1.5 |
io.dropwizard.metrics |
metrics-jetty9 |
3.1.5 |
io.dropwizard.metrics |
metrics-json |
3.1.5 |
io.dropwizard.metrics |
metrics-jvm |
3.1.5 |
io.dropwizard.metrics |
metrics-log4j |
3.1.5 |
io.dropwizard.metrics |
metrics-servlets |
3.1.5 |
io.netty |
网状的 |
3.9.9.Final |
io.netty |
netty-all |
4.1.17.Final |
io.prometheus |
simpleclient |
0.0.16 |
io.prometheus |
simpleclient_common |
0.0.16 |
io.prometheus |
simpleclient_dropwizard |
0.0.16 |
io.prometheus |
simpleclient_servlet |
0.0.16 |
io.prometheus.jmx |
收集器 |
0.7 |
javax.activation |
激活 |
1.1.1 |
javax.annotation |
javax.annotation-api |
1.2 |
javax.el |
javax.el-api |
2.2.4 |
javax.jdo |
jdo api |
3.0.1 |
javax.servlet |
javax.servlet-api |
3.1.0 |
javax.servlet.jsp |
jsp-api |
2.1 |
javax.transaction |
jta |
1.1 |
javax.validation |
验证api |
1.1.0.Final |
javax.ws.rs |
javax.ws.rs-api |
2.0.1 |
javax.xml.bind |
jaxb-api |
2.2.2 |
javax.xml.stream |
stax-api |
1.0 - 2 |
javolution |
javolution |
5.5.1 |
jline |
jline |
2.11 |
joda-time |
joda-time |
2.9.3 |
log4j |
apache-log4j-extras |
1.2.17 |
log4j |
log4j |
1.2.17 |
net.hydromatic |
eigenbase-properties |
1.1.5 |
net.razorvine |
地幔岩 |
4.13 |
net.sf.jpam |
jpam |
1.1 |
net.sf.opencsv |
opencsv |
2.3 |
net.sf.supercsv |
super-csv |
2.2.0 |
net.snowflake |
snowflake-jdbc |
3.6.3 |
net.snowflake |
spark-snowflake_2.11 |
2.4.1 |
net.sourceforge.f2j |
arpack_combined_all |
0.1 |
org.acplt |
oncrpc |
1.0.7 |
org.antlr |
ST4 |
4.0.4 |
org.antlr |
antlr-runtime |
3.4 |
org.antlr |
antlr4-runtime |
4.7 |
org.antlr |
stringtemplate |
3.2.1之上 |
org.apache.ant |
蚂蚁 |
1.9.2 |
org.apache.ant |
ant-jsch |
1.9.2 |
org.apache.ant |
ant-launcher |
1.9.2 |
org.apache.arrow |
arrow-format |
0.10.0 |
org.apache.arrow |
arrow-memory |
0.10.0 |
org.apache.arrow |
arrow-vector |
0.10.0 |
org.apache.avro |
avro |
1.8.2 |
org.apache.avro |
avro-ipc |
1.8.2 |
org.apache.avro |
avro-mapred-hadoop2 |
1.8.2 |
org.apache.calcite |
calcite-avatica |
1.2.0-incubating |
org.apache.calcite |
calcite-core |
1.2.0-incubating |
org.apache.calcite |
calcite-linq4j |
1.2.0-incubating |
org.apache.commons |
commons-compress |
1.8.1 |
org.apache.commons |
commons-crypto |
1.0.0 |
org.apache.commons |
commons-lang3 |
3.5 |
org.apache.commons |
commons-math3 |
3.4.1 |
org.apache.curator |
curator-client |
2.7.1 |
org.apache.curator |
curator-framework |
2.7.1 |
org.apache.curator |
curator-recipes |
2.7.1 |
org.apache.derby |
德比 |
10.12.1.1 |
org.apache.directory.api |
api-asn1-api |
1.0.0-M20 |
org.apache.directory.api |
api-util |
1.0.0-M20 |
org.apache.directory.server |
apacheds-i18n |
2.0.0-M15 |
org.apache.directory.server |
apacheds-kerberos-codec |
2.0.0-M15 |
org.apache.hadoop |
hadoop-annotations |
2.7.3 |
org.apache.hadoop |
hadoop-auth |
2.7.3 |
org.apache.hadoop |
hadoop-client |
2.7.3 |
org.apache.hadoop |
hadoop-common |
2.7.3 |
org.apache.hadoop |
hadoop-hdfs |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-app |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-common |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-core |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-jobclient |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-shuffle |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-api |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-client |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-common |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-server-common |
2.7.3 |
org.apache.htrace |
htrace-core |
3.1.0-incubating |
org.apache.httpcomponents |
httpclient |
4.5.4 |
org.apache.httpcomponents |
httpcore |
4.4.8 |
org.apache.ivy |
艾薇 |
测试盒框 |
org.apache.orc |
orc-core-nohive |
1.5.2 |
org.apache.orc |
orc-mapreduce-nohive |
1.5.2 |
org.apache.orc |
orc-shims |
1.5.2 |
org.apache.parquet |
parquet-column |
1.10.1-databricks2 |
org.apache.parquet |
parquet-common |
1.10.1-databricks2 |
org.apache.parquet |
parquet-encoding |
1.10.1-databricks2 |
org.apache.parquet |
parquet-format |
测试盒框 |
org.apache.parquet |
parquet-hadoop |
1.10.1-databricks2 |
org.apache.parquet |
parquet-jackson |
1.10.1-databricks2 |
org.apache.thrift |
libfb303 |
0.9.3 |
org.apache.thrift |
libthrift |
0.9.3 |
org.apache.xbean |
xbean-asm6-shaded |
4.8 |
org.apache.zookeeper |
动物园管理员 |
3.4.6 |
org.codehaus.jackson |
jackson-core-asl |
1.9.13 |
org.codehaus.jackson |
jackson-jaxrs |
1.9.13 |
org.codehaus.jackson |
jackson-mapper-asl |
1.9.13 |
org.codehaus.jackson |
jackson-xc |
1.9.13 |
org.codehaus.janino |
commons-compiler |
3.0.9 |
org.codehaus.janino |
janino |
3.0.9 |
org.datanucleus |
datanucleus-api-jdo |
3.2.6 |
org.datanucleus |
datanucleus-core |
3.2.10 |
org.datanucleus |
datanucleus-rdbms |
3.2.9 |
org.eclipse.jetty |
jetty-client |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-continuation |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-http |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-io |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-jndi |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-plus |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-proxy |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-security |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty服务器 |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty servlet |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-servlets |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-util |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-webapp |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-xml |
9.3.20.v20170531 |
org.fusesource.leveldbjni |
leveldbjni-all |
1.8 |
org.glassfish.hk2 |
hk2-api |
2.4.0-b34 |
org.glassfish.hk2 |
hk2-locator |
2.4.0-b34 |
org.glassfish.hk2 |
hk2-utils |
2.4.0-b34 |
org.glassfish.hk2 |
osgi-resource-locator |
1.0.1 |
org.glassfish.hk2.external |
aopalliance-repackaged |
2.4.0-b34 |
org.glassfish.hk2.external |
javax.inject |
2.4.0-b34 |
org.glassfish.jersey.bundles.repackaged |
jersey-guava |
2.22.2 |
org.glassfish.jersey.containers |
jersey-container-servlet |
2.22.2 |
org.glassfish.jersey.containers |
jersey-container-servlet-core |
2.22.2 |
org.glassfish.jersey.core |
jersey客户端 |
2.22.2 |
org.glassfish.jersey.core |
jersey-common |
2.22.2 |
org.glassfish.jersey.core |
jersey-server |
2.22.2 |
org.glassfish.jersey.media |
jersey-media-jaxb |
2.22.2 |
org.hibernate |
hibernate验证框架 |
5.1.1.Final |
org.iq80.snappy |
时髦的 |
0.2 |
org.javassist |
javassist |
3.18.1-GA |
org.jboss.logging |
jboss-logging |
3.1.3.GA |
org.jdbi |
jdbi |
2.63.1 |
org.joda |
joda-convert |
1.7 |
org.jodd |
jodd-core |
3.5.2 |
org.json4s |
json4s-ast_2.11 |
3.5.3 |
org.json4s |
json4s-core_2.11 |
3.5.3 |
org.json4s |
json4s-jackson_2.11 |
3.5.3 |
org.json4s |
json4s-scalap_2.11 |
3.5.3 |
org.lz4 |
lz4-java |
1.4.0 |
org.mariadb.jdbc |
mariadb-java-client |
2.1.2 |
org.mockito |
mockito-all |
1.9.5 |
org.objenesis |
objenesis |
2.5.1 |
org.postgresql |
postgresql |
42.1.4 |
org.roaringbitmap |
RoaringBitmap |
0.5.11 |
org.rocksdb |
rocksdbjni |
5.2.1 |
org.rosuda.REngine |
REngine |
魅惑 |
org.scala-lang |
scala-compiler_2.11 |
2.11.8 |
org.scala-lang |
scala-library_2.11 |
2.11.8 |
org.scala-lang |
scala-reflect_2.11 |
2.11.8 |
org.scala-lang.modules |
scala-parser-combinators_2.11 |
1.0.2中 |
org.scala-lang.modules |
scala-xml_2.11 |
1.0.5 |
org.scala-sbt |
测试界面 |
1.0 |
org.scalacheck |
scalacheck_2.11 |
1.12.5 |
org.scalactic |
scalactic_2.11 |
3.0.3 |
org.scalanlp |
breeze-macros_2.11 |
0.13.2 |
org.scalanlp |
breeze_2.11 |
0.13.2 |
org.scalatest |
scalatest_2.11 |
3.0.3 |
org.slf4j |
jcl-over-slf4j |
1.7.16 |
org.slf4j |
jul-to-slf4j |
1.7.16 |
org.slf4j |
slf4j-api |
1.7.16 |
org.slf4j |
slf4j-log4j12 |
1.7.16 |
org.spark-project.hive |
hive-beeline |
1.2.1.spark2 |
org.spark-project.hive |
hive-cli |
1.2.1.spark2 |
org.spark-project.hive |
hive-exec |
1.2.1.spark2 |
org.spark-project.hive |
hive-jdbc |
1.2.1.spark2 |
org.spark-project.hive |
hive-metastore |
1.2.1.spark2 |
org.spark-project.spark |
未使用的 |
1.0.0 |
org.spire-math |
spire-macros_2.11 |
0.13.0 |
org.spire-math |
spire_2.11 |
0.13.0 |
org.springframework |
spring核心 |
4.1.4.RELEASE |
org.springframework |
spring测试 |
4.1.4.RELEASE |
org.tukaani |
xz |
1.5 |
org.typelevel |
machinist_2.11 |
0.6.1 |
org.typelevel |
macro-compat_2.11 |
1.1.1 |
org.xerial |
sqlite-jdbc |
3.8.11.2 |
org.xerial.snappy |
snappy-java |
1.1.7.1 |
org.yaml |
snakeyaml |
1.16 |
奥罗 |
奥罗 |
2.0.8 |
software.amazon.ion |
ion-java |
1.0.2中 |
stax |
stax-api |
1.0.1 |
xmlenc |
xmlenc |
0.52 |