Databricks运行时4.2(不支持)
Databricks于2018年7月发布了这张图片。
重要的
此版本已于2019年3月5日弃用。有关Databricks Runtime弃用策略和计划的详细信息,请参见Databricks运行时支持生命周期.
以下发布说明提供了有关Databricks运行时4.2的信息,由Apache Spark提供支持。
三角洲湖
Databricks运行时4.2为Delta Lake增加了主要的质量改进和功能。Databricks强烈建议所有Delta Lake客户升级到新的运行时。这个发行版仍然处于私有预览,但是它代表了即将到来的通用可用性(GA)发行版预期中的候选发行版。
新功能
多集群写:Delta Lake现在支持来自多个集群的事务性写。所有作者都要使用此功能必须运行Databricks运行时4.2。
流现在可以直接写入在Hive metastore中注册的Delta表
df.writeStream.table(…)
.
改进
所有Delta Lake命令和查询现在都支持使用路径作为标识符引用表:
delta. ' < path-to-table >”
以前
优化
而且真空
必须使用非标准的字符串字面值(即,' < path-to-table >”
).描述历史
现在包含提交ID,默认情况下从最新到最旧。
错误修复
现在,即使谓词的情况与表的情况不同,基于分区谓词的过滤也能正确运行。
固定缺失的列
AnalysisException
当对Delta表中的布尔列执行相等性检查时(即booleanValue=真正的
).创建表格
在创建指向现有表的指针时不再修改事务日志。这可以防止与并发流发生不必要的冲突,并允许创建指向用户只有读访问权限的表的metastore指针。调用
显示()
在有大量数据的流上,不再导致驱动程序中的OOM。AnalysisException
现在在删除底层Delta Lake路径时抛出,而不是返回空结果。Delta Lake配置需要特定的协议版本(例如,
appendOnly
)只能应用于相应版本的表。更新Delta表的状态时,长序列现在会自动截断,以避免
StackOverFlowError
.
结构化流
新功能
Delta Lake, SQS和Kafka现在完全支持触发器。一次.以前的速率限制(例如
maxOffsetsPerTrigger
或maxFilesPerTrigger
)指定为源选项或默认值可能只导致可用数据的部分执行。这些选项现在会被忽略触发器。一次
,允许处理所有当前可用的数据。
增加了新的流媒体
foreachBatch ()
在Scala中,您可以定义一个函数来使用DataFrame操作处理每个微批的输出。这将启用以下功能:使用现有批处理数据源将微批处理输出写入到还没有流数据源的系统(例如,在每个微批处理输出上使用Cassandra批处理写入器)。
将微批输出写入多个位置。
在流式DataFrame还不支持的微批输出上应用DataFrame和表操作(例如,将微批输出upsert到Delta表中)。
添加
from_avro / to_avro
函数在DataFrame中读写Avro数据,而不仅仅是文件,类似于from_json / to_json
.看到读写Avro数据的任何地方欲知详情。增加了对流媒体的支持
foreach ()
Python (Scala中已经可用)。看到foreach和foreachBatch文档欲知详情。
错误修复
修正了错误火星- 24588在流-流连接中,当在它之前显式重分区时,join报告的结果更少(例如,
df1.repartition(“a”,“b”). join (df,“一”)
).
其他变化和改进
修复了S3A文件系统,以允许通过客户端加密读取S3上的Parquet文件。之前的阅读
java.io.EOFException
错误。
增加对SQL拒绝命令的支持表访问控制启用集群。用户现在可以以以前授予他们的相同方式拒绝特定的权限。被拒绝的许可将取代被批准的许可。特定对象的管理员和所有者仍然被允许执行操作。
新的Azure数据湖存储Gen2数据源,使用ABFS驱动程序。看到访问Azure数据湖存储Gen2和Blob存储
升级了一些已安装的Python库:
Pip:从10.0.0b2到10.0.1
Setuptools: 39.0.1到39.2.0
龙卷风:5.0.1至5.0.2
车轮:0.31.0 ~ 0.31.1
升级了几个已安装的R库。看到已安装的R库.
改进的镶木地板支持
将Apache ORC从1.4.1升级到1.4.3
Apache火花
Databricks运行时4.2包含Apache Spark 2.3.1。此版本包括包含的所有修复和改进Databricks运行时4.1(不支持),以及以下对Spark的额外错误修复和改进:
(火花- 24588)[SS]流连接应该要求子节点的HashClusteredPartitioning
(火花- 23931)[SQL]使
arrays_zip
在function.scala@scala.annotation.varargs
.(火花- 24633)[SQL]修复arrays_zip需要拆分时的codegen
(火花- 24578)[CORE] Cap子区域返回的nio缓冲区大小
(火花- 24613)带有UDF的缓存不能与后续的依赖缓存匹配
(火花- 24583)[SQL] InsertIntoDataSourceCommand中的模式类型错误
(火花- 24565)[SS]在结构化流中添加API,用于将每个微批的输出行暴露为数据帧
(火花- 24396)[SS][PYSPARK]为Python添加结构化流ForeachWriter
(火花- 24216)Spark TypedAggregateExpression使用的getSimpleName在Scala中是不安全的
(火花- 24452)[SQL][CORE]在int add或multiple中避免可能的溢出
(火花- 24187)[R][SQL] SparkR添加array_join函数
(火花- 24525)提供一个选项来限制MemorySink中的行数
(火花- 24331)[SPARKR][SQL]添加arrays_overlap, array_repeat, map_entries到SPARKR
(火花- 23931)[SQL]添加arrays_zip函数到Spark SQL
(火花- 24186)[R][SQL] change reverse and concat to collection function
(火花- 24198)[SPARKR][SQL]在SPARKR中添加切片函数
(火花- 23920)[SQL] add array_remove从数组中删除所有等于element的元素
(火花- 24197)[SPARKR][SQL]添加array_sort函数到SPARKR
(火花- 24340)[CORE]清理非洗牌磁盘块管理器文件后,executor退出的独立集群
(火花- 23935)[SQL]添加map_entries函数
(火花- 24500)[SQL]确保在树转换期间流被物化。
(火花- 24495)[SQL]当重新排序相同的键时,确保要求返回错误的计划
(火花- 24506)[UI]为绑定后添加的标签添加UI过滤器
(火花- 24468)[SQL]在调整十进制操作的精度时处理负比例
(火花- 24313)[SQL]修复了复杂类型集合操作的解释求值问题
(火花- 23922)[SQL]增加arrays_overlap函数
(火花- 24369)[SQL]正确处理具有相同参数集的多个不同聚合
(火花- 24455)修正TaskSchedulerImpl注释中的错字
(火花- 24397)[PYSPARK]在Python中增加了TaskContext.getLocalProperty(key
(火花- 24117)[SQL]统一getSizePerRow
(火花- 24156)修复从无数据批处理失败中恢复的错误
(火花- 24414)[UI]计算一个阶段的正确任务数
(火花- 23754)在客户端代码中重新启动StopIteration
(火花- 23991)[DSTREAMS]修复在allocateBlocksToBatch中WAL写失败时的数据丢失
(火花- 24373)[SQL]为RelationalGroupedDataset和KeyValueGroupedDataset的子数据添加AnalysisBarrier
(火花- 24392)[PYTHON]将pandas_udf标记为Experimental
(火花- 24334)修复ArrowPythonRunner中导致Arrow内存分配器不干净关闭的竞态条件
(火花- 19112)[CORE]在配置中添加缺少的shortCompressionCodecNames
(火花- 24244)(火花- 24368)[SQL]只向CSV解析器传递必需的列
(火花- 24366)[SQL]改进类型转换的错误消息
(火花- 24371)[SQL]添加isInCollection在DataFrame API for Scala an…
(火花- 23925)[SQL]增加array_repeat收集函数
[MINOR]在toString和scaladoc中增加端口SSL配置
(火花- 24378)[SQL]修复date_trunc函数错误示例
(火花- 24364)[SS]防止InMemoryFileIndex失败,如果文件路径不存在
(火花- 24257)[SQL] LongToUnsafeRowMap计算新的大小可能是错误的
(火花- 24348)[SQL] element_at错误修复
(火花- 23930)[SQL]添加切片函数
(火花- 23416)[SS]为continuousexecexecution添加特定的停止方法。
(火花- 23852)[SQL] Parquet 1.8.3
(火花- 24350)修复array_position函数中的ClassCastException
(火花- 24321)[SQL]从除法/余数中提取公共代码到基本特征
(火花- 24309)AsyncEventQueue应该在中断时停止。
(火花- 23850)[SQL]添加单独的配置SQL选项编校。
(火花- 22371)[CORE]当累加器被垃圾收集时,返回None而不是抛出异常。
(火花- 24002)[SQL]由于org.apache.parquet.io.api.Binary$ bytebufferbackdbary . getbytes导致的任务不可序列化
(火花- 23921)添加array_sort函数
(火花- 23923)添加基数函数
(火花- 24159)[SS]为流mapGroupswithState启用无数据微批
(火花- 24158)[SS]为流连接启用无数据批处理
(火花- 24157)[SS] MicroBatchExecution中启用了无数据批量,用于流聚合和重复数据删除
(火花- 23799)[SQL] FilterEstimation。evaluateInSet为STRING生成错误的统计数据
(火花- 17916)[SQL]修正了当nullValue被设置时空字符串被解析为null的问题。
(火花- 23916)添加array_join函数
(火花- 23408)[SS]同步流式*JoinSuite中的连续AddData操作
(火花- 23780)[R]新SparkR使用googleVis库失败
(火花- 23821)[SQL]收集功能:flatten
(火花- 23627)在数据集中提供isEmpty
(火花- 24027)[SQL]支持MapType和StringType的键作为根类型from_json
(火花- 24035)[SQL] Pivot - fix antlr警告的SQL语法
(火花- 23736)[SQL]扩展concat函数以支持数组列
(火花- 24246)[SQL]通过设置可用的原因来改进AnalysisException
(火花- 24263)[R] SparkR java检查与openjdk
(火花- 24262)修复UDF类型匹配错误信息中的拼写错误
(火花- 24067)[STREAMING][KAFKA]允许非连续偏移量
(火花- 10878)修复多个客户端同时解析工件时的竞态
(火花- 19181)修复“SparkListenerSuite”。当地指标”
(火花- 24068)在模式推断上将dataframerader的选项传播到Text数据源
(火花- 24214)修正了StreamingRelationV2/StreamingExecutionRelation/ContinuousExecutionRelation的json
(火花- 23919)(火花- 23924)(火花- 24054)添加array_position/element_at函数
(火花- 23926)扩展反向函数以支持ArrayType参数
(火花- 23809)[SQL] Active SparkSession应该由getOrCreate设置
(火花- 23094)(火花- 23723)(火花- 23724)支持json文件的自定义编码
(火花- 24035)Pivot的SQL语法
(火花- 24069)[R]增加array_min / array_max函数
(火花- 23976)[CORE]检测UTF8String.concat()/ByteArray.concat()中的长度溢出
(火花- 24188)[CORE]恢复“/version”API端点
(火花- 24128)[SQL]在隐式交叉连接错误中提到配置选项
(火花- 23291)[SQL][R] R的substr不能在调用Scala API时将起始位置减少1
(火花- 23697)[CORE] LegacyAccumulatorWrapper应该正确定义isZero
(火花- 24168)WindowExec不能访问执行程序侧的SQLConf
(火花- 24143)将mapstatus转换为(blockId, size)对时过滤空块
(火花- 23917)(火花- 23918)添加array_max/array_min函数
(火花- 23905)[SQL]添加UDF工作日
(火花- 16406)提高LogicalPlan.resolve的性能
(火花- 24013)[SQL]删除不需要的压缩在近似百分位数
(火花- 23433)[核心]晚期僵尸任务完成更新所有任务集
(火花- 24169)[SQL] JsonToStructs不能在执行程序端访问SQLConf
(火花- 24133)[SQL]补丁(火花- 24133)当调整WritableColumnVectors的大小时,检查整数溢出
(火花- 24166)[SQL] InMemoryTableScanExec不能访问执行程序侧的SQLConf
(火花- 24133)[SQL]在调整WritableColumnVectors的大小时检查整数溢出
(火花- 24085)[SQL]当分区表达式中存在标量子查询时,查询返回UnsupportedOperationException
(火花- 24062)[THRIFT SERVER]修复SASL加密不能在THRIFT SERVER中启用的问题
(火花- 23004)[SS]确保StateStore.commit在流聚合任务中只被调用一次
(火花- 23188)[SQL]使矢量列阅读器批量大小可配置
(火花- 23375)(火花- 23973)在优化器中消除不需要的排序
(火花- 23877)[SQL]使用过滤谓词在元数据查询中删除分区
(火花- 24033)[SQL]修复windowframe(RowFrame, -1, -1)不匹配的问题
(火花- 23340)[SQL]升级Apache ORC到1.4.3
修复了一个缺失的空检查问题,该问题更有可能由精简表达式代码生成触发,并由SPARK-23986暴露,因为它使生成的源代码更长,并且触发了有问题的代码路径(通过Expression.reduceCodeSize()进行代码分割)。
(火花- 23989)[SQL] exchange应该在非序列化shuffle之前复制数据
(火花- 24021)修复了BlacklistTracker的updateBlacklistForFetchFailure的bug
(火花- 24014)[PYSPARK]添加onStreamingStarted方法到StreamingListener
(火花- 23963)[SQL]在基于文本的Hive表中正确处理大量的查询列
(火花- 23948)在submitMissingTasks中触发mapstage的作业监听器
(火花- 23986)[SQL] freshName可以生成非唯一的名称
(火花- 23835)[SQL]在元组参数反序列化中添加非空检查
系统环境
操作系统: Ubuntu 16.04.4 LTS
Java: 1.8.0_162
Scala: 2.11.8
PythonPython 2集群为2.7.12,Python 3集群为3.5.2。
R: R版本3.4.4 (2018-03-15)
GPU集群:安装了以下NVIDIA GPU库:
特斯拉司机375.66
CUDA 9.0
cuDNN 7.0
已安装的Python库
图书馆 |
版本 |
图书馆 |
版本 |
图书馆 |
版本 |
---|---|---|---|---|---|
ansi2html |
1.1.1 |
argparse |
1.2.1 " |
backports-abc |
0.5 |
宝途 |
2.42.0 |
boto3 |
1.4.1 |
botocore |
1.4.70 |
brewer2mpl |
1.4.1 |
certifi |
2016.2.28 |
cffi |
1.7.0 |
chardet |
tripwire |
彩色光 |
0.3.7 |
configobj |
5.0.6 |
密码学 |
1.5 |
周期计 |
0.10.0 |
Cython |
0.24.1 |
装饰 |
4.0.10 |
docutils |
0.14 |
enum34 |
1.1.6 |
et-xmlfile |
1.0.1 |
freetype-py |
1.0.2中 |
funcsigs |
1.0.2中 |
fusepy |
2.0.4 |
期货 |
3.2.0 |
ggplot |
0.6.8 |
html5lib |
0.999 |
idna |
2.1 |
ipaddress |
1.0.16 |
ipython |
2.2.0 |
ipython-genutils |
0.1.0 |
jdcal |
1.2 |
Jinja2 |
2.8 |
jmespath |
0.9.0 |
llvmlite |
0.13.0 |
lxml |
3.6.4 |
MarkupSafe |
0.23 |
matplotlib |
1.5.3 |
mpld3 |
0.2 |
msgpack-python |
0.4.7 |
ndg-httpsclient |
0.3.3 |
numba |
0.28.1 |
numpy |
1.11.1 |
openpyxl |
2.3.2 |
熊猫 |
0.19.2 |
pathlib2 |
魅惑 |
容易受骗的人 |
0.4.1 |
pexpect |
4.0.1 |
pickleshare |
0.7.4 |
枕头 |
3.3.1 |
皮普 |
10.0.1 |
厚度 |
3.9 |
prompt-toolkit |
1.0.7 |
psycopg2 |
2.6.2 |
ptyprocess |
0.5.1 |
py4j |
0.10.3 |
pyarrow |
0.8.0 |
pyasn1 |
0.1.9 |
pycparser |
2.14 |
Pygments |
2.1.3 |
PyGObject |
3.20.0 |
pyOpenSSL |
16.0.0 |
pyparsing |
2.2.0 |
pypng |
0.0.18 |
Python |
2.7.12 |
python-dateutil |
2.5.3 |
python-geohash |
0.8.5 |
pytz |
2016.6.1 |
请求 |
2.11.1 |
s3transfer |
0.1.9 |
scikit-learn |
0.18.1 |
scipy |
0.18.1 |
冲刷 |
0.32 |
seaborn |
是0.7.1 |
setuptools |
39.2.0 |
simplejson |
3.8.2 |
simples3 |
1.0 |
singledispatch |
3.4.0.3 |
六个 |
1.10.0 |
statsmodels |
0.6.1 |
龙卷风 |
正式 |
traitlets |
4.3.0 |
urllib3 |
1.19.1 |
virtualenv |
15.0.1 |
wcwidth |
0.1.7 |
轮 |
0.31.1 |
wsgiref |
0.1.2 |
已安装的R库
图书馆 |
版本 |
图书馆 |
版本 |
图书馆 |
版本 |
---|---|---|---|---|---|
abind |
1.4 - 5 |
为了 |
0.2.0 |
补丁 |
1.1.2 |
基地 |
3.4.4 |
黑洞 |
1.66.0-1 |
bindr |
0.1.1 |
bindrcpp |
0.2.2 |
位 |
-12 - 1.1 |
bit64 |
0.9 7 |
bitops |
1.0 6 |
团 |
1.1.1 |
引导 |
-20 - 1.3 |
酿造 |
1.0 6 |
扫帚 |
0.4.4 |
车 |
3.0 0 |
carData |
3.0 - 1 |
脱字符号 |
-79 - 6.0 |
cellranger |
1.1.0 |
时间 |
-52 - 2.3 |
类 |
-14 - 7.3 |
cli |
1.0.0 |
集群 |
2.0.7-1 |
codetools |
-15 - 0.2 |
色彩 |
1.3 - 2 |
commonmark |
1.4 |
编译器 |
3.4.4 |
蜡笔 |
1.3.4 |
旋度 |
3.2 |
CVST |
0.2 - 1 |
data.table |
1.10.4-3 |
数据集 |
3.4.4 |
DBI |
0.8 |
ddalpha |
1.3.1.1 |
DEoptimR |
1.0 8 |
desc |
1.1.1 |
devtools |
1.13.5 |
二色视者 |
2.0 0 |
消化 |
0.6.15 |
dimRed |
0.1.0 |
doMC |
1.3.5 |
dplyr |
0.7.4 |
DRR |
0.0.3 |
forcats |
0.3.0 |
foreach |
1.4.4 |
外国 |
-70 - 0.8 |
“绿带运动” |
2.1.3 |
ggplot2 |
2.2.1 |
git2r |
0.21.0 |
glmnet |
-16 - 2.0 |
胶水 |
1.2.0 |
高尔 |
0.1.2 |
图形 |
3.4.4 |
grDevices |
3.4.4 |
网格 |
3.4.4 |
gsubfn |
0.7 |
gtable |
0.2.0 |
水 |
3.16.0.2 |
还 |
1.1.1 |
hms |
0.4.2 |
httr |
1.3.1 |
hwriter |
1.3.2 |
hwriterPlus |
1.0 - 3 |
不小 |
0.9 6 |
迭代器 |
1.0.9 |
jsonlite |
1.5 |
kernlab |
-25 - 0.9 |
KernSmooth |
-15 - 2.23 |
标签 |
0.3 |
晶格 |
-35 - 0.20 |
熔岩 |
1.6.1 |
lazyeval |
0.2.1 |
的小 |
0.3.3 |
lme4 |
-17 - 1.1 |
lubridate |
1.7.3 |
magrittr |
1.5 |
mapproj |
1.2.6 |
地图 |
3.3.0 |
maptools |
0.9 - 2 |
质量 |
-50 - 7.3 |
矩阵 |
-14 - 1.2 |
MatrixModels |
0.4 - 1 |
memoise |
1.1.0 |
方法 |
3.4.4 |
mgcv |
-24 - 1.8 |
mime |
0.5 |
minqa |
1.2.4 |
mnormt |
1.5 - 5 |
ModelMetrics |
1.1.0 |
孟塞尔 |
0.4.3 |
mvtnorm |
1.0 7 |
nlme |
-137 - 3.1 |
nloptr |
1.0.4 |
nnet |
-12 - 7.3 |
numDeriv |
2016.8 - 1 |
openssl |
1.0.1 |
openxlsx |
4.0.17 |
平行 |
3.4.4 |
pbkrtest |
0.4 7 |
支柱 |
1.2.1 " |
pkgconfig |
2.0.1 |
pkgKitten |
0.1.4 |
plogr |
0.2.0 |
plyr |
1.8.4 |
赞美 |
1.0.0 |
prettyunits |
1.0.2中 |
pROC |
1.11.0 |
prodlim |
1.6.1 |
原型 |
1.0.0 |
心理 |
1.8.3.3 |
purrr |
0.2.4 |
quantreg |
5.35 |
R.methodsS3 |
1.7.1上 |
R.oo |
1.21.0 |
R.utils |
2.6.0 |
R6 |
2.2.2 |
randomForest |
-14 - 4.6 |
RColorBrewer |
1.1 - 2 |
Rcpp |
0.12.16 |
RcppEigen |
0.3.3.4.0 |
RcppRoll |
0.2.2 |
RCurl |
1.95 - -4.10 |
readr |
1.1.1 |
readxl |
1.0.0 |
食谱 |
0.1.2 |
复赛 |
1.0.1 |
reshape2 |
3 |
里约热内卢 |
0.5.10 |
rlang |
0.2.0 |
robustbase |
0.92 8 |
RODBC |
-15 - 1.3 |
roxygen2 |
6.0.1中 |
rpart |
-13 - 4.1 |
rprojroot |
1.3 - 2 |
Rserve |
1.7 - 3 |
RSQLite |
魅惑 |
rstudioapi |
0.7 |
尺度 |
0.5.0 |
sfsmisc |
1.1 - 2 |
sp |
1.2 7 |
SparkR |
2.3.1 |
SparseM |
1.77 |
空间 |
-11 - 7.3 |
样条函数 |
3.4.4 |
sqldf |
-11 - 0.4 |
SQUAREM |
2017.10 - 1 |
statmod |
1.4.30 |
统计数据 |
3.4.4 |
stats4 |
3.4.4 |
stringi |
1.1.7 |
stringr |
1.3.0 |
生存 |
2.42 - 3 |
tcltk |
3.4.4 |
TeachingDemos |
2.10 |
testthat |
2.0.0 |
宠物猫 |
1.4.2 |
tidyr |
0.8.0 |
tidyselect |
0.2.4 |
timeDate |
3043.102 |
工具 |
3.4.4 |
use utf8 |
1.1.3 |
跑龙套 |
3.4.4 |
viridisLite |
0.3.0 |
晶须 |
0.3 - 2 |
withr |
2.1.2 |
xml2 |
1.2.0 |
安装Java和Scala库(Scala 2.11集群版本)
组ID |
工件ID |
版本 |
---|---|---|
antlr |
antlr |
2.7.7 |
com.amazonaws |
amazon-kinesis-client |
1.7.3 |
com.amazonaws |
aws-java-sdk-autoscaling |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudformation |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudfront |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudhsm |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudsearch |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudtrail |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudwatch |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudwatchmetrics |
1.11.313 |
com.amazonaws |
aws-java-sdk-codedeploy |
1.11.313 |
com.amazonaws |
aws-java-sdk-cognitoidentity |
1.11.313 |
com.amazonaws |
aws-java-sdk-cognitosync |
1.11.313 |
com.amazonaws |
aws-java-sdk-config |
1.11.313 |
com.amazonaws |
aws-java-sdk-core |
1.11.313 |
com.amazonaws |
aws-java-sdk-datapipeline |
1.11.313 |
com.amazonaws |
aws-java-sdk-directconnect |
1.11.313 |
com.amazonaws |
aws-java-sdk-directory |
1.11.313 |
com.amazonaws |
aws-java-sdk-dynamodb |
1.11.313 |
com.amazonaws |
aws-java-sdk-ec2 |
1.11.313 |
com.amazonaws |
aws-java-sdk-ecs |
1.11.313 |
com.amazonaws |
aws-java-sdk-efs |
1.11.313 |
com.amazonaws |
aws-java-sdk-elasticache |
1.11.313 |
com.amazonaws |
aws-java-sdk-elasticbeanstalk |
1.11.313 |
com.amazonaws |
aws-java-sdk-elasticloadbalancing |
1.11.313 |
com.amazonaws |
aws-java-sdk-elastictranscoder |
1.11.313 |
com.amazonaws |
aws-java-sdk-emr |
1.11.313 |
com.amazonaws |
aws-java-sdk-glacier |
1.11.313 |
com.amazonaws |
aws-java-sdk-iam |
1.11.313 |
com.amazonaws |
aws-java-sdk-importexport |
1.11.313 |
com.amazonaws |
aws-java-sdk-kinesis |
1.11.313 |
com.amazonaws |
aws-java-sdk-kms |
1.11.313 |
com.amazonaws |
aws-java-sdk-lambda |
1.11.313 |
com.amazonaws |
aws-java-sdk-logs |
1.11.313 |
com.amazonaws |
aws-java-sdk-machinelearning |
1.11.313 |
com.amazonaws |
aws-java-sdk-opsworks |
1.11.313 |
com.amazonaws |
aws-java-sdk-rds |
1.11.313 |
com.amazonaws |
aws-java-sdk-redshift |
1.11.313 |
com.amazonaws |
aws-java-sdk-route53 |
1.11.313 |
com.amazonaws |
aws-java-sdk-s3 |
1.11.313 |
com.amazonaws |
aws-java-sdk-ses |
1.11.313 |
com.amazonaws |
aws-java-sdk-simpledb |
1.11.313 |
com.amazonaws |
aws-java-sdk-simpleworkflow |
1.11.313 |
com.amazonaws |
aws-java-sdk-sns |
1.11.313 |
com.amazonaws |
aws-java-sdk-sqs |
1.11.313 |
com.amazonaws |
aws-java-sdk-ssm |
1.11.313 |
com.amazonaws |
aws-java-sdk-storagegateway |
1.11.313 |
com.amazonaws |
aws-java-sdk-sts |
1.11.313 |
com.amazonaws |
aws-java-sdk-support |
1.11.313 |
com.amazonaws |
aws-java-sdk-swf-libraries |
1.11.22 |
com.amazonaws |
aws-java-sdk-workspaces |
1.11.313 |
com.amazonaws |
jmespath-java |
1.11.313 |
com.carrotsearch |
hppc |
0.7.2 |
com.chuusai |
shapeless_2.11 |
2.3.2 |
com.clearspring.analytics |
流 |
2.7.0 |
com.databricks |
Rserve |
1.8 - 3 |
com.databricks |
dbml-local_2.11 |
0.4.1-db1-spark2.3 |
com.databricks |
dbml-local_2.11-tests |
0.4.1-db1-spark2.3 |
com.databricks |
jets3t |
0.7.1-0 |
com.databricks.scalapb |
compilerplugin_2.11 |
0.4.15-9 |
com.databricks.scalapb |
scalapb-runtime_2.11 |
0.4.15-9 |
com.esotericsoftware |
kryo-shaded |
3.0.3 |
com.esotericsoftware |
minlog |
1.3.0 |
com.fasterxml |
同学 |
1.0.0 |
com.fasterxml.jackson.core |
jackson-annotations |
2.6.7 |
com.fasterxml.jackson.core |
jackson-core |
2.6.7 |
com.fasterxml.jackson.core |
jackson-databind |
2.6.7.1 |
com.fasterxml.jackson.dataformat |
jackson-dataformat-cbor |
2.6.7 |
com.fasterxml.jackson.datatype |
jackson-datatype-joda |
2.6.7 |
com.fasterxml.jackson.module |
jackson-module-paranamer |
2.6.7 |
com.fasterxml.jackson.module |
jackson-module-scala_2.11 |
2.6.7.1 |
com.github.fommil |
jniloader |
1.1 |
com.github.fommil.netlib |
核心 |
1.1.2 |
com.github.fommil.netlib |
native_ref-java |
1.1 |
com.github.fommil.netlib |
native_ref-java-natives |
1.1 |
com.github.fommil.netlib |
native_system-java |
1.1 |
com.github.fommil.netlib |
native_system-java-natives |
1.1 |
com.github.fommil.netlib |
netlib-native_ref-linux-x86_64-natives |
1.1 |
com.github.fommil.netlib |
netlib-native_system-linux-x86_64-natives |
1.1 |
com.github.luben |
zstd-jni |
1.3.2-2 |
com.github.rwl |
jtransforms |
测试盒框 |
com.google.code.findbugs |
jsr305 |
2.0.1 |
com.google.code.gson |
gson |
2.2.4 |
com.google.guava |
番石榴 |
15.0 |
com.google.protobuf |
protobuf-java |
2.6.1 |
com.googlecode.javaewah |
JavaEWAH |
0.3.2 |
com.h2database |
h2 |
1.3.174 |
com.jamesmurty.utils |
java-xmlbuilder |
1.1 |
com.jcraft |
jsch |
0.1.50 |
com.jolbox |
bonecp |
0.8.0.RELEASE |
com.mchange |
c3p0 |
0.9.5.1 |
com.mchange |
mchange-commons-java |
0.2.10 |
com.microsoft.azure |
azure-data-lake-store-sdk |
2.2.8 |
com.microsoft.sqlserver |
mssql-jdbc |
6.2.2.jre8 |
com.ning |
compress-lzf |
1.0.3 |
com.sun.mail |
javax.mail |
1.5.2 |
com.thoughtworks.paranamer |
paranamer |
2.8 |
com.trueaccord.lenses |
lenses_2.11 |
0.3 |
com.twitter |
chill-java |
0.8.4 |
com.twitter |
chill_2.11 |
0.8.4 |
com.twitter |
parquet-hadoop-bundle |
1.6.0 |
com.twitter |
util-app_2.11 |
6.23.0 |
com.twitter |
util-core_2.11 |
6.23.0 |
com.twitter |
util-jvm_2.11 |
6.23.0 |
com.typesafe |
配置 |
1.2.1 " |
com.typesafe.scala-logging |
scala-logging-api_2.11 |
2.1.2 |
com.typesafe.scala-logging |
scala-logging-slf4j_2.11 |
2.1.2 |
com.univocity |
univocity-parsers |
2.5.9 |
com.vlkan |
flatbuffers |
1.2.0-3f79e055 |
com.zaxxer |
HikariCP |
3.1.0 |
commons-beanutils |
commons-beanutils |
1.7.0 |
commons-beanutils |
commons-beanutils-core |
1.8.0 |
commons-cli |
commons-cli |
1.2 |
commons-codec |
commons-codec |
1.10 |
commons-collections |
commons-collections |
3.2.2 |
commons configuration |
commons configuration |
1.6 |
commons-dbcp |
commons-dbcp |
1.4 |
commons-digester |
commons-digester |
1.8 |
commons-httpclient |
commons-httpclient |
3.1 |
commons-io |
commons-io |
2.4 |
commons lang |
commons lang |
2.6 |
通用日志 |
通用日志 |
1.1.3 |
commons net |
commons net |
2.2 |
commons-pool |
commons-pool |
1.5.4 |
info.ganglia.gmetric4j |
gmetric4j |
1.0.7 |
io.airlift |
aircompressor |
0.8 |
io.dropwizard.metrics |
metrics-core |
3.1.5 |
io.dropwizard.metrics |
metrics-ganglia |
3.1.5 |
io.dropwizard.metrics |
metrics-graphite |
3.1.5 |
io.dropwizard.metrics |
metrics-healthchecks |
3.1.5 |
io.dropwizard.metrics |
metrics-jetty9 |
3.1.5 |
io.dropwizard.metrics |
metrics-json |
3.1.5 |
io.dropwizard.metrics |
metrics-jvm |
3.1.5 |
io.dropwizard.metrics |
metrics-log4j |
3.1.5 |
io.dropwizard.metrics |
metrics-servlets |
3.1.5 |
io.netty |
网状的 |
3.9.9.Final |
io.netty |
netty-all |
4.1.17.Final |
io.prometheus |
simpleclient |
0.0.16 |
io.prometheus |
simpleclient_common |
0.0.16 |
io.prometheus |
simpleclient_dropwizard |
0.0.16 |
io.prometheus |
simpleclient_servlet |
0.0.16 |
io.prometheus.jmx |
收集器 |
0.7 |
javax.activation |
激活 |
1.1.1 |
javax.annotation |
javax.annotation-api |
1.2 |
javax.el |
javax.el-api |
2.2.4 |
javax.jdo |
jdo api |
3.0.1 |
javax.servlet |
javax.servlet-api |
3.1.0 |
javax.servlet.jsp |
jsp-api |
2.1 |
javax.transaction |
jta |
1.1 |
javax.validation |
验证api |
1.1.0.Final |
javax.ws.rs |
javax.ws.rs-api |
2.0.1 |
javax.xml.bind |
jaxb-api |
2.2.2 |
javax.xml.stream |
stax-api |
1.0 - 2 |
javolution |
javolution |
5.5.1 |
jline |
jline |
2.11 |
joda-time |
joda-time |
2.9.3 |
log4j |
apache-log4j-extras |
1.2.17 |
log4j |
log4j |
1.2.17 |
net.hydromatic |
eigenbase-properties |
1.1.5 |
net.iharder |
base64 |
2.3.8 |
net.java.dev.jets3t |
jets3t |
0.9.4 |
net.razorvine |
地幔岩 |
4.13 |
net.sf.jpam |
jpam |
1.1 |
net.sf.opencsv |
opencsv |
2.3 |
net.sf.supercsv |
super-csv |
2.2.0 |
net.snowflake |
snowflake-jdbc |
3.6.3 |
net.snowflake |
spark-snowflake_2.11 |
2.3.2 |
net.sourceforge.f2j |
arpack_combined_all |
0.1 |
org.acplt |
oncrpc |
1.0.7 |
org.antlr |
ST4 |
4.0.4 |
org.antlr |
antlr-runtime |
3.4 |
org.antlr |
antlr4-runtime |
4.7 |
org.antlr |
stringtemplate |
3.2.1之上 |
org.apache.ant |
蚂蚁 |
1.9.2 |
org.apache.ant |
ant-jsch |
1.9.2 |
org.apache.ant |
ant-launcher |
1.9.2 |
org.apache.arrow |
arrow-format |
0.8.0 |
org.apache.arrow |
arrow-memory |
0.8.0 |
org.apache.arrow |
arrow-vector |
0.8.0 |
org.apache.avro |
avro |
1.7.7 |
org.apache.avro |
avro-ipc |
1.7.7 |
org.apache.avro |
avro-ipc-tests |
1.7.7 |
org.apache.avro |
avro-mapred-hadoop2 |
1.7.7 |
org.apache.calcite |
calcite-avatica |
1.2.0-incubating |
org.apache.calcite |
calcite-core |
1.2.0-incubating |
org.apache.calcite |
calcite-linq4j |
1.2.0-incubating |
org.apache.commons |
commons-compress |
1.4.1 |
org.apache.commons |
commons-crypto |
1.0.0 |
org.apache.commons |
commons-lang3 |
3.5 |
org.apache.commons |
commons-math3 |
3.4.1 |
org.apache.curator |
curator-client |
2.7.1 |
org.apache.curator |
curator-framework |
2.7.1 |
org.apache.curator |
curator-recipes |
2.7.1 |
org.apache.derby |
德比 |
10.12.1.1 |
org.apache.directory.api |
api-asn1-api |
1.0.0-M20 |
org.apache.directory.api |
api-util |
1.0.0-M20 |
org.apache.directory.server |
apacheds-i18n |
2.0.0-M15 |
org.apache.directory.server |
apacheds-kerberos-codec |
2.0.0-M15 |
org.apache.hadoop |
hadoop-annotations |
2.7.3 |
org.apache.hadoop |
hadoop-auth |
2.7.3 |
org.apache.hadoop |
hadoop-client |
2.7.3 |
org.apache.hadoop |
hadoop-common |
2.7.3 |
org.apache.hadoop |
hadoop-hdfs |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-app |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-common |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-core |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-jobclient |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-shuffle |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-api |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-client |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-common |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-server-common |
2.7.3 |
org.apache.htrace |
htrace-core |
3.1.0-incubating |
org.apache.httpcomponents |
httpclient |
4.5.4 |
org.apache.httpcomponents |
httpcore |
4.4.8 |
org.apache.ivy |
艾薇 |
测试盒框 |
org.apache.orc |
orc-core-nohive |
3 |
org.apache.orc |
orc-mapreduce-nohive |
3 |
org.apache.parquet |
parquet-column |
1.8.3-databricks2 |
org.apache.parquet |
parquet-common |
1.8.3-databricks2 |
org.apache.parquet |
parquet-encoding |
1.8.3-databricks2 |
org.apache.parquet |
parquet-format |
2.3.1 |
org.apache.parquet |
parquet-hadoop |
1.8.3-databricks2 |
org.apache.parquet |
parquet-jackson |
1.8.3-databricks2 |
org.apache.thrift |
libfb303 |
0.9.3 |
org.apache.thrift |
libthrift |
0.9.3 |
org.apache.xbean |
xbean-asm5-shaded |
4.4 |
org.apache.zookeeper |
动物园管理员 |
3.4.6 |
org.bouncycastle |
bcprov-jdk15on |
1.58 |
org.codehaus.jackson |
jackson-core-asl |
1.9.13 |
org.codehaus.jackson |
jackson-jaxrs |
1.9.13 |
org.codehaus.jackson |
jackson-mapper-asl |
1.9.13 |
org.codehaus.jackson |
jackson-xc |
1.9.13 |
org.codehaus.janino |
commons-compiler |
3.0.8 |
org.codehaus.janino |
janino |
3.0.8 |
org.datanucleus |
datanucleus-api-jdo |
3.2.6 |
org.datanucleus |
datanucleus-core |
3.2.10 |
org.datanucleus |
datanucleus-rdbms |
3.2.9 |
org.eclipse.jetty |
jetty-client |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-continuation |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-http |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-io |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-jndi |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-plus |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-proxy |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-security |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty服务器 |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty servlet |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-servlets |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-util |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-webapp |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-xml |
9.3.20.v20170531 |
org.fusesource.leveldbjni |
leveldbjni-all |
1.8 |
org.glassfish.hk2 |
hk2-api |
2.4.0-b34 |
org.glassfish.hk2 |
hk2-locator |
2.4.0-b34 |
org.glassfish.hk2 |
hk2-utils |
2.4.0-b34 |
org.glassfish.hk2 |
osgi-resource-locator |
1.0.1 |
org.glassfish.hk2.external |
aopalliance-repackaged |
2.4.0-b34 |
org.glassfish.hk2.external |
javax.inject |
2.4.0-b34 |
org.glassfish.jersey.bundles.repackaged |
jersey-guava |
2.22.2 |
org.glassfish.jersey.containers |
jersey-container-servlet |
2.22.2 |
org.glassfish.jersey.containers |
jersey-container-servlet-core |
2.22.2 |
org.glassfish.jersey.core |
jersey客户端 |
2.22.2 |
org.glassfish.jersey.core |
jersey-common |
2.22.2 |
org.glassfish.jersey.core |
jersey-server |
2.22.2 |
org.glassfish.jersey.media |
jersey-media-jaxb |
2.22.2 |
org.hibernate |
hibernate验证框架 |
5.1.1.Final |
org.iq80.snappy |
时髦的 |
0.2 |
org.javassist |
javassist |
3.18.1-GA |
org.jboss.logging |
jboss-logging |
3.1.3.GA |
org.jdbi |
jdbi |
2.63.1 |
org.joda |
joda-convert |
1.7 |
org.jodd |
jodd-core |
3.5.2 |
org.json4s |
json4s-ast_2.11 |
3.2.11 |
org.json4s |
json4s-core_2.11 |
3.2.11 |
org.json4s |
json4s-jackson_2.11 |
3.2.11 |
org.lz4 |
lz4-java |
1.4.0 |
org.mariadb.jdbc |
mariadb-java-client |
2.1.2 |
org.mockito |
mockito-all |
1.9.5 |
org.objenesis |
objenesis |
2.1 |
org.postgresql |
postgresql |
42.1.4 |
org.roaringbitmap |
RoaringBitmap |
0.5.11 |
org.rocksdb |
rocksdbjni |
5.2.1 |
org.rosuda.REngine |
REngine |
魅惑 |
org.scala-lang |
scala-compiler_2.11 |
2.11.8 |
org.scala-lang |
scala-library_2.11 |
2.11.8 |
org.scala-lang |
scala-reflect_2.11 |
2.11.8 |
org.scala-lang |
scalap_2.11 |
2.11.8 |
org.scala-lang.modules |
scala-parser-combinators_2.11 |
1.0.2中 |
org.scala-lang.modules |
scala-xml_2.11 |
1.0.5 |
org.scala-sbt |
测试界面 |
1.0 |
org.scalacheck |
scalacheck_2.11 |
1.12.5 |
org.scalanlp |
breeze-macros_2.11 |
0.13.2 |
org.scalanlp |
breeze_2.11 |
0.13.2 |
org.scalatest |
scalatest_2.11 |
2.2.6款 |
org.slf4j |
jcl-over-slf4j |
1.7.16 |
org.slf4j |
jul-to-slf4j |
1.7.16 |
org.slf4j |
slf4j-api |
1.7.16 |
org.slf4j |
slf4j-log4j12 |
1.7.16 |
org.spark-project.hive |
hive-beeline |
1.2.1.spark2 |
org.spark-project.hive |
hive-cli |
1.2.1.spark2 |
org.spark-project.hive |
hive-exec |
1.2.1.spark2 |
org.spark-project.hive |
hive-jdbc |
1.2.1.spark2 |
org.spark-project.hive |
hive-metastore |
1.2.1.spark2 |
org.spark-project.spark |
未使用的 |
1.0.0 |
org.spire-math |
spire-macros_2.11 |
0.13.0 |
org.spire-math |
spire_2.11 |
0.13.0 |
org.springframework |
spring核心 |
4.1.4.RELEASE |
org.springframework |
spring测试 |
4.1.4.RELEASE |
org.tukaani |
xz |
1.0 |
org.typelevel |
machinist_2.11 |
0.6.1 |
org.typelevel |
macro-compat_2.11 |
1.1.1 |
org.xerial |
sqlite-jdbc |
3.8.11.2 |
org.xerial.snappy |
snappy-java |
1.1.2.6 |
org.yaml |
snakeyaml |
1.16 |
奥罗 |
奥罗 |
2.0.8 |
software.amazon.ion |
ion-java |
1.0.2中 |
stax |
stax-api |
1.0.1 |
xmlenc |
xmlenc |
0.52 |