Databricks Runtime 9.0(不支持)
以下版本说明提供了Databricks Runtime 9.0和Databricks Runtime 9.0 Photon的相关信息,由Apache Spark 3.1.2提供支持。Databricks于2021年8月发布了这些图像。光子是在公共预览.
新功能和改进
用于数据集汇总统计的新API(公开预览)
新dbutils.data.summarize
命令允许您启动一个Spark作业,自动计算Spark DataFrame列的汇总统计信息,然后交互式地显示结果。该函数在Scala和Python中可用。看到数据工具(dbutls . Data).
更容易配置Azure Synapse连接器的外部数据源
新externalDataSource
选项中的在Azure Synapse Analytics中查询数据connector允许您使用预先配置的外部数据源从Azure Synapse数据库中读取数据。的externalDataSource
选项消除了对控制
事先需要许可。
当设置externalDataSource
、外部数据源和tempDir
用于配置临时存储的选项必须引用存储帐户中的相同容器。
可以选择将会话限制为Amazon Redshift连接器的指定持续时间
新fs.s3a.assumed.role.session.duration
选项中的用Databricks查询亚马逊红移connector允许您在Redshift以假定角色访问临时S3桶时可选地设置会话的持续时间。
自动加载程序
优化的文件列表
当列出云存储(包括AWS S3、Azure数据湖存储Gen2 (ADLS Gen2)和谷歌云存储(GCS)中的嵌套目录时,自动加载器优化提供了性能改进和成本节约。
例如,如果文件被上传为/一些/道路/ / MM / DD / YYYY HH /文件名
,为了找到这些目录中的所有文件,Auto Loader使用并行列出所有子目录,导致365(每天)* 24(每小时)= 8760 LIST API目录调用底层存储为每个年目录。通过接收来自这些存储系统的扁平响应,Auto Loader将API调用的数量减少到存储系统中的文件数量除以每个API调用返回的结果数量(S3为1000,ADLS Gen2为5000,GCS为1024),极大地降低了您的云成本。
优化图像数据存储
Auto Loader现在可以自动检测正在摄取的图像数据,并优化其在Delta表中的存储,以提高读写性能。看到摄取图像或二进制数据到Delta Lake进行ML.
二进制文件的图像缩略图(公开预览)
图片binaryFile
使用Auto Loader加载或保存为Delta表的格式带有注释,以便在Databricks笔记本中显示表时显示图像缩略图。有关更多信息,请参见图片.
DirectoryRename
事件允许对多个文件进行原子处理
在Azure Data Lake Storage Gen2上Databricks Runtime 9.0及以上版本中创建的自动加载器流设置了文件事件通知,包括目录重命名和监听RenameDirectory
事件。您可以使用目录重命名使多个文件自动加载自动显示。
SQL
中排除列选择*
(公共预览版)
选择*
现在支持除了
关键字,它允许您从展开中排除指定的顶级列。例如,选择*除了(b)从资源描述
从具有模式的表中(一个b,c)
扩大到(一个c)
.
SQL标量函数(公开预览)
创建函数
现在支持SQL标量函数。可以创建接受一组参数并返回单个标量类型值的标量函数。SQL函数体可以是任何表达式。例如:
创建函数广场(x双)返回双返回x*x;选择广场(2);
详细信息请参见创建函数.
中引用前面的别名和列从
子查询(公开预览)
中的子查询从
子句之前现在可以加上横向
关键字,允许它们引用前面的别名和列从
物品。例如:
选择*从t1,横向(选择*从t2在哪里t1.c1=t2.c1)
的横向
关键词支持内心的
,交叉
,左(外部)加入
.
R的支持
笔记本范围的R库(公开预览)
笔记本范围的库允许您安装库并创建笔记本会话范围的环境。这些库不会影响在同一集群上运行的其他笔记本电脑。这些库在驱动程序和工作节点上都可用,因此您可以在用户定义的函数中引用它们。看到笔记本范围的R库.
R笔记本中的警告消息
的默认值警告
选项现在设置为1在R笔记本。因此,所有警告现在都作为命令结果的一部分公开。了解更BOB低频彩多关于警告
选项,看到选项设置.
通过为结构化流有状态处理指定初始状态来避免重做
您现在可以为结构化流有状态处理指定用户定义的初始状态(平)MapGroupsWithState
操作符。
Delta MERGE INTO命令的低洗牌实现现在可用(公共预览)
δ合并成
命令有一个新的实现,可以减少未修改的行变换。这提高了命令的性能,并有助于在表上保留现有的集群,例如z顺序。要启用低洗牌合并,请设置spark.databricks.delta.merge.enableLowShuffle
来真正的
.看到低shuffle合并数据.
库升级
升级的Python库:
证书有效期为2021.5.30至2020.12.5
Chardet从3.0.4到4.0.0
Cython从0.29.21到0.29.23
从4.4.2到5.0.6的装饰器
Ipython从7.19.0到7.22.0
Joblib从0.17.0到1.0.1
Jupyter-client从6.1.7到6.1.12
Jupyter-core从4.6.3到4.7.1
从1.3.0到1.3.1
Matplotlib从3.2.2到3.4.2
熊猫从1.1.5到1.2.4
PIP从20.2.4降至21.0.1
从3.0.8到3.0.17的提示工具箱
Protobuf从3.17.3到3.17.2
Ptyprocess从0.6.0到0.7.0
Pyarrow从1.0.1到4.0.0
从2.7.2到2.8.1的pyages
Pyzmq从19.0.2到20.0.0
从2.24.0到2.24.1的请求
S3transfer从0.3.6到0.3.7
Scikit-learn从0.23.2到0.24.1
Scipy从1.5.2到1.6.2
海运从0.10.0到0.11.1
Setuptools从50.3.1到52.0.0
statmodel从0.12.0到0.12.2
龙卷风从6.0.4到6.1
Virtualenv从20.2.1到20.4.1
从0.35.1转到0.36.2
升级的R库:
矩阵从1.3-3到1.3-4
Apache火花
Databricks Runtime 9.0包含Apache Spark 3.1.2。此版本包括所有Spark修复和改进Databricks Runtime 8.4(不支持),以及以下对Spark的额外错误修复和改进:
(火花- 35886)[SQL][3.1] PromotePrecision should not overwrite genCodePromotePrecision should not overwrite genCode
(火花- 35879)[CORE][SHUFFLE]修复collectFetchRequests导致的性能下降问题
(火花- 35817)[SQL][3.1]恢复宽Avro表的查询性能
(火花- 35841)[SQL]将字符串转换为十进制类型不工作,如果…
(火花- 35783)[SQL]在任务配置中设置读列列表,减少ORC数据的读取
(火花- 35576)[SQL][3.1]编辑Set命令结果中的敏感信息
(火花- 35449)[SQL][3.1]如果设置了elseValue,则只从CaseWhen值中提取常用表达式
(火花- 35288)[SQL] StaticInvoke应该找到没有精确参数类匹配的方法
(火花- 34794)[SQL]修复嵌套DataFrame函数中的lambda变量名称问题
(火花- 35278)[SQL]调用应该找到具有正确参数数量的方法
(火花- 35226)在JDBC数据源中支持refreshKrb5Config选项
(火花- 35244)Invoke应该抛出原始异常
(火花- 35213)[SQL]用field操作保持嵌套结构的正确顺序
(火花- 35087)[UI] stage- details页面的aggregmetrics by Executor表中的某些列显示错误。
(火花- 35168)[SQL] map .reduce.tasks应该shuffle。coalescepartitions . initialpartitionnum
(火花- 35127)[UI]当我们在不同的舞台细节页面之间切换时,新打开的页面中的条目可能是空白的
(火花- 35142)修复错误的返回类型
rawPredictionUDF
在OneVsRestModel
(火花- 35096)[SQL] schemaprunning应该遵循spark.sql.caseSensitive配置
(火花- 34639)[SQL] [3.1] RelationalGroupedDataset。alias不应该创建UnresolvedAlias
(火花- 35080)[SQL]当子查询聚合时,只允许相关相等谓词的一个子集
(火花- 35117)更改进度条以突出显示正在进行的任务的比例
(火花- 35136)删除LiveStage.info的初始空值
(火花- 34834)修复TransportResponseHandler中潜在的Netty内存泄漏
(火花- 35045)[SQL]添加一个内部选项以univocity控制输入缓冲区
(火花- 35014)修复PhysicalAggregation模式以不重写可折叠表达式
(火花- 35019)[PYTHON][SQL]修复pyspark.sql.*中的类型提示不匹配问题
(火花- 34926)[SQL][3.1] PartitioningUtils.getPathFragment()应该尊重分区值为空
(火花- 34630)为pyspark添加typehint。版本
(火花- 34963)[SQL]修复了从数组中提取不区分大小写的struct字段时嵌套列修剪的问题
(火花- 34988)[CORE][3.1]升级CVE-2021-28165的Jetty
(火花- 34922)[SQL][3.1]在CBO中使用相对成本比较函数
(火花- 34970)[SQL][SECURITY][3.1]修改explain()输出中的map类型选项
(火花- 34923)[SQL]对于更多的计划,元数据输出应该为空
(火花- 34949)[CORE]当Executor关闭时,阻止BlockManager重新注册
(火花- 34939)当无法反序列化广播映射状态时抛出获取失败异常
(火花- 34909)[SQL]修复了conv()中将负转换为unsigned的问题
(火花- 34845)ProcfsMetricsGetter不应该返回部分procfs度量
(火花- 34814)[SQL] LikeSimplification应该处理NULL
(火花- 34876)[SQL]填充非空聚合的defaultResult
(火花- 34829)修正高阶函数结果
(火花- 34840)[SHUFFLE]修复合并SHUFFLE中的腐败案例…
(火花- 34833)为相关子查询正确应用右填充
(火花- 34630)[PYTHON][SQL]为pyspark.sql.Column.contains添加了typehint
(火花- 34763)[SQL] col(), $ "
"和df(" name ")应该正确处理带引号的列名 (火花- 33482)(火花- 34756)[SQL]修复FileScan相等性检查
(火花- 34790)[CORE]启用io加密时,不允许批量抓取shuffle块
(火花- 34803)[PYSPARK]如果熊猫或pyarrow导入失败,通过提升的ImportError
(火花- 34225)当一个URI表单字符串被传递给addFile或addJar时,不要进一步编码
(火花- 34811)[核心]修订fs.s3a.access。密钥就像秘密和标记
(火花- 34796)[SQL][3.1]在doProduce()中初始化LIMIT code-gen的计数器变量
(火花- 34128)[SQL]抑制THRIFT-4805中不需要的TTransportException警告
(火花- 34776)嵌套列修剪不应该修剪窗口产生的属性
(火花- 34087)[3.1][SQL]修复ExecutionListenerBus内存泄漏
(火花- 34772)[SQL] RebaseDateTime loadrebaserecds应该使用Spark类加载器而不是上下文
(火花- 34719)[SQL][3.1]正确解析有重复列名的视图查询
(火花- 34766)[SQL][3.1]不捕获视图的maven配置
(火花- 34731)在编辑EventLoggingListener中的属性时避免ConcurrentModificationException
(火花- 34737)[SQL][3.1]转换输入浮点数为double in
TIMESTAMP_SECONDS
(火花- 34749)[SQL][3.1]简化ResolveCreateNamedStruct
(火花- 34768)[SQL]尊重Univocity中的默认输入缓冲区大小
(火花- 34770)[SQL] InMemoryCatalog。如果数据库不存在,tableExists应该不会失败
(火花- 34504)[SQL]避免不必要地解析DDL命令的SQL临时视图
(火花- 34727)[SQL]修复浮动转换为时间戳的差异
(火花- 34723)[SQL]在全阶段下消除子表达式的正确参数类型
(火花- 34724)[SQL]修复用getMethod代替getDeclaredMethod来解释计算的问题
(火花- 34713)[SQL]通过CreateStruct和ExtractValue修复组
(火花- 34697)[SQL]允许描述函数和显示函数解释||(字符串连接运算符)
(火花- 34682)使用PrivateMethodTester代替反射
(火花- 34682)[SQL]修复CustomShuffleReaderExec中规范化错误检查中的回归
(火花- 34681)[SQL]修复了在不相等条件下构建左侧时完全外部洗牌哈希连接的错误
(火花- 34545)[SQL]修复软锰矿的valueCompare特性问题
(火花- 34607)[SQL] [3.1]
Utils.isMemberClass
修复jdk8u上格式错误的类名错误(火花- 34596)[SQL]使用Utils。getSimpleName以避免在NewInstance.doGenCode中命中畸形的类名
(火花- 34613)[SQL]修复视图不捕获禁用提示配置
(火花- 32924)[web]在主界面中将持续时间列按正确顺序排序
(火花- 34482)修正streamexecute . logicalplan的活动SparkSession
(火花- 34567)[SQL] CreateTableAsSelect也应该更新度量
(火花- 34599)[SQL]修复了INSERT INTO OVERWRITE不支持DSv2包含dot的分区列的问题
(火花- 34577)的数据集添加/删除列的问题
描述名称空间
(火花- 34584)[SQL]静态分区在插入到v2表时也应该遵循StoreAssignmentPolicy
(火花- 34555)从DataFrame中解析元数据输出
(火花- 34534)修复了使用FetchShuffleBlocks获取block时的blockIds顺序
(火花- 34547)[SQL]最后才使用元数据列进行解析
(火花- 34417)[SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap因列名带有点号而失败
(火花- 34561)[SQL]修复了从/到v2数据集删除/添加列的问题
描述表格
(火花- 34556)[SQL]检查重复的静态分区列应该尊重区分大小写的conf
(火花- 34392)[SQL] DateTimeUtils支持ZoneOffset +h:mm。getZoneId
(火花- 34550)[SQL]在推送过滤器到Hive metastore时跳过InSet null值
(火花- 34543)[SQL]尊重
spark.sql.caseSensitive
在解决v1中的分区规范时进行配置集位置
(火花- 34436)[SQL] DPP支持LIKE任何/所有表达式
(火花- 34531)删除PrometheusServlet中的Experimental API标签
(火花- 34497)[SQL]修复内置JDBC连接提供程序以恢复JVM安全上下文更改
(火花- 34515)[SQL]修复getPartitionsByFilter过程中InSet包含空值的NPE问题
(火花- 34490)如果视图引用了一个被删除的表,分析将失败
(火花- 34473)在dataframerader .schema(StructType)中避免NPE
(火花- 34384)为ResourceProfile api添加缺少的文档
(火花- 34373)[SQL] HiveThriftServer2 startWithContext可能挂起一个种族问题
(火花- 20977)为CollectionAccumulator的状态使用一个非final字段
(火花- 34421)[SQL]通过cte解析视图中的临时函数和视图
(火花- 34431)[核心]只加载
hive-site.xml
一次(火花- 34405)修复PrometheusServlet类中timersLabels的平均值
(火花- 33438)用定义好的SQL conf初始化对象
集- v
(火花- 34158)pom.xml中唯一开发人员Matei的url不正确
(火花- 34346)[CORE][SQL][3.1] spark.buffer.size设置的io.file.buffer.size会被加载hive-site.xml时意外覆盖,可能会导致性能回归
(火花- 34359)[SQL][3.1]添加一个旧配置以恢复SHOW DATABASES的输出模式
(火花- 34331)[SQL]加速DS v2元数据col解析
(火花- 34318)数据集[SQL][3.1]。colRegex应该与包含换行符的列名和限定符一起工作
(火花- 34326)[CORE][SQL]修复SPARK-31793中根据临时路径长度添加ut的问题
(火花- 34319)[SQL]解析FlatMapCoGroupsInPandas/MapInPandas的重复属性
(火花- 34310)[CORE][SQL]用flatMap替换map和flatten
(火花- 34083)[SQL][3.1]使用TPCDS原始定义的char/varchar列
(火花- 34233)[SQL][3.1]修复二进制比较中char填充的NPE
(火花- 34270)[SS] Combine StateStoreMetrics不应该覆盖StateStoreCustomMetric
(火花- 34144)[SQL]试图将LocalDate和Instant值写入JDBC关系时抛出的异常
(火花- 34273)当SparkContext停止时,不重新注册BlockManager
(火花- 34262)[SQL][3.1]刷新v1表的缓存数据
改变表格..集位置
(火花- 34275)[CORE][SQL][MLLIB]用count替换过滤器和大小
(火花- 34260)[SQL]修复两次创建临时视图时出现UnresolvedException的问题
(火花- 33867)生成SQL查询时不处理Instant和LocalDate值
(火花- 34193)[核心]TorrentBroadcast块管理器退役比赛修复
(火花- 34221)[web]确保在UI页面的某个阶段失败时,能够正确显示相应的错误信息
(火花- 34236)[SQL]修复v2 Overwrite w/ null静态分区raise不能将表达式转换为源过滤器:null
(火花- 34212)修正从Parquet文件中读取错误的十进制
(火花- 34244)[SQL]删除Scala函数regexp_extract_all版本
(火花- 34235)将spark.sql.hive作为一个私有包
(火花- 34232)在日志中编辑SparkListenerEnvironmentUpdate事件
(火花- 34229)[SQL] Avro应该用文件模式读取十进制值
(火花- 34223)[SQL]修复insertintohadoopfsrelationship命令中静态分区为空的NPE
(火花- 34192)[SQL]移动字符填充到写侧,并删除长度检查在读侧
(火花- 34203)[SQL]转换
零
将值分区到__HIVE_DEFAULT_PARTITION__
在v1内存中
目录(火花- 33726)[SQL]修复聚合过程中字段名重复的问题
(火花- 34133)[AVRO]在执行Catalyst-to-Avro场匹配时,尊重大小写敏感性
(火花- 34187)[SS]在检查偏移量验证时,使用轮询期间获得的可用偏移量范围
(火花- 34052)[SQL][3.1]存储SQL文本创建的临时视图使用“CACHE TABLE ..”作为选择……”
(火花- 34213)[SQL]刷新v1表的缓存数据
负载数据
(火花- 34191)[PYTHON][SQL]为udf重载添加类型
(火花- 34200)不明确的列引用应该考虑属性可用性
(火花- 33813)[SQL][3.1]修复JDBC源代码不能处理MS SQL Server的空间类型的问题
(火花- 34178)复制multiinstancerrelationship . newinstance创建的新节点的标签
(火花- 34005)[CORE][3.1]更新任务端每个Executor的峰值内存指标
(火花- 34115)[CORE]检查SPARK_TESTING为lazy val以避免减速
(火花- 34153)[SQL][3.1][3.0]删除未使用的
getRawTable ()
从HiveExternalCatalog.alterPartitions ()
(火花- 34130)使用StaticInvoke改进char varchar填充和长度检查的preformace
(火花- 34027)[SQL][3.1]刷新缓存
改变表格..恢复分区
(火花- 34151)[SQL]替换
java.io.File.toURL
与java.io.File.toURI.toURL
(火花- 34140)[SQL][3.1] Move QueryCompilationErrors。Scala到org/apache/spark/sql/errors
(火花- 34080)[ML][PYTHON]添加UnivariateFeatureSelector
(火花- 33790)[CORE][3.1]减少SingleFileEventLogFileReader中getFileStatus的rpc调用
(火花- 34118)[CORE][SQL][3.1]用exists或forall替换过滤和检查空
(火花- 34114)[SQL]不应该对读侧字符长度检查和填充进行右修剪
(火花- 34086)[SQL][3.1] RaiseError生成过多的代码,可能会导致codegen在char varchar长度检查中失败
(火花- 34075)[SQL][CORE]正在列出用于分区推断的隐藏目录
(火花- 34076)[SQL] SQLContext。如果缓存非空,dropTempTable失败
(火花- 34084)[SQL][3.1]修复了在
改变表格..添加分区
(火花- 34090)缓存HadoopDelegationTokenManager。用于KafkaTokenUtil.needTokenUpdate的isServiceEnabled结果
(火花- 34069)Kill barrier任务应该尊重SPARK_JOB_INTERRUPT_ON_CANCEL
(火花- 34091)[SQL] Shuffle批量获取应该能够禁用后,它被启用
(火花- 34059)[SQL][CORE][3.1]使用for/foreach而不是map来确保快速执行
(火花- 34002)[SQL]修复ScalaUDF中编码器的使用
(火花- 34060)[SQL][3.1]修复Hive表在更新数据时缓存的问题
改变表格..下降分区
(火花- 31952)修正聚合时不正确的内存溢出度量
(火花- 33591)[SQL][3.1]识别
零
在分区规格值中(火花- 34055)[SQL][3.1]刷新缓存
改变表格..添加分区
(火花- 34039)[SQL][3.1] ReplaceTable应该使缓存无效
(火花- 34003)[SQL]修复PaddingAndLengthCheckForCharVarchar和ResolveAggregateFunctions规则冲突
(火花- 33938)[SQL][3.1]通过LikeSimplification进行Like Any/All优化
(火花- 34021)[R]修复SparkR文档中CRAN提交的超链接
(火花- 34011)[SQL][3.1][3.0]刷新缓存
改变表格..重命名来分区
(火花- 33948)[SQL]修复MapObjects CodeGen错误。doGenCode方法
(火花- 33635)调整KafkaTokenUtil中的检查顺序。needTokenUpdate来补救性能回归
(火花- 33029)[CORE][web]修复UI executor页面错误地将驱动程序标记为排除
(火花- 34015)[R]修正gapply的输入时间
(火花- 34012)[SQL] conf . conf . conf . conf . conf . conf . conf . conf
spark.sql.legacy.parser.havingWithoutGroupByAsWhere
迁徙指南是真的吗(火花- 33844)[SQL][3.1] InsertIntoHiveDir命令也应该检查col名称
(火花- 33935)[SQL]修复CBO代价函数
(火花- 33100)在spark-sql中忽略括号注释中的分号
(火花- 34000)[CORE]修复stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException
(火花- 33992)[SQL]重写transformUpWithNewOutput添加allowInvokingTransformsInAnalyzer
(火花- 33894)[SQL]改变mllib中私有case类的可见性,以避免Scala 2.13的运行时编译错误
(火花- 33950)[SQL][3.1][3.0]在v1中刷新缓存
改变表格..下降分区
(火花- 33980)[SS]使spark.readStream.schema中的char/varchar无效
(火花- 33945)[SQL][3.1]处理由expr树组成的随机种子
(火花- 33398)修复了Spark 3.0之前的加载树模型
(火花- 33963)[SQL]规范化
HiveTableRelation
W /o表统计信息(火花- 33906)修复UI Executor页面由于未定义的peakMemoryMetrics卡住的错误
(火花- 33944)[SQL] SharedState选项中的仓库密钥记录错误
(火花- 33936)[SQL][3.1]添加连接器接口时的版本
(火花- 33916)修正回退存储偏移,提高压缩编解码器测试覆盖率
(火花- 33899)[SQL][3.1]修复v1 SHOW TABLES/VIEWS assert失败的问题
spark_catalog
(火花- 33901)[SQL]修复了DDLs后Char和Varchar显示错误
(火花- 33897)[SQL]不能在连接方法中设置选项“交叉”
(火花- 33907)[SQL][3.1]如果解析选项为空,只删除JsonToStructs的列
(火花- 33621)(火花- 33784)[SQL][3.1]增加了一种注入数据源重写规则的方法
(火花- 33900)[web]当只有remotebytesread可用时,shuffle读大小/记录正确显示
(火花- 33892)[SQL]在DESC和SHOW CREATE TABLE中显示char/varchar
(火花- 33895)[SQL]在ThriftServer的元操作中Char和Varchar失败
(火花- 33659)记录DataStreamWriter的当前行为。toTable API
(火花- 33893)从executorList中排除回退块管理器
(火花- 33277)[PYSPARK][SQL]使用ContextAwareIterator在任务结束后停止消费
(火花- 33889)[SQL][3.1]修复NPE from
显示分区
在V2表上(火花- 33879)[SQL] Char Varchar值失败w/ match错误作为分区列
(火花- 33877)[SQL] INSERT的SQL引用文档
(火花- 33876)[SQL]增加了从外部位置的表中读取char/varchar的长度检查
(火花- 33846)[SQL]包含structtype . todl中嵌套模式的注释
(火花- 33860)[SQL] Make CatalystTypeConverters。convertToCatalyst匹配特殊数组值
(火花- 33834)用Char和Varchar验证ALTER TABLE CHANGE COLUMN
(火花- 33853)[SQL] EXPLAIN CODEGEN和BenchmarkQueryTest不显示子查询代码
(火花- 33836)[SS][PYTHON]暴露DataStreamReader。和DataStreamWriter.toTable
(火花- 33829)[SQL][3.1]重命名v2表将重新创建缓存
(火花- 33756)[SQL]使BytesToBytesMap的MapIterator为幂等
(火花- 33850)如果启用了AQE, EXPLAIN格式化不会显示子查询的计划
(火花- 33841)[CORE][3.1]修复了高负载下SHS任务间歇性消失的问题
(火花- 33593)[SQL]向量阅读器得到了错误的数据与二进制分区值
(火花- 26341)[web]在Stages选项卡中,在阶段级别公开执行程序内存指标
(火花- 33831)[UI]更新到jetty 9.4.34
(火花- 33822)[SQL]使用
CastSupport.cast
方法。(火花- 33774)[UI][CORE] Back to Master "在独立集群中返回500个错误
(火花- 26199)(火花- 31517)[R]修正了处理…名字突变的策略
(火花- 33819)[CORE][3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader
包私人
(火花- 33697)[SQL] RemoveRedundantProjects默认需要列排序
(火花- 33752)[SQL][3.1]避免AnalysisException的getSimpleMessage重复添加分号
(火花- 33788)[SQL][3.1][3.0][2.4]抛出NoSuchPartitionsException from HiveExternalCatalog.dropPartitions()
(火花- 33803)[SQL]在DESCRIBE table命令中按键排序表属性
(火花- 33786)[SQL]当表名被改变时,缓存的存储级别应该被尊重
(火花- 33273)[SQL]修复子查询执行中的竞态条件
(火花- 33653)[SQL][3.1] DSv2: REFRESH TABLE应该重新缓存表本身
(火花- 33777)[SQL] V2 SHOW PARTITIONS的排序输出
(火花- 33733)PullOutNondeterministic应该检查和收集确定性字段
(火花- 33764)[SS]将状态存储维护间隔设置为SQL配置
(火花- 33729)[SQL]刷新缓存时,Spark在恢复数据时不使用缓存计划
(火花- 33742)[SQL][3.1] Throw PartitionsAlreadyExistException from HiveExternalCatalog.createPartitions()
(火花- 33706)在partitionExists()中需要完全指定的分区标识符
(火花- 33740)hive-site.xml中的hadoop配置可以覆盖已经存在的hadoop配置
(火花- 33692)视图应该使用捕获的目录和命名空间来查找函数
(火花- 33669)在YARN客户端模式下sc.stop时,YARN应用程序状态监视器显示错误消息
(火花- 32110)在hyperloglog++中规范化特殊浮点数
(火花- 33677)[SQL]如果pattern中包含escapeChar,则跳过LikeSimplification规则
(火花- 33693)[SQL]弃用spark. SQL .hive. convertcas . txt
(火花- 33641)[SQL]使公共api中产生错误结果的新char/varchar类型无效
(火花- 32680)[SQL]如果有未解决的查询,不要对V2 CTAS进行预处理
(火花- 33676)[SQL]要求分区规范与V2中的模式精确匹配
改变表格..添加/删除分区
(火花- 33670)[SQL]在v1 SHOW TABLE EXTENDED中验证分区提供程序是Hive
(火花- 33663)不应该在不存在的临时视图上调用取消缓存
(火花- 33667)[SQL]尊重
spark.sql.caseSensitive
在解决v1中的分区规范时进行配置显示分区
(火花- 33652)[SQL] DSv2: DeleteFrom应该刷新缓存
系统环境
操作系统: Ubuntu 20.04.2 LTS
Java: Zulu 8.54.0.21-CA-linux64
Scala: 2.12.10
Python: 3.8.10
R: 4.1.0 (2021-05-18)
三角洲湖1.0.0
已安装的Python库
图书馆 |
版本 |
图书馆 |
版本 |
图书馆 |
版本 |
---|---|---|---|---|---|
Antergos Linux |
2015.10 (ISO-Rolling) |
appdirs |
1.4.4 |
backcall |
0.2.0 |
boto3 |
1.16.7 |
botocore |
1.19.7 |
certifi |
2020.12.5 |
chardet |
4.0.0 |
周期计 |
0.10.0 |
Cython |
0.29.23 |
dbus-python |
1.2.16 |
装饰 |
5.0.6 |
distlib |
0.3.2 |
distro-info |
0.23 ubuntu1 |
facets-overview |
1.0.0 |
filelock |
3.0.12 |
idna |
2.10 |
ipykernel |
5.3.4 |
ipython |
7.22.0 |
ipython-genutils |
0.2.0 |
绝地武士 |
0.17.2 |
jmespath |
0.10.0 |
joblib |
1.0.1 |
jupyter-client |
6.1.12 |
jupyter-core |
4.7.1 |
kiwisolver |
1.3.1 |
考拉 |
1.8.1 |
matplotlib |
3.4.2 |
numpy |
1.19.2 |
熊猫 |
1.2.4 |
parso |
0.7.0 |
容易受骗的人 |
0.5.1 |
pexpect |
4.8.0 |
pickleshare |
0.7.5 |
枕头 |
8.2.0 |
皮普 |
21.0.1 |
情节 |
4.14.3 |
prompt-toolkit |
3.0.17 |
protobuf |
3.17.2 |
psycopg2 |
2.8.5 |
ptyprocess |
0.7.0 |
pyarrow |
4.0.0 |
Pygments |
2.8.1发布 |
PyGObject |
3.36.0 |
pyparsing |
2.4.7 |
python-apt |
2.0.0 + ubuntu0.20.4.5 |
python-dateutil |
2.8.1发布 |
pytz |
2020.5 |
pyzmq |
20.0.0 |
请求 |
2.25.1 |
requests-unixsocket |
0.2.0 |
重试 |
1.3.3 |
s3transfer |
0.3.7 |
scikit-learn |
0.24.1 |
scipy |
1.6.2 |
seaborn |
0.11.1 |
setuptools |
52.0.0 |
六个 |
1.15.0 |
ssh-import-id |
5.10 |
statsmodels |
0.12.2 |
threadpoolctl |
魅惑 |
龙卷风 |
6.1 |
traitlets |
5.0.5 |
unattended-upgrades |
0.1 |
urllib3 |
1.25.11 |
virtualenv |
20.4.1 |
wcwidth |
0.2.5 |
轮 |
0.36.2 |
已安装的R库
图书馆 |
版本 |
图书馆 |
版本 |
图书馆 |
版本 |
---|---|---|---|---|---|
askpass |
1.1 |
为了 |
0.2.1 |
补丁 |
1.2.1 " |
基地 |
4.1.0 |
base64enc |
0.1 - 3 |
黑洞 |
1.72.0-3 |
位 |
4.0.4 |
bit64 |
你 |
团 |
1.2.1 " |
引导 |
-28 - 1.3 |
酿造 |
1.0 6 |
生动 |
1.1.0 |
扫帚 |
0.7.2 |
callr |
3.5.1 |
脱字符号 |
-86 - 6.0 |
cellranger |
1.1.0 |
时间 |
-56 - 2.3 |
类 |
-19 - 7.3 |
cli |
2.2.0 |
clipr |
是0.7.1 |
集群 |
2.1.2 |
codetools |
-18 - 0.2 |
色彩 |
2.0 0 |
commonmark |
1.7 |
编译器 |
4.1.0 |
配置 |
0.3 |
covr |
3.5.1 |
cpp11 |
0.2.4 |
蜡笔 |
1.3.4 |
凭证 |
1.3.0 |
相声 |
1.1.0.1 |
旋度 |
4.3 |
data.table |
1.13.4 |
数据集 |
4.1.0 |
DBI |
1.1.0 |
dbplyr |
2.0.0 |
desc |
1.2.0 |
devtools |
2.3.2 |
diffobj |
0.3.2 |
消化 |
0.6.27 |
dplyr |
1.0.2中 |
DT |
0.16 |
省略 |
0.3.1 |
评估 |
0.14 |
fansi |
0.4.1 |
farver |
2.0.3 |
fastmap |
1.0.1 |
forcats |
0.5.0 |
foreach |
1.5.1 |
外国 |
-81 - 0.8 |
打造 |
0.2.0 |
fs |
1.5.0 |
未来 |
1.21.0 |
泛型 |
0.1.0 |
哥特 |
1.0.2中 |
ggplot2 |
3.3.2 |
“大酒店” |
1.2.0 |
gitcreds |
0.1.1 |
glmnet |
4.0 - 2 |
全局变量 |
0.14.0 |
胶水 |
1.4.2 |
高尔 |
0.2.2 |
图形 |
4.1.0 |
grDevices |
4.1.0 |
网格 |
4.1.0 |
gridExtra |
2.3 |
gsubfn |
0.7 |
gtable |
0.3.0 |
还 |
2.3.1 |
highr |
0.8 |
hms |
0.5.3 |
htmltools |
0.5.0 |
htmlwidgets |
1.5.3 |
httpuv |
1.5.4 |
httr |
1.4.2 |
hwriter |
1.3.2 |
hwriterPlus |
1.0 - 3 |
ini |
0.3.1 |
不小 |
0.9 9 |
isoband |
0.2.3 |
迭代器 |
1.0.13 |
jsonlite |
1.7.2 |
KernSmooth |
-20 - 2.23 |
knitr |
1.30 |
标签 |
0.4.2 |
晚些时候 |
1.1.0.1 |
晶格 |
-44 - 0.20 |
熔岩 |
1.6.8.1 |
lazyeval |
0.2.2 |
生命周期 |
0.2.0 |
listenv |
0.8.0 |
lubridate |
1.7.9.2 |
magrittr |
2.0.1 |
减价 |
1.1 |
质量 |
-54 - 7.3 |
矩阵 |
1.3 - 4 |
memoise |
1.1.0 |
方法 |
4.1.0 |
mgcv |
-36 - 1.8 |
mime |
0.9 |
ModelMetrics |
1.2.2.2 |
modelr |
0.1.8 |
孟塞尔 |
0.5.0 |
nlme |
-152 - 3.1 |
nnet |
-16 - 7.3 |
numDeriv |
2016.8 - -1.1 |
openssl |
3 |
平行 |
4.1.0 |
平行 |
1.22.0 |
支柱 |
1.4.7 |
pkgbuild |
1.1.0 |
pkgconfig |
2.0.3 |
pkgload |
1.1.0 |
plogr |
0.2.0 |
plyr |
1.8.6 |
赞美 |
1.0.0 |
prettyunits |
1.1.1 |
pROC |
1.16.2 |
processx |
3.4.5 |
prodlim |
2019.11.13 |
进步 |
1.2.2 |
承诺 |
1.1.1 |
原型 |
1.0.0 |
ps |
1.5.0 |
purrr |
0.3.4 |
r2d3 |
0.2.3 |
R6 |
2.5.0 |
randomForest |
-14 - 4.6 |
rappdirs |
0.3.1 |
rcmdcheck |
1.3.3 |
RColorBrewer |
1.1 - 2 |
Rcpp |
1.0.5 |
readr |
1.4.0 |
readxl |
1.3.1 |
食谱 |
0.1.15 |
复赛 |
1.0.1 |
rematch2 |
2.1.2 |
遥控器 |
2.2.0 |
reprex |
0.3.0 |
reshape2 |
1.4.4 |
雷克斯 |
1.2.0 |
rlang |
0.4.9 |
rmarkdown |
2.6 |
RODBC |
-17 - 1.3 |
roxygen2 |
安装7.1.1 |
rpart |
-15 - 4.1 |
rprojroot |
2.0.2 |
Rserve |
1.8 8 |
RSQLite |
2.2.1 |
rstudioapi |
0.13 |
rversions |
2.0.2 |
房车 |
0.3.6 |
尺度 |
1.1.1 |
selectr |
0.4 - 2 |
sessioninfo |
1.1.1 |
形状 |
1.4.5 |
闪亮的 |
1.5.0 |
sourcetools |
0.1.7 |
sparklyr |
1.5.2 |
SparkR |
3.1.1 |
空间 |
-11 - 7.3 |
样条函数 |
4.1.0 |
sqldf |
-11 - 0.4 |
SQUAREM |
2020.5 |
统计数据 |
4.1.0 |
stats4 |
4.1.0 |
stringi |
1.5.3 |
stringr |
1.4.0 |
生存 |
-11 - 3.2 |
sys |
3.4 |
tcltk |
4.1.0 |
TeachingDemos |
2.10 |
testthat |
3.0.0 |
宠物猫 |
3.0.4 |
tidyr |
1.1.2 |
tidyselect |
1.1.0 |
tidyverse |
1.3.0 |
timeDate |
3043.102 |
tinytex |
0.28 |
工具 |
4.1.0 |
usethis |
2.0.0 |
use utf8 |
1.1.4 |
跑龙套 |
4.1.0 |
uuid |
0.1 - 4 |
vctrs |
0.3.5 |
viridisLite |
0.3.0 |
沃尔多 |
0.2.3 |
晶须 |
0.4 |
withr |
tripwire |
xfun |
0.19 |
xml2 |
1.3.2 |
xopen |
1.0.0 |
xtable |
1.8 - 4 |
yaml |
2.2.1 |
邮政编码 |
2.1.1 |
安装Java和Scala库(Scala 2.12集群版本)
组ID |
工件ID |
版本 |
---|---|---|
antlr |
antlr |
2.7.7 |
com.amazonaws |
amazon-kinesis-client |
1.12.0 |
com.amazonaws |
aws-java-sdk-autoscaling |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudformation |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudfront |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudhsm |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudsearch |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudtrail |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudwatch |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudwatchmetrics |
1.11.655 |
com.amazonaws |
aws-java-sdk-codedeploy |
1.11.655 |
com.amazonaws |
aws-java-sdk-cognitoidentity |
1.11.655 |
com.amazonaws |
aws-java-sdk-cognitosync |
1.11.655 |
com.amazonaws |
aws-java-sdk-config |
1.11.655 |
com.amazonaws |
aws-java-sdk-core |
1.11.655 |
com.amazonaws |
aws-java-sdk-datapipeline |
1.11.655 |
com.amazonaws |
aws-java-sdk-directconnect |
1.11.655 |
com.amazonaws |
aws-java-sdk-directory |
1.11.655 |
com.amazonaws |
aws-java-sdk-dynamodb |
1.11.655 |
com.amazonaws |
aws-java-sdk-ec2 |
1.11.655 |
com.amazonaws |
aws-java-sdk-ecs |
1.11.655 |
com.amazonaws |
aws-java-sdk-efs |
1.11.655 |
com.amazonaws |
aws-java-sdk-elasticache |
1.11.655 |
com.amazonaws |
aws-java-sdk-elasticbeanstalk |
1.11.655 |
com.amazonaws |
aws-java-sdk-elasticloadbalancing |
1.11.655 |
com.amazonaws |
aws-java-sdk-elastictranscoder |
1.11.655 |
com.amazonaws |
aws-java-sdk-emr |
1.11.655 |
com.amazonaws |
aws-java-sdk-glacier |
1.11.655 |
com.amazonaws |
aws-java-sdk-glue |
1.11.655 |
com.amazonaws |
aws-java-sdk-iam |
1.11.655 |
com.amazonaws |
aws-java-sdk-importexport |
1.11.655 |
com.amazonaws |
aws-java-sdk-kinesis |
1.11.655 |
com.amazonaws |
aws-java-sdk-kms |
1.11.655 |
com.amazonaws |
aws-java-sdk-lambda |
1.11.655 |
com.amazonaws |
aws-java-sdk-logs |
1.11.655 |
com.amazonaws |
aws-java-sdk-machinelearning |
1.11.655 |
com.amazonaws |
aws-java-sdk-marketplacecommerceanalytics |
1.11.655 |
com.amazonaws |
aws-java-sdk-marketplacemeteringservice |
1.11.655 |
com.amazonaws |
aws-java-sdk-opsworks |
1.11.655 |
com.amazonaws |
aws-java-sdk-rds |
1.11.655 |
com.amazonaws |
aws-java-sdk-redshift |
1.11.655 |
com.amazonaws |
aws-java-sdk-route53 |
1.11.655 |
com.amazonaws |
aws-java-sdk-s3 |
1.11.655 |
com.amazonaws |
aws-java-sdk-ses |
1.11.655 |
com.amazonaws |
aws-java-sdk-simpledb |
1.11.655 |
com.amazonaws |
aws-java-sdk-simpleworkflow |
1.11.655 |
com.amazonaws |
aws-java-sdk-sns |
1.11.655 |
com.amazonaws |
aws-java-sdk-sqs |
1.11.655 |
com.amazonaws |
aws-java-sdk-ssm |
1.11.655 |
com.amazonaws |
aws-java-sdk-storagegateway |
1.11.655 |
com.amazonaws |
aws-java-sdk-sts |
1.11.655 |
com.amazonaws |
aws-java-sdk-support |
1.11.655 |
com.amazonaws |
aws-java-sdk-swf-libraries |
1.11.22 |
com.amazonaws |
aws-java-sdk-workspaces |
1.11.655 |
com.amazonaws |
jmespath-java |
1.11.655 |
com.chuusai |
shapeless_2.12 |
2.3.3 |
com.clearspring.analytics |
流 |
2.9.6 |
com.databricks |
Rserve |
1.8 - 3 |
com.databricks |
jets3t |
0.7.1-0 |
com.databricks.scalapb |
compilerplugin_2.12 |
0.4.15-10 |
com.databricks.scalapb |
scalapb-runtime_2.12 |
0.4.15-10 |
com.esotericsoftware |
kryo-shaded |
4.0.2 |
com.esotericsoftware |
minlog |
1.3.0 |
com.fasterxml |
同学 |
1.3.4 |
com.fasterxml.jackson.core |
jackson-annotations |
2.10.0 |
com.fasterxml.jackson.core |
jackson-core |
2.10.0 |
com.fasterxml.jackson.core |
jackson-databind |
2.10.0 |
com.fasterxml.jackson.dataformat |
jackson-dataformat-cbor |
2.10.0 |
com.fasterxml.jackson.datatype |
jackson-datatype-joda |
2.10.0 |
com.fasterxml.jackson.module |
jackson-module-paranamer |
2.10.0 |
com.fasterxml.jackson.module |
jackson-module-scala_2.12 |
2.10.0 |
com.github.ben-manes.caffeine |
咖啡因 |
2.3.4 |
com.github.fommil |
jniloader |
1.1 |
com.github.fommil.netlib |
核心 |
1.1.2 |
com.github.fommil.netlib |
native_ref-java |
1.1 |
com.github.fommil.netlib |
native_ref-java-natives |
1.1 |
com.github.fommil.netlib |
native_system-java |
1.1 |
com.github.fommil.netlib |
native_system-java-natives |
1.1 |
com.github.fommil.netlib |
netlib-native_ref-linux-x86_64-natives |
1.1 |
com.github.fommil.netlib |
netlib-native_system-linux-x86_64-natives |
1.1 |
com.github.joshelser |
dropwizard-metrics-hadoop-metrics2-reporter |
0.1.2 |
com.github.luben |
zstd-jni |
1.4.8-1 |
com.github.wendykierp |
JTransforms |
3.1 |
com.google.code.findbugs |
jsr305 |
3.0.0 |
com.google.code.gson |
gson |
2.2.4 |
com.google.flatbuffers |
flatbuffers-java |
1.9.0 |
com.google.guava |
番石榴 |
15.0 |
com.google.protobuf |
protobuf-java |
2.6.1 |
com.h2database |
h2 |
1.4.195 |
com.helger |
分析器 |
1.1.1 |
com.jcraft |
jsch |
0.1.50 |
com.jolbox |
bonecp |
0.8.0.RELEASE |
com.lihaoyi |
sourcecode_2.12 |
0.1.9 |
com.microsoft.azure |
azure-data-lake-store-sdk |
2.3.9 |
com.microsoft.sqlserver |
mssql-jdbc |
9.2.1.jre8 |
com.ning |
compress-lzf |
1.0.3 |
com.sun.mail |
javax.mail |
1.5.2 |
com.tdunning |
json |
1.8 |
com.thoughtworks.paranamer |
paranamer |
2.8 |
com.trueaccord.lenses |
lenses_2.12 |
0.4.12 |
com.twitter |
chill-java |
0.9.5 |
com.twitter |
chill_2.12 |
0.9.5 |
com.twitter |
util-app_2.12 |
7.1.0 |
com.twitter |
util-core_2.12 |
7.1.0 |
com.twitter |
util-function_2.12 |
7.1.0 |
com.twitter |
util-jvm_2.12 |
7.1.0 |
com.twitter |
util-lint_2.12 |
7.1.0 |
com.twitter |
util-registry_2.12 |
7.1.0 |
com.twitter |
util-stats_2.12 |
7.1.0 |
com.typesafe |
配置 |
1.2.1 " |
com.typesafe.scala-logging |
scala-logging_2.12 |
3.7.2章 |
com.univocity |
univocity-parsers |
2.9.1 |
com.zaxxer |
HikariCP |
3.1.0 |
commons-beanutils |
commons-beanutils |
1.9.4 |
commons-cli |
commons-cli |
1.2 |
commons-codec |
commons-codec |
1.10 |
commons-collections |
commons-collections |
3.2.2 |
commons configuration |
commons configuration |
1.6 |
commons-dbcp |
commons-dbcp |
1.4 |
commons-digester |
commons-digester |
1.8 |
commons-fileupload |
commons-fileupload |
1.3.3 |
commons-httpclient |
commons-httpclient |
3.1 |
commons-io |
commons-io |
2.4 |
commons lang |
commons lang |
2.6 |
通用日志 |
通用日志 |
1.1.3 |
commons net |
commons net |
3.1 |
commons-pool |
commons-pool |
1.5.4 |
蜂巢2.7 - 2.3 - __hadoop - |
jets3t - 0.7 |
liball_deps_2.12 |
蜂巢2.7 - 2.3 - __hadoop - |
动物园管理员- 3.4 |
liball_deps_2.12 |
info.ganglia.gmetric4j |
gmetric4j |
1.0.10 |
io.airlift |
aircompressor |
0.10 |
io.delta |
delta-sharing-spark_2.12 |
0.1.0 |
io.dropwizard.metrics |
metrics-core |
以下4.4.1 |
io.dropwizard.metrics |
metrics-graphite |
以下4.4.1 |
io.dropwizard.metrics |
metrics-healthchecks |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jetty9 |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jmx |
以下4.4.1 |
io.dropwizard.metrics |
metrics-json |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jvm |
以下4.4.1 |
io.dropwizard.metrics |
metrics-servlets |
以下4.4.1 |
io.netty |
netty-all |
4.1.51.Final |
io.prometheus |
simpleclient |
0.7.0 |
io.prometheus |
simpleclient_common |
0.7.0 |
io.prometheus |
simpleclient_dropwizard |
0.7.0 |
io.prometheus |
simpleclient_pushgateway |
0.7.0 |
io.prometheus |
simpleclient_servlet |
0.7.0 |
io.prometheus.jmx |
收集器 |
0.12.0 |
jakarta.annotation |
jakarta.annotation-api |
1.3.5 |
jakarta.validation |
jakarta.validation-api |
2.0.2 |
jakarta.ws.rs |
jakarta.ws.rs-api |
2.1.6 |
javax.activation |
激活 |
1.1.1 |
javax.el |
javax.el-api |
2.2.4 |
javax.jdo |
jdo api |
3.0.1 |
javax.servlet |
javax.servlet-api |
3.1.0 |
javax.servlet.jsp |
jsp-api |
2.1 |
javax.transaction |
jta |
1.1 |
javax.transaction |
事务api |
1.1 |
javax.xml.bind |
jaxb-api |
2.2.2 |
javax.xml.stream |
stax-api |
1.0 - 2 |
javolution |
javolution |
5.5.1 |
jline |
jline |
2.14.6 |
joda-time |
joda-time |
2.10.5 |
log4j |
apache-log4j-extras |
1.2.17 |
log4j |
log4j |
1.2.17 |
maven-trees |
蜂巢2.7 - 2.3 - __hadoop - |
liball_deps_2.12 |
net.java.dev.jna |
jna |
5.8.0 |
net.razorvine |
地幔岩 |
4.30 |
net.sf.jpam |
jpam |
1.1 |
net.sf.opencsv |
opencsv |
2.3 |
net.sf.supercsv |
super-csv |
2.2.0 |
net.snowflake |
snowflake-ingest-sdk |
0.9.6 |
net.snowflake |
snowflake-jdbc |
3.13.3 |
net.snowflake |
spark-snowflake_2.12 |
2.9.0-spark_3.1 |
net.sourceforge.f2j |
arpack_combined_all |
0.1 |
org.acplt.remotetea |
remotetea-oncrpc |
1.1.2 |
org.antlr |
ST4 |
4.0.4 |
org.antlr |
antlr-runtime |
3.5.2 |
org.antlr |
antlr4-runtime |
4.8 - 1 |
org.antlr |
stringtemplate |
3.2.1之上 |
org.apache.ant |
蚂蚁 |
1.9.2 |
org.apache.ant |
ant-jsch |
1.9.2 |
org.apache.ant |
ant-launcher |
1.9.2 |
org.apache.arrow |
arrow-format |
2.0.0 |
org.apache.arrow |
arrow-memory-core |
2.0.0 |
org.apache.arrow |
arrow-memory-netty |
2.0.0 |
org.apache.arrow |
arrow-vector |
2.0.0 |
org.apache.avro |
avro |
1.8.2 |
org.apache.avro |
avro-ipc |
1.8.2 |
org.apache.avro |
avro-mapred-hadoop2 |
1.8.2 |
org.apache.commons |
commons-compress |
1.20 |
org.apache.commons |
commons-crypto |
1.1.0 |
org.apache.commons |
commons-lang3 |
3.10 |
org.apache.commons |
commons-math3 |
3.4.1 |
org.apache.commons |
commons-text |
1.6 |
org.apache.curator |
curator-client |
2.7.1 |
org.apache.curator |
curator-framework |
2.7.1 |
org.apache.curator |
curator-recipes |
2.7.1 |
org.apache.derby |
德比 |
10.12.1.1 |
org.apache.directory.api |
api-asn1-api |
1.0.0-M20 |
org.apache.directory.api |
api-util |
1.0.0-M20 |
org.apache.directory.server |
apacheds-i18n |
2.0.0-M15 |
org.apache.directory.server |
apacheds-kerberos-codec |
2.0.0-M15 |
org.apache.hadoop |
hadoop-annotations |
第2.7.4 |
org.apache.hadoop |
hadoop-auth |
第2.7.4 |
org.apache.hadoop |
hadoop-client |
第2.7.4 |
org.apache.hadoop |
hadoop-common |
第2.7.4 |
org.apache.hadoop |
hadoop-hdfs |
第2.7.4 |
org.apache.hadoop |
hadoop-mapreduce-client-app |
第2.7.4 |
org.apache.hadoop |
hadoop-mapreduce-client-common |
第2.7.4 |
org.apache.hadoop |
hadoop-mapreduce-client-core |
第2.7.4 |
org.apache.hadoop |
hadoop-mapreduce-client-jobclient |
第2.7.4 |
org.apache.hadoop |
hadoop-mapreduce-client-shuffle |
第2.7.4 |
org.apache.hadoop |
hadoop-yarn-api |
第2.7.4 |
org.apache.hadoop |
hadoop-yarn-client |
第2.7.4 |
org.apache.hadoop |
hadoop-yarn-common |
第2.7.4 |
org.apache.hadoop |
hadoop-yarn-server-common |
第2.7.4 |
org.apache.hive |
hive-beeline |
2.3.7 |
org.apache.hive |
hive-cli |
2.3.7 |
org.apache.hive |
hive-jdbc |
2.3.7 |
org.apache.hive |
hive-llap-client |
2.3.7 |
org.apache.hive |
hive-llap-common |
2.3.7 |
org.apache.hive |
hive-serde |
2.3.7 |
org.apache.hive |
hive-shims |
2.3.7 |
org.apache.hive |
hive-storage-api |
2.7.2 |
org.apache.hive.shims |
蜂巢0.23 -垫片 |
2.3.7 |
org.apache.hive.shims |
hive-shims-common |
2.3.7 |
org.apache.hive.shims |
hive-shims-scheduler |
2.3.7 |
org.apache.htrace |
htrace-core |
3.1.0-incubating |
org.apache.httpcomponents |
httpclient |
4.5.6 |
org.apache.httpcomponents |
httpcore |
4.4.12 |
org.apache.ivy |
艾薇 |
测试盒框 |
org.apache.mesos |
mesos-shaded-protobuf |
1.4.0 |
org.apache.orc |
orc-core |
1.5.12 |
org.apache.orc |
orc-mapreduce |
1.5.12 |
org.apache.orc |
orc-shims |
1.5.12 |
org.apache.parquet |
parquet-column |
1.10.1-databricks9 |
org.apache.parquet |
parquet-common |
1.10.1-databricks9 |
org.apache.parquet |
parquet-encoding |
1.10.1-databricks9 |
org.apache.parquet |
parquet-format |
测试盒框 |
org.apache.parquet |
parquet-hadoop |
1.10.1-databricks9 |
org.apache.parquet |
parquet-jackson |
1.10.1-databricks9 |
org.apache.thrift |
libfb303 |
0.9.3 |
org.apache.thrift |
libthrift |
0.12.0 |
org.apache.xbean |
xbean-asm7-shaded |
4.15 |
org.apache.yetus |
audience-annotations |
0.5.0 |
org.apache.zookeeper |
动物园管理员 |
3.4.14 |
org.codehaus.jackson |
jackson-core-asl |
1.9.13 |
org.codehaus.jackson |
jackson-jaxrs |
1.9.13 |
org.codehaus.jackson |
jackson-mapper-asl |
1.9.13 |
org.codehaus.jackson |
jackson-xc |
1.9.13 |
org.codehaus.janino |
commons-compiler |
3.0.16 |
org.codehaus.janino |
janino |
3.0.16 |
org.datanucleus |
datanucleus-api-jdo |
4.2.4 |
org.datanucleus |
datanucleus-core |
4.1.17 |
org.datanucleus |
datanucleus-rdbms |
4.1.19 |
org.datanucleus |
javax.jdo |
3.2.0-m3 |
org.eclipse.jetty |
jetty-client |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-continuation |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-http |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-io |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-jndi |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-plus |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-proxy |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-security |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty服务器 |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty servlet |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-servlets |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-util |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-util-ajax |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-webapp |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-xml |
9.4.36.v20210114 |
org.fusesource.leveldbjni |
leveldbjni-all |
1.8 |
org.glassfish.hk2 |
hk2-api |
2.6.1 |
org.glassfish.hk2 |
hk2-locator |
2.6.1 |
org.glassfish.hk2 |
hk2-utils |
2.6.1 |
org.glassfish.hk2 |
osgi-resource-locator |
1.0.3 |
org.glassfish.hk2.external |
aopalliance-repackaged |
2.6.1 |
org.glassfish.hk2.external |
jakarta.inject |
2.6.1 |
org.glassfish.jersey.containers |
jersey-container-servlet |
2.30 |
org.glassfish.jersey.containers |
jersey-container-servlet-core |
2.30 |
org.glassfish.jersey.core |
jersey客户端 |
2.30 |
org.glassfish.jersey.core |
jersey-common |
2.30 |
org.glassfish.jersey.core |
jersey-server |
2.30 |
org.glassfish.jersey.inject |
jersey-hk2 |
2.30 |
org.glassfish.jersey.media |
jersey-media-jaxb |
2.30 |
org.hibernate.validator |
hibernate验证框架 |
6.1.0.Final |
org.javassist |
javassist |
3.25.0-GA |
org.jboss.logging |
jboss-logging |
3.3.2.Final |
org.jdbi |
jdbi |
2.63.1 |
org.joda |
joda-convert |
1.7 |
org.jodd |
jodd-core |
3.5.2 |
org.json4s |
json4s-ast_2.12 |
3.7.0-M5 |
org.json4s |
json4s-core_2.12 |
3.7.0-M5 |
org.json4s |
json4s-jackson_2.12 |
3.7.0-M5 |
org.json4s |
json4s-scalap_2.12 |
3.7.0-M5 |
org.lz4 |
lz4-java |
1.7.1上 |
org.mariadb.jdbc |
mariadb-java-client |
2.2.5 |
org.objenesis |
objenesis |
2.5.1 |
org.postgresql |
postgresql |
42.1.4 |
org.roaringbitmap |
RoaringBitmap |
0.9.14 |
org.roaringbitmap |
垫片 |
0.9.14 |
org.rocksdb |
rocksdbjni |
6.20.3 |
org.rosuda.REngine |
REngine |
魅惑 |
org.scala-lang |
scala-compiler_2.12 |
2.12.10 |
org.scala-lang |
scala-library_2.12 |
2.12.10 |
org.scala-lang |
scala-reflect_2.12 |
2.12.10 |
org.scala-lang.modules |
scala-collection-compat_2.12 |
2.1.1 |
org.scala-lang.modules |
scala-parser-combinators_2.12 |
1.1.2 |
org.scala-lang.modules |
scala-xml_2.12 |
1.2.0 |
org.scala-sbt |
测试界面 |
1.0 |
org.scalacheck |
scalacheck_2.12 |
1.14.2 |
org.scalactic |
scalactic_2.12 |
3.0.8 |
org.scalanlp |
breeze-macros_2.12 |
1.0 |
org.scalanlp |
breeze_2.12 |
1.0 |
org.scalatest |
scalatest_2.12 |
3.0.8 |
org.slf4j |
jcl-over-slf4j |
1.7.30 |
org.slf4j |
jul-to-slf4j |
1.7.30 |
org.slf4j |
slf4j-api |
1.7.30 |
org.slf4j |
slf4j-log4j12 |
1.7.30 |
org.spark-project.spark |
未使用的 |
1.0.0 |
org.springframework |
spring核心 |
4.1.4.RELEASE |
org.springframework |
spring测试 |
4.1.4.RELEASE |
org.threeten |
threeten-extra |
1.5.0 |
org.tukaani |
xz |
1.5 |
org.typelevel |
algebra_2.12 |
2.0.0-M2 |
org.typelevel |
cats-kernel_2.12 |
2.0.0-M4 |
org.typelevel |
machinist_2.12 |
0.6.8 |
org.typelevel |
macro-compat_2.12 |
1.1.1 |
org.typelevel |
spire-macros_2.12 |
0.17.0-M1 |
org.typelevel |
spire-bob体育客户端下载platform_2.12 |
0.17.0-M1 |
org.typelevel |
spire-util_2.12 |
0.17.0-M1 |
org.typelevel |
spire_2.12 |
0.17.0-M1 |
org.wildfly.openssl |
wildfly-openssl |
1.0.7.Final |
org.xerial |
sqlite-jdbc |
3.8.11.2 |
org.xerial.snappy |
snappy-java |
1.1.8.2 |
org.yaml |
snakeyaml |
1.24 |
奥罗 |
奥罗 |
2.0.8 |
pl.edu.icm |
JLargeArrays |
1.5 |
software.amazon.ion |
ion-java |
1.0.2中 |
stax |
stax-api |
1.0.1 |
xmlenc |
xmlenc |
0.52 |