Databricks运行时12.1
以下发布说明提供了Databricks Runtime 12.1的相关信息，该版本由Apache Spark 3.3.1提供支持。
Databricks在2023年1月发布了这些图像。
新功能和改进
数据资源管理器现在对所有角色都可用
当使用Databricks Runtime 7.3 LTS及以上版本时，数据资源管理器现在对所有Databricks角色可用。
在单个流查询中支持多个有状态操作符
用户现在可以在流查询中用追加模式链接有状态操作符。并非所有操作符都完全受支持。流-流时间间隔连接和flatMapGroupsWithState不要允许链接其他有状态操作符。
对协议缓冲区的支持在公共预览中
您可以使用from_protobuf而且to_protobuf函数在二进制和结构类型之间交换数据。看到读写协议缓冲区．
支持合流模式注册中心身份验证
Databricks与Confluent模式注册中心的集成现在支持带有身份验证的外部模式注册中心地址。此特性可用于from_avro，to_avro，from_protobuf,to_protobuf功能。看到Protobuf或Avro．
编目中的Delta共享表现在支持使用时间戳的表版本
现在可以使用SQL语法了时间戳作为的在选择语句指定挂载在目录中的增量共享表的版本。表必须共享使用与历史．
支持当不匹配的源合并成
现在可以添加当不匹配通过源条款合并成根据合并条件更新或删除所选表中源表中没有匹配项的行。新的子句在SQL、Python、Scala和Java中都可用。看到合并成．
优化了CONVERT TO DELTA的统计信息收集
为转换来δ现在操作速度快多了。这减少了可能使用的工作负载的数量没有统计数据的效率。
库升级
升级的Python库:
Filelock从3.8.0到3.8.2
bob体育客户端下载平台从2.5.4到2.6.0
Setuptools从58.0.4升级到61.2.0
升级的R库:
升级的Java库:
Io.delta.delta-sharing-spark_2.12从0.5.2到0.6.2
org.apache.hive。hive-storage-apifrom 2.7.2 to 2.8.1
org.apache.parquet。parquet-columnfrom 1.12.3-databricks-0001 to 1.12.3-databricks-0002
org.apache.parquet。parquet-commonfrom 1.12.3-databricks-0001 to 1.12.3-databricks-0002
org.apache.parquet。parquet-encodingfrom 1.12.3-databricks-0001 to 1.12.3-databricks-0002
org.apache.parquet。Parquet-format-structures从1.12.3- databicks -0001到1.12.3- databicks -0002
org.apache.parquet。parquet-hadoopfrom 1.12.3-databricks-0001 to 1.12.3-databricks-0002
org.apache.parquet。parquet-jacksonfrom 1.12.3-databricks-0001 to 1.12.3-databricks-0002
Org.tukaani.xz从1.8到1.9
Apache火花
Databricks Runtime 12.1包含Apache Spark 3.3.1。此版本包括所有Spark修复和改进Databricks Runtime 12.0，以及以下对Spark的额外错误修复和改进:
(火花- 41405)[SC-119769][12.1.0]恢复“[SC-119411][SQL]集中列解析逻辑”和“[SC-117170][SPARK-41338][SQL]在同一分析器批处理中解析外部引用和正常列”
(火花- 41405)[SQL]集中列解析逻辑
(火花- 41859)[SC-119514][SQL] CreateHiveTableAsSelectCommand应该正确设置覆盖标志
(火花- 41659)(sc - 119526)[连接][12。X]启用pyspark.sql.connect.readwriter中的doctests
(火花- 41858)[SC-119427][SQL]修复ORC读取器由于默认值特性导致的回归问题
(火花- 41807)[SC-119399][CORE]删除不存在的错误类UNSUPPORTED_FEATUREDISTRIBUTE_BY
(火花- 41578)(12。[SQL]指定名称遗产ERROR_TEMP_2141
(火花- 41571)[SC-119362][SQL遗产ERROR_TEMP_2310
(火花- 41810)[SC-119373][CONNECT]从SparkSession.createDataFrame中的字典列表中推断名称
(火花- 40993)(sc - 119504)[火花- 41705][连接][12。X]将Spark Connect文档和脚本移到dev/和Python文档
(火花- 41534)(sc - 119456][连接][SQL][12。为Spark Connect设置初始客户端模块
(火花- 41365)[SC-118498][UI][3.3]在特定的纱线环境中，为代理加载UI页面失败
(火花- 41481)(sc - 118150)(核心)[SQL]重用
INVALID_TYPED_LITERAL而不是_LEGACY_ERROR_TEMP_0020(火花- 41049)[SC-119305][SQL]重新审视有状态表达式处理
(火花- 41726)(sc - 119248) [SQL]删除
OptimizedCreateHiveTableAsSelectCommand(火花- 41271)[SC-118648][SQL]支持参数化SQL查询
sql ()(火花- 41066)(sc - 119344)(连接)(PYTHON)实现
DataFrame.sampleBy而且DataFrame.stat.sampleBy(火花- 41407)[sc - 1190402][SQL][ALL TESTS]取出v1写入写入文件
(火花- 41565)[SC-118868][SQL]添加错误类
UNRESOLVED_ROUTINE(火花- 41668)[SC-118925][SQL] DECODE函数在传递NULL时返回错误结果
(火花- 41554)[SC-119274]修复十进制刻度减少m时的变化
(火花- 41065)(sc - 119324)(连接)(PYTHON)实现
DataFrame.freqItems而且DataFrame.stat.freqItems(火花- 41742)(sc - 119404)[火花- 41745][连接][12。X]重新启用文档测试并将缺失的列别名添加到count()
(火花- 41069)(sc - 119310)(连接)(PYTHON)实现
DataFrame.approxQuantile而且DataFrame.stat.approxQuantile(火花- 41809)[SC-119367][CONNECT][PYTHON] Make函数
from_json支持数据类型模式(火花- 41804)[SC-119382][SQL]在
InterpretedUnsafeProjectionfor udt数组(火花- 41786)[SC-119308][CONNECT][PYTHON]重复删除帮助函数
(火花- 41745)(sc - 119378)[火花- 41789][12。X]使
createDataFrame支持行列表(火花- 41344)[SC-119217][SQL]当SupportsCatalogOptions目录中没有表时，使错误更清楚
(火花- 41803)[SC-119380][CONNECT][PYTHON]添加缺失的函数
日志(__arg1、最长)(火花- 41808)[SC-119356][CONNECT][PYTHON]使JSON函数支持选项
(火花- 41779)(sc - 119275)[火花- 41771][连接][PYTHON]
__getitem__支持筛选和选择(火花- 41783)[SC-119288][SPARK-41770][CONNECT][PYTHON] Make column op support无
(火花- 41440)[SC-119279][CONNECT][PYTHON]一般示例避免缓存操作符。
(火花- 41785)(sc - 119290)(连接)(PYTHON)实现
GroupedData.mean(火花- 41629)[SC-119276][CONNECT]支持关系和表达式中的协议扩展
(火花- 41417)(sc - 118000)(核心)[SQL]重命名
_LEGACY_ERROR_TEMP_0019来INVALID_TYPED_LITERAL(火花- 41533)(sc - 119342)[连接][12。X] Spark Connect服务器/客户端的正确错误处理
(火花- 41292)(sc - 119357)[连接][12。在pyspark.sql.window命名空间中支持Window
(火花- 41493)[SC-119339][CONNECT][PYTHON]使csv函数支持选项
(火花- 39591)[SS]异步进度跟踪
(火花- 41767)(sc - 119337][连接][PYTHON][12。X)实现
列。{withField,dropFields}(火花- 41068)(sc - 119268)(连接)(PYTHON)实现
DataFrame.stat.corr(火花- 41655)(sc - 119323)[连接][12。X]启用pyspark.sql.connect.column中的doctests
(火花- 41738)[SC-119170][CONNECT]在SparkSession缓存中混合客户端
(火花- 41354)(sc - 119194)(连接)添加
RepartitionByExpression为原型(火花- 41784)[SC-119289][CONNECT][PYTHON]添加缺失
__rmod__在列(火花- 41778)[SC-119262][SQL]为ArrayAggregate添加别名" reduce
(火花- 41067)(sc - 119171)(连接)(PYTHON)实现
DataFrame.stat.cov(火花- 41764)[SC-119216][CONNECT][PYTHON]使内部字符串op名称与FunctionRegistry一致
(火花- 41734)为Catalog添加父消息
(火花- 41742)(sc - 119263)支持df.groupBy () .agg({“*”:“计数”})
(火花- 41761)[SC-119213][CONNECT][PYTHON]修正算术运算:
__neg__，__pow__，__rpow__(火花- 41062)(sc - 118182) [SQL]重命名
UNSUPPORTED_CORRELATED_REFERENCE来CORRELATED_REFERENCE(火花- 41751)(sc - 119211)(连接)(PYTHON)修复
列。{isNull,isNotNull,eqNullSafe}(火花- 41728)(sc - 119164][连接][PYTHON][12。X)实现
unwrap_udt函数(火花- 41333)(sc - 119195)[火花- 41737)执行
GroupedData。{最小,马克斯,avg,总和}(火花- 41751)(sc - 119206)(连接)(PYTHON)修复
列。{bitwiseAND,bitwiseOR,bitwiseXOR}(火花- 41631)[SQL]在聚合上支持隐式横向列别名解析
(火花- 41529)(sc - 119207)[连接][12。X)实现SparkSession.stop
(火花- 41729)(sc - 119205)(核心)[SQL][12。X]重命名
_LEGACY_ERROR_TEMP_0011来UNSUPPORTED_FEATURE。COMBINATION_QUERY_RESULT_CLAUSES(火花- 41717)(sc - 119078)[连接][12。重复打印和reprhtml_ at LogicalPlan
(火花- 41740)(sc - 119169)(连接)(PYTHON)实现
Column.name(火花- 41733)[SC-119163][SQL][SS]为ResolveWindowTime规则应用基于树模式的剪枝
(火花- 41732)[SC-119157][SQL][SS]为SessionWindowing规则应用基于树模式的修剪
(火花- 41498)[SC-119018]通过Union传播元数据
(火花- 41731)(sc - 119166][连接][PYTHON][12。实现列访问器
(火花- 41736)PYTHON (sc - 119161)[连接][]
pyspark_types_to_proto_types应该支持ArrayType(火花- 41473)(sc - 119092)(连接)(PYTHON)实现
format_number函数(火花- 41707)(sc - 119141)[连接][12。X)实现Catalog API in Spark Connect
(火花- 41710)(sc - 119062)(连接)(PYTHON)实现
Column.between(火花- 41235)[SQL][PYTHON]高阶函数:array_compact实现
(火花- 41518)[SC-118453][SQL]为错误类指定一个名称
_LEGACY_ERROR_TEMP_2422(火花- 41723)(sc - 119091)(连接)(PYTHON)实现
序列函数(火花- 41703)[SC-119060][CONNECT][PYTHON]结合NullType和typed_null
(火花- 41722)[SC-119090][CONNECT][PYTHON]实现3个缺失时间窗口函数
(火花- 41503)[CONNECT][PYTHON]实现分区转换函数
(火花- 41413)[SC-118968][SQL]当分区键不匹配时，避免在Storage-Partitioned Join中shuffle，但连接表达式是兼容的
(火花- 41700)(sc - 119046)(连接)(PYTHON)删除
FunctionBuilder(火花- 41706)PYTHON (sc - 119094)[连接][]
pyspark_types_to_proto_types应该支持MapType(火花- 41702)[SC-119049][CONNECT][PYTHON]添加无效列操作
(火花- 41660)[SC-118866][SQL]如果使用了元数据列，则只传播它们
(火花- 41637)[sc-119003][sql] order by all
(火花- 41513)[SQL]实现一个累加器来收集每个映射器的行数指标
(火花- 41647)(sc - 119064)[连接][12。删除pyspark.sql.connect.functions中的文档字符串
(火花- 41701)[SC-119048][CONNECT][PYTHON]使列op支持
小数(火花- 41383)(sc - 119015)[火花- 41692][火花- 41693]实现
汇总，多维数据集而且主(火花- 41635)[sc-118944][sql
(火花- 41645)(sc - 119057)[连接][12。删除pyspark.sql.connect.dataframe中的文档字符串
(火花- 41688)[SC-118951][CONNECT][PYTHON]移动表达式到Expressions .py
(火花- 41687)[SC-118949][CONNECT]删除pyspark.sql.connect.group中的文档字符串
(火花- 41649)[SC-118950][CONNECT]删除pyspark.sql.connect.window中的文档字符串
(火花- 41681)[SC-118939][CONNECT]将GroupedData输出到group.py
(火花- 41292)(sc - 119038)[火花- 41640][火花- 41641][连接][PYTHON][12。X)实现
窗口功能(火花- 41675)(sc - 119031) [sc - 118934][连接][PYTHON][12。X]使列操作支持
datetime(火花- 41672)[SC-118929][CONNECT][PYTHON]启用已弃用的函数
(火花- 41673)(sc - 118932)(连接)(PYTHON)实现
Column.astype(火花- 41364)(sc - 118865)(连接)(PYTHON)实现
广播函数(火花- 41648)(sc - 118914)[连接][12。删除pyspark.sql.connect.readwriter中的文档字符串
(火花- 41646)(sc - 118915)[连接][12。删除pyspark.sql.connect.session中的文档字符串
(火花- 41643)(sc - 118862)[连接][12。删除pyspark.sql.connect.column中的文档字符串
(火花- 41663)(sc - 118936][连接][PYTHON][12。X)实现the rest of Lambda functions
(火花- 41441)[SC-118557][SQL]支持生成不需要的子输出到主机外部引用
(火花- 41669)[SC-118923][SQL] cancollapseexpression中的早期剪枝
(火花- 41639)[SC-118927][SQL][PROTOBUF]:从SchemaConverters中删除ScalaReflectionLock
(火花- 41464)(sc - 118861)(连接)(PYTHON)实现
DataFrame.to(火花- 41434)(sc - 118857)(连接)(PYTHON)初始
LambdaFunction实现(火花- 41539)[SC-118802][SQL]在LogicalRDD的逻辑计划中重新映射统计数据和输出约束
(火花- 41396)[SC-118786][SQL][PROTOBUF] OneOf字段支持和递归检查
(火花- 41528)(sc - 118769)[连接][12。X] Spark Connect和PySpark API的合并命名空间
(火花- 41568)[SC-118715][SQL]指定名称遗产ERROR_TEMP_1236
(火花- 41440)(sc - 118788)(连接)(PYTHON)实现
DataFrame.randomSplit(火花- 41583)[SC-118718][SC-118642][CONNECT][PROTOBUF]在setup.py中添加Spark CONNECT和PROTOBUF并指定依赖项
(火花- 27561)[sc - 101081][12。在项目上支持隐式横向列别名解析
(火花- 41535)[SC-118645][SQL]为日历间隔字段设置正确的空
InterpretedUnsafeProjection而且InterpretedMutableProjection(火花- 40687)[SQL]支持数据屏蔽内置函数' mask '
(火花- 41520)[SC-118440][SQL]拆分AND_OR树模式以分离AND和OR树模式
(火花- 41349)[SC-118668][CONNECT][PYTHON]实现DataFrame.hint
(火花- 41546)PYTHON (sc - 118541)[连接][]
pyspark_types_to_proto_types应该支持StructType。(火花- 41334)(sc - 118549)(连接)(PYTHON)移动
排序方式从关系到表达式的原型(火花- 41387)[SC-118450][SS]从Kafka数据源断言触发的当前结束偏移量。AvailableNow
(火花- 41508)(sc - 118445)(核心)[SQL]重命名
_LEGACY_ERROR_TEMP_1180来UNEXPECTED_INPUT_TYPE和删除_LEGACY_ERROR_TEMP_1179(火花- 41319)[SC-118441][CONNECT][PYTHON]实现列。{when, else}和函数
当与UnresolvedFunction(火花- 41541)[SC-118460][SQL]修复在SQLShuffleWriteMetricsReporter.decRecordsWritten()中调用错误的子方法的问题
(火花- 41453)(sc - 118458)(连接)(PYTHON)实现
DataFrame.subtract(火花- 41248)[SC-118436][SC-118303][SQL]添加spark.sql.json。enablePartialResults”来启用/禁用JSON部分结果
(火花- 41437)回复“[SC-117601][SQL]不为v1写回调优化两次输入查询”
(火花- 41472)[SC-118352][CONNECT][PYTHON]实现其余的字符串/二进制函数
(火花- 41526)(sc - 118355)(连接)(PYTHON)实现
Column.isin(火花- 32170)[SC-118384] [CORE]通过阶段任务指标改进推测
(火花- 41524)[SC-118399][SS]区分StateStoreConf中的SQLConf和extraOptions在RocksDBConf中的用法
(火花- 41465)[SC-118381][SQL]为错误类指定一个名称遗产ERROR_TEMP_1235
(火花- 41511)[SC-118365][SQL] LongToUnsafeRowMap支持ignoresDuplicatedKey
(火花- 41409)(sc - 118302)(核心)[SQL]重命名
_LEGACY_ERROR_TEMP_1043来WRONG_NUM_ARGS。与OUT_SUGGESTION(火花- 41438)(sc - 118344)(连接)(PYTHON)实现
DataFrame.colRegex(火花- 41437)[SC-117601][SQL]对于v1写回退，不要优化输入查询两次
(火花- 41314)[SC-117172][SQL]为错误类指定一个名称
_LEGACY_ERROR_TEMP_1094(火花- 41443)[SC-118004][SQL]为错误类指定一个名称遗产ERROR_TEMP_1061
(火花- 41506)[SC-118241][CONNECT][PYTHON]重构LiteralExpression以支持DataType
(火花- 41448)[SC-118046]在FileBatchWriter和FileFormatWriter中设置一致的MR作业id
(火花- 41456)[SC-117970][SQL]提高try_cast性能
(火花- 41495)(sc - 118125)(连接)(PYTHON)实现
集合功能:P ~ Z(火花- 41478)[SC-118167][SQL]为错误类指定一个名称遗产ERROR_TEMP_1234
(火花- 41406)[SQL]重构错误信息
NUM_COLUMNS_MISMATCH让它更通用(火花- 41404)(sc - 118016) [SQL]重构
ColumnVectorUtils # toBatch为了使ColumnarBatchSuite # testRandomRows测试更原始的数据类型(火花- 41468)[SC-118044][SQL]修复等效表达式中的PlanExpression处理问题
(火花- 40775)[SC-118045][SQL]修复V2文件扫描中重复的描述项
(火花- 41492)[SC-118042][CONNECT][PYTHON]实现MISC函数
(火花- 41459)[SC-118005][SQL] fix thrift server操作日志输出为空
(火花- 41395)(sc - 117899] [SQL]
InterpretedMutableProjection应该使用setDecimal为不安全行的小数设置空值(火花- 41376)[SC-117840][CORE][3.3]修正Netty preferDirectBufs检查逻辑
(火花- 41484)(sc - 118159) [sc - 118036][连接][PYTHON][12。x)实现
集合功能:E ~ M(火花- 41389)(sc - 117426)(核心)[SQL]重用
WRONG_NUM_ARGS而不是_LEGACY_ERROR_TEMP_1044(火花- 41462)[SC-117920][SQL]日期和时间戳类型可以转换为时间戳ntz
(火花- 41435)[SQL]更改调用
invalidFunctionArgumentsError为curdate ()当表达式不是空的(火花- 41187)[SC-118030][CORE]当ExecutorLost发生时，AppStatusListener中的LiveExecutor内存泄漏
(火花- 41360)[SC-118083][CORE]如果执行程序丢失，避免BlockManager重新注册
(火花- 41378)[SQL] DS v2中的支持列统计
(火花- 41402)(sc - 117910] [SQL][连接][12。X]重写StringDecode的prettyName
(火花- 41414)(sc - 118041][连接][PYTHON][12。x)实现date/timestamp functions
(火花- 41329)[SC-117975][CONNECT]解决Spark CONNECT中的循环导入
(火花- 41477)[SC-118025][CONNECT][PYTHON]正确推断字面值整数的数据类型
(火花- 41446)(sc - 118024][连接][PYTHON][12。x]使
createDataFrame支持模式和更多输入数据集类型(火花- 41475)[SC-117997][CONNECT]修复lint-scala命令错误和打印错误
(火花- 38277)[SC-117799][SS]在RocksDB状态存储提交后清除写批
(火花- 41375)[SC-117801][SS]避免最新KafkaSourceOffset为空
(火花- 41412)(sc - 118015)(连接)实现
Column.cast(火花- 41439)(sc - 117893)(连接)(PYTHON)实现
DataFrame.melt而且DataFrame.unpivot(火花- 41399)[SC-118007][SC-117474][CONNECT]重构与test_connect_column相关的列测试
(火花- 41351)(sc - 117957) [sc - 117412][连接][12。列应该支持!=运算符
(火花- 40697)[SC-117806][SC-112787][SQL]添加读侧字符填充以覆盖外部数据文件
(火花- 41349)(sc - 117594)[连接][12。X)实现DataFrame。hint
(火花- 41338)[SC-117170][SQL]解析同一批分析器中的外部引用和正常列
(火花- 41436)(sc - 117805)(连接)(PYTHON)实现
集合功能:A ~ C(火花- 41445)[SC-117802][CONNECT]实现dataframerleader .parquet
(火花- 41452)(sc - 117865] [SQL]
to_char当格式为空时应返回空(火花- 41444)[SC-117796][CONNECT] read.json()
(火花- 41398)[SC-117508][SQL]当运行时过滤后的分区键不匹配时放松对Storage-Partitioned Join的约束
(火花- 41228)[SC-117169][SQL]重命名和改进错误信息
COLUMN_NOT_IN_GROUP_BY_CLAUSE．(火花- 41381)(sc - 117593)(连接)(PYTHON)实现
count_distinct而且sum_distinct功能(火花- 41433)[SC-117596][CONNECT]使最大箭头批量大小可配置
(火花- 41397)[SC-117590][CONNECT][PYTHON]实现部分字符串/二进制函数
(火花- 41382)(sc - 117588)(连接)(PYTHON)实现
产品函数(火花- 41403)(sc - 117595)(连接)(PYTHON)实现
DataFrame.describe(火花- 41366)[SC-117580][CONNECT] DF.groupby.agg()应该是兼容的
(火花- 41369)[SC-117584][CONNECT]添加连接common到服务器的阴影罐子
(火花- 41411)[SC-117562][SS]多状态操作员水印支持bug修复
(火花- 41176)[SC-116630][SQL]为错误类指定一个名称遗产ERROR_TEMP_1042
(火花- 41380)(sc - 117476][连接][PYTHON][12。X)实现aggregation functions
(火花- 41363)(sc - 117470][连接][PYTHON][12。实现正常功能
(火花- 41305)[SC-117411
(火花- 41372)[SC-117427][CONNECT][PYTHON]实现DataFrame TempView
(火花- 41379)[SC-117420][SS][PYTHON]为PySpark中的foreachBatch sink在用户函数中提供DataFrame中的克隆spark会话
(火花- 41373)[SC-117405][SQL][ERROR]重命名CAST_WITH_FUN_SUGGESTION为CAST_WITH_FUNC_SUGGESTION
(火花- 41358)(sc - 117417) [SQL]重构
ColumnVectorUtils #填充使用方法PhysicalDataType而不是数据类型(火花- 41355)[SC-117423][SQL]解决hive表名验证问题
(火花- 41390)[SC-117429][SQL]更新用于生成
注册函数UDFRegistration(火花- 41206)[SC-116381][SQL]重命名错误类
_LEGACY_ERROR_TEMP_1233来COLUMN_ALREADY_EXISTS(火花- 41357)(sc - 117310][连接][PYTHON][12。实现数学函数
(火花- 40970)[SC-117308][CONNECT][PYTHON]支持列表[列]Join的on参数
(火花- 41345)[SC-117178][CONNECT]添加连接原型提示
(火花- 41226)(sc - 117194) [SQL][12。通过引入物理类型重构Spark类型
(火花- 41317)(sc - 116902][连接][PYTHON][12。X]增加对DataFrameWriter的基本支持
(火花- 41347)[SC-117173][CONNECT]添加强制转换到表达式原型
(火花- 41323)[SQL]支持current_schema
(火花- 41339)[SC-117171][SQL]关闭并重新创建RocksDB写批处理
(火花- 41227)实现数据帧交叉连接
(火花- 41346)(sc - 117176)(连接)(PYTHON)实现
asc而且desc功能(火花- 41343)[SC-117166][CONNECT]移动FunctionName解析到服务器端
(火花- 41321)[SC-117163][CONNECT]支持UnresolvedStar的目标字段
(火花- 41237)[SC-117167][SQL]重用错误类
UNSUPPORTED_DATATYPE为_LEGACY_ERROR_TEMP_0030(火花- 41309)(sc - 116916] [SQL]重用
INVALID_SCHEMA。没有N_STRING_LITERAL而不是_LEGACY_ERROR_TEMP_1093(火花- 41276)[SC-117136][SQL][ML][MLLIB][PROTOBUF][PYTHON][R][SS][AVRO]优化构造函数使用
StructType(火花- 41335)[SC-117135][CONNECT][PYTHON]支持IsNull和IsNotNull列
(火花- 41332)(sc - 117131)(连接)(PYTHON)修复
nullOrdering在排序方式(火花- 41325)(sc - 117132)[连接][12。修正DF上GroupBy的avg()缺失
(火花- 41327)(sc - 117137)(核心)修复
SparkStatusTracker.getExecutorInfosOn/ offheapstoragemmemory info . by switch On/ offheapstoragemmemory info(火花- 41315)(sc - 117129)(连接)(PYTHON)实现
DataFrame.replace而且DataFrame.na.replace(火花- 41328)[SC-117125][CONNECT][PYTHON]添加逻辑和字符串API到列
(火花- 41331)(sc - 117127)(连接)(PYTHON)添加
orderBy而且drop_duplicates(火花- 40987)(sc - 117124)(核心)
BlockManager # removeBlockInternal应该确保锁被优雅地解锁吗(火花- 41268)[SC-116970][CONNECT][PYTHON]重构“列”以实现API兼容性
(火花- 41312)(sc - 116881][连接][PYTHON][12。X)实现DataFrame。与ColumnRenamed
(火花- 41221)[SC-116607][SQL]添加错误类
INVALID_FORMAT(火花- 41272)[SC-116742][SQL]为错误类指定一个名称遗产ERROR_TEMP_2019
(火花- 41180)(sc - 116760] [SQL]重用
INVALID_SCHEMA而不是_LEGACY_ERROR_TEMP_1227(火花- 41260)(sc - 116880] [PYTHON] [SS][12。在GroupState更新中将NumPy实例转换为Python基元类型
(火花- 41174)[SC-116609][CORE][SQL]向用户传播一个无效的错误类
格式的to_binary ()(火花- 41264)[SC-116971][CONNECT][PYTHON]使文本支持更多的数据类型
(火花- 41326)[SC-116972] [CONNECT]修复重复数据删除丢失输入的问题
(火花- 41316)[SC-116900][SQL]尽可能启用尾递归
(火花- 41297)[SC-116931] [CONNECT] [PYTHON]支持字符串表达式
(火花- 41256)[SC-116932][SC-116883][CONNECT]实现datafframe . withcolumn (s)
(火花- 41182)[SC-116632][SQL]为错误类指定一个名称遗产ERROR_TEMP_1102
(火花- 41181)[SC-116680][SQL]将map选项错误迁移到错误类
(火花- 40940)[sc - 115993][12。删除流查询的多状态操作符检查器。
(火花- 41310)[SC-116885][CONNECT][PYTHON]实现DataFrame.toDF
(火花- 41179)[SC-116631][SQL]为错误类指定一个名称遗产ERROR_TEMP_1092
(火花- 41003)[SC-116741][SQL] BHJ LeftAnti不更新numOutputRows当codegen被禁用
(火花- 41148)(sc - 116878)(连接)(PYTHON)实现
DataFrame.dropna而且DataFrame.na.drop(火花- 41217)[SC-116380][SQL]添加错误类
FAILED_FUNCTION_CALL(火花- 41308)[SC-116875][CONNECT][PYTHON]改进datafframe .count()
(火花- 41301)[SC-116786] [CONNECT] SparkSession.range()
(火花- 41306)[SC-116860][CONNECT]改进连接表达式原型文档
(火花- 41280)[SC-116733][CONNECT]实现DataFrame.tail
(火花- 41300)[SC-116751] [CONNECT]未设置的模式被解释为模式
(火花- 41255)[SC-116730][SC-116695] [CONNECT]重命名RemoteSparkSession
(火花- 41250)(sc - 116788) [sc - 116633][连接][PYTHON] DataFrame。topanda不应该返回可选的pandas数据框架
(火花- 41291)PYTHON (sc - 116738)[连接][]
DataFrame.explain应该打印并返回None(火花- 41278)[SC-116732][CONNECT]清除Expression.proto中未使用的QualifiedAttribute
(火花- 41097)[SC-116653][CORE][SQL][SS][PROTOBUF]删除基于Scala 2.13代码的冗余集合转换
(火花- 41261)[SC-116718][PYTHON][SS]修复了当分组键的列没有按最早的顺序排列时applyInPandasWithState的问题
(火花- 40872)[SC-116717][3.3]当推入合并的shuffle块为零大小时，回退到原始shuffle块
(火花- 41114)[SC-116628][CONNECT]支持LocalRelation的本地数据
(火花- 41216)(sc - 116678)(连接)(PYTHON)实现
DataFrame。{isLocal,isStreaming,printSchema,inputFiles}(火花- 41238)[SC-116670][CONNECT][PYTHON]支持更多内置数据类型
(火花- 41230)(sc - 116674)(连接)(PYTHON)删除
str聚合表达式类型(火花- 41224)[SC-116652][SPARK-41165][SPARK-41184][CONNECT]优化的基于箭头的收集实现从服务器流到客户端
(火花- 41222)[SC-116625][CONNECT][PYTHON]统一类型定义
(火花- 41225)[SC-116623] [CONNECT] [PYTHON]禁用不支持的函数。
(火花- 41201)(sc - 116526)(连接)(PYTHON)实现
DataFrame。SelectExprPython客户端(火花- 41203)[SC-116258] [CONNECT]支持数据帧。在Python客户端中进行转换。
(火花- 41213)(sc - 116375)(连接)(PYTHON)实现
DataFrame.__repr__而且DataFrame.dtypes(火花- 41169)(sc - 116378)(连接)(PYTHON)实现
DataFrame.drop(火花- 41172)[SC-116245][SQL]将不明确的引用错误迁移到错误类
(火花- 41122)[SC-116141][CONNECT] Explain API支持不同模式
(火花- 41209)[SC-116584][PYTHON]改进PySpark类型推断合并类型的方法
(火花- 41196)[SC-116555][SC-116179] [CONNECT]在Spark CONNECT服务器上同质化protobuf版本以使用相同的主版本。
(火花- 35531)[SC-116409][SQL]更新hive表统计信息，不进行不必要的转换
(火花- 41154)[SC-116289][SQL]使用时间旅行规范查询的关系缓存不正确
(火花- 41212)(sc - 116554] (sc - 116389)(连接)(PYTHON)实现
DataFrame.isEmpty(火花- 41135)(sc - 116400) [SQL]重命名
UNSUPPORTED_EMPTY_LOCATION来INVALID_EMPTY_LOCATION(火花- 41183)[SC-116265][SQL]添加一个扩展API来为缓存做计划规范化
(火花- 41054)[SC-116447][UI][CORE]在live UI中支持RocksDB作为KVStore
(火花- 38550)[SQL][CORE]使用基于磁盘的存储来为实时UI保存更多的调试信息
(火花- 41173)(sc - 116185] [SQL]
要求()从字符串表达式的构造函数中取出(火花- 41188)[SC-116242][CORE][ML] spark executor JVM进程默认设置executorEnv OMP_NUM_THREADS为spark.task.cpus
(火花- 41130)(sc - 116155) [SQL]重命名
OUT_OF_DECIMAL_TYPE_RANGE来NUMERIC_OUT_OF_SUPPORTED_RANGE(火花- 41175)[SC-116238][SQL]为错误类指定一个名称遗产ERROR_TEMP_1078
(火花- 41106)[SC-116073][SQL]创建AttributeMap时减少集合转换
(火花- 41139)[SC-115983][SQL]改进错误类:
PYTHON_UDF_IN_ON_CLAUSE(火花- 40657)[SC-115997][PROTOBUF]需要为Java类jar设置阴影，改善错误处理
(火花- 40999)[SC-116168]提示传播到子查询
(火花- 41017)[SC-116054][SQL]支持多个不确定过滤器的列修剪
(火花- 40834)[SC-114773][SQL]使用SparkListenerSQLExecutionEnd跟踪UI中的最终SQL状态
(火花- 41118)(sc - 116027] [SQL]
to_number/try_to_number应该返回零当格式为零(火花- 39799)[SC-115984][SQL] DataSourceV2:查看目录接口
(火花- 40665)[SC-116210][SC-112300][CONNECT]避免在Apache Spark二进制版本中嵌入Spark CONNECT
(火花- 41048)[SC-116043][SQL]使用AQE缓存改进输出分区和排序
(火花- 41198)[SC-116256][SS]修复流查询中CTE和DSv1流源的度量
(火花- 41199)[SC-116244][SS]修复DSv1流媒体源和DSv2流媒体源同时使用时的度量问题
(火花- 40957)[SC-116261][SC-114706]在HDFSMetadataLog中添加内存缓存
(火花- 40940)恢复“[SC-115993]删除流查询的多状态操作符检查器”
(火花- 41090)[SQL]抛出异常
db_name.view_name通过数据集API创建临时视图时(火花- 41133)(sc - 116085] [SQL]积分
UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION成NUMERIC_VALUE_OUT_OF_RANGE(火花- 40557)[SC-116182][SC-111442][CONNECT]代码转储
(火花- 40448)[SC-114447][SC-111314][CONNECT] Spark CONNECT构建为带有阴影依赖的驱动插件
(火花- 41096)[SC-115812][SQL]支持读取拼字的FIXED_LEN_BYTE_ARRAY类型
(火花- 41140)[SQL]重命名错误类
_LEGACY_ERROR_TEMP_2440来INVALID_WHERE_CONDITION(火花- 40918)[SC-114438][SQL]在生成柱状输出时，FileSourceScanExec与Orc和ParquetFileFormat不匹配
(火花- 41155)[SC-115991][SQL]为SchemaColumnConvertNotSupportedException添加错误消息
(火花- 40940)[SC-115993]删除流查询的多状态操作符检查器
(火花- 41098)(sc - 115790) [SQL]重命名
GROUP_BY_POS_REFERS_AGG_EXPR来GROUP_BY_POS_AGGREGATE(火花- 40755)[SC-115912][SQL]将数字格式化的类型检查失败迁移到错误类
(火花- 41059)(sc - 115658) [SQL]重命名
_LEGACY_ERROR_TEMP_2420来NESTED_AGGREGATE_FUNCTION(火花- 41044)[SQL]转换DATATYPE_MISMATCH。UNSPECIFIED_FRAME to INTERNAL_ERROR
(火花- 40973)(sc - 115132) [SQL]重命名
_LEGACY_ERROR_TEMP_0055来UNCLOSED_BRACKETED_COMMENT
系统环境
操作系统: Ubuntu 20.04.5 LTS
JavaZulu 8.64.0.19-CA-linux64
Scala: 2.12.14
Python: 3.9.5
R: 4.2.2
三角洲湖: 2.2.0
已安装的Python库
图书馆 |
版本 |
图书馆 |
版本 |
图书馆 |
版本 |
|---|---|---|---|---|---|
argon2-cffi |
21.3.0 |
argon2-cffi-bindings |
21.2.0 |
asttokens |
2.0.5 |
attrs |
21.4.0 |
backcall |
0.2.0 |
backports.entry-points-selectable |
1.2.0 |
beautifulsoup4 |
4.11.1 |
黑色的 |
22.3.0 |
漂白剂 |
4.1.0 |
boto3 |
1.21.32 |
botocore |
1.24.32 |
certifi |
2021.10.8 |
cffi |
1.15.0 |
chardet |
4.0.0 |
charset-normalizer |
2.0.4 |
点击 |
8.0.4 |
密码学 |
3.4.8 |
周期计 |
0.11.0 |
Cython |
0.29.28 |
dbus-python |
1.2.16 |
debugpy |
1.5.1 |
装饰 |
5.1.1 |
defusedxml |
是0.7.1 |
distlib |
0.3.6 |
docstring-to-markdown |
0.11 |
entrypoints |
0.4 |
执行 |
0.8.3 |
facets-overview |
1.0.0 |
fastjsonschema |
2.16.2 |
filelock |
3.8.2 |
fonttools |
4.25.0 |
idna |
3．3 |
ipykernel |
6.15.3 |
ipython |
8.5.0 |
ipython-genutils |
0.2.0 |
ipywidgets |
7.7.2 |
绝地武士 |
0.18.1 |
Jinja2 |
14 |
jmespath |
0.10.0 |
joblib |
1.1.0 |
jsonschema |
4.4.0 |
jupyter-client |
6.1.12 |
jupyter_core |
4.11.2 |
jupyterlab-pygments |
0.1.2 |
jupyterlab-widgets |
1.0.0 |
kiwisolver |
1.3.2 |
MarkupSafe |
2.0.1 |
matplotlib |
3.5.1 |
matplotlib-inline |
0.1.2 |
麦凯布 |
0.7.0 |
使走调 |
0.8.4 |
mypy-extensions |
0.4.3 |
nbclient |
0.5.13 |
nbconvert |
6.4.4 |
nbformat |
5.3.0 |
nest-asyncio |
1.5.5 |
nodeenv |
1.7.0 |
笔记本 |
6.4.8 |
numpy |
1.21.5 |
包装 |
21.3 |
熊猫 |
1.4.2 |
pandocfilters |
1.5.0 |
parso |
0.8.3 |
pathspec |
0.9.0 |
容易受骗的人 |
0.5.2 |
pexpect |
4.8.0 |
pickleshare |
0.7.5 |
枕头 |
9.0.1 |
皮普 |
21.2.4 |
bob体育客户端下载platformdirs |
2.6.0 |
情节 |
5.6.0 |
pluggy |
1.0.0 |
prometheus-client |
0.13.1 |
prompt-toolkit |
3.0.20 |
protobuf |
3.19.4 |
psutil |
5.8.0 |
psycopg2 |
2.9.3 |
ptyprocess |
0.7.0 |
pure-eval |
0.2.2 |
pyarrow |
7.0.0 |
pycparser |
2.21 |
pyflakes |
2.5.0 |
Pygments |
2.11.2 |
PyGObject |
3.36.0 |
pyodbc |
4.0.32 |
pyparsing |
3.0.4 |
pyright |
1.1.283 |
pyrsistent |
0.18.0 |
python-dateutil |
2.8.2 |
python-lsp-jsonrpc |
1.0.0 |
python-lsp-server |
1.6.0 |
pytz |
2021.3 |
pyzmq |
22.3.0 |
请求 |
2.27.1 |
requests-unixsocket |
0.2.0 |
绳子 |
0.22.0 |
s3transfer |
0.5.0 |
scikit-learn |
1.0.2中 |
scipy |
1.7.3 |
seaborn |
0.11.2 |
Send2Trash |
1.8.0 |
setuptools |
61.2.0 |
六个 |
1.16.0 |
soupsieve |
2.3.1 |
ssh-import-id |
5.10 |
堆栈数据 |
0.2.0 |
statsmodels |
0.13.2 |
韧性 |
8.0.1 |
terminado |
0.13.1 |
testpath |
0.5.0 |
threadpoolctl |
2.2.0 |
tokenize-rt |
4.2.1 |
tomli |
1.2.2 |
龙卷风 |
6.1 |
traitlets |
5.1.1 |
typing_extensions |
以下4.4.1 |
ujson |
5.1.0 |
unattended-upgrades |
0．1 |
urllib3 |
1.26.9 |
virtualenv |
20.8.0 |
wcwidth |
0.2.5 |
webencodings |
0.5.1 |
whatthepatch |
1.0.3 |
轮 |
0.37.0 |
widgetsnbextension |
3.6.1 |
yapf |
0.31.0 |
已安装的R库
图书馆 |
版本 |
图书馆 |
版本 |
图书馆 |
版本 |
|---|---|---|---|---|---|
箭头 |
10.0.0 |
askpass |
1．1 |
为了 |
0.2.1 |
补丁 |
1.4.1 |
基地 |
4.2.2 |
base64enc |
0.1 - 3 |
位 |
4.0.4 |
bit64 |
你 |
团 |
1.2.3 |
引导 |
-28 - 1.3 |
酿造 |
1.0 8 |
生动 |
1.1.3 |
扫帚 |
1.0.1 |
bslib |
0.4.1 |
cachem |
1.0.6 |
callr |
3.7.3 |
脱字符号 |
-93 - 6.0 |
cellranger |
1.1.0 |
时间 |
-58 - 2.3 |
类 |
-20 - 7.3 |
cli |
3.4.1 |
clipr |
0.8.0 |
时钟 |
0.6.1 |
集群 |
2.1.4 |
codetools |
-18 - 0.2 |
色彩 |
2.0 - 3 |
commonmark |
1.8.1 |
编译器 |
4.2.2 |
配置 |
0.3.1 |
cpp11 |
0.4.3 |
蜡笔 |
1.5.2 |
凭证 |
1.3.2 |
旋度 |
4.3.3 |
data.table |
1.14.4 |
数据集 |
4.2.2 |
DBI |
1.1.3 |
dbplyr |
2.2.1 |
desc |
1.4.2 |
devtools |
2.4.5 |
diffobj |
0.3.5 |
消化 |
0.6.30 |
downlit |
0.4.2 |
dplyr |
1.0.10 |
dtplyr |
1.2.2 |
e1071 |
-12 - 1.7 |
省略 |
0.3.2 |
评估 |
0.18 |
fansi |
1.0.3 |
farver |
2.1.1 |
fastmap |
1.1.0 |
fontawesome |
0.4.0 |
forcats |
0.5.2 |
foreach |
1.5.2 |
外国 |
-82 - 0.8 |
打造 |
0.2.0 |
fs |
1.5.2 |
未来 |
1.29.0 |
future.apply |
1.10.0 |
含漱剂 |
1.2.1 " |
泛型 |
0.1.3 |
哥特 |
1.9.1 |
ggplot2 |
3.4.0 |
“大酒店” |
1.3.1 |
gitcreds |
0.1.2 |
glmnet |
4.1 - 4 |
全局变量 |
0.16.1 |
胶水 |
1.6.2 |
googledrive |
2.0.0 |
googlesheets4 |
1.0.1 |
高尔 |
1.0.0 |
图形 |
4.2.2 |
grDevices |
4.2.2 |
网格 |
4.2.2 |
gridExtra |
2．3 |
gsubfn |
0.7 |
gtable |
0.3.1 |
需要戴安全帽的 |
1.2.0 |
还 |
2.5.1 |
highr |
0.9 |
hms |
1.1.2 |
htmltools |
0.5.3 |
htmlwidgets |
1.5.4 |
httpuv |
1.6.6 |
httr |
1.4.4 |
id |
1.0.1 |
ini |
0.3.1 |
不小 |
-13 - 0.9 |
isoband |
0.2.6虽然只是 |
迭代器 |
1.0.14 |
jquerylib |
0.1.4 |
jsonlite |
1.8.3 |
KernSmooth |
-20 - 2.23 |
knitr |
1.40 |
标签 |
0.4.2 |
晚些时候 |
1.3.0 |
晶格 |
-45 - 0.20 |
熔岩 |
1.7.0 |
生命周期 |
1.0.3 |
listenv |
0.8.0 |
lubridate |
1.9.0 |
magrittr |
2.0.3 |
减价 |
1.3 |
质量 |
-58 - 7.3 |
矩阵 |
1.5 - 1 |
memoise |
2.0.1 |
方法 |
4.2.2 |
mgcv |
-41 - 1.8 |
mime |
0.12 |
miniUI |
0.1.1.1 |
ModelMetrics |
1.2.2.2 |
modelr |
0.1.9 |
孟塞尔 |
0.5.0 |
nlme |
-160 - 3.1 |
nnet |
-18 - 7.3 |
numDeriv |
2016.8 - -1.1 |
openssl |
2.0.4 |
平行 |
4.2.2 |
平行 |
1.32.1 |
支柱 |
1.8.1 |
pkgbuild |
1.3.1 |
pkgconfig |
2.0.3 |
pkgdown |
2.0.6 |
pkgload |
1.3.1 |
plogr |
0.2.0 |
plyr |
1.8.7 |
赞美 |
1.0.0 |
prettyunits |
1.1.1 |
pROC |
1.18.0 |
processx |
3.8.0 |
prodlim |
2019.11.13 |
profvis |
0.3.7 |
进步 |
1.2.2 |
progressr |
0.11.0 |
承诺 |
1.2.0.1 |
原型 |
1.0.0 |
代理 |
-27 - 0.4 |
ps |
1.7.2 |
purrr |
0.3.5 |
r2d3 |
0.2.6虽然只是 |
R6 |
2.5.1 |
ragg |
1.2.4 |
randomForest |
4.7 - -1.1 |
rappdirs |
0.3.3 |
rcmdcheck |
1.4.0 |
RColorBrewer |
1.1 - 3 |
Rcpp |
1.0.9 |
RcppEigen |
0.3.3.9.3 |
readr |
2.1.3 |
readxl |
1.4.1 |
食谱 |
1.0.3 |
复赛 |
1.0.1 |
rematch2 |
2.1.2 |
遥控器 |
2.4.2 |
reprex |
2.0.2 |
reshape2 |
1.4.4 |
rlang |
1.0.6 |
rmarkdown |
2.18 |
RODBC |
-19 - 1.3 |
roxygen2 |
7.2.1 |
rpart |
4.1.19 |
rprojroot |
2.0.3 |
Rserve |
-11 - 1.8 |
RSQLite |
2.2.18 |
rstudioapi |
0.14 |
rversions |
2.1.2 |
房车 |
1.0.3 |
萨斯 |
0.4.2 |
尺度 |
1.2.1 " |
selectr |
0.4 - 2 |
sessioninfo |
1.2.2 |
形状 |
1.4.6 |
闪亮的 |
1.7.3 |
sourcetools |
0.1.7 |
sparklyr |
1.7.8 |
SparkR |
3.3.1 |
空间 |
-11 - 7.3 |
样条函数 |
4.2.2 |
sqldf |
-11 - 0.4 |
SQUAREM |
2021.1 |
统计数据 |
4.2.2 |
stats4 |
4.2.2 |
stringi |
1.7.8 |
stringr |
1.4.1 |
生存 |
3.4 0 |
sys |
3.4.1 |
systemfonts |
1.0.4 |
tcltk |
4.2.2 |
testthat |
3.1.5 |
textshaping |
0.3.6 |
宠物猫 |
3.1.8中 |
tidyr |
1.2.1 " |
tidyselect |
1.2.0 |
tidyverse |
1.3.2 |
timechange |
0.1.1 |
timeDate |
4021.106 |
tinytex |
0.42 |
工具 |
4.2.2 |
tzdb |
0.3.0 |
urlchecker |
1.0.1 |
usethis |
2.1.6 |
use utf8 |
1.2.2 |
跑龙套 |
4.2.2 |
uuid |
1.1 0 |
vctrs |
0.5.0 |
viridisLite |
0.4.1 |
发呜呜声 |
1.6.0 |
沃尔多 |
0.4.0 |
晶须 |
0.4 |
withr |
2.5.0 |
xfun |
0.34 |
xml2 |
1.3.3 |
xopen |
1.0.0 |
xtable |
1.8 - 4 |
yaml |
2.3.6 |
邮政编码 |
2.2.2 |
安装Java和Scala库(Scala 2.12集群版本)
组ID |
工件ID |
版本 |
|---|---|---|
antlr |
antlr |
2.7.7 |
com.amazonaws |
amazon-kinesis-client |
1.12.0 |
com.amazonaws |
aws-java-sdk-autoscaling |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudformation |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudfront |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudhsm |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudsearch |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudtrail |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudwatch |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudwatchmetrics |
1.12.189 |
com.amazonaws |
aws-java-sdk-codedeploy |
1.12.189 |
com.amazonaws |
aws-java-sdk-cognitoidentity |
1.12.189 |
com.amazonaws |
aws-java-sdk-cognitosync |
1.12.189 |
com.amazonaws |
aws-java-sdk-config |
1.12.189 |
com.amazonaws |
aws-java-sdk-core |
1.12.189 |
com.amazonaws |
aws-java-sdk-datapipeline |
1.12.189 |
com.amazonaws |
aws-java-sdk-directconnect |
1.12.189 |
com.amazonaws |
aws-java-sdk-directory |
1.12.189 |
com.amazonaws |
aws-java-sdk-dynamodb |
1.12.189 |
com.amazonaws |
aws-java-sdk-ec2 |
1.12.189 |
com.amazonaws |
aws-java-sdk-ecs |
1.12.189 |
com.amazonaws |
aws-java-sdk-efs |
1.12.189 |
com.amazonaws |
aws-java-sdk-elasticache |
1.12.189 |
com.amazonaws |
aws-java-sdk-elasticbeanstalk |
1.12.189 |
com.amazonaws |
aws-java-sdk-elasticloadbalancing |
1.12.189 |
com.amazonaws |
aws-java-sdk-elastictranscoder |
1.12.189 |
com.amazonaws |
aws-java-sdk-emr |
1.12.189 |
com.amazonaws |
aws-java-sdk-glacier |
1.12.189 |
com.amazonaws |
aws-java-sdk-glue |
1.12.189 |
com.amazonaws |
aws-java-sdk-iam |
1.12.189 |
com.amazonaws |
aws-java-sdk-importexport |
1.12.189 |
com.amazonaws |
aws-java-sdk-kinesis |
1.12.189 |
com.amazonaws |
aws-java-sdk-kms |
1.12.189 |
com.amazonaws |
aws-java-sdk-lambda |
1.12.189 |
com.amazonaws |
aws-java-sdk-logs |
1.12.189 |
com.amazonaws |
aws-java-sdk-machinelearning |
1.12.189 |
com.amazonaws |
aws-java-sdk-opsworks |
1.12.189 |
com.amazonaws |
aws-java-sdk-rds |
1.12.189 |
com.amazonaws |
aws-java-sdk-redshift |
1.12.189 |
com.amazonaws |
aws-java-sdk-route53 |
1.12.189 |
com.amazonaws |
aws-java-sdk-s3 |
1.12.189 |
com.amazonaws |
aws-java-sdk-ses |
1.12.189 |
com.amazonaws |
aws-java-sdk-simpledb |
1.12.189 |
com.amazonaws |
aws-java-sdk-simpleworkflow |
1.12.189 |
com.amazonaws |
aws-java-sdk-sns |
1.12.189 |
com.amazonaws |
aws-java-sdk-sqs |
1.12.189 |
com.amazonaws |
aws-java-sdk-ssm |
1.12.189 |
com.amazonaws |
aws-java-sdk-storagegateway |
1.12.189 |
com.amazonaws |
aws-java-sdk-sts |
1.12.189 |
com.amazonaws |
aws-java-sdk-support |
1.12.189 |
com.amazonaws |
aws-java-sdk-swf-libraries |
1.11.22 |
com.amazonaws |
aws-java-sdk-workspaces |
1.12.189 |
com.amazonaws |
jmespath-java |
1.12.189 |
com.chuusai |
shapeless_2.12 |
2.3.3 |
com.clearspring.analytics |
流 |
2.9.6 |
com.databricks |
Rserve |
1.8 - 3 |
com.databricks |
jets3t |
0.7.1-0 |
com.databricks.scalapb |
compilerplugin_2.12 |
0.4.15-10 |
com.databricks.scalapb |
scalapb-runtime_2.12 |
0.4.15-10 |
com.esotericsoftware |
kryo-shaded |
4.0.2 |
com.esotericsoftware |
minlog |
1.3.0 |
com.fasterxml |
同学 |
1.3.4 |
com.fasterxml.jackson.core |
jackson-annotations |
2.13.4 |
com.fasterxml.jackson.core |
jackson-core |
2.13.4 |
com.fasterxml.jackson.core |
jackson-databind |
2.13.4.2 |
com.fasterxml.jackson.dataformat |
jackson-dataformat-cbor |
2.13.4 |
com.fasterxml.jackson.datatype |
jackson-datatype-joda |
2.13.4 |
com.fasterxml.jackson.datatype |
jackson-datatype-jsr310 |
2.13.4 |
com.fasterxml.jackson.module |
jackson-module-paranamer |
2.13.4 |
com.fasterxml.jackson.module |
jackson-module-scala_2.12 |
2.13.4 |
com.github.ben-manes.caffeine |
咖啡因 |
2.3.4 |
com.github.fommil |
jniloader |
1．1 |
com.github.fommil.netlib |
核心 |
1.1.2 |
com.github.fommil.netlib |
native_ref-java |
1．1 |
com.github.fommil.netlib |
native_ref-java-natives |
1．1 |
com.github.fommil.netlib |
native_system-java |
1．1 |
com.github.fommil.netlib |
native_system-java-natives |
1．1 |
com.github.fommil.netlib |
netlib-native_ref-linux-x86_64-natives |
1．1 |
com.github.fommil.netlib |
netlib-native_system-linux-x86_64-natives |
1．1 |
com.github.luben |
zstd-jni |
1.5.2-1 |
com.github.wendykierp |
JTransforms |
3．1 |
com.google.code.findbugs |
jsr305 |
3.0.0 |
com.google.code.gson |
gson |
2.8.6 |
com.google.crypto.tink |
叮叮铃 |
1.6.1 |
com.google.flatbuffers |
flatbuffers-java |
1.12.0 |
com.google.guava |
番石榴 |
15.0 |
com.google.protobuf |
protobuf-java |
2.6.1 |
com.h2database |
h2 |
2.0.204 |
com.helger |
分析器 |
1.1.1 |
com.jcraft |
jsch |
0.1.50 |
com.jolbox |
bonecp |
0.8.0.RELEASE |
com.lihaoyi |
sourcecode_2.12 |
0.1.9 |
com.microsoft.azure |
azure-data-lake-store-sdk |
2.3.9 |
com.ning |
compress-lzf |
1．1 |
com.sun.mail |
javax.mail |
1.5.2 |
com.tdunning |
json |
1．8 |
com.thoughtworks.paranamer |
paranamer |
2.8 |
com.trueaccord.lenses |
lenses_2.12 |
0.4.12 |
com.twitter |
chill-java |
0.10.0 |
com.twitter |
chill_2.12 |
0.10.0 |
com.twitter |
util-app_2.12 |
7.1.0 |
com.twitter |
util-core_2.12 |
7.1.0 |
com.twitter |
util-function_2.12 |
7.1.0 |
com.twitter |
util-jvm_2.12 |
7.1.0 |
com.twitter |
util-lint_2.12 |
7.1.0 |
com.twitter |
util-registry_2.12 |
7.1.0 |
com.twitter |
util-stats_2.12 |
7.1.0 |
com.typesafe |
配置 |
1.2.1 " |
com.typesafe.scala-logging |
scala-logging_2.12 |
3.7.2章 |
com.uber |
h3 |
3.7.0 |
com.univocity |
univocity-parsers |
2.9.1 |
com.zaxxer |
HikariCP |
4.0.3 |
commons-cli |
commons-cli |
1.5.0 |
commons-codec |
commons-codec |
1.15 |
commons-collections |
commons-collections |
3.2.2 |
commons-dbcp |
commons-dbcp |
1．4 |
commons-fileupload |
commons-fileupload |
1.3.3 |
commons-httpclient |
commons-httpclient |
3．1 |
commons-io |
commons-io |
2.11.0 |
commons lang |
commons lang |
2.6 |
通用日志 |
通用日志 |
1.1.3 |
commons-pool |
commons-pool |
1.5.4 |
dev.ludovic.netlib |
arpack |
2.2.1 |
dev.ludovic.netlib |
布拉斯特区 |
2.2.1 |
dev.ludovic.netlib |
lapack |
2.2.1 |
info.ganglia.gmetric4j |
gmetric4j |
1.0.10 |
io.airlift |
aircompressor |
0.21 |
io.delta |
delta-sharing-spark_2.12 |
0.6.2 |
io.dropwizard.metrics |
metrics-core |
以下4.4.1 |
io.dropwizard.metrics |
metrics-graphite |
以下4.4.1 |
io.dropwizard.metrics |
metrics-healthchecks |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jetty9 |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jmx |
以下4.4.1 |
io.dropwizard.metrics |
metrics-json |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jvm |
以下4.4.1 |
io.dropwizard.metrics |
metrics-servlets |
以下4.4.1 |
io.netty |
netty-all |
4.1.74.Final |
io.netty |
netty-buffer |
4.1.74.Final |
io.netty |
netty-codec |
4.1.74.Final |
io.netty |
netty-common |
4.1.74.Final |
io.netty |
netty-handler |
4.1.74.Final |
io.netty |
netty-resolver |
4.1.74.Final |
io.netty |
netty-tcnative-classes |
2.0.48.Final |
io.netty |
netty-transport |
4.1.74.Final |
io.netty |
netty-transport-classes-epoll |
4.1.74.Final |
io.netty |
netty-transport-classes-kqueue |
4.1.74.Final |
io.netty |
netty-transport-native-epoll-linux-aarch_64 |
4.1.74.Final |
io.netty |
netty-transport-native-epoll-linux-x86_64 |
4.1.74.Final |
io.netty |
netty-transport-native-kqueue-osx-aarch_64 |
4.1.74.Final |
io.netty |
netty-transport-native-kqueue-osx-x86_64 |
4.1.74.Final |
io.netty |
netty-transport-native-unix-common |
4.1.74.Final |
io.prometheus |
simpleclient |
0.7.0 |
io.prometheus |
simpleclient_common |
0.7.0 |
io.prometheus |
simpleclient_dropwizard |
0.7.0 |
io.prometheus |
simpleclient_pushgateway |
0.7.0 |
io.prometheus |
simpleclient_servlet |
0.7.0 |
io.prometheus.jmx |
收集器 |
0.12.0 |
jakarta.annotation |
jakarta.annotation-api |
1.3.5 |
jakarta.servlet |
jakarta.servlet-api |
4.0.3 |
jakarta.validation |
jakarta.validation-api |
2.0.2 |
jakarta.ws.rs |
jakarta.ws.rs-api |
2.1.6 |
javax.activation |
激活 |
1.1.1 |
javax.el |
javax.el-api |
2.2.4 |
javax.jdo |
jdo api |
3.0.1 |
javax.transaction |
jta |
1．1 |
javax.transaction |
事务api |
1．1 |
javax.xml.bind |
jaxb-api |
. 2.2.11 |
javolution |
javolution |
5.5.1 |
jline |
jline |
2.14.6 |
joda-time |
joda-time |
2.10.13 |
net.java.dev.jna |
jna |
5.8.0 |
net.razorvine |
泡菜 |
1．2 |
net.sf.jpam |
jpam |
1．1 |
net.sf.opencsv |
opencsv |
2．3 |
net.sf.supercsv |
super-csv |
2.2.0 |
net.snowflake |
snowflake-ingest-sdk |
0.9.6 |
net.snowflake |
snowflake-jdbc |
3.13.22 |
net.sourceforge.f2j |
arpack_combined_all |
0．1 |
org.acplt.remotetea |
remotetea-oncrpc |
1.1.2 |
org.antlr |
ST4 |
4.0.4 |
org.antlr |
antlr-runtime |
3.5.2 |
org.antlr |
antlr4-runtime |
4.8 |
org.antlr |
stringtemplate |
3.2.1之上 |
org.apache.ant |
蚂蚁 |
1.9.2 |
org.apache.ant |
ant-jsch |
1.9.2 |
org.apache.ant |
ant-launcher |
1.9.2 |
org.apache.arrow |
arrow-format |
7.0.0 |
org.apache.arrow |
arrow-memory-core |
7.0.0 |
org.apache.arrow |
arrow-memory-netty |
7.0.0 |
org.apache.arrow |
arrow-vector |
7.0.0 |
org.apache.avro |
avro |
1.11.0 |
org.apache.avro |
avro-ipc |
1.11.0 |
org.apache.avro |
avro-mapred |
1.11.0 |
org.apache.commons |
commons-collections4 |
4.4 |
org.apache.commons |
commons-compress |
1.21 |
org.apache.commons |
commons-crypto |
1.1.0 |
org.apache.commons |
commons-lang3 |
3.12.0 |
org.apache.commons |
commons-math3 |
3.6.1 |
org.apache.commons |
commons-text |
1.10.0 |
org.apache.curator |
curator-client |
2.13.0 |
org.apache.curator |
curator-framework |
2.13.0 |
org.apache.curator |
curator-recipes |
2.13.0 |
org.apache.derby |
德比 |
10.14.2.0 |
org.apache.hadoop |
hadoop-client-api |
3.3.4-databricks |
org.apache.hadoop |
hadoop-client-runtime |
3.3.4 |
org.apache.hive |
hive-beeline |
2.3.9 |
org.apache.hive |
hive-cli |
2.3.9 |
org.apache.hive |
hive-jdbc |
2.3.9 |
org.apache.hive |
hive-llap-client |
2.3.9 |
org.apache.hive |
hive-llap-common |
2.3.9 |
org.apache.hive |
hive-serde |
2.3.9 |
org.apache.hive |
hive-shims |
2.3.9 |
org.apache.hive |
hive-storage-api |
2.8.1发布 |
org.apache.hive.shims |
蜂巢0.23 -垫片 |
2.3.9 |
org.apache.hive.shims |
hive-shims-common |
2.3.9 |
org.apache.hive.shims |
hive-shims-scheduler |
2.3.9 |
org.apache.httpcomponents |
httpclient |
4.5.13 |
org.apache.httpcomponents |
httpcore |
4.4.14 |
org.apache.ivy |
艾薇 |
2.5.0 |
org.apache.logging.log4j |
log4j - 1.2 api |
2.18.0 |
org.apache.logging.log4j |
log4j api |
2.18.0 |
org.apache.logging.log4j |
log4j-core |
2.18.0 |
org.apache.logging.log4j |
log4j-slf4j-impl |
2.18.0 |
org.apache.mesos |
mesos-shaded-protobuf |
1.4.0 |
org.apache.orc |
orc-core |
1.7.6 |
org.apache.orc |
orc-mapreduce |
1.7.6 |
org.apache.orc |
orc-shims |
1.7.6 |
org.apache.parquet |
parquet-column |
1.12.3-databricks-0002 |
org.apache.parquet |
parquet-common |
1.12.3-databricks-0002 |
org.apache.parquet |
parquet-encoding |
1.12.3-databricks-0002 |
org.apache.parquet |
parquet-format-structures |
1.12.3-databricks-0002 |
org.apache.parquet |
parquet-hadoop |
1.12.3-databricks-0002 |
org.apache.parquet |
parquet-jackson |
1.12.3-databricks-0002 |
org.apache.thrift |
libfb303 |
0.9.3 |
org.apache.thrift |
libthrift |
0.12.0 |
org.apache.xbean |
xbean-asm9-shaded |
4.20 |
org.apache.yetus |
audience-annotations |
0.13.0 |
org.apache.zookeeper |
动物园管理员 |
操作 |
org.apache.zookeeper |
zookeeper-jute |
操作 |
org.checkerframework |
checker-qual |
3.5.0 |
org.codehaus.jackson |
jackson-core-asl |
1.9.13 |
org.codehaus.jackson |
jackson-mapper-asl |
1.9.13 |
org.codehaus.janino |
commons-compiler |
3.0.16 |
org.codehaus.janino |
janino |
3.0.16 |
org.datanucleus |
datanucleus-api-jdo |
4.2.4 |
org.datanucleus |
datanucleus-core |
4.1.17 |
org.datanucleus |
datanucleus-rdbms |
4.1.19 |
org.datanucleus |
javax.jdo |
3.2.0-m3 |
org.eclipse.jetty |
jetty-client |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-continuation |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-http |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-io |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-jndi |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-plus |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-proxy |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-security |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty服务器 |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty servlet |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-servlets |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-util |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-util-ajax |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-webapp |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-xml |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket-api |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket-client |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket-common |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket服务器 |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket-servlet |
9.4.46.v20220331 |
org.fusesource.leveldbjni |
leveldbjni-all |
1．8 |
org.glassfish.hk2 |
hk2-api |
2.6.1 |
org.glassfish.hk2 |
hk2-locator |
2.6.1 |
org.glassfish.hk2 |
hk2-utils |
2.6.1 |
org.glassfish.hk2 |
osgi-resource-locator |
1.0.3 |
org.glassfish.hk2.external |
aopalliance-repackaged |
2.6.1 |
org.glassfish.hk2.external |
jakarta.inject |
2.6.1 |
org.glassfish.jersey.containers |
jersey-container-servlet |
2.36 |
org.glassfish.jersey.containers |
jersey-container-servlet-core |
2.36 |
org.glassfish.jersey.core |
jersey客户端 |
2.36 |
org.glassfish.jersey.core |
jersey-common |
2.36 |
org.glassfish.jersey.core |
jersey-server |
2.36 |
org.glassfish.jersey.inject |
jersey-hk2 |
2.36 |
org.hibernate.validator |
hibernate验证框架 |
6.1.0.Final |
org.javassist |
javassist |
3.25.0-GA |
org.jboss.logging |
jboss-logging |
3.3.2.Final |
org.jdbi |
jdbi |
2.63.1 |
org.jetbrains |
注释 |
17.0.0 |
org.joda |
joda-convert |
1.7 |
org.jodd |
jodd-core |
3.5.2 |
org.json4s |
json4s-ast_2.12 |
3.7.0-M11 |
org.json4s |
json4s-core_2.12 |
3.7.0-M11 |
org.json4s |
json4s-jackson_2.12 |
3.7.0-M11 |
org.json4s |
json4s-scalap_2.12 |
3.7.0-M11 |
org.lz4 |
lz4-java |
1.8.0 |
org.mariadb.jdbc |
mariadb-java-client |
第2.7.4 |
org.mlflow |
mlflow-spark |
1.27.0 |
org.objenesis |
objenesis |
2.5.1 |
org.postgresql |
postgresql |
42.3.3 |
org.roaringbitmap |
RoaringBitmap |
0.9.25 |
org.roaringbitmap |
垫片 |
0.9.25 |
org.rocksdb |
rocksdbjni |
6.24.2 |
org.rosuda.REngine |
REngine |
魅惑 |
org.scala-lang |
scala-compiler_2.12 |
2.12.14 |
org.scala-lang |
scala-library_2.12 |
2.12.14 |
org.scala-lang |
scala-reflect_2.12 |
2.12.14 |
org.scala-lang.modules |
scala-collection-compat_2.12 |
2.4.3 |
org.scala-lang.modules |
scala-parser-combinators_2.12 |
1.1.2 |
org.scala-lang.modules |
scala-xml_2.12 |
1.2.0 |
org.scala-sbt |
测试界面 |
1．0 |
org.scalacheck |
scalacheck_2.12 |
1.14.2 |
org.scalactic |
scalactic_2.12 |
3.0.8 |
org.scalanlp |
breeze-macros_2.12 |
1．2 |
org.scalanlp |
breeze_2.12 |
1．2 |
org.scalatest |
scalatest_2.12 |
3.0.8 |
org.slf4j |
jcl-over-slf4j |
1.7.36 |
org.slf4j |
jul-to-slf4j |
1.7.36 |
org.slf4j |
slf4j-api |
1.7.36 |
org.spark-project.spark |
未使用的 |
1.0.0 |
org.threeten |
threeten-extra |
1.5.0 |
org.tukaani |
xz |
1.9 |
org.typelevel |
algebra_2.12 |
2.0.1 |
org.typelevel |
cats-kernel_2.12 |
2.1.1 |
org.typelevel |
macro-compat_2.12 |
1.1.1 |
org.typelevel |
spire-macros_2.12 |
0.17.0 |
org.typelevel |
spire-bob体育客户端下载platform_2.12 |
0.17.0 |
org.typelevel |
spire-util_2.12 |
0.17.0 |
org.typelevel |
spire_2.12 |
0.17.0 |
org.wildfly.openssl |
wildfly-openssl |
1.0.7.Final |
org.xerial |
sqlite-jdbc |
3.8.11.2 |
org.xerial.snappy |
snappy-java |
1.1.8.4 |
org.yaml |
snakeyaml |
1.24 |
奥罗 |
奥罗 |
2.0.8 |
pl.edu.icm |
JLargeArrays |
1．5 |
software.amazon.ion |
ion-java |
1.0.2中 |
stax |
stax-api |
1.0.1 |