删除向量是什么?

预览

支持阅读和写作δ表删除向量公共预览在砖运行时12.1及以上。

删除向量是一个存储优化功能,可以启用三角洲湖表。默认情况下,当一行数据文件被删除,整个镶花包含记录的文件必须重写。启用了删除向量的表,删除操作使用删除向量将现有行标记为删除没有重写铺文件。后来读桌子上解决当前表状态通过应用删除删除向量最近的表所指出的版本。

请注意

光子利用删除向量预测I / O更新,加速删除,合并,更新操作。所有客户支持阅读删除向量可以读取更新产生删除向量,无论这些更新预测产生的I / O。看到使用预测I / O加速更新

启用删除向量

启用支持删除向量在三角洲湖表通过设置一个三角洲湖表属性:

改变<- - - - - -的名字>TBLPROPERTIES(“delta.enableDeletionVectors”=真正的);

警告

当您启用删除向量,表协议版本升级。表协议版本升级是不可逆的。升级后,表不会读的三角洲湖客户不支持删除向量。看到砖三角洲湖管理功能的兼容性如何?

应用更改拼花的数据文件

软删除,删除向量表示改变行逻辑修改现有的拼花三角洲湖表中的数据文件。这些变化应用物理数据文件重写时,由下列事件之一:

  • 一个优化运行命令放在桌子上。

  • Auto-compaction触发数据文件的修改与删除向量。

  • REORG应用(清洗)对表运行。

事件相关的文件压缩没有严格的担保解决变化记录在删除向量,和一些变化记录在删除向量可能不是应用如果目标数据文件不会否则候选文件压缩。REORG应用(清洗)重写所有数据文件包含记录和修改记录使用删除向量。看到REORG表

请注意

在旧文件修改数据可能仍然存在。您可以运行真空物理删除旧的文件。REORG应用(清洗)创建一个新版本的表在它完成的时候,这是你必须考虑的时间戳的保留阈值真空操作完全删除删除文件。看到删除未使用的数据文件与真空

限制

在砖运行时的12.1和更高版本,存在以下局限性:

  • 三角洲与删除共享表上的不支持向量启用。

  • 你不能生成一个清单文件为一个表删除向量。运行REORG应用(清洗)并确保没有并发写操作在运行,以生成一个清单。

  • 你不能逐步生成清单文件表启用了删除向量。