预测I / O是什么?
预测I / O是砖的集合优化,提高性能的数据交互。预测的I / O功能分为以下类别:
加速读取减少所花费的时间扫描,读取数据。
减少加速更新的数据量需要重写在更新,删除和合并。
预测I / O是独家光子引擎砖。
使用预测I / O加速读取
预测I / O加速数据扫描和过滤性能用于所有操作在计算类型的支持。
重要的
预测支持的I / O读取serverless和职业类型的SQL仓库,和Photon-accelerated集群运行砖运行时11.2及以上。
预测I / O提高扫描的性能通过应用深度学习技术来执行以下操作:
确定最有效的访问模式读取数据,只有扫描实际需要的数据。
消除不需要的列和行解码生成查询结果。
计算的概率选择查询的搜索条件匹配的行。查询时,我们用这些概率来预测下一个匹配的行发生,只有从云存储读取数据。
使用预测I / O加速更新
预览
支持预测I / O的更新公共预览serverless和职业类型的SQL仓库,以及Photon-accelerated集群运行砖运行时的12.1以上。
当你使用启用了光子的计算,预测I / O使用自动更新的所有表删除向量启用。看到删除向量是什么?。
启用支持删除向量在三角洲湖表通过设置一个三角洲湖表属性如图所示:
改变表<表- - - - - -的名字>集TBLPROPERTIES(“delta.enableDeletionVectors”=真正的);
警告
当您启用删除向量,表协议版本升级。表协议版本升级是不可逆的。升级后,表不会读的三角洲湖客户不支持删除向量。看到砖三角洲湖管理功能的兼容性如何?。
预测I / O利用删除向量加速更新的频率通过减少在三角洲表上数据修改完整的文件改写。预测I / O优化删除,合并,更新操作。
而不是重写所有记录数据文件中的任何记录被更新或删除时,预测I / O使用删除向量来表示从目标数据文件记录已被移除。补充数据文件用于指示更新。
后来读桌子上解决当前表状态通过应用指出最近的更改表的版本。