工作与三角洲湖表的历史

检索三角洲历史表

您可以检索信息,包括操作、用户和时间戳对于每个写一个三角洲表通过运行历史命令。倒序返回的操作。

表历史保留是由表设置delta.logRetentionDuration,这是默认30天。

描述历史' /数据/事件/ '——得到的全部历史表描述历史δ。' /数据/事件/ '描述历史' /数据/事件/ '限制1——得到最后一个操作描述历史eventsTable

火花的SQL语法细节,请参阅描述历史。

看到三角洲湖API文档Scala / Java / Python语法细节。

数据浏览提供了一个可视化视图的三角洲的详细表信息和历史表。除了表模式和样本数据,你可以点击历史选项卡,查看历史显示的表描述历史。

历史模式

的输出历史操作有以下列。

+ - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + + - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | + | |版本时间戳userId |操作用户名| | operationParameters | |工作笔记本| clusterId | readVersion | isolationLevel | isBlindAppend | operationMetrics | + - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + + - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + | 5 | 2019-07-29 14:07:47 | # # # # # # | | |删除(谓词- > [" (…零| | # # # # # # | | 4 | WriteSerializable假| | (numTotalRows - >…| | 4 | 2019-07-29 14:07:41 | # # # # # # | | |更新(谓词- > (id…零| | # # # # # # | | 3 | WriteSerializable假| | (numTotalRows - >…| | 3 | 2019-07-29 14:07:29 | # # # # # # | | |删除(谓词- > [" (…零| | # # # # # # | | 2 | WriteSerializable假| | (numTotalRows - >…| | 2 | 2019-07-29 14:06:56 | # # # # # # | | |更新(谓词- > (id…零| | # # # # # # | | 1 | WriteSerializable假| | (numTotalRows - >…| | 1 | 2019-07-29 14:04:31 | # # # # # # | | |删除(谓词- > [" (…零| | # # # # # # | 0 | | WriteSerializable假| | (numTotalRows - >…| | 0 | 2019-07-29 14:01:40 | # # # # # # | | |写[模式- > ErrorIfE……|null| ###| ###| null|WriteSerializable| true|[numFiles -> 2, n...| +-------+-------------------+------+--------+---------+--------------------+----+--------+---------+-----------+-----------------+-------------+--------------------+

操作指标的钥匙

的历史操作返回操作指标的集合operationMetrics列映射。

下面的表列出了地图键定义的操作。

三角洲湖时间旅行是什么?

三角洲湖时间旅行支持查询以前的表版本基于时间戳或表版本(在事务日志记录)。您可以使用时间旅行应用程序如以下:

• 重新创建分析、报告、或输出(例如,机器学习模型)的输出。这对调试或审计可能是有用的,尤其是在监管的行业。

• 编写复杂的时态查询。

• 在您的数据修复错误。

• 为一组提供快照隔离快速变化的表的查询。

三角洲时间旅行的语法

你查询一个增量表时间旅行表名后增加一个条款规范。

• timestamp_expression可以是任何一个:

  • 2018 - 10 - 18 t22:15:12.013z,也就是说,可以把一个字符串,该字符串转换为一个时间戳

  • 铸造(' 2018-10-1813:36:32c '作为时间戳)

  • “2018-10-18”,也就是说,一个日期字符串

  • current_timestamp ()- - - - - -时间间隔12小时

  • date_sub(当前日期(),1)

  • 其他表达式,也可以把一个时间戳

• 版本是一个长期的价值,可以获得输出的吗描述历史table_spec。

既不timestamp_expression也不版本子查询。

只接受日期或时间戳字符串。例如,“2019-01-01”和“2019 - 01 - 01 t00:00:00.000z”。看下面的代码例如语法:

选择*从people10m时间戳作为的2018 - 10 - 18 t22:15:12.013z选择*从δ。' /tmp/δ/people10m”版本作为的123年

df1=火花。读。选项(“timestampAsOf”,“2019-01-01”)。表(“people10m”)df2=火花。读。选项(“versionAsOf”,123年)。负载(“/ tmp /δ/ people10m”)

您还可以使用@语法来指定时间戳或版本的表名。必须在时间戳yyyyMMddHHmmssSSS格式。您可以指定一个版本@通过将一个v的版本。看下面的代码例如语法:

选择*从people10m@20190101000000000选择*从people10m@v123

火花。读。表(“people10m@20190101000000000”)火花。读。表(“people10m@v123”)火花。读。负载(“/ tmp /δ/ people10m@20190101000000000”)火花。读。负载(“/ tmp /δ/ people10m@v123”)

事务日志检查点是什么?

三角洲湖表版本为JSON文件中的记录_delta_log目录,这是存储在表的数据。优化查询、检查站三角洲湖总量表版本铺检查点文件,防止需要阅读所有的JSON版本表的历史。砖优化检查点频率数据的大小和工作负载。用户应该不需要直接与检查点。检查点频率可随时更改,不另行通知。

配置数据保留时间旅行的查询

查询之前的表格版本,你必须保留这两个的日志和数据文件的版本。

数据文件被删除时真空对一个表运行。三角洲湖管理日志文件删除后自动检查点表版本。

因为大多数三角洲表真空定期与他们,应该尊重保留阈值时间点查询真空默认情况下,这是7天。

为了增加数据保留阈值δ表,您必须配置以下表属性:

• delta.logRetentionDuration=“间隔<时间>”:控制表的历史保存多久。默认值是时间间隔30.天。

• delta.deletedFileRetentionDuration=“间隔<时间>”:确定阈值真空用来删除数据文件不再当前表中引用的版本。默认值是时间间隔7天。

您可以指定δ在表创建或设置它们的属性改变表声明。看到三角洲表属性引用。

恢复一个增量表的状态

你可以恢复一个增量表通过使用其先前的状态恢复命令。δ表内部维护历史版本的表,使它恢复到早期状态。之前版本对应状态或时间戳的早些时候的状态创建支持的选项恢复命令。

恢复表db。target_table来版本作为的<版本>恢复表δ。' /数据/目标/ '来时间戳作为的<时间戳>

语法细节,请参阅恢复。

恢复指标

恢复报告以下指标作为一个单独的行DataFrame操作完成后:

• table_size_after_restore:恢复后表的大小。

• num_of_files_after_restore:表中的文件恢复后的数量。

• num_removed_files:文件数量从表中删除(逻辑删除)。

• num_restored_files:由于回滚文件数量恢复。

• removed_files_size:总大小字节的文件从表中删除。

• restored_files_size:总大小字节的文件恢复。

  

使用三角洲湖时间旅行的例子

• 为用户解决意外删除一个表111年:

  插入成my_table选择*从my_table时间戳作为的date_sub(当前日期(),1)在哪里用户标识=111年

• 解决意外错误更新一个表:

  合并成my_table目标使用my_table时间戳作为的date_sub(当前日期(),1)源在源。用户标识=目标。用户标识当匹配然后更新集*

• 查询添加新客户的数量在过去的一周。

  选择数(截然不同的用户标识)从my_table- - - - - -(选择数(截然不同的用户标识)从my_table时间戳作为的date_sub(当前日期(),7))

我怎么找到最后一个提交的版本火花会话吗?

得到最后的版本号提交当前写的SparkSession在所有线程和所有表、查询SQL配置spark.databricks.delta.lastCommitVersionInSession。

集火花。砖。δ。lastCommitVersionInSession

火花。相依。得到(“spark.databricks.delta.lastCommitVersionInSession”)

火花。相依。得到(“spark.databricks.delta.lastCommitVersionInSession”)

如果没有提交的SparkSession、查询返回一个空值的关键。