监控与系统表使用

预览

这个特性是在公共预览。

本文解释了在砖系统表的概念,强调资源可以使用得到最出你的系统表的数据。

系统表是什么?

系统表是Databricks-hosted分析存储你的账户操作的数据。系统表可用于历史可观测性在您的帐户。

系统表是可用的?

目前,砖主机系统表:

使系统表

由于系统表是由统一目录,你需要至少有一个团结Catalog-enabled工作区在您的帐户和访问系统表。系统表数据从所有工作区包含在您的帐户,但他们只能从统一访问Catalog-enabled工作区。

必须启用系统表通过一个帐户管理员。您可以启用系统表在您的帐户使用砖CLI。

启用CLI系统表

使用下面的卷发在砖CLI命令列出可用的系统模式:

curl - v - x - h“授权:无记名<拍牌>”“https:// <工作> .www.neidfyre.com . . / api / 2.0 / unity-catalog / metastores / < metastore-id > / systemschemas”

下面是一个示例的输出得到命令:

{“模式”:[{“模式”:“访问”,“状态”:“可用或EnableCompleted > <”},{“模式”:“账单”,“状态”:“可用或EnableCompleted > <”},{“模式”:“information_schema”,“状态”:“可用或EnableCompleted > <”}]}

状态:可用:系统模式可用但尚未启用。

状态:EnableCompleted:你有启用系统模式和它在数据浏览器是可见的。

使用以下命令启用系统模式:

curl - v - x - h“授权:无记名<拍牌>”“https:// < workspace.www.neidfyre.com . . / api / 2.0 / unity-catalog / metastores / < metastore-id > / systemschemas / < SCHEMA_NAME >”

如果启用了系统模式成功,结果代码200年返回。如果你试图重新启用系统模式,返回如下::“error_code SCHEMA_ALREADY_EXISTS”、“消息”:“模式<模式名称>已经存在“。

使用以下命令禁用系统模式:

curl - v - x删除- h“授权:无记名<拍牌>”“https:// <工作> .www.neidfyre.com . . / api / 2.0 / unity-catalog / metastores / < metastore-id > / systemschemas / < SCHEMA_NAME >”

模式是否正确添加,列表中的模式系统目录使用:

curl - x - h得到“授权:持票人美元的令牌”“https:// <工作> .www.neidfyre.com . . / api / 2.0 / unity-catalog /表? catalog_name = system&schema_name = <模式名称>”

授权访问系统表

系统表的访问是由统一的目录。默认情况下,没有用户访问系统表。授权访问,metastore管理员必须批准使用和选择选择系统的权限模式。看到统一目录管理权限。

请注意

系统表是只读的,不能修改。

系统所有工作表包含数据在你的帐户吗?

审计日志与血统表包含操作数据部署的所有工作空间在您的帐户在同一个云区域。计费系统表(system.billing.usage)包含数据对于所有工作空间在您的帐户,无论它们部署在哪个区域。

即使系统表只能通过统一目录访问工作区,还包括操作的表数据不统一编目工作空间在您的帐户。

系统表坐落在哪里?

您的帐户的系统表位于一个目录系统,这是包含在每一个目录metastore统一。在系统目录你会看到模式等访问和计费包含系统表。

请注意

在系统表公共预览,砖将保留你所有的系统表数据。

限制

系统表的公共预览版目前有以下限制:

  • 不支持实时监控。数据每天更新。如果您没有看到最近的事件日志,稍后再回来检查。

已知的问题

  • 系统模式system.operational_data和system.lineage可能包含空表。

  • 系统模式system.access和system.billing在公共预览和提供给所有客户。砖建议使用公共预览系统模式。

  • 如果你的工作空间使用customer-managed VPC,你可能会被拒绝访问S3 bucket日志存储的地方。如果是这样,你需要更新你的VPC政策允许访问S3 bucket你地区的系统表数据存储。区域bucket名称的列表,请参阅系统表桶列存储桶地址表。