bob体育客户端下载平台的博客

在Unity目录中宣布数据谱系的公开预览

分享这篇文章

今天,我们激动地宣布数据沿袭的公开预览统一目录,可在AWS和Azure上使用。

先前公告博客,我们讨论了团队如何利用湖屋中的数据谱系作为有效数据治理的强大工具。在这篇博客中,我们将探索这个版本中的一些关键功能,如何开始使用Unity Catalog捕获数据沿袭,并预览我们即将到来的沿袭路线图。

Unity Catalog现在一般可在AWS和Azure上使用,为任何云上的湖屋中的所有数据和AI资产提供统一的治理解决方案。通过Unity Catalog中的自动化数据沿袭,数据团队现在可以跟踪敏感数据以满足合规要求,确保数据质量,并对整个湖屋的任何数据更改执行影响分析。沿袭是在所有的工作空间中聚集到一个Unity Catalog亚矿。这意味着在一个工作空间中捕获的沿袭在共享该metastore的任何其他工作空间中都是可见的。

关键数据沿袭功能与公共预览可用

适用于任何语言的所有工作负载:Unity Catalog自动跟踪以任何语言(Python, SQL, R和Scala)和执行模式(批处理和流)执行的查询的数据沿袭。只需单击几次,谱系图就会实时显示。

笔记本、工作流和仪表板的谱系:Unity Catalog还捕获了笔记本、工作流和仪表板的沿袭。这有助于对数据在组织中的使用方式提供端到端可见性,并了解任何数据更改对下游消费者的影响。

内置的安全:沿袭图利用了Unity Catalog中的通用权限模型。用户必须具有查看沿袭数据的正确权限,从而增加额外的安全层并将任何数据泄露的风险降至最低。如果用户没有表上的SELECT特权,他们将无法探索与该表关联的谱系。此外,用户只能查看他们有权查看的笔记本、工作流和仪表板的沿袭信息。

列级粒度:Unity Catalog捕获表、视图和列的数据沿袭。这些信息为数据团队提供了一个细粒度的视图,可以查看数据如何从lakakehouse中的特定表或列中上游和下游流动,只需单击几次即可。

通过REST API轻松导出:可以通过REST API检索谱系信息,以支持与其他数据目录和治理解决方案的集成。

开始与数据沿袭在统一目录

观看下面的演示,了解更多关于Unity CataBOB低频彩log中的数据沿袭功能。

数据沿袭可与Databricks高级和企业级,无需额外费用。如果您已经是Databricks的客户,请遵循数据沿袭指南(AWS|Azure)开始。如果您不是Databricks的现有客户,请注册一个免费试用使用高级或企业工作区。

接下来会发生什么

这只是一个开始,我们正在努力开发令人兴奋的新功能,以实现我们对无缝数据可观察性和数据质量的愿景。

文件的沿袭:追溯沿袭到云存储中的文件—对于first mile ETL用例特别有用。

语境血统:在最相关的地方查看和操作沿袭—例如,查看特定工作流的沿袭,以快速了解失败的影响。

谱系作为系统表:以编程方式访问预定义的系统表,以使用您喜欢的语言查询沿袭数据。

免费试用Databricks

相关的帖子

看到所有bob体育客户端下载平台的博客的帖子