引入Lakehouse联盟能力统一目录

数据团队面临许多挑战,快速访问正确的数据主要是由于数据分散,时间和成本参与整合数据,并在许多系统管理数据治理的困难。

这就是为什么在今天数据+人工智能峰会,我们很高兴宣布Lakehouse联盟能力统一目录,允许组织建立一个高度可扩展和性能数据网格体系结构与统一治理。

统一目录提供了一个统一的治理解决方案的数据和人工智能。Lakehouse联盟能力统一目录让你发现,查询和管理数据在数据平台包括MySQL、PostgreSQL,亚马逊红移,雪花,SQL Azure数据库,蔚蓝的突触,谷歌BigQuery,和更多的从内部砖不移动或复制的数据bob体育客户端下载,在一个简化和统一的体验。这意味着统一目录先进的行和列级访问控制等安全特性,发现功能,如标签,和数据沿袭将这些外部数据源,确保一致的治理。

“数据科学家和企业用户都可以通过一个统一的用户界面访问各种数据源和一致的权限管理在一个地方。”狄Jong说,在拜耳技术主管。“我们不断规范数据格式三角洲湖,但我们激动,Lakehouse联盟使得我们与敏捷迭代之前投资数据提取”。

数据碎片减缓创新

成千上万的世界各地各种规模的组织创新和所有行业数据和人工智能在砖Lakehouse的平台上。bob体育客户端下载但由于历史、组织或技术原因,数据分散在许多操作和分析系统,导致更多的挑战:

1. 很难发现和访问所有数据:大多数组织都有价值的数据分布在多个数据源。它可能在几个数据库、数据仓库、对象存储系统,等等。这导致不完整的数据和见解,影响客户的能力作出明智的决定和创新更快。
2. 执行缓慢,由于工程的瓶颈:跨多个数据源的查询数据,客户通常首先需要将数据从外部数据源的平台选择。bob体育客户端下载一些数据可能不值得付出努力。一些数据之前会花太多时间降落在一个单一的、统一的位置,减缓创新。
3. 弱合规在孤立的系统:支离破碎的治理导致的重复工作,增加的风险无法监控和防范不当访问或泄漏,这阻碍了合作和数据民主化。

统一数据与Lakehouse联合会房地产统一目录

Lakehouse联盟地址这些关键难点并使它简单的组织暴露,查询和管理分散的数据系统作为他们Lakehouse的延伸。通过这些新功能,您可以:

1. 建立一个统一的数据视图房地产:自动分类和发现所有数据,结构化和非结构化,在一个地方,使每个人都在你的组织中安全地访问和探索所有可用的数据在他们的指尖——无论它的生活。
2. 查询和有效地把所有的数据用一个引擎:加快特殊分析和原型在所有数据,用例分析和人工智能最完整的数据——不需要摄入——用一个引擎。高级查询计划在来源和缓存确保优化查询性能即使访问和数据从多个平台结合一个查询。bob体育客户端下载
3. 保障数据在数据来源:使用一个许可模型设置和应用访问规则和维护所有数据的数据源。应用规则像行和列级安全性,基于政策,集中审计持续跨平台,跟踪数据使用,满足合规要求内置数据沿袭和审核能力。bob体育客户端下载

“Lakehouse联盟给我们结合数据——比如使用的能力,销售和游戏遥测数据——从多个来源,跨多个云和视图和查询从一个地方。现在我们离开原始数据源中的数据,但可以利用它从砖Lakehouse。”菲利克斯•贝克说,数据服务主管世嘉欧洲。“既然我们不再需要我们的财务数据,更新频繁,它可以节省我们宝贵的时间,可以专注于给我们的消费者最好的游戏体验。”

“Lakehouse联合会已经使我们能够更快地巩固我们现有的数据景观进入统一目录。这使得壳牌的数据治理简单——更多的数据集变得可发现在一个地方,身份验证是标准化和查询数据集和一个通用的编程语言成为可能,”首席数字技术顾问布莱斯•波特曼列出说壳。“最终,它使我们更有效的在转换发生在当今能源行业。”

加上最近宣布的这些新功能打开蜂箱接口意味着组织可以集中他们的数据管理,发现,和治理的统一目录,并连接到它从一个广泛的计算平台,包括亚马逊EMR, Apache火花,亚马逊雅典娜,转眼间,Trino等等。bob体育客户端下载新界面不需要维护多个数据目录,确保一致的数据治理这些平台。bob体育客户端下载

接下来是什么?

这些功能目前在公共预览版,这样你就可以马上开始!

我们也联合目录的治理能力扩展到各种存储格式包括Apache冰山和Hudi开放,与公共预览三角洲地区的通用格式(“统一”)。这种集成允许三角洲表读起来就像冰山表(Apache Hudi不久),统一编目唯一通用编目,支持所有三个主要开放lakehouse存储格式。

最后,在未来,你也可以推动访问策略中定义的统一目录,联邦数据来源一致的执行数据访问的地方。这消除了需要维护冗余策略定义在不同的治理工具。

看数据+人工智能峰会2023从马泰Zaharia主旨,联合创始人兼首席技术官砖,要学习更多的知识。BOB低频彩

注册数据+人工智能峰会在这里加入我们的人或几乎和探索的最新数据,分析和人工智能!