宣布Delta共享的普遍可用性
2022年8月26日 在公告
今天,我们很高兴地宣布三角洲分享在AWS和Azure上通常可用(GA)。有了GA版本,您可以期待Databricks在Databricks Lakehouse平台上为关键任务工作负载提供最高级的稳定性、支持和企业就绪性。bob体育客户端下载
在本博客中,我们将探讨组织如何利用Delta Sharing来最大化其数据的商业价值,GA发行版中可用的一些关键特性,以及如何在Databricks Lakehouse平台上开始使用Delta Sharing。bob体育客户端下载
湖屋数据共享的开放标准赢得了客户
数据共享在数字经济中变得非常重要,因为企业希望与客户、合作伙伴、供应商和内部业务线(lob)轻松安全地交换数据,以更好地协作并从数据中释放价值。bob体育外网下载但是,由于缺乏基于标准的数据共享协议,导致解决方案绑定到单个供应商或商业产品,从而带来了供应商锁定风险。这些客户的挑战促使我们在Databricks建立了一个开放的数据共享解决方案,Delta sharing。
Delta Sharing提供了一个开放的解决方案,可以安全地将您的湖屋的实时数据共享到任何计算平台。bob体育客户端下载数据接收者不必在Databricks Lakehouse平台上,也不必在同一云上或任何云上。bob体育客户端下载数据提供者可以基于Apache Parquet或共享现有的大规模数据集三角洲湖格式,无需复制或复制数据集到另一个系统。数据接收者受益于始终能够访问最新版本的数据,并能够使用他们选择的工具查询、可视化、转换、摄取或丰富共享数据,从而缩短了实现价值的时间。由于治理和安全是许多组织最关心的问题,因此Delta Sharing与统一目录,允许您在一个平台上管理、治理、审计和跟踪共享数据的使用情况。bob体育客户端下载
自从去年在私人预览版中推出Delta Sharing以来,已有数百名客户接受了Delta Sharing,今天,通过Delta Sharing可以共享千兆字节的数据。
纳斯达克(Nasdaq):“Delta Sharing帮助我们简化了大型数据集的数据交付流程。这使我们的客户能够带着他们自己的计算环境来读取新的策划数据,几乎没有集成工作,并使我们能够继续扩大我们独特的、高质量的数据产品目录。”- William Dague,替代数据主管
外壳:“我们认识到,数据的开放性将在实现壳牌的碳净零目标方面发挥关键作用。Delta共享为壳牌提供了一个标准的、可控的、安全的协议,可以轻松地与合作伙伴共享大量数据,从而实现这些目标,而不需要我们的合作伙伴处于同一个数据共享平台上。bob体育客户端下载bob体育外网下载Bryce Bartmann,首席数字技术顾问
SafeGraph:“作为一家数据公司,让我们的客户访问我们的数据集至关重要。Databricks Lakehouse平台与Debob体育客户端下载lta Sharing确实简化了这一过程,使我们能够安全地接触到更广泛的用户群,无论云或平台工程副总裁Felix张
YipitData:“通过Delta Sharing,我们的客户几乎可以立即访问精选数据集,并将其与他们选择的分析工具集成。我们与客户的对话从低价值的、技术性的反复讨论转变为高价值的分析性讨论,从而推动成功的客户体验。随着我们客户关系的发展,我们可以通过Delta Sharing无缝地提供新的数据集,并更新现有数据集,让客户保持对其行业关键趋势的评估。”-Anup Segu,数据工程技术主管
Pumpjack Dataworks:利用Databricks提供的强大的Delta Sharing功能,可以使Pumpjack Dataworks拥有更快的入厂体验,无需导出、导入和重塑数据,这将为我们的客户带来即时价值。更快的结果为我们的客户及其合作伙伴带来更大的商业机会bob体育外网下载Corey Zwart,首席技术官
与GA共享Delta有什么新功能?
虽然Delta Sharing在GA发行版中有一系列令人惊叹的功能,但以下是我们在此发行版中附带的一些关键功能:
无缝数据库到数据库共享
对于Databrick客户来说,Delta Sharing使湖屋上的数据共享变得极其简单、高效和安全。只需几次UI点击或SQL命令,数据提供者就可以轻松地在Databricks上与收件人共享其现有数据,而无需复制数据。例如,在AWS上使用Databricks的数据提供商可以与在Azure上使用Databricks的接收方共享现有数据,反之亦然。你可以浏览用户指南详情如下。在Databricks to Databricks共享中,数据提供者不需要为使用Databricks的接收者管理令牌凭据;通过Databricks平台安全建立共享连接。bob体育客户端下载你所需要的只是一个Databricks账户来登录,剩下的由平台来处理。bob体育客户端下载除了跨帐户数据共享之外,另一个重要的用例是内部数据共享。如果您在不同地区的同一个帐户下有多个Unity Catalog亚矿,您可以通过使用Delta Sharing轻松地在这些亚矿之间共享数据,而无需复制任何数据。从数据提供者的角度看SQL工作流示例:
——创建一个共享并向其添加一个表创建分享first_share;改变分享first_share添加表格my_table作为default.first_table;——使用Databricks的共享标识符创建一个Databricks接收者,并授予他们对共享的访问权创建收件人acme使用ID“aws: -29 bb621ec110 us-west-2:3f9b6bf4 -…”;格兰特选择在分享first_share来收件人acme;
从数据接收方的角度看SQL工作流示例:
列出与我共享数据的供应商显示供应商;——查看提供商acme_provider共享的数据显示股票在提供者acme_provider;——从共享创建一个目录创建目录my_catalog使用分享“acme_provider”。“first_share”;——查询共享数据选择*从my_catalog.default.first_table;
共享变更数据提要
Delta Sharing现在支持共享更改数据提要(CDF)。除了共享表之外,数据提供者还可以选择包含表的CDF,允许接收方查询表的特定版本或时间戳之间的更改。有了这个特性,接收者可以每次只查询新数据或增量更改,而不是查询整个表。数据提供者可以轻松地与CDF共享表,数据接收者可以使用简单的语法查询表的更改:
——数据提供者:共享一个启用CDF的表改变分享my_share添加my_table作为default.cdf_table与更改数据馈送——数据接收者:查询表从版本5到版本10的变化选择*从table_changes (“违约。cdf_table”,5,10)
增强的安全特性
在Delta Sharing的GA发行版中,我们还提供了一组安全特性,使共享更加安全。这些安全特性的一个例子是IP访问列表。数据提供者现在可以使用开放连接器为每个接收者配置IP访问列表。它确保凭据下载和数据访问只能从目标IP地址发起。我们还添加了一些与Delta Sharing相关的权限(例如:创建共享,创建收件人),并介绍老板Delta共享对象的概念分享和收件人。通过这些原语,Databricks上的Delta Sharing提供了一个更灵活的访问控制模型,非管理员用户也可以执行共享操作。
开始在Databricks上使用Delta共享
观看下面的演示,了解Delta Sharing如BOB低频彩何帮助您无缝地将实时数据从您的湖屋共享到任何计算平台。bob体育客户端下载