扩大经济

管理数据量和数据竖井放缓创新

在追求他们的数据策略提高上市时间,开始积极迁移的数据块处理到云上。一个重大障碍他们面对的是大量的数据的高效管理的关键graph-related用例。这包含处理图形数据库,利用各种机器学习工具和优化性能pb的数据。此外,运营效率和可伸缩性问题源于跨不同业务单位的分散性质数据。麻烦这些系统之间的数据传输结合数据治理策略的孤立性质进一步复杂化,造成审计和策略实施的挑战。

为应对这些挑战,加快图形分析,特别是在联机分析处理(OLAP)模式下,块选择迁移到火花和选择砖lakehouse平台。bob体育客户端下载这个决定让他们巩固所有数据和人工智能工作负载在一个统一的平台,授权数据科学家,工程师和AI从业者利用数据有效地从一个集中位置。bob体育客户端下载

作为约瑟夫*块,软件工程师解释说,“采用砖作为一个集中的存储和共享数据的平台跨业务单位授权建立一个蓬勃发展的数据块市场。bob体育客户端下载这种独特的设置使各个业务单元施加自己的控制,同时受益于企业集团的资源,从不同单位不同数据集的访问权。”

目前,管理2 pb的数据块的砖Lakehouse平台,预计在年底前达到4 pb。bob体育客户端下载大约70个不同的团队跨业务单位,比如潮汐,现金应用,广场和TBD 300活跃用户积极利用这个平台。bob体育客户端下载

统一治理加速合作

块的一个关键需求是适当的实现和统一的数据治理策略,确保遵守隐私法GDPR和CCPA在客户和内部团队。目标是使安全和兼容的个人身份信息(PII)数据的访问。为应对这些挑战,块采用统一目录进行集中治理。

凯斯说,“介绍砖恰逢推出统一的目录,消除评估替代数据治理工具的必要性。砖的无缝集成平台是统一编目的主要因素驾驶我们的选择。”bob体育客户端下载

统一目录,实现统一的视图的数据块房地产跨不同业务单元,简化访问权限管理。它也提供了灵活性分发成本归因团队间通过允许每个团队的目录存储单元的分配和模式。这种方法使不同业务单位保持分布式数据治理策略,同时保证一个简化的过程。

“统一目录在促进安全发挥了关键作用和控制为不同的业务单位PII访问敏感数据。它允许数据通过专用的访问限制工作区,确保符合原始数据收集服务条款。这不仅是执行的业务单位收集数据,也对其他单位访问,”凯斯说。块计划来增强这种能力通过实现洁净室解决方案使用三角洲共享统一目录,使安全和privacy-safe跨业务单位和合作伙伴生态系统。

块还打算利用数据沿袭遵守right-to-forget场景。PII这涉及到跟踪的使用数据在整个块的生态系统,确保遵守数据隐私法规。

解锁业务价值通过削减成本和提高效率

迁徙图砖平台用例被证明是一个改变游戏规则,提供实质性的提高计算性能和成本优化。bob体育客户端下载通过利用数据砖、块设法降低计算成本时被一个令人印象深刻的12 x解锁之前无法实现的用例由于比例限制。凯斯说,“消除这些限制与砖Lakehouse创新开辟了新的可能性和分析。”

统一目录内的数据块的实现生态系统带来变革的好处。它帮助建立一个动态的“市场”不同业务部门之间的数据交换,促进协作和知识共享。这起到了至关重要的作用在减少数据出口相关费用跨云提供者数据传输20%。

统一目录也提高了我的缓解策略管理块。以前,他们不得不在一个复杂的两步审批过程,涉及附加我的政策角色然后S3 bucket。这往往导致桶政策限制和重构所需的权限。然而,统一编目,他们简化这个过程通过配置亚群体级别访问权限在单一位置。数据共享的操作效率明显改善,减少所需的时间从几天到秒。此外,采用统一的目录推广数据的收集到S3 bucket,从而提高员工的延迟和协同定位的计算和存储。

此外,统一目录授权块属性数据所有权和分散决策更容易。数据集可以与各自的主人,让他们来决定如何共享数据。这种转变从一个集中的团队实施数据治理实际数据所有者决策改善遵从性和审计报告,提高整体数据治理和问责制。

展望未来,有很大的关注利用生成AI和llm的总体数据块和人工智能策略,统一编目将扮演重要的角色在实现这一战略的执政能力毫升模型以及数据从单一位置将加速AI和分析计划。