开放数据湖首次提供了比传统数据仓库更好的性能,使湖屋愿景成为现实。
旧金山- 2021年10月6日-砖今天,数据和AI公司宣布,它已经创造了官方100tb TPC-DS基准的世界纪录,这是评估数据仓库系统性能的黄金标准。与大多数其他基准测试结果不同,测试结果是由组织TPC- ds的官方事务处理性能委员会(TPC)审计和公开的。据该协会介绍,Databricks的表现比之前的世界纪录保持者高出2.2倍。一项独立的研究由巴塞罗那超级计算中心(BSC)比较了Databricks和Snowflake,发现在相同的工作负载下,Databricks的速度要快2.7倍,而且便宜一个数量级以上。读数据砖博客关于团队如何构建能够实现这些结果的引擎。
Databricks首次展示了建立在开放数据湖中存储的大量数据之上的数据湖屋架构可以提供比使用专有数据格式的传统数据仓库更好的数据仓库性能。这是对湖屋范式的一个主要验证,并有助于证明为什么我们今天所知道的数据仓库在未来十年内要么将不复存在,要么看起来会有很大的不同。
传统上,组织维护两个独立的数据堆栈——用于数据科学和机器学习的数据湖,以及用于BI和SQL分析的数据仓库。这导致了成本超支、数据复制和治理问题。为了避免这些问题,越来越多的组织将BI工具直接指向数据湖来支持他们的分析,因为企业中的大多数数据已经在数据湖中。但数据湖上的表现并没有达到分析师和商界的预期。
Databricks一直在数据湖上快速开发全面的数据仓库功能,在一个被称为“数据湖”的数据架构中提供了两个世界的最佳功能数据lakehouse.我们在2020年11月宣布了Databricks SQL的全套数据仓库功能。从那时起,一个悬而未决的问题就是基于Lakehouse的开放架构能否提供经典数据仓库的性能、速度和成本。这一结果毫无疑问地证明了这是可能的,并由湖屋建筑实现。
为创造这一新纪录的关键创新,包括三角洲湖,光子引擎和基于ml的优化,请访问我们的博客.
对砖
Databricks是一家数据和人工智能公司。全球超过5000家组织,包括康卡斯特、Condé Nast、H&M和超过40%的财富500强,都依赖Databricks Lakehouse平台来统一他们的数据、分析和人工智能。bob体育客户端下载Databricks总部位于旧金山,在全球各地设有办事处。Databricks由Apache Spark™、Delta Lake和MLflow的最初创建者创建,其使命是帮助数据团队解决世界上最棘手的问题。要了解BOB低频彩更多,请关注Databricks推特,LinkedIn而且脸谱网.
出版社联系: