数据湖屋如何解决数据仓库的常见问题

通过瑞安博伊德

2021年2月4日在工程的博客

分享这篇文章

编者注:这是主要基于CIDR论文的一系列文章中的第一篇Lakehouse:统一数据仓库和高级分析的新一代开放平台bob体育客户端下载，并得到了作者的许可。

数据分析师、数据科学家和人工智能专家经常因为缺乏高质量、可靠和最新的数据而感到沮丧。其中一些挫折是由于我们在当今绝大多数财富500强公司中普遍看到的两层数据架构的已知缺陷。开放的湖畔架构和底层技术可以极大地提高数据团队的生产力，从而提高雇用他们的企业的效率。

两层数据架构的挑战

在这个流行的体系结构中，整个组织的数据从操作数据库中提取出来，并加载到原始数据湖(有时称为数据湖)中数据沼泽由于缺乏对确保这些数据可用性和可靠性的关心。接下来，按照计划执行另一个ETL(提取、转换、加载)流程，将重要的数据子集移动到数据仓库中，以便进行业务智能和决策制定。

这种架构为数据分析师提供了一个几乎不可能的选择:使用来自数据湖的及时且不可靠的数据，还是使用来自数据仓库的陈旧且高质量的数据。由于流行数据仓库解决方案的封闭格式，在不引入另一个ETL操作和增加额外的陈旧性的情况下，很难在高质量数据源上使用占主导地位的开源数据分析框架。

我们可以做得更好:引入数据湖屋

这些两层数据架构在今天的企业中很常见，对于构建它们的用户和数据工程师来说都非常复杂，无论它们是托管在本地还是在云中。

Lakehouse架构通过直接在数据湖之上提供数据仓库层的许多可靠性和性能优势，最终消除仓库层，从而降低复杂性、成本和操作开销。

数据的可靠性

当您有多个数据副本需要保持同步时，数据一致性是一个难以置信的挑战。有多个ETL过程——将数据从操作数据库转移到数据湖，再从数据湖转移到数据仓库。每个额外的流程都会带来额外的复杂性、延迟和故障模式。

通过消除第二层，数据湖屋体系结构删除了一个ETL流程，同时添加了对模式实施和演进直接在数据湖上面。它还支持以下功能时间旅行启用数据清洁度的历史验证。

过时的数据

因为数据仓库是由数据湖填充的，所以它通常是陈旧的。根据Fivetran最近的一项调查，这迫使86%的分析师使用过时的数据。

在消除数据仓库层解决这一问题的同时，湖屋还可以支持高效、简单和可靠的实时流和批处理合并，以确保始终使用最新的数据进行分析。

对高级分析的有限支持

高级分析，包括机器学习和预测分析，通常需要处理非常大的数据集。常用的工具，如TensorFlow、PyTorch和XGBoost，可以很容易地以开放数据格式读取原始数据湖。但是，这些工具不会读取数据仓库中ETL数据使用的大多数专有数据格式。因此，仓库供应商建议将该数据导出到文件中进行处理，这导致了第三个ETL步骤，并增加了复杂性和过时性。

另外，在开放湖畔架构中，这些常用工具集可以直接操作存储在数据湖中的高质量、及时的数据。