都是什么δ在砖吗?

本文介绍的技术品牌δ在砖上。δ是指技术或相关三角洲湖开源项目bob下载地址

本文回答:

  • 是什么δ技术数据砖吗?

  • 他们做什么?或者他们是用来做什么的?

  • 他们是如何与不同于另一个?

三角洲的东西是用来做什么的?

与三角洲湖三角洲是一个术语介绍,存储的基础数据和表数据砖Lakehouse平台。bob体育客户端下载三角洲湖也被认为是一个统一的数据管理系统来处理事务实时和批处理大数据,通过扩展拼花和基于文件的事务日志数据文件ACID事务和可扩展的元数据处理。

lakehouse三角洲湖:操作系统数据管理

三角洲湖是一个开源存储层,使湖泊的数据可靠性添加一个事务性存储层的数据存储在云存储(在AWS S3, Azure存储和gc)。它允许ACID事务、数据版本控制和回滚功能。它允许您同时处理批处理和流数据在一个统一的方法。

三角洲表是建立在此之上存储层和提供一个表的抽象,使它容易处理大规模结构化数据使用SQL和DataFrame API。

三角洲表:默认数据表结构

三角洲表是默认的数据表格格式在砖和三角洲湖开源数据的功能框架。bob下载地址通常用于数据湖泊三角洲表,数据通过流或大批量的摄入。

看到的:

三角洲生活表:数据管道

三角洲生活表管理很多三角洲表之间的数据流,从而简化了数据工程师ETL开发和管理的工作。管道是主要的执行单位三角洲生活表。三角洲生存表提供了声明式管道的发展,提高了数据的可靠性,和云级别的生产操作。用户可以执行批处理和流操作在同一表和数据立即查询。你定义转换执行数据,和δ生活表管理任务编排,集群管理、监控、数据质量和错误处理。三角洲生活表增强自动定量可以处理流媒体工作负载的和不可预测的。

看到三角洲生活表快速入门

表和δ生活表

三角洲表是一种存储数据的表,而三角洲生活表允许您以声明的方式描述这些表之间的数据流。三角洲生活表是一种声明性框架,管理许多三角洲表,通过创建它们,使它们保持最新。简而言之,表是一个数据表结构而δ生活表是一个数据管道框架。

三角洲:开源的bob下载地址或专有的吗?

砖平台的力量在于它没有用户锁定在专有工具:大部分的技术是由bob体育客户端下载开源项目,这砖造成的。bob下载地址

三角洲OSS项目是例子:

三角洲住在砖表是一个专有的框架。

有什么其他δ事情在砖吗?

下面是其他特性的描述,包括δ在他们的名字。

三角洲分享

一个开放的标准安全的数据共享,三角洲分享支持组织不管他们的计算之间的数据共享平台。bob体育客户端下载

达美航空发动机

大数据的查询优化器使用三角洲湖开源技术包括在砖。bob下载地址三角洲引擎优化性能的火花SQL,砖的SQL和DataFrame操作,把计算数据。

三角洲湖事务日志(又名DeltaLogs)

真理的单一来源跟踪的所有更改用户表和三角洲湖担保机制原子性。看到三角洲事务日志协议在GitHub上。

事务日志是理解三角洲湖的关键,因为它的主线,贯穿很多是其最重要的特点:

  • ACID事务

  • 可扩展的元数据处理

  • 时间旅行

  • 和更多。