三角洲湖现在由Linux基金会成为数据的开放标准湖泊

在今天的火花+人工智能在阿姆斯特丹的欧洲峰会上,我们宣布三角洲湖成为Linux基金会项目。与社区一起,该项目旨在建立一个开放的标准来管理大量数据在数据湖泊。Apache 2.0软件许可保持不变。

三角洲湖的重点是提高数据的可靠性和可伸缩性湖泊。更高层次的抽象和担保,包括ACID事务和时间旅行,大大简化了现实世界的数据工程架构的复杂性。因为我们bob下载地址六个月前开源三角洲湖,我们一直卑微的接待。项目已经部署在成千上万的组织和流程艾每个月的数据,在数据和人工智能体系结构成为一个不可或缺的支柱。

进一步推动采用和发展社区,我们决定与Linux基金会合作,利用他们的平台,在促进影响力的开源项目的丰富经验,从Linux本身,詹金斯,Kubernetes。bob下载地址bob体育客户端下载我们加入了阿里巴巴,博思艾伦,英特尔和亮光宣布开发三角洲湖不仅支持Apache火花,但也Apache蜂巢,Apache Nifi,转眼间。

丰富的功能集湖泊更健壮的数据

正如前面所讨论的,湖泊三角洲湖使数据更容易使用、更健壮。它是为了解决普遍存在的许多问题与数据湖泊。例如,不完整的数据摄入会导致腐败的数据;这是解决三角洲湖的ACID事务,包括多个数据管道的读写数据并发数据湖。数据源喂养数据湖泊可能不会提供正确完整的列数据或数据类型,所以模式执行防止错误数据导致数据损坏。变化数据捕获和更新/删除/插入支持允许non-append-only工作负载在工作数据湖泊,GDPR / CCPA的必须。

的列表三角洲湖的能力的推移,带来更大的整体目标数据数据可靠性和可伸缩性湖泊,所以他们的数据可以更容易食用,其他系统和技术。

数据湖开放性和可扩展性

三角洲湖的关键原则设计的开放性和可扩展性。三角洲湖所有的数据和元数据存储在云存储对象,一个开放协议设计利用现有的开放格式如JSON和Apache拼花。这种开放性不仅消除了厂商锁定的风险,但同样重要的是构建一个生态系统,使各种用例从数据科学、机器学习和SQL。

以确保项目的长期增长和社区发展,我们与Linux基金会工作,进一步的开放精神。

开放三角洲湖治理与社区参与

我们感到很兴奋Linux基金会现在将主机三角洲湖作为一个中立的项目,一个开放管理模式,鼓励参与和技术贡献。这将有助于为长期的管理提供了一个框架;建立一个社区生态系统在三角洲湖投资的成功;和发展一个开放的标准数据存储在数据湖泊。我们相信这种方法将有助于确保数据存储在三角洲湖仍然开放和访问,开车时增加了创新和发展解决挑战性的问题。

砖团队创建和导致各种开源项目的数据与人工智能生态系统,包括Apache火花,MLflow,考拉,三角洲湖。我们继续参与开源社区,因为我们知道这是最快的,最全面的方式给市场带来新功能。我们已经能够建立一个可持续的、健康的业务,同时也结合社区,以确保项目不锁定客户的专有系统或数据格式。

我们迫不及待地想看到社区将塑造未来的三角洲湖和更广泛的生态系统。请访问delta.io最新版本的信息,跟进@DeltaLakeOSS在Twitter上。

BOB低频彩了解更多:Linux基金会的新闻稿在三角洲湖开源项目托管bob下载地址