lakehouse互操作性和可用性的数据
本文涵盖了建筑的原则互操作性和可用性指的支柱,lakehouse与用户和其他系统的交互。lakehouse的基本理念之一是提供一个良好的用户体验的所有角色的工作,并且能够与多种生态系统的外部系统交互。
互操作性系统的处理能力和与其他系统集成。这意味着不同的组件和产品之间的相互作用,可能来自多个供应商,以及过去和未来之间相同版本的产品。
可用性是一个系统的特点,为用户提供最好的体验来执行任务安全、有效和高效。
这个支柱的原则有助于:
实现一个一致的和协作的用户体验。
利用协同效应在云。
从和lakehouse简化集成。
减少培训和支持成本。
并最终导致更快的时效性。
互操作性和实用性的原则
定义标准的集成
集成有不同的方面,可以通过许多不同的方式。为了避免扩散工具和方法、最佳实践需要和一个支持列表定义应提供和首选的工具和连接器。
的一个关键架构原则而不是紧密集成模块化和松散耦合。这降低了组件之间的依赖关系和工作负载,有助于消除副作用,并允许独立的发展在不同的时间尺度。使用数据集及其模式作为一个合同。单独工作负载如数据争论工作(如加载和将数据转换为数据湖)增值工作(例如报告、仪表板和数据科学特性工程)。定义一个中央数据目录与指南的数据格式、数据质量和数据生命周期。
喜欢开放的接口和开放的数据格式
通常,开发解决方案,数据只能通过一个特定的系统。这可能导致供应商锁定,但是它也可以成为一个巨大的成本动因,如果通过这个系统数据访问许可费用。使用开放数据格式和接口有助于避免这种情况。他们也简化与现有系统的集成和开放的生态系统合作伙伴已经与lakehouse平台集成的工具。bob体育客户端下载bob体育外网下载
如果您使用开源生态系统bob下载地址如Python或R数据科学、火花或ANSI SQL数据访问和访问权限控制,你就会有一段轻松的时间寻找项目的人员。它还将简化潜在的迁移,从一个平台。bob体育客户端下载
降低贸易壁垒实现的用例
获得的数据在数据湖,用户需要能够轻松地部署在该平台上他们的用例。bob体育客户端下载这始于精益流程平台访问和数据管理。bob体育客户端下载例如,自助服务访问平台有助于防止中心团队成为一个瓶颈。bob体育客户端下载共享环境和预定义的蓝图快速部署新环境确保平台可用于任何商业用户。bob体育客户端下载
确保数据一致性和可用性
两个重要的活动在一个数据平台bob体育客户端下载数据发布和数据消费。从出版的角度来看,数据应该提供作为一个产品。出版商需要遵循定义生命周期与消费者,需要明确定义和数据管理模式,描述,等等。
同样重要的是提供数据的语义一致性,这样消费者可以很容易地理解和正确地结合不同的数据集。此外,所有的数据必须很容易发现和访问的消费者通过与妥善策划的核心目录元数据和数据血统。