lakehouse卓越运营的数据

的架构原则卓越运营支柱覆盖所有操作流程,使lakehouse运行。卓越运营地址能够有效地运作lakehouse和讨论如何操作,管理和监控lakehouse交付业务价值。

卓越运营lakehouse砖的架构图。

卓越运营的原则

  1. 优化构建和发布过程

    使用软件工程最佳实践在整个Lakehouse环境。构建和发布使用持续集成和持续交付DevOps和MLOps管道。

  2. 自动化部署和工作负载

    自动化部署和工作负载lakehouse帮助这些流程标准化,消除人为错误,提高效率,并提供更大的可重复性。这包括使用“配置代码”来避免配置漂移,和“基础设施代码”自动化所需的所有配置lakehouse和云服务。

    毫升具体来说,过程应该驱动自动化:不是每一步的过程可以或应该自动化。人们仍然确定业务问题,一些模型部署之前总是需要人监督。因此,开发过程是小学和每个模块的过程中应根据需要自动化。这允许增量的自动化建设和定制。

  3. 设置监控、报警和日志记录

    工作负载在lakehouse通常集成砖平台服务和外部的云服务,例如数据源或目标。bob体育客户端下载成功执行只能发生如果执行链中的每个服务正常运作。事实并非如此时,监控,报警,记录重要的检测和跟踪问题和理解系统行为。

  4. 管理能力和配额

    对于任何推出的云服务,考虑到限制,例如访问速率限制,数量的情况下,用户数量和内存需求。设计一个解决方案之前,必须理解这些限制。

下一个:卓越运营的最佳实践

看到卓越运营的最佳实践