性能数据lakehouse效率

本文涵盖了建筑的原则性能效率支柱,指的是一个系统来适应负荷变化的能力。

性能效率原则

使用serverless服务
Serverless服务不需要客户运作和维护云计算基础设施。这就消除了管理云基础设施的运营开销,降低交易成本,因为管理服务运行在云的规模。他们还提供立即可用性、开箱即用的安全,需要最少的配置或管理。
设计工作负载性能
重复的工作负载,比如数据工程管道、性能不应该是一个事后的想法。数据必须:
- 有效地读取对象的内存。
- 有效地改变了。
- 有效地发布消费。
此外,大多数管道或消费模式使用一连串的系统。为了达到最好的性能,必须考虑整个链和选择最好的性能。
运行性能测试的范围发展
每一个开发工作负载必须经过持续性能测试。代码库的测试确保任何变化不影响工作负载的性能。建立一个定期运行测试。运行测试的一部分预定事件或持续集成构建管道的一部分。
建立性能基线和确定工作负载的电流效率和支持基础设施。测量性能对基线可以提供的改进策略,并确定应用程序是否满足业务目标。
识别可能影响性能的瓶颈。这些瓶颈可能是由于代码错误或错误配置的服务。通常,瓶颈恶化随着负载增加。
监视性能
确保资源和服务仍然是可以访问的,性能满足用户期望或负载需求。监视可以帮助你识别瓶颈或资源不足,优化配置和检测管道/负载错误。