从Hadoop迁移到现代云平台:Hadoop替代方案的案例bob体育客户端下载

公司依赖于他们的大数据和分析平台bob体育客户端下载支持创新和数字化转型战略。然而,许多Hadoop用户在复杂、不可扩展的基础设施、过多的维护开销和总体上未实现的价值中挣扎。我们帮助客户将Hadoop迁移到现代云平台，如Databricks和我们的合作伙伴产品和解决方案，在这篇文章中，我们将分享我们所学到的bob体育客户端下载东西。

Hadoop架构的挑战

团队从Hadoop迁移的原因有很多。这通常是“推”和“拉”的结合:现有Hadoop系统的局限性正在推动团队探索Hadoop替代方案，现代云数据架构带来的新可能性也在推动他们。虽然不同团队的架构需求各不相同，但我们已经看到了一些客户希望离开Hadoop的共同因素。

• 数据可靠性和可伸缩性差:一家制药公司的数据可伸缩性问题Hadoop集群这些公司既不能为研究项目扩大规模，也不能为降低成本而缩小规模。一家消费品牌公司厌倦了其Hadoop作业的失败，导致其数据处于不稳定状态，并影响了团队的生产力。
• 时间和资源成本:由于维护、打补丁和升级复杂的Hadoop系统需要大量的时间和人员，一家零售公司正在经历过重的操作负担。一家媒体初创公司的工作效率下降，原因是花在配置系统上的时间超过了完成业务的时间。
• 阻止项目:一家物流公司想要对其数据做更多的事情，但该公司基于hadoop的数据平台无法跟上其业务目标——团队只能处理图像数据的样本，而且他们有先进的网络计算，无法在合理的时间内完成。bob体育客户端下载另一家制造公司的数据被困在不同的竖井中，一些在HPC集群中，另一些在Hadoop上，这阻碍了重要的业务深度学习项目。

除了技术上的挑战，我们也有客户对技术的长期可行性及其供应商的业务稳定性提出了担忧。谷歌，2004年MapReduce论文作为Apache Hadoop开源开发的基础，已经完全停止使用MapReduce了在推特上谷歌高级副总裁Hölzle:“……《安息吧MapReduce。自2003年以来一直为我们提供良好服务的代码库，今天我们永久性地删除了剩余的内部代码库……整合而且购买以hadoop为重点的供应商所看到的空间活动。这些担忧促使许多公司重新评估对Hadoop的投资，看看这项技术是否仍能满足他们的需求。

转向现代云数据平台bob体育客户端下载

与传统的Hbob体育客户端下载adoop环境相比，为云原生使用而构建的数据平台可以带来显著的收益，而传统的Hadoop环境将公司“吸引”到云应用中。这也包括那些尝试在云中使用Hadoop的客户。下面是客户从基于云的Hadoop服务迁移到Databricks的一些结果。

• 数据处理作业运行时性能提高高达50%
• 每月基础设施成本降低40%
• 数据处理吞吐量提高200%
• 安全环境凭证集中在六个全球团队中
• 15个人工智能和机器学习项目得到了畅通和加速

Hadoop并不是为在云环境中本机运行而设计的，尽管基于云的Hadoop服务与本地的Hadoop服务相比有一定的改进，但就性能和处理更复杂的数据用例的能力而言，两者与现代数据平台相比仍然滞后。bob体育客户端下载我们合作过的本地Hadoop客户已经看到了比上面提到的更大的改进。

管理变更:Hadoop到云的迁移原则

虽然迁移到现代云数据平台可能令人生畏，但与我们合作过的客户通常认为继续使用现有bob体育客户端下载解决方案的前景更糟。留在原地的痛苦比移民的成本要严重得多。我们努力在各个方面简化迁移过程:

• 管理复杂性和规模:元数据移动，工作负载迁移，数据迁移
• 管理质量和风险:方法论，项目计划，时间表，技术映射
• 管理成本和时间:bob体育外网下载合作伙伴和专业服务带来经验和培训

未来验证您的云分析项目

云迁移决策既涉及技术，也涉及业务决策。它们迫使公司认真审视他们当前的系统提供了什么，并评估他们需要什么来实现他们的目标，无论是以处理的数据pb来衡量，还是以发现的客户洞察来衡量，还是以业务财务目标来衡量。

随着这些目标的清晰，重要的技术细节就会出现，比如将技术组件从内部部署模型映射到云模型，评估云资源利用率和成本-性能，以及构建一个迁移项目以最小化错误和风险。如果你想了解更多，请查看我的BOB低频彩按需网络研讨会探索云迁移概念、数据现代化最佳实践和迁移产品演示。