轻松交付和管理云规模的企业数据平台bob体育客户端下载
2020年3月16日 在产品
数据呈指数级增长,组织正在构建产品来利用数据并为客户提供服务。然而,这种指数级增长无法通过基础设施支出或人力资本成本的指数级增长来维持。
今天,在每个主要的云(AWS, Azure)中都有超过100种可用的服务,可以用来构建您的数据平台。bob体育客户端下载还有数百种企业服务也需要与您的数据平台集成。bob体育客户端下载数据领导者和平台管理员的任务是提供bob体育客户端下载正确的服务和产品集,以满足其组织的数据需求。这些服务需要按需、有规模、可靠、符合政策并在预算之内。
管理组织范围内数据平台的复杂性bob体育客户端下载
数据是任何组织的命脉。随着组织越来越多地受到数据的驱动,各行各业的每个团队都在试图利用数据的力量来创新他们的产品和服务。如何创建一个企业级的数据、分析和机器学习平台,使用户易于使用,同时为管理员提供正确的可见性和控制?bob体育客户端下载
异构的团队具有异构的操作
产品和服务团队需要现成的分析工具,这样他们就可以着手解决他们试图解决的问题的重要部分。
数据科学团队使用数据集来构建分析模型,以回答有关业务的难题。他们使用笔记本电脑,将其连接到数据库或数据湖,读取可能存储在云或内部数据存储和事件流中的日志文件。他们经常使用笔记本电脑上最容易获得的工具,并处理一组有代表性的数据来验证他们的模型。
另一方面,数据工程团队正试图将这些模型投入生产,这样来自模型和应用程序的洞察就可以全天候为企业提供。他们需要能够满足他们需求的基础设施。他们需要一组正确的测试和部署基础设施,以便在将管道部署到生产使用之前测试它们。
脱节的解决方案是难以管理的解决方案
不同的团队最终会建立定制的解决方案,以尽快解决他们的问题。他们部署的基础设施可能不适合其工作负载的需求,并可能导致工作负载不足(配置不足)或成本失控(配置过度)。基础设施和工具可能没有正确配置,以满足组织设置的法规遵从性、安全性和治理策略,管理团队对此没有可见性。虽然这些团队拥有适合传统应用程序开发的专业知识,但在快速变化的数据生态系统中,他们可能没有合适的专业知识或工具。最终的结果是在整个组织中散布各种解决方案,缺乏在整个组织中扩展所需的可见性和控制。
一个易于管理的数据平台bob体育客户端下载
那么,如何为数据平台领导者建立一个平台,使他们能够为产品和服务团队bob体育客户端下载的分析需求提供数据环境,同时保持可见性、控制力和规模,让他们晚上睡得好呢?我们将可视性、控制和规模作为这个平台的关键支柱。bob体育客户端下载
可见性-审计和分析所有活动在您的帐户完全透明
通常,数据平台工程团队直接在他们所管理的bob体育客户端下载数据平台上开始加载他们的工作负载。最初,带着这些工作量进入工作状态的愉悦感盖过了所产生的成本。然而,随着这些工作负载的数量和规模的增加,处理数据所需的资源和计算成本也在增加。
认真的数据平台管理员寻找方法bob体育客户端下载可视化使用在站台上。bob体育客户端下载他们可以可视化过去的使用情况,并获得对平台上使用趋势的经验理解。bob体育客户端下载
随着越来越多的产品和服务团队加入,使用的爆炸式增长很快就超过了分配的预算。数据平台管理团队运行业务的唯一可行方法是对产品团队的使用进行退款。bob体育客户端下载为了做到这一点,管理员需要访问使用日志它们被标记为右使用标签.
在一年的操作过程中,资源的使用可能会出现高峰。很难确定这些峰值是工作负载的预期变化还是一些意外行为——比如团队运行作业时出现错误,导致意外使用资源。详细的使用日志有助于识别导致异常使用的工作负载和团队。管理团队可以使用详细审计日志分析导致使用的事件。他们可以与各自的团队合作,获得有关这种用法的定性信息,并确定异常情况。如果工作负载的使用模式发生了变化,他们可以设置自动化的方法,在未来将这种使用归类为“正常”。类似地,如果这种使用实际上是一种异常,那么他们可以设置监控和警报,以便在将来实时捕获这种异常。
在数据平台领导者bob体育客户端下载计划预算时,过去的详细使用数据可以用来建立更准确的成本、使用和投资回报预测。
控制——设置策略来管理用户、控制预算和管理基础设施
虽然可见性很好,但在管理许多团队时,最好有主动的控制,以确保符合策略的平台使用。bob体育客户端下载
当新的数据科学家离开时,他们可能对运行模型的底层基础设施没有很好的理解。可以为它们提供预先配置了正确的策略强制集群的环境访问控制以及查看和分析实验结果的能力。
类似地,作为自动化数据管道的一部分,数据工程师根据需要创建集群,并在不需要时终止集群,以便优化使用基础设施。然而,他们创建的集群可能相当大,并且不符合组织的IT策略。管理员可以申请集群政策这样,任何用户创建的集群都将符合强制的IT策略。这允许团队以自助服务和策略兼容的方式旋转资源,而不依赖于管理。
此外,管理员还可以通过分配来设置正在使用的基础设施的边界基础设施池为团队动态地自动缩放。这确保了团队只能从池的边界内旋转资源。此外,池中的资源可以在不使用时被分解,从而优化基础设施的整体使用。
扩展——将平台扩展到所有用户、客户和合作伙伴bob体育客户端下载bob体育外网下载
随着数百个团队进入数据平台,团队bob体育客户端下载工作区是需要隔离团队,以便他们可以在自己的团队中协作工作,而不会被在平台上工作的其他团队分心或影响。bob体育客户端下载工作区可以完全配置以供团队使用,包括笔记本、数据源、基础设施、运行时以及与DevOps工具的集成。为受信任用户管理的用户提供用户配置和权限身份提供者(idp)管理员可以确保正确的用户集可以通过使用企业范围访问正确的工作空间单点登录功能。这种隔离和访问机制确保数百个团队可以系统地共存于同一个数据平台上,允许管理员轻松地管理它们,并在全球范围内扩展平台。bob体育客户端下载
该平台的所有上述功能都应该在易于使用的UI中以及通过丰富的REST api集提供给管理员。bob体育客户端下载api使管理能够自动化,并使入职团队高效快速。
使用Databricks轻松管理用户和基础设施
Databricks平台有许多bob体育客户端下载这样的功能,可以帮助您为组织中的各种产品和服务团队提供全球规模的数据平台。平台上客户的异质性和规模每天都带来新的挑战。bob体育客户端下载我们正在Databricks平台中构建更多内容,因此您可以按下“简单按钮”,按需在bob体育客户端下载整个组织中实现一致的、合规的数据环境。
BOB低频彩了解更多关于创建简单、可扩展和生产就绪数据平台的其他步骤,请准备以下博客bob体育客户端下载