砖工作区管理-账户的最佳实践,工作区和Metastore管理员

这个博客是我们管理的一部分要素系列中,我们讨论的话题有关砖管理员。其他的博客包括我们工作区管理最佳实践,策略与起程拓殖博士,还有更多!留意更多的内容很快和大家见面。在过去admin-focused博客,我们已经讨论了如何建立和维持一个强大的空间组织通过预先设计和自动化等方面的博士,CI / CD,和系统健康检查。一个同样重要的方面政府如何组织在你的工作区,特别是当涉及到许多不同类型的管理角色Lakehouse内可能存在的。在这个博客中,我们将讨论行政事项管理工作区,例如如何:

• 建立政策和护栏,不会过时的新员工培训的新用户和用例
• 控制资源的使用
• 保证允许的数据访问
• 优化计算的使用,充分利用你的投资

为了理解角色的描述,我们首先需要理解之间的区别一个帐户管理员和工作空间管理员,和这些角色的特定组件,每个管理。

账户管理员对工作区管理员Vs Metastore管理员

管理关注的是跨越两个账户(一个高级构造通常是1:1映射您的组织)和工作区(一个更细粒度的隔离级别可以映射不同的方式,我。e, LOB)。让我们看看这三个角色之间的职责分离。

国家以不同的方式,我们可以分解的主要责任账户管理员如以下:

• 供应的主体(组织/用户/服务)和SSO账户层面。联合身份验证指分配账户身份访问级别工作区直接从帐户。
• 配置Metastores
• 建立审计日志
• 监测使用账户层面(DBU,计费)
• 创建工作区根据所需的组织方法
• 管理其他工作对象(存储、凭证、网络等)
• 自动化开发工作负载使用IaaC消除人为因素在推动工作负载
• 功能打开/关闭帐户级别如serverless工作负载,三角洲共享

另一方面,的主要担忧工作空间管理员是:

• 分配适当的角色在工作区级别(用户/管理员)校长
• 分配适当的权利(acl)工作空间层面的主体
• 在工作区级别可选设置SSO
• 定义集群策略使他们能够赋予校长
  • 定义计算资源(集群/仓库/池)
  • 定义业务流程(工作/管道/工作流)
• 在工作区中打开/关闭功能水平
• 将权利分配给校长
  • 数据访问(当使用内部/外部蜂巢metastore)
  • 管理主体的访问计算资源
• 管理外部url回购等特性(包括allow-listing)
• 控制安全与数据保护
  • 关闭/限制DBFS防止意外接触跨团队的数据
  • 防止下载结果数据(从笔记本/ DBSQL),以防止数据漏出
  • 启用访问控制(工作区对象、集群、池、工作、表等)
• 定义日志交付在集群级别(即。,setting up storage for cluster logs, ideally through Cluster Policies)

总结账户和工作区管理之间的区别,下面的表格捕获分离这两个角色之间的几个关键尺寸:

分级工作空间满足峰值计算的需要

集群节点的最大数量(间接地最大的工作或并发工作的最大数量)是由中可用的最大数量的IPs VPC,因此分级VPC正确是一个重要的设计考虑。每个节点占用2 IPs(在Azure, AWS)。以下是为您选择的云的相关信息:AWS,Azure,GCP。我们将使用一个例子从砖AWS来说明这一点。使用这CIDR映射到IP。VPC CIDR范围允许E2工作区/ 25 - 16。至少2私人子网必须配置两个不同的可用性区域。子网掩码之间应该/ 16 - 17所示。vpc逻辑隔离单位和只要2 vpc不需要说话,即对等,他们可以有相同的范围。然而,如果是,那么必须小心避免IP重叠。让我们举一个例子的VPC CIDR愤怒/ 16:

平衡控制和灵活性工作区管理员

计算是最昂贵的组件的任何云基础设施的投资。数据导致创新民主化和促进自助服务的第一步是使一个数据驱动的文化。然而,在多租户环境中,一个没有经验的用户或一个无意的人为错误可能导致成本失控或无意的接触。如果控制太严格,它将创建访问瓶颈和扼杀创新。所以,管理员需要设置护栏,允许自助没有固有的风险。此外,他们应该能够监控这些控件的依从性。这就是集群政策派上用场,规则和权利定义映射的用户允许周边内运行,他们的决策过程大大简化。应该注意的是,政策应支持的过程是真正有效的,这样一个例外可以管理的过程,避免不必要的混乱。这个过程的一个关键步骤是删除allow-cluster-create权利从默认用户集团在一个工作区,以便用户只能使用计算由集群政策。以下是建议的集群政策的最佳实践可以概括为以下:

• 集群使用t恤尺寸提供标准模板
  • 通过工作负载大小(小、中、大)
  • 通过角色(/ ML / BI)
  • 通过熟练(公民/高级)
• 管理治理的实施使用
  • 标签:由团队归因、用户用例
    • 命名应该是标准化的
    • 做一些属性强制性的帮助一致的报告
• 控制消费通过限制
  • • DBU燃烧率和政策的目的
    • Auto-termination超时、缩放最小/最大尺寸

计算考虑

与固定on-prem计算基础设施云给我们弹性以及灵活地匹配正确的计算工作量和SLA正在考虑。下图显示了各种选项。等输入参数类型的工作负载或环境和输出的类型和尺寸计算最佳。

例如,一个生产DE工作量应该总是在工作自动化集群最好最新的DBR、自动定量和使用光子引擎。下表了一些常见的场景。

工作流程注意事项

现在已经正式的计算需求,我们需要看看

• 如何定义工作流和触发
• 任务如何重用计算在自己
• 任务依赖关系将如何管理
• 如何重试失败的任务吗
• 版本升级(火花,库)和如何补丁应用

这些工程日期和DevOps考虑以用例为中心,通常是一个管理员的直接关注。有一些卫生可以监控等任务

• 一个工作区最大限制总数量的配置工作。但很多这些工作可能不会被调用,需要清理,让真正的。管理员可以运行检查,以确定有效的拆迁已经工作列表。
• 所有生产作业应该作为一个运行服务主体和用户访问生产环境应该高度受限。检查工作权限。
• 工作可以失败,所以每一份工作应该设置故障警报和选择重试。回顾email_notifications max_retries和其他属性在这里
• 每一份工作应该与集群相关政策和标记正确归因。

DLT:一个理想的框架的示例大规模可靠的管道

处理成千上万的客户不同行业垂直,大大小小的公共数据挑战开发和操作化成为明显的,这就是为什么砖三角洲住表(DLT)创建的。这是一个提供简化ETL工作负载管bob体育客户端下载理平台开发和维护通过允许创建声明性管道,你指定“什么”和“如何”。这简化了数据工程师的任务,从而减少支持管理员的场景。

DLT包含常见的管理功能,如周期优化&真空工作进入管道的定义维护的工作,确保他们没有额外的照顾。DLT提供深度可观测性为简化操作,比如管道血统、监控和数据质量检查。例如,如果集群终止,这个平台bob体育客户端下载auto-retries(生产方式),而不是依靠工程师提供它明确的数据。增强自动伸缩可以处理突发数据爆发要求集群向上升级和优雅地缩减规模。换句话说,自动容错集群扩展和管道是一个平台特性。bob体育客户端下载转盘延迟使您能够运行或批处理的管道流和移动开发管道推动相对轻松地通过管理配置,而不是代码。你可以控制你的管道利用的成本DLT-specific集群政策。DLT也auto-upgrades运行时引擎,因此从管理员或数据删除责任工程师,并允许你只关注产生业务价值。

加州大学:一个理想的数据治理框架的例子

统一目录(加州大学)使组织采用的通用安全模型表和文件为所有工作空间在一个账户,这是不可能通过简单的GRANT语句之前。通过批准和审核所有访问数据、表格或文件,从德/ DS集群或SQL仓库,组织可以简化他们的审计和监控策略不依赖per-cloud原语。加州大学提供的主要功能包括:

加州大学简化了管理员的工作(包括账户和工作区层次)通过集中定义,监控整个metastore和可发现性的数据,使它容易安全地共享数据不管数量的工作区连接. .利用定义一次,安全无处不在模型,这额外的好处,避免意外曝光的场景数据用户的特权无意中在一个工作区可能歪曲给他们一个后门去的数据并不是用于消费。所有这些可以很容易地利用来完成帐户级别身份和数据权限。加州大学审计日志记录允许所有用户全面了解所有操作在所有各级的对象,如果你配置详细审计日志记录,然后执行每个命令,从笔记本或砖SQL捕获。可获得的访问可以颁发metastore管理,一个对象的所有者,或者目录的所有者或模式,其中包含的对象。建议的户头级别管理委托metastore角色提名的metastore管理员的唯一目的就是给予合适的访问权限。

建议和最佳实践

• 的角色和责任账户管理员,Metastore管理员和工作空间管理员是明确的和互补的。工作流自动化、变更请求、升级等应该流到适当的所有者,工作区是否设立的LOB或由一个中央卓越中心的管理。
• 帐户级别身份应该使这允许集中的主要管理工作区,从而简化管理。我们建议设置等功能SSO,SCIM和审计日志在帐户级别。工作空间层SSO仍然是必需的,直到SSO联邦功能是可用的。
• 集群政策是一个强大的杠杆,为有效的自助服务和提供护栏极大地简化了工作空间管理员的角色。我们提供一些样品政策在这里。帐户管理应提供简单的默认策略基于主要角色/ t恤尺寸,理想的情况是通过自动化等起程拓殖。工作区管理员可以添加到列表更细粒度的控制。结合一个适当的过程,可以优雅地容纳所有异常情况。
• 跟踪所有工作负载的持续的消费类型在所有工作区是可见的帐户管理员通过账号控制台。我们建议设置计费使用日志交付这一切你中央退款云存储和分析。预算API(预览)应该配置在账户层面,它允许账户管理员创建工作区阈值,SKU,集群标签对消费水平和接收警报,以便可以采取及时的行动保持在规定的预算。使用工具等看守跟踪使用情况在更细粒度上,以帮助确定改进领域时计算资源的利用率。
• 砖平台继续创新和简化各种数据的bob体育客户端下载工作角色通过抽象共同管理功能平台。我们的建议是使用三角洲生活表新管道和统一目录为你所有的用户管理和数据访问控制。

最后,重要的是要注意,这些最佳实践,事实上,大多数的我们在这个博客提到,协调,和团队合作是成功的。虽然在理论上是可能的帐户和工作区在筒仓管理员存在,这不仅有悖于一般Lakehouse原则,使每个人生活更加困难。也许最重要的建议考虑本文远离是连接/工作区管理员+项目/数据导致+用户在自己的组织。团队/松弛通道等机制,电子邮件别名,和/或每周聚会已被证明成功。最有效的组织,我们看到在砖是那些接受开放不仅是他们的技术,但在他们的操作。多留意admin-focused博客即将到来,从日志和漏出的建议到激动人心的综述功能集中在管理我们的平台。bob体育客户端下载