使用砖计算你们的工作

使用共享工作的集群

优化资源使用与工作协调多个任务,使用共享集群的工作。共享工作集群允许多个任务在同一工作运行集群重用。您可以使用一个集群运行所有工作任务的一部分工作,或多个工作为特定的工作负载集群优化。使用一个共享工作集群:

1. 选择新工作的集群当您创建一个任务并完成集群配置。

2. 选择新的集群将任务添加到工作时,或者创建一个新的集群工作。任何集群配置当您选择新工作的集群可用于任何任务的工作。

共享集群是局限于一个单一的工作运行工作,其他工作或运行,不能使用相同的工作。

图书馆不能宣布在一个共享的集群配置工作。你必须在任务中添加依赖库的设置。

为你的工作选择正确的集群类型

• 新工作的集群是一个作业或任务运行专用集群。创建一个集群共享工作,开始当第一个任务使用集群的开始和终止后使用集群完成最后的任务。集群不是闲置但终止时终止后才使用它已经完成了所有的任务。如果集群共享工作失败或终止所有任务完成之前,创建一个新的集群。创建一个集群范围的一个任务在任务开始和终止时,开始当任务完成。在生产中,砖建议使用新的共享或任务范围集群,这样每个作业或任务运行在一个完全隔离环境。

• 一个新的集群上运行一个任务时,任务被视为数据工程(任务)工作负载,任务工作量定价。当你现有的通用集群上运行一个任务,任务视为一个数据分析(通用)工作负载,通用工作负载的定价。

• 如果你选择了一个终止现有的集群和所有者拥有的工作可以重新启动许可,砖开始集群调度运行工作时。

• 现有的集群最适合更新等任务指示板定期。

使用池减少集群开始时间

减少集群新工作开始时间,创建一个池和配置工作的集群使用池。