配置池
本文解释了可用的配置选项当你创建和编辑一个池。
池的大小和自动终止
当您创建一个池,以控制其大小,您可以设置三个参数:最小空闲的情况下,最大容量,空闲实例自动终止。
最大容量
实例池将规定的最大数量。如果设置,这个值限制所有实例(闲置+使用)。如果一个集群使用池比这个数字在实例请求自动定量,请求将失败INSTANCE_POOL_MAX_CAPACITY_FAILURE错误。
这个配置是可选。砖建议设置一个值只有在下列情形之一:
你有一个实例配额必须保持下。
你想保护一组工作影响另一组的工作。例如,假设您的实例配额是100,你有团队A和B,需要运行工作。您可以创建池马克斯50和池B与马克斯50这两队分享100配额相当。
你需要帽子的成本。
实例类型
池由空闲让准备新集群实例和实例在运行使用集群。所有这些实例提供者类型相同的实例,选择在创建池。
池的实例类型不能被编辑。集群连接池使用相同的实例类型的司机和工人节点。不同家庭的实例类型适合不同的用例,如内存密集型或计算密集型工作负载。
砖都提供一年的弃用通知之前停止支持类型的一个实例。
预加载数据砖运行时版本
可以通过选择一个砖加快集群启动运行时版本被加载到池中空闲实例。如果用户选择运行时创建一个集群支持的池时,集群将推出更迅速比pool-backed集群不使用预加载数据砖的运行时版本。
设置这个选项没有一个减缓集群启动,因为它使砖的运行时版本的下载需求池中空闲实例。当集群释放实例池中,砖运行时版本仍然是这些实例的缓存。下一个集群创建操作使用相同的砖运行时版本可能受益于这种缓存行为,但这是没有保证的。
池标签
池标签允许您方便地监视各种团体所使用的云资源的成本在你的组织中。您可以指定标签作为键值对,当你创建一个池,和砖这些标签适用于云资源的虚拟机磁盘卷,以及DBU使用报告。
为了方便起见,砖三个默认的标签适用于每个池:供应商,DatabricksInstancePoolId,DatabricksInstancePoolCreatorId。您还可以添加自定义标签当您创建一个池。您可以添加多达43个定制标记。
自定义标记的继承
Pool-backed集群继承违约和自定义标记从池中配置。的详细信息集群池标签和标签一起工作,如何看使用集群和池监控使用标签。
AWS的配置
当你配置一个池的AWS实例选择可用性区域,是否使用现货实例和马克斯现货价格,和EBS卷类型和大小。所有集群连接池继承这些配置。指定配置,底部的池配置页面,单击实例选项卡。
可用性区域
选择一个特定的可用性区域池主要是有用的,如果您的组织已经购买在特定的可用性区域保留的实例。阅读更多关于AWS可用性区域。
现货实例
您可以指定是否使用现货实例和马克斯现货价格时使用启动实例的比例相应的随需应变的现货价格。默认情况下,砖设置最大的现货价格在随需应变的价格的100%。看到AWS现货价格。
池可以是所有现货实例或按需实例。
EBS卷
本节描述默认EBS卷设置池实例。
默认EBS卷
砖规定EBS卷为每个实例如下:
根卷30 GB的未加密的EBS实例使用的主机操作系统和砖内部服务。
一个150 GB的加密EBS容器所使用的根卷引发工人。这个主机火花服务日志。
(HIPAA) 75 GB加密EBS工人日志卷存储日志数据砖内部服务。
添加改组EBS卷
添加洗牌卷,选择通用SSD在EBS卷类型下拉列表:
默认情况下,火花洗牌输出到本地磁盘。例如类型没有本地磁盘,或者如果你想增加你的火花洗牌存储空间,您可以指定额外的EBS卷。这是特别有用的防止磁盘空间的错误当您运行火花产生大洗牌的工作输出。
砖加密这些EBS卷的随需应变和现货实例。阅读更多关于AWS EBS卷。
AWS EBS限制
确保你的AWS EBS限制高到足以满足所有实例的运行时要求在所有池。对于信息默认EBS限制以及如何改变它们,看到的亚马逊弹性块存储(EBS)的限制。
自动定量本地存储
如果你不想分配一个固定数量的EBS卷在创建池时,使用自动定量本地存储。自动定量本地存储,数据砖监视器的空闲磁盘空间可用池的火花工人。如果一个工人开始在磁盘上运行过低,砖自动高度新EBS卷的工人之前耗尽磁盘空间。EBS卷附加到一个极限5 TB的总磁盘空间的每个实例(包括实例的本地存储)。
配置自动定量储存、选择启用自动定量本地存储自动驾驶仪的选择:
EBS卷附加到一个实例只分离时返回给AWS实例。EBS卷,永远不会脱离只要实例池中。缩减EBS用法,砖推荐配置池的大小和自动终止。
请注意
砖使用吞吐量的优化硬盘(死神)来扩展一个实例的本地存储。的默认AWS容量限制这些数量是20 TiB。为了避免触及这个极限,管理员应该请求增加这个极限根据自己的使用需求。
如果你想使用自动定量本地存储,我角色或键用于创建您的帐户必须包括的权限
ec2: AttachVolume,ec2: CreateVolume,ec2: DeleteVolume,ec2: DescribeVolumes。完整列表的权限和说明如何更新您的现有我角色或钥匙,明白了创建一个cross-account我的角色。