创建一个集群

共享访问模式的局限性

• 不支持Init脚本。

• 集群在砖运行时库不支持13.0及以下。

• 支持集群级Python库砖运行时的13.1及以上。支持Python轮子,也可以作为工作空间上传文件,但不使用DBFS filepaths引用的库,包括库上传到DBFS根。不支持非python库。看到集群库。

• 不支持Spark-submit工作。

• 砖不支持运行时毫升。

• 不能使用Scala, R,抽样api,或客户直接从云存储读取数据,比如DBUtils。

• 不能使用用户定义函数(udf),包括UDAFs UDTFs,大熊猫火花(applyInPandas和mapInPandas),蜂巢udf。

• 必须在集群节点上运行命令low-privilege用户禁止访问文件系统的敏感部分或创建网络连接端口80和443。

试图绕过这些限制将会失败。这些限制是通过集群用户不能访问未经授权的数据。

光子加速

光子用于集群运行吗砖运行时9.1 LTS及以上。

使光子加速,选择使用光子加速复选框。

如果需要,您可以指定实例类型的工人的类型和驱动程序类型下拉。

司机节点

司机节点维护状态信息的笔记本电脑连接到集群。司机节点还维护SparkContext,解释所有的命令你在集群上运行从一个笔记本和一个图书馆,并运行Apache主坐标的火花引发执行人。

司机节点类型的默认值是一样的工人节点类型。你可以选择一个更大的驱动节点类型和更多的内存,如果你正计划收集()大量的数据从引发工人和分析他们在笔记本上。

工作者节点

砖工节点运行正常运转所需的火花执行者和其他服务集群。当你分发工作负载与火花,所有的分布式处理发生在工作节点。砖一个人均执行器节点运行。因此,执行者和工人是交替使用的砖结构。

GPU实例类型

对于需求的高性能的计算有挑战性的任务,像那些与深度学习,砖支持集群加速的图形处理单元(gpu)。有关更多信息,请参见GPU-enabled集群。

与当地ssd集群实例类型

最新的实例类型列表,每一个的价格,和当地的ssd的大小,看到GCP定价估计量。

实例类型,当地ssd自动使用默认谷歌云服务器端加密和加密使用磁盘缓存改进的性能。缓存的大小在所有实例类型自动设置,所以你不需要显式地设置磁盘使用情况。

优化和标准自动定量

砖提供两种类型的集群节点自动定量:优化和标准。优化自动定量仅可在保费和企业的定价方案。看到bob体育客户端下载平台层。

优化的自动定量用于:

• 所有工作的集群

• 互动集群溢价或企业计划工作空间运行6.4 +砖运行时版本。

标准自动定量用于:

• 标准计划工作区

• 交互式运行在砖上的集群运行时6.3或更低水平。

如何优化自动定量的行为

• 尺度从最小到最大2步骤。

• 集群可以缩小,即使不是闲置,通过观察洗牌文件状态。

• 基于当前节点的比例尺度。

• 工作群,尺度下如果集群充分利用过去40秒。

• 通用的集群,尺度下如果集群充分利用过去150秒。

• 的spark.databricks.aggressiveWindowDownS火花在几秒钟内配置属性指定集群频率使缩小规模的决定。持续增加的值会导致一个集群规模更慢。最大值是600。

如何自动定量标准的行为

• 从添加8节点开始。然后规模成倍增长,许多步骤达到最大值。

• 尺度时90%的节点不忙10分钟和集群已经闲置了至少30秒。

• 规模成倍增长,从1开始节点。

启用和配置自动定量

允许砖自动调整您的集群,启用自动定量的集群和提供的最小和最大范围的工人。

1. 启用自动定量。

   • 通用的集群,在集群上创建和编辑页面,选择启用自动定量复选框的自动驾驶仪的选择箱:

     

   • 集群工作——在集群上创建和编辑页面,选择启用自动定量复选框的自动驾驶仪的选择箱:

     

2. 配置min和max工人。

自动定量的例子

如果你重新配置静态集群是一个自动定量集群,砖立即调整集群的大小在最小和最大范围内,然后开始自动定量。作为一个例子,下表显示具有一定的初始大小的集群会怎样如果你重新配置集群自动定量之间的5和10个节点。

可用性区域

在集群配置页面,高级选项,您可以选择集群的可用性区域。此设置允许您指定使用哪个你想要的可用性区域集群。默认情况下,设置为可用性区域设置哈(高可用性)。

你也可以选择一个特定的区域或汽车。选择一个特定的区域主要是有用的,如果您的组织购买了保留的实例在特定的可用性区域。如果你选择汽车,可用性区域自动为您选择。

自动定量本地存储

谷歌云计算实例可以补充额外的存储在工人级别使用带状持续固态磁盘。

自动定量本地存储,数据砖监视器上可用的空闲磁盘空间集群的火花的工人。如果一个工人开始在磁盘上运行过低,砖自动调整大小的带状SSD PD之前耗尽了磁盘空间。Zonal-SSD PD卷附加到一个极限5 TB的总磁盘空间的每个实例(包括实例的本地存储)。

配置自动定量储存、选择启用自动定量本地存储。

默认配置存储

砖规定以下存储为每个工作节点:

• 一个100 GB的引导磁盘根卷使用的主机操作系统和砖内部服务。

• 当地使用的SSD引发工人。这个主机火花服务日志。配置本地ssd,明白了与当地ssd集群实例类型。

• 远程ssd存储自动定量时启用。这些从150 GB在创建并根据需要自动定量。

使用抢占的实例

一个抢占式虚拟机实例是一个实例,您可以创建和运行在一个低得多的价格要比普通的实例。然而,谷歌云可能会停止这些实例(抢占)如果需要访问这些资源其他任务。抢占式实例使用谷歌计算引擎能力过剩,所以他们的可用性随使用。

当你创建一个新的集群,您可以启用抢占的VM实例在两种不同的方式:

1. 当你使用UI创建一个集群时,你可以点击抢占式实例旁边的工作类型细节。

2. 当你使用UI创建一个实例池,您可以设置随需应变/抢占式来所有的抢占式,抢占式与后备GCP,或对需求的质量。如果抢占的VM实例并不可用,默认情况下,使用随需应变的VM实例集群将退回。配置默认行为,集gcp_attributes.gcp_availability来PREEMPTIBLE_GCP或PREEMPTIBLE_WITH_FALLBACK_GCP。默认值是ON_DEMAND_GCP。

{“instance_pool_name”:“抢占的w / o后备API测试”,“node_type_id”:“n1-highmem-4”,“gcp_attributes”:{“gcp_availability”:“PREEMPTIBLE_GCP”}}

接下来,创建一个新的集群和设置池抢占式实例池。

谷歌服务帐户

把这个集群和谷歌服务帐户使用谷歌标识,点击高级选项并添加你的谷歌服务帐户的电子邮件地址谷歌服务帐户字段。这个值是用于验证GCS和BigQuery数据源。