使用帐户API创建一个工作区

在你开始之前

• 确保你获得帐户ID。

• 确定您的工作区将支持以下特性:

  • Customer-managed VPC:提供自己的亚马逊虚拟公共云(VPC)如果你想使用AWS PrivateLink对于任何类型的连接。

  • 安全集群连接:网络架构没有VPC开放端口,没有砖运行时工人的公共IP地址。在某些api,这被称为没有公共IP或NPIP。注意:安全集群连接是默认启用所有工作区创建的帐户API在9月1日,2020年。

  • Customer-managed密钥进行加密:

    • Customer-managed键控制飞机的管理服务:提供公里Databricks-managed密钥加密的笔记本和秘密数据控制飞机。

    • Customer-managed键工作区存储:提供公里密钥来加密您的工作空间的S3 bucket(工作空间的根DBFS、工作结果和更多)和可选的集群节点EBS卷。

  • AWS PrivateLink:AWS PrivateLink提供私人连接AWS vpc AWS服务和本地网络没有向公众公开交通网络。

• 确定区域使用的工作区数据平面(VPC)。的控制飞机地区是由平面区域的数据。

  在AWS地区工作区数据平面vpc可以ap-northeast-1,ap-northeast-2,ap-south-1,ap-southeast-1,ap-southeast-2,ca-central-1,一来就,eu-west-2,eu-central-1,us-east-1,us-east-2,us-west-1,us-west-2。然而,您不能使用VPCus-west-1如果你想使用customer-managed键为加密。

如何使用API的账户吗

验证账户API,您可以使用砖OAuth的服务主体,砖OAuth用户,或砖账户管理员的用户名和密码。砖强烈建议您使用砖OAuth用户或服务主体。创建的服务主体是一个身份在砖使用自动化工具,工作,和应用程序。创建一个OAuth令牌,看到的使用OAuth身份验证服务主体。

用下面的例子来验证一个砖帐户。您可以使用OAuth为服务主体,OAuth用户或用户的用户名和密码。背景,请参阅:

• OAuth服务主体,明白了OAuth机器对机器(M2M)身份验证。

• OAuth用户看到OAuth user-to-machine (U2M)身份验证。

• 用户的用户名和密码,请参阅基本身份验证。

用于身份验证的例子,从以下选择:

步骤1:配置cross-account身份验证

砖需要访问cross-account服务我的角色在你的AWS帐户,以便在适当的VPC砖可以部署的集群新工作区。

1. 如果尚不存在这样一个角色,看到为工作区部署创建了我的角色为你创建一个适当的角色和策略部署类型。你提供的是(你的新角色role_arn在这个过程。

   请注意

   你可以与多个工作区分享cross-account我的角色。您不需要创建一个新的cross-account我为每个工作空间的作用。如果你已经有一个cross-account我的角色,你可以跳过这一步。

2. 为你创建一个砖凭据的配置ID AWS的角色。调用创建证书配置API(帖子/账户/ < databricks-account-id > /凭证)。这个请求建立cross-account信任和返回一个引用ID来使用,当你创建一个新的工作区。

   请注意

   你可以共享一个凭证与多个工作区配置ID。它不需要创建一个新的工作区。如果你已经有一个了,你可以跳过这一步。

   取代< databricks-account-id >砖帐户ID。进行验证,看如何使用API的账户吗。在请求主体:

   • 集credentials_name这些凭证的名称。在您的帐户名称必须是惟一的。

   • 集aws_credentials一个对象,该对象包含一个sts_role财产。必须包含一个对象role_arn属性指定了AWS您已经创建了角色攻击的作用。

   身体将包括的响应credentials_id领域,砖凭证的配置ID,您需要创建一个新的工作区。复制和保存价值,您将使用在下一步创建工作区。

   例如:

   curl - x的帖子“https://accounts.cloud.www.neidfyre.com/api/2.0/accounts/ < databricks-account-id > /凭证”\——头“授权:无记名OAUTH_TOKEN美元”\- d”{:“credentials_name databricks-workspace-credentials-v1”," aws_credentials ": {" sts_role ": {:“role_arn攻击:aws:我::< aws-account-id >: / my-company-example-role”角色}}}'

   示例响应:

   {“credentials_id”:“< databricks-credentials-id >”,“account_id”:“< databricks-account-id >”,“aws_credentials”:{“sts_role”:{“role_arn”:“攻击:aws:我::< aws-account-id >: / my-company-example-role”角色,“external_id”:“< databricks-account-id >”}},“credentials_name”:“databricks-workspace-credentials-v1”,“creation_time”:1579753556257}

   复制credentials_id场的响应,供以后使用。

步骤2:配置根存储

根S3存储桶在你帐户储存的物品,例如集群日志,笔记本修订,工作结果。您还可以使用根S3存储桶存储非生产数据,如数据需要进行测试。

1. 使用中的说明创建根S3 bucket为工作区中创建一个S3 bucket部署。

2. 创建一个存储配置记录代表根S3 bucket。指定根S3 bucket名称调用创建存储配置API(帖子/账户/ <帐户id > /存储配置)。

   请求返回一个代表你的S3 bucket存储配置ID。

   通过以下几点:

   • storage_configuration_name:新的独特的存储配置名称。

   • root_bucket_info:一个包含一个JSON对象bucket_name字段包含您的S3 bucket名称。

   响应体包括一个storage_configuration_id财产,桶的存储配置ID。复制值,供以后使用。

   例如:

   curl - x的帖子“https://accounts.cloud.www.neidfyre.com/api/2.0/accounts/ < databricks-account-id > /存储配置”\——头“授权:无记名OAUTH_TOKEN美元”\- d”{:“storage_configuration_name databricks-workspace-storageconf-v1”," root_bucket_info ": {:“bucket_name my-company-example-bucket”}}'

   回应:

   {“storage_configuration_id”:“< databricks-storage-config-id >”,“account_id”:“< databricks-account-id >”,“root_bucket_info”:{“bucket_name”:“my-company-example-bucket”},“storage_configuration_name”:“databricks-workspace-storageconf-v1”,“creation_time”:1579754875555}

步骤3:配置PrivateLink(可选)

这一步是必要的只有如果你想使用AWS PrivateLink。

AWS PrivateLink提供私人连接从你AWS VPC AWS服务和本地网络没有向公众公开交通网络。

砖工作区E2版本的平台上支持添加PrivateLink连接两个连接类型:bob体育客户端下载

• 用户工作区(前端)

• 数据平面控制平面(后端)

为一个新的工作区PrivateLink连接:

1. 仔细读这篇文章AWS PrivateLink并确认先决条件在继续之前。

   1. 创建您的AWS VPC端点在AWS控制台或自动化工具。看到步骤2:创建VPC端点。

   2. 审查的步骤使用API来创建VPC端点注册,网络配置,和私人设置对象的访问。看到使用帐户API。

2. 本文继续下一步。如果你想实现任何类型的PrivateLink连接(包括前端只),你必须使用一个customer-managed VPC。

第四步:配置customer-managed VPC(可选的,但是如果你需要使用PrivateLink)

默认情况下,砖中创建一个VPC AWS帐户为每个工作区。在工作区中砖使用它为运行集群。可选地,您可以使用自己的工作区VPC,使用功能customer-managed VPC。砖建议您提供自己的VPC,以便您可以配置它根据您的组织的企业云计算标准,同时符合砖要求。你不能将现有的工作空间迁移到自己的VPC。

1. 设置您的VPC,子网和安全组,使用中的说明Customer-managed VPC。复制这些对象的ID为每个下一步,你注册用砖和网络ID来表示你的新网络。

   重要的

   您可以共享一个customer-managed VPC多个工作区在一个帐户。你不需要创建一个新的VPC每个工作区。然而,你不能与任何其他资源重用子网或安全组,包括其他工作区或non-Databricks资源。如果你计划共享一个与多个工作区VPC,一定要大小VPC和相应的子网。因为砖网络ID的封装了这些信息,你不能重用一个网络ID在工作区。

2. 与砖注册您的网络配置,调用创建网络配置API(帖子/账户/ <帐户id > /网络)。

   通过以下几点:

   • network_name:新的独特的网络名称。

   • vpc_id:VPC ID。

   • subnet_ids:子网id,一个数组。

   • security_group_ids:安全组id,一个数组。

   • vpc_endpoints:仅用于AWS PrivateLink。如果你需要部署一个后端(数据平面控制平面)PrivateLink连接,在这种情况下,这个对象必须有两个属性引用VPC端点注册登记。集rest_api数组只包含工作区VPC端点的砖ID注册。集dataplane_relay数组只包含安全集群的砖ID连接VPC端点注册。为更多的细节在这些对象上,看到的使AWS PrivateLink。这些id返回VPC端点注册期间,所述步骤3:寄存器VPC端点(前端,后端,或两者都有)。

     • rest_api:设置一个包含一个元素的JSON数组:后端REST API VPC的Databricks-specific ID注册端点。这是砖VPC端点注册ID,而不是AWS VPC端点ID。

       重要的

       在本版本中,当你注册一个VPC工作区VPC端点服务端点连接前端或后端REST API连接任何工作区,砖使前端(web应用程序和REST API)的访问,VPC端点中所有PrivateLink-enabled工作区砖在AWS帐户的地区。

     • dataplane_relay:设置一个包含一个元素的JSON数组:后端SCC VPC的Databricks-specific ID注册端点。这是砖VPC端点注册ID,而不是AWS VPC端点ID。

     附加信息在网络配置PrivateLink后端连接,看到的使用帐户创建新的网络配置API在PrivateLink文章。

   例如:

   curl - x的帖子“https://accounts.cloud.www.neidfyre.com/api/2.0/accounts/ < databricks-account-id > /网络”\——头“授权:无记名OAUTH_TOKEN美元”\- d”{:“network_name mycompany-vpc-example”,“vpc_id”:“< aws-vpc-id >”,“subnet_ids”:(“< aws-subnet-id-1 >”,“< aws-subnet-id-2 >”),“security_group_ids”:(“< aws-security-group-id >”)," vpc_endpoints ": {“dataplane_relay”:(“< databricks-vpce-id-for-scc >”),“rest_api”:(“< databricks-vpce-id-for-rest-apis >”]}}'

3. 复制network_id从响应身体供以后使用。这是网络ID代表网络为您的新工作区。

   示例响应:

   {“network_id”:“< databricks-network-id >”,“account_id”:“< databricks-account-id >”,“vpc_id”:“< aws-vpc-id >”,“subnet_ids”:(“< aws-subnet-id-1 >”,“< aws-subnet-id-2 >”),“security_group_ids”:(“< aws-security-group-id >”),“vpc_status”:“未婚”,“network_name”:“mycompany-vpc-example”,“creation_time”:1579767389544,“vpc_endpoints”:{“dataplane_relay”:(“< databricks-vpce-id-for-scc >”),“rest_api”:(“< databricks-vpce-id-for-rest-apis >”]}}

第五步:配置customer-managed键(可选)

有两种用例customer-managed加密密钥:

• 加密管理服务,其中包括笔记本和机密数据在控制飞机。

• 工作区存储加密,其中包括工作空间的根S3 bucket和选择集群EBS卷。

你可以选择配置既不,一个,或者两个。如果你选择来实现加密的使用情况下,你甚至可以共享一个密钥和选择相同的配置对象对这些用例。

这两个用例之间有重要的区别,当你可以添加的关键:

• customer-managed密钥管理服务,您可以配置它在工作区中创建,添加的关键运行工作空间,或旋转(更新)的关键以后。

• customer-managed密钥存储,您可以配置它在工作区中创建或添加的关键运行工作区,但你不能旋转(更新)的关键。

你可以共享一个customer-managed键或其关键在工作区配置对象。在创建一个新的工作空间时,一个关键的配置可以通过将其用例代表加密use_cases字段包括枚举值。

实现一个加密用例或使用相同的密钥,加密用例执行以下程序完全一次。添加用不同的密钥,加密的加密用例执行过程两次,一次为每个用例。

1. 创建AWS公里的关键。按照说明在以下部分,只有不同的人类可读的描述字段(sid确定用例)的政策。创建的关键管理服务或工作区存储。分享的关键和配置这两个用例,更新sid相应的字段。

2. 注册你的公里关键数据砖,调用创建customer-managed关键配置API(帖子/账户/ <帐户id > / customer-managed-keys)。

   通过以下参数:

   • use_cases——一个数组,指定使用的关键的用例,指定一个或两个以下:

     • MANAGED_SERVICES:这个密钥加密在控制平面管理服务,其中包括笔记本和机密数据在控制飞机。

     • 存储:这个密钥加密工作区存储,其中包括工作空间的DBFS根和集群EBS卷。

   • aws_key_info:一个JSON对象有以下属性:

     • key_arn:AWS公里键攻击。注意,关键是砖推断AWS的地区。

     • key_alias:(可选AWS公里)关键的别名。

     • reuse_key_for_cluster_volumes:(可选)只有在使用use_cases数组中包含了存储,这还指定是否使用加密集群EBS卷的关键。默认值是真正的,这意味着砖也使用集群的关键卷。如果你设置假,砖不加密EBS卷与你指定的关键。在这种情况下,你的砖EBS卷的加密使用默认AWS SSE加密或如果你启用AWS帐户级别EBS默认加密,AWS执行帐户级别EBS使用一个单独的密钥加密,你提供给他们。注意,如果reuse_key_for_cluster_volumes是真正的你撤销许可的关键,它不会影响运行集群但影响新并重新启动集群。

   示例请求:

   curl - x的帖子“https://accounts.cloud.www.neidfyre.com/api/2.0/accounts/ < databricks-account-id > / customer-managed-keys”\——头“授权:无记名OAUTH_TOKEN美元”\- d”{“use_cases”:“MANAGED_SERVICES”、“存储”," aws_key_info ": {:“key_arn攻击:aws:公里:us-west-2: < aws-account-id >:键/ <键id >”,:“key_alias my-example-key”,“reuse_key_for_cluster_volumes”:真的}}'

   示例响应:

   {“use_cases”:(“MANAGED_SERVICES”,“存储”),“customer_managed_key_id”:“< aws-kms-key-id >”,“creation_time”:1586447506984,“account_id”:“< databricks-account-id >”,“aws_key_info”:{“key_arn”:“攻击:aws:公里:us-west-2: < aws-account-id >:键/ <键id >”,“key_alias”:“my-example-key”,“reuse_key_for_cluster_volumes”:真正的,“key_region”:“us-west-2”}}

3. 从响应JSON,复制customer_managed_key_id。你使用这个ID在下一步设置工作区配置对象的属性managed_services_customer_managed_key_id,storage_customer_managed_key_id,或两者兼而有之,这取决于加密这个对象表示用例。

步骤6:创建工作区

创建新的工作区,调用创建工作区API(帖子/账户/ <帐户id > /工作区)。

通过以下参数的值,你复制在之前的步骤:

• aws_region:AWS地区工作空间的数据平面。

• workspace_name为您的工作区:人类可读名称。这是工作区名称用户看到的砖UI。

• deployment_name(推荐,但可选)独特的部署您的工作区。详情,请参阅指出关于部署的名字。

• credentials_id:您的凭据ID,这代表你cross-account凭证作用。这是凭证配置对象的ID。

• storage_configuration_id:你的存储配置ID,这代表您的根S3 bucket。这是存储配置对象的ID。

• network_id:(可选)只用于customer-managed VPC。这是网络配置对象的ID。

• managed_services_customer_managed_key_id:(可选)只用于加密管理服务,比如笔记本和机密数据在控制飞机。这是你的工作空间的关键配置ID存储,这是customer_managed_key_id从一个关键配置对象。如果你想支持这个加密用例中,您必须配置在工作区创建时间。

• storage_customer_managed_key_id:(可选)只用于工作区存储加密。这是你的工作空间的关键配置ID存储,这是customer_managed_key_id领域的关键配置对象。如果你想支持这个加密用例中,您可以配置在工作区创建时间,但你也可以以后添加它对正在运行的工作区。

• private_access_settings_id:(可选)仅用于AWS PrivateLink。这是私人访问设置对象的ID创建工作区。看到使用帐户创建一个私人访问设置配置API在PrivateLink文章。这是一个必需字段PrivateLink访问所有连接类型(前端,后端,或两者兼而有之)。

指出关于部署的名字:

• 选择你的deployment_name仔细地价值。部署的名字定义工作空间的子域的一部分。工作区URL web应用程序和REST api< deployment-name > .cloud.www.neidfyre.com。例如,如果部署的名字是ABCSales,您的工作区URLhttps://abcsales.cloud.www.neidfyre.com。此属性支持字符a - z和0 - 9。连字符也允许但不作为第一个或最后一个字符。

• 账户可以部署名称前缀。联系你的砖代表部署一个帐户名称前缀添加到您的帐户。如果你的账户有一个非空的部署在工作区名称前缀创建时间、工作部署的名字是更新,始于帐户前缀和连字符。例如,如果您的帐户的部署前缀acme和工作部署的名字工作空间1,deployment_name场就acme-workspace-1。在这个例子中,工作区URLacme -工作区- 1. - cloud.www.neidfyre.com。

• 与帐户前缀,这个修改后的新值是返回的JSON响应该工作区deployment_name字段。

• 如果你的账户有一个非空部署名称前缀和设置deployment_name的保留关键字空,deployment_name只考虑前缀。例如,如果您的帐户的部署前缀acme和工作部署的名字空,deployment_name就变成了acme只有和工作区URLacme.cloud.www.neidfyre.com。如果你的账户还没有部署的名字前缀,特别部署名称的值空是无效的。

JSON响应包括财产workspace_id。复制这个值,供以后使用。

例如:

curl - x的帖子“https://accounts.cloud.www.neidfyre.com/api/2.0/accounts/ < databricks-account-id > /工作区”\——头“授权:无记名OAUTH_TOKEN美元”\- d”{:“workspace_name my-company-example”,:“deployment_name my-company-example”,:“aws_region us-west-2”,“credentials_id”:“< aws-credentials-id >”,“storage_configuration_id”:“< databricks-storage-config-id >”,“network_id”:“< databricks-network-id >”,“managed_services_customer_managed_key_id”:“< aws-kms-managed-services-key-id >”,“storage_customer_managed_key_id”:“< aws-kms-notebook-workspace-storage-id >”,:“private_access_settings_id < private-access-settings-id >”}'

示例响应:

{“workspace_id”:123456789,“workspace_name”:“my-company-example”,“aws_region”:“us-west-2”,“creation_time”:1579768294842,“deployment_name”:“my-company-example”,“workspace_status”:“配置”,“account_id”:“< databricks-account-id >”,“credentials_id”:“< aws-credentials-id >”,“storage_configuration_id”:“< databricks-storage-config-id >”,“workspace_status_message”:“工作区资源”被设置。,“network_id”:“< databricks-network-id >”,“managed_services_customer_managed_key_id”:“< aws-kms-managed-services-key-id >”,“storage_customer_managed_key_id”:“< aws-kms-notebook-workspace-storage-id >”,“private_access_settings_id”:“< private-access-settings-id >”,“pricing_tier”:“企业”}

如果你指定一个customer-managed VPC和工作区创建一步返回一个网络相关错误,您可以调用获取网络配置API(端点/网络/ <网络id >)来验证网络设置。看到排除工作区创建错误。

第七步:确认新工作区

检查工作区状态,调用得到工作区API(得到/账户/ <帐户id > /工作区/ < workspace-id >)。

使用workspace_id值时返回的JSON响应创建工作区。

在响应中,可能的workspace_status值:

• NOT_PROVISIONED:还没有提供。

• 供应:仍然供应。等待几分钟,重复这个API请求。

• 运行现在:成功部署和运行。

• 失败的:失败的部署。

• 禁止:禁止。

• 取消:在取消的过程。

看到排除工作区创建错误如何处理失败的状态值。

例如:

curl - x得到“https://accounts.cloud.www.neidfyre.com/api/2.0/accounts/ < databricks-account-id > /工作区/ < databricks-workspace-id > '\——头“授权:无记名OAUTH_TOKEN美元”

回应:

{“workspace_id”:123456789,“workspace_name”:“my-company-example”,“aws_region”:“us-west-2”,“creation_time”:1579768294842,“deployment_name”:“my-company-example”,“workspace_status”:“运行”,“account_id”:“< databricks-account-id >”,“credentials_id”:“< aws-credentials-id >”,“storage_configuration_id”:“< databricks-storage-config-id >”,“workspace_status_message”:“工作空间运行。”,“network_id”:“339 f16b9-b8a3-4d50-9d1b-7e29e49448c3”,“managed_services_customer_managed_key_id”:“< aws-kms-managed-services-key-id >”,“storage_customer_managed_key_id”:“< aws-kms-notebook-workspace-storage-id >”,“pricing_tier”:“企业”}

在这个例子中,工作区状态(workspace_status)被设置为运行,所以它是成功的。如果它是供应直到成功,重复这个API请求。

定价层默认为与您的帐户相关联的计划。看到AWS平bob体育客户端下载台层。

测试你的新工作空间后状态运行:

• 用户界面登录新工作区——确认你可以登录到web应用程序的URLhttps:// < deployment-name > .cloud.www.neidfyre.com。例如,如果部署在工作区中创建指定名称ABCSales,您的工作区URLhttps://abcsales.cloud.www.neidfyre.com。使用您的帐户的用户名和密码。

• REST API登录新工作区——确认你可以访问REST API。下面的示例调用SCIM API来获取一个用户列表。

  curl - u <用户名> - x“https:// < deployment-name > .cloud.www.neidfyre.com . . / api / 2.0 / scim / v2 /用户的\——头“授权:无记名OAUTH_TOKEN美元”

  关于使用砖REST api的更多信息,包括其他身份验证选项,请参阅工作区API。

第八步:部署后PrivateLink配置(可选)

这一步是必要的只有如果你配置AWS PrivateLink。

创建工作区后:

1. 如果你实现前端PrivateLink连接,实现相关的DNS配置更改中描述第四步:配置内部DNS将用户请求重定向到web应用程序(前端)。

2. 选择创建其他VPC端点中描述步骤5:为其他AWS服务添加VPC端点。

第九步:其他可选配置部署后

您可能想要考虑这些可选配置步骤为新工作区。

排除工作区创建错误

以下部分为常见的工作区创建错误提供解决方案。

地址的最大数量。

curl - x得到“https://accounts.cloud.www.neidfyre.com/api/2.0/accounts/ < databricks-account-id > /网络/ < databricks-network-id > '\——头“授权:无记名OAUTH_TOKEN美元”

curl - x片“https://accounts.cloud.www.neidfyre.com/api/2.0/accounts/ < databricks-account-id > /工作区/ < databricks-workspace-id > '\——头“授权:无记名OAUTH_TOKEN美元”\- d”{:“aws_region us-west-2”,“credentials_id”:“< aws-credentials-id >”,“storage_configuration_id”:“< databricks-storage-config-id >”,“network_id”:“< databricks-network-id >”,“managed_services_customer_managed_key_id”:“< aws-kms-managed-services-key-id >”,:“storage_customer_managed_key_id < aws-kms-notebook-workspace-storage-id >”}'

{“workspace_id”:123456789,“workspace_name”:“my-company-example”,“aws_region”:“us-west-2”,“creation_time”:1579768294842,“deployment_name”:“my-company-example”,“workspace_status”:“配置”,“account_id”:“< databricks-account-id >”,“credentials_id”:“< aws-credentials-id >”,“storage_configuration_id”:“< databricks-storage-config-id >”,“workspace_status_message”:“工作区资源”被设置。,“network_id”:“< databricks-network-id >”,“managed_services_customer_managed_key_id”:“< aws-kms-managed-services-key-id >”,“storage_customer_managed_key_id”:“< aws-kms-notebook-workspace-storage-id >”,“pricing_tier”:“企业”}