使合规安全概要

需求

• 你的砖账户必须包括增强的安全性和遵从性附加组件。详情,请参阅定价页。

• 砖工作区E2版本的平台。bob体育客户端下载

• 企业层砖工作区。

• 单点登录(SSO)身份验证配置的工作区。

使合规安全概要

1. 准备任何现有的工作空间,将使用安全性配置文件。看到准备一个工作区合规安全配置文件。

2. 联系你的砖代表和请求添加帐户级别的合规安全概要或只是为了一些工作区。

   如果你想让它只是对于一些工作区,发送的工作区id列表工作区为概要文件,您想使用。得到一个工作空间ID从URL当你使用工作区。寻找o =在URL中。数量后o =是砖工作区ID。例如,如果URL是什么https:// < databricks-instance > / ? o = 6280049833385130工作区ID6280049833385130。

3. 等待确认这个概要文件现在启用。

4. 如果任何集群或SQL仓库运行,重新启动它们。如果您有许多集群运行,只想重新启动的开始实施之前,您可以使用一个脚本,砖提供确定所有集群如果开始时间之前启用日期。

   设置完成。根据需要创建或使用砖计算资源。

记住,如果你启用合规安全概要你的帐户或工作区,长时间运行的集群自动重启后25天。砖建议管理员定期重新启动集群运行前25天,这样做在一个预定的维护窗口。这样可以减少双方的风险破坏计划的工作。您可以使用一个脚本,砖规定,可以确定您的集群已运行多长时间,并选择重新启动它们。看到重新启动集群更新最新的图片。

准备一个工作区合规安全配置文件

一些措施是必要的准备合规安全概要的工作区。如果您尚未启用安全性配置文件,做这些步骤之前要求启用安全性配置文件。

如果启用了安全性配置文件已经在一个帐户级别和你创建任何新工作空间,你必须做这些步骤在您创建任何新工作区。

1. 如果你使合规安全概要你的帐户或工作区,长时间运行的集群自动重启后25天。如果任何集群运行25天或更长时间启用合规安全概要时,集群将立即重新启动,这将导致任何运行作业失败。相反,检查长时间运行的集群之前启用安全性配置文件。这样可以减少双方的风险破坏计划的工作。

   重要的

   检查您的集群已运行多长时间并重新启动运行的任何已超过20天(25天)降低集群的风险被双方25天后当启用安全性配置文件。看到重新启动集群更新最新的图片。

2. 配置单点登录(SSO)身份验证。

3. 添加所需的网络端口。

   • 工作区与PrivateLink端连接:你必须做出改变来支持如果工作区使用FIPS加密PrivateLink私人之间的连接端连接的经典数据平面在AWS帐户和砖的砖控制平面的帐户。

     其中的一个网络要求PrivateLink后端连接是创建一个单独的端点安全组,允许HTTPS / 443和双向访问TCP / 6666(和)工作区子网和端点子网本身。这种配置允许访问REST api(端口443)和安全集群连接(6666)。然后,您可以使用安全组的目的。

     为FIPS加密支持即将到来的变化,更新您的网络安全组另外允许双向访问为FIPS 2443端口连接。总组端口允许双向访问是443年,2443年和6666年。

   • 工作区没有PrivateLink端连接:如果工作区不使用PrivateLink私人连接端连接但工作区配置为限制境外网络访问,你需要让交通额外端点支持FIPS端点。

     为FIPS加密支持即将到来的变化,更新您的网络安全组(或防火墙)允许出境访问的数据平面FIPS控制飞机在端口2443上的连接。这是除了输出端口443访问你需要允许了。相关的相关信息安全组和防火墙配置customer-managed vpc,明白了安全组和配置防火墙和出站访问(可选)。

4. 如果任何工作都是在美国东部地区,美国西部地区,或加拿大(中央)地区,限制出站配置网络访问,你需要让交通其他端点支持FIPS端点。记住,如果你使用这些地区现在不限制的访问,如果你在未来限制的访问,您将需要重新审视这一步。

   S3服务,你必须确保你的经典数据平面网络AWS帐户允许外向交通AWS云服务的端点S3和FIPS变体S3服务的前缀s3-fips。这适用于S3服务而不是STS和运动的端点。

   • S3,允许输出流量的端点s3。<地区> .amazonaws.com和s3-fips。<地区> .amazonaws.com。例如s3.us -东- 1. - amazonaws.com和s3 fips.us -东- 1. amazonaws.com。

   • STS,允许输出流量的端点sts。<地区> .amazonaws.com。

   • 对于运动,使输出流量的端点运动。<地区> .amazonaws.com。

5. 每个工作区使用配置文件,运行以下测试来验证,这一改变是正确应用:

   1. 启动与司机和1的砖集群的工人,任何DBR版本,和任何实例类型。

   2. 创建一个笔记本连接到集群。使用这个集群为以下测试。

   3. 在笔记本上,验证DBFS连接通过运行:

      % fs ls / % sh ls / dbfs

      确认文件清单似乎没有错误。

   4. 在笔记本上,确认访问的控制平面的实例。从表中获得地址本节并寻找VPC的Webapp端点区域。

      % sh数控-zv < webapp-domain-name >443年

      例如,对于VPC地区us-west-2:

      % sh数控-zv oregon.cloud.www.neidfyre.com443年

      确认结果表示,它成功了。

   5. 在笔记本上,确认访问的SCC继电器。从表中获得地址本节并寻找VPC的SCC继电器端点区域。

      % sh数控-zv < scc-relay-domain-name >2443年

      例如,对于VPC地区us-west-1:

      % sh数控-zv tunnel.cloud.www.neidfyre.com2443年

      确认结果表示,它成功了。

   6. 在笔记本上,确认访问S3, STS,动作FIPS端点的地区。

      请注意

      这一步,FIPS为加拿大仅适用于S3服务端点。AWS尚未提供FIPS端点STS和运动。

      % sh数控-zv < bucket名> .s3-fips。<地区> .amazonaws.com443年% sh数控-zv sts。<地区> .amazonaws.com443年% sh数控-zv运动。<地区> .amazonaws.com443年

      例如,对于VPC地区us-west-1:

      % sh数控-zv acme -公司- bucket.s3 fips.us -西方- 1. - amazonaws.com443年% sh数控-zv sts.us -西方- 1. amazonaws.com443年% sh数控-zv kinesis.us -西方- 1. amazonaws.com443年

      确认所有三个命令的结果显示成功。

   7. 在相同的笔记本,验证集群配置火花点所需的端点。例如:

      > > > spark.conf.get(“fs.s3a.stsAssumeRole.stsEndpoint”)“sts.us -西方- 1. amazonaws.com”> > > spark.conf.get(“fs.s3a.endpoint”)“s3 fips.us -西方- 2. amazonaws.com”

6. 确认所有现有的集群和在所有受影响的工作区工作使用的实例类型支持的合规安全概要。确认或更改所有集群和就业的实例类型是下列之一:ca5,C5ad,C5n,C6gn,D3,D3en,G4ad,G4dn,i3en,i4i,M5dn,M5n,M5zn,P3dn,P4d,R5dn,R5n。

   以外的任何工作负载类型实例列表上面会导致集群/工作未能启动的invalid_parameter_exception。

功能和技术控制

的主要增强安全合规剖面影响砖AWS帐户中计算资源,也被称为典型的数据平面在AWS帐户。这些改进包括:

• 一个增强的磁盘映像(aCIS-hardenedUbuntu的优势AMI)。

• 集群自动重启后25天,得到最新的AMI的最新安全更新。

  重要的

  如果你使合规安全概要你的帐户或工作区,长时间运行的集群自动重启后25天。砖建议管理员重新启动集群可能竞选25天当启用安全性配置文件,这样做在一个预定的维护窗口。这样可以减少双方的风险破坏计划的工作。您可以使用一个脚本,砖规定,可以确定您的集群已运行多长时间,并选择重新启动它们。看到重新启动集群更新最新的图片。

• 安全监控代理生成日志,你可以检查。两个监控代理运行在计算资源(集群工人)在您的工作空间中典型的数据平面在AWS帐户。这适用于集群为笔记本电脑和工作,以及用于磁盘映像赞成或典型的SQL仓库。

• 强制使用AWS硝基在集群和砖SQL SQL仓库实例类型。实例类型仅限于那些提供hardware-implemented集群节点之间的网络加密和加密本地磁盘的安宁了。这适用于集群为笔记本电脑和工作以及赞成或典型的SQL仓库使用砖的SQL。支持的类型实例ca5,C5ad,C5n,C6gn,D3,D3en,G4ad,G4dn,i3en,i4i,M5dn,M5n,M5zn,P3dn,P4d,R5dn,R5n。

• 集群中的通讯和出口使用TLS 1.2加密或更高版本,包括连接到metastore。

• 集群是有限的安全合规资料支持的版本。砖限制了砖的运行时版本的UI,并为不支持的砖不允许API请求运行时版本。支持版本砖运行时7.3 LTS及以上。

• 盾牌标志出现在用户的导航栏图标在页面的左下角。看到确认合规安全配置文件启用一个工作区。

本文中讨论的数据平面增强仅适用于典型的数据平面在AWS帐户。

当启用安全合规概要文件时,砖不允许使用serverless SQL仓库,在共享中运行Serverless数据平面砖的帐户。

砖跑两个监控代理控制平面的砖AWS帐户:

• ClamAV杀毒

• Capsule8文件完整性监测

看到监控代理在砖计算图像。

磁盘映像与增强的硬化

虽然启用了安全合规概要,砖计算资源(集群工人图像)在你的经典数据平面上使用一个增强的操作系统映像的基础上Ubuntu的优势。Ubuntu的优势是企业安全的包和支持开源基础设施和应用程序包括以下:bob下载地址

• 一个顺式1级硬化的形象

• FIPS 140 - 2 1级验证加密模块

监控代理在砖计算图像

启用安全合规概要文件时,有额外的安全监控代理,包括两个代理中预装的图像用于砖计算资源的虚拟机。你不能禁用监控代理的增强的磁盘映像。

监控代理的管理和升级

额外的监控代理使用的磁盘映像的经典数据平面的计算资源升级系统的标准砖过程的一部分:

• 经典的数据平面基础磁盘映像(AMI)拥有,管理和修补砖。

• 砖提供和应用安全补丁发布新磁盘映像(ami)。交货时间表取决于发现漏洞的新功能和SLA。典型的交付是每2 - 4周。

• 数据平面的基本操作系统是Ubuntu 18.04 LTS优势。

• 砖集群和pro或经典SQL仓库默认是短暂的。发射后,集群和pro或经典SQL仓库使用最新的可用的基本形象。旧版本,新集群的安全漏洞是不可用。

  • 你是负责确保你没有长时间运行的集群。

  • 你负责重新启动集群定期(使用UI或API),以确保他们使用最新的补丁主机虚拟机镜像。

  • 砖可以共享的要求一个砖笔记本,列出了您的工作空间中运行的集群和标识主机超过指定数量的天,选择重新启动集群。

确认合规安全配置文件启用一个工作区

确认一个工作区使用合规安全性配置文件,检查它黄色盾牌标志显示在用户界面。盾牌标志出现在用户的导航栏图标在页面的左下角。

• 最初当导航栏图标显示为倒塌。

  • 如果您将鼠标悬停在图标和导航栏的扩张,盾牌图标也伴随着一个信息:“<工作空间名称>合规安全概要”。

检查是否启用后的任何现有的集群需要重启

工作区与安全性配置文件启用后,您需要重新启动之前创建的集群支持的时候使用安全性配置文件,以确保它是增强和控制。

如果您有许多集群运行,只想重新启动的开始实施之前,您可以使用该脚本确定开始时间之前启用日期。给定一个工作区URL,个人访问令牌访问REST api在这个工作区,启用日期/时间,这个脚本返回一个列表的集群启动和/或重启之前实施的时间戳。脚本输出集群ID和集群名称。

进口请求进口json#这笔记本需要用户级个人访问令牌。这应该是存储#在砖秘密的API(或相似的)和不应该硬编码在一个笔记本上。#使用砖CLI或API添加一个秘密。CLI的例子:# $砖秘密创建范围——YOUR_SCOPE_NAME范围# $砖秘密把YOUR_KEY_NAME——splunk_env范围键#配置范围和下面的键名。# = = = = = =更新下面的下面WORKSPACE_URL=“< WORKSPACE_URL_HERE >”令牌=dbutils。秘密。得到(范围=“YOUR_SCOPE_NAME”,关键=“YOUR_KEY_NAME”)#应该配置以下之一:WORKSPACE_ENABLEMENT_TIME_UTC_MILLIS= <TIME_IN_UTC>#注意,米尔斯,例如1651366230000WORKSPACE_ENABLEMENT_TIME_FORMATTED=没有一个-0000 #格式YYYY-MM-DD HH: MM: SS#例子“2022-06-01 15:01:01 -0700”# = = = = = =更新上面如果WORKSPACE_ENABLEMENT_TIME_FORMATTED! =没有一个:WORKSPACE_ENABLEMENT_TIME_UTC_MILLIS=datetime。strptime(WORKSPACE_ENABLEMENT_TIME_FORMATTED,“% Y - % m% d% H: % M: % S % z”)。时间戳()*1000年头={“授权”:“持票人”+令牌}url=WORKSPACE_URL+“/ api / 2.0 /集群/列表”响应=请求。请求(“获得”,url,头=头,数据={})集群=json。加载(响应。文本)[“集群”]need_restart=[]为c在集群:start_time=c(“start_time”]last_start=start_time如果“last_restarted_time”在c:last_start=马克斯(start_time,c(“last_restarted_time”])如果last_start< =WORKSPACE_ENABLEMENT_TIME_UTC_MILLIS:need_restart。附加((c(“cluster_id”),c(“cluster_name”)))如果(len(need_restart)= =0):打印(“所有集群已经重新启动{}”。格式(WORKSPACE_ENABLEMENT_TIME_UTC_MILLIS))其他的:打印(“下面的集群仍然需要重启留在合规”)为(id,的名字)在need_restart:打印(“集群{},{}”。格式(id,的名字))