Azure Databricks -自带VNET

Azure砖bob体育亚洲版统一分析平台是Datbob体育客户端下载abricks和微软联合产品/工程努力的结果。它作为托管的第一方服务在Azure公共云上可用。除了一键式设置(手动/自动)，集群管理(包括δ),协作工作空间该平台与其他bob体育客户端下载Azure第一方服务进行了本地集成，例如Azure Blob存储, Azure数据湖存储(Gen1/代)，Azure SQL数据仓库，Azure Cosmos DB，Azure事件中心，Azure数据工厂等等，而且名单还在不断增加。

此外，该平台建立在强大的安全基础上，bob体育客户端下载提供本地集成Azure活动目录(AAD);并符合主要安全认证，如ISO 27001, SOC 2 Type 2, HIPAA等。该服务受到Microsoft sla和支持的支持。

在这篇博客中，我们将概述Azure Databricks平台架构，以及如何在自己管理的集群中部署集群bob体育客户端下载Azure联接．

bob体育客户端下载平台架构

Azure Databricks是一个管理应用程序，由两个高级组件组成:

• 控制平面-一个管理层，位于Microsoft-managedAzure订阅，由集群管理器、web应用程序、作业服务等服务组成。每个服务都有自己的机制来根据工作空间标识符隔离处理、元数据和资源，然后使用该标识符执行每个请求。
• 数据平面-由一个锁定的虚拟网络(Azure联接)中创建的customer-managedAzure订阅。所有集群都是在该VNET中创建的，任何数据处理都是在客户管理的源中进行的。

bob体育客户端下载平台架构—在默认部署模式下(上图)，数据平面VNET和网络安全组(NSG)由微软管理，尽管这些是在客户的订阅中提供的。这些资源被“锁定”，不受客户的任何更改，类似于其他Azure第一方服务的操作方式。目标是使其易于使用，并避免用户进行非预期的更改。

用户可以使用Azure databicks -specific对等其他Azure云vnetVNET凝视特性，但是通过ExpressRoute或者一个VPN网关在此部署模式下不可能实现(请进一步阅读如何实现该连接)。

自带VNET

尽管默认部署模式适用于许多企业，但许多企业客户希望更多地控制业务网络配置，以遵守内部云/数据治理策略和/或遵守外部法规，和/或进行网络定制，例如:

• 将Azure Databricks集群安全地连接到其他Azure数据服务Azure服务端点
• 将Azure Databricks集群连接到部署在私有/共址数据中心(本地)的数据源
• 仅将Azure Databricks集群的出站流量限制到特定的Azure数据服务和/或外部端点
• 配置要使用的Azure Databricks集群定制的DNS
• 配置自定义CIDR范围的Azure Databricks集群
• 和更多的

为了实现上述目标，我们提供了一个自带VNET(也称为VNET注入)特性，允许客户在自己管理的VNET中部署Azure Databricks集群(数据平面)。这样的工作空间可以使用Azure门户，或以自动的方式使用手臂模板，可以使用Azure CLI，Azure Powershell，Azure Python SDK等。

有了这个功能，Databricks工作区NSG也由客户管理。我们经营一套入站和出站NSG规则使用网络意图策略，因为这些是与控制/管理平面进行安全的双向通信所必需的。具有预置bob体育客户端下载连接(可选)的平台架构如下所示:

使用自带VNET/VNET注入功能，您可以配置:

• 连接到本地数据源(需要白名单的Databricks控制平面流量使用Azure一起使用）
• 通过防火墙设备/服务的出站流量路由
• 将Azure Databricks子网配置为Azure Blob存储，Azure数据湖存储，Azure SQL数据仓库等防火墙规则中的源-需要Azure服务端点
• 还有之前讨论过的其他事情。

这允许客户遵守各种内部和外部安全策略和框架，同时保持服务的PaaS性质，从而提供与默认部署模式相同的托管平台的易用性。bob体育客户端下载

该特性今天已在所有Azure Databricks区域发布了完整的生产sla。一般可用性很快就会出现。

试一试!

• 如果您还没有使用Azure Databricks，可以按照以下步骤进行尝试这些方向．