从砖AWS安全地访问外部数据源

通过Itai韦斯

2019年3月8日, 在产品

分享这篇文章

砖统一的分析平台,由最bob体育亚洲版初的创造者Apache火花bob体育客户端下载^TM,带来了数据工程师,科学家和业务分析师和数据在一个平台。bob体育客户端下载它允许他们合作,创造下一代的创新产品和服务。为了创建所需的分析这些下一代产品,科学家和工程师需要访问各种数据源的数据的数据。除了云中的数据块存储如S3,他们需要这些数据通常是位于数据库等服务,甚至来自位于不同的vpc流数据来源。

安全地连接到“non-S3”外部数据源

出于安全目的,砖Apache火花集群部署在一个孤立的VPC致力于砖在客户的帐户。为了运行数据的工作负载,需要砖火花的集群之间的安全连接,上面的数据源。

是简单的砖集群位于砖VPC访问数据从AWS S3不是VPC特定的服务。然而,我们需要一个不同的解决方案来访问数据来源等其他vpc部署在AWS红移,RDS数据库、流数据从动作或卡夫卡。这个博客将指导您完成一些可用的选项来访问数据安全地从这些来源和成本考虑部署在AWS上。为了建立一个安全连接,这些数据源,我们将配置数据砖VPC与以下两个选项之一:

选项1:VPC凝视

砖集群之间的安全连接和其他non-S3外部数据源可以建立使用VPC凝视。AWS VPC凝视定义为“两个VPC之间的网络连接,使它们之间路由流量使用私人IPv4地址或IPv6地址”。更多细节见AWS文档在这里。

选择VPC凝视选项时,必须考虑下列因素:

VPC凝视时更容易和更合适的有几个资源应该视线VPC之间的沟通。当有一个高度的国际米兰VPC沟通,VPC凝视会推荐的选项。
VPC托管其他必须有一个“non-S3数据源”CIDR范围不同于砖VPC的CIDR范围或任何其他CIDR范围包括砖VPC的主要目的地路由表
VPC凝视有规模的局限性。请检查AWS的文档最新的。
定价的考虑:
- 同一地区定价:如果VPC VPC对等连接在同一地区,在VPC对等连接传输数据的数据传输费是一样的可用性区域。
- 不同地区的价格:如果vpc在不同地区,开放型数据传输费用申请。
- 准确和最新价格,请参考AWS的文档。

这里情况的一个例子VPC凝视选择是理想,你的任务是创建一个数据表,将卡夫卡集群和存储的数据聚合结果极光数据库都位于同一VPC砖VPC的外部。假设没有其他安全限制,您可以使用VPC凝视砖VPC之间的连接和外部VPC数据源所在地,然后连接到两个来源。

选项2:AWS Privatelink

第二个选项可用与non-S3数据源将使用AWS Privatelink。AWS定义PrivateLink作为一种服务,它提供了私人之间的连通性vpc, AWS服务,和本地应用程序,在亚马逊网络安全。AWS PrivateLink简化了数据共享和基于云的应用程序的安全通过消除数据到公共网络的接触。”

必须考虑下列因素而选择Privatelink选项:

Privatelinks整体更容易设置和更适合VPC的关系有以下安全需求:
- 每个Privatelink只能连接到一个单一的服务
- 很容易找出哪些服务/端口开放砖服务
- 每个服务可以单独控制的访问
通过应用源AWS Privatelink支持重叠CIDR范围NAT从消费者到AWS Privatelink的提供者
虽然,AWS Privatelink每VPC可以扩展到成千上万的消费者,在任何时候只有一个Privatelink可以配置
AWS Privatelink只允许数据使用者产生连接的数据提供者。如果需要双向通信,VPC凝视或使用者和提供者之间的互惠AWS Privatelink可能是必需的。
AWS Privatelink继承的设计考虑网络负载平衡器(NLB)。例如,nlb只支持TCP和连接从消费者提供者通过NAT来源可防止应用程序识别消费者的IP地址。
定价考虑:
- 数据处理费用申请每个字节处理VPC端点不管流量的源或目标
- 数据可用性区域之间转移,或通过直接连接端点和前提之间也会产生通常的EC2区域和直接连接数据传输费用。看到AWS PrivateLink定价。