查询亚马逊使用砖红移

验证S3和红移

数据源包括多个网络连接,见下图:

┌───────┐┌───────────────────> S3││<─────────────────┐│我或键└───────┘我或键││^││││我或键v v┌──────v────┐┌────────────┐┌───────────┐│┌──────────┴┐│红移││火花│││火花│││<──────────>││司机<────────> |执行人│└────────────┘└───────────┘└───────────┘JDBC与配置用户名/密码火花(默认启用SSL)

数据源读取和写入数据传输数据时S3 /红移。因此,它需要AWS凭证与读和写访问一个S3 bucket(指定使用tempdir配置参数)。

以下部分描述每个连接的身份验证配置选项:

加密

• 确保JDBC:除非存在任何SSL-related设置JDBC URL,也默认数据源支持SSL加密和验证红移服务器是值得信赖的(也就是说,sslmode = verify-full)。,从亚马逊服务器自动下载服务器证书第一次。如果失败,预捆绑的证书文件作为后备。这适用于红移和PostgreSQL JDBC驱动程序。介绍了自动SSL配置2.1.1-db4集群形象(不支持);之前的版本并不自动配置SSL和使用默认的JDBC驱动程序的配置(SSL禁用)。

  这个功能有问题,或者你只是想禁用SSL,您可以调用.option (“autoenablessl”,“假”)在你的DataFrameReaderorgydF4y2BaDataFrameWriter。

  如果你想指定自定义SSL-related设置,您可以按照红移的说明文档:在Java中使用SSL和服务器证书和JDBC驱动程序的配置选项任何SSL-related选项出现在JDBCurl优先考虑使用数据源(即自动配置不会触发)。

• 加密存储在S3中卸载数据(数据存储当阅读从红移):根据红移的文档卸载数据S3”,自动卸载加密数据文件使用Amazon S3服务器端加密(SSE-S3)。”

  红移也支持与自定义客户端加密密钥(见:卸载加密的数据文件),但缺乏能力的数据源指定所需的对称密钥。

• 加密存储在S3中复制数据(数据存储在写红移):根据红移的文档从Amazon S3加载加密的数据文件:

您可以使用复制命令加载数据文件上传与AWS-managed Amazon S3使用服务器端加密加密密钥(SSE-S3或SSE-KMS),客户端加密,或两者兼而有之。复制不支持Amazon S3与客供服务器端加密密钥(SSE-C)。

使用此功能,配置您的Hadoop文件系统使用S3Amazon S3加密。这将不加密清单写文件,其中包含所有文件的列表。

参数

火花中提供的参数映射或选择SQL支持以下设置:

jdbc: subprotocol: / / <主机>:<口> /数据库?用户= <用户名>密码= <密码>

配置字符串列的最大大小

在创建红移表时,默认行为是创建文本列字符串列。红移的商店文本列如VARCHAR (256),所以这些列的最大大小是256字符(源)。

支持更大的列,可以使用最大长度列元数据字段指定单个字符串的最大长度列。这也是有用的实现节省空间的性能优化,宣布与最大长度小于默认列。

df=…# dataframe你会想写红移#指定自定义每一列的宽度columnLengthMap={“language_code”:2,“country_code”:2,“url”:2083年,}#每一列元数据应用定制为(colName,长度)在columnLengthMap。iteritems():元数据={最大长度的:长度}df=df。withColumn(colName,df(colName]。别名(colName,元数据=元数据))df。写\。格式(“com.databricks.spark.redshift”)\。选项(“url”,jdbcURL)\。选项(“tempdir”,s3TempDirectory)\。选项(“数据表”,sessionTable)\。保存()

进口org。apache。火花。sql。类型。MetadataBuilder/ /指定自定义每一列的宽度瓦尔columnLengthMap=地图(“language_code”- >2,“country_code”- >2,“url”- >2083年)vardf=…/ / dataframe你会想写红移/ /每一列元数据应用定制columnLengthMap。foreach{情况下(colName,长度)= >瓦尔元数据=新MetadataBuilder()。putLong(“最大长度”,长度)。构建()df=df。withColumn(colName,df(colName)。作为(colName,元数据))}df。写。格式(“com.databricks.spark.redshift”)。选项(“url”,jdbcURL)。选项(“tempdir”,s3TempDirectory)。选项(“数据表”,sessionTable)。保存()

设置一个自定义列类型

如果你需要手动设置列类型,您可以使用redshift_type列元数据。例如,如果您希望覆盖火花SQL模式- >红移SQL类型匹配器来分配一个用户定义的列类型,您可以执行以下操作:

#指定自定义类型的每一列columnTypeMap={“language_code”:“CHAR (2)”,“country_code”:“CHAR (2)”,“url”:“BPCHAR (111)”,}df=…# dataframe你会想写红移#每一列元数据应用定制为(colName,colType)在columnTypeMap。iteritems():元数据={“redshift_type”:colType}df=df。withColumn(colName,df(colName]。别名(colName,元数据=元数据))

进口org。apache。火花。sql。类型。MetadataBuilder/ /指定自定义类型的每一列瓦尔columnTypeMap=地图(“language_code”- >“CHAR (2)”,“country_code”- >“CHAR (2)”,“url”- >“BPCHAR (111)”)vardf=…/ / dataframe你会想写红移/ /每一列元数据应用定制columnTypeMap。foreach{情况下(colName,colType)= >瓦尔元数据=新MetadataBuilder()。putString(“redshift_type”,colType)。构建()df=df。withColumn(colName,df(colName)。作为(colName,元数据))}

配置列编码

当创建一个表,使用编码列元数据字段指定为每个列(见压缩编码亚马逊文档可用的编码)。

设置列上的描述

红移列可以有附加的描述,应该出现在大多数查询(使用工具评论命令)。你可以设置描述列元数据字段指定一个描述单个列。

查询下推到红移

火花优化器将以下运营商分成红移:

• 过滤器

• 项目

• 排序

• 限制

• 聚合

• 加入

在项目和过滤器它支持以下表达式:

• 大多数布尔逻辑运算符

• 比较

• 基本的算术运算

• 数字和字符串类型转换

• 多数字符串函数

• 标量子查询,如果他们完全可以下推到红移。

在聚合它支持以下聚合函数:

• AVG

• 数

• 马克斯

• 最小值

• 总和

• STDDEV_SAMP

• STDDEV_POP

• VAR_SAMP

• VAR_POP

结合截然不同的条款,适用。

在加入它支持以下类型的连接:

• 内心的加入

• 左外加入

• 正确的外加入

• 左半加入

• 左反加入

• 子查询重写成加入通过优化器。在哪里存在,在哪里不存在

查询的叠加可能最有益限制。一个查询等选择*从large_redshift_table限制10可能需要很长时间,因为整个表将首先被卸载S3作为中间结果。叠加,限制执行在红移。与聚合查询,将聚合分解成红移也有助于减少需要传输的数据量。

查询下推到红移是默认启用。它可以通过设置禁用spark.databricks.redshift.pushdown来假。即使残疾,火花仍然推过滤器和执行列消除分成红移。

一般背景红移和S3属性

红移事务担保一般信息,请参阅管理并发写操作章的红移的文档。简而言之,红移可序列化的隔离根据文档的红移开始命令:

(虽然)您可以使用任何的四个事务隔离级别,亚马逊红移处理所有隔离级别是可序列化的。

根据红移的文档:

亚马逊支持一个默认的红移自动提交行为,每个separately-executed SQL命令单独提交。

因此,个人的命令复制和卸载原子和事务,而显式开始和结束应该只需要执行多个命令或查询的原子性。

当读取或写入红移,在S3中读取和写入数据的数据源。火花和红移产生分区的输出并将其存储在S3的多个文件。根据Amazon S3数据一致性模型文档,S3 bucket清单操作最终一致性的,所以必须去特别的文件长度,避免丢失或不完整的数据由于最终一致性的来源。

保证红移数据源的火花

S3 bucket和红移集群不同的AWS区域

默认情况下,S3 < - >红移副本不工作如果S3 bucket和红移在AWS不同区域集群。

如果你尝试读一个红移表S3 bucket时在不同的地区,你会看到一个错误,如:

错误:S3ServiceException: S3 bucket解决不同地区的查询从这个集群。PermanentRedirect地位301年,错误。

同样,试图编写使用S3 bucket红移在不同的地区可能会导致以下错误:

错误:问题阅读清单文件——S3ServiceException: S3 bucket解决不同地区的查询从这个集群。PermanentRedirect地位301年,错误

• 写道:红移复制命令支持的明确规范S3 bucket地区,所以你可以写在这些情况下通过添加红移正常工作地区“the-region-name”到extracopyoptions设置。例如,一桶在美国东部(弗吉尼亚州)地区和Scala API,使用:

  。选项(“extracopyoptions”,“地区us-east-1”)

  或者可以使用awsregion设置:

  。选项(“awsregion”,“us-east-1”)

• 写着:红移卸载命令还支持S3 bucket地区的明确规范。你可以读通过增加该地区的正常工作awsregion设置:

  。选项(“awsregion”,“us-east-1”)

意想不到的S3ServiceException凭证错误当你使用S3实例配置文件进行身份验证

如果您使用的是实例配置文件验证S3和接收一个意想不到的S3ServiceException错误,检查是否AWS访问中指定键tempdirS3 URI, Hadoop配置,或任何来源检查DefaultAWSCredentialsProviderChain:那些资源优先于实例配置文件凭证。

错误消息,这是一个样品可以的症状钥匙不小心将优先于实例配置文件:

com.amazonaws.services.s3.model。一个mazonS3Exception: The AWS Access Key Id you provided does not exist in our records. (Service: Amazon S3; Status Code: 403; Error Code: InvalidAccessKeyId;

身份验证错误当使用一个密码与JDBC url中的特殊字符

如果你是提供用户名和密码作为JDBC url的一部分和密码包含特殊字符,如;,吗?,或&,你可能会看到以下例外:

java.sql。SQLException: [Amazon](500310) Invalid operation: password authentication failed for user 'xyz'

这是由于特殊字符的用户名或密码不正确逃脱的JDBC驱动程序。一定要使用相应的DataFrame指定用户名和密码的选项用户和密码。有关更多信息,请参见参数。

长时间运行的火花查询挂下去即使相应的红移操作就完成了

如果你是读或写大量的数据从红移,火花查询可能无限期挂,即使AWS红移监测页面显示相应的负载orgydF4y2Ba卸载操作已完成,集群是空闲的。这是由于红移之间的联系和引发超时。为了避免这种情况,确保tcpKeepAlive启用JDBC国旗TCPKeepAliveMinutes被设置为一个较低的值(例如,1)。

有关更多信息,请参见亚马逊红移JDBC驱动程序的配置。

时间戳和时区的语义

在读取数据时,两个红移时间戳和TIMESTAMPTZ数据类型映射到火花TimestampType,和一个值转化为协调世界时(UTC)和存储为UTC时间戳。对于一个红移时间戳假设,当地时区值没有任何时区信息。写数据到一个红移表时,火花TimestampType映射到红移时间戳数据类型。