配置使用kMS加密s3

文章覆盖如何配置服务器端加密并用kMS密钥写文件s3a/路径选择加密工作空间rootS3桶见客户托管工作空间存储密钥.

步骤1:配置实例剖析

数据键创建实例剖析.

步骤2:添加实例剖析解为KMS密钥用户配置

  1. AWS系统使用KMS服务

  2. 点击您想要添加权限的密钥

  3. 键用户部分点击添加.

  4. 选择IAM角色旁边的复选框

  5. 点击添加.

步骤3:建立加密属性

全局KMS加密属性spark配置设置或使用init脚本.配置spark.hadoop.fs.s3a.server-side-encryption.key密钥ARN

spark配置

spark.hadoop.fs.s3a.server-side-encryption.key arn:ss:kms:
                
                 :
                 
                  键/
                  
                 
                spark.hadoop.fs.s3a.server-side-encryption-algorithm SSE-KMS

可配置单桶KMS加密举个例子,您可使用下列密钥逐个配置桶 :

# 搭建认证端点spark.hadoop.fs.s3a.bucket.
                
                 .aws.credentials.provider
                 
                spark.hadoop.fs.s3a.bucket.
                
                 .endpoint
                 
                #配置不同的KMS加密密钥spark.hadoop.fs.s3a.bucket.
                
                 .server-side-encryption.key

更多信息见包配置.

init脚本

全局加密设置配置笔记本单元格运行下代码创建 init脚本set-kms.sh并配置集群运行脚本

丁基.fs系统.贴上高山市"/databricks/scripts/set-kms.sh",...#!/bin/bashcat >/databricks/driver/conf/aes-encrypt-custom-spark-conf.conf <
                
                 {driver}{
                 "spark.hadoop.fs.s3a.server-side-encryption.key" = "arn:aws:kms:
                  
                   :
                   
                    键/
                    
                     ...
                    
                   
                  
                 "spark.hadoop.fs.s3a.server-side-encryption-algorithm" = "SSE-KMS"
                 }
                 EOL系统
                 ...
                 ,
                 真实性
                 )

校验加密工作后 配置所有集群加密 向集群策略添加集群切入脚本