安装云对象存储在砖上

山一桶使用AWS实例配置文件

您可以管理身份验证和授权使用AWS S3 bucket实例配置文件。访问对象的桶是由权限授予实例配置文件。如果这个角色有写访问,挂载点的用户可以编写桶中的对象。如果这个角色有读访问,挂载点的用户将能够阅读桶中的对象。

1. 配置您的集群实例配置文件。

2. 斗山。

   aws_bucket_name=“< aws-bucket-name >”mount_name=“< mount-name >”dbutils。fs。山(f“s3a: / /{aws_bucket_name}”,f“/ mnt /{mount_name}”)显示(dbutils。fs。ls(f“/ mnt /{mount_name}”))

   瓦尔AwsBucketName=“< aws-bucket-name >”瓦尔MountName=“< mount-name >”dbutils。fs。山(“s3a: / /美元AwsBucketName”,“/ mnt /美元MountName”)显示(dbutils。fs。ls(“/ mnt /美元MountName”))

山一桶使用AWS钥匙

您可以使用AWS山一桶的钥匙。

下面的例子使用砖秘密存储键。你URL必须逃跑秘密密钥。

access_key=dbutils。秘密。得到(范围=“aws”,关键=“aws-access-key”)secret_key=dbutils。秘密。得到(范围=“aws”,关键=“aws-secret-key”)encoded_secret_key=secret_key。取代(“/”,”% 2 f”)aws_bucket_name=“< aws-bucket-name >”mount_name=“< mount-name >”dbutils。fs。山(f“s3a: / /{access_key}:{encoded_secret_key}@{aws_bucket_name}”,f“/ mnt /{mount_name}”)显示(dbutils。fs。ls(f“/ mnt /{mount_name}”))

瓦尔AccessKey=dbutils。秘密。得到(范围=“aws”,关键=“aws-access-key”)/ /编码秘密密钥,可以包含“/”瓦尔SecretKey=dbutils。秘密。得到(范围=“aws”,关键=“aws-secret-key”)瓦尔EncodedSecretKey=SecretKey。取代(“/”,“% 2 f”)瓦尔AwsBucketName=“< aws-bucket-name >”瓦尔MountName=“< mount-name >”dbutils。fs。山(“s3a: / /美元AccessKey:美元EncodedSecretKey@美元AwsBucketName”,“/ mnt /美元MountName”)显示(dbutils。fs。ls(“/ mnt /美元MountName”))

山一桶的使用实例配置文件AssumeRole政策

您必须首先配置访问cross-account S3 bucket AssumeRole政策。

山桶而设置S3选项extraConfigs:

dbutils。fs。山(“s3a: / / < s3-bucket-name >”,“/ mnt / < s3-bucket-name >”,extra_configs={“fs.s3a.credentialsType”:“AssumeRole”,“fs.s3a.stsAssumeRole.arn”:“攻击:aws:我::< bucket-owner-acct-id >: / MyRoleB”角色,“fs.s3a.canned.acl”:“BucketOwnerFullControl”,“fs.s3a.acl.default”:“BucketOwnerFullControl”})

dbutils。fs。山(“s3a: / / < s3-bucket-name >”,“/ mnt / < s3-bucket-name >”,extraConfigs=地图(“fs.s3a.credentialsType”- >“AssumeRole”,“fs.s3a.stsAssumeRole.arn”- >“攻击:aws:我::< bucket-owner-acct-id >: / MyRoleB”角色,“fs.s3a.canned.acl”- >“BucketOwnerFullControl”,“fs.s3a.acl.default”- >“BucketOwnerFullControl”))

使用SSE-S3写文件

1. 山与SSE-S3 S3 bucket,运行以下命令:

   dbutils。fs。山(“s3a: / /美元AccessKey:美元SecretKey@美元AwsBucketName”,“/ mnt /美元MountName”,“sse-s3”)

2. 写文件到相应的S3 bucket SSE-S3,运行:

   dbutils。fs。把(“/ mnt /美元MountName”,“<文件内容>”)

使用SSE-KMS写文件

1. 山源目录传入sse-kms或sse-kms: $ KmsKey作为加密类型。

   • 增加你的S3 bucket SSE-KMS使用默认公里主键,运行:

     dbutils。fs。山(“s3a: / /美元AccessKey:美元SecretKey@美元AwsBucketName”,“/ mnt /美元MountName”,“sse-kms”)

   • 增加你的S3 bucket SSE-KMS使用特定公里键,运行:

     dbutils。fs。山(“s3a: / /美元AccessKey:美元SecretKey@美元AwsBucketName”,“/ mnt /美元MountName”,“sse-kms: KmsKey美元”)

2. 写文件与SSE-KMS S3 bucket,运行:

   dbutils。fs。把(“/ mnt /美元MountName”,“<文件内容>”)

S3 bucket砖提交服务

如果你打算写一个给定表存储在S3中同时从多个集群或工作负载,砖建议你配置数据砖S3提交服务。你的笔记本代码必须装入桶和添加AssumeRole配置。这一步是必要的只有DBFS坐骑,不是用于访问根DBFS存储在您的工作区内的根S3 bucket。下面的例子使用Python:

#如果其他代码已经登上斗不使用新的角色,先卸载它dbutils。fs。卸载(“/ mnt / < mount-name >”)#挂载桶和承担新的角色dbutils。fs。山(“s3a: / / < bucket名> /”,“/ mnt / < mount-name >”,extra_configs={“fs.s3a.credentialsType”:“AssumeRole”,“fs.s3a.stsAssumeRole.arn”:“< role-arn >”})