S3存取临时会话证书

提取会话证书并用S3存储 S3AURI数据键运行时间8.3和8.3以上

写由Gobinath.Viswanathan

2023年5月30日

可使用带hadoop配置支持的会话令牌访问Databricks Runtime 8.3

删除

信息学

使用会话证书时无法以DBFS挂载方式挂载 s3路径 。您必须使用S3AURI

从集群提取会议证书

从集群提取会议证书

您需要实例剖析取自集群可见下方高级选项集群配置

使用curl显示存取键,密取密钥并令牌.

scurl http://169.254.169ODART/meta-data/iam/security-

或选用ython脚本

ython导入请求导入json响应ms.get
          
           证书=响应json打印

IP地址不应修改169.251.694是一个本地链接地址,仅从实例有效

删除

信息学

只能从标准集群提取会话令牌高并发集群不工作

会话证书笔记本使用

会话证书输入笔记本使用

ython存取键=
          
           秘密=
           
            令牌=
            
             "  sc._jsc.hadoopConfiguration().set("fs.s3a.aws.credentials.provider", "org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider")  sc._jsc.hadoopConfiguration().set("fs.s3a.access.key", AccessKey )  sc._jsc.hadoopConfiguration().set("fs.s3a.secret.key", Secret)  sc._jsc.hadoopConfiguration().set("fs.s3a.session.token", Token)

会话证书载入笔记本后,S3桶中可存取文件并存S3AURI

spythondbutils.fs.ss
          
           /.)

session证书分组配置

可把会议证书加到集群spark配置.这使得集群上所有笔记本都可访问

fs.s3a.aws.credentials.provider org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider  fs.s3a.access.key
          
           fs.s3a.secret.key
           
            fs.s3a.session.token


文章有帮助吗