生成是一个客户端库,允许您从任何执行所有AWS S3操作机器。

生成并不是默认安装在砖集群。你必须安装它通过集群级init脚本可以使用之前。

创建初始化脚本

在笔记本中运行这个示例脚本创建集群的init脚本。

% python dbutils.fs.put (“dbfs: /砖/ < path-to-init-script > / s3cmd-init。sh”、“”“# !/bin/bash #目的:生成安装和配置sudo apt-get - y安装生成猫> /root/.s3cfg < < EOF access_key = $ access_key secret_key = $ secret_key EOF生成ls”“”,真的)

记得init脚本的路径。你需要它在配置集群。

配置初始化脚本

按照文档配置一个集群级init脚本。

指定init脚本的路径。使用相同的路径,你使用的示例脚本(dbfs: /砖/ <目录> / s3cmd-init.sh)。

秘密添加环境变量

避免直接在init脚本存储机密。相反,存储路径环境变量的一个秘密。

ACCESS_KEY ={{秘密/ < scope-name > / <秘密名字>}}SECRET_KEY ={{秘密/ < scope-name > / <秘密名字>}}

配置环境变量后,init脚本可以使用它们。

重新启动集群

在配置init脚本之后,重新启动集群。

您现在可以使用生成在笔记本电脑% sh神奇的命令。