安装从对象存储库

这篇文章将引导您完成所需的步骤在砖安装从云对象存储库。

你可以定制JAR和Python Whl库存储在云对象存储,而不是将它们存储在DBFS根。

重要的

UI库上传使用图书馆存储在DBFS根。所有工作空间用户有能力修改数据和文件存储在DBFS根。你可以避免这种利用云对象存储库,使用库包存储库,或者上传图书馆工作区文件。

加载对象存储库

你可以加载库对象存储相同的方式加载其他文件。你在云提供商必须有适当的权限来创建新对象存储容器对象或文件加载到云存储。

授予只读权限对象存储

砖建议的配置与图书馆相关的所有权限安装与只读权限。

砖允许您指定单个集群管理的安全权限访问数据对象存储在云。这些政策可以扩展添加只读访问云对象存储包含库。

请注意

你不能从对象存储加载库在使用集群共享访问模式。

砖建议使用实例配置文件来管理访问库存储在S3。交叉引用中使用下面的文档链接到完成这个设置:

  1. 创建一个与阅读我的角色和权限列表所需的木桶。看到S3访问配置实例配置文件

  2. 启动一个集群实例配置文件。看到启动与实例的计算资源

安装图书馆集群

安装一个图书馆云存储在对象存储集群,完成以下步骤:

  1. 从列表中选择一个集群的集群UI。

  2. 选择选项卡。

  3. 选择DBFS / S3选择。

  4. 提供完整的URI路径库对象(例如,s3: / / bucket名/路径/ / library.whl)。

  5. 点击安装

你也可以安装库使用REST APICLI

库安装到笔记本

您可以使用%皮普安装自定义Python轮子存储在对象存储范围notebook-isolated SparkSession。要使用这种方法,您必须存储在公开可读的对象存储库或使用pre-signed URL。

看到Notebook-scoped Python库

请注意

Jar库不能安装在笔记本上。您必须安装Jar库集群级别。