安装从对象存储库

这篇文章将引导您完成所需的步骤在砖安装从云对象存储库。

你可以定制JAR和Python Whl库存储在云对象存储,而不是将它们存储在DBFS根。

重要的

UI库上传使用图书馆存储在DBFS根。所有工作空间用户有能力修改数据和文件存储在DBFS根。你可以避免这种利用云对象存储库,使用库包存储库,或者上传图书馆工作区文件。

加载对象存储库

你可以加载库对象存储相同的方式加载其他文件。你在云提供商必须有适当的权限来创建新对象存储容器对象或文件加载到云存储。

授予只读权限对象存储

砖建议的配置与图书馆相关的所有权限安装与只读权限。

砖允许您指定单个集群管理的安全权限访问数据对象存储在云。这些政策可以扩展添加只读访问云对象存储包含库。

请注意

你不能从对象存储加载库在使用集群共享访问模式。

砖建议使用谷歌云服务帐户管理访问库存储在gc。创建一个谷歌的云服务帐户存储对象查看器角色所需的水桶,将它附加到一个集群。看到访问GCS桶集群上使用谷歌云服务帐户

安装图书馆集群

安装一个图书馆云存储在对象存储集群,完成以下步骤:

  1. 从列表中选择一个集群的集群UI。

  2. 选择选项卡。

  3. 选择DBFS / gc选择。

  4. 提供完整的URI路径库对象(例如,g: / / bucket名/路径/ / library.whl)。

  5. 点击安装

你也可以安装库使用REST APICLI

库安装到笔记本

您可以使用%皮普安装自定义Python轮子存储在对象存储范围notebook-isolated SparkSession。要使用这种方法,您必须存储在公开可读的对象存储库或使用pre-signed URL。

看到Notebook-scoped Python库

请注意

Jar库不能安装在笔记本上。您必须安装Jar库集群级别。