某些用例需要您安装库从私人PyPI存储库。

如果你从一个公共库安装,你应该检查库文件。

本文向您展示如何配置一个PyPI init脚本验证和下载例子从一个私人库库。

创建初始化脚本

1. 创建(或验证)一个目录来存储init脚本。< init-script-folder >文件夹的名称存储你的init脚本。

   dbutils.fs.mkdirs (“dbfs: /砖/ < init-script-folder > /”)

2. 创建初始化脚本。

   dbutils.fs.put(“/砖/ < init-script-folder > / private-pypi-install。sh”、“”“# !/bin/bash /砖/ python / bin / pip安装——index-url = https:// $ {< repo-username >}: $ {< repo-password >} @ < private-pypi-repo-domain-name >私人医疗服务= = <版本>”“”,真的)

3. 验证您的init脚本存在。

   显示器(dbutils.fs.ls (“dbfs: /砖/ < init-script-folder > / private-pypi-install.sh”))

安装一个集群级init脚本

安装初始化脚本,您刚刚创建集群级init脚本。

你需要的完整路径的脚本的位置(dbfs: /砖/ < init-script-folder > / private-pypi-install.sh)。

重新启动集群

安装后重新启动集群init脚本。

一旦集群启动,确认它成功安装自定义库从私人PyPI库。

如果没有安装自定义库,仔细检查你的用户名和密码设置为私人PyPI库在init脚本。

集群使用init脚本工作

一旦init脚本创建和验证工作,包括它create-job.json文件在使用乔布斯API集群开始工作。

{“cluster_id”:“1202 - 211320 brick1”、“num_workers”: 1、“spark_version”:“< spark-version >”,“node_type_id”:“<节点类型>”,“cluster_log_conf”: {" dbfs ":{“目的地”:“dbfs: / cluster-logs}},“init_scripts”: [{“dbfs”:{“目的地”:“dbfs: / / < init-script-folder > / private-pypi-install砖。上海“}}}