Cluster-named和集群级init脚本迁移笔记本

容易cluster-named和集群级init脚本迁移到集群级init脚本作为工作区存储文件。

写的亚当Pavlacka

去年发表在:2023年7月17日

2023年9月1日,砖将禁用所有工作区cluster-named init脚本。这种类型的init脚本之前弃用,不会使用后9月1日,2023年。取而代之的是Cluster-named init脚本2018年8月集群级init脚本。集群级init脚本存储为工作区文件继续支持。

砖建议您cluster-named init脚本迁移到集群级init脚本存储为工作区文件尽快。

您可以手动迁移cluster-named init脚本集群级init脚本(AWS|Azure)通过消除他们从保留DBFS路径/砖/ init / <集群名称>和存储他们的工作区文件(AWS|Azure)。存储为工作区文件后,您可以配置集群级的init脚本初始化脚本。init脚本迁移后,你应该禁用遗留cluster-named init脚本的工作区(AWS|Azure)。

另外,砖工程创造了一个笔记本,帮助迁移过程自动化。

这个笔记本做以下:

  • Cluster-named init脚本在工作区中迁移集群级init脚本作为工作区存储文件。
  • Cluster-named init脚本在工作区中被禁用。
  • 集群级init脚本存储在工作区中DBFS迁移到集群级init脚本作为工作区存储文件。

删除

信息

Cluster-named init脚本从未GCP工作区上可用。集群级DBFS init脚本是用于GCP工作区和应该迁移到集群级init脚本作为工作区存储文件。你可以运行这个笔记本GCP工作区迁移现有集群级init脚本从DBFS工作区文件。

指令

删除

警告

你必须是一个砖管理员运行此迁移笔记本。

先决条件

你必须运行此迁移笔记本使用砖集群上运行时11.3 LTS或以上。

您应该使用裸集群(没有附加init脚本)来运行这个迁移笔记本,随着迁移过程可能会迫使所有修改的重新启动集群。

在运行迁移笔记本之前,你需要范围的名字和秘密的名字你的个人访问令牌。

有关更多信息,请查看创建一个Databricks-backed秘密范围(AWS|Azure|GCP)和创建一个秘密Databricks-backed范围(AWS|Azure|GCP)文档。

删除

信息

如果集群所有者不再存在于砖工作区,集群可能无法重新启动后的初始化脚本迁移。在这种情况下,您将看到一个PERMISSION_DENIED错误消息。

错误:PERMISSION_DENIED:用户标识:183738271817178在工作区中不存在用户183738271817178在工作区中不存在了

为了防止这种情况的发生,你应该确保集群的所有者是当前用户工作区。你可以更新集群业主使用改变集群所有者API(AWS|Azure|GCP)。

做一个排练

执行一个干运行允许您测试工作区中的迁移的笔记本,没有做任何修改。

  1. 下载迁移cluster-named和集群级init脚本笔记本。
  2. 导入笔记本到您的工作空间中。
  3. 把笔记本一个集群。
  4. 运行笔记本。
  5. UI屏幕出现运行笔记本后,连同最后一个命令失败的一个警告。这是正常的。
  6. 确保排练被设置为真正的和新位置被设置为工作区文件。
    默认配置设置。
  7. 进入范围名称和秘密的名字到相应的字段。
  8. 运行笔记本。
  9. 演习的结果出现在笔记本的底部的输出。
    从迁移笔记本干运行输出示例。

迁移您的init脚本

  1. 运行迁移cluster-named和集群级init脚本笔记本。
  2. UI屏幕出现运行笔记本后,连同最后一个命令失败的一个警告。这是正常的。
  3. 在新位置下拉菜单中,选择工作区文件。
  4. 进入范围名称和秘密的名字到相应的字段。
  5. 开始迁移通过选择假在排练下拉菜单。
  6. 笔记本自动回放录像时的价值排练是改变。


笔记本运行完成后,你的所有cluster-named init脚本迁移到集群级init脚本作为工作区存储文件。你所有的集群级init脚本存储在DBFS迁移集群级init脚本作为工作区存储文件。

验证迁移的init脚本

迁移后的init脚本搬到工作区:/ init脚本/ <集群名称> / < original-script-name >。

Cluster-named init脚本

Cluster-named init脚本配置为集群级init脚本在相应的集群配置。

在工作区Cluster-named init脚本被禁用。他们不应该再使用。

集群级init脚本

集群级init脚本在DBFS现在作为工作区存储文件。相应的集群配置自动更新。

权限

因为工作区文件acl,迁移集群级init脚本现在属于管理迁移的笔记本。

您必须确保权限设置正确的迁移集群级init脚本如果你想要其他用户能够运行和/或编辑init脚本。

这篇文章有用吗?