用dbx同步本地文件与远程实时工作区

dbx同步开发工作流程

有两个开发工作流dbx同步,一个DBFS和另一个砖回购。

典型的开发流程dbx同步和DBFS是:

1. 确定一个本地目录,其中包含您想要同步的文件DBFS。

2. 确定你想要的路径DBFS同步(或者让你当地的目录dbx同步为你创建一个默认DBFS路径)。

3. 运行dbx同步dbfs同步你的本地目录DBFS路径。dbx同步开始看您的本地目录的任何文件更改。

4. 根据需要更改文件在您的本地目录。dbx同步这些变化适用于相应的实时DBFS路径中的文件。

典型的开发流程dbx同步和砖回购是:

1. 创建一个存储库和一个Git提供者砖回购协议的支持,如果你已经没有可用的存储库。

2. 克隆回购到砖工作区中。

3. 克隆回购到本地开发的机器。

4. 运行dbx同步回购把当地的克隆回购和工作区克隆回购。dbx同步开始看您的本地目录的任何文件更改。

5. 更改文件在您的本地克隆回购。dbx同步这些变化适用于相应的文件实时数据砖回购。

6. 定期推送更新文件从您的工作区中克隆的回购Git提供者,因此回购保持最新Git提供者。

需求

如果你想使用dbx同步砖回购,砖工作区必须符合下列要求:

• 一个克隆与Git存储库的提供者,而不是必需的,是建议。

本地开发机器上,您必须安装以下:

• Python版本3.8或更高版本。检查是否安装Python,检查你的安装Python版本,运行python——版本在你的终端或PowerShell。

  python的版本

  请注意

  一些设施python你可能需要使用吗python3而不是python。如果是这样,替代python与python3在这篇文章。

• 皮普。检查是否皮普安装,检查你的安装吗皮普版本,运行皮普——版本或python- m皮普——版本。

  皮普,版本#还是……python - m pip -版本

  请注意

  一些设施皮普你可能需要使用吗pip3而不是皮普。如果是这样,替代皮普与pip3在这篇文章。

• dbx0.8.0或以上版本。检查是否dbx安装,检查你的安装吗dbx版本,运行dbx——版本。安装dbx从Python包指数(PyPI)运行皮普安装dbx或python- m皮普安装dbx。(dbx包括dbx同步。)

  #检查dbx是否安装,并检查它的版本。dbx——版本#安装dbx。pip安装dbx#还是……python - m pip安装dbx

  请注意

  更多信息dbx,请参阅dbx的砖实验室和dbx文档。

• 的砖CLI或低于0.17版本,设置身份验证。遗留数据砖CLI(砖CLI的0.17版)是自动安装时安装dbx。这种身份验证可以设置本地开发机器上的一个或两个以下位置:

  • 在DATABRICKS_HOST和DATABRICKS_TOKEN环境变量(与遗留数据砖CLI 0.8.0版开始)。

  • 在一个砖配置概要文件在你的.databrickscfg文件。

  dbx分别在这两个位置查找身份验证凭证。dbx只使用它找到的第一组匹配的凭证。

  请注意

  如果你使用一个.databrickscfg文件,dbx同步在这个文件中查找一个配置概要文件命名默认的默认情况下。要指定一个不同的配置文件,可以使用——简介运行时选项dbx同步命令,在本文的后面。

  dbx不支持使用吗. netrc申请认证。

• 如果你想使用dbx同步砖回购协议,本地Git克隆存储库的提供者,而不是必需的,是建议。执行当地的克隆,咨询你的Git提供者的文档。

使用DBFSdbx同步

1. 从终端或PowerShell本地开发机器上,改变目录包含文件你想同步DBFS砖工作区。

2. 运行dbx同步命令来同步您的本地目录在您的工作区DBFS,如下。(不要忘记点(。)在最后,这代表当前目录。)

   dbx dbfs——源同步。

   提示

   指定一个不同的源目录,替换点(。一条不同的道路。

   请注意

   如果错误错误:没有这样的命令“同步”看来,你的安装dbx可能是过时了。为了解决这个问题,运行皮普安装——升级dbx = = <版本>或python- m皮普安装——升级dbx = =版本,在那里<版本>是最新版本的吗dbx。这个版本号上可以找到PyPI dbx的网页。

   pip安装,升级dbx= =<版本>#还是……python - m pip安装,升级dbx= =版本

3. dbx同步开始同步文件在你当前的本地目录与文件在以下DBFS路径在工作区中。dbx同步证实了这种通过印刷目标基地路径其次是DBFS路径,例如:

   / tmp /用户/ < your-Databricks-username > / < local-directory-name >

   提示

   指定一个不同的用户名或DBFS路径,指定——用户和——桌子当你运行选项,分别dbx同步。

4. 如有需要,修改你的本地文件。

   重要的

   你必须保持你的终端或PowerShell开放dbx同步继续同步。如果你闭上你的终端或PowerShell,dbx同步停止看文件和停止同步变化。恢复文件同步变化,重复这个过程从一开始。

5. 根据需要,验证您的文件更改在前面的路径在DBFS工作区。

使用砖回购dbx同步

1. 从终端或PowerShell本地开发机器上,改变根目录,其中包含与Git存储库的克隆提供者。

2. 砖的工作区,确定砖回购的名称,你想同步本地克隆回购。你可以找到这个回购名称点击回购在您的工作空间的侧边栏。

3. 本地开发机器上运行dbx同步命令来同步您的本地克隆存储库工作区中的砖回购协议如下,更换< your-repo-name >砖回购协议的回购的名称。(不要忘记点(。)在最后,这代表当前目录。)

   dbx回购- d < your-repo-name >——源同步。

   提示

   指定一个不同的源目录,替换点(。一条不同的道路。

   请注意

   如果错误错误:没有这样的命令“同步”看来,你的安装dbx可能是过时了。为了解决这个问题,运行皮普安装——升级dbx = = <版本>或python- m皮普安装——升级dbx = =版本,在那里<版本>是最新版本的吗dbx。这个版本号上可以找到PyPI dbx的网页。

   pip安装,升级dbx= =<版本>#还是……python - m pip安装,升级dbx= =版本

4. dbx同步开始同步文件在您的本地克隆存储库工作区中的文件数据砖回购。dbx同步证实了这种通过印刷目标基地路径其次是砖回购的路径,例如:

   /回购/ < your-Databricks-username > / < your-repo-name >

   提示

   指定一个不同的用户名或回购名称,指定——用户和——dest-repo当你运行选项,分别dbx同步。

5. 如有需要,修改你的本地文件。

   重要的

   你必须保持你的终端或PowerShell开放dbx同步继续同步。如果你闭上你的终端或PowerShell,dbx同步停止看文件和停止同步变化。恢复文件同步变化,重复这个过程从一开始。

6. 根据需要,验证文件工作区中的砖回购的变化。

额外的资源

• dbx文档

• dbx同步文件

• databrickslabs / dbx在GitHub库

• dbx的局限性