DBFS CLI(遗留)

重要的

这个文档已经退休了,可能不会被更新。

这个信息适用于遗留数据砖CLI版本0.17及以下。砖建议你使用新砖CLI的版本0.200或更高版本。看到砖CLI。找到你的版本的砖CLI,运行- v

从砖CLI或低于0.17版本迁移到砖CLI版本0.200或更高版本,看看砖CLI的迁移

你跑砖DBFS CLI子命令附加fs(或别名dbfs),所有DBFS路径前缀dbfs: /。这些子命令调用DBFS API

砖fs - h
用法:砖fs[选项]命令(ARGS)……效用与DBFS进行交互。与DBFS DBFS路径都是前缀:/。本地路径可以绝对的或地方。选项:- v -版- h,帮助显示此消息并退出。命令:猫显示一个文件的内容。不工作目录。配置与DBFS cp拷贝文件。选项:- r、递归——覆盖覆盖已经存在的文件。在DBFS ls列表文件。 Options: --absolute Displays absolute paths. -l Displays full information including size and file type. mkdirs Makes directories in DBFS. mv Moves a file between two DBFS paths. rm Removes files from DBFS. Options: -r, --recursive

操作列表、移动或删除超过10 k文件,我们强烈反对使用DBFS CLI。

  • 列表操作(fsls大约60年代后)将超时。

  • 移动操作(fsmv)将时间约60年代后,可能会导致部分的移动数据。

  • 删除操作(fsrm)将逐步删除批文件。

我们建议您执行这些操作在集群环境中,使用文件系统实用程序(dbutils.fs)dbutils.fs涵盖了DBFS REST API的功能范围,但从笔记本。运行这些操作使用笔记本电脑提供了更好的控制,如选择性删除,可管理性和自动化周期性工作。

一个文件的内容列表

显示使用文档,运行fs——帮助

砖fs猫dbfs: / tmp / my-file.txt
Apache火花是太棒了!

复制一个文件

显示使用文档,运行fscp——帮助

砖fs cp dbfs: / tmp / your_file。txt dbfs: /父母/孩子/孙子/ my_file。txt -覆盖

成功,这个命令可以显示。

信息的文件和目录列表

显示使用文档,运行fsls——帮助

砖fs ls dbfs: / tmp——绝对- l
文件42408084 dbfs: / tmp / LoanStats。csv 1590005159000文件40 dbfs: / tmp / file_b。txt 1603991038000dir 0 dbfs: / tmp /蜂巢0dir 0 dbfs: / tmp / mlflow 0文件385 dbfs: / tmp /多行。json 1597770632000dir 0 dbfs: / tmp /新0dir 0 dbfs: / tmp /父0243年文件dbfs: / tmp /测试。json 1597770628000文件40 dbfs: / tmp / test_dbfs。txt 1603989162000

创建一个目录

显示使用文档,运行fsmkdir——帮助

砖fs mkdir dbfs: / tmp / new-dir

成功,这个命令可以显示。

移动一个文件

显示使用文档,运行fsmv——帮助

砖fs mv dbfs: / tmp /我的文件。txt dbfs: /父母/孩子/孙子/ my-file.txt

成功,这个命令可以显示。

删除一个文件

显示使用文档,运行fsrm——帮助

砖fs rm dbfs: / tmp /父母/孩子/孙子/ my-file.txt
删除成功完成。