DBFS CLI(遗留)

重要的

这个文档已经退休了,可能不会被更新。

这个信息适用于遗留数据砖CLI版本0.17及以下。砖建议你使用新砖CLI的版本0.200或更高版本。看到砖CLI。找到你的版本的砖CLI,运行砖- v。

从砖CLI或低于0.17版本迁移到砖CLI版本0.200或更高版本,看看砖CLI的迁移。

你跑砖DBFS CLI子命令附加砖fs(或别名dbfs),所有DBFS路径前缀dbfs: /。这些子命令调用DBFS API。

砖fs - h

            用法:砖fs[选项]命令(ARGS)……效用与DBFS进行交互。与DBFS DBFS路径都是前缀:/。本地路径可以绝对的或地方。选项:- v -版- h,帮助显示此消息并退出。命令:猫显示一个文件的内容。不工作目录。配置与DBFS cp拷贝文件。选项:- r、递归——覆盖覆盖已经存在的文件。在DBFS ls列表文件。 Options: --absolute Displays absolute paths. -l Displays full information including size and file type. mkdirs Makes directories in DBFS. mv Moves a file between two DBFS paths. rm Removes files from DBFS. Options: -r, --recursive
           

操作列表、移动或删除超过10 k文件,我们强烈反对使用DBFS CLI。

的列表操作(砖fsls大约60年代后)将超时。
的移动操作(砖fsmv)将时间约60年代后,可能会导致部分的移动数据。
的删除操作(砖fsrm)将逐步删除批文件。

我们建议您执行这些操作在集群环境中,使用文件系统实用程序(dbutils.fs)。dbutils.fs涵盖了DBFS REST API的功能范围,但从笔记本。运行这些操作使用笔记本电脑提供了更好的控制,如选择性删除,可管理性和自动化周期性工作。

一个文件的内容列表

显示使用文档,运行砖fs猫——帮助。

砖fs猫dbfs: / tmp / my-file.txt

Apache火花是太棒了!

复制一个文件

显示使用文档,运行砖fscp——帮助。

             砖fs cp dbfs: / tmp / your_file。txt dbfs: /父母/孩子/孙子/ my_file。txt -覆盖
            

成功,这个命令可以显示。

信息的文件和目录列表

显示使用文档,运行砖fsls——帮助。

砖fs ls dbfs: / tmp——绝对- l

             文件42408084 dbfs: / tmp / LoanStats。csv 1590005159000文件40 dbfs: / tmp / file_b。txt 1603991038000dir 0 dbfs: / tmp /蜂巢0dir 0 dbfs: / tmp / mlflow 0文件385 dbfs: / tmp /多行。json 1597770632000dir 0 dbfs: / tmp /新0dir 0 dbfs: / tmp /父0243年文件dbfs: / tmp /测试。json 1597770628000文件40 dbfs: / tmp / test_dbfs。txt 1603989162000
            

创建一个目录

显示使用文档,运行砖fsmkdir——帮助。

砖fs mkdir dbfs: / tmp / new-dir

成功,这个命令可以显示。

移动一个文件

显示使用文档,运行砖fsmv——帮助。

             砖fs mv dbfs: / tmp /我的文件。txt dbfs: /父母/孩子/孙子/ my-file.txt
            

成功,这个命令可以显示。

删除一个文件

显示使用文档,运行砖fsrm——帮助。

砖fs rm dbfs: / tmp /父母/孩子/孙子/ my-file.txt

删除成功完成。