以编程方式与工作区文件

您可以通过编程方式与工作区文件存储在数据砖。这使任务,如:

存储较小的数据文件和笔记本和代码。
写日志文件与Git目录同步。
导入模块使用相对路径。
创建或修改一个环境规范文件。
从笔记本写输出。
如Tensorboard写作输出执行库。

你可以阅读和导入工作区文件使用砖回购的砖运行时8.4或以上。您可以通过编程方式创建、编辑和删除工作区中的文件数据砖运行时11.2及以上。

请注意

禁用写入工作区文件,设置集群环境变量WSFS_ENABLE_WRITE_SUPPORT = false。有关更多信息,请参见环境变量。

工作区文件读取数据

您可以通过编程方式读取小数据文件等. csv或. json文件从代码在您的笔记本电脑。下面的示例使用熊猫查询存储在一个文件/数据相对于根目录的项目回购:

             进口熊猫作为pddf=pd。read_csv(”。/数据/ winequality-red.csv”)df
            

您可以使用火花来读取数据文件。你必须提供火花的完全限定路径。在回购工作区文件使用的道路文件:/工作区/回购/ <用户文件> / < repo-name > /文件。

你可以复制文件的绝对或相对路径回购从旁边的下拉菜单文件:

下面的例子显示了使用{os.getcwd ()}的完整路径。

             进口操作系统火花。读。格式(“csv”)。负载(f“文件:{操作系统。getcwd()}/ my_data.csv”)
            

了解更BOB低频彩多关于砖上的文件,看到如何处理文件数据砖吗。

以编程方式创建、更新和删除文件和目录

在砖运行时的11.2及以上,可以直接操作工作区中的文件数据砖。下面的例子使用标准的Python包和功能来创建和操作文件和目录。

             #创建一个新目录操作系统。mkdir(“dir1”)#创建一个新文件和写与开放(“dir1 / new_file.txt”,“w”)作为f:f。写(“新内容”)#添加到一个文件与开放(“dir1 / new_file.txt”,“一个”)作为f:f。写(“继续”)#删除一个文件操作系统。删除(“dir1 / new_file.txt”)#删除一个目录操作系统。删除文件夹(“dir1”)
            