如何指定DBFS路径

学习如何定义Apachespark、Bash、DBITLs、Python和Scala的DBFS路径

2022年12月9日

与Databricks合作时,你有时必须访问Databricks文件系统

DBFS存取文件时使用标准文件系统命令,但语法因语言或工具使用而异

举例说, 取下DBFS路径 :

dbfs:/mnt/test_folder/test_folder1/

阿帕契spark

spark下应具体说明spark阅读命令内全路径

spark.read.parquet("dbfs:/mnt/test_folder/test_folder1/file.parquet")

使用dBITLs时,全DBFS路径应使用,就像Spark命令中一样DBFS路径上语言专用格式因语言使用而异

ssdbss/mt/testi

ythondbiters.fs.s

scaladblips.fs.ss

删除

具体说明dbss:使用dBITLs或spark命令时不需要路径路径dbfs:/mnt/test_folder/test_folder1/等值/mnt/test_folder/test_folder1/.

shell命令不识别DFBS路径DBFS内部文件使用与文件系统上任何其他文件夹相同的语法访问

ls /dbfs/mnt/test_folder/test_folder1/  cat /dbfs/mnt/test_folder/test_folder1/file_name.txt

s.listdir导入s/dbfs/mt/test

ava.io.fileval目录=新文件