砖文件系统(DBFS)是什么?
砖文件系统(DBFS)是一个分布式文件系统装在一个砖工作区和砖上可用集群。DBFS是抽象的可扩展的对象存储映射类unix文件系统调用本地云存储API调用。
请注意
砖工作区与部署DBFS根卷所有用户都可以访问的,默认情况下。砖建议对生产数据存储在这个位置。
与DBFS你能做什么?
DBFS云对象存储的uri映射提供了便利的相对路径。
允许你与对象存储使用目录和文件的语义而不是特定于云API命令。
允许你山云对象存储位置,这样您就可以映射存储凭证在砖工作区路径。
简化了坚持的过程文件对象存储,允许虚拟机和安全地删除附加卷存储集群终止。
提供了一个方便的位置来存储init脚本,jar库和配置集群初始化。
提供了一个方便的位置,检查点文件中创建模型训练和OSS深度学习库。
请注意
DBFS砖实现融合。看到如何处理文件数据砖吗。
挂载对象存储
越来越多的对象存储DBFS允许您访问对象在对象存储在本地文件系统。挂载存储Hadoop配置必要的访问存储,因此您不需要指定这些设置在代码或集群配置。
有关更多信息,请参见安装云对象存储在砖上。
DBFS根是什么?
的DBFS根是默认存储位置砖工作区,配置作为工作区在云中创建帐户的一部分包含砖工作区。有关砖根文件系统的配置和部署,明白了创建一个工作区使用帐户控制台。最佳实践在保护数据DBFS根,看到的建议使用DBFS根。
砖的一些用户可能将DBFS根称为“DBFS”或“DBFS”;重要的是区分,DBFS文件系统用于与数据在云对象存储、交互和DBFS根是一个云对象存储位置。你使用DBFS与DBFS根,但他们是不同的概念,和DBFS DBFS根以外的许多应用程序。
DBFS根包含许多特殊的位置,作为各种违约行为由用户工作区。有关详细信息,请参见在默认DBFS根目录是什么?。
统一目录DBFS是如何工作的?
统一目录添加外部位置的概念和管理存储凭证来帮助组织提供最小特权访问数据对象存储在云。统一目录还提供了一个新的管理表的默认存储位置。一些安全配置提供直接访问统一Catalog-managed资源和DBFS。砖已编译的建议使用DBFS和统一目录。