附加时不支持操作

写由亚当巴夫拉卡

2022年7月7日

问题

尝试将数据附加到外部存储挂载点上保存的文件并获取报错消息OSERROR:[Errno 95]操作不支持.

试附Python和R文件时出错

因果

FUSE v2不支持直接附件和随机写作,Databricks Runtime6.0和6.0由设计而成

DBFS底层存储不支持附加表示Databricks将不得不下载数据,运行附加件并重加载数据支持命令小文件使用此功能, 但由于文件尺寸提高而快速成为问题 。DBFS挂载由驱动器和工人节点共享,从多节点附加文件可造成数据腐败

求解

工作变通方式,你应该在本地盘上运行附件,例如/tm中并移动整个文件

需要跨类附加件时,请联系您的账号团队讨论允许NFS集群挂载问题

文章有帮助吗