问题

运行Azure数据湖存储文件时,无论是Gen1或Gen2,都出现下列异常:

Java.io.IOExceptive:CREATE故障0x83090c25745c5836264e-470c-9c90-c605f1c100f5出错0x830c25失败[2019-04-12T10:06:43.1117197-07:00] [ServerRequestId:745c5836-264e-470c-9c90-c605f1c100f5]  at com.microsoft.azure.datalake.store.ADLStoreClient.getRemoteException(ADLStoreClient.java:1191)  at com.microsoft.azure.datalake.store.ADLStoreClient.getExceptionFromResponse(ADLStoreClient.java:1154)  at com.microsoft.azure.datalake.store.ADLStoreClient.createFile(ADLStoreClient.java:281)  at com.databricks.adl.AdlFileSystem.create(AdlFileSystem.java:348)  at com.databricks.spark.metrics.FileSystemWithMetrics.create(FileSystemWithMetrics.scala:280)  at com.databricks.backend.daemon.data.client.DatabricksFileSystemV2$$anonfun$create$1$$anonfun$apply$10$$anonfun$apply$11.apply(DatabricksFileSystemV2.scala:483)

因果

ADLS订阅级别限制文件数单位时间,尽管限制可能因使用ADLSGen1或Gen2而异超出限值后文件创建中断,作业失败

潜在出错原因包括:

• 程序创建大数小文件
• 外部应用创建大数文件
• 当前订阅限值过低

求解

如果应用或外部应用生成大量文件,则需要优化应用当前订阅限值不适合使用案例时,联系微软Azure团队请求帮助