问题

Azure活动目录证书传递访问Azure数据湖存储资源

长于1小时的工作故障HTTP401报错消息

cm.microsoft.azure.datalake.store.ADLExceptive:从文件/Local/Users/
          
           Open操作失败 HTTP401:Null Last遇上异常[HTTP401(null),HTTP401(null),HTTP401(null),HTTP401(null),HTTP401(null)]
          

因果

AzureAD传递令牌的存续时间为一小时命令发送至多小时集群时,如果ADLS资源在一小时标记后访问则失效。

问题已知

求解

您必须重写查询内容, 免单命令完成时间超过一小时 。

无法增加AzureAD传递令牌的使用寿命令牌由AzureDatabricks复制主文无法编辑属性

请复习ADLS证书传递限制文档获取更多信息