排除Delta共享中的常见共享问题
以下部分描述在创建共享或访问共享中的数据时可能出现的常见错误。
访问共享中的数据
访问共享中的数据时,通常会出现以下错误。
资源限制超过错误
问题:您在共享表上的查询返回错误RESOURCE_LIMIT_EXCEEDED
.
你可能会看到以下错误:
“RESOURCE_LIMIT_EXCEEDED”、“信息”:“表格元数据大小超过了限制”
“RESOURCE_LIMIT_EXCEEDED”、“信息”:“数量的文件在的表格来返回超过了限制,考虑联系你的提供者来优化的表”
可能的原因:共享表中允许的元数据文件数量有限制。
建议修复:若要解决上述任何一个问题,请与Databricks联系人联系以寻求帮助。
未找到文件或证书错误
问题:您将看到一个错误消息,该错误消息抛出找不到文件或证书异常。
Spark错误示例:
FileReadException:读取文件delta-sharing:/%252Ftmp%252Fexample.share%2523example.tpc_ds.example/XXXXXXXXXXXXX/XXXXXXXX时出错。导致:SSLPeerUnverifiedException: Certificate for - <[workspace name].cloud.www.neidfyre.com.s3.us- east1.amazonaws.com >不匹配任何主题替代名称[s3.amazonaws.com, *.s3.amazonaws.com…]:
熊猫错误示例:
FileNotFoundError(path) FileNotFoundError: https://xxxx.xxxxxx.s3.xx-xxxx-1.amazonaws.com/xxxxxx/part-00000-xxxxx-Amz-Algorithm=Axxxxxx-Amz-Date=xxxxxxxx&X-Amz-SignedHeaders=host&X-Amz-Expires=xxx&X-Amz-Credential=xxxxxxx_request&X-Amz-Signature=xxxxx
电源BI错误举例:
数据源。错误:底层连接已关闭:无法为SSL/TLS安全通道建立信任关系。详细信息:https://xxxx.xxxxxxxxx.s3.xx - xxxx - 1. - amazonaws.com/xxxxxxxx/part - 00000 xxxxxxx.snappy.parquet
可能的原因:通常您会看到此错误,因为您的桶名使用点或句号符号(例如,incorrect.bucket.name.notation
).这是AWS的一个限制。看到AWS桶命名规则.
即使桶名的格式正确,也可能会出现此错误。例如,您可能会遇到SSL错误(SSLCertVerificationError
)当你在PyCharm上执行代码时。
建议修复如果您的桶名使用了无效的AWS桶命名符号,请为Unity Catalog和Delta Sharing使用不同的桶。
如果您的存储桶使用有效的命名约定,您仍然面临一个FileNotFoundError
在Python中,启用调试日志来帮助隔离问题:
进口日志记录日志记录.basicConfig(水平=日志记录.调试)