Resource_limit_EXCEED错误查询三角洲分享表

三角洲共享对共享表元数据大小有限制超出这些限值后产生误差

写由拉杰夫康南Thangai

最新发布日期:2023年4月19日

问题

查询三角洲分享表RESOURCE_LIMIT_EXCEEDED报错

错误引用超时

i.delta分享.spark.util.UnexitHtpstatstative:HTTP请求因状态失效 HTTP/1.1400错误请求 {rorCode's继续发生时,请联系数据提供者分享小表

错误还可能引用表元数据超出尺寸限制

{rorCode>:spource_Limate_EXCEED},spessage:表元数据大小超出限值

因果

三角洲共享对共享表元数据大小有限制

  • 限量700k添加FilesDeltaLog内动作共享Delta表内有多少活动文件
  • 限量为100k删除FilesDeltaLog内动作数文件删除包括操作删除文件OptimZE和MERGE

求解

你可以运行OptimZE高山市AWS系统|休眠|GCP共享Delta表减少活动文件数

OptimZE表名家上位数[区BYCol_name13.万事通)万事通


运行后OptimZE减少活动文件数,你可点击删除Files限值ifOptimZE命令删除超过100k文件

果真如此,您可暂时调低delta.logRetentionDuration属性延时项目留在DeltaLog设置短保留时间,例如24小时,交易日志快速清理,帮助您保持在100K下删除Files限值

sqlALTER表
          
           SETTBPROPire
删除

警告

下调delta.logRetentionDuration属性还削弱时间旅行能力只有当元数据包含在DeltaLog中时才能时间旅行如果日志保留设为24小时,则只能回溯24小时


问题解决后,你应恢复问题delta.logRetentionDuration属性回溯到30天,以便继续使用时间旅行特征

sqlALTER表
          
           SETTBPROPire


为了避免问题复发,你应该运行OptimZE定期这有助于将活动文件数控制在限值以下

文章有帮助吗