问题

自动优化数据键高山市AWS系统|休眠|GCP)可选特征集,个人写入三角洲表时自动压缩小文件写作期间支付小成本对主动查询表大有裨益

自动优化在许多情况下都有好处,但当您拥有时,Databricks运行时10.4LTS显示性能下降开发者侧小可播送

实例查询似像

取出
          
           日期表示 <'样本'和采样
           
            Where MatchId = 'value'
           
          

因果

优化写作默认启动开发者带子查询数据运行时间10.4LTS假设数据会打乱单方小到可广播时,这种情况不会发生,你可能看到性能点击

求解

遇上问题后,并不想升级为更新数据布列克运行时,应禁止Delta表设置优化delta.atoOptimize.表格属性中

并设置集群值spark配置高山市AWS系统|休眠|GCP:

spark.databricks.delta.delete.forceOptimizedWrites = false