优化

请注意

• 装箱优化是幂等，这意味着如果在同一数据集上运行两次，第二次运行没有影响。它的目标是根据数据文件在磁盘上的大小生成均衡的数据文件，但不一定是每个文件的元组数量。然而，这两项指标通常是相关的。

• z值是不是幂等但目标是一个增量操作。z排序所花费的时间不能保证在多次运行中减少。然而，如果没有新的数据被添加到一个Z-Ordered分区，那么该分区的另一个Z-Ordered将不会有任何影响。它的目标是根据元组的数量生成均衡的数据文件，但不一定是磁盘上的数据大小。这两个度量通常是相关的，但有时情况并非如此，从而导致优化任务时间的倾斜。

请注意

在使用Databricks Runtime时，要控制输出文件大小，请设置火花配置spark.databricks.delta.optimize.maxFileSize．默认值为1073741824，将大小设置为1gb。指定值104857600设置文件大小为100mb。