抽样。
cleanShuffleDependencies
删除一个抽样的震荡和non-persisted祖先。
没有洗牌服务运行时,清理洗牌文件使缩小规模。如果你使用这个调用后的抽样,你应该先检查点并实现它。
块洗牌清理任务。默认情况下禁用。
笔记
这个API是一个开发人员API。
以前的
pyspark.RDD.checkpoint
下一个
pyspark.RDD.coalesce