BarrierTaskContext。
allGather
这个功能块,直到所有任务在同一阶段达到了这个例程。每个任务传入消息并返回所有传入消息的列表,每一个任务。
警告
在一个障碍阶段,每个任务具有相同数量的多少allGather ()在所有可能的调用,代码分支。否则,你可能会得到这份工作后悬挂或SparkException超时。
笔记
这个API是实验
以前的
pyspark.RDDBarrier.mapPartitionsWithIndex
下一个
pyspark.BarrierTaskContext.attemptNumber