pyspark.BarrierTaskContext¶
-
类
pyspark。BarrierTaskContext¶ -
一个
TaskContext额外的上下文信息和工具的任务在舞台的一个障碍。使用BarrierTaskContext.get ()获取运行障碍的障碍环境的任务。笔记
这个API是实验
方法
allGather([信息])这个功能块,直到所有任务在同一阶段达到了这个例程。
”
障碍()集全球屏障和等待,直到所有任务在这个阶段达到这一障碍。
得到()返回当前活动
BarrierTaskContext。getLocalProperty(关键)得到当地一个属性集上游的司机,或没有失踪。
返回
BarrierTaskInfo这个障碍阶段,所有任务的命令通过分区ID。抽样的ID分区计算这一任务。
资源()资源分配给的任务。
stageId()阶段,这个任务的ID。
一个ID,这个任务是独一无二的尝试(在同一个SparkContext,没有两个任务尝试尝试将共享相同的ID)。