pyspark.RDDBarrier¶
-
类
pyspark。RDDBarrier( 抽样:pyspark.rdd.RDD(T] ) ¶ -
包装一个抽样障碍阶段,这迫使火花发射任务的阶段。
RDDBarrier实例是由RDD.barrier ()。笔记
这个API是实验
方法
mapPartitions(f [, preservesPartitioning])通过应用一个函数返回一个新的抽样的每个分区包装抽样,在任务启动在舞台上的障碍。
mapPartitionsWithIndex(f […])通过应用一个函数返回一个新的抽样的每个分区包装抽样,而追踪指数的原始分区。