pyspark.RDD.mapPartitions

抽样。 mapPartitions ( f:可调用的((Iterable(T]],Iterable(U]],preservesPartitioning:bool=假 )→pyspark.rdd.RDD(U]

通过应用一个函数返回一个新的抽样,抽样的每个分区。

例子

> > >抽样=sc。并行化([1,2,3,4),2)> > >deff(迭代器):收益率总和(迭代器)> > >抽样。mapPartitions(f)。收集()(3、7)

以前的

pyspark.RDD.map

下一个

pyspark.RDD.mapPartitionsWithIndex