pyspark.RDD.reduceByKeyLocally

抽样。 reduceByKeyLocally ( 函数:可调用的((V,V],V] )→Dict类型(K,V]

合并每个键使用一个关联的值和交换减少功能,但立即返回结果主字典。

这也将执行合并每个映射器上本地发送结果减速机之前,类似于一个“组合器”MapReduce。

例子

> > >从操作符进口添加> > >抽样=sc。并行化(((“一个”,1),(“b”,1),(“一个”,1)))> > >排序(抽样。reduceByKeyLocally(添加)。项目())[(' a ', 2), (' b ', 1))

以前的

pyspark.RDD.reduceByKey

下一个

pyspark.RDD.repartition