pyspark.AccumulatorgydF4y2Ba¶gydF4y2Ba

类gydF4y2Ba pyspark。gydF4y2Ba 蓄电池gydF4y2Ba (gydF4y2Ba 援助gydF4y2Ba:gydF4y2BaintgydF4y2Ba,gydF4y2Ba价值gydF4y2Ba:gydF4y2BaTgydF4y2Ba,gydF4y2Baaccum_paramgydF4y2Ba:gydF4y2Bapyspark.accumulators.AccumulatorParamgydF4y2Ba(gydF4y2BaTgydF4y2Ba]gydF4y2Ba )gydF4y2Ba ¶gydF4y2Ba

一个共享变量,可以积累。,h一个s a commutative and associative “add” operation. Worker tasks on a Spark cluster can add values to an Accumulator with the+ =gydF4y2Ba运营商,但只允许访问其价值驱动程序,使用gydF4y2Ba价值gydF4y2Ba。更新从工人自动传播到驱动程序。gydF4y2Ba

而gydF4y2BaSparkContextgydF4y2Ba支持等原始数据类型的蓄电池gydF4y2BaintgydF4y2Ba和gydF4y2Ba浮动gydF4y2Ba,用户也可以通过提供一个自定义定义定制类型的蓄电池gydF4y2BaAccumulatorParamgydF4y2Ba对象。指doctest的一个例子。gydF4y2Ba

例子gydF4y2Ba

           > > >gydF4y2Ba一个gydF4y2Ba=gydF4y2BascgydF4y2Ba。gydF4y2Ba蓄电池gydF4y2Ba(gydF4y2Ba1gydF4y2Ba)gydF4y2Ba> > >gydF4y2Ba一个gydF4y2Ba。gydF4y2Ba价值gydF4y2Ba1gydF4y2Ba> > >gydF4y2Ba一个gydF4y2Ba。gydF4y2Ba价值gydF4y2Ba=gydF4y2Ba2gydF4y2Ba> > >gydF4y2Ba一个gydF4y2Ba。gydF4y2Ba价值gydF4y2Ba2gydF4y2Ba> > >gydF4y2Ba一个gydF4y2Ba+ =gydF4y2Ba5gydF4y2Ba> > >gydF4y2Ba一个gydF4y2Ba。gydF4y2Ba价值gydF4y2Ba7gydF4y2Ba> > >gydF4y2BascgydF4y2Ba。gydF4y2Ba蓄电池gydF4y2Ba(gydF4y2Ba1.0gydF4y2Ba)gydF4y2Ba。gydF4y2Ba价值gydF4y2Ba1.0gydF4y2Ba> > >gydF4y2BascgydF4y2Ba。gydF4y2Ba蓄电池gydF4y2Ba(gydF4y2Ba1gydF4y2BajgydF4y2Ba)gydF4y2Ba。gydF4y2Ba价值gydF4y2Ba1 jgydF4y2Ba> > >gydF4y2Ba抽样gydF4y2Ba=gydF4y2BascgydF4y2Ba。gydF4y2Ba并行化gydF4y2Ba([gydF4y2Ba1gydF4y2Ba,gydF4y2Ba2gydF4y2Ba,gydF4y2Ba3gydF4y2Ba])gydF4y2Ba> > >gydF4y2BadefgydF4y2BafgydF4y2Ba(gydF4y2BaxgydF4y2Ba):gydF4y2Ba…gydF4y2Ba全球gydF4y2Ba一个gydF4y2Ba…gydF4y2Ba一个gydF4y2Ba+ =gydF4y2BaxgydF4y2Ba> > >gydF4y2Ba抽样gydF4y2Ba。gydF4y2BaforeachgydF4y2Ba(gydF4y2BafgydF4y2Ba)gydF4y2Ba> > >gydF4y2Ba一个gydF4y2Ba。gydF4y2Ba价值gydF4y2Ba13gydF4y2Ba> > >gydF4y2BabgydF4y2Ba=gydF4y2BascgydF4y2Ba。gydF4y2Ba蓄电池gydF4y2Ba(gydF4y2Ba0gydF4y2Ba)gydF4y2Ba> > >gydF4y2BadefgydF4y2BaggydF4y2Ba(gydF4y2BaxgydF4y2Ba):gydF4y2Ba…gydF4y2BabgydF4y2Ba。gydF4y2Ba添加gydF4y2Ba(gydF4y2BaxgydF4y2Ba)gydF4y2Ba> > >gydF4y2Ba抽样gydF4y2Ba。gydF4y2BaforeachgydF4y2Ba(gydF4y2BaggydF4y2Ba)gydF4y2Ba> > >gydF4y2BabgydF4y2Ba。gydF4y2Ba价值gydF4y2Ba6gydF4y2Ba
          

           > > >gydF4y2Ba抽样gydF4y2Ba。gydF4y2Ba地图gydF4y2Ba(gydF4y2BaλgydF4y2BaxgydF4y2Ba:gydF4y2Ba一个gydF4y2Ba。gydF4y2Ba价值gydF4y2Ba)gydF4y2Ba。gydF4y2Ba收集gydF4y2Ba()gydF4y2Ba回溯(最近的电话):gydF4y2Ba…gydF4y2BaPy4JJavaErrorgydF4y2Ba:gydF4y2Ba…gydF4y2Ba
          

           > > >gydF4y2BadefgydF4y2BahgydF4y2Ba(gydF4y2BaxgydF4y2Ba):gydF4y2Ba…gydF4y2Ba全球gydF4y2Ba一个gydF4y2Ba…gydF4y2Ba一个gydF4y2Ba。gydF4y2Ba价值gydF4y2Ba=gydF4y2Ba7gydF4y2Ba> > >gydF4y2Ba抽样gydF4y2Ba。gydF4y2BaforeachgydF4y2Ba(gydF4y2BahgydF4y2Ba)gydF4y2Ba回溯(最近的电话):gydF4y2Ba…gydF4y2BaPy4JJavaErrorgydF4y2Ba:gydF4y2Ba…gydF4y2Ba
          

           > > >gydF4y2BascgydF4y2Ba。gydF4y2Ba蓄电池gydF4y2Ba([gydF4y2Ba1.0gydF4y2Ba,gydF4y2Ba2.0gydF4y2Ba,gydF4y2Ba3.0gydF4y2Ba])gydF4y2Ba回溯(最近的电话):gydF4y2Ba…gydF4y2BaTypeErrorgydF4y2Ba:gydF4y2Ba…gydF4y2Ba
          

方法gydF4y2Ba

添加gydF4y2Ba(术语)gydF4y2Ba

添加一个术语蓄电池的价值gydF4y2Ba

属性gydF4y2Ba

价值gydF4y2Ba

蓄电池的价值;只在驱动程序可用gydF4y2Ba

以前的gydF4y2Ba

pyspark.BroadcastgydF4y2Ba

下一个gydF4y2Ba

pyspark.AccumulatorParamgydF4y2Ba