pyspark.SparkContext.parallelize

SparkContext。 并行化 ( c:Iterable(T],numSlices:可选(int]=没有一个 )→pyspark.rdd.RDD(T]

分配一个本地Python集合形成一个抽样。使用范围建议如果输入代表一个范围的性能。

例子

> > >sc。并行化([0,2,3,4,6),5)。偷()。收集()[[0],[2],[3],[4],[6]]> > >sc。并行化(范围(0,6,2),5)。偷()。收集()[[],[0],[],[2],[4]]

以前的

pyspark.SparkContext.newAPIHadoopRDD

下一个

pyspark.SparkContext.pickleFile