pyspark.Broadcast¶
-
类
pyspark。广播( sc:可选(SparkContext]=没有一个,价值:可选(T]=没有一个,pickle_registry:可选(BroadcastPickleRegistry]=没有一个,路径:可选(str]=没有一个,sock_file:可选(BinaryIO]=没有一个 ) ¶ -
一个广播变量创建
SparkContext.broadcast ()。访问它的价值通过价值。例子
> > >从pyspark.context进口SparkContext> > >sc=SparkContext(“本地”,“测试”)> > >b=sc。广播([1,2,3,4,5])> > >b。价值(1、2、3、4、5)> > >sc。并行化([0,0])。flatMap(λx:b。价值)。收集()(1、2、3、4、5、1,2,3,4,5]> > >b。unpersist()
> > >large_broadcast=sc。广播(范围(10000年))
方法
摧毁((阻塞))消灭所有相关数据和元数据广播变量。
转储(f值)init_with_process_isolation(sc、价值…)初始化变量通过广播信任文件路径。
负载(文件)load_from_path(路径)unpersist((阻塞))删除缓存的副本这播出执行人。
属性
返回播放的值