pyspark.SparkConf¶
-
类
pyspark。SparkConf( loadDefaults:bool=真正的,_jvm:可选(py4j.java_gateway.JVMView]=没有一个,_jconf:可选(py4j.java_gateway.JavaObject]=没有一个 ) ¶ -
为火花应用程序配置。用于设置各种火花参数键值对。
大多数时候,您将创建一个SparkConf对象
SparkConf ()将负载值火花。*Java系统属性。在这种情况下,直接在任何参数设置SparkConf在系统属性对象优先。对于单元测试,您还可以打电话
SparkConf(假)跳过加载外部设置和获得相同的配置无论系统属性是什么。这个类中的所有setter方法支持链接。例如,您可以编写
conf.setMaster .setAppName(“我的(“本地”)应用程序”)。- 参数
-
- loadDefaults bool
-
是否加载来自Java系统属性的值(真默认情况下)
- _jvm 类:py4j.java_gateway.JVMView
-
内部参数用来传递处理Java虚拟机;不需要设定的用户
- _jconf 类:py4j.java_gateway.JavaObject
-
可以通过在现有SparkConf处理利用其参数
笔记
一旦SparkConf对象传递给火花,克隆,用户不能修改。
例子
> > >从pyspark.conf进口SparkConf> > >从pyspark.context进口SparkContext> > >相依=SparkConf()> > >相依。setMaster(“本地”)。setAppName(“我的应用”)< pyspark.conf。SparkConfobject at ...>> > >相依。得到(“spark.master”)“本地”> > >相依。得到(“spark.app.name”)“我的应用”> > >sc=SparkContext(相依=相依)> > >sc。主“本地”> > >sc。浏览器名称“我的应用”> > >sc。sparkHome是没有一个真正的
> > >相依=SparkConf(loadDefaults=假)> > >相依。setSparkHome(“/路径”)< pyspark.conf。SparkConfobject at ...>> > >相依。得到(“spark.home”)“/路径”> > >相依。setExecutorEnv(“VAR1”,“value1”)< pyspark.conf。SparkConfobject at ...>> > >相依。setExecutorEnv(双=((“VAR3”,“value3”),(“VAR4”,“value4”)))< pyspark.conf。SparkConfobject at ...>> > >相依。得到(“spark.executorEnv.VAR1”)“value1”> > >打印(相依。toDebugString())spark.executorEnv.VAR1 = value1spark.executorEnv.VAR3 = value3spark.executorEnv.VAR4 = value4spark.home = /路径> > >为p在排序(相依。getAll(),关键=λp:p(0):…打印(p)(“spark.executorEnv。VAR1”、“value1”)(“spark.executorEnv。VAR3”、“value3”)(“spark.executorEnv。VAR4”、“value4”)(“火花。家”、“/路径”)> > >相依。_jconf。setExecutorEnv(“VAR5”,“value5”)JavaObject id…> > >打印(相依。toDebugString())spark.executorEnv.VAR1 = value1spark.executorEnv.VAR3 = value3spark.executorEnv.VAR4 = value4spark.executorEnv.VAR5 = value5spark.home = /路径
方法
包含(关键)该配置包含一个给定的键吗?
得到(关键[defaultValue])一些关键的配置值,或返回一个默认。
getAll()把所有值作为键值对列表。
集(关键字,值)设置一个配置属性。
setAll(双)设置多个参数,通过一个键值对列表。
setAppName(值)设置应用程序名称。
setExecutorEnv((关键字,值,对))设置一个环境变量传递给执行器。
setIfMissing(关键字,值)设置一个配置属性,如果不是已经设置。
setMaster(值)设置主要连接的URL。
setSparkHome(值)工作者节点上设置安装路径,火花。
返回一个可打印版的配置,作为键=值对列表,每行一个。