在大多数情况下,设置火花配置(AWS|Azure在集群级别)。然而,可能存在这样的情况:您需要检查(或一组)特定的火花配置属性的值在一个笔记本上。

本文向您展示了如何显示火花配置属性的当前值在一个笔记本上。它还向您展示了如何设置一个新值的火花在笔记本配置属性。

得到火花配置属性

的当前值火花配置财产评估他人的财产不包括一个值。

Python

% python spark.conf.get(“火花。< name-of-property >”)

R

% r库(SparkR) sparkR.conf(“火花。< name-of-property >”)

Scala

% scala spark.conf.get(“火花。< name-of-property >”)

SQL

% sql火花。< name-of-property >;

设置火花配置属性

设置一个火花配置属性的值,评估财产和赋值。

Python

% python spark.conf.set (“spark.sql。< name-of-property >, <值>)

R

% r库(SparkR) sparkR.session SparkR ()。会话(sparkConfig = (spark.sql列表。< name-of-property > = " <价值> "))

Scala

% scala spark.conf.set (“spark.sql。< name-of-property >, <值>)

SQL

sql设置spark.sql %。< name-of-property > = <价值>;

例子

得到的当前值spark.rpc.message.maxSize。

% sql设置spark.rpc.message.maxSize;

设定的值spark.sql.autoBroadcastJoinThreshold为1。

% python spark.conf.set (“spark.sql。autoBroadcastJoinThreshold”, 1)