在大多數情況下,設置火花配置(AWS|Azure在集群級別)。然而,可能存在這樣的情況:您需要檢查(或一組)特定的火花配置屬性的值在一個筆記本上。

本文向您展示了如何顯示火花配置屬性的當前值在一個筆記本上。它還向您展示了如何設置一個新值的火花在筆記本配置屬性。

得到火花配置屬性

的當前值火花配置財產評估他人的財產不包括一個值。

Python

% python spark.conf.get(“火花。< name-of-property >”)

R

% r庫(SparkR) sparkR.conf(“火花。< name-of-property >”)

Scala

% scala spark.conf.get(“火花。< name-of-property >”)

SQL

% sql火花。< name-of-property >;

設置火花配置屬性

設置一個火花配置屬性的值,評估財產和賦值。

Python

% python spark.conf.set (“spark.sql。< name-of-property >, <值>)

R

% r庫(SparkR) sparkR.session SparkR ()。會話(sparkConfig = (spark.sql列表。< name-of-property > = " <價值> "))

Scala

% scala spark.conf.set (“spark.sql。< name-of-property >, <值>)

SQL

sql設置spark.sql %。< name-of-property > = <價值>;

例子

得到的當前值spark.rpc.message.maxSize。

% sql設置spark.rpc.message.maxSize;

設定的值spark.sql.autoBroadcastJoinThreshold為1。

% python spark.conf.set (“spark.sql。autoBroadcastJoinThreshold”, 1)