我怎麼能開始SparkSession筆記本?

[NCat]

嗨,社區,

我怎麼能開始SparkSession筆記本?
我想把我的筆記本分成小的Python模塊,我想讓他們中的一些人叫火花的功能。

[werners1]

你可以精心一點嗎?
你要調用這些模塊在一個筆記本,和想要使用火花功能?
或者你想顯式地開始為每個模塊單獨sparksession嗎?

[sakhulaz]

你好,

開始SparkSession以外的一個筆記本,你可以按照以下步驟代碼分割成小的Python模塊,利用引發功能:

1. 進口所需的庫:在您的Python模塊,導入必要的庫火花:

在您的Python模塊,導入必要的庫火花:

從pyspark。sql進口SparkSession

1. 創建SparkSession:

初始化SparkSession開始您的模塊:

火花= SparkSession。構建器\ .appName (YourAppName) \ config (“spark.some.config。選項”、“config-value”) \ .getOrCreate ()

根據需要定製配置選項。

[Tharun-Kumar]

@NCat

磚提供開箱即用的火花會話。你必須用變量“火花”。

為了在其他模塊中使用它,你必須將引發變量作為參數傳遞給其他模塊。

[NCat]

謝謝你的回複。
@werners1我想用火花會話模塊叫做從筆記本。

@sakhulaz我怎樣才能配置選項附著在磚數據?

@Tharun-Kumar謝謝你！這種方法絕對適合我的情況!