取消
顯示的結果
而不是尋找
你的意思是:

我怎麼能開始SparkSession筆記本?

NCat
新的因素

嗨,社區,

我怎麼能開始SparkSession筆記本?
我想把我的筆記本分成小的Python模塊,我想讓他們中的一些人叫火花的功能。

5回複5

werners1
尊敬的貢獻者三世

你可以精心一點嗎?
你要調用這些模塊在一個筆記本,和想要使用火花功能?
或者你想顯式地開始為每個模塊單獨sparksession嗎?

sakhulaz
新的因素

你好,

開始SparkSession以外的一個筆記本,你可以按照以下步驟代碼分割成小的Python模塊,利用引發功能:

  1. 進口所需的庫:在您的Python模塊,導入必要的庫火花:

在您的Python模塊,導入必要的庫火花:

從pyspark。sql進口SparkSession
  1. 創建SparkSession:

初始化SparkSession開始您的模塊:

火花= SparkSession。構建器\ .appName (YourAppName) \ config (“spark.some.config。選項”、“config-value”) \ .getOrCreate ()

根據需要定製配置選項。

Tharun-Kumar
重視貢獻三世
重視貢獻三世

@NCat

磚提供開箱即用的火花會話。你必須用變量“火花”。

截圖2023-08-09在5.52.07 PM.png

為了在其他模塊中使用它,你必須將引發變量作為參數傳遞給其他模塊。

NCat
新的因素

謝謝你的回複。
@werners1我想用火花會話模塊叫做從筆記本。

@sakhulaz我怎樣才能配置選項附著在磚數據?

@Tharun-Kumar謝謝你!這種方法絕對適合我的情況!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map