取消
顯示的結果
而不是尋找
你的意思是:

如何實例化磚火花在python腳本上下文?

ae20cg
新的貢獻者三世

我想在腳本中運行的代碼塊,而不是在磚的一個筆記本,但是我不能正確地實例化火花上下文沒有錯誤。

我已經嚐試SparkContext.getOrCreate()”,但這並不工作。

有沒有簡單的方法我失蹤嗎?

4回複4

ajaypanday6781
尊敬的貢獻者二世

嗨@Andrej Erkelens,

請發送錯誤,你在使用上麵的代碼嗎?

Kaniz
社區經理
社區經理

嗨@Andrej Erkelens,實例化一個火花上下文之外的Python腳本,該腳本將運行一個磚筆記本,你可以使用PySpark庫,它提供了一個接口,用於與火花在Python交互。

這裏有一個例子如何實例化一個火花在Python腳本上下文:

從pyspark進口SparkContext SparkConf #設置火花配置配置= SparkConf () .setAppName (“MyApp”) sc = SparkContext(參看= conf) #你的火花代碼#停止火花上下文sc.stop ()

在這個例子中,我們首先從pyspark導入SparkContext和SparkConf類模塊。

然後,我們創建一個新的SparkConf對象並將其傳遞給應用程序名稱SparkContext構造函數創建一個新的火花上下文。然後您可以添加您代碼之間的火花

SparkContext實例化和sc.stop()調用結束時執行代碼。

重要的是要注意,當你在一個Python腳本實例化一個火花上下文,您需要顯式地管理環境的生命周期,包括啟動和停止它。這是因為沒有自動運行時上下文管理一個Python腳本外磚筆記本。

ae20cg
新的貢獻者三世

@Kaniz開羅

你好,我嚐試過,但得到一個錯誤

RuntimeError:大師URL必須設置在您的配置

有什麼我錯過使用磚集群(AWS端)py腳本?

謝謝

我也有同樣的問題,並將解決方案感興趣

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map