嗨@Andrej Erkelens,實例化一個火花上下文之外的Python腳本,該腳本將運行一個磚筆記本,你可以使用PySpark庫,它提供了一個接口,用於與火花在Python交互。
這裏有一個例子如何實例化一個火花在Python腳本上下文:
從pyspark進口SparkContext SparkConf #設置火花配置配置= SparkConf () .setAppName (“MyApp”) sc = SparkContext(參看= conf) #你的火花代碼#停止火花上下文sc.stop ()
在這個例子中,我們首先從pyspark導入SparkContext和SparkConf類模塊。
然後,我們創建一個新的SparkConf對象並將其傳遞給應用程序名稱SparkContext構造函數創建一個新的火花上下文。然後您可以添加您代碼之間的火花
SparkContext實例化和sc.stop()調用結束時執行代碼。
重要的是要注意,當你在一個Python腳本實例化一個火花上下文,您需要顯式地管理環境的生命周期,包括啟動和停止它。這是因為沒有自動運行時上下文管理一個Python腳本外磚筆記本。
