在3.0.0 FutureWarning:棄用。使用SparkSession.builder.getOrCreate ()。

[Andrei_Radulesc]

我想擺脫以下警告:

/磚/火花/ python / pyspark / sql /上下文。py: 117: FutureWarning: 3.0.0棄用。使用SparkSession.builder.getOrCreate ()。

我在設置中,有一個前端參數從用戶的筆記本,需要創建一個dataframe基於這些參數。代碼創建dataframe與其他筆記本電腦是很常見的,並在一個常規的python實現文件:

def get_df (days_old: int = None) - > DataFrame:

sc = SparkSession.builder.getOrCreate ()

sqlc = SQLContext (sc)

df = sqlc.table (f“prod.some_schema.some_table”)

返回df

如果我的電話sqlc.table ()直接在筆記本上,我就不會創建引發會話和SQL上下文。但是如果我叫它從在一個常規的python文件,我必須得到火花會話和SQL上下文——我不知道怎麼做w / oFutureWarning。

[Andrei_Radulesc]

在我看來,它隻是我已經打電話SparkSession.builder.getOrCreate (),而且還得到了警告。

[Kaniz]

嗨@Andrei Radulescu-Banu,你可以試試這個呢?

從pyspark。sql進口SparkSession DataFrame def get_df (days_old: int = None) - > DataFrame:火花= SparkSession.builder.getOrCreate () df = spark.table (“prod.some_schema.some_table”)如果days_old不是沒有:df = df。過濾器(f“date_column > = date_sub(當前日期(){days_old}) ")返回df

[Andrei_Radulesc · Accepted solution]

修複它。謝謝。我需要做

火花= SparkSession.builder.getOrCreate ()

df = spark.table (“prod.some_schema.some_table”)

而不是

sc = SparkSession.builder.getOrCreate ()

sqlc = SQLContext (sc)

df = sqlc.table (f“prod.some_schema.some_table”)