我想擺脫以下警告:
/磚/火花/ python / pyspark / sql /上下文。py: 117: FutureWarning: 3.0.0棄用。使用SparkSession.builder.getOrCreate ()。
我在設置中,有一個前端參數從用戶的筆記本,需要創建一個dataframe基於這些參數。代碼創建dataframe與其他筆記本電腦是很常見的,並在一個常規的python實現文件:
def get_df (days_old: int = None) - > DataFrame:
sc = SparkSession.builder.getOrCreate ()
sqlc = SQLContext (sc)
df = sqlc.table (f“prod.some_schema.some_table”)
返回df
如果我的電話sqlc.table ()直接在筆記本上,我就不會創建引發會話和SQL上下文。但是如果我叫它從在一個常規的python文件,我必須得到火花會話和SQL上下文——我不知道怎麼做w / oFutureWarning。
修複它。謝謝。我需要做
火花= SparkSession.builder.getOrCreate ()
df = spark.table (“prod.some_schema.some_table”)
而不是
sc = SparkSession.builder.getOrCreate ()
sqlc = SQLContext (sc)
df = sqlc.table (f“prod.some_schema.some_table”)
嗨@Andrei Radulescu-Banu,你可以試試這個呢?
從pyspark。sql進口SparkSession DataFrame def get_df (days_old: int = None) - > DataFrame:火花= SparkSession.builder.getOrCreate () df = spark.table (“prod.some_schema.some_table”)如果days_old不是沒有:df = df。過濾器(f“date_column > = date_sub(當前日期(){days_old}) ")返回df
修複它。謝謝。我需要做
火花= SparkSession.builder.getOrCreate ()
df = spark.table (“prod.some_schema.some_table”)
而不是
sc = SparkSession.builder.getOrCreate ()
sqlc = SQLContext (sc)
df = sqlc.table (f“prod.some_schema.some_table”)