如何結合多個dataframe pyspark磚內筆記本嗎

[RaymondXie]

我有4個DFs: Avg_開放By_Year, Avg高By_Year, Avg低By_Year和Avg關閉_By_Year,他們都有一個共同的列的一年”。

我想加入這三個在一起最後df:開放,高,低,關閉的 目前我必須用醜陋的方式加入他們在列“年”:

finalDF = Avg_Open_By_Year . join (Avg_High_By_Year =(“年”),如何= ' left_outer ') . join (Avg_Low_By_Year, =(“年”),如何= ' left_outer ') . join (Avg_Close_By_Year, =(“年”),如何=“left_outer”)

我認為應該有一個優雅的方式做到這一點,像UnionAll SQL。 這裏有一個可能的解決方案https://datascience.stackexchange.com/questions/11356/merging-multiple-data-frames-row-wise-in-pyspa..。下麵描述,所選擇的答案是:從functools進口減少對Python 3 #。從pyspark x。sql進口DataFrame

def unionAll (dfs):返回減少(DataFrame。unionAll dfs)

unionAll (td2、td3 td4、td5 td6, td7, td8, td9, td10)

然而,我在磚筆記本,我拋出錯誤:

NameError:名字“functools”沒有定義

它會很感激如果有人可以擺脫我更多的光。非常感謝。

[thiago_matos]

以這種方式導入reduce函數:

從functools進口減少