取消
顯示的結果
而不是尋找
你的意思是:

有辦法CONCAT兩dataframes兩側的軸(行/列)和轉置dataframe PySpark嗎?

RiyazAli
貢獻者三世

我重塑dataframe按要求和我遇到這情況我連接2 dataframes然後更換它們。我做這之前使用熊貓,熊貓的語法如下:

熊貓作為pd df1 = pd.DataFrame導入(some_dict) df2 = pd.DataFrame new_df = pd (some_dict)。concat ([df1 df2],軸=“列”)#疊加dfs並排trans_df = new_df.transpose()或隻是new_df.T

有一種我在PySpark可以這樣做嗎?任何領導將不勝感激。

1接受解決方案

接受的解決方案

Kaniz
社區經理
社區經理

嗨@Riyaz阿裏,這是一個通用的轉置方法(TransposeDF)可以轉置引發數據幀。點擊這裏完整的技術細節。請讓我知道是否對你有幫助。

在原帖子查看解決方案

6個回答6

RiyazAli
貢獻者三世

嗨@Kaniz開羅,

我不再看到答案你已經發布了,但是我看到你被建議使用“聯盟”。根據我的理解,結合用於堆棧的dfs在另一個類似的模式/列名。

以我的情況,我有2個不同的DataFrames不同列(和模式),但相同數量的記錄。我想它們堆並排。

為e。g: DF1 2列(a和b)和10行和DF2有3列(x, y, z)相同的10行。我想要結果DataFrame 10行5列(a, b, c, d, e)。

謝謝你!:grinning_face:

嗨@Riyaz阿裏,這個配方幫助你棧兩個DataFrames Pyspark水平。請讓我知道這是否有幫助。

RiyazAli
貢獻者三世

謝謝@Kaniz開羅,這解決了問題的一半,另一半是我需要轉置的pyspark dataframe。任何幫助嗎?

Kaniz
社區經理
社區經理

嗨@Riyaz阿裏,這是一個通用的轉置方法(TransposeDF)可以轉置引發數據幀。點擊這裏完整的技術細節。請讓我知道是否對你有幫助。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map