取消
顯示的結果
而不是尋找
你的意思是:

比較兩個dataframes

SiddarthaPaturu
新的貢獻者二世

我們如何比較兩個數據幀使用pyspark

我需要驗證輸出與另一個數據集

1接受解決方案

接受的解決方案

girivaratharaja
新的貢獻者三世

> > > df1.subtract (df2)

根據API文檔,它返回一個新的包含行DataFrame在這個框架而不是在另一個框架。

這相當於除了SQL。

https://spark.apache.org/docs/1.3.0/api/python/pyspark.sql.html?highlight=dataframe pyspark.sql.Data……

在原帖子查看解決方案

8回答說8

girivaratharaja
新的貢獻者三世

> > > df1.subtract (df2)

根據API文檔,它返回一個新的包含行DataFrame在這個框架而不是在另一個框架。

這相當於除了SQL。

https://spark.apache.org/docs/1.3.0/api/python/pyspark.sql.html?highlight=dataframe pyspark.sql.Data……

SiddarthaPaturu
新的貢獻者二世

給隻行或其他數據幀,有什麼,在df驗證所有的列值

girivaratharaja
新的貢獻者三世

@Siddartha Paturu我如果是這樣的話,我建議做兩個dataframes之間加入然後比較所有列

SiddarthaPaturu
新的貢獻者二世

我們怎樣才能比較列?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map