比較兩個dataframes

[SiddarthaPaturu]

我們如何比較兩個數據幀使用pyspark

我需要驗證輸出與另一個數據集

[jagannathsahoo]

最近我也堅持這種情況。有人能幫助我如何比較列在這個場景中。@Siddartha Paturu請幫幫我這如果已經找到了解決方案。提前謝謝。

[ShashishekharDe]

我堅持同樣的問題. .任何新的更新嗎?

,

有沒有解決這個問題? ?

[amandaphy]

試著用

all.equal

函數。

它不dataframes但它檢查每個細胞

數據幀

對相同的細胞在另一個。您還可以使用

相同的()

函數。

我想分享一個鏈接可以幫助解決你的問題https://goo.gl/pgLaEd

[sbharti]

我認為在這種情況下最好的辦法是采取內連接(相當於路口)給那些列條件dataframes一定需要有相同的值。例如,

讓df1 df2是兩個dataframes。df1已列(A, B, C)和df2列(D、C、B),那麼您可以創建一個新的dataframe df1的交集,df2條件列B和C。

df3 = df1。加入(df2 [df1。B = = df2。B, df1。C = = df2。C], =“內在”)

df3隻包含那些行從df1和df2滿足上述條件。