如何實現在scala中不存在模式在哪裏?

[tarente]

我有一個dataframe用下麵的列:

• Key1
• Key2
• Y_N_Col
• Col1
• Col2

關鍵的元組(Key1 Key2),我已經和Y_N_Col行= " Y "和Y_N_Col =“N”。

我需要一個新的dataframe與所有行Y_N_Col = " Y "(不管關鍵元組),加上所有Y_N_Col =“N”沒有Y_N_Col = " Y "相同的元組的關鍵。

Scala dataframe已經計算在一個筆記本上。

提前謝謝,

蒂亞戈R。

[Dan_Z]

是的——火花催化劑優化器是智能。兩個查詢計劃可能會有相同的計劃之後,優化器完成。你可以計劃使用:

dfNoDups.explain ()

[tarente]

謝謝你的回答,我不知道的解釋。

我做了一些測試和執行在相似的時期。

我最終使用沃納建議的解決方案,因為在未來會更容易理解和維護。