顯示,計數和寫命令後1日工作

[magy]

你好,

我有問題顯示和保存在磚。

簡單的命令可以運行幾個小時,沒有任何進展。

之前我不做任何火箭科學——代碼運行在不到一分鍾,我有一個最後加入。

我用7.3 LTS毫升GPU集群Standard_NC12工人和司機。

數據集有大約3 mln行。

提前感謝任何幫助!

[werners1]

很難說不知道df_out是如何創建的。

火花是懶惰的評估,執行的代碼隻有在寫作。

(轉換和操作)。

[Ryan_Chynoweth]

同意@werners這裏。如果你共享執行計劃的一個屏幕快照,那麼我們也許能夠幫助更多。

一個猜測是,您可能需要多個分區,但我不能確定。

[jose_gonzalez]

嗨@Just Magy,

你的數據來源是什麼?你有什麼類型的懶惰的轉換和操作代碼中?你的分區數據?

請提供更多的細節。