Vik1 -磚

Vik1 · 06-22-2022

我有一個熊貓在火花dataframe 800萬行和列。花了3.48分鍾運行df。形狀和需要。它還需要很長時間運行df。花了4.55分鍾。相比之下df.var1.value_counts () .reset_index()隻花了0.18秒…

Vik1 · 01-21-2022

我的新磚平台。Beplay体育安卓版本什麼最好的辦法是保持數據持久,這樣當我重新啟動集群我不需要再次運行所有的代碼嗎?這樣我可以繼續發展我的筆記本的緩存數據。我已經創建了許多dat……

Vik1 · 01-21-2022

我的設置:工人類型:Standard_D32d_v4, 128 GB的內存,32核心,最小的工人:2,馬克斯工人:8驅動程序類型:Standard_D32ds_v4, 128 GB的內存,32 CoresDatabricks運行時版本:10.2毫升(包括Apache火花3.2.0,Scala 2.12)我跑一個雪花這位…

磚

用戶數據

用戶活動

一些很簡單的函數在熊貓火花非常緩慢

數據持久性、Dataframe和三角洲

集群設置毫升為大熊貓的火花,Python和香草。