磚雪花dataframe.toPandas()采取更多的空間和時間

[玻雷吉]

我有兩個完全相同的表(行和模式)。一個表recides AZSQL服務器數據基礎,另一個是在雪花數據庫。現在我們有一些現有的代碼,我們想從azsql遷移到雪花,但當我們試圖創建一個熊貓dataframe從雪花它需要20到30分鍾(3.8米隆記錄),在相同azsql任務,我們能夠在5分鍾。也perfome toPandas AZSQL我們使用很小的單節點集群和雪花,我們必須使用一個集群56個gb的內存(否則我們得到伯父錯誤)。

[Kaniz]

你好@玻雷吉!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區有一個先回答你的問題。否則我將與我的團隊跟進,回到你soon.Thanks。

[玻雷吉]

嗨@Kaniz開羅,非常感謝,我知道這可能是因為雪花如何存儲數據,也要檢查這裏如果有人麵臨它。

[Ryan_Chynoweth]

所以我理解你的問題,你能提供更多的信息,這些問題嗎?

• 你正在讀相同的數據來自SQL Azure和雪花Dataframe火花。在這一點上你將引發dataframe熊貓dataframe使用“toPandas()的方法?
• 上述過程是4 - 6倍的時間比SQL Azure相比,當使用雪花嗎?
• 如果上述兩個問題的答案是“是的”,我很好奇如果對Dataframes分區的數量都是一樣的,因為這可能會影響這個過程。
• 如果上述兩個問題的答案是“是的”,那麼它很可能從數據庫讀取數據的性能就是花這麼長時間。這可能是一個問題在雪花端不讀取數據時按預期執行。

我的最後一個問題,你為什麼要把熊貓Dataframe 380萬行嗎?我建議保持它作為火花Dataframe熊貓開始達到它的局限性處理速度當行達到數百萬。

[玻雷吉]

嗨,瑞安,2第一個問題的答案是肯定的。和分區AZSQL是1和雪花是46歲。也不是隻有時間,雪花,我們可以看到一個內存消耗激增(一般)。雪花我們需要更多的內存工作的時候,我不知道為什麼?這就是我試圖理解。關於你的建議保持數據幀火花,是的,我們讓它作為我們最後的選擇,因為它需要大量的代碼更改,我們已經有代碼與AZSQL沒問題(380萬條記錄。

謝謝你的回複。

Brijan