我怎樣才能把火花Dataframe分成n = Dataframes(行)?我想獲得這個ID列添加一行,但沒有成功。

[NithinTiruveedh]

我有一個dataframe 5 m行。我需要把它分成5 dataframes ~ 1 m行。

這是很簡單的事如果我能創建一個列包含行ID。這有可能嗎?

[durgam_anil]

如何把dataframe根據大小。
如果我有dataframe包含1000萬條記錄……
我想將它們在小dataframes . .在寫小dataframes不應超過100 mb。
有這樣的可能性嗎

[Tharun-Kumar]

嗨@NithinTiruveedh另一種解決方案,實現這一目標將被使用NTILE ()函數。

對於你的用例,你必須執行ntile(5),將你的數據集5 m行分成5組,每組1 m行。

[Vidula_Khanna]

嗨@NithinTiruveedh

謝謝你發布你的問題在我們的社區!我們很高興幫助你。

幫助我們為您提供最準確的信息,請您花一些時間來回顧反應和選擇一個最好的回答了你的問題嗎?

這也將有助於其他社區成員可能也有類似的問題在未來。謝謝你的參與,讓我們知道如果你需要任何進一步的援助!