我怎樣才能把火花Dataframe分成n = Dataframes(行)?我想獲得這個ID列添加一行,但沒有成功。

[NithinTiruveedh]

我有一個dataframe 5 m行。我需要把它分成5 dataframes ~ 1 m行。

這是很簡單的事如果我能創建一個列包含行ID。這有可能嗎?

[SiddSingal]

嗨Nithin,

您可以使用DataFrame randomSplit函數。例如:

val df = sc.parallelize(1到10000).toDF(“價值”)val splitDF = df.randomSplit(數組(1,1,1,1,- 1))瓦爾(df1、df2 df3, df4, df5) = (splitDF (0) splitDF (1) splitDF (2), splitDF (3), splitDF (4))

的問題是不準確甚至完全分裂。這可能不是一個大問題,尤其是因為你有很多記錄。這是好的嗎?

Sidd

[NithinTiruveedh]

謝謝你Sidd !

[JosiahB]

我可以確認這個答案。@Nithin Tiruveedhi,你能接受這個答案,因為你提到它還適合你嗎?它幫助,因為這將這個答案到頂部和表明它解決了你的問題,讓它更明顯,這種解決方案。

[sd_hrishi]

我有同樣的要求把200行成相同大小的批(10公裏),但我有一個約束條件,批不得超過10 k行(較小的很好),我的情況能奏效嗎?