我怎樣才能把火花Dataframe分成n = Dataframes(行)?我想獲得這個ID列添加一行,但沒有成功。

[NithinTiruveedh]

我有一個dataframe 5 m行。我需要把它分成5 dataframes ~ 1 m行。

這是很簡單的事如果我能創建一個列包含行ID。這有可能嗎?

[girivaratharaja]

@Nithin Tiruveedhi請嚐試如下。下麵是一個例子的單詞計數邏輯。

val tmpTable1 = sqlContext。sql(“選擇row_number()(按計數)rnk,詞,從wordcount數”)

tmpTable1.registertempTable (“wordcount_rownum”)

sqlContext.cacheTable (“wordcount_rownum”)

val df1 = sql(”選擇從wordcount_rownum rnk < = 1000000”)

val df2 = sql(”選擇

1000001和1000001之間從wordcount_rowum rnk”)

val df3 = sql (“select * from wordcount_rowum rnk 2000001和3000000”之間)

val df4 = sql (“select * from wordcount_rowum rnk 3000001和4000000”之間)

val df5 = sql (“select * from wordcount_rowum rnk 4000001和5000000”之間)

希望這個有幫助。

[NithinTiruveedh]

謝謝你Giri !

[sd_hrishi]

@girivaratharajan

謝謝你的回答,我有同樣的要求,但我有一定的查詢你的答案。如何row_number內部工作特別”/(按計數)”。將它將所有行司機執行人(不會有效的巨大的數據)?和在你的答案,會的row_number生產嚴格的汽車數量增加。

它會與200記錄正確嗎?請幫助。

[OccasionalVisit]

我怎麼能把它基於列。假設我有100列。我想要打破原來的DF分成5 DF每20列

[JosiahB]

不要問問題回答一個問題。