應用功能跨多個小dataframes創建從一個大dataframe scala

[Sandesh87]

dataframe“big_df”看起來像下麵

| | | |索引id時間戳

| - - - |:- - - - - -:| | - - - - - -

abc | | 1 | 11:00:00 |

abc | | 1 | 11:00:10 |

abc | | 1 | 11:00:20 |

abc | | 1 | 11:00:30 |

abc | | 1 | 11:00:40 |

abc | | 1 | 11:00:50 |

abc | | 2 | 11:01:00 |

abc | | 2 | 11:01:10 |

abc | | 2 | 11:01:20 |

| def | 1 | 23:00:00 |

| def | 1 | 23:01:00 |

xyz | | 1 | 15:00:00 |

xyz | | 1 | 15:01:00 |

xyz | | 1 | 15:02:00 |

xyz | | 1 | 15:03:00 |

xyz | | 1 | 15:04:00 |

xyz | | 1 | 15:05:00 |

xyz | | 2 | 15:06:00 |

xyz | | 2 | 15:07:00 |

xyz | | 3 | 15:10:00 |

有一個函數的fun1 dataframe作為輸入。

每一列的獨特組合“id”和“指數”big_df是一個小dataframe fun1需要傳遞給函數。

如何應用這個函數的多個小dataframes並行?

它可以通過使用foreachpartition如果是如何?

[Vidula_Khanna]

嗨@Sandesh Puligundla

很高興認識你,謝謝你的問題!

看看你的同行在社區中有一個回答你的問題。謝謝。