運行大型火花結構化流聚合小滑動時間窗口

[serg-v]

我想在大窗戶上運行聚合(90天)用小滑動時間(5分鍾)。

簡單的解決方案將會導致巨大的國家在幾百gb,這看起來不可以接受的。

最佳實踐這樣做嗎?

現在我考慮以下場景:

1. 使用flatMapGroupsWithState和實現EWMA(指數加權移動平均)而不是平均減少狀態。有好的圖書館EWMA嗎?
2. 以某種方式加入數據從兩個流——例如90天窗口與幻燈片1天,1天窗口5分鍾幻燈片

任何其他想法?

線程在azure問答

[Kaniz]

嗨@Sergey沃爾科夫,謝謝你的問題。這裏有一些很棒的文章EWMA和事件時間聚合在Apache火花™的結構化流。請您看一看。讓我們知道是否有幫助。

• https://towardsdatascience.com/time-series-from-scratch-exponentially-weighted-moving-averages-ewma-..。
• //m.eheci.com/blog/2017/05/08/event-time-aggregation-watermarking-apache-sparks-structured-..。
• https://medium.com/expedia-group-tech/apache-spark-structured-streaming-operations-5-of-6-40d907866f..。
• https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html

[jose_gonzalez]

嗨@Sergey沃爾科夫,

隻是一個友好的後續。你還在尋求幫助或做任何文檔,Kaniz共享幫你嗎?

[serg-v]

嗨。

>你還在尋求幫助

不,謝謝,我們實現了使用flatMapGroupsWithState EWMA。

>做的任何文檔,Kaniz共享幫你嗎?

不是真的。他們隻是稍微連接到我的問題。