取消
顯示的結果
而不是尋找
你的意思是:

運行大型火花結構化流聚合小滑動時間窗口

serg-v
新的貢獻者三世

我想在大窗戶上運行聚合(90天)用小滑動時間(5分鍾)。

簡單的解決方案將會導致巨大的國家在幾百gb,這看起來不可以接受的。

最佳實踐這樣做嗎?

現在我考慮以下場景:

  1. 使用flatMapGroupsWithState和實現EWMA(指數加權移動平均)而不是平均減少狀態。有好的圖書館EWMA嗎?
  2. 以某種方式加入數據從兩個流——例如90天窗口與幻燈片1天,1天窗口5分鍾幻燈片

任何其他想法?

線程在azure問答

3回複3

嗨@Sergey沃爾科夫,

隻是一個友好的後續。你還在尋求幫助或做任何文檔,Kaniz共享幫你嗎?

serg-v
新的貢獻者三世

嗨。

>你還在尋求幫助

不,謝謝,我們實現了使用flatMapGroupsWithState EWMA。

>做的任何文檔,Kaniz共享幫你嗎?

不是真的。他們隻是稍微連接到我的問題。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map