嗨
我有一個結構化流讀取的工作從一個表“a”和推到另一個δ表“B”。
模式——group_key id、時間戳值
B模式——group_key watermark_timestamp derived_value
一個需求是,我需要從“B”馬克斯watermark_timestamp每組(group_key),然後加入隻與“A”來過濾這些信息為每個組每組比> watermark_timestamp。處理這些數據和更新狀態後,我需要這些消息的最大時間戳和附加B watermark_timestamp字段為每個組。除此之外,我將把一些額外的數據在derived_value列使用下遊。
基本上上麵確保已經處理過的數據不再次進入流。
問題是我閱讀從同一表我寫作。當我執行這個工作不成功,當我把B放在水槽。當我改變B說那錢到一個不同的表。
我試著一切。我試著收集B馬克斯組數據流甚至開始前。仍然不工作,
有什麼解決方案嗎?請別人幫助。
另外一般來說如果我有一個要求,我需要緩衝數據數日,我不想把所有的東西都在內存中,水印應用於任意狀態處理然後過濾器。什麼最好的方法來解決這個問題。我想使用SQL查詢是什麼我的上麵。
