我有一個流聚合查詢高度可變micro-batch處理時間。日誌中看到很多GC暫停。任何指針如何調試?

[sajith_appukutt]

盡管數據量相對均勻,流聚合查詢顯示高度可變micro-batch處理時間

[sajith_appukutt · Accepted solution]

默認情況下,狀態數據(流媒體聚合查詢)保持JVM內存的執行者和大量的狀態對象可以把內存壓力導致高GC暫停的JVM。如果你有有狀態操作流查詢,推薦使用一個更優化的基於狀態管理解決方案RocksDB。

更多的細節在https://docs.m.eheci.com/spark/latest/structured-streaming/production.html optimize-performance-o……