探索額外成本節省選擇結構化流24 x7x365正常運行時間的工作負載

[dataslicer]

我目前有多個崗位(集群)每個運行自己的工作為我的火花結構化流管道上長時間運行24 x7x365 DBR 9. x / 10。x LTS。我的sla 24 x7x365 1分鍾的延遲。

我已經完成了以下成本節約的機會:

1. 使用集群工作代替通用計算
2. 觸發間隔在1分鍾間隔處理
3. 使用公平調度器池
4. 基於利用調整職工VM SKU類型

鑒於上述,以下額外的成本節約配置證明*滿足上述流sla和支持* *磚?

1. 現貨實例
2. 自動伸縮
3. 探索的動機這兩個成本節約的選擇是因為流數據有不同的消息量(高、低)在不同時間的一天。
4. 任何新的額外的成本節約選項沒有提及到目前為止也歡迎。

* = =實證結果證明在一些大規模生產場景中對一些長時間來證明它的魯棒性。

* *支持= =狀態流和恢複支持當前引發3。x的api

的背景下,我已經應用當前(2022-04-14)由磚的最佳實踐。

支持和反對的任何引用“實例”和“伸縮”是感激。

謝謝你！

[阿列克謝]

嘿,

你能提供更多的信息如何設置fair-scheduler池?我現在試圖按照說明並提供XML文件與多個池(默認隻FIFO),但我失敗了。

提前謝謝。

[dataslicer]

你可能想要開始一個新的線程問題有足夠的麵積/空間捕捉你正在經曆的背景和問題。這樣你會獲得更好的可見性和社區的支持。作為參考,這火花文檔應該有你需要的一切你開始。

[匿名]

http://doramasmp4.tv/