從推理服務器暴露普羅米修斯指標在azure機器學習

[hkrtinfra]

目前,我們正在運行一個推理服務器在azure機器學習。我們希望能夠公開現有的度量普羅米修斯以及創建自己的自定義指標,下麵描述

公開現有的指標:

我想請求數的分解狀態/平均延時等……我假設azure跟蹤這個地方但是我看不到任何地方,即使我可以我想讓它所以普羅米修斯可以刮。

使自定義指標:

推理代碼有很多慢步驟,我們希望能夠暴露指標對每個部分的代碼,以便我們可以看到我們的應用程序的哪些部分是瓶頸。