模型服務與磚

為什麼使用模型服務?

模型提供服務:

• 單擊啟動一個端點:磚自動為您的模型和針對生產環境準備為計算提供serverless配置選項。

• 高可用性和可伸縮性:模型是用於生產使用和服務可以支持多達3000 + queries-per-second(每秒)。模型服務端點自動向上和向下擴展,這意味著端點自動調整基於評分的請求的數量。你也可以為多個模型從一個端點。

• 安全:模型部署在一個安全的網絡邊界。模型使用的專用計算終止(並沒有重用)當模型被刪除,或按比例縮小為零。

• MLflow集成:本地連接到MLflow模型注冊表使快速和容易的部署模型。

• 指示板:使用內置的模型服務端點使用儀表板來監測你的健康模型指標如每秒,延遲和錯誤率。

• 功能存儲整合:當你的模型訓練與磚特性的存儲特性,模型包裝功能的元數據。如果你配置您的在線商店,這些特性作為得分納入實時接收的請求。

需求

• MLflow注冊模型統一目錄或模型注冊。

• 注冊的權限模型中描述服務端點訪問控製。

限製

以下限製:

• 有效載荷的大小限製,每個請求的16 MB。

• 默認限製每個工作區得分200每秒的請求。你可以增加這個極限3000每秒或多個工作區,接觸你的磚支持接觸。

• 模型服務支持模型與評價延遲到60秒。

• 盡最大努力支持少於100毫秒延遲開銷和可用性。

• 你的模型的可用內存是默認4 GB。你可以增加這個極限16 GB /模型通過接觸你的磚支持接觸。

• 工作區有可能部署在一個受支持的地區,但可以服務控製飛機在不同的地區。這些工作空間不支持模型服務,導致你的工作空間是不目前支持。消息。解決,創建一個新的工作區在受支持的地區,或使用該功能在不同的工作區中沒有這個問題。伸出你的磚代表的更多的信息。

• 模型服務目前並不符合HIPAA法規。

• 模型服務不支持init腳本。

• 模型訓練使用AutoML模型由於服務包依賴關係可能會失敗。看看如何解決包的依賴關係為AutoML訓練有素的服務模型。

模型服務端點受訪問控製保護和尊重網絡相關導入工作區上配置規則,如IP allowlists和PrivateLink。

端點創建和更新的期望

部署一個新注冊模型版本涉及到包裝模型及其模型環境和配置模型端點本身。這個過程可能要花費大約10分鍾。

磚執行零宕機更新現有端點的端點配置直到新的就好了。這樣做可以減少中斷的風險正在使用的端點。

如果模型計算花費的時間超過60秒,請求超時。如果你相信你的模型計算將超過60秒,接觸你的磚支持聯係。

端點擴大規模和降低期望值

向上和向下擴展基於服務端點的體積流量進入端點和目前提供並發的容量單位。當流量增加時,一個端點幾乎立即試圖擴大規模,根據交通量的大小增加。當流量減少,磚進行了嚐試每五分鍾縮減到一個並發的大小,代表了當前的體積流量。

當端點啟用規模為零,它規模降至零後30分鍾的觀察沒有交通的端點。當一個端點按比例縮小到零,第一個請求經曆所謂的“冷啟動”。這意味著延遲高於每個請求的平均延遲第一個請求。如果使用這個特性對延遲敏感的應用程序,數據磚建議要麼不擴展到零個或前熱身請求發送到端點麵向用戶的交通到達您的服務。

如果你有其他問題擴大和縮小的行為,請聯係你的磚支持聯係。

額外的資源