從模型服務端點配置對資源的訪問

secrets-based環境變量是什麼?

secrets-based環境變量,您可以安全地存儲憑證在磚秘密範圍和引用那些秘密的模型。這允許憑據在服務時間從模型中獲取服務端點。

例如,您可以通過憑證叫OpenAI和其他外部模型端點或訪問外部數據存儲位置直接從模型服務。

磚建議這個功能部署OpenAI和LangChainMLflow口味服務模型。它也適用於其他SaaS模型要求的憑證訪問模式的理解是基於使用環境變量和API密鑰和令牌。

需求

• 這個功能目前僅支持通過磚REST API。

• 要使用此功能,您必須存儲憑證喜歡你的API密鑰或其他標記磚的秘密。

• 端點的創造者必須有讀訪問權配置中引用的磚的秘密。

創建一個秘密範圍

模型服務期間,從磚檢索秘密的秘密秘密的範圍和關鍵。這些獲得分配給秘密環境變量名稱,可以使用內部模型。

首先,創建一個秘密範圍。以下是CLI命令:

磚秘密創建範圍——my_secret_scope範圍

然後您可以添加您所需的秘密的秘密範圍和主要如下所示:

磚秘密把my_secret_key——my_secret_scope範圍鍵

秘密信息和環境變量的名稱可以傳遞給您的端點配置在端點創建或更新現有的配置端點。

添加秘密範圍端點配置

在模型服務端點創建和配置更新,你可以提供一個列表的秘密環境變量為每個服務規範模型內部API請求使用environment_vars字段。下麵的例子分配價值從秘密提供的代碼中創建環境變量OPENAI_API_KEY。

下麵是一個示例創建一個服務端點。看到創建和管理模式服務端點

帖子. . / api / 2.0 / serving-endpoints{“名稱”:“端點名稱”,“配置”:{“served_models”:[{“model_name”:“型號名稱”,“model_version”:“1”,“workload_size”:“小”,“scale_to_zero_enabled”:“真正的”,“environment_vars”:{“OPENAI_API_KEY”:”{{秘密/ my_secret_scope / my_secret_key}}”}})}}

你也可以更新服務端點,就像下麵的例子:

把. . / api / 2.0 / serving-endpoints /{的名字}/配置{“served_models”:[{“model_name”:“型號名稱”,“model_version”:“2”,“workload_size”:“小”,“scale_to_zero_enabled”:“真正的”,“environment_vars”:{“OPENAI_API_KEY”:”{{秘密/ my_secret_scope / my_secret_key}}”}})}

服務端點創建或更新後,模型自動獲取的密鑰數據磚秘密範圍和填充模型推理代碼使用環境變量。

筆記本的例子

看到以下的筆記本的例子如何配置訪問外部和私人資源從模型服務端點secret-based環境變量。