从模型服务端点配置对资源的访问

secrets-based环境变量是什么?

secrets-based环境变量,您可以安全地存储凭证在砖秘密范围和引用那些秘密的模型。这允许凭据在服务时间从模型中获取服务端点。

例如,您可以通过凭证叫OpenAI和其他外部模型端点或访问外部数据存储位置直接从模型服务。

砖建议这个功能部署OpenAI和LangChainMLflow口味服务模型。它也适用于其他SaaS模型要求的凭证访问模式的理解是基于使用环境变量和API密钥和令牌。

需求

• 这个功能目前仅支持通过砖REST API。

• 要使用此功能,您必须存储凭证喜欢你的API密钥或其他标记砖的秘密。

• 端点的创造者必须有读访问权配置中引用的砖的秘密。

创建一个秘密范围

模型服务期间,从砖检索秘密的秘密秘密的范围和关键。这些获得分配给秘密环境变量名称,可以使用内部模型。

首先,创建一个秘密范围。以下是CLI命令:

砖秘密创建范围——my_secret_scope范围

然后您可以添加您所需的秘密的秘密范围和主要如下所示:

砖秘密把my_secret_key——my_secret_scope范围键

秘密信息和环境变量的名称可以传递给您的端点配置在端点创建或更新现有的配置端点。

添加秘密范围端点配置

在模型服务端点创建和配置更新,你可以提供一个列表的秘密环境变量为每个服务规范模型内部API请求使用environment_vars字段。下面的例子分配价值从秘密提供的代码中创建环境变量OPENAI_API_KEY。

下面是一个示例创建一个服务端点。看到创建和管理模式服务端点

帖子. . / api / 2.0 / serving-endpoints{“名称”:“端点名称”,“配置”:{“served_models”:[{“model_name”:“型号名称”,“model_version”:“1”,“workload_size”:“小”,“scale_to_zero_enabled”:“真正的”,“environment_vars”:{“OPENAI_API_KEY”:”{{秘密/ my_secret_scope / my_secret_key}}”}})}}

你也可以更新服务端点,就像下面的例子:

把. . / api / 2.0 / serving-endpoints /{的名字}/配置{“served_models”:[{“model_name”:“型号名称”,“model_version”:“2”,“workload_size”:“小”,“scale_to_zero_enabled”:“真正的”,“environment_vars”:{“OPENAI_API_KEY”:”{{秘密/ my_secret_scope / my_secret_key}}”}})}

服务端点创建或更新后,模型自动获取的密钥数据砖秘密范围和填充模型推理代码使用环境变量。

笔记本的例子

看到以下的笔记本的例子如何配置访问外部和私人资源从模型服务端点secret-based环境变量。