设置和注意事项ai_generate_text ()

预览

这个特性是在公共预览。

本文描述了考虑什么,建立在你开始使用ai_generate_text ()函数,特别是如何检索安全身份验证凭证并存储它们。它还包括功能局限性和性价比方面的考虑。

是什么ai_generate_text ()吗?

的ai_generate_text ()函数是一个内置的砖SQL函数允许您访问大型语言模型(llm)直接从SQL。这个功能目前支持访问OpenAI和Azure OpenAI模型,并使客户能够使用它们作为构建块在数据管道和机器学习工作负载。语法和设计模式,看到ai_generate_text函数语言手册内容。

可能的用例ai_generate_text ()包括翻译、总结、建议行动,主题或主题识别,等等。

下面是几个在砖使用llm的优点:

  • 统一访问和管理在开源和专有llm层。bob下载地址

  • Serverless、伸缩、数据集成LLM基础设施。

  • 单击简单定制llm到您的业务需求和用例。

  • 对于高级用户,工具快速开发和定制的开源llm。bob下载地址

需求

  • 招生的AI公共预览功能。参加公共预览,填充并提交人工智能功能的公共预览登记表格。

  • 砖SQL Pro或Serverless,只能在Azure或AWS。

  • 明白,这个功能的实现和使用指导数据离开您的SQL环境并通过第三方LLM模型供应商:OpenAI和Azure OpenAI。

  • 你可以访问Azure OpenAI或OpenAI。

  • GPT 3.5涡轮模型部署。

检索验证详细信息

使用ai_generate_text ()功能你需要能够访问Azure OpenAI或OpenAI。

检索验证细节Azure OpenAI以下步骤。你的认证细节填充resourceName和deploymentName的参数ai_generate_text ()。

  1. 导航到认知在Azure门户和选择Azure OpenAI服务。

  2. 选择您想要使用的资源。

  3. 选择键和端点在资源管理。

  4. 复制你的关键和资源的名称。

  5. 选择模型部署在资源管理。

  6. 复制你的模式部署的名字。

对于OpenAI,可以导航到OpenAI并选择API密钥创建你的关键。

请注意

你不能复制键现有关键配置。

你可以:

  • 检索的关键人,也称为校长,创建配置。

  • 创建一个新的密钥和复制创造提供了成功的关键。

存储访问令牌

重要的

做不包括你的令牌在纯文本在你的笔记本上,代码,或者git存储库。

您可以使用砖秘密持有你的API的令牌。使用砖CLI的秘密或秘密API 2.0创建你的秘密。下面的示例中的步骤使用CLI的秘密:

  1. 如果你不已经有一个秘密保持OpenAI键范围,创建一个:

    砖秘密创建范围——范围openai

  2. 你需要给读权限或更高的用户或组OpenAI允许连接。砖建议创建一个组openai-users并允许用户添加到组。

    砖秘密put-acl——范围openai——主要openai-users——许可读

  3. 为您的API创建一个秘密访问令牌。砖建议的格式<资源名称>键:

    砖秘密把——范围openai——关键demo-key——字符串值yourkey123

限制

  • ai_generate_text ()不支持集群互动或工作。

  • 唯一的模型支持预览openai / gpt - 3.5涡轮增压和azure_openai / gpt-35-turbo。

  • 令牌限制openai / gpt - 3.5涡轮增压和azure_openai / gpt-35-turbo是4096令牌。

成本和性能考虑

  • OpenAI和Azure OpenAI服务需要订阅和砖分开。

  • 在一个给定的查询,LLM api调用顺序是由列(s)的函数调用。

    • 与大多数SQL函数相比,查询使用ai_generate_text ()倾向于运行得更慢。

  • 查询的响应时间,调用AI功能取决于两个中指定的任务提示,以及令牌提供和要求的数量。

  • Azure OpenAI服务只能在少数Azure地区本文时预览。

额外的资源

看到语言手册文档的语法和设计模式ai_generate_text函数。

看到分析顾客评论ai_generate_text()和OpenAI如何使用一个例子ai_generate_text ()在一个业务场景。