Lakehouse AI:以数据为中心的方法来构建生成人工智能应用程序

生成人工智能将在每个业务产生变革性的影响。砖已经率先使用人工智能创新了十年,与成千上万的客户积极合作提供人工智能解决方案,和使用像MLflow开源社区项目,每月有1100万下载。bob下载地址Lakehouse AI和其独特的以数据为中心的方法中,我们让客户来开发和部署人工智能模型与速度、可靠性和完整的治理。今天的数据和AI峰会上,我们宣布一些新功能,建立Lakehouse AI英超平台加速生成人工智能的生产的旅程。bob体育客户端下载这些创新包括矢量搜索,Lakehouse监控,增强模型服务优化llm, MLflow 2.5,等等。

主要挑战与发展中生成人工智能的解决方案

优化模型的质量:数据是人工智能的核心。糟糕的数据会导致偏见,幻觉,和有毒的输出。很难有效地评估大型语言模型(llm),这些模型很少有一个客观的地面真值标签。因此,组织往往很难理解当模型是可以信任的关键用例没有监督。

成本和复杂性的培训与企业数据:组织来培训他们的模型使用自己的数据和控制他们。Instruction-tuned模型MPT-7B和Falcon-7B已经证明具有良好的数据,较小的调整模型可以获得良好的性能。然而,组织很难知道有多少数据例子是足够的,而应该从基本模型,管理培训所需的基础设施的复杂性和调整模型,以及如何考虑成本。

信任模型的生产:技术景观迅速演变和新功能被引入,这是更具挑战性的这些模型投入生产。有时这些功能的形式来等新服务需要一个矢量数据库而有时它可能是新的接口,如深促使工程支持和跟踪。很难信任模型在生产没有健壮的和可伸缩的基础设施,和一个栈完全检测监控。

数据安全与治理:组织想要发送控制数据和存储数据,这样可以防止第三方泄漏以及确保反应符合监管。我们看到今天有无限制的实践团队,妥协安全和隐私或繁琐的流程数据使用,阻碍创新的速度。

Lakehouse AI -优化生成的人工智能

解决上述挑战,我们兴奋地宣布几个Lakehouse AI功能将帮助组织维持数据安全性和治理以及加速他们的旅程从概念到生产。

使用现有的使用您的数据模型或训练你自己的模型

• 矢量搜索索引:与向量映射进行,组织可以利用生成人工智能的力量和llm跨多个用例,从客户支持机器人通过您的组织的整个语料库知识搜索和推荐的经验,理解客户的意图。向量数据库帮助团队快速索引他们组织的数据嵌入向量和执行低延迟向量相似性搜索实时部署。矢量搜索与Lakehouse紧密集成,包括统一目录管理和模型服务自动管理数据和查询转换成向量的过程。报名参加预览在这里。
• 策划模式,由高性能的优化模型为:而不是花时间研究最好的开放源码生成人工智能为您的用例模型,你可以依赖为常见用例模型由砖策划专家bob下载地址。我们的团队不断地监控模型的景观,测试出来的新模型等许多因素的质量和速度。我们提供最佳的基本模型中可用的砖市场和特定于任务的llm的默认统一目录。一旦模型统一目录中可以直接使用或调整你的数据。对于每个这些模型,我们进一步优化Lakehouse艾未未的组件——例如,减少模型服务延迟了10倍。报名参加预览在这里。
• AutoML支持llm:我们扩大AutoML提供支持微调生成人工智能模型对文本分类调整嵌入模型与数据基础。AutoML使非技术用户可以单击轻松地调整模型在你的组织的数据,并增加效率的技术用户做同样的事。报名参加预览在这里。

监控、评估和登录提示您的模型和性能

• Lakehouse监控:第一个统一的数据和人工智能监控服务,允许用户同时跟踪的质量数据和人工智能资产。服务资产维护配置文件和漂移指标,允许您配置主动提醒,自动生成质量仪表板可视化和分享在您的组织,并促进根源分析相关数据质量警报在谱系图。建立在统一目录,Lakehouse监测数据为用户提供深入的和AI资产,确保高质量、精度和可靠性。报名参加预览在这里。
• 推理表:作为我们的以数据为中心的模式的一部分,传入的请求和输出响应服务端点记录到三角洲统一目录表。这种自动负载日志使团队能够在实时监控的质量模型,源数据和表可以用来轻松点需要重新贴上了下一个数据集的嵌入或其他llm微调。
• LLMOps MLflow (MLflow2.4和MLflow2.5):我们扩展API跟踪LLM MLflow评价参数和模型更容易识别的最佳模式候选人LLM用例。我们建造工程工具来帮助你识别最好的提示你的用例的模板。每个提示模板评估记录MLflow检查或重用。

实时安全服务模型、特征和功能

• llm模型服务,增强和优化:我们不仅提供GPU模型服务,而且我们优化我们的GPU提供开源llm顶部。bob下载地址我们提供最佳的性能优化,使llm运行部署在砖时快一个数量级。这些性能改进允许团队在推理时节约成本以及允许端点规模向上/向下快速处理交通。报名参加预览在这里。

“搬砖模型减少了我们的推断延迟10 x,帮助我们提供相关,准确的预测客户更快。通过模型在相同的平台上,我们的数据的生活和我们的火车模型,我们能够加速bob体育客户端下载部署,减少维护。”

——丹尼尔•Edsgard头数据的科学,伊莱克斯

• 特性和功能服务:组织可以防止服务在线和离线倾斜的特性和功能。特性和功能服务执行低延迟、随需应变的计算在REST API端点为机器学习模型和功率LLM应用服务。如果结合砖模型服务,特点是自动与传入的推理request-allowing客户建立简单的数据管道。报名参加预览在这里。
• AI功能:数据分析和数据工程师现在可以使用llm和其他机器学习模型在交互式SQL查询或SQL /火花ETL管道。分析师与AI功能可以执行情绪分析或总结transcripts-if他们被授予权限的统一目录和人工智能网关。同样,一个数据工程师可以建造管道,转录每个新呼叫中心调用并执行进一步分析利用llm从这些调用提取关键业务的见解。

管理数据和治理

• 统一数据& AI治理:我们加强统一目录提供全面治理和血统追踪数据和人工智能的资产在一个统一的体验。这意味着模型注册表和功能存储已经合并成统一目录,允许团队在工作空间和共享资产管理他们的数据与他们的人工智能。
• MLflow人工智能网关:作为组织授权员工利用OpenAI和其他LLM提供者,他们遇到问题管理速度限制和凭证,蓬勃发展的成本,和跟踪外部发送什么数据。MLflow人工智能网关,MLflow 2.5的一部分,是一个工作空间层API网关允许组织创造和分享的路线,然后可以配置各种速率限制,缓存,管理成本和使用成本归属等。
• 砖CLI MLOps:这种演变的砖CLI允许数据团队建立项目infra-as-code更快地生产和集成CI / CD工具。组织可以创建“包”与砖工作流的自动化智能组件生命周期。

在这个新生成的人工智能的时代,我们对这些创新感到兴奋释放,期待您将构建这些!