灵境矩阵是百度推出的基于文心大模型的智能体(Agent)平台,支持广大开发者根据自身行业领域、应用场景,选取不同类型的开发方式,打造大模型时代的产品能力。开发者可以通过 prompt 编排的方式低成本开发智能体(Agent),同时,灵境矩阵还将为智能体(Agent)开发者提供相应的流量分发路径,完成商业闭环。
通过平台能做什么
开放多种主体类型: 灵境矩阵基于人人可 AI 的理念,支持企业、媒体、政府等各类组织和个人开发者入驻。
开放多种行业类型: 灵境矩阵支持各类垂直行业的开发者入驻,共建基于大模型的行业矩阵生态。
多样能力的开发者: 灵境矩阵支持拥有不同能力的开发者入驻。
有开发能力:平台提供开发的全套技术解决方案,支持开发者自主开发智能体/插件。
有丰富数据:平台提供了低代码的技术解决方案,提供数据即可完成智能体/插件创建。
有灵感想法:平台提供了零代码的解决方案,可快捷的将想象转化为智能体/插件。
平台的优势
强大的大模型能力: 依托文心一言大模型,在内容创作、数理逻辑推算、中文理解、多模态生成等多方面均有良好表现;
多样化的方式链接用户:开发者可选取不同类型的开发方式、模板组件等进行接入,包括零代码/无代码智能体、数据类/能力类插件,为 C 端用户提供更加优质服务;
多场景触达用户:传统搜索 & AI搜索双引擎分发;文心一言 App 内调用插件;智能体&插件可进入体验中心,对 C 端用户分发的同时也面向企业级开发者。
智能体介绍
智能体的英文名是 Agent,是指基于大语言模型有能力主动思考和行动的智能实体,并具有以下特点:
主动思考与行动的能力
智能体不仅能被动地响应指令,而且能够主动进行思考和决策。
感知和理解需求
智能体能够理解用户的需求,这通常涉及到对自然语言的理解。
拆解目标和形成规划
智能体能够将复杂的任务分解为更小、更可管理的步骤,并制定实现这些步骤的计划。
记忆能力
智能体拥有一定程度的记忆能力,能够存储和回忆先前的交互、知识和经验,以此来指导当前的决策和行为。
使用工具和 API
智能体能够利用各种外部工具和应用程序接口(API)来执行任务和访问信息。
决策和行动
最终,智能体能够基于以上过程做出决策并采取行动。
智能体类型
零代码智能体: 通过 prompt 编辑的方式,表达意图、提供行为说明,引入数据集、工具等能力,创建智能体。
低代码智能体: 通过拖拽方式快捷搭建业务流,结合大模型、数据集、工具等组件,完成智能体开发。
全代码智能体: 基于 SDK 或 API 的灵活开发模式,支持多范式开发,多能力集成,提供云端一体解决方案。
AI 插件介绍
AI 插件是一种结合了大模型的新兴内容和服务的载体,是大模型应用场景延展的解决方案。如果说大模型是一个智能中枢大脑,插件就是耳、目、手。插件将大模型的 AI 能力与外部应用相结合,既能丰富大模型的能力和应用场景,也能利用大模型的生成能力完成此前无法实现的任务,灵活便捷地链接用户。比如:
信息增强
这类插件可以帮助用户获取更具时效性和专业性的信息,例如文心一言接入的百度搜索插件,使一言能够搜索全网的实时信息;此外还有帮助用户检索专业领域信息的插件,找房、找车、找法条、找股票...
交互增强
帮助一言理解 PDF、图片、语音等多模态的输入,帮助一言生成思维导图、视频等多模态的输出。例如,支持用户上传文档,并基于文档进行问答的插件等。
服务增强
这类插件可以帮助用户自动化执行一些常见的任务,例如订机票、发邮件、管理日程、创建调查问卷等;也可以是利用模型能力,大大提升现有服务的体验,例如可以请模型基于用户的简历和 JD 信息,生成面试问题,结合 TTS/ASR,为用户打造一场真实而独特的模拟面试。
插件工作原理
插件注册: 开发者将插件的 manifest 文件注册到一言插件库中,校验通过后一言即可使用插件处理用户 query 。
插件触发: 解析调度模块将使用生成的 API,来调用插件服务。插件服务完成处理后,返回 json 数据由一言汇总结果进行返回。
插件解析: 一言插件系统的触发调度模块,将识别用户 query,并将根据 manifest 文件中的插件 API 接口和参数的自然语言描述来选择使用哪个插件,以及生成调用插件的 API。
例如用户在平台上选择天气插件,输入:“今天北京的天气怎么样?”。 模型首先会根据用户意图调用天气插件,并且解析 query 中时间(今天)和地点(北京)信息,然后以 json 结构输入开发者提供的天气 API 接口中,获得接口返回的天气信息,经过大模型进行语言润色后,生成面向用户的回答。
插件类型
数据类插件: 适用于拥有优质数据的开发者,提交已有数据后,即可快捷创建数据类插件;可基于模型对数据的理解和处理能力,为用户提供各类查询服务。
能力类插件: 适用于已有各垂类 AI 能力或模型的开发者,提供该能力的服务域名,即可快捷创建能力类插件;无需重复开发,就可在各流量场景中被调用。
多场景服务用户
百度搜索: 基于用户的问答 query,可同时在经典搜索和对话式 AI 场景下,进行内容和服务分发。
文心一言: 百度全新推出的流量场景,可基于大模型的内容理解和生成能力,深度挖掘、理解并满足用户需求。
体验中心: 智能体进入灵境矩阵的体验中心,既可在 C 端多流量场景分发,也可面向企业级开发者,拓展使用群体