AI智能总结
AIAgent市场发展背景和特征分析01 ⽬目录C O N T E N T AI Agent市场特征和案例例分析02 AI Agent市场未来趋势03 AIAgent市场发展背景和特征分析 2024年年中国⼈人⼯工智能成熟度模型 2024年年中国⼈人⼯工智能成熟度模型 准成熟技术▸ 研究说明 半定制芯⽚片(FPGA)全定制芯⽚片(ASIC)强化学习分布式深度学习机器器/深度学习平台提示⼯工程⽂文本分析⽂文本⽣生成⾳音频⽣生成语义分析知识图谱代码⽣生成智能视频编码汽⻋车⾃自动驾驶数字⼈人/虚拟⼈人RPAAIOps 2023年年,InfoQ研究中⼼心第⼀一次发布⼈人⼯工智能成熟度模型。在这⼀一年年中,⼈人⼯工智能领域发⽣生了了诸多变化,因此InfoQ研究中⼼心再次基于技术专利利数量量、技术发展时间、技术舆论指数等核⼼心指标,结合市场规模与融资事件等公开资料料,以及技术和市场专家的验证,绘制了了中国⼈人⼯工智能成熟度模型。 早期推⼴广技术▸ AI安全可解释AI⼤大模型⼯工程化检索增强⽣生成(RAG)通⽤用⼤大模型⾏行行业⼤大模型端侧AI(IOT、Edge、Mobile)基于⼤大模型的对话机器器⼈人多模态模型AI智能体(Agent)图像⽣生成3D⽣生成三维视觉LLMOps 成熟技术▸ 通⽤用芯⽚片(GPU)传统对话机器器⼈人机器器学习OCR识别⼈人脸识别⽣生物识别数据挖掘推荐系统物体识别语⾳音识别专家系统MLOps 前沿技术▸ 航天航空、航海海和特种汽⻋车⽆无⼈人驾驶合成数据⽣生成类脑芯⽚片脑机接⼝口⼈人型机器器⼈人视频⽣生成通⽤用⼈人⼯工智能(AGI) Agent衔接模型层与应⽤用层,是现阶段⼤大模型应⽤用落地的重要补充 •智能体,在众多中间层中,处于中⼼心位置,可以封装模型微调、提示⼯工程、检索增强⽣生成。 •中间层是连接应⽤用层和模型层的桥梁梁,在现阶段是作为⼤大模型应⽤用落地能⼒力力补充的重要层级。 •随着底层模型技术的持续进步与演化,未来可能会出现模型层逐渐内化并泛化出原本由中间层提供的部分能⼒力力。•与此同时新的应⽤用需求还会持续出现。 基于应⽤用的需要,中间层通过技术形式帮助应⽤用层实现通⽤用模型不不具备的⼀一些能⼒力力 随着中间层能⼒力力的不不断实践和积累,相对通⽤用和标准化的能⼒力力将从中间层中提炼集成在模型层中 Agent框架持续发布,单/多智能体协同发展 •⾃自2023年年3⽉月,以AutoGPT为代表的⼀一系列列技术框架的发布,AIAgent以其⾃自主性和解决问题的能⼒力力,迅速获得科技圈各⽅方讨论。并在之后⼀一年年多的时间中,陆续发布多项不不同种类的技术框架。•除了了使⽤用领域的探索之外,单智能体和多智能体协同的两种智能体框架,也在同步发展。 Agent是集⼤大模型、数据、⼯工具多维⼀一体的系统化⼯工程 •在技术框架的不不断探索中,Agent的技术框架认知逐渐统⼀一,⼤大模型作为⼤大脑,驱动规划、⼯工具使⽤用、记忆三⼤大基本能⼒力力模块指导⾏行行动,智能体逐渐通过与环境、智能体和⼈人类交互的反馈中不不断进化。•在T-Eval⼤大模型智能体基准测试中,步骤推理理(REASON)能⼒力力得分明显落后于测试均分,这意味着推理理仍是能⼒力力短板。 数据来源:T-Eval⼤大模型智能体基准测试,是专⻔门针对智能体⼯工具使⽤用的全过程设计的基准测试,包含:规划(Plan)、推理理(REASON)、检索(RETRIEVE)、理理解(UNDERSTAND)、指令跟随(INSTRUCT)和审查(REVIEW)。测评结果仪表盘链接:https://open-compass.github.io/T-Eval/leaderboard_zh.html、https://hub.opencompass.org.cn/dataset-detail/T-Eval ⼤大模型「⼤大脑」经历3轮主要更更新,竞争重点由参数向应⽤用变化 •作为智能体⼤大脑的⼤大模型,在短短2年年时间内,经历了了3轮主要更更新和竞争重点的转变。•2024年年第⼆二季度,模型竞争逐渐转向在性能不不打折的情况下,具备更更强的成本效应和快速响应。 2023-2024年年主要⼤大模型发布/更更新及竞争阶段 语⾔言模型⻓长⽂文本竞争拉开序幕模型竞争转向性价⽐比与响应速度 多模态模型以Sora拉开序幕语⾔言模型MOE成果积累 2024Q2 •Zamba-7B•abab6.5•Llama3•OpenELM•Phi-3Mini•Qwen1.5•DeepSeek-V2•Yi-1.5•GPT-4o•Yi-large•⾖豆包⼤大模型•Baichuan4•GLM-4 国内外⼤大模型⼚厂商第⼀一轮交卷完成宣传重点经历了了从单纯的模型参数到能⼒力力提升 2024Q1 •Yi-VL-34B•Baichuan3•讯⻜飞星⽕火V3.5•MiniCPM-V-2•Gemini1.5•MistralLarge•Claude3•DeepSeekVL•Grok-1•Grok-1.5•MobileVLMV2视觉语⾔言模型•Open-Sora 1.0•MAGnet•DBRX•Qwen1.5-MoE-A2.7B•Jamba 2024年年以前发布的⼤大模型/⼤大模型家族 •Baichuan1-2模型家族•Claude1.0-2.1•DeepSeek模型家族•ERNIE2.0-4.0模型家族•Gemini1.0•GLM1-3⼤大模型家族•GPT-1到4共计5个⼤大模型•混元⼤大模型•InternML•LLaMA开源模型家族 •Mistral开源模型家族•Moonshotv1•Skywork•书⽣生·浦语模型家族•天⼯工模型家族•Qwen开源模型系列列•讯⻜飞星⽕火模型V1.0-3.0•XVERSE1.0-2.0•Yi开源模型家族 现阶段的智能体应⽤用,仍未⻓长出⾜足够的⾃自主思考能⼒力力以应对复杂场景 •在Agent的理理论框架中,⾃自主思考和规划能⼒力力是其核⼼心特征,这也是Agent与ChatBot和Copilot等应⽤用的关键区别。然⽽而,当前阶段的智能体实际构建与这⼀一理理想状态仍有显著差距。 现阶段的智能体 理理想中的智能体 •⾃自主思考:理理想中的智能体应具有较强的⾃自主决策能⼒力力和环境适应性。•规划与⼯工具调⽤用:只需设⽴立⽬目标,理理想中的智能体即可⾃自主思考和规划路路径,选择合适的⼯工具达成⽬目标。•记忆:在逐渐的使⽤用过程中,理理想中的智能体可以实现持久的记忆和学习能⼒力力,能够积累并保留留知识经验。•多模态:理理想中的智能体应具备对现实世界的理理解、模拟、反馈持续学习能⼒力力。 •⾃自主思考:现阶段的Agent⼤大多仍处在RPA的思路路中,依赖⼈人为⼲干预和预设规则。•规划与⼯工具调⽤用:现阶段的智能体在复杂场景下的推理理能⼒力力差,只有在清晰、详细的指令下才可以稳定发挥。•记忆:现阶段的智能体⼤大多局限于通过Prompt构建短期记忆,事实性记忆多通过RAG来构建。虽然⼤大模型的上下⽂文⻓长度上限⼀一直在提升,但仍然缺乏在对话之外持久保存和累积知识的机制。•多模态理理解:现阶段的智能体⼤大脑仍以⼤大语⾔言模型为主,缺乏对多模态的理理解。 AI Agent市场特征和案例例分析 应⽤用场景分析:⽣生活类情感陪伴场景先⾏行行,专业类场景开始试点 •在⽣生活陪伴类场景中,AI Agent通过对话交互形式,结合记忆模块的能⼒力力,能够提供更更加丰富和深⼊入的情感体验,这使得⽣生活陪伴成为AIAgent应⽤用探索程度较⾼高的⼀一个领域。 应⽤用场景分析:企业场景与⼤大模型应⽤用保持⼀一致 •企业专业类场景应⽤用探索程度,与其⼤大模型「⼤大脑」保持相对⼀一致,在办公、编码、财税、数据分析、营销等场景优先起步。•对于⽣生活专业类场景⽽而⾔言,受限于早期的⼯工具⽣生态、服务监管和尚未清晰的盈利利模型,AIAgent应⽤用探索程度普遍较低。 产品发展早期阶段,四⼤大类⼚厂商各显神通 •InfoQ研究中⼼心在对市⾯面上对外服务的AIAgent产品进⾏行行研究后,发现其背景主要分为⼤大模型创业⼚厂商、互联⽹网科技⼚厂商、RPA/流程⾃自动化⼚厂商和数字化企业服务商。 多种Agent构建⽅方式满⾜足不不同技术⽔水平、不不同场景的⽤用户需求 •虽然产品形态各异,但在构建和使⽤用⽅方式上,AIAgent产品均⽀支持根据内置模版构建、复杂智能体构建和代码构建三种基础构建⽅方式,以满⾜足不不同技术⽔水平的⽤用户需求。此外,虽然⼤大多数产品⽀支持⾃自然语⾔言⼀一键构建⽅方式,但受限于现有⼤大脑的任务拆解和规划能⼒力力,仍可以视为⼀一种“⾯面向未来”的构建⽅方式。 Agent产品是否⽀支持第三⽅方⼤大模型逐渐出现分化 •对于Agent产品来说,有⾃自研模型更更倾向于不不接⼊入第三⽅方模型,但近期有⼩小范围的转变倾向。 但近期存在⼩小范围的转变倾向 •2024年年5⽉月起,扣⼦子除了了⾃自研云雀(后改名⾖豆包)⼤大模型外,陆续开放⽀支持通义千问、Minimax-abab系列列模型、⽉月之暗⾯面Moonshot、智谱GLM-4、百川智能Baichuan4等多家国内⼤大语⾔言模型。 •2024年年5⽉月,百度智能云旗下千帆AppBuilder在问答模型中引⼊入多款开源模型。•2024年年6⽉月,钉钉宣布对所有⼤大模型⼚厂商开放。开发者在钉钉上创建AI助理理时,除了了默认的通义⼤大模型外,还可以依据⾃自身需求,选择不不同⼚厂商的⼤大模型。 垂直类Agent产品更更倾向于只⽀支持⾃自研模型 有⾃自研模型的平台类Agent产品更更倾向于不不接⼊入第三⽅方⼤大模型 垂直类Agent产品多会在⾃自研模型的基础上构建。这可能是因为: 根据InfoQ研究中⼼心不不完全统计,在19款具有⾃自研模型的Agent产品中: 1)能更更好地进⾏行行模型微调,更更好地适应特定⾏行行业和领域的任务需求 接近70%不不⽀支持第三⽅方⼤大模型 2)提⾼高对核⼼心技术的掌控⼒力力3)数据安全和隐私保护的要求 平台类Agent:涵盖智能体创建、发布使⽤用到管理理的全过程 •平台类Agent⼀一般以智能体为核⼼心以智能体开发和应⽤用平台,提供围绕智能体各个环节的服务(创建、调试、发布、使⽤用和数据分析等关键流程和功能点)。 •平台类Agent的构建⼚厂商多为⼤大模型⼤大模型创业⼚厂商和互联⽹网科技⼚厂商,例例如百度、⽕火⼭山引擎、有腾讯、Dify等,也有部分数字化企业服务商涉⾜足,例例如彩讯股份。 平台类Agent:⼯工具数量量和类型不不⾜足,⼯工具⽣生态正在构建初期 •技术框架中的⼯工具在平台类Agent产品存在多种叫法:插件、组件等,但其本质都是将⼤大模型「⼤大脑」的思考转化为具体⾏行行动和执⾏行行的重要桥梁梁。⽬目前⽀支持的⼯工具类型包含信息检索、⽂文件读取等,数量量和类型覆盖范围不不够⼴广,仍处在⼯工具⽣生态建设初期。 例例:截⾄至2024年年8⽉月扣⼦子提供700+插件Agentbuilder插件数量量超过500+千帆AppBuilder提供70+个官⽅方组件元器器内置120+插件 ⼈人类参与度 ⽬目前绝⼤大多数平台类Agent提供官⽅方⼯工具直接使⽤用,第三⽅方⼯工具⽣生态正在搭建中。 由平台开发者直接提供,通常与核⼼心功能深度集成,稳定性和兼容性较⾼高,更更新和维护也更更有保障。 由其他开发者⾃自⾏行行上传,平台通常会对其商⽤用性、安全性进⾏行行审查,但第三⽅方⼯工具是⼯工具⽣生态的重要组成部分。 平台类Agent:盈利利模式早期,订阅和按量量计费模式先⾏行行 •由于产品类型仍处在快速转变期,盈利利模式也仍然在早期探索中。•现阶段,平台类Agent通常会为新⽤用户设置⼀一定的免费额度,以供新⽤用户在平台进⾏行行基础功能的探索和智能体的创建使⽤用。在免费额度之外,通常会按照订阅模式或按量量计费模