AI Infra：加速智能体落地的基础架构发展趋势与产业实践

目录 IDC观点 �� 第一章 从业务需求到技术重构：AI Infra发展趋势�� 1.1 从提升技术能力到关注业务，AI应用驱动AI Infra演进�.� AI Infra发展趋势�.� AI Infra关键能力������ 第二章 从架构到场景：AI Infra的行业适配深耕�� 2.1 交通出行：平衡高效与安全，驱动“模型+数据”双轮进化2.2 工业制造：私有化部署+高性能计算，打造智能中枢2.3 教育行业：聚焦分布式训练加速、推理加速与数据治理2.4 泛互联网和IT服务：全维度高性能支撑严苛的智能化需求2.5 具身智能：赋能“脑-身”协同机器人，助力多模态感知与自主决策范式构建2.6 医疗行业：构建高性能分布式算力底座与多模态数据治理引擎������������ 第三章 腾讯云智算赋能千行百业：行业智能化落地实践�� 关于腾讯云智算 �� IDC观点 AIInfra（AI云基础设施）正从基础算力平台逐渐演进为驱动企业智能化转型的核心智算基础设施。随着AI应用进入规模化落地阶段，智能体（Agent）也逐步快速渗透到各个行业，企业对智算设施的需求已经从单纯的算力供给转向为业务赋能，从而实现性能优化、成本管控、运营效率、安全保障以及应用落地等全方位赋能。AI Infra 具备如下核心特征： 基于分布式架构的AI Infra 底座：分布式的AI Infra 底座为企业提供了灵活弹性的智算平台构建方案，支持基于混合云架构的、云边一体的算力布局与调度，实现AI模型和应用开发的全流程管理； 异构的AI Infra 硬件：异构的AI Infra硬件以多元化的智算芯片、高性能存储和智能网络设备为基础，与企业传统通用云平台硬件进行融合，构建起统一纳管的异构计算资源池，为企业智能化升级提供坚实的基础； 高性能的AI Infra 软件：AI Infra是当前企业进行AI应用实践的技术框架，并逐渐演进为企业核心的智算技术平台。高性能的AI Infra软件从智算基础设施和平台的角度，通过异构计算、高性能存储和高性能网络组件，充分发掘AI Infra硬件性能； 提供基于场景化服务能力形成的行业解决方案：企业在进行AI业务和应用拓展过程中，AIInfra基于分布式底座、异构硬件和高性能软件为其提供场景化的技术方案，包括模型训练/微调、在线/离线推理、模型准确率优化、智能体开发，以模板化方案构建的方式帮助企业高效地进行新型业务支撑和应用实践。 IDC认为，AI Infra应具备六大核心能力： 异构算力调度能力：针对当前算力多元化的发展趋势，AI Infra通过算力调度技术和平台，实现对异构算力芯片的深度适配和统一纳管，能够根据不同业务场景进行高效的算力选型、编排和分发。 智能应用支撑能力：基于云原生调度编排、微服务框架和高性能应用服务，AI Infra针对智能应用提供开发、部署、运维的全生命周期管理，具备支撑复杂多业务场景智能应用的能力。 全链路数据管理能力：基于湖仓一体对数据采集、清洗和预处理流程的支撑能力，以及向量数据库对向量数据检索的支撑能力，AI Infra具备针对AI模型开发和部署的全链路数据管理能力。 训推一体化和加速能力：AI训推平台针对AI模型训练/微调和推理框架的支撑能力，以及对于AI训推流程的加速能力，成为AI Infra在AI模型开发层面的核心技术平台。 安全体系构建能力：基于隐私计算和联邦学习的核心安全能力，AI Infra融合基础云安全能力，构建适配AI模型和应用的智算安全体系，保障AI模型和用户敏感数据的安全。 全流程场景化服务能力：针对智能体（Agent）在各行业领域加速应用的趋势，AI Infra具备支撑智能体开发与应用全流程的场景化服务能力，为MCP等智能体相关技术提供了稳定的运行环境。 在面向行业的具体落地过程中，AIInfra结合不同行业的业务特性，提供适配的部署模式、资源配置和技术能力，满足从算力管理到AI应用落地的全流程需求。AI Infra基于行业性AI业务和应用需求视角，具备云边一体的算力池化、调度与管理能力，云原生的应用开发、运维，全链路的湖仓一体、向量数据检索能力，一体化的训推框架、训推加速能力，以及体系化的基础云安全、模型安全和数据安全。在交通出行行业，AI Infra通过云边端协同架构，实现车路协同、多模态感知等关键能力，推动智能出行与交通管理革新；在工业制造领域，依托实时数据处理与分布式算力，优化生产全流程，实现柔性制造与供应链智能决策；教育行业则借助训练加速、向量数据库等技术，构建个性化学习与智能教学新范式；泛互联网与IT服务依赖其高并发支撑与敏捷扩展能力，保障业务快速迭代；具身智能通过多模态融合与云边端协同，赋予机器人精准感知与实时决策能力；而医疗行业则基于高性能算力与隐私计算，推动AI诊疗、精准药物研发等场景落地。 AI Infra基于行业智算业务和智能应用现状洞察，提供场景化的支撑能力和技术方案。AI Infra具备灵活的算力适配、弹性的资源交付和丰富的技术特性，能够根据各行业细化的需求异同，构建模板化的智算基础设施和技术平台部署，并提供智能应用和智能体的开发、运维方案。 01 从业务需求到技术重构AI Infra发展趋势 1.1 从提升技术能力到关注业务，AI应用驱动AI Infra技术演进 当前，AI Agent（智能体）和生成式AI等先进AI技术在多个领域已经展现出强大的应用价值，驱动全球产业智能化升级。从通用场景到特定行业场景，从单点应用到企业全业务流程，行业智能化先行者不仅积极构建智能营销、数字员工等应用场景，更致力于通过数据资产重构和智能服务开发，探索全新的商业模式和增长曲线。这种探索正从技术验证迈向规模化应用，通过效率跃升和商业模式重构，推动产业实现革命性转型。目前智能体技术已经突破实验室阶段，在金融、制造、零售等流程标准化程度高的行业加速规模化应用。IDC数据显示，超过64%的中国企业已进入智能体的测试验证和采购培训阶段，预计到2028年中国企业级智能体应用市场规模将达到270亿美元。与此同时，生成式AI正加速渗透各个领域，2028年预计中国生成式AI占AI市场总投资规模比例将达到30.6%，突破300亿美元，五年年复合增长率（CAGR）高达51.5%。当前，软件与信息服务行业以41亿美元领跑投资规模，预计2028年将达149亿美元；此外，医疗健康、能源、制造、交通出行和教育五大行业投资增速值得关注，预计将保持在64.3%-67.2%的高速年复合增长率，展示出强大发展潜力。 AI Agent与生成式AI等AI技术的持续深化和规模化应用正在重塑云基础设施的核心范式，对云端AI能力支持体系提出了全新要求。这种由AI驱动的云基础设施演进，正在重塑整个云计算产业的技术栈和价值。在这一进程中，企业云技术布局正经历着从“资源规模导向”向“业务价值创造”的战略升级，这种转变主要体现在四个维度： 技术能力建设：夯实AI落地的底层支撑 企业在智能化转型中往往会产生搜索推荐、内容生成、语义分析、图像识别等多种AI应用需求。为满足这些高性能计算场景，企业需要可扩展、低延迟、高吞吐的AI Infra支持，通过部署高性能计算资源、采用智能化模型编排服务、建立完善的数据治理机制，以全面提升对多模态数据处理、多框架模型部署和多Agent协同的核心支撑能力。 价值导向部署：AI Infra紧贴业务路径与结果 企业不再单纯强调技术 “可用” 或追求计算资源的堆砌，而是更多聚焦 “可创造业务价值” 的AI部署逻辑，如：提升客户转化率的推荐引擎部署、降低成本的自动审核与理赔系统、提高客户 满意度的智能客服与语音助手，以及提高自动化监测与问题排障处理效率。这一转变促使云基础设施的设计与部署需要同业务场景实现深度耦合，形成“AI能力—业务指标—系统反馈”的闭环模式，使基础架构成为业务增长的推动器。在实践层面，这种耦合体现在三个维度： 技术架构基于业务目标设计：将业务指标（如转化率、降低成本）转化为技术需求（如模型类型、实时性，Agent开发和运维要求）； 基础设施配置与业务场景动态匹配：通过构建弹性伸缩能力，根据场景复杂度和业务峰值自动调整算力、存力和运力资源； 建立反馈优化机制：基于用户行为、成本等业务数据反馈，实现架构的持续改进。 系统化升级：从试验性部署向系统化演进过渡 由于企业AI旅程涉及多个触点与平台（APP、小程序、网页、客服等），其将推动AI应用从“单点模型部署”向“多触点、一平台”的多模态模型+Agent架构转型。例如部署统一的大语言模型底座，支持客服问答、销售引导、内部助手等多种应用，随后通过多模态模型扩展至语音、图像、视频等业务场景，以及通过Agent串联各类业务逻辑。通过构建统一运维、统一安全、统一评估体系，企业将实现AI Infra的规模化运营与持续演进。 战略价值定位：从“支撑角色”走向“增长引擎” 企业在AI应用旅程中将逐步认识到，AI Infra不仅是其重要技术资产，更是实现业务跃升的核心战略资源，其将： 升级AI Agent模式支持业务从“人工驱动”向“智能驱动”演化； 提供按需扩容能力，适应市场变化与用户行为波动； 构建可衡量的技术投入产出比，使每一份架构投资都与业务结果挂钩。 这种范式转变的本质，是云计算从“技术支撑”向“业务赋能”的进化。随着AI成为企业核心竞争力，云基础设施正从后台支撑系统进化为战略创新引擎。企业关注的不再仅是技术实现，而是通过云与AI的协同发展创造业务价值。 �.� AI Infra发展趋势 伴随企业AI应用从单点实验向全业务场景的深度融合，其对云基础架构的需求正发生量和质的双重飞跃。IDC数据显示，2024年中国GenAI IaaS市场同比增长165.2%，市场规模达87.4亿元人民币；随着开源模型的广泛应用以及智能体（Agent）在客服、运维等场景的落地，推理需求占比快速增至24%。 AI应用正在进入规模化落地新阶段。企业不再满足于单纯的算力供给，而是要求智算设施具备业务价值内生能力。伴随企业对性能优化、成本管控、运营效率、安全保障以及应用落地的全方位需求升级，传统云基础架构正面临挑战。为满足AI时代企业规模化实现数智化转型的需求，云服务应推进向AI Infra架构的演进，以更好支撑企业大模型训练推理、数据智能、应用开发等核心场景。 在这一过程中，企业对AI Infra提出了七大关键需求： 卓越性能：获取高性能算力资源支持大模型训练; 面向推理场景提高云准备度，降低时延，应对高并发。 数据效能：让孤岛数据变成流动的知识，提高数据准备度，挖掘数据价值，构建面向AI的数据库和数据湖。 化繁为简：面对规模化的数据、复杂的基于分布式云架构的AI Infra，需要保障高效的资源和流程管理。 专用适配：企业基于场景化服务、弹性架构等服务，确保基础设施与解决方案匹配自身实际业务需求。 成本优化：面向企业AI模型开发的训推一体化，以及AI Agent应用逐步深入的大趋势，针对AI模型的分布式训练、加速微调、边缘推理，Agent开发和运维等场景的业务峰谷特征，提升算力的调度能力，实现成本优化。 增强安全：在进行AI模型所需训练/微调数据的采集，以及Agent调用模型过程中，涉及的数据安全以及AI模型安全问题已成为企业的核心关注点；对于AI模型相关数据的全链路敏感数据识别和处理，以及隐私计算、联邦学习等安全技术的引入是增强企业安全的重要环节。 应用支撑：针对生成式AI模型和Agent所构建应用设计、开发、交付、运维全流程的技术支撑能力，包括开发环境、中间件、技术框架等的迭代和发展；针对AI应用运行环境的智能运维能力，包括智算基础设施和智算技术平台的AI驱动运维工具。 AI Infra通过整合高性能计算、存储、网络、数据库、安全等全栈能力，提升企业AI项目的落地效率，促进“云智融合”战略价值的进一步深化。基于智算基础设施（IaaS）和智算技术平台