端侧AI行业动态点评：产业链推进端侧AI应用，终端落地逐步启动

请务必阅读正文之后的免责声明及其项下所有内容证券研究报告|2023年11月12日超配1端侧AI行业动态点评产业链推进端侧AI应用，终端落地逐步启动行业研究·行业快评通信投资评级：超配（维持评级）证券分析师：马成龙021-60933150machenglong@guosen.com.cn执证编码：S0980518100002联系人：钱嘉隆021-60375445qianjialong@guosen.com.cn事项：近期，高通、联发科等芯片厂商发布支持端侧AI大模型运行的芯片新品，高通推出骁龙8Gen3和PC芯片骁龙XElite；联发科推出天玑9300，支持130亿参数模型端侧运行。软件厂商中，中科创达凭借其在终端、边缘计算领域的多年技术沉淀以及在大模型领域的创新探索，利用模型压缩、分布式以及张量并行技术，成功在搭载了高通8系列芯片平台的边缘设备上实现了LLaMA-2130亿参数模型的稳定运行。终端方面，第九届联想创新科技大会期间，联想集团董事长兼CEO杨元庆在现场展示了联想首款AIPC、大模型压缩技术、人工智能双胞胎（AITwin）等一系列人工智能创新科技成果；AI手机侧，小米将AI大模型植入系统，其小爱输入助手支持AI创作文本，并支持AI扩图、AI妙画、AI搜图等功能；vivo发布了自研AI大模型「蓝心BlueLM」，其中10亿和70亿参数模型支持终端侧部署。可穿戴AI终端产品AIPin发布，本款产品为独立设备和软件平台，内置OpenAI直接在设备和云中运行。国信通信观点：1）端侧AI在减轻云端网络负担、高可靠性和低时延场景以及隐私和安全方面具有应用必要性，有助于推动大模型的全面应用。端侧AI应用需要全产业链推动，包括芯片算力增强、模型优化、软件厂商适配以及终端厂商的落地应用。2）近期，从端侧AI芯片，到中游模组、软件厂商，再到下游终端，产业链各环节正积极推动AI在端侧部署落地，AIPC等相关产品在2024年有望开始迎来规模应用，AIPin的发布也反映了AGI用云到端应用的长期趋势，端侧AI应用逐步加速。投资建议：端侧AI应用有望加速，建议关注算力模组与算力芯片等产业链环节，推荐关注【移远通信】、【广和通】、【瑞芯微】等。评论：端侧AI加速推进，应用前景广阔边缘AI具有应用必要性，主要用于端侧推理。边缘AI由于端侧设备天然的算力局限性等因素，较难用于模型训练，主要用于端侧模型推理应用。具体来说，边缘AI有望在以下三类场景应用：（1）边缘智能有助于减轻网络负担。完全依赖云端处理多模态模型数据，对网络通信能力要求大幅提高，网络负担显著加剧，影响应用体验。并且完全依靠云端部署和应用AI成本相对高昂，将部分AI处理从云端卸载至端侧计算，尤其是利用已经部署的手机、PC等终端设备，成本上将大幅节约，也有助于降低云厂商的能源消耗。（2）高可靠性与低时延优势。云端连接在访问拥挤时将产生高延迟，甚至会被拒绝服务，通过将计算负载迁移到边侧进行，可靠性和低时延优势将显现，在部分高安全性场景具有刚需，例如自动驾驶。（3）隐私和安全。AI监管中，数据安全是重中之重。不同于访问云端的数据交互，端侧计算的数据具有更强的私密性和安全保障。 请务必阅读正文之后的免责声明及其项下所有内容证券研究报告2图1：NVIDIA为WindowsRTXPC和工作站提供AI优化图2：生成式AI用于ADAS资料来源：Nvidia，国信证券经济研究所整理资料来源：高通，国信证券经济研究所整理从近期产业链动态来看，端侧AI应用正逐步加速。近期，从端侧AI芯片，到中游模组、软件厂商，再到下游终端，产业链各环节正积极推动AI在端侧部署落地，整体进展或将在2024年进一步加速，具体来看：表1：近期端侧AI产业进展产业链环节厂商动态芯片高通高通近期在2023骁龙峰会上推出骁龙8Gen3和PC芯片骁龙XElite。两款芯片大幅增强端侧AI能力，实现百亿参数级别的大模型边缘运行联发科联发科发布天玑9300，集成联发科技第七代AI处理器APU790，内置生成式AI引擎，与Transformer模型适配进行算子加速。天玑9300支持在终端运行10亿、70亿、130亿参数的AI大模型。据联发科技官方称，天玑9300成功运行了330亿参数的AI大模型。IntelIntel宣布启动AIPC加速计划，计划于12月24日发布酷睿Ultra处理器，构建CPU、图形处理单元（GPU）和神经网络处理单元（NPU）组成的AI加速架构。AMDAMD已推出Ryzen7040系列CPU，内置RyzenAI引擎模组移远通信推出基于高通QCS8550芯片的新一代高算力智能模组SG885G-WF美格智能基于高通QCS8550芯片的算力模组SNM970实现StableDiffusion的实机运行软件中科创达中科创达凭借其在终端、边缘计算领域的多年技术沉淀以及在大模型领域的创新探索，利用模型压缩、分布式以及张量并行技术，成功在搭载了高通8系列芯片平台的边缘设备上实现了LLaMA-2130亿参数模型的稳定运行。终端联想第九届联想创新科技大会期间，联想集团董事长兼CEO杨元庆在现场展示了联想首款AIPC、大模型压缩技术、人工智能双胞胎（AITwin）等一系列人工智能创新科技成果。小米小米将AI大模型植入系统，其小爱输入助手支持AI创作文本，并支持AI扩图、AI妙画、AI搜图等功能，相关应用基于本地运行。vivovivo在2023开发者大会上正式发布了自研AI大模型「蓝心BlueLM」和全平台自研操作系统「蓝河BlueOS」。蓝心大模型BlueLM覆盖了十亿、百亿、千亿三个参数量级，全面覆盖了目前应用的核心场景，其中，10亿量级模型是主要面向端侧场景打造的专业文本大模型，在手机上进行推理的速度可达64字/秒，具备本地化的文本总结、摘要等能力。70亿模型是面向手机打造的端云两用模型，具有优秀的语言理解、文本创作能力。Humane美东时间11月9日，苹果前设计和工程团队高管创立的Humane公司发布AIPin可穿戴便携硬件。本款产品为独立设备和软件平台，内置OpenAI直接在设备和云中运行。资料来源：公司官网，国信证券经济研究所整理芯片侧：高通、联发科强化端侧芯片AI性能高通骁龙新品大幅加强AI性能。高通近期在2023骁龙峰会上推出骁龙8Gen3和PC芯片骁龙XElite。两款芯片均具备强劲的端侧AI能力：（1）骁龙8Gen3：据高通介绍，骁龙8Gen3AI性能提升了98%，通过高通AI引擎实现终端设备100亿参数的模型运行，并且针对70亿参数LLM每秒能够生成20个token。（2）骁龙XElite：高通推出公司面向PC的处理器骁龙XElite，其AI算力可达75TOPS，其中，NPU支持45TOPS算力，支持在终端侧运行超过130亿参数的生成式AI模型，针对70亿参数LLM每秒能够生成30个token。 请务必阅读正文之后的免责声明及其项下所有内容证券研究报告3图3：高通骁龙8Gen3图4：高通骁龙XElite资料来源：高通，国信证券经济研究所整理资料来源：高通，国信证券经济研究所整理联发科发布天玑9300，集成第七代AI处理器，内置生成式AI引擎。天玑9300集成联发科技第七代AI处理器APU790。APU790内置生成式AI引擎，与Transformer模型适配进行算子加速，处理速度是天玑9200的8倍，可以实现1秒内生成图片。天玑9300支持在终端运行10亿、70亿、130亿参数的AI大模型。据联发科技官方称，天玑9300成功运行了330亿参数的AI大模型。APU790还支持生成式AI模型端侧“技能扩充”技术NeuroPilotFusion，可以基于基础大模型持续在端侧进行低秩自适应（LoRA，Low-RankAdaptation）融合，扩展基础大模型的能力。图5：联发科天玑9300AI处理器部分性能参数图6：天玑9300支持LoRA等技术资料来源：联发科，国信证券经济研究所整理资料来源：联发科，国信证券经济研究所整理Intel近期也宣布启动AIPC加速计划。Intel计划于12月24日发布酷睿Ultra处理器，率先推动其AIPC加速计划，预计将在2025年前为超过1亿台PC带来人工智能（AI）特性。从硬件角度，Intel将构建CPU、图形处理单元（GPU）和神经网络处理单元（NPU）组成的AI加速架构，凭借Intel首款集成NPU，该款芯片将支持AI本地加速和推理。 请务必阅读正文之后的免责声明及其项下所有内容证券研究报告4图7：IntelAIPC加速计划图8：Intel酷睿Ultra处理器，集成CPU、GPU与NPU资料来源：Intel，国信证券经济研究所整理资料来源：Intel，国信证券经济研究所整理中游模组与软件厂商：模组企业算力模组迭代，软件侧适配大模型边缘落地模组厂商方面，算力模组迭代，已有端侧大模型运行案例。2023年7月，美格智能基于高通QCS8550芯片的算力模组SNM970实现StableDiffusion的实机运行；移远通信也推出基于高通QCS8550芯片的新一代高算力智能模组SG885G-WF。图9：美格智能SNM970运行StableDiffusion图10：移远通信推出算力模组SG885G-WF资料来源：美格智能，国信证券经济研究所整理资料来源：移远通信，国信证券经济研究所整理大模型端侧部署，软件侧优化至关重要。通过模型压缩技术，例如量化、剪枝、知识蒸馏等将一个大模型转化为一个精简的小模型，以及其他软件端的优化算法，是大模型在端侧能够实现运行的必要基础。例如高通年初在MWC巴塞罗那演示了StabeDiffusion在手机上实现AI绘图，其实现形式上，主要通过高通AI软件栈（QualcommAIStack）执行全栈AI优化，并使用高通AI模型增效工具包(AIMET)对模型进行量化，得以在8Gen2平台上实现大模型部署。软件厂商方面，中科创达优化端侧大模型运行能力。近日，中科创达凭借其在终端、边缘计算领域的多年技术沉淀以及在大模型领域的创新探索，利用模型压缩、分布式以及张量并行技术，成功在搭载了高通8系列芯片平台的边缘设备上实现了LLaMA-2130亿参数模型的稳定运行。 请务必阅读正文之后的免责声明及其项下所有内容证券研究报告5图11：中科创达实现端侧130亿参数模型运行图12：高通对AI模型压缩等支持端侧应用资料来源：中科创达，国信证券经济研究所整理资料来源：高通，国信证券经济研究所整理终端侧：AIPC与AI手机开始落地，AIPin彰显终端应用潜力终端方面，AIPC和AI手机等终端产品近期开始落地：（1）AIPC方面，联想在近期推出首款AIPC。第九届联想创新科技大会期间，联想集团董事长兼CEO杨元庆在现场展示了联想首款AIPC、大模型压缩技术、人工智能双胞胎（AITwin）等一系列人工智能创新科技成果。其中，AIPC能够创建个性化的本地知识库，通过模型压缩技术运行个人大模型，实现AI自然交互。除了AIPC，联想集团还同步展示了面向未来的人工智能设备产品组合，包括AI智能手机、AI工作站、个人及企业级大模型等。杨元庆预计AIPC将于明年9月以后正式上市。图13：联想展示AIPC内置AI功能图14：联想发布AITwin，涵盖个人及企业级应用资料来源：联想，国信证券经济研究所整理资料来源：联想，国信证券经济研究所整理AIPC趋势有望带动消费者PC市场加速复苏。AIPC趋势目前已经获得从芯片、代工及终端品牌厂商的一致认可。前文提到Intel推出AIPC加速计划、高通推出PC芯片，而AMD此前已经推出了Ryzen7040系列CPU，内置RyzenAI引擎；ODM和品牌方面，戴尔、惠普、华硕等品牌和仁宝、广达等ODM厂商都对AIPC寄予厚望，认为它将成为2024年及以后PC产业发展最重要的驱动力。受益于此，AIPC有望加速PC市场复苏。据群智咨询预测，伴随AICPU和Windows12的发布，明年将成为AIPC规模性出货元年，预计该年度全球AIPC整机出货量达到约1300万台，总