端侧AI已从技术验证走向商业化阶段,模型能力和硬件承载能力接近商业化门槛。30B以下轻量模型性能快速提升,部分任务表现超越200B以上模型,可承载模型规模持续提升。端侧模型部署具备隐私性、时效性和稳定性优势,高频高负载任务具备成本优势。未来端侧产品形态可能为带内存和本地计算的硬件盒子(ANS),满足agent对算力的需求。
端侧AI市场不会由单一算力规格主导,会根据不同设备需求形成碎片化需求。企业知识库、编程、文档处理等重隐私高频任务有望率先从云端迁移到端侧。端侧算力产品出现场景分化:个人AI超算(DJX8、小米IQ)、AI主机(联想7P)、企业边缘推理设备。苹果、小米、爱心原智、瑞幸微、海康卫视等公司积极布局端侧AI。
本报告重点分析了端侧AI模型进展,包括千问3.8 27B模型性能接近300B以上头部模型,Meta的Mueller 30B模型可完成多部推理工具调用代码任务和图文混合输入,苹果Foundation Model 3采用按需加载方式,实际运行1B至4B参数模型,谷歌Mate 4原生支持多模态输入,E4B有效参数达4500亿。同时分析了端侧部署经济性,每月3亿token输入,1亿token输出的编程负载下,端测成本约105美元,端云混合约388美元,纯云端约1670美元。
当前端侧AI市场正快速发展,端侧模型部署具备隐私和经济效益优势,一次性付费可无限次使用开源模型,成本优势明显。哈根Face小黄鸭采用瑞幸微3566芯片,一top算力完成复杂动作,展现低成本小型模型落地思路。但市场不会由单一算力规格主导,会根据不同设备需求形成碎片化需求。
本报告提示,端侧AI市场存在技术快速迭代风险,模型性能和硬件承载能力需持续提升以适应商业化需求。此外,市场竞争激烈,苹果、小米、爱心原智、瑞幸微、海康卫视等公司积极布局,可能导致价格战或市场份额集中。同时,端侧产品形态尚未完全成熟,未来可能面临用户接受度不高或应用场景受限的风险。