浙江大学人工智能教育教学研究中心的张圣宇在2025年4月的研报中探讨了大小模型端云协同赋能人机交互的议题。
大模型发展现状与趋势
- 大模型正引领社会变革，如同iPhone推动了移动互联网发展，ChatGPT的出现标志着“人工智能的iPhone时刻”。
- DeepSeek通过系统级创新，在受限资源下探索通用人工智能的新道路。
大小模型端云协同的优势
- 端云协同结合了端侧小模型的轻量部署、快速响应和云侧大模型的认知推理、多模态理解等优势，实现互补。
- 端云协同计算通过卸载部分学习任务至端侧，发挥终端靠近用户和数据源的优势，降低服务延迟，增强个性化精准推理能力，缓解云服务器负载压力，同时支持用户原始数据在设备本地处理。
大小模型协同方法
- 大小模型协同方法主要分为基于调度的协同、基于反馈的协同和基于生成的协同。
- 基于生成的协同，如ModelGPT，能够根据用户需求快速生成定制好的人工智能模型，在NLP、CV和Tabular Data等典型数据集上性能超越Finetune方法。
异构模型知识迁移框架
- MergeNet框架解决了跨异构模型、任务和模态的统一模型知识迁移问题，克服了传统知识迁移方法需要具有相似任务类型或模型架构的限制。
- 该框架通过异构模型知识表示和异构知识适配，有效应用于各种具有挑战性的场景。
端云协同智能研究
- 高通提出混合AI概念，指终端和云端协同工作，根据场景和时间分配AI计算工作负载。
- 端云异构模型知识互迁与协同推断研究，如Cloud to Device(C2D)、Device to Cloud(D2C)等，旨在解决端云分布异质、端云有偏汇聚等问题。
面向未知端侧分布的压缩-适应联合
- AuG-KD框架通过锚点混合生成，解决了端云分布异质导致的知识蒸馏性能下降问题。
- 该框架有效克服了主流云学习范式在实时性、个性化、负载成本、隐私安全等方面的不足。
端侧反事实表征学习
- FedCFA框架利用端侧反事实表征学习解决云侧模型联邦汇聚中“辛普森悖论”难题。
- 该框架通过因子去相关模块，缓解了辛普森悖论，提升了云侧模型精度和收敛速度。
基于端云协同的高效端模型参数定制
- DIET框架通过高效模型表示构建和适配子网搜索，实现了基于端云协同的低通信开销、高响应速度端模型定制算法。
- 该框架有效降低了模型传输开销，提升了端侧模型能力和推理速度。
端云大-小模型协同推荐
- 该方法通过协同训练、协同推理与请求，融合大小模型优势，提升了推荐系统的性能。
- 端云大-小模型协同推荐有效解决了当前推荐系统存在的问题，如通信开销大、隐私破坏风险、无法实时感知用户等。
基于多模态大模型的操作系统智能体
- OS Agents是基于（多模态）大语言模型((M)LLMs)的智能代理，通过操作操作系统 (OS) 提供的环境和界面（如图形用户界面 GUI），利用计算设备（如电脑和手机）来自动执行任务。
- InfiGUIAgent通过Native Reasoning和Reflection，提升了智能体在复杂任务中的多步推理能力。
OS Agent安全性研究
- AEIA-MN框架针对OS Agent感知层面的环境注入攻击，通过提示注入和对抗样本研究，评估了OS Agent的鲁棒性。
轻量级大模型能力涌现研究
- Cas-SEAT框架通过预算友好型数据合成增强多模态大模型级联自评估能力，提升了大模型的自评估能力和推理能力。
总结
大小模型端云协同赋能人机交互，通过结合大小模型和端云的优势，有效解决了当前人机交互领域存在的问题，提升了人机交互的智能化水平。
