大模型的出现标志着“人工智能的iPhone时刻”的到来，但大模型在端侧部署面临着算力、带宽、电量和内存等多方面的限制。大小模型端云协同成为解决这些问题的关键方案，它结合了端侧小模型的轻量、快速和个性化优势，以及云侧大模型的强大计算能力、海量数据和知识库优势。
大小模型端云协同的核心机制包括：
- 大小模型协同：通过大模型驱动小模型生成（如ModelGPT），可以在少量数据和算力下快速定制出适用于特定场景的小模型。
- 端云高效协同：通过端云协同计算，可以将部分计算任务卸载到端侧，实现毫秒级响应，同时缓解云服务器压力。
大小模型端云协同的关键技术包括：
- 基于调度的协同：根据任务需求，动态调度大模型和小模型进行协同工作。
- 基于反馈的协同：通过反馈机制，不断优化小模型，使其更符合端侧环境。
- 基于生成的协同：利用大模型生成小模型，快速适应不同的场景和任务。
- 跨异构模型、任务和模态的统一模型知识迁移框架（MergeNet）：克服了传统知识迁移方法的局限性，实现了跨异构模型、任务和模态的知识迁移。
- 面向未知端侧分布的压缩-适应联合（Augmented-KD）：解决了端云分布异质性问题，提高了知识蒸馏的性能。
- 基于端侧反事实表征学习实现端向云去偏汇聚（FedCFA）：缓解了辛普森悖论问题，提高了云侧模型汇聚的效率和准确性。
- 基于端云协同的高效端模型参数定制（DLET）：降低了模型传输开销，提高了端侧模型的推理速度。
- 端云大-小模型协同推断算法：通过因果结构学习和智能请求策略，实现了低通信开销、高响应速度的端侧推荐系统。
- 基于多模态大模型的操作系统智能体（InfiGUIAgent）：通过自反思训练和推理，提升了智能体的多步推理能力。
- 针对OS Agent感知层面的环境注入攻击研究（AEIA-MN）：评估了OS Agent对环境注入攻击的鲁棒性，并提出了相应的防御措施。
- 基于自反思训练和推理的轻量级大模型能力涌现研究（Cas-SEAT）：通过自我评估增强训练，提升了轻量级大模型的自评估能力。
大小模型端云协同的应用场景包括：
- 推荐系统：通过端云协同，可以实现实时推荐，提高推荐的个性化和精准度。
- 端侧智能体：通过端云协同，可以实现更智能的端侧智能体，例如语音助手和操作系统智能体。
研究结论：
大小模型端云协同是未来人工智能发展的重要方向，它可以有效解决大模型在端侧部署面临的挑战，并推动人工智能在各个领域的应用。
