2024 多模型态 AI 的感官结合视觉、听觉与交互科技白皮书 (汉)

核心观点与关键数据

• 流架构与多模态流架构：自回归语言模型是多模态代理的关键组件，结合图像特征提取器和语言模型骨干的视觉基础模型逐渐普及。然而，实时视频流处理需要持续关注视觉输入的多模态流架构。
• 数据集对端到端培训的重要性：端到端训练需对齐视频馈送（帧）和助手评论（令牌）。关键数据集包括“HoloAssist”和“现场健身教练作为情境互动的试验台”，以及“健身问题数据集”、“FIT - 教练基准和数据集”、“健身反馈数据集”和“短健身剪辑数据集”。
• 高效的人机交互和基于视频的推理：可步进式因果3D卷积可实现高效的流式运动感知，优于二维CNN或视觉转换器。
• 使用辅助任务改进流视频LLM：语言生成任务帮助模型获得“常识”，如通过“Something-Something”描述任务提升预测准确性。随机探查（Stochastic Probing）过程将低级视觉技能提炼到模型中，结合端到端训练实现实时准确反馈。

研究结论

• 定性结果：端到端学习使视频LLM能够提供准确的实时反馈，如“教练-拉马”和“视频-LLaMA”的对比示例。
• 量化结果：端到端学习显著提升视频LLM的实时反馈准确性。
• 高通AI引擎优势：高通®AI引擎可直接提高性能并最大限度地减少内存溢出，通过知识蒸馏设计高效的扩散模型以实现高精度。
• AI处理重心向边缘移动：70亿个参数的LLM（如LLaVA）支持文本、语音和图像输入，世界第一Android手机上的大型多模态模型可进行多轮直观对话。
• 全栈AI优化：通过设备上处理增强隐私、可靠性、个性化和成本，实现低功耗高性能。

技术框架与成果

• Qualcomm AI Research成果：在多模态LM方面取得最先进成果，提供开发基于多模式交互的应用程序的工具。
• 框架优势：解决因果关系或组成性时空推理等方面当前方法的限制。
• 混合AI架构：将工作负载分配至云和边缘/设备，提供强大、高效且高度优化的体验。