多模态情感识别与大型语言模型

摘要

核心观点：多模态情感识别（MER）研究正从利用小规模、特定任务模型转向利用大型语言模型（LLMs），形成新的“MER-with-LLMs”范式。该范式具有通用性强、推理灵活等优势，但也面临情感数据稀缺、模态间情感差距以及模型解释性不透明等挑战。

关键挑战：

1. 情感数据稀缺：情感标注数据获取成本高、规模受限，影响模型性能。
2. 模态间情感差距：不同模态（如文本、语音、图像）的情感特征存在异质性和语义差异，导致模型难以有效融合信息。
3. 情感解释不透明：现有方法侧重情感识别，缺乏对模型决策过程的解释，影响用户信任和模型改进。

研究分类及方法：

1. 情感数据增强：
   • 无训练样本配置：通过精心设计输入样本，引入人类先验知识，如 EmoDETective、ExpLLM 等。
   • 情感数据标注：构建特定领域的情感数据集，如 DEEMO、EmoCause、MESC 等。
2. 多模态情感表征：
   • 情感表征优化：通过改进编码过程，提取更丰富的情感特征，如 EmoVIT、VEC-CoT 等。
   • 多模态情感协调：通过融合机制，增强模态间交互，如注意力机制、Q-former 等。
3. 多模态情感推理：
   • 情感解释与幻觉：提升模型解释性和可靠性，如 Facial-R1、ERV、PEP-MEK 等。
   • 主观情感推理：处理情感感知的主观性，如 Agent-MER、EmoCaliber 等。

研究结论：

• MER-with-LLMs 范式展现出强大的潜力和发展前景，但仍面临诸多挑战。
• 研究方法日益多样化，但零样本泛化能力、长尾识别能力、跨文化迁移能力等方面仍有提升空间。
• 未来研究方向包括：统一和通用的 MER 框架、机制层面的探索、主观性框架的完善、具身情感理解、以及安全性、偏差和文化适应性等伦理问题。

开放研究方向：

• 统一和通用的 MER 模型。
• MER 机制层面的探索。
• 包容主观性的框架。
• 具身情感理解。
• MER 中的安全性、偏差和文化适应性。