6-1 面向社交媒体的多模态属性级情感分析 - 虞剑飞 南京理工大学

虞剑飞南京理工大学|基于方面的多模态情感分析社交媒体帖子

背景

• 社交媒体内容呈现多模态趋势，42%的推文包含多个图像。
• 现有研究主要从文本驱动转向多模态驱动，涉及情感分析、假新闻检测和讽刺检测等任务。
• 多模态分析通过结合文本和图像信息提升分析效果，例如识别文本情绪和图像内容的相关性。

多模态 ABSA (MABSA)

MABSA 包含三个子任务：

1. 多模态方面术语提取/命名实体识别 (MATE/MNER)：提取并分类实体（如 PER、LOC、ORG）。
2. 多模态方面基于情感分类 (MASC)：识别给定方面或实体的情绪。
3. 联合多模态方面-情感分析 (JMASA)：共同提取方面/实体并识别其情绪。

现有方法包括：

• MATE：如基于区域意识对齐网络的多模态方面提取。
• MNER：如基于自适应共注意力机制的推文命名实体识别网络。
• MASC：如将 BERT 用于面向目标的多模态情感分类。
• JMASA：如结合辅助跨模态关系检测的联合多模态方面情感分析。

我们最近在 MABSA 上的工作

用于 MNER 的统一多模态变压器 (ACL 2020)

• 模型：统一多模态变压器 (UMT-BERT-CRF)，包含多模交互 (MMI) 模块和辅助实体跨度检测模块。
• 数据集：两个 Twitter 数据集（张琪等人的 Twitter-2015 和 Lu 等人的 Twitter-2017）。
• 结果：在两个基准 Twitter 数据集上实现最先进的性能。
• 后续工作：其他团队提出了新的 MNER 模型，包括多模态交互模块和基于辅助文本的实体跨度检测模块。

用于 MABSC 的粗到细粒度图像目标匹配 (IJCAI 2022)

• 任务定义：识别情绪在每个给定的方面或实体（意见目标）在多模态评论或推文中。
• 动机：58%的输入目标不在相关图像中呈现，需区分相关与无关目标。
• 方法：粗粒度图像-目标匹配和细粒度对象-目标对齐。
• 数据集：手动注释的图像-目标匹配数据集。
• 结果：ITM 模型胜过多种 SOTA 文本和多模态方法。

MABSA 的视觉语言预培训 (ACL 2022)

• 动机：现有 VL 预训练模型忽略两种模式之间的对齐，且缺乏特定任务的培训前任务。
• 模型：基于 BART 的统一编码器-解码器框架，包含三种预培训任务：
  • 文本方面-意见提取
  • 多模态情感预测
• 数据集：MVSA-Multi、MABSA 数据集（Twitter-2015 和 Twitter-2017）。
• 结果：预训练方法在三个 MABSA 子任务上实现最先进性能。

结论

• 多模态 ABSA 模型在相关任务和多模态方法上取得进展。
• 未来工作包括多模式实体链接/消歧、多模态关系/事件提取、多模态知识图谱构建与完成。
• 已有研究：
  • 统一多模态变压器 (ACL 2020)：关注多模态交互和视觉偏差。
  • 图像-目标匹配 (IJCAI 2022)：关注粗细粒度图像文本匹配。
  • 统一视觉语言预培训框架 (ACL 2022)：关注特定任务的 VL 预训练。
• 对抗性攻击示例：随机替换图像。