不同领域的“多模态”研究进展与思考 - 王萌

多模态研究进展与思考

多模态知识概述

多模态知识是指通过不同多模态方式对某人或某事的认知和理解。多模态知识研究涉及多个领域，包括知识图谱、计算机视觉、自然语言处理、数据库和物联网等。

多模态知识图谱

多模态知识图谱通过结合文本、图像、视频等多种模态数据，增强传统知识图谱的表达能力。Richpedia.cn是一个大规模、综合性的多模态知识图谱，包含丰富的多模态数据。

多模态知识图谱研究

研究问题：多模态信息是否真的有助于提升知识图谱任务的质量？ 研究结论：视觉信息并非总是有用，关键在于模态之间的关系。 研究方法：

• 使用视觉关系检测和跨模态实体链接技术。
• 探索不同视觉特征编码器的影响。
• 通过对抗性评估验证多模态知识图谱的有效性。

多模态知识图谱面临的挑战

1. 多模态知识表示：
   • 多模态知识表示的边界问题。
   • 空间、时间和物理等多维度表示。
   • 事件和规则的表示。
2. 多模态表示学习：
   • 多模态知识图谱的预训练模型。
   • 跨模态对齐问题。
   • 计算和存储能力需求。
3. 多模态数据：
   • 知识图谱数据。
   • 文本数据。
   • 图像或视频数据。

多模态知识图谱的应用

• 细粒度语义关系分割。
• 嵌入查询。
• 神经+符号互补。
• 具身（体验）学习。

研究结论

多模态知识图谱在提升知识表示和推理能力方面具有显著优势，但仍面临诸多挑战。未来研究需关注多模态知识表示、表示学习和多模态数据整合等方面。