8-5 多模态推理演算与学习 -张小旺

人工智能发展与认知智能

人工智能发展

• 四个阶段：计算、感知、认知、意识
• 当前阶段：从感知跨越认知，核心在于语义蕴含

认知智能

• 定义：赋予机器理解和模拟人类行为的能力
• 功能：记忆、学习、分析、理解、推理、判断、智能决策

多模态推理与学习

多模态推理

• 核心：语义蕴含
• 应用场景：知识图谱推理、文本理解、图像视频推理

演绎推理与统计推断

• 演绎推理：从整体到个体，从共性到个性，从知识到事实
• 统计推断：从个体到整体，从个性到共性，从数据获取经验知识
• 经典语义蕴含推理：演绎推理、归纳推理
• 马尔科夫逻辑网（MLN）：结合一阶逻辑与统计关系学习模型

多模态推理分析

• 知识图谱推理
  • OWL本体推理：SUMA系统，高完备性、高并行性
  • 路径推理：通过已有路径预测潜在关系
  • 规则学习：AMIE+RDF2rules系统，提升规则学习能力
• 事理知识图谱
  • 构建技术：事件抽取、事件关系抽取、事件知识融合
  • 应用场景：热点事件检测、事件脉络分析、未来事件预测

图像视频推理

• 目标检测：利用物体间的关系进行建模
• 图像描述：将视觉对象与知识图谱命名实体关联
• 视频描述：构建本地知识图库，提取跨视频段关联信息

跨模态推理

• 因果推断：从文本中提取因果关系
• 一致性对话：生成一致性对话
• 图像VCR：视觉常识推理，需要认知能力与常识知识

结论

• 多模态推理技术在认知智能领域展现出巨大潜力，尤其在知识图谱推理、因果推断和一致性对话等方面取得了重要进展。