核心观点与问题提出
多模态系统在实际应用中常面临模态缺失问题,即一个或多个模态不可用。现有研究通过提示微调解决通用多模态Transformer(MT)架构中的模态缺失问题,但存在一个根本性限制:隐式模态减少瓶颈。现有方法仅基于观察到的模态进行提示条件,无意中限制了MT的推理范围到模态减少的子空间,切断了访问缺失模态潜在信息源的道路。
解决方案:AOEPT
为克服隐式模态减少瓶颈,本文提出AOEPT,一种新颖的模态上下文化提示方式。具体而言,AOEPT引入轻量级的模态上下文化提示(MCPs),从训练数据中提取全局模态先验,作为缺失模态信息源的潜在存储库。基于剩余模态,这些MCPs实例化为实例感知提示,选择性地增强每个样本的缺失模态信息,从而恢复MT的推理范围,超越仅由观察模态构成的空间。
实验结果与分析
实验在多个多模态基准和主干网络上的结果表明,AOEPT性能强大,计算开销最小。主要发现包括:
- 现有提示方法虽然提升了MT在模态缺失场景下的性能,但存在隐式模态减少瓶颈,导致MT在缺失模态样本上的推理范围受限。
- AOEPT通过有效的模态上下文化提示策略,有效地缓解了隐式模态减少瓶颈,实现了显著的性能提升,同时计算开销最小。
- AOEPT在单流和多流MT主干网络上都表现出色,超越了现有基线方法。
- AOEPT受益于模态信息扩展瓶颈,即训练阶段可以访问更多缺失模态的信息,从而在测试时获得更好的性能。
关键指标与结论
为诊断隐式模态减少瓶颈的严重程度,本文提出了归一化缺失模态互信息(NM2I)指标。实验结果表明,基线方法的NM2I接近零,而AOEPT有效地提升了NM2I,验证了隐式模态减少瓶颈的存在。此外,本文还分析了模态信息扩展瓶颈,即现有方法在训练条件改善时性能趋于平稳,而AOEPT可以受益于额外的缺失模态信息。
总结
AOEPT通过引入轻量级的模态上下文化提示,有效地克服了现有模态缺失提示微调方法的隐式模态减少瓶颈,为多模态Transformer在模态缺失场景下的鲁棒性学习提供了一种新颖且高效的解决方案。