揭示视觉计数在视觉-语言模型中的瓶颈

本文研究了大型视觉语言模型（VLMs）在视觉计数任务中的系统泛化瓶颈。作者将视觉计数分解为三个认知阶段：视觉识别、数量感知和符号映射。

核心观点：VLMs 在插值方面表现出色，但在系统泛化方面存在灾难性失败，尤其是在视觉计数任务中。这并非由于感知或数量理解能力不足，而是由于无法将视觉感知到的数量映射到符号标签。

研究方法：作者构建了一个合成实验室，使用围棋棋盘和线性探针，严格控制训练分布，并采用解耦的训练课程，使模型在视觉计数方面的训练上限为 49，而语言解码器则在文本计数方面的训练上限为 99。此外，作者在 Qwen3-VL 这一最先进的 VLM 上验证了研究结果。

关键数据和研究结论：

1. 基线悖论：模型在文本计数任务中表现完美，但在视觉计数任务中，当数量超过训练边界时，准确率骤降至 0%。
2. 假设验证：
   • 假设 A（视觉识别阶段）：作者通过线性探针技术检测视觉编码器输出的隐藏数量（NH），发现 NH 在整个范围内都保持线性可分，表明模型能够有效识别对象，因此排除感知失败。
   • 假设 B（数量感知阶段）：作者通过比较计数任务和比较计数任务（判断两组对象数量是否相同）的结果，发现模型能够利用抽象的数量信息进行推理，即使在训练集之外，也证明了模型保留了数量感知能力。
   • 假设 C（符号映射阶段）：作者通过分析错误拓扑和电路差异，发现模型在视觉计数任务中的错误分布呈现非高斯分布，且视觉计数和文本计数的注意力头几乎完全分离，表明模型无法将视觉感知到的数量映射到符号标签，验证了“断裂数量”假说。

研究结论：VLMs 缺乏一个通用的数量空间来连接不同模态，而是学习了两个独立的、模态特定的统计流形，导致无法将视觉感知到的数量映射到符号标签。因此，要解决 VLMs 的泛化瓶颈，需要引入归纳先验，强制执行统一的表示，而不仅仅是扩大数据规模。