AraVQA：从维基百科构建新的阿拉伯语事实视觉问答数据集

核心观点

• 问题: 现有的阿拉伯视觉语言模型（VLMs）数据主要集中于文化特定和方言敏感的任务，缺乏对一般知识的探索，且大规模图像-问题-答案标注成本高昂。
• 解决方案: 提出一种利用维基百科模板标签和大型语言模型（LLMs）自动生成阿拉伯事实性视觉问答（VQA）数据集的管道，构建了AraVQA数据集。
• 数据集特点: AraVQA包含超过50,000个问题，涵盖20多个阿拉伯一般知识主题，是目前最全面的阿拉伯事实性VQA数据集。
• 评估结果: 定量分析表明AraVQA具有更广泛的主题范围和难度，优于现有的阿拉伯VQA数据集。定性分析表明，在AraVQA上进行微调可以显著提高VLMs在现有阿拉伯VQA基准测试中的性能。
• 研究结论: AraVQA为阿拉伯多模态推理提供了一个具有挑战性和诊断性的基准，揭示了视觉定位和跨领域泛化方面的持续差距。该数据集、基准和实证结果为推进阿拉伯视觉语言研究以及开发具有文化基础和语言忠诚度的视觉理解系统奠定了可扩展的基础。

关键数据

• AraVQA规模: 50,757个验证后的问题，46,958张独特图像。
• 主题分布: 涵盖20多个领域，包括历史、自然科学、社会科学、地理、医学、体育、应用科学和宗教。
• 评估结果: 在AraVQA上进行微调后，VLMs在Pearl基准测试和AraVQA测试集上的准确率分别提高了21%-23%和高达20个百分点。

研究方法

1. 数据收集: 从阿拉伯维基百科获取并解析结构化数据，提取文章部分、部分标题、相关图像和上下文片段。
2. 数据预处理: 调整图像大小，提取图像URL和许可证信息，排除不符合条件的部分。
3. 合成问题生成: 使用GPT-OSS-120B模型，根据图像描述、文章标题和部分文本生成多项选择题。
4. 质量控制: 通过6位阿拉伯母语人士进行人工标注，确保生成问题的准确性和一致性。
5. 评估: 进行定量和定性分析，评估AraVQA的效用和泛化能力，并验证微调对VLMs性能的影响。

未来工作

• 将AraVQA管道扩展到其他低资源语言。
• 利用多语言视觉语言预训练进行跨语言迁移学习。
• 为斯瓦希里语、乌尔都语和阿姆哈拉语等代表性语言建立公平的VQA基准。