徐海洋-多模态文档大模型mPLUG-DocOwl

多模态文档大模型mPLUG-DocOwl

多模态文档大模型背景

• 富含文字的图片（文档图片）在生活中广泛存在，通用多模态大模型应具备文档图片理解能力，如GPT-4V。
• 现有多模态大模型（MLLM）如mPLUG-Owl、LLaVA、InstructBLIP等虽主要关注一般图片，但因预训练中包含文档图片，已初显一定的图片文字理解能力。
• 多模态文档大模型面临挑战，需提升通用性、鲁棒性和效率。

mPLUG-DocOwl系列工作

• 模型结构：采用形状适应的切图模块，同时考虑形状和大小进行grid选择，每个子图记录在原图中的位置。
• 模型训练：
  • 训练任务包括文档问答、视觉问答、文档摘要等。
  • 训练数据涵盖TinyChart、mPLUG-PaperOwl等多领域数据集。
• 实验结果：mPLUG-DocOwl在多个基准测试中表现优异，1.5版本展现出强大的文档理解能力。

mPLUG-DocOwl开源实战

• mPLUG-DocOwl已开源，提供Demo和Demo界面。
• 通义mPLUG多模态体系包含多个开源项目，如X-PLUG、AliceMind、DELTA等，可通过GitHub和ModelScope访问。

总结与展望

• 多模态文档大模型虽展示出良好效果，但仍需解决通用性、鲁棒性和效率问题。
• 未来研究方向包括：
  • 探索更高效的视觉编码和图文融合结构，以处理高分辨率、多页文档。
  • 增加更多领域数据，构建通用且鲁棒的多模态文档大模型。
  • 结合OCR、Chart等专业小模型，实现大小模型协同。