常扬-文档解析技术加速大模型训练与应用

文档解析技术加速大模型训练与应用 常扬合合信息 演讲嘉宾 常扬 合合信息 智能创新事业部研发总监 / 复旦大学 博士 合合信息智能创新事业部研发总监，复旦博士，复旦大学机器人智能实验室成员，国家级大学生赛事评审专家，发表多篇SCI核心期刊学术论文，多个学术会议讲师与技术社区AI专家博主，负责合合智能文档处理业务线的产品、技术、云服务平台研发工作。任职期间，先后主导AI数据清洗平台、信息抽取产品、智能文档处理云服务平台、智能文档场景落地产品，为金融、制造、物流等行业提供智能文档处理产品与解决方案，在人工智能领域具备丰富的技术落地经验和行业场景洞察力。 1.当前大模型训练与应用中的挑战2.文档解析技术发展与研究内容3.TextIn文档解析技术算法框架4.基于文档解析技术的大模型应用探索5.总结与展望 目 录CONTENTS 当前大模型训练与应用中的挑战PART 01 研究背景 当前大模型训练与应用过程的关键环节面临的问题 LLM RAG应用中文档解析不精准 训练语料质量要求高 训练Token耗尽 更多、更高质量的训练语料的需求 – 大模型训练 转化速度快，上百页PDF 更高精准、效率的文档解析的需求–大模型应用 大语言模型（LLM）驱动的检索增强生成（RAG）技术中确保能够从源文件中精准地提取内容，对于提高最终输出的质量至关重要。 在实际工作场景中，非结构化数据远比结构化数据丰富。但如果这些海量数据不能被解析，其巨大价值将无法发掘，其中PDF文档尤为突出。 研究方向：多版式、高精度、高性能的文档解析技术 文档解析技术发展与研究内容PART 02 文档介绍：计算机视角下两种类型的文档 无标记文档 有标记文档 MarkDown文档 扫描文档图像 计算机视角下无标记的文档： 计算机视角下有标记的文档： %PDF-1.04 0 obj <>stream 1. 0. 0. 1. 50. 700. cmBT /F0 36. Tf (Hello, World!) TjET endstreamendobj # 有标记文档MarkDown示例## 第一部分### 子标题| 表格列1 | 表格列2 | 表格列3 ||-------|-------|-------|正文：有标记的文档指的是可以直接用计算机处理，结构化的文档 没有储存任何结构信息，如表格或段落 可以将文本组织成段落、单元格、表格 ❌机器无法直接读取 ✅机器可以直接读取 PDF文件格式 PDF文件：一系列显示打印指令的集合，非数据结构化格式。 显示不受设备、软件或系统的影响PDF(Portable DocumentFormat便携式文档格式)，独立于应用程序、硬件和操作系统呈现文档的文件格式，能够完全保留原文档的格式。 非结构化文档、不具备可编辑性为了极致的显示一致性，PDF会将文本的位置、字体、间距、缩放比例、页边距等所有属性在文件格式中限定死，让软件没有自由发挥的空间。 解析PDF文档的挑战、让计算机可以获得PDF信息准确提取整个页面的布局，并将所有内容（包括表格、标题、文本段落和图像）转化为结构化数据形式。 MarkDown文件格式 MarkDown文件：关注内容而非打印格式，可以表示多种文档元素。 “优雅、简约、统一”表达多种形式的数据 被互联网世界接受，充斥在各种数据中 可以被大模型所理解 文档介绍：文档多版式示例 文档介绍：文档解析典型技术难点 元素遮盖重叠元素本身有多样性无线表格识别 复杂版式：双栏、跨页、三栏表格内公式 12 页眉形式1 4 6 3 文档解析研究的技术问题 ·文档预分类-文档/非文档·图像增强-对比度、去噪·图像校正-光照/视角/变形·二值化·框线/装饰去除·文档生成·文档鉴伪 ·区域分割·区域分类·文本定位·文本行分割·手写/印刷区分·表格分析·逻辑版面·签名/图标/印章 ·文本识别-字符切分-特征提取-分类器设计-序列模型-上下文处理-表示学习-整页识别·图形/符号识别-流程、工程图-符号、公式·风格鉴定-字体鉴别-语种判别-书写人鉴别-签名验证 文档解析技术成果应用中存在的问题？ PDF扫描件不支持无法支持全部版式文档多页可用性低阅读顺序无法还原文档解析精度较低速度慢不满足需求 TextIn 文档解析 解析更稳、识别更准、性能更快 电子档、扫描件 TextIn文档解析技术算法框架PART 03 TextIn文档解析 算法框架Pipeline 版面分析算法框架 版面分析典型输出 版面分析算法 – 物理版面分析与逻辑版面分析 •物理版面分析-聚合：侧重于视觉特征。主要任务是把相关性高的文字聚合到一个区域，比如一个段落，一个表格等等。 •物理版面分析-布局：选用目标检测任务进行建模，使用基于回归的单阶段检测模型进行拟合，从而获得文档中各种各样的布局方式。 •逻辑版面分析：侧重于语义特征。主要任务是把不同的文字块根据语义建模，比如通过语义的层次关系形成一个树状结构。 检测模型的发展：FasterRCNN/YOLO->(transformer)DETR/DINO在产业落地时，综合考虑任务难度和推理速度，我们选用： 单阶段的检测模型，更多关注数据和模型小规模调优 版面分析算法 – 物理版面分析 通过检测获得各个布局要素之后，我们可以建立文档的布局关系。例如，一个双栏的节（section）通常包括两个栏（column）。 版面分析算法 – 逻辑版面分析 输出目录树-树状结构 算法核心：通过Transformer架构，预测旁系类型与父子类型 预测每个段落和上一个段落的关系，分为子标题、子段落、合并、旁系、主标题、表格标题如果是旁系类型，则再往上找父节点，并判断其层级关系，直到找到最终的父节点 最新研究方向 – 真实世界中更丰富布局类型的版面分析 ChengH,Zhang P,Wu S,etal.M6doc: A large-scale multi-format,multi-type,multi-layout,multi-language,multi-annotationcategorydatasetformodern document layoutanalysis[C]//Proceedings ofthe IEEE/CVF Conference on ComputerVisionandPatternRecognition.2023:15138-15147.合合信息华南理工联合实验室 文字识别算法逻辑 技术方案 •多语言文字识别 竖 排识 别 表格识别算法逻辑 •表格类型判断•单元格角点模型•表格线段模型•单元格检测模型•后处理逻辑 [1]Parsing Table Structures in theWild.ICCV2021. [2]DeepSplittingand MergingforTable Structure Decomposition.ICDAR2019. 公式识别算法逻辑 LiZ,YangW,QiH,etal.A tree-based modelwithbranchparallel decodingforhandwritten mathematical expressionrecognition[J].PatternRecognition,2024,149:110220.合合信息华南理工联合实验室 TextIn开源文档解析效果测试基准及工具 TextIn开源文档解析测试基准及工具https://github.com/intsig/markdown_tester TextIn 文档解析效果 TextIn 文档解析+大模型演示 更高的文档问答精度 TextIn 文档解析技术 工程性能 TextIn 文档解析技术 效果测试 PART 04 基于文档解析技术的大模型应用探索 一、开放域多模态信息抽取 【信息抽取任务】 从以下资讯文本/多文档（票据）中抽取出关键信息 需要开发人员有丰富的算法经验新样本如语句变化则将难以确保效果 请从如下文本中判断出事件类型和相应的事件要素，结果按照results_style的形式进行呈现：翔鹭钨业(9.500,0.12,1.28%)：股东众达投资854.68万股股份解除质押来源：每日经济新闻每经AI快讯，翔鹭钨业2，... •普通员工会写提示词prompt即可•模型对语句变化后的自适应性强 开放域多模态信息抽取 三种抽取模式 •智能解读业务文件，完成非结构化的关键信息提取，提高阅读效率，挖掘文档价值 AI提取返回结果 设置提取字段 后续应用 •抽取结果可用于后续业务审核、一致性比对或导入其他系统 •自动抽取文档中的关键信息 •支持PDF、word、图片等主流文件格式 二、分析师问答产品 — 提高机构分析师信息检索效率 知识库信息检索 通过自然语言问答，精准检索知识库中相关内容； 多文档问答 金融文档知识库 支持多源信息检索及对比，洞察潜在趋势； •专注有效信息阅读•提高案头分析效率•分析师个人投研助手 信息来源可靠 有效规避大模型幻觉，完整展示真实可靠来源； 关键内容总结 提炼文档重点内容，提高信息筛选效率； 个人知识库 重点内容问询、标记、收藏，构建投研知识库； 分析师知识问答产品效果展示 分析师问答产品RAG技术架构 总结与展望PART 05 合合TextIn智能文档处理平台矩阵 textin.com TextIn文档解析，加速大模型训练与应用 TextIn文档解析核心特性 更多版式，更高精度 更多版式 不漏检、不错检、识别准确 无线表、跨页表格、页眉、页脚、公式、图像、印章、流程图、目录树等 更高精度 更高性能 速度快、服务稳定 100页PDF最快1.46s、云服务集群 THANKS