开源视角下看大规模语言模型研发中的数据工程、自动化评估及与知识图谱的结合

大模型研发中的数据工程

1. 数据工程概述

• 以数据为中心的AI: 模型不变，通过改进数据集质量提升模型效果。
• 关键问题:
  • 需要什么数据？
  • 数据从哪儿来？
  • 数据怎么处理？
  • 数据怎么评估？
  • 数据怎么管理？

2. 现有大模型情况

• GPT背后的预训练数据:
  • 主要来自CommonCrawl、新闻、帖子、书籍及各种网页。
  • CommonCrawl、网页、书籍、维基百科对于训练的贡献量分别为60%、22%、16%、3%。
  • 维基百科包含约30亿tokens，仅占到训练数据量的3%。

3. 大语言模型数据集构成

• 英文主流大模型常用预训数据:
  • 维基百科、书籍（Project Gutenberg、Smash words）、论文期刊（ArXiv）、WebText、Common crawl、The Pile、代码、论坛等。
• 中文主流大模型预训练数据:
  • 华为盘古、WeLM、阿里M6、InternVideo等。

4. 预训练数据的质量要求

• 高质量：信源权威可靠、内容价值观对齐、专业领域知识。
• 大规模：独立增加训练数据量、模型参数规模或者延长模型训练时间。
• 多样性：数据丰富性提高模型泛化能力。

5. 数据工程解决方案

• 数据源的选取：
  • 数据体系是否完备、站点来源是否权威、数据规模是否大、数据实时性是否足够、下游任务是否有需求等。
• 数据清理：
  • 质量分档模型、边缘文本剔除模型、垂直网页处理、基于规则的噪声清洗等。
• 数据质量控制：
  • 数据质量评分、数据版本控制、预训数据索引管理、数据随机抽样等。
• 数据采样：
  • 《DoReMi》：先初始化数据分布，训练一个小参数模型，使用群体分布稳健优化对领域进行训练，产生领域加权的小型代理模型，用领域权重对数据集进行重新取样，训练一个更大的、全尺寸的模型。

大模型研发中的自动化评估

1. 自动化评估方法

• 基于GPT自动化评估：
  • 包含12个指令类型的测试集，总共有1K测试集。
• 基于众包投票进行评估：
  • Chatbot Arena平台，采用Elo rating system进行评分。
• 基于下游评测任务进行评估：
  • 利用下游任务评测进行性能评估。

大模型与知识图谱的结合

1. 知识图谱认识

• 定义：基于二元关系的知识库，用以描述现实世界中的实体或概念及其相互关系。
• 优势：方便debugging，人可理解，图结构表达能力强。

2. 大模型与知识图谱结合

• 构建阶段：
  • schema生成与数据标注（ESHer、生成排序数据、进行数据增强）。
  • 知识抽取、推理与知识问答（TAGREL、进行知识图谱问答）。
• 训练前阶段：
  • 利用大模型于数据清洗，引入预训练语料。
• 训练中阶段：
  • 将知识图谱隐式地加入到模型训练中。
• 训练后阶段：
  • 引入涉及实体的上下文进行丰富，增强结果可用性。
  • 通过query实体消歧和实体链接，注入搜索实时结果，增强实时性。
  • 结合外部知识库进行生成干预KGLLM。

3. 未来发展方向

• 大模型的应用边界：仍在不断探索。
• 垂直领域微调模型：是必然趋势。
• 数据工程：是大模型研发的重中之重，数据为王。