人工智能高质量数据集建设指南

2025-07-01 中国信通院郭小欧

国家部委：
- 完善顶层设计：出台人工智能和数据要素政策，强调数据集建设是人工智能发展的核心内容，并推动数据安全合规。
- 推进行业领域建设：建立行业高质量数据集统筹协调机制，各部委聚焦垂直行业领域推进建设，例如央企和气象局的数据集建设。
- 推动数据标注产业升级：布局数据标注基地，发布产业支持政策，做大做强数据标注市场规模。
地方政府：
- 明确建设规划：多个地区明确数据集建设规模、周期及激励机制。
- 打造试点示范案例：遴选试点示范和典型案例，带动行业建设。
- 通过奖补手段推进建设：11个地区制定出台奖补政策，以奖补数据集建设单位为主。

人工智能技术演进对数据集要求：
- 规模：数十万亿Token水平。
- 多样性：融合文本、图像、语音、视频等多模态数据。
- 能力：丰富多样的行业领域数据集。
- 质量：保证数据真实性与时效性，提升数据纯净度，注重隐私保护与合规性。
数据工程创新：
- 自动化推理和数据生成技术：降低对人工标注的依赖。
- 数据蒸馏技术：提炼低质数据中的有效信息，形成“机器预处理+人工校准”的双层质检流程。
- 强化学习框架：构建推理型样本训练集，优化模型架构。
人工智能发展需要四类数据集：
- 多模态数据集
- 具身智能数据集
- 推理思维链数据集
- 长视频数据集

人工智能技术和行业数据集融合是“人工智能+”的核心：
- 任何创新应用落地都离不开高质量数据集的强力支撑。
- 人工智能模型才能精准理解各类复杂场景，提升预测与决策能力。
高质量数据集将成为企业构筑人工智能应用壁垒的关键：
- 率先在垂直行业建成高质量数据集的企业将有能力研发出性能优异的行业大模型。
- 形成“数据飞轮”的马太效应，最终以高质量数据集构筑起企业人工智能应用的壁垒。

高质量数据集的“三高”特征：
- 高价值应用：锚定产业刚需的核心场景，创造倍增效益。
- 高知识密度：用于构建跨领域的知识图谱，融合多学科知识体系。
- 高技术含量：数据集质量的提升已进入技术驱动新阶段，重塑数据集生产的全流程。
高质量数据集分类维度：
- 基于数据应用维度：通识类、行业通用类、行业专用类。
- 基于模型训练阶段：预训练数据集、微调数据集、价值观对齐数据集、行业领域数据集。
- 基于数据模态维度：文本、图片、音频、视频和其他。
高质量数据集建设主体：
- 开发和治理主体：算法服务方、技术服务方、平台服务方、交易服务方、人力服务方。
- 数据资源提供和应用主体：公共数据、行业数据、互联网数据资源提供和应用主体。
- 能力支持与生态发展主体：人才培养方、生态培育方、数据安全方、标准制定方。
高质量数据集建设难点：
- 目标定位模糊：智能场景需求与数据集建设目标脱节。
- 实施路径碎片化：全链路缺乏系统性规划和设计，造成多源异构数据标准难统一。
- 技术底座薄弱：现有数据处理技术难以应对复杂人工智能场景需求，自动化程度低，人力依赖严重。

五大核心要素：
- 管理体系：项目管理、组织建设、人才管理、标准应用。
- 开发维护：共性人工智能数据工程技术工具、定制人工智能数据工程技术方案。
- 质量控制：评估准则、技术工具、全流程监控。
- 资源运营：资源管理、开放共享、流通交易。
- 合规可信：数据合规、数据可信。

“三步走”战略：
- 体系规划阶段：构建高质量数据集认知框架，包括构建知识索引、锚定智能场景、搭建标准体系。
- 工程建设阶段：打造高质量数据集生产体系，包括建立高效数据工厂模式、探索前沿技术路线、构建生态协作机制。
- 质量监测阶段：构建高质量数据集全流程管控机制，包括量化评估模型和工具、动态评估机制、持续优化闭环。