高质量数据集建设与应用实践
高质量数据集作为连接数据资源与人工智能应用的重要载体，正成为企业推进智能化建设的重要组成部分。其建设过程由单一的数据整理工作，逐步发展为覆盖数据采集、预处理、标注、质量验证和持续运营的系统工程。
建设背景
- 技术演进：大模型、智能体、多模态与具身智能的持续演进，使得数据成为支撑模型能力提升、行业知识沉淀和智能应用落地的重要基础。数据的专业程度、知识密度、质量水平和场景适配能力成为产业AI应用的重要影响因素。
- 政策驱动：国家政策鼓励高质量数据集建设，强调需求牵引、应用验证和安全保障，并提出加强行业通识数据集和行业专识数据集建设。
- 企业现实：企业积累了大量数据资源，但存在数据分散、口径不一、语义不足、质量不稳、标注不充分、更新机制不清晰等问题，需要经过系统治理、加工、标注、验证和持续运营，才能形成支撑模型开发、知识库建设和智能应用落地的高质量数据集。
- 价值重构：高质量数据集连接数据治理与智能应用，其价值主要体现在提升高质量数据供给能力、沉淀企业行业知识、支撑智能应用持续优化三个方面。
认知框架
- 概念内涵：高质量数据集以人工智能任务为明确导向，由特征、标签、元数据和样本等核心要素构成，体现数据本身的质量要求，也体现数据与模型任务、应用场景和业务目标之间的适配关系。
- 分类体系：按模型使用阶段可分为训练集、验证集和测试集；按行业属性可分为通识数据集、行业通识数据集和行业专识数据集。
- 企业重点：行业专识数据集成为沉淀业务知识的重要载体，需要将行业知识、业务规则、流程经验和专家判断以更加规范的方式进入数据集建设过程。
- 建设关系：数据治理、高质量数据集与模型应用协同建设，数据治理夯实数据基础，高质量数据集沉淀专业知识，模型与智能应用持续检验和释放数据价值。
- 建设重点：围绕高价值场景形成企业数据集体系，优先选择业务价值高、数据基础好、验证条件明确、专业知识密度高的场景进行建设。
建设方法
高质量数据集建设围绕人工智能任务持续运行，按照“规、采、预、标、验”五个关键环节展开：
- 规：将业务需求转化为明确的数据集建设任务，包括明确数据范围、数据结构、质量标准和验证方式。
- 采：形成稳定、完整的多源异构数据供给，包括结构化数据、时序数据、非结构化数据、多媒体数据和外部数据。
- 预：将原始数据预加工为AI能够理解的数据内容，包括结构化数据、文档数据、图片数据、视频与音频数据、时序数据和多模态融合。
- 标：将专业规则和专家经验沉淀为任务样本，包括建立清晰的标签体系、利用模型提升基础标注效率、专家复核保证专业准确性。
- 验：通过模型和业务应用检验数据集质量，包括基础数据质量验证、专业内容质量验证、模型任务效果验证和对模型问题进行数据归因。
袋鼠云高质量数据集建设方案
袋鼠云构建了面向AI的数据供给与应用支撑体系，包括：
- 总体方案：建立面向AI应用的高质量数据集工程化建设体系，采用“分层建设、治理贯穿、场景驱动、持续优化”的思路。
- 多源数据汇聚与融合：形成统一、完整、可持续的数据供给基础，包括数据资产盘点、统一数据汇聚、实体对齐、外部数据接入治理、数据血缘与影响分析。
- AI-Ready工程化加工：将原始数据转化为模型可用数据，包括数据质量规则、非结构化文档解析、核心要素抽取、多层级逻辑校验、语义对齐与知识沉淀、数据版本与样本管理。
- 数据资产与知识组织：将数据集转化为可管理、可复用的数据资产，包括数据资产目录、知识组织、专业标签与样本管理、数据质量评价、数据安全与权限管理、数据版本运营。
- 场景驱动的智能标注与模型验证：构建面向任务的数据闭环，包括场景任务拆解、人机协同标注、数据集构建、模型验证、数据飞轮优化。
- 安全合规与可信管理：保障高质量数据集全生命周期安全可控，包括数据分类分级、敏感数据脱敏与匿名化、隐私安全计算、可解释与审计追踪、高风险场景准入与人工复核、数据集生命周期管理。
- 数据智能应用支撑：以高质量数据集提升业务理解与决策能力，包括知识增强、分析与决策应用、业务智能体。
- 空间智能应用支撑：构建连接真实空间与AI训练的数字场景体系，包括空间数据采集与三维模型生成、三维资产治理与孪生场景开发、空间智能应用。
应用实践
高质量数据集在装备制造、金融行业、医疗行业和具身智能等领域得到应用，支撑行业智能应用落地。
企业推进路径
企业推进高质量数据集建设应遵循以下路径：
- 场景选择：以高价值、可验证场景确定建设起点，重点考虑业务价值、数据基础、专业知识基础和应用可验证性。
- 试点建设：形成首批高质量数据集与应用验证样板，明确场景任务与数据集边界、开展数据资源盘点与质量诊断、建设场景数据加工链路、建立数据治理与专业质量规则、形成训练、知识和评测数据、通过应用验证发现数据问题。
- 复制扩展：将试点经验沉淀为企业级建设能力，复用基础数据与业务对象、复用多模态加工能力、复用标准、标签与知识体系、建立企业级数据集目录、形成标准化建设方法。
- 持续运营：让高质量数据集随业务和模型持续更新，建立数据更新机制、版本管理机制、质量监控机制、BadCase运营机制、数据安全与权限运营机制。
- 组织保障：形成业务、数据、AI与领域专家协同机制，明确各团队职责，建立数据集责任机制。
- 推进重点：以场景样板带动高质量数据集体系化建设，逐步扩展至同类场景，形成统一目录、版本、质量、安全和运营体系。
高质量数据集建设是一项长期的数据工程，需要企业围绕真实业务持续识别高价值数据，将业务事实、专业知识和专家经验加工为模型能够使用的数据，并通过实际应用不断验证和完善，最终形成面向智能化长期发展的重要数据基础。
