AI大模型浪潮推动企业IT系统架构变革,从早期的以数据为核心、服务为核心、流程为核心,逐步演进到以AI大模型为核心的应用系统架构。这种演进的核心特征是系统围绕大模型构建,具备强大的任务泛化能力和实时学习适应能力。
以AI大模型为核心的应用系统关键实现路径包括需求分析和方案设计、模型训练、智能体应用系统开发、数据工程和应用集成部署。其中,数据工程是关键环节,模型性能受限于数据数量和质量。行业大模型能力评估体系需从通用语言能力、高级语言能力、安全与价值观、医疗业务能力等多个维度进行考量。
Industry Instruction行业指令数据集的构建至关重要,当前行业数据存在缺失、质量参差不齐、维度单一、语言缺失等问题。Industry Instruction数据集一期覆盖12个行业,总量约200万,采用多行业、多语种、数据量充足、数据质量高、格式丰富的策略,通过种子来源、数据构建方案、数据去除离群点、数据筛选等步骤确保数据质量。
MindForge自动化行业指令数据生产技术基于多智能体的协作,通过数据自动化合成、数据筛选、数据清洗等步骤,实现SFT指令数据集的大批量自动化生产。研究表明,MindForge方法在单轮和多轮合成数据训练性能上均优于传统方法。行业指令数据的生产应混合多种来源,如教师模型、开源SFT指令数据集、预训练行业数据、企业业务数据和互联网搜索引擎数据,以平衡各种来源的优劣势。
总结而言,未来企业IT系统将朝向以大模型为核心的应用体系架构发展,大模型能力决定了系统能力上限,多Agent系统拓展大模型能力外延。实现以大模型为核心的应用系统需从需求和业务场景引领,并并进数据工程、模型训练和多智能体应用系统。高质量行业指令数据集的构建需考虑任务类型、query多样性、数据鲁棒性、回复cot等因素,并重视合成数据的幻觉问题,通过智能体系统实现自动化大规模生产。