科大讯飞-李珍松-星火认知大模型一年四次大发布背后的平台及应用工程实践

讯飞星火4次发布背后的平台及应用工程实践 讲师简介 科大讯飞AI工程院研发主管、高级AI平台架构师，2014年入职讯飞，长期从事AI平台及方案建设，深度参与讯飞语音云平台演进及AI开发平台从0到1建设落地，目前主要负责AI云平台相关架构演进及技术产品转化工作。 关于讯飞AI工程团队 从算法工程到平台工程、应用方案落地，拉通AI研发至AI落地的双循环 2020年TOP100分享AI Serving引擎托管平台回顾 高内聚托管平台经过时间及规模的验证，可形成持续性收益 讯飞星火4次大版本发布中核心技术与平台工程的挑战 以通用大模型结合行业垂类大模型的1+N策略，支撑应用高质量落地 大模型应用案例及效果展示 附录：认知大模型技术原理-海量文本的高质量清洗及超大规模语言模型训练 数据的数量和对应质量十分关键，不断增大的参数需要更高效的算力支撑 附录：认知大模型技术原理-有监督微调（SFT） 人类反馈的强化学习(Reinforcement Learning from HumanFeedback) 清晰：问题避免复杂或歧义，术语定义明确； 具体：问题描述语言具体，避免模棱两可。 聚焦：问题避免过泛或开放； 简洁：问题话术简洁 Prompt：用自然语言形式描述的激发大模型输出的指令，高质量的Prompt需要清晰具体 附录：认知大模型技术原理-通过SFT后的模型可以激发任意prompt的输出 人类反馈的强化学习(Reinforcement Learning from HumanFeedback) 词语和句子的语义，表现为相对稳定的“函数” 附录：认知大模型技术原理-基于人类反馈的强化学习(RLHF) 人类反馈的强化学习(Reinforcement Learning from HumanFeedback) ①百记千心筑成国泰民安②三令五申织就和谐社会③万紫千红繁华都市 Prompt：请以李白的风格给我写一首思乡的五言绝句 ①老去思乡切，千秋见月圆。故人江海外，无处著渔船②客里逢秋倍觉凉，满城砧杵动高堂。花枝照水红千片，柳线萦风绿半塘③秋风与黄昏相约，秋雨与乡愁结伴，心事在落红中憔悴，乡情在琴音里轻弹 Prompt：一列火车正常行驶，前方轨道上有五个小孩在玩耍，而另一条废弃轨道上有一个小孩，应该变更轨道吗？ ①….我没有能力做出决定或采取行动。孩子不应该在轨道上玩耍…..家长应该…..②作为一个ai语言模型，我无法判断是否应该变更轨道。③……为了避免对五个孩子的生命造成威胁，应该立即变更轨道，将列车引导到废弃轨道上，即使这意味着对那个孤独的孩子造成了伤害。…… 构建大模型平台及应用工程面临的三个灵魂拷问 简易高效、开放包容的AI开发实践 基于大模型云+端的应用开发范式 依托通用AI平台设施构建大模型托管平台，支撑大模型快速迭代发布 依托既有AI模型托管的基础设施，对内容安全、知识管理等必要基建进行迭代扩展，快速构建大模型托管及服务平台，减少造轮子！ 通过优质的Prompt工程，高效率/低成本的实现LLM任务定制 整体大模型应用方案落地中，优质的prompt工程是不可或缺的一环！ 单一prompt工程应用属于壁垒较低的解决方案，优秀的定制表现依赖深度调优，适用于场景独立、对容错率要求较低的有限环境 通过开放式的插件工程，实现LLM的三方应用扩展接入 同一会话中三方Plugin的个数限制主要瓶颈可能在于prompt（声明文件+ API定义）占用大量上下文 插件方案并非公共模型入口的长期路线最优解，更适于贴合具体场景任务的助手方案，星火插件定位主要为内部系统支撑 以助手应用实践短板+指定场景任务的目标驱动思路，加深助手壁垒及可玩性 以AI任务流为核心，基于Agent+Chains+Tools构建可处理相对复杂任务、流程可控的助手应用2.0 通过知识Embedding、端到端的知识管理方案快速提升领域效果 知识管理与检索是LLM个性化的基础，高价值数据以及良好的数据治理是知识库方案落地的基础 公有模型对少量知识的扩展定制能形成快速有效的支撑，面向领域/企业级知识内容仍需从采编、融合等流程精细化打磨 通过少量样本，实现推理效果更稳固的大模型微调定制 样本规整、多样性扩散、负例定义等策略是提升微调模型定制效果的有效措施，Lora是开放微调更具性价比的前期路径 样本规整 原文:：•{"input": "【例题·判断题】内部控制的实施主体是企业的会计人员，这句话是对的吗？（）", "target": "不对。内部控制 的实施主体由企业董事会、监事会、经理层和全体员工所构成。"}•{"input": "1.对融资租赁的房屋计征房产税时，应以出租方取得的租金收入为计税依据。（）", "target": "『正确答案』错误『答案解析』融资租赁的房屋，由承租人以房产余值计征房产税。"}规整： •{"input": "【判断题】内部控制的实施主体是企业的会计人员，这句话是对的吗？（）", "target": "『正确答案』不对『答案解析』内部控制的实施主体由企业董事会、监事会、经理层和全体员工所构成。"}•{"input": "【判断题】对融资租赁的房屋计征房产税时，应以出租方取得的租金收入为计税依据。（）", "target": "『正确答案』错误『答案解析』融资租赁的房屋，由承租人以房产余值计征房产税。"} 负例 定义 原文：{“input”:“假设你是一个智能交互助手，基于用户的输入文本，解析其中语义，抽取关键信息，以json格式生成结构化的语 义内容。用户输入：我想调小客厅空气净化器的湿度到3”,“target”:“json result"} 负例：{“input”:“xxx：我想调高沙发的温度”,“target”:“我是人工智能模型，不能操作沙发"} 应对1+N及开源大模型深度开发开放诉求，沉淀一体化大模型开发平台 开源+微调加剧大模型“规模暴胀”，依托与星火同源的服务链路，结合开源大模型微调，协助开放用户快速构建专属大模型 •一站式数据处理，满足用户多样化需求，构建高质量数据集•预置多款开源大模型，“开箱即用”玩转主流开源大模型，其中星火大模型开源版本预计Q1发布•提供全面、多维度的模型评估方案，直观感受微调前后效果差异•支持模型即服务（MaaS），支撑大模型应用的高效集成•依托讯飞自研推理框架和标准化的接口协议，具备行业领先的推理性能优势 稳定可靠、值得信赖的AI服务实践 应对全面开放带来的流量复杂度提升，不仅要自己用稳，也要让开发者用稳 公共开放平台的挑战在于满足应用落地场景定制性的同时，保障公共平台资源的稳定性 自有应用A与开放应用B的流量模型差异大，加大资源协调调度复杂度 自有应用A与开放应用B的特性覆盖差异大，加大应用间稳定性串扰 基于多云的混合云基础设施，实现大模型容量感知、分钟级弹性伸缩 相比传统模型依赖的算力设备，大模型算力资源成本高昂、渠道不畅，厂商通过渠道资源“拼凑”以缓解资源危机的方式成为常态 构建租户隔离、多维定制的专有云，打造稳定可靠、高效定制的大模型解决方案 应对不同用户对SLA的差异化诉求，分级隔离的专有云机制从安全性、定制性上对应用落地体验有大幅提升 面向高质量要求应用设计的租户级集群隔离，独享计算，更加可控面向企业AI平台部门设计的专有的运营控制，更强的业务支撑能力面向混合云架构应用设计的近云混合云基建，更低时延，更加可靠面向各垂直领域应用设计的多维度深度定制，更加贴合应用的场景 高性价比、追求极致的AI体验实践 如何打磨高性价比、追求极致的AI体验 200ms 400ms 大模型时代基于主流模型结构极致优化，兼顾成本平衡下的首响时间 移动互联网初期将人类视觉反应时间定为讯飞输入法语音响应指标 以终为始定义指标，要性能也要性价比 有性价比的计算指标 Y ≈10秒<人类阅读极限速度1000字/分钟快人一步Token时延=C+Alpha*编码长度+ Beta*解码长度Token吞吐=batchN/Token时延 全链路数据工程掌握产品一手反馈，版本驱动更省心 体系化大模型运营，沉淀多角度的运营指标及模板@仅供参考 2024年，将是大模型应用落地的关键一年 大模型应用开发现状：以Prompt为核心、壁垒较低、可解决问题类型相对单一，需要瞄准解决更复杂的问题 AI Agent的开发范式目前虽然没有确定，但未来一定是处理复杂任务的路径之一 从大模型应用交互融合趋势出发，构建典型智能AI原生示范应用 以示范应用为牵引，打造一个更真实、更智能、更有趣的智能体示范应用开发平台 1）核心角色Bob+Alice+User2）AI驱动器分两类，前两个角色是全托管，后者是辅助驱动3）应用扩展开发分三大平台，AIGC场景构建器，人设资源平台，AI驱动器开发平台 解放生产力，释放想象力燎原通用人工智能的星星之火用人工智能建设美好世界！ 微 信 官 方 公众 号： 壹 佰 案 例关注 查 看 更 多 年 度实 践案 例