腾讯云TI平台的大模型精调解决方案

腾讯云TI平台的大模型精调解决方案 胡哲优图实验室高级AI技术专家 大模型落地痛点 大模型精调全生命周期的方法论与全流程陪跑TI大模型精调解决方案 案例分享 TI精调的核心优势 大模型摘要;大模型问答 行业知识、模型训练稳定性、资源利用率、国产化适配 自研大模型、大规模预训练、自研加速、国产化适配 大模型在业务场景落地的痛点 大模型落地业务场景的痛点 大规模训练不稳定 需国产化适配 需提高资源利用率 模型欠缺行业知识 大 模 型 训 练 需 耗 费 大 量GPU资源且训练周期长，对训练平台的稳定性、故障隔离性、自动容错性等底座能力，以及断点续训能力考验极大 分布式训练需要高效的资源调度管理系统，减少节点资源碎片提高调度成功率；支持虚拟GPU调度提高容器资源利用率 通用领域大模型百花齐放，但都不具备特定行业的独有知识，欠缺行业属性导致无法落地实际业务 响应国家政策，摆脱国外资源限制，需要从硬件服务器芯片、操作系统、模型等多个层面完成国产化适配 TI的大模型精调解决方案 TI对大模型开发全生命周期的一体化方法论 TI精调的核心优势 核心优势1—自研模型：混元大模型 超千亿参数规模（蒸馏出百亿级模型），全链路自主研发，从零训练自主创新 核心优势1—自研模型：混元大模型 核心优势1—自研模型：行业大模型 在有行业数据精调的情况下：行业大模型（10亿参数）可以比通用大模型（千亿参数）用小得多的训练资源，训练后得到差不多性能的应用 核心优势2—大规模训练：简单 2.训练监控 3.任务管理模型评估 1.一键启动 实时监测资源利用率、训练指标 平台内置精调物料快速启动精调任务 5.服务调用 4.模型发布 可视化网页、API接口调用模型服务 最快仅需5步即可完成 大模型精调落地 核心优势2—大规模训练：稳定 核心优势2—大规模训练：高效 核心优势3—自研加速：Angel三重优化 2.显存优化 3.计算优化 1.异步调度优化 缓存定长+池化，提升参数支持规模 Attention及MLP Block块算子融合优化 核心优势4—国产化适配：产品支持情况 底层软件 核心优势4—国产化适配：获得多项信创认证 案例分享 落地案例：某传媒客户 输入完整的长篇新闻文稿内容，基于大模型对原文的理解，重新组织用词造句，生成对主题内容的概括性描述。支持输出智能标题或智能摘要不同粒度的摘要结果。 新闻智能标题与关键字 新闻智能摘要 智能提取文章主题信息，生成指定字数的摘要内容。可以用于导语、简讯的输出。 通过自然语言处理方式，按照新闻语言风格，智能化地概括文本内容，可以用于智能标题的拟定。 好水、好土产好粮。为了保护好赤水河的生态，仁怀近年来下大力气实现了工业核心区废水收集处理全覆盖，城镇生活污水处理率达95%，赤水和水质如今常年稳定在地表二类以上。守牢生态底线，在高质量发展中保障和发展民生。党的18大以来，在石漠化 •示例1：军事新闻•俄罗斯国防部10号称，俄军打击了顿涅茨克地区、哈尔科夫地区的乌军指挥所以及存有美国提供的大量弹药的仓库等军事目标。 严重的山区，仁怀持续加大基础设施建设投入和退耕还林力度，帮助当地群众打造农旅一体的生态观光业，以创建省级生态乡镇13个，市级生态村寨127个。仁怀还下决心对城区最大的垃圾填埋场进行彻底改造和生态修复，为群众打造出一个鸟语花香的生态公园。近五年，仁怀绿化造林30余万亩，森林覆盖率达56.35%，城镇新增就业36524人，乡村两级医疗卫生机构规范化建设全覆盖，公通车总里程达3961公里…… 示例2：民生新闻刚刚过去的国庆假期，各地丰富消费场景，扩大市场供给，持 续升级的假日消费彰显中国市场巨大潜力的同时，也让百姓的生活品质不断提升。 •智能标题：仁怀:坚守生态底线提升民生福祉渐渐次（可生成多个标题）•关键词：生态、保护、发展（可指定3-5个关键词） 落地案例：某文旅客户 产品示例 客户诉求 无需配置对话流程，大模型端到端解决业务问题 1.接口信息配置酒店的查询，预订，修改和取消 运营人力有限,人工配置成本高人工有限,期望知识库运营上手简单,低成本投入 涉及订单等接口场景,对机器人任务要求高复杂业务场景,无配置情况下无法通过机器人闭环解决问题 2.输出样式配置图文模版、气泡列表 方案价值 对话构建成本降低 任务完成率提升 3.对话体验 ·自动判断意图和识别槽位，生成相应的API并自动调用，基于API的返回，自动生成拟人化的回复话术。 ·在无多轮画布增加的前提下，突破效果天花板·聚焦场景是酒店业务，包括酒店的查询，预订、修改、查询，后期逐步覆盖机票、旅游等全栈场景。 THANKS！感谢聆听