腾讯云大模型技术与教育智能体应用

腾讯云大模型技术与教育智能体应用 景建成丨腾讯云教育解决方案架构师专家 Age目录nda PART1大模型落地方向概要 PART2模型训练与模型推理平台 PART3RAG知识库构建平台 PART4智能体构建平台 PART5Data+AI一体化数智平台 01 大模型落地方向概要 教育行业技术与产品的发力方向 大模型在高校落地的四个场景及阶段 自建大模型/调用DSAPI 纯大模型能力 独立思考，快问快答 结合院系师生文档知识 LLM+RAG（私域）或联网搜索（公域） 借助确定、权威的知识，提升可用性 结合院系内部系统及平台 LLM结合Agent或Workflow 借助knowhow、业务流 程， 提升可用性 结合校级师生工作学习数据 LLM结合DataAI 借助训练、调优工具， 提升可用性 02 模型训练与推理平台 高校训练自有大模型的便捷平台 适配DeepSeek全系模型，覆盖精调、蒸馏、强化 学习等训练模式 支持故障自动迁移、CKPT自动续跑 稳定支持单任务2～3个月长时间持续运行 模型训 练 强化学习 全参/LoRASFT DeepSeek蒸馏 版模型 DeepSeek满血版 蒸馏 其他开源模型 全面支持多种训练模式 公有云、私有化、混合云灵活部署，TI-ONE平台助力模型训推更高效 优先级调度 灵活的标签优先级组合 高优抢占 训推联动抢占策略 大幅提升算力资源利用率 大幅降低算力运营精力 调度策略 优先级空闲插队 空闲插队 严格先进先出 排队策略 队列 可视化 定时扩缩容 标签分组 管理 任务管理 与运营 训推一体、潮汐调度 专属模型 QPM提升380% 单位时间内处理更多请求 (QueriesPerMinute) 单节点支 并发上限提升4 倍 持更大并发数 TTFT缩短70% 大幅降低首字延时 (TimeToFirstToken) 显存占用缩小 大幅减少50模%型权重对对显存的占用 内置Angel加速套件，DeepSeekR1/V3满血版推 支持SGLang、vLLM开源框架、灵活配置的PD分离能 力 即将支持kvstore方案、DP+EP并行能力 理加速能力处于行业第一梯队 以上为Angel加速方案相比开源方案的DeepSeekR1/V3推理性能提升 推理加速能力业界领先 腾讯云TI平台：DeepSeek全系大语言模型支持服务部署 R1-Distill-Qwen-1.5B R1-Distill-Qwen-7B R1-Distill-Llama-8B R1-Distill-Qwen-14B R1-Distill-Qwen-32B R1-Distill-Llama-70B R1、V3满血版 DeepSeek全系列 算力调度 纳管资源组按量计费算力池 大模型专属GPU算力CPU及传统GPU算力 包月独享按需按量 服务管理 与运营 指标监控 鉴权/限流 流量分配 实时掌握服务性能、调用量、资源消耗等关键指标 自动调度符算力资源，弹性灵活应对业务峰谷 容器调度 HPA扩缩容定时扩缩容组合扩缩容 提供多种扩缩容策略，满足不同场景的灵活资源需求 一体化服务管理工具 Angel 推理加速 一体化服务管理工具及推理加速能力 Sampling及batch优化 并行优化 模型量化 并行解码 算力投入持续降低 企业级鉴权流控 高并发、高可用 私有API服务调用 独享GPU算力集群 超大模型启动加速 长上下文(64~128K) 核心收益 R1-Distill-Qwen-1.5B R1-Distill-Qwen-7B R1-Distill-Llama-8B R1-Distill-Qwen-14B R1-Distill-Qwen-32B R1-Distill-Llama-70B R1、V3满血版 DeepSeek全系列 •全参+LoRA双模式 •低至1卡A10 蒸馏后模型多模式精调 满血版模型一键精调 •256卡H20 •全参SFT •8小时 核心收益 •全流程训推工具链，注重实战灵活性、扩展性 •内置Angel加速能力，切实提升训推效率 •训练过程白盒化、资源碎片监控、训练资源调度灵活可配，切实提升资源利用率 注重灵活性、扩展性的生产级大模型精调工具链 腾讯云TI平台：DeepSeek精调方案DeepSeek全系大语言模型支持SFT 03 LLM+RAG知识库构建 高校学生、教师构建个人私有专属大模型智能知识助手 师生个人大模型知识助手、学校级院系平台大模型知识助手 知识检索学习 教师教研 个人材料总结 个人知 识库个人知识库 个人知 识库个人知 识库… 沉淀共享 教师备课 知识库广场 共享一键同步 私有知识库 论文精读提炼 免费30G容量单文200M 院校招生推广 混元+DS双模型无限量使用 •外部知识内部化 师生教学问答 •多级分类沉淀 师生行政问答 •知识安全管控 沉淀沉淀 微信文件助手 IMA/乐享：便捷创建AI知识库，灵活权限控制、文档保密，按需分享知识问答 一键创建AI知识库知识库管理 个人免费容量30G，共享知识库发布到广场后不占用个人容量空间 属性管理 知识库名称、描述封面、推荐问题设置 内容管理 文件夹管理标签管理 2、微信导入 公众号 微信聊天文件 3、浏览信息导入浏览的网页/文档/问答/笔记，点击右上角加入知识库 1、导入文件WordPDF PPT Markdown图片文件更多格式… 知识库可内嵌至 成员管理 分享邀请他人加入可设置管理员 权限管理 查看权限设置加入权限设置发布设置 公众号、小程序 Markdown 知识号/知识库广场 知识库AI问答 1、知识号 创建知识号，将共享知识库发布至广场用户加入达500人，解锁数据看板服务 2、知识库广场 发现更多行业、领域优质共享知识库加入可进行信息浏览/下载和智能问答 问答助手 “公司出差报销的流程是什么”“去香港旅游需要办理哪些手续” 数据分析 “统计部门经费的使用和剩余情况”“基于评分标准计算A得分情况” 内容生成 “基于材料生成一份年终总结文档” “生成一份党日活动策划方案” 信息检索/校验 “劳动合同里的必备条款有哪些？”“基于A文档校验B文档，并指出错误” 段落索引记笔记问答分享 站内问答入口1：独立问答主页 专一功能沉浸使用 宽屏模式方便阅读 企业融合方案1：界面侧边栏，方便知识获取 企业微信侧边栏应用 企业微信群看板应用 站内问答入口2：全站常驻入口 搜索页自带AI模块 侧边栏助手一键唤起 企业融合方案2：API调用，融入业务流程 智能客服辅助答疑 IT助手全天oncall 乐享知识库：多种高校系统融合方案，处处实时大模型知识检索 04 智能体开发建平台 构建可结合高校现有众多业务系统数据及功能的大模型智能服务 学校统一的大模型智能体开发平台、提供原子能力+Agent智能体应用构建框架 应用 场景 教学资源知识库 教案课件 生成助手 助教答疑 教学场景 科研场景 案例/文献 协作助手 个人/团队知识库 数据收集结构化处理 校园服务 问答助手 管理场景 资源预定 AI助手 招生就业助手 应用构建 框架 Multi-Agent 框架 workflow 框架 RAG 框架 权限管理 调用统计 应用发布 应用评测 应用配置 企业知识库 •文档 •问答对 •数据库 插件中心 •官方插件：文档解析、 混元文生图… •MCP插件 •自定义插件 原子 能力 文档解析 文档拆分 向量化 多模态 多轮改写 Rerank 底层模型 MOE Dense turbo large standard standard-256k 混元大模型 精调知识大模型/多模态大模型金融/教育/医学行业大模型 腾讯云行业大模型 三方大模型 “激活教材的价值”，TCADP提供行业领先的RAG能力 支持从复杂Excel表里检索答案 支持从文档自动生成问答对与完整的问答校对与管理 支持完备的文档比对与比对后的决策 大表格数据 选择文档 文档对比任务创建 表格问答 生成问答对并支持校验 文档比对 通过workflow高校打通校内各种应用系统，TCADP支持全面的Agent能力 工作流创新加入具备全局视野的Agent，支持智能的节点回退 首次零代码支持多Agent的转交协同方式，兼容主流Agent框架 Agent全面支持MCP， 平台预置丰富的内外部高质量插件 “好用的工具”，TCADP更匹配客户实际业务的需要 支持平台级、应用级、知识等完整权限体系配置 支持文档、问答、工作流、系统等多种意图达成方式的优先级配置 完备的OP系统支持发布后应用运营，支持私有化部署 用户角色关系 角色权限关系 用户 角色 权限 企业TPM/QPM配置 多意图确认 角色配置 应用端权限配置 体验应用配置 智能体广场 教学智能体 口语陪练作文批改 科研助手智能体 文献阅读 专家智能体 设计专家 管理智能体 行政问答 … … … … 智能体门户广场，汇集校内所有智能体 智能体门户 智能体创作平台 插件集成 智能体创作 专有知识库 （基于乐享构建） RAG （知识检索） 1 知识解析可控 2 灵活调整智能体应用 •有确定的文档解析能力及可调的大模型对文档检索的各项指标 •通过灵活的workflow+agent及丰富插件能力打通学校内部应用 与学校各种业务 系统结合 4持续运营可靠 3 效果测试便捷 •边运营边纠错调整，可持续优化效果的智能体中台•便捷可见+自主可调的效果测试平台 企业级RAG能力+Workflow+Agent打通校内应用+可持续化运营平台 workflow Mult-agent 效果测试 05 Data+AI一体化数智平台 优质数据如何高效便捷的为大模型及对应应用提供服务 ChatBI数据分析发展趋势—智能化+便捷化 传统路径 数据治理 建设数据中台 TBDS 定制式/拖拽式 BI展示腾讯BI 全新路径 高校业务数据库及数仓众多 多轮对话 智能追问 输入联想 猜你想问 查看SQL 分享保存 数据解读 波动归因 随时随地便捷分析 秒级响应出结果 问答式分析小白都会用 数据源对接问答展示 x 传统积木式云产品架构，搭建同样应用需更多步骤和跳转 案例：基于企业私域报表数据，构建知识问答应用 DataAI1.开通WeData+DLC等产品4.开通腾讯云智能体应用开发平台 2.WeData中集成/编排报表5.同步最新报表文档到知识引擎等待将文档解析、切分、入库 6.LLM结合知识库给出结合报表数据的回答 3.WeData创建周期调度任务 将目标报表在COS创建副本 •数据需在Data和AI体系中流动，降低时效性增加成本•缺乏一体化平台可同时完成DataOps和AIOps•需要开通多个产品，并在不同产品间联动开发 新一代Data+AILakehouse一体化数智平台 混合编排数据加工、特征处理、模型训练、模型推理 数据探索 SQL探索Notebook 模型监控 服务指标监控服务事件监控模型服务日志 数据准备 特征工程 模型训练 模型验证 模型管理 数据集成数据开发 特征表管理 特征工程 Notebook实验管理 模型评估模型对比 模型注册版本管理 模型部署 大模型调优提示词工程 模型广场 模型在线服务环境管理服务调试 •更好体验：一体化平台可同时完成Data和AI应用的开发•更低成本：一份计算资源在Data+AI中复用，减少成本•更优应用：数据与GenAI结合，快速落地更优GenAI应用 生成型大模型安全加固服务 Thanks