腾讯云大模型技术与教育智能体应用
大模型落地方向概要
教育行业技术与产品的发力方向主要集中在四个场景及阶段：
- 纯大模型能力：独立思考，快问快答。
- LLM+RAG：借助确定、权威的知识（私域或联网搜索），提升可用性。
- LLM 结合 Agent或Workflow：借助know how、业务流程，提升可用性。
- LLM 结合Data AI：借助训练、调优工具，提升可用性。
高校落地方式包括：
- 自建大模型/调用DS API。
- 结合院系师生文档知识。
- 结合院系内部系统及平台。
- 结合校级师生工作学习数据。
模型训练与推理平台
腾讯云TI平台提供高校训练自有大模型的便捷平台，具有以下特点：
- 部署灵活：公有云、私有化、混合云。
- 训推一体：潮汐调度，支持多种训练模式。
- 推理加速能力：
- 显著提升算力资源利用率（提升380% QPM，并发提升4倍）。
- 缩短首字延时（TTFT缩短70%），减少显存占用（缩小50%）。
- 模型支持：DeepSeek全系模型（精调、蒸馏、强化学习等）。
- 服务管理：一体化服务管理工具，实时监控流量分配、鉴权/限流。
- 算力调度：HPA扩缩容，定时扩缩容，纳管资源组按量计费。
RAG知识库构建平台
高校学生、教师可构建个人私有专属大模型智能知识助手：
- 知识库类型：个人知识库、学校级院系平台大模型知识助手。
- 功能：一键创建AI知识库，内容管理（文件夹、标签、权限），问答助手。
- 共享机制：知识号创建，知识库广场，微信文件助手一键同步。
- 容量与权限：个人免费30G，共享知识库不占用个人容量，灵活权限控制。
- 应用场景：教学、科研、管理场景，如助教答疑、教案生成、招生就业助手等。
智能体构建平台
构建可结合高校现有业务系统数据及功能的大模型智能服务：
- 原子能力：文档解析、向量化、多轮改写、Rerank、多模态。
- 应用构建框架：插件中心、Multi-Agent框架、RAG框架、Workflow框架。
- 案例：文献协作助手、教学智能体、科研助手等。
- 工作流创新：支持多Agent转交协同，兼容主流Agent框架。
- 权限体系：平台级、应用级、知识完整权限配置，多意图确认。
- 智能体门户：汇集校内所有智能体，支持RAG插件集成、知识库构建。
Data+AI一体化数智平台
优质数据如何高效便捷的为大模型及对应应用提供服务：
- 传统路径：数据治理建设、数据中台、定制式BI展示。
- 全新路径：ChatBI数据分析，多轮对话智能追问，数据源对接，问答展示。
- 新一代Data+AI Lakehouse：混合编排数据加工、特征处理、模型训练、模型推理。
- 优势：一体化平台完成DataOps和AIOps，一份计算资源复用，降低成本，快速落地更优GenAI应用。
生成型大模型安全加固服务
提供大模型安全加固服务，保障高校数据与应用安全。
