腾讯税务行业大模型解决方案介绍

目录CONTENTS 01 腾讯税务大模型重点产品和解决方案 腾讯税务领域大模型建设的思考 大模型技术和应用演进图谱 AGI技术革命性爆发，国内外大模型蓬勃发展 DeepSeek“出圈” DeepSeek是“深度求索”开发的一系列人工智能模型。DeepSeek通过持续的技术创新和市场拓展，在自然语言处理和大型语言模型方面取得了显著进展，在国际市场上获得了广泛认可。其中： ●DeepSeek-V3是在14.8万亿高质量token上完成预训练的一个强大的混合专家(MoE)语言模型，其在知识类任务（知识问答、内容生成等）领域表现出色。拥有6710亿参数 （每token激活参数370亿）。作为通用大语言模型，。2048个H800 GPU（两个月） ●DeepSeek-R1是基于DeepSeek-V3-Base训练生成的强化推理能力模型，通过无监督的自主强化学习、以及MLA、GPRO等创新算法，在数学、代码生成和逻辑推断等复杂推理任务上表现优异。 更低的研发成本*$5.6M vs. OpenAI’s $100M+ 开源打破大模型重挫美国科技公司股价，英伟达市值下跌5900亿 比肩头部大模型60%+指标优于Llama3.1Claude-3.5 GPT-4o 人工智能的Sputnik时刻被美国及其盟友列入各种限制 更高效资源利用使用~2,000 GPUs,竞品使用10,000+ GPUs DeepSeek开源+低成本将带来大模型应用的无限可能 目录CONTENTS 01 腾讯税务大模型重点产品和解决方案 腾讯税务领域大模型建设的思考 大模型技术和应用演进图谱 混元大模型&Deepseek双轮驱动 支持Deepseek 元宝App AI代码助手 知识库 腾讯混元持续演进，助力腾讯业务发展 大模型底座需要结合应用框架实现应用快速落地 •DeepSeekR1在数学、代码生成和逻辑推断等复杂推理任务等领域表现出优异的效果，但仍有一些局限性 算法方面：当前DeepSeek在各大公开测试集上评分较高，这是实验室数据。在多项公开评测中，非强推理场景会幻觉率更高，另外实际测试应用中有指令遵循较弱、拒答率高等问题。 商业化方面：DeepSeek模型刚发布，目前没有大规模的商业化案例，服务不稳定，实际应用场景和效果还需要进一步验证。 模型类型： DeepSeek当前仅有文生文大模型 •在商用的过程中，仍需结合一定的应用框架（RAG、工作流、Agent等）和工程优化，来保障大模型应用政府级端到端效果。 从0到1，构建大模型应用的流程 算力建设 模型安全 提高效率 激发创新 DeepSeek到来之后，我们发现： 1.凡是落地大模型应用场景的组织，都是基于自身的明确需求，以小步快跑的方式快速迭代 2.由于大模型的迭代频率以超乎想象的速度发生，组织拥抱大模型既不能步子迈得太大，也不能一点不动 3.按照以上四步即可实现行业大模型应用从0到1构建，从1到100则需要根据业务场景的复杂程度，考虑模型的领域适配和算力优化 目录CONTENTS 01 腾讯税务大模型重点产品和解决方案 腾讯税务领域大模型建设的思考 大模型技术和应用演进图谱 核心技术突破保障大模型应用释放效能 行业模型打造 模型安全 大模型底座 技术平台-知识库 内容安全内容安全-天御 工具平台-Ti 技术底座技术底座 建设高性能、高带宽、低时延的技术底座是发展大模型的重要基础建设高性能、高带宽、低时延的技术底座是发展大模型的重要基础 应用技术平台,提供RAG、工作流、Agent多种应用开发方式，助力行业及开发者加速大模型应用落地 问题侧、模型侧、答案侧三个层面进行敏感信息过滤和规避，让最终答案符合安全、规范的要求问题侧、模型侧、答案侧三个层面进行敏感信息过滤和规避，让最终答案符合安全、规范的要求 覆盖大模型训练和精调工具链，覆盖大模型开发全生命周期，支持一键部署和训练加速 Ø问题侧防护，不能提问Ø模型侧防护，拒绝回答Ø答案侧防护，少答或不答Ø问题侧防护，不能提问Ø模型侧防护，拒绝回答Ø答案侧防护，少答或不答 ØRAG，构建行业专属知识库Ø工作流，快速编排复杂业务流程ØAgent，任务自主规划和工具调用 ØFine-tuning，模型精调RL/SFTØ多模态数据标注，灵活配置ØAngel-llm，训练/推理加速框架 Ø高性能算力集群Ø分布式文件存储和缓存加速Ø高速通信网络Ø高性能算力集群Ø分布式文件存储和缓存加速Ø高速通信网络 公有云or私有化-私有化方案是首选 行业合规性限制 网络与业务连续性 长期成本控制 定制化与知识产权保护 Ø高频调用场景下，私有化部署的边际成本可能低于公有云按次付费模式（如客服系统每日处理百万级回答） 敏感数据（如用户隐私、商业秘密等）需物理隔离，避免通过公有云或第三方服务外泄（如金融、医疗行业） Ø政府需将大模型深度适配内部业务流程Ø防止核心算法外流，保持技术壁垒（如芯片制造厂私有化部署的缺陷分类模型，防止技术泄露） Ø网络隔离要求（如涉密机构禁止连接互联网）Ø工业控制、实时决策等场景需极低延迟和确定性响应（如工厂在边缘服务器部署私有化视觉检测模型） 需符合行业监管政策（如GDPR、国内《数据安全法》），或满足政府机构对数据本地化存储的强制要求（如政府、国央企） 私有化部署通过数据物理隔离+业务深度集成+确定性性能的组合优势，在政府、金融、制造、医疗等强监管或高价值场景中成为刚需 知识引擎&大模型联动流程 知识引擎帮助LLM以较低成本突破 •解决私域数据的空间限制•敏感数据无需进入模型训练•知识库实时更新•比Tuning低几个数量级的成本•基于缓存方案大幅节约LLM计算成本 腾讯云知识引擎能力介绍 聚焦严谨场景，打造大语言模型应用开发平台,提供LLM+RAG、工作流、Agent多种应用开发方式，来助力行业开发者，加速大模型应用落地。 强大RAG能力加持，搭建精准的知识问答应用 复杂文档解析、切分、检索、推理、生成准确率保持领先 高准确的综合检索能力 高准确的复杂文档解析、切分能力 上线基于LLM的embedding模型，多文档信息召回率从85%提升到92%；混合检索+Text2SQL能力，提升超大表格单表检索及跨表检索准确率，SQL执行准确率80%+ 基于OCR大模型，打造的解析引擎，突破图文混排版面分析、复杂表格识别等文档解析技术瓶颈，支持超过20类文档类型。 Ø业界首个支持200MB以上超大文档vs.业内普遍100MB内 Query Ø丰富的文档类型，超过26类vs.业内普遍10类以内 “非智能且在售，并且一级分类是天棚灯的产品包含哪些” 通过SQL检索表格信息 Ø支持图文混排（多列排版）版面分析、图文表/公式/页眉等元素识别 识别精度高、图片元素不丢失 充分考虑文、图两种模态的检索优化 说明书样例 腾讯云RAG+DeepSeek：图文并貌的产品操作说明 适合处理过程复杂且分支较多、对结果准确性要求高的业务场景 知识引擎“工作流”：支持用户快速编排复杂应用 面向复杂业务流程场景，升级复杂应用构建能力 提供10+画布节点，编排复杂应用，复杂流程的执行准确率和对话完成率效果领先。 Ø通过可视化拖拉拽的方式编排不同的原子能力，零代码/低代码构建业务流程。 Ø其中参数提取节点，支持多参数同时提取、基于对话历史进行多轮反问澄清等优势能力，对话效果更优势。 Ø大模型相关的节点均接入DeepSeek R1和V3模型，可支持自由选择和切换。 腾讯Ima 0成本尝鲜方案 税务行业知识库快速落地案例 Ti-One提升模型开发效能 腾讯云TI平台 腾讯云TI平台（Tencent Cloud TI Platform）是基于腾讯先进AI能力和多年技术经验，面向行业提供的全栈式人工智能开发服务平台，致力于打通包含从数据获取、数据处理、算法构建、模型训练、模型优化、模型评估、模型部署、到AI应用开发的产业+AI落地全流程链路，帮助用户快速创建和部署AI应用，管理全周期AI解决方案，从而助力政企单位加速数字化转型并促进AI行业生态共建。 应用和解决方案开发者 基于腾讯云TI平台的开放能力，结合行业特点构建应用解决方案。充分发掘AI价值，助力各行各业数字化转型 机器学习平台TI-ONE 面向数据开发人员，提供从数据预处理、模型训练、自动学习、模型评估到模型发布部署的全流程支持 AI应用服务平台TI-Matrix 面向AI应用开发者，快速接入模型、数据和智能设备。提供模型部署、应用工作流编排、云边端调度等功能，快速构建智能应用 TI平台的DeepSeek精调方案 DeepSeek全系大语言模型支持SFT 核心收益 注重灵活性、扩展性的生产级大模型精调工具链 DeepSeek全系列 R1、V3满血版 满血版模型一键精调 •全流程训推工具链，注重实战灵活性、扩展性•内置Angel加速能力，切实提升训推效率•训练过程白盒化、资源碎片监控、训练资源调度灵活可配，切实提升资源利用率 •256卡H20•全参SFT•8小时 蒸馏后模型多模式精调 •全参+LoRA双模式•低至1卡A10 TI ONE精调场景_同花顺:大模型云端一站式精调方案 整体架构 项目背景 应用于同花顺APP客服“i问财”，主要用来训练投顾、投研领域文本生成，对话大模型 训练规模 1.8万亿Token中英文语料4000亿Token金融语料40台8卡H800130亿参数 技术亮点 •用户可直接通过Ti-one将云服务器接入，享受训练平台稳定，高效的任务调度能力•支持20+主流开源模型基于TI ONE的精调服务•高稳定性任务调度，故障节点自动隔离，任务自动重试，稳定支持单任务2～3个月持续运行•灵活的任务调度策略配置，提升小资源任务的并发处理能力 内容安全-贯穿模型训练和内容生成全流程 大模型生产的数据量级规模大，从接口输入、内容预处理、模型识别、策略辅助、平台调度分析共5个维度为用户提供完整的内容安全解决方案 覆盖多场景、全类型内容的私有化内容审核方案，快速响应大模型各类审核需求，保障商用落地 税务行业场景+腾讯大模型方案=？