大模型时代生产力工具转型的技术探索_詹明捷

商汤科技AIGC研究与应用团队负责人詹明捷 人工智能新范式（AGI）已经到来 大模型使能的AGI与传统AI处理任务对比 大模型核心能力 架构设计、分布式训练等 LLM技术路线演化，GPT类模型处于领先 大模型关键技术路径 •Encoder类模型（以BERT为代表）在过去的方案中经过fine-tune性能会更强。OpenAI也是坚持自身以生成式任务为目标的技术理想，终于实现突破 •随着考察任务的变化，现在大模型更关注zero-shot的文本生成能力（更贴近AGI），Decoder-Only类模型（以ChatGPT为代表的）更方便利用海量的无监督文本数据进行训练 •Decoder-Only类模型结构效率更高，OpenAI以系统工程的角度看待训练，着重训练效率，坚持此路线 •如今大模型训练成本极高，由于历史原因，各企业组织（如Google）存在路径依赖，大多沿用自身已经验证通过的路线。 Encoder-Decoder or Encoder-Only (BERT类)•训练：Masked Language Models Decoder-Only (GPT类)•训练：Autoregressive Language Models •模型类别：Generative•预训练任务：Predict next word •模型类别：Discriminative•预训练任务：Predict masked words 什么是思维链？ 思维链激发语言模型解锁更强的能力，解锁更复杂的推理任务，右侧图绿色部分为思维链 多任务训练 指令微调 编程工具的发展史 AI是生产生产力工具的工具AI FOR AI 下一代软件开发范式：AI FOR AI 人工智能大模型 智能化、模块坏、标准化的AI生产工具 AI辅助开发、一键调度大算力、数据驱动、快速部署 软件开发不同角色：分析师、程序员和测试员 分析师：分析师的目标是制定高层次的 plan 并专注于指导程序员编写程序，而不是深入研究实现细节。给定需求X，分析师将分解为几个易于解决的子任务，以方便程序员直接实施，并制定概述实施主要步骤的 plan。 程序员：作为该团队的核心角色，程序员将在整个开发过程中接收来自分析师的 plan 或来自测试人员的测试报告。将两项主要职责分配给程序员：1. 编写满足指定要求的代码，遵守分析师提供的 plan。2. 修复或细化代码，考虑到测试人员反馈的测试报告反馈。 测试员：测试人员获取程序员编写的代码，随后记录包含各个方面的测试报告，例如功能性、可读性和可维护性。与直接生成测试用例相比，生成测试报告更符合语言模型的倾向。 自动Debug 自动Debug 新二八定律：代码 = 80% AI 生成 + 20% 人工 新二八定律：代码 = 80% AI 生成 + 20% 人工 “新二八定律”带来软件开发新体验 语言与操作系统，是当前人类与世界知识交互的核心媒介依赖: •人类需求被满足的方式和底层依赖发生变化。➡️底层编程逻辑变革 业界持续推出生成式AI技术延展 延展：用代码解决视觉问题 延展：基于多仓库融合的代码生成 延展：基于代码解决数学题 THANKS 如果您有兴趣进一步了解商汤AI代码助手，可联系：sensecode@sensetime.com