微众银行大模型助效研发实践——AI为主角、人为助手的协作模式

AI为主角、人为助手的协作模式 微众银行：黄叶飞 研发流程面临的主要问题？ 复杂 银行内部研发效率主要体现在其复杂性上：人员、产品、监管事情应接不暇内部研发效率主要体现在其复杂性上：人员、产品、监管事情应接不暇。 研发流程面临的主要问题 研发复杂性所带来人力成本逐步变大，如何解决？ 需求变化 个人效率 知识沉淀产品迭代、人员迭代产生大量的知识 沟通成本 复杂流程 较多相似工作，不同工具使用导致个人效率的差异 岗位和角色分工清晰，所带来的是沟通成本的提升 应对快速市场变化，需求变化快，要求交付速度快 银行面对的流程相对来说更复杂，更严格 大模型在研发效能上的初步探索 不同岗位工作内容的复杂性占用不少研发成本 大模型在研发效能上的初步探索 初试 银行内部研发效率主要体现在其复杂性上：人员、产品、监管事情应接不暇在ChatGPT出来后，大模型似乎能辅助研发效能的提升。 大模型在研发效能上的初步探索 代码解读 代码Review 提前发现代码变更引入bug、对有可能出现问题代码进行警告 支持系统级别和方法全链路代码解读，并生成相关逻辑图、时序图等 代码注释 行/函数级实时续写 大模型在研发效能上的初步探索 微调模型的试验之路是否可行 一个团队内的所有代码 公共组件使用文档 真正的组件文档大小并不大，在700多M，在开发过程中便于模型能理解公司内部的基本组件并知道如何使用；同时将公共组件调用生成问答对更进准的让模型理解 一个小JAVA开发团队的代码量在2-3G大小（前端开发团队也有在做微调，但只针对公共组件的使用上） 代码解释及关联代码 单元测试案例及代码 首先把所有代码把无注释的代码先生成一份代码注释、然后将代码注释及代码用于做微调 提取代码中的单元测试案例、以及单元测试的代码，更精准的做代码微调 大模型辅助研发遇到的困难 困难 银行内部研发效率主要体现在其复杂性上：人员、产品、监管事情应接不暇前期辅助编程方案并无法在研发流程中解决开发太多的痛点。 大模型辅助研发遇到的困难 研发人员在软件开发中的时间投入 统计约60人的团队情况：编码占研发工作时间比例并不高，进而需要更全面的提效方案 需求分析10% 代码编写37% 好的需求分析工作对后期的研发有极大帮助 开发人员实际做代码编写的工作占比并不高 方案设计8% 联调及测试23% 方案设计是系统稳定性、健壮性、可扩展性、安全性等非功能的重要环节 复杂的环境及多服务串联所带来的联调及测试问题也多 其他 还有线上问题以及各种其他工作 大模型辅助研发遇到的困难 模型终归不是我们理解的那么简单 Agent离不开的RAG 方法 银行内部研发效率主要体现在其复杂性上：人员、产品、监管事情应接不暇RAG可以解决模型微调中的不少问题。 Agent离不开的RAG Multi-Agents实现研发流程提效 实践 银行内部研发效率主要体现在其复杂性上：人员、产品、监管事情应接不暇从集成基础工具到不同业务场景的Agent实现。 Multi-Agents实现研发流程提效 集成开发工具以实现基础的Agents 集成基础的开发工具 约定Agent之间的协议 实现一个相对闭环的能力 Multi-Agents实现研发流程提效 Multi-Agents实现研发流程提效 以接口驱动实现多环节的Agents-文档生成 Multi-Agents实现研发流程提效 以接口驱动实现多环节的Agents-代码及测试 Multi-Agents实现研发流程提效 以需求文档驱动实现全流程Agents Multi-Agents实现研发流程提效 Multi-Agents实现研发流程提效 实现从需求到代码自动生成 让AI成为主角的人机交互方式 优化 银行内部研发效率主要体现在其复杂性上：人员、产品、监管事情应接不暇大量的Agent需要人工参与才能实现完整的功能。 让AI成为主角的人机交互方式 模型能力对于Agent的影响导致无法自动化 不是你想要的Planning 无法完整返回你要的内容 React：无法识别你的工具 理解Prompt的能力有限 Agents完成主要工作 复杂人人可用 银行内部研发效率主要体现在其复杂性上：人员、产品、监管事情应接不暇不是人人都去写Agent，但目标是人人都能用上Agent，而Agent做执行的工作只能完成部分，故Agent能优先执行，人去调整Agent执行的结果。 Agents完成主要工作 Agents完成主要工作 每个Agent的设计可由人参与并做调整 Planning调整 Prompt调整 人工调整Planning的任务，并让LLM重新确认 复杂的Prompt的会导致LLM生成有偏差 人工参与完成任务 Agent协议 上下游关联的Agent之间需要定义清晰的协议，在人工调整过程能让协议也自动生成正确 每个任务都有可能Agent执行失败，人工支持参与实现 工具调整 重新执行 工具的命名、描述会对LLM的识别有影响，需要支持人工随时介入调整 Agent断点、重新执行、幂等 展望 未来 银行内部研发效率主要体现在其复杂性上：人员、产品、监管事情应接不暇更多便利的工具；更多人投入Agent开发；更稳定的环境；更自动化的流程管理