众安-董俊秋-借助大模型实现工程师自驱式质量运营管理，助力业务线实现质效全面提升

讲师简介 董俊秋 众安质量管理团队负责人 CMMI软件成熟度评估师、ScrumMaster、EPG过程改进专家、云从业者曾任腾讯高级质量管理工程师、中兴智慧城市质量经理 ”涉及行业：ToB、ToC、云产品、金融、医疗、教育、通讯、人工智能擅长领域：度量分析、质量建模、过程改进、研发效能度量 亮点介绍 【内容亮点】 【业务价值】 合作方满意度：树立QA团队口碑、打造影响力 ➢全面解读0-1的质效搭建历程，为企业提供质效度量探索及北极星指标的建设思路 成本控制：为企业大大节省了质量运营成本 ➢通过落地案例的实操呈现为企业提供可借鉴和可复用的质效提升相关经验 产品品牌形象：通过质效全过程的心跳监控，帮助提前识别质效风险，确保产品交付质量，提升客户整体满意度 ➢首次揭秘智能质效管理平台的搭建全过程，包含亮点功能：智能分诊、智能诊断等 目录 问题：常⻅质量运营问题及质量管理痛点 解法：建体系→做度量→数据洞察→质效诊断 实践：质效度量体系建设、质量落地运营、智能质效管理平台 成果：短期收益、长期收益 未来：自驱式质量运营管理 问题 软件研发流程的数字化程度越来越高面临devops、提效、数字化转型、变革时期如何判断转型的好与坏？ 指标太多了，搭建成本高且没有发挥价值过度关注数据本身导致适得其反指标并没有带来改进的牵引作用数据的可信度不高 主观判断？缺少抓手？缺少数据支撑？ 解法 实施改进 根因分析 调研现状 【质效指标建设】•优先梳理并对齐北极星指标 【业务线A】 【指标设计】 •指标太多太泛，大几十个，看不到重点，不聚焦•指标不是我们想要的，所以我们自己搭建了数据采集平台 •指标没有指向性 【采集路径对齐】梳理度量采集表，所有指标的详细采集路 •径一定要充分对齐•选择试点业务线，试运行成功后再大范围推广 【数据准确性】 •采集路径口径不一致•业务线不认可采集方式/路径 【业务线B】 【质效度量诊断】 【指标运用、数据分析】 •数据没有分析结论，看完不知道要做什么•很多结果指标里未完结的阶段性数据也统计进去 •启动下钻分析及质效诊断(共性问题下钻分析及结论)•质量课程赋能：指标的价值意义解读、指标使用，如何通过指标改进提升 •不知道指标怎么运用•纯数据晾晒，没有质量建议、下钻分析等 【QA组】 •数据遭到挑战，业务线多次在质量会议上质疑数据的准确性 建体系做度量数据洞察质效诊断 建体系做度量数据洞察质效诊断 实践01-质效度量体系建设 实践 确定度量目标 北极星指标建设 •软件成熟度，所处阶段•度量成本和预期•度量效果评估者的视角•度量实施的复杂度 实践02-质量落地运营 02-质量落地运营 数据采集数据聚合数据清洗数据复核 趋势分析、环比分析、异常预警、诊断建议、改进效果 实践 实践 问题来了？？？02-质量落地运营 样例：业务线(某中大型规模业务线，150+研发人力)、质量运营人员(中级或高级) ➢人力投入：10-12人日/月(工作日) •数据采集处理：4-5人日/月 •下钻分析：4-5人日/月 •编写诊断报告：1.5人日/月 •召开质量会议：0.5人日/人月 ➢数据准确性：95%+-(高级工程师)、90%+-(中级工程师) ➢报告时效性：每月15日输出上个月质效报告 实践03-智能质效管理平台 实践 03-智能质效管理平台 质效管理平台 【趋势观测】 支持数据环比、数据同期比，可实时观察研发全过程走向及趋势 【追根溯源】 支持数据下钻，实现一键追溯原始数据，精准定位异常数据 【指标自助】 针对不同的关注重点，提供指标自配功能，所有复合指标均可自由定制 【风险预测】 实时监测质效心跳，实现质量风险预警，质量异常推送 实践 03-智能质效管理平台 【趋势观测】 支持数据环比、数据同期比，可实时观察研发全过程走向及趋势 【追根溯源】 支持数据下钻，实现一键追溯原始数据，精准定位异常数据 【指标自助】 针对不同的关注重点，提供指标自配功能，所有复合指标均可自由定制 •分析维度：迭代、业务线、一级域•常用角色：PM、一级域leader、一线工程师 实践 03-智能质效管理平台 【趋势观测】 支持数据环比、数据同期比，可实时观察研发全过程走向及趋势 【追根溯源】 支持数据下钻，实现一键追溯原始数据，精准定位异常数据 【指标自助】 针对不同的关注重点，提供指标自配功能，所有复合指标均可自由定制 【风险预测】 实时监测质效心跳，实现质量风险预警，质量异常推送 •分析维度：迭代、业务线、一级域•常用角色：PM、一级域leader、一线工程师 实践 03-智能质效管理平台 支持数据环比、数据同期比，可实时观察研发全过程走向及趋势 【指标自助】 针对不同的关注重点，提供指标自配功能，所有复合指标均可自由定制 •常用场景：多业务线，可根据不同业务线的成熟度进行指标的裁剪优化 实践 03-智能质效管理平台 【趋势观测】 【追根溯源】 支持数据下钻，实现一键追溯原始数据，精准定位异常数据 【指标自助】 质量指标【集成异常】 针对不同的关注重点，提供指标自配功能，所有复合指标均可自由定制 【风险预测】 实时监测质效心跳，实现质量风险预警，质量异常推送 实践 03-智能质效管理平台 03-智能质效管理平台 •心跳异常预警 •问题升级 ◆应用场景一：过程风险预警 提示词(示例) 你是一位质量诊断工程师，你需要对以下指标进行健康度扫描，并输出健康度报告。步骤一： 对“单次变更代码行”、“提交次数”数据进行扫描，记录如下2类数据：1、每个提交人每次提交大于或等于1000行；2、每个提交人每天提交次数累计大于或等于3次。步骤二：进行判断，判断原则如下：1、如果单次变更代码行大于或等于1000行，请判断为：异常。2、如果每个提交人每天提交次数累计大于或等于3次，请判断为：异常步骤三：输出判断结果，“异常”或者“正常”。请注意，你只需要输出“异常”或者“正常”，不需要输出思考过程。 实践 03-智能质效管理平台 ◆应用场景三：智能诊断 质效概述简报 提示词(示例) 你是一位软件质量诊断工程师，需要你结合质效度量数据，输出质效概述简报。简报的时间范围是自然月。简报的内容包括三个部分：“故障数”、“事件数”、“引入原因”。三个部分的计算规则如下。1、故障数：从输入的数据中取“故障数”的总和，与上一个自然月对比，输出环比提升的数量或者环比下降的数量。输出故障数量最大的3个一级域。2、事件数：从输入的数据中取“事件数”的总和，与上一个自然月对比，输出环比提升的数量或者环比下降的数量。3、引入原因：按照“引入原因”的类型进行聚合，从数量最大的到数量最小的进行排序，并输出。 www.top100summit.com 实践 03-智能质效管理平台 ◆应用场景一：过程风险预警 提示词(示例) 你是一位质量诊断工程师，请根据历史事件的描述，对故障台中新的“事件描述”内容进行判断。判断的方法如下： 诊断卡片 参考案例 判断结束后，请输出对应结论。 如果你认为新的事件与历史事件中的某次事件是同一根因，结论请回复历史事件的“事件名称”和“事件单号”，并标记为“历史故障根因” 成果展示 •数据采集处理：4-5人日/月•下钻分析：4-5人日/月•诊断报告：1.5人日/月•质量会议：0.5人日/人月•数据复核：1人日/月•人工诊断(个例、低健康度)：1人日/月•诊断报告：1.5人日/月•质量会议：0.5人日/人月 业务线投入过程改进小组(虚拟) 【业务价值】 成本控制：为企业大大节省了质量运营成本 合作方满意度：树立QA团队口碑、打造影响力 产品品牌形象：通过质效全过程的心跳监控，帮助提前识别质效风险，确保产品交付质量，提升客户整体满意度 微 信 官 方 公 众 号 ： 壹 佰 案 例关 注 查 看 更 多 年 度 实 践 案 例