背景与目标
研发交付效能涉及角色、流程、环节众多,为解决如何开展效能度量的问题,提出数据先行、痛点分析、工程建设的对策。目标是评估交付价值、促进流转效率、提升资源利用,诊断交付瓶颈、提升架构先进性、改善研发模式/工具链,辅助团队目标、评估团队价值、提升团队人效。
效能度量基本思路
效能=价值/成本。通过价值(需求价值、需求收益达成几率)、成本(单位时间人力成本、需求交付时长、自动化任务MTTR、质量负向作用)四个维度刻画研发效能,相互牵制,整体外延扩展才能达成效能提升。
效能度量指标体系
分为效能价值、需求收益、发布频率、需求交付周期、需求自测周期、需求测试周期、需求上线周期、质量、人效、资源成本十个维度,涵盖业务需求价值、按期交付率、收益达成回顾、收益评估、发布模式、单位时间发布需求量、发版频率、需求确认周期、需求开发周期、需求确认周期、需求自测周期、需求测试周期、需求上线周期、线上问题/反馈、稳定性/损失率/崩溃率、P0/P1/P2级问题数量、线上问题召回时长、MTTR、Bug密度、反馈闭环率、满意度、线下BUG 召回、CR打回率、线下千行BUG率、质量活动执行率、质量活动有效性、团队人效、工程师能力画像、单需求成本、北极星指标、过程指标等具体指标。
效能度量建设中的难点与对策
难点包括指标体系中周期定义如何标准化、数据来源及其规范性、数据建模及处理。对策包括周期定义标准化(用最接近时间点替代不存在时间点,均值按85分位下均值计算,长尾数据通过90/95分位表征)、数据规范化(规范化数据源、标准化数据流转、实体数据表打平)、数据建模(构建实体画像、数据逻辑归因)、数据工程方案(离线任务调度、任务依赖管理、数据处理、数据清洗、数据聚类、数据关联、画像数据构建)、数据分析(交叉多维数据展现、分析及反馈)。
效能度量+工程能力地图
通过数据发现瓶颈、低效问题,通过工程能力指引,补齐短板。
效能改进案例
-
长尾分析+工程能力建设,解决长尾需求并行工作联调多轮测试需求变更项目复杂度高性能&压测
- 原因:研发&自测准入测试、发布自动化校验、补充自测签章数据沉淀、特征支撑智能case生成、测试输入智能构建、流量筛选测试执行、性能/白盒分析、测试分析结果0/1化能力、测试定位、UTP0准入覆盖率、BugBye代码扫描、联调签章、联调自测自动化、自测/签章、智能数据中台、智能策略中台、智能构建中台。
- 对策:XSTPToos基础CI能力/流水线稳定性、质量模型风险识别、风险等级评估、风险决策能力。
-
基于风险决策的自主交付模式
- 交付流程:需求评审拉分支写代码写case本地测试提交代码准入流水线任务准入评估提测准出流水线任务自主测试评估QA测试发布全流量设计评审分级上线评估。
- 支持能力:环境能力、单测能力、自主联调测试能力、自动化单测环境准备、单测运行覆盖率产出&上报结果分析结果通知单测case编写本地测试配置化编写case、版本维护、Mock配置化、校验规则配置化、Case服务、Case解析&运行、报告处理、覆盖率获取、结果上传、安全白盒自动分析、代码变更、自动配置扫描规则、扫描结果、问题修复数据构造、联调工具、日志trace、系统级/子系统级联调拓扑环境、联调CASE、联调签章、联调case书写、联调规范制定、RD自主测试支持、智能构建冗余任务跳过白盒分析后,无效任务跳过、问题自动上报/标注。
- 风险决策:特征圈定模型训练、模型评估、风险报告。
-
工程能力与交付周期的效果
- 工程能力得分与自主交付模式&交付周期关系:自主交付模式项目占比提升,交付周期缩短。