AI落地研发的“最后一公里”暨《DevData24研发效能基准报告》数据解读-更新

任晶磊思码逸创始人兼CEO 任晶磊 公司职位思码逸创始人兼CEO •清华大学计算机系博士；前微软亚洲研究院研究员，斯坦福大学、卡内基梅隆大学访问学者•《软件研发效能度量规范》标准核心起草专家•多篇论文发表在FSE、OSDI等顶级国际会议上•曾参与微软下一代服务器系统架构设计，获4项美国发明专利•ApacheDevLake开源项目发起人 企业研发应用AI，效能提升了吗？（采纳率） 应用AI工具对企业研发效能的影响 质量方面：23% 效率方面：18% 应用AI工具比未应用的企业单元测试覆盖度更高 应用AI工具比未应用的企业需求交付周期更快 数据来源：《DevData2024研发效能基准调研报告》 AI落地企业研发的路径与终点 •AI落地企业研发需要“以终为始”，做填空题： •使用DevChat后，规范提交比例从____%提高到了____%，从而看清楚了需求、缺陷和重构工作的占比，优化了资源分配 据此保证了____%研发带宽用于支持业务需求，将需求吞吐率从每月交付____个提升到____ •使用DevChat后，单元测试覆盖度从____%提高到了____%，改进了质量薄弱环节，降低了质量保障成本 据此将缺陷密度从____‰降低到____‰，发版事故数从____个减少到____ DevData'24研发效能基准报告 170份有效样本 首次采用客观数据结合主观问卷方式。客观数据来自受访企业私有部署的思码逸DevInsight，采集Git、Jira等数据。 三大认知域 指标涵盖了《软件研发效能度量规范》的三个主要认知域：交付速率、交付质量和交付能力。 15个指标基准线 统计分析代码生产率、代码贡献均衡度、需求吞吐量、需求交付周期、重点问题密度、缺陷修复工作量等指标基准线（或表征） DevData'24研发效能基准报告 •代码当量*：基于程序分析算法，衡量代码规模和复杂度的基础指标 使用代码当量作为可靠数据校准其他研效数据质量 *JingleiRen,HezhengYin,etal.Towardsquantifyingthedevelopmentvalueofcodecontributions.FSE2018. DevData'24研发效能基准报告 DevData'24研发效能基准报告 「高效能团队」评分量表，取等权重综合得分前20% DevData'24研发效能基准报告 「高效能团队」中位值水平画像 交付速率 交付能力 交付质量 •可提供每天多次按需部署•变更前置时间在1天～1周之间•服务恢复时间不到1天•变更失败率小于15% •每14天交付一个需求•代码生产率3463当量/人月•代码生产率离散系数0.25•35%的团队成员贡献80%的代码当量 •单元测试覆盖度20% •注释覆盖度33% •代码不重复度91% •重点问题密度0.54个/ 千当量 •修复一个缺陷耗费15当量 DevData'24研发效能基准报告 敏捷开发模式下的代码生产率更高，相比其他模式高9% 20人以下团队的代码生产率相比50人以上团队高46% 单元测试覆盖度中位值仅为15%，“测试左移”仍有较大空间 引入外包的研发团队代码生产率高12%，但重点问题密度高25% 应用度量指标管理研效的企业相比未应用企业的代码生产率高5% DevData'24研发效能基准报告 •运营培训、结合私有信息、适配实际场景是AI落地企业研发的三大挑战 DevData'24研发效能基准报告 •流程规范、团队协作和度量体系是企业研发效能提升面临的三大挑战 度量案例：助力提升DevOps成熟度 需求背景：•金融企业，研发团队规模超300人。数据分散，治理困难，指标体系不完 善。•集团对信息化建设提出要求，以推动整体效能提升，其中完成信通院DevOps成熟度评级成为关键考核标准。 实践效果 痛点归纳 通过DevOps持续交付标准3级评估，相关能力达到国内领先水平 度量案例：助力提升DevOps成熟度 你的企业数据如何获得 GOPS全球运维大会暨XOps技术创新峰会2024·北京站 感谢您的关注 关注思码逸公众号，获得最新研效资讯 DevInsight：专业的研发效能数智化平台 欢迎到209展位交流 网址：www.merico.cn客服：400-8637-426 感谢大家观看