铺平研发数据治理之路-思码逸-郑润锦

核心观点与实践

数据治理的重要性与原则

• 数据治理是数据应用的基础，遵循“Garbage in, garbage out”原则，即输入数据质量决定输出结果质量。
• 企业应从数据治理框架中选取适合自身需求的组件，构建定制化的数据治理模型。
• 数据治理并非免费，需通过GQM（目标、质量、度量）框架抓取关键数据进行有效治理。
• 数据治理应通过建立数据规则规范团队协作，统一数据标准，并采用迭代改进的方式逐步完善。

数据治理目标与指标设计

• 数据治理需明确目标，包括业务调研、专家意见、头脑风暴等步骤，确定度量对象（过程、成果或资源）、维度（速度、质量、价值等）、目的（了解、评价、改进、控制）和角色（谁看）。
• 分层分角色确定指标需求，例如：
  • 业务负责人：关注产品客户满意度（NPS）、销售额（ARR、销售额、客户数）。
  • 研发高管：关注团队交付效率（需求吞吐量、需求交付周期、需求颗粒度）和交付质量（千当量缺陷率、线上事故数、事故修复时间）。
  • 项目经理：关注需求按时交付（计划完成率、合并请求通过率、缺陷库存）。
  • 技术经理：关注技术债（圈复杂度、代码重复率、模块性）和开发流畅度（流水线构建成功率、红灯修复时间、持续集成时间）。
  • 开发者：关注代码质量（单元测试覆盖率、圈复杂度、模块性、缺陷库存）和交付效率（需求颗粒度、需求吞吐量）。

数据集成与存储

• 通过DevLake建立研发数据模型，集成需求管理、代码管理、测试用例、持续集成、部署环境等通用领域模型。
• 数据集成需考虑开放性（Open API）、扩展性（自动化）、数据量（同步频率）、同步方式（定期拉数据或事件推送）。
• 通过DevLake一站式集成研发工具链数据，并存储到任意数据服务中，实现跨工具、跨时期、跨团队的数据消费。

数据质量提升实践

• 数据治理中人工度量偏差最大，可通过以下五种实践提升数据质量：
  • 检查机器人：自动化检查数据完整性并发送提醒，提高数据填报比率。
  • 优化系统易用性：根据业务场景优化信息需求和操作，减少人为遗忘。
  • 自动化：识别常见模式并自动化处理，提高效率和准确性。
  • 培训与奖惩：通过培训提升团队数据意识，并采用排名、警告、红包甚至绩效考核等方式激励。

总结

• 数据治理需结合业务需求和技术手段，通过分层分角色设计指标、建立数据规则、打通数据孤岛、优化数据集成方式，并采用自动化和奖惩机制提升数据质量。
• 核心在于明确目标、规范流程、迭代改进，最终实现数据驱动决策。