网易云音乐数据研发模式DataOps落地实践_宋东辉

网易云音乐/宋东辉 网易云音乐/宋东辉 资深测试开发工程师 浙江大学硕士毕业之后，加入支付宝，参与蚂蚁端稳定性Sapienz 项目建设，数字内容治理黑鸟项目核心成员，双12大促主要质量负责人之一。2021年加入网易云音乐，云音乐大数据质量建设和数据治理 负责人，发起并牵头多方共建 DataOps 项目，提升了数据研发效率和质量水位。 1、背景简介 2、方案介绍 目 录 Contents 3、落地效果 4、未来展望 1、背景简介 大数据的重要性 大数据的痛点 业务感知 研发感知 痛点 •回刷数据计算成本单次万元级别•研发自测效率低，准出标准不清晰•线上问题感知滞后 •数据线上问题平均10+个/月•线上问题平均解决时长高达44h•需求延期交付比高达50% 2、方案介绍 2.1、数据研发标准 2.2、平台化 平台化DataOps 卡点自动化 卡点自动化-代码扫描 卡点自动化-数据测试用例 卡点自动化-数据监控治理 变更风险巡检 研发效能大盘 3、落地效果 落地效果 研发效率 数据监控 研发质量 业务意识 •需求平均研发周期从39d->33d•需求交付逾期率降低到30% •数据线上问题降低37%•研发规范原因引起的线上问题量降低50%•线上问题平均解决时长从44h->9h •业务质量意识提升•研发规范意识提升•服务态度改善 •新增监控规则600+•整体监控月度误报量下降30%•拦截有效数据异常32例•线上问题召回率约70% 4、未来展望 未来展望 致谢