字节DevMind 平台架构设计和技术应用-姜磊

字节跳动DevMind平台架构设计和技术应用

背景介绍

• 建设背景：互联网普及率见顶及疫情影响下，市场竞争加剧，企业关注研发效能提升，需构建研发数字化产品与解决方案。
• 业务思考：挑战包括研发效能度量环节多、领域知识门槛高、技术架构依赖离线ADS表、数据分析与可视化表达复杂、数据治理成本高等。
• 软件研发效能发展历程：从Agile、DevOps到SDLM、ADLM概念的发展，强调应用研发全域度量。
• 产品建设思路：采用数据中台模式构建在线ADLM全域数仓，通过指标中台完成数据资产沉淀，增强可视化分析能力。

技术设计

• 技术挑战：超越传统OLAP的数字可视化表达能力，满足公民数据科学家时代需求，应对ADLM全域数仓治理成本和指标口径消歧。
• 平台整体架构：包括数据源、ETL、数据建模、指标定义、数据消费等模块，采用即席查询引擎、计算层、应用层等设计。
• 关键技术：异构存储设计、UDF框架、SQL-Manager、代数计算模型、可插拔的查询引擎等。

业务应用

• DAG型业务模型：通过笛卡尔积将半结构化DAG模型在行式存储中结构化表达，降低理解成本。
• 树形数据模型：设计树形结构计算算法，兼顾空间和时效关系，支持人均类指标分析。
• Cube类数据模型：通过多维度聚合分析业务数据，优化剪枝，使用户无需感知底层模型复杂性。
• 业务分析框架：设计用户可感知评分，包含众多端监控指标，通过技术手段应对链路长、数据量大、公式复杂等挑战。

总结展望

• 技术点概览：三纵三横架构，包括CollabChain、SDLM、OnlineDataStream、数据ETL、DAG标准化业务映射、Cube生产在线指标中台等。
• 技术演进：依托ADLM研发效能业务域和数据中台模式，发展各纵向垂直技术能力，如增强分析、NLQ、隐私图、因果推断、公民NLG等。
• 核心观点：DevMind平台始于度量终于成效，通过数据驱动研发效能提升。