7-3 快手智能数据管理2.0

快手智能元数据管理研报总结

背景介绍

• 元数据管理定义：元数据是描述数据的数据，元数据管理是对元数据的创建、存储、整合、控制、管理的一整套流程。
• 快手元数据管理发展历程：经历了初创阶段（0-1）、1.0阶段（初步平台化）和2.0阶段（统一平台，完备能力）。
• 元数据管理1.0阶段问题：数据源接入方式烟囱式、数据质量问题频发、服务稳定性差、研发效率低。
• 元数据管理2.0建设思路：通过“统一化”和“主动化”提升研发效率和服务质量，实现数据价值挖掘。

系统架构和关键技术

• 系统架构：包括数据收集、数据同步、数据加工、数据存储、数据服务、数据应用等环节，采用统一接入、场景化存储、数据质量稽查等方案。
• 业务架构：涵盖基础元数据、资产元数据、衍生元数据、安全元数据等，提供统一查询服务。
• 关键技术：
  • 统一接入：定义规范流程，减少定制化开发，提升接入效率。
  • 统一存储：采用图存储方案，支持异构数据类型，提升存储和查询性能。
  • 质量保障：通过分级修复和SQL解析，提升实体一致性和血缘准确度。
  • 血缘分析：支持简单同步查询和多维异步分析，优化BFS算法提升性能。
  • 数据自动分级：基于基准元数据集合自动推导元数据等级，保障P0资产一致性。

元数据驱动应用

• 数据治理：通过规范流程、组织保障、工具产品和牵引指标，实现数据成本、数据及时性、数据安全等方面的治理。
• 资产应用：
  • 找数：基于ES构建搜索排序能力，支持多类资产类型搜索，优化搜索反馈和业务目录。
  • 管数：覆盖数据全生命周期，多维度分析资产占用，挖掘新负责人，评估资产ROI。
• 数据治理方法论：通过规范流程、组织协作、工具化沉淀和牵引指标，实现数据成本、数据安全、数据质量、数据规范、数据模型、资产价值等方面的治理。
• 成本治理：通过资源管控、账单分析、自动治理和人工治理，实现数据成本优化。
• 数据及时性：通过基线分级保障、任务优先级推导、监控报警等方案，保障核心数据产出及时性。

成果和展望

• 建设成果：开放生态KwaiMetadataService，覆盖大数据全链路，亿级实体关系，99.99%+实体一致性，99%血缘准确度，数据地图、资产管理、数据治理平台应用广泛。
• 未来展望：
  • 进入3.0阶段：从统一元数据管理向主动元数据管理发展，实现低代码、自动化、智能化。
  • 开启智能数据管理时代：通过元数据云、数据安全保护伞、智能数据质检、智能数据调度优化等，实现元数据驱动业务，激发创新价值。