7-2 腾讯数据治理技术实践

01数据治理简介

什么是数据治理：根据 DAMA 数据管理知识体系指南，数据治理是对数据资产管理行使权力和控制的活动集合，包括规划、监控和执行，指导其他数据管理职能的执行。
数据治理的目的：提升数据可用性、数据质量、数据安全。
数据治理的困难：数据多样化且缺少统一标准、异构数据源并存、计算逻辑不一致、数据链路复杂、生命周期管理难度高、数据分散未形成完整管理体系、数据安全与合规问题突出、数据价值评估困难。
数据治理的方法：通过技术手段统一采集存储元数据，规范化处理数据资产，优化数据使用流程，提升增量数据质量（“知治管”方法论）。
数据治理的过程：现状盘点、数仓建设、质量检测、持续改进，具体步骤包括成立治理组织、梳理内容链条、确定治理目标、评审关键指标、数据上报治理、重构数据模型、数据测试验收、提炼数据质量规则、定制评价标准、质量检测和告警配置、输出质量报告、建立数据地图、分析血缘关系、持续监测数据质量、优化数据使用流程。

02腾讯数据治理体系简介

组织管理体系：建立企业级数据治理标准与测评体系，提供一站式数据治理工具平台，营造活跃的数据治理社区生态，组建公司级协同组织，统筹开源协同工作。
业务框架：涵盖全域元数据服务、数据资产管理、数据治理标准、数据治理测评等模块，涉及元数据采集、存储、仓库、数据血缘、生命周期管理、分类分级、安全管理要求、资产创建、数仓建模、数据开发、发布、运维等环节。
元数据管理：通过技术手段引导元数据采集和存储，实现数据治理。
数据资产管理：通过生命周期管理、价值分析、归属确定、影响分析、智能化推荐等方式优化数据资产。
数据安全治理：包括数据分类分级、使用管控、安全审计、资产梳理，通过权限隔离、加密脱敏、安全事件告警等措施保障数据安全。
测评体系：
- 元数据管理成熟度：五级评测标准定义。
- 安全管理能力成熟度：五级模型（初始级至卓越级），覆盖数据全生命周期12个管理能力域（如数据分类分级、访问控制、资产保护等86个控制项），从简单制度流程到智能化改进体系逐步提升。