WeData数据治理介绍及内部实践释放数据潜能驱动业务增长
数据治理挑战
数据治理面临的主要挑战包括:
- 业务挑战:数据信息分散、数据质量差、维护困难、元数据不全、无法审计和度量。
- 管理挑战:数据访问的可靠性和安全性难以保障,数据成本高昂。
- 技术挑战:数据多样化但缺少统一标准,数据问题发现滞后,业务系统不清晰,数据资产不明晰。
数据治理的需求层次随数字化阶段变化,关注的核心需求包括成本、安全、可用、质量和时效。
腾讯内部数据治理实践
腾讯内部数据治理分为三个阶段:
- 数据资产化:通过全面数据汇聚,建立统一的数据资产,辅助业务决策。
- 业务治理:通过成本洞察和成分分析,责任到人,推动降本增效。
- 平台化:沉淀治理方法论,通过工具化实现治理流程,提升治理效率。
腾讯内部实践案例
- 腾讯新闻数据资产化:通过数据模型重构,提升数据准确性、覆盖度和实时性,打造科学的数据应用体系。成果包括数据资产完整性和分层规范达到95%、复用度达到73%以上。
- PCG数据成本治理:在月成本同比增加30%+的情况下,业务大数据成本绝对值下降至少10%,通过优化思路降低业务不合理使用和提升数据平台效能。
- 治理平台化:构建一站式数据治理平台,实现全域数仓及大数据成本盘点、治理方案洞察、治理执行和资产价值评分体系构建。
WeData数据治理平台能力
WeData是腾讯内部大数据能力的对外商业化输出,提供敏捷数据生产场景化解决方案,包括:
- 基础数据支撑服务:数据引擎、数据汇聚、数据仓库、数据湖、数据中台等。
- 数据管理:数据建模、数据集成、数据开发、数据服务、统一元数据、统一安全、统一调度。
- 数据治理工具:数据质量工具、数据安全工具、元数据资产管理工具。
- 治理实践落地:企业级治理标准、一站式资产治理工具、企业级测评体系。
WeData数据治理服务
- 数据汇聚:离线/实时同步,批量迁移。
- 数据敏捷开发与运维:ETL加工处理。
- 数据质量:规则模版、质量概览、事前质量监控、事中生产阻断、事后质量分析。
- 数据安全:权限策略、数据脱敏、事前访问控制、事中脱敏加密、事后访问审计。
- 元数据资产管理:元数据采集、血缘影响分析、元数据应用、元数据运营维护。
- 数据服务:API生产。
- 数据发现:数据管理、数据地图。
WeData数据治理工具
- 规范工具:规范质量安全可用资产治理。
- 质量工具:规则模版、数据质量监控、质量问题跟踪处理、ETL流程监控、质量报告。
- 安全工具:脱敏策略、隐私保护能力、风险识别、安全审计。
- 元数据资产管理工具:元数据管理流程、元数据采集、血缘影响分析、元数据应用、元数据运营维护。
WeData治理实践落地
- 企业级治理标准:一站式资产治理工具、企业级测评体系。
- 规范体系:元数据规范、数据质量规范、数据安全规范、数据共享规范、数据应用规范。
- 测评体系:元数据成熟度、数据质量成熟度、数据安全成熟度、资产管理成熟度、数据应用成熟度。
- 治理流程:资产生产、数据开发、数据发布、数据运维、资产评估、数据定级、资产分、资产认证、成本账单、资产运营、数据地图、血缘分析、资产市场、责任归属、全域元数据调度。