从阿里最佳实践到瓴羊数据治理

数据建设的三个阶段：从在线开发到数据综合治理

阶段一：在线开发

• 关注点：研发人员个人效率提升。
• 问题：烟囱式开发及局部业务服务支撑，导致同名指标不同口径、历史业务系统属性编码不一致等问题频发。

阶段二：数据平台构建与管理

• 关注点：数据质量和资产管理。
• 问题：烟囱式开发导致资源重复建设浪费、上线难下线更难、数据不标准，研发维护难上加难，大量无用计算和存储造成资源浪费；重复建设导致任务链冗长、计算资源紧张、数据时效性不好；口径梳理定义的文档与开发代码脱节，数据准确性保障风险高；开发周期长、效率低，面向应用的服务化不足，导致业务响应速度慢，业务不满且技术无沉淀；既懂业务又懂数据的人才不足，需求理解到开发实现涉及大量沟通。

阶段三：数据综合治理

• 关注点：数据质量和资产管理。
• 问题：业务体感不好（命名不规范、口径不统一、算法不一致等导致的数据不标准）、技术不爽且浪费（重复建设浪费技术资源、上线难下线更难、研发维护难上加难）。

阿里巴巴数据中台建设的关键举措

• “工具+规范”打造标准化采集：
  • 第一步：建立一套规范（如《埋点流程规范》、《埋点设计规范》、《埋点测试规范》）。
  • 第二步：用工具来管理，提升效率。

解决之道：实战沉淀阿里大数据能力产品化

• Dataphin智能数据建设与治理：
  • 面向：各行各业大数据建设、管理及应用诉求。
  • 提供：从数据接入到数据消费全链路的智能数据建设与资产治理的大数据能力，包括产品、技术和方法论等。
  • 目标：打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系，以驱动创新。

Dataphin的核心能力

• 工具化、自动化、智能化、价值化：
  • 数据规范定义：100%消除二义性。
  • 设计即开发：分钟级自动化代码生成（拖拽式数据模型设计+自动化代码开发=高效的数据研发生产力）。
  • 标签萃取：融入标签生产业务经验，降低标签生产门槛；快速构建企业数据资产，助力营销投放提效或风险控制保障。
  • 数据资产管理：360°全链路数据洞察与管理。
  • 主题式服务：80%简化查询与分析（面向业务的逻辑模型呈现数据，而非技术化的物理表）。
  • 即席查询、API配置调用、场景化服务。

某企业的数据建设及管理大图

• 集成：16个来源系统涉及（或部分涉及）的数据。
• 体系化建设：形成会员、商品、交易、营销等数据域资产，目前数据存量200TB+。
• 团队规模：信息部20余人。
• 服务对象：销售管理部、营销业务部等5个一级部门、近千人。
• 工具联动：Dataphin、QuickBI及QuickAudience。

Dataphin的常见服务方案

• 瓴羊智能服务激活每一份数据，创造全新的价值！