阿里巴巴一站式实时数仓建设
一、实时数仓的演进
- 实时大数据的应用：包括春晚直播、双11 GMV实时大屏、城市大脑实时交通监测、银行实时风控监测、淘宝实时个性化推荐等。
- 建设之痛：复杂架构、数据同步困难、资源消耗大、数据孤岛、人才培养难、开发成本高等问题。
二、阿里一站式实时数仓Hologres简介
- Hologres的特点：支持阿里集团核心实时业务，如电商类的淘宝数字化大屏、阿里妈妈广告、CCO智能客服等。
- 性能表现：双11期间写入RPS峰值达到11亿+，服务（点查）QPS单业务峰值上亿+，OLAP分析QPS单业务峰值2000+，PB级数据存储。
- 功能特性：
- 支持OLAP分析与线上服务一体化。
- 行存和列存并存，支持读写分离。
- 实现数据的一体化管理和处理。
三、阿里CCO基于Hologres的一站式实时数仓建设过程与经验
- 业务规模：数万客服规模，日均声量数十亿，智能服务数千万。
- 架构演进：
- 实时架构1.0：重加工+轻查询，应用场景“End to End”，专属实时小组。
- 实时架构2.0：引入OLAP能力，加大公共层建设，全员参与实时开发。
- 实时架构3.0：统一计算&存储，流批一体能力，元数据管理，实时技术链路标准化。
- 主要挑战：
- 多源头数据采集加工成本高。
- 数据冗余多，公共层任务链路过长。
- 不同实例间数据同步导致作业膨胀。
- 解决方案：
- 统一存储和服务引擎（Hologres）。
- 构建实时链路及数据资产的梳理。
- 升级计划和方案细节的确定。
- 技术架构升级：
- 行存和列存一体化。
- 高性能写入和高可用方案。
- 流批一体，支持Flink的多流JOIN能力。
四、场景案例解析
- 服务资源管理：
- 客服维表通过外表挂载，轻粒度即时OLAP查询，避免过度预计算。
- 元表对数据地图外化，方便业务查找。
- FBI+Vshow+Hologres+副本机制，支持业务自助搭建实时监控。
- 用户声音洞察：
- 全渠道声音采集，实时写入Hologres，通过binlog订阅二次计算支持20+BU分渠道用户声音洞察。
- 实时离线模型统一，支持实时和离线特征混合查询。
- 智能服务：
- 大流量实时特征加工，提升算法准确度。
- 向量化检索，为智能服务提供知识检索能力。
通过上述建设，阿里巴巴实现了实时数仓的一站式解决方案，提升了业务响应速度和数据处理能力。
