网易实时数据中台基础设施建设实践

网易实时数据中台（基础设施）建设实践陈亮亮 背景介绍实时架构的演进网易数据中台基础设施实现未来规划目录 背景介绍大数据特征：•Volume◦数据多◦体量大•Variety◦多样性•Velocity◦增长快◦处理快 背景介绍数据分类：•热数据•温数据•冷数据数据价值随时间增长而衰减 背景介绍行业趋势（实时数据领域，2021）：•Apache Kafka商业化公司Confluent纳斯达克上市•Apache Druid商业化公司Imply以7亿美元估值完成7000万美元的C轮融资•ClickHouse 团队成立商业公司，并完成2.5亿美元B轮融资•。。。等等实时不是即未来，而是已来！ 实时架构的演进主要缺点：•两条链路各自独立，随时间推移容易产生各种口径不一致，以及计算结果不统一•两条链路对应两份数据，计算和存储成本高•Lambda 涉及组件多，架构复杂，监控、运维成本高Lambda架构 实时架构的演进主要缺点：•合并成本高，全表合并代价大•调度周期长，实时性不足，通常只能实现小时级别合并离线数仓实时化 实时架构的演进主要缺点：•数据孤岛•没有存算分离，成本高•激进合并策略会影响线上稳定性和性能•没有历史快照初步具有流批一体能力的OLAP 引擎 实时架构的演进流批一体/湖仓一体架构 实时架构的演进 实时数据中台离线传输流批一体表AP系统APPspark / hive / flinkspark / flinkimpala / sparksql数据开发数据资产数据血缘数据质量数据分析有数数据模型任务运维周期+事件驱动数据服务实时传输 流批一体目标拆解存储流批一体开发流批一体应用流批一体统一schema统一存储引擎统一存储介质消除二义性使用一套代码覆盖实时和离线场景统一UDF统一开发规范数据模型数据资产数据质量数据血缘数据传输 网易自研湖仓一体基础设施-Arctic Arctic存储设计changebase存量数据/ 批数据basebasebasebasebasebasebasebasebasechangechangechangechangechangechangechangechangechange增量数据（L1，L0）changechangechangechangechangeWAL数据L2-Ln：按主键唯一L0：按时间append数据L1：文件内主键唯一，小文件合并MemTable Arctic文件索引设计动态哈希二叉树结构[1]：•根据主键hash 值划分•只需维护文件所属结点信息（文件属性）•根据负载，可动态进行分裂或合并优点•不需要第三方索引组件•兄弟结点间数据不相交，为高并发处理留下空间[1] https://people.eecs.berkeley.edu/~culler/papers/dds.pdf Arctic写入优化设计•通过Arctic Tree 结构，提高写入并发度•通过数据shuffle，保证单个Node 只有一个writer 写入，减轻文件碎片化•后台异步compaction，取得实时性和读写性能之间均衡 Arctic数据合并•Minor Compaction◦作用于Change Table◦insert/delete 文件合并•Major Compaction◦作用于整个表◦变更数据与base 数据的合并 Arctic读写类型•Copy On Write –写时复制◦主要针对高性能读场景◦实时性稍差•Merge On Read –读时合并◦主要针对实时性要求高场景◦写入性能好◦查询过程有额外消耗 流批统一Schema 实时开发 批查询 某物流公司落地实践运单费用收件收入运单费用收件营收揽件揽件率营收量妥投率数据报表运营决策车辆调度数据库ODSDWDDWSADSAPP◼用户需求：•公司运单业务由运单管理平台、支付平台、收件管理平台共同协同完成，每个平台有自己独立的数据库系统存储业务数据，需要打通这些数据，通过实时的指标数据辅助运营决策◼应用效果：•运营决策延迟从1天优化到5-20分钟•通过优化调度，运营效率提升15%•机器成本降低55% 未来规划流文件批文件批文件批文件流文件流批一体AP服务流批一体治理服务统一运维中心（sloth）数据传输数据地图数据模型数据开发数据质量Arctic 流批一体数据湖流批一体调度（工作流）系统实时报表营销策略实时库存特征决策实时大屏数据化运营安全风控应用层平台层基础设施实时采集数据资产统一元数据中心流文件流文件批文件批文件流文件流文件