张海瑞 -基于 Flink 的实时计算平台在新能源充电行业实践

特来电实时计算平台基于Flink的实践总结

01 特来电及行业简介

• 充电桩作为新基建的重要组成部分，关系国计民生，是2020年《政府工作报告》重点提及的领域。
• 截至2021年10月，行业发展迅速，特来电已构建云平台及实时计算平台。

02 特来电实时计算平台简介

• 平台现状：支持10+业务类型，集群节点数100+，任务总数200+，峰值QPS达2000w。
• 技术演进：2017年探索Spark、Flink等引擎，2018年基于Flink建设试点，2019年平台功能完善并大规模应用，2021年运行任务超200+，场景涵盖实时风控、充电安全防护、智能运维、实时数仓等。
• 初期问题：
  1. 开发门槛高（.NET技术栈为主）
  2. 任务管理难（版本多、难以维护）
  3. 缺乏监控预警体系
  4. UDF杂乱无章
• 平台架构：采用拖拉拽开发、插件式UDF、多版本任务管理、自动化预警、日志管理、集群管理中心等功能。
• 核心功能：一站式实时计算平台，提供数据集成、数据开发、作业保障、资源管理等功能。

03 Flink在特来电的应用场景

• 场景一：实时数仓
  • 订单宽表：处理8+订单类型，日均订单事件1000W+，维表4000w+，数据总量4000w+。
  • 处理流程：v1.0基于关系型数据库（时效性低、计算压力大、信息不完整）；v2.0基于Flink（<1s延迟、3000w+QPS峰值），通过热存储关联和双流JOIN实现。
• 场景二：充电安全
  • 安全模型：覆盖车辆安全档案、安全检测维度，减少烧车事故，日均处理超8T报文。
  • 防护流程：充电前提醒、中监控阻断、后量化打分，防护过程1s内完成。
  • 优化：FlinkSql+UDF实时获取配置中心变更，解决开发效率低、配置修改频繁的问题。

04 Flink在特来电的未来展望

• 未来方向：智能化运维、流批一体、Flink on k8s。