张海瑞 -基于 Flink 的实时计算平台在新能源充电行业实践

特来电及行业简介

• 充电行业：充电是关系国计民生的新基建，国家鼓励发展新一代信息网络、建设充电桩、推广新能源汽车。
• 行业发展情况：截至2021年10月，特来电云平台已有10+业务类型，100+集群节点数，200+任务总数，2000万+QPS峰值。

特来电实时计算平台简介

• 平台现状：包含10+业务类型，100+集群节点数，200+任务总数，2000万+QPS峰值。
• 技术演进：2017年第二季度探索Spark、Flink等实时计算引擎；2018年第二季度确认选型并基于Flink建设实时计算平台；2019年第三季度平台功能趋于完善；2021年第一季度平台运行任务200+，涵盖实时风控、充电安全防护、智能运维、实时数仓等应用场景。
• 平台建设初期问题：开发门槛高、任务管理难、缺乏监控预警体系、UDF杂乱无章。
• 平台架构：提供一站式实时计算平台，包括数据集成、数据开发、作业保障、资源管理等功能，支持拖拉拽任务开发、多版本任务管理、监控与报警、UDF管理等。

Flink在特来电的应用场景

实时数仓

• 订单宽表：处理8+订单业务类型，日均订单事件数1000万+，40+维表个数，4000万+维表数据总量。
• 处理流程v1.0：基于关系型数据库，但存在时效性低、计算压力大、信息不完整等问题。
• 处理流程v2.0：基于Flink的实时架构，处理流程通过FlinkSql完成，实现<1秒延迟，QPS峰值达到200万+。

充电安全

• 充电安全防护：日均并行处理8T报文数据，防护过程在1秒内完成，减少烧车事故600万+，75%的安全模型检测覆盖。
• 防护实现：通过FlinkSql+UDF实时获取配置中心，通过广播流变更配置，解决开发效率低和配置修改频繁的问题。

Flink在特来电的未来展望

• 智能化运维：未来将实现智能化运维、流批一体、Flink on k8s。

以上为研报主要内容和关键数据的总结。