京东科技-孟祥涛-实时风险洞察的架构演进与思考(1)

孟祥涛-京东科技-架构师 DataFunSummit#2023 目录CONTENT 03核心组件剖析 01实时风险洞察面临的挑战 02实时风险洞察的架构演进 04未来的思考与展望 实时风险洞察面临的挑战 DataFunSummit#2023 风险管理的数智化转型 政策推进数据大爆发大营销快车占领市场先机管控风险高效运营 数智化：数字化+智能化 风险识别、风险分析、风险监控、风险处置 海量数据 数据孤岛 交易、营销、订单、注册登录、实名、设备指纹 挖掘数据价值，辅助业务决策 海量数据对分析效率提出挑战 实时风险洞察面临的挑战 [4]如何构建通用的风险洞察架 构，通用性高、高性能、高扩展 •组件化：拆分多少组件•通用性扩展性：哪些关键地方需要扩展、如何扩展•性能与稳定性：查询性能、渲染性能 [1]数据接入定制化多，如何通 用化解决 •数据来源多样性•数据标准化口径•数据结构复杂•数据复用度低 [3]智能算法赋能预警分析？ •实时对抗性：黑产攻击手法呈现出高对抗性和变异性•专家经验局限性：风险场景多、枚举成本高。专家阈值太低容易造成告警风暴，阈值太高容易漏警•分析效率低：预警触发需要手动研判风险•预警治理&优化：预警散落各地，缺少系统化治理、全局视角 [2]海量数据场景下的实时性与 性能保证 •实时预警，稳定性、准确性•实时分析，多维即席分析，所见即所得•大促百万级tps•资源成本的考量 平台愿景 实时风险洞察平台 风险实时监控预警与智能分析产品。提供快速的数据接入，助力业务构建全面的业务风险监控预警体系；提供异常检测算法自动感知业务指标波动异常，并通过归因算法快速定位分析异常波动原因。 实时风险洞察的架构演进 DataFunSummit#2023 产品技术解决方案架构设计方法论 l代码的可扩展性、设计模式l架构的可扩展性l可不断地在实际应用过程中迭代 l复杂逻辑拆分为多个单一执行单元l控制单元边界，控制好最小执行单元粒度l不做过度设计 l匹配业务发展所处的当前阶段l充分结合业务实际的应用场景l考虑业务近1到2年的发展规模 产品技术解决方案实现路径拆解 架构演进1.0——简单灵活有余、扩展性不足 整体架构：简单灵活有余、扩展性不足数据处理：数据接入、数据加工；硬编码计算架构：计算性能、复杂计算存储架构：单一ES存储 架构演进2.0——平台化、组件化、插件化 平台化：水平分层架构核心组件插件化低代码数据架构：配置化接入、插件化、函数化计算架构：内存计算、存算分离存储架构：插件化扩展 数据架构： 基于明细查询分析，效率低，复用低百万级TPS入库、计算性能规模越来越大，治理越来越难 预警架构：风险场景多、枚举成本高。严重依赖专家经验，优化调整成本高 架构升级面临的挑战架构演进3.0——实时数仓、智能算法 数据架构 l链路拆分：解析、计算、存储l分而治之：动态资源；垂直拆分l化繁为简：Flink预计算 实时数仓 l风险实时公共数据模型标准与架构l数据治理、元数据、血缘l6大ck集群；秒级写入吞吐2500W 算法服务： l时序异常检测l归因分析l图关系 智能预警： l业务解耦l告别告警洪流 产品技术解决方案产品核心功能——建设坚实数据资产根基 数据抽取、数据转换、数据加载、数据整合——标准数据表 •多种数据源可视化配置接入•消息队列可视化进行字段解析，数据分发落表灵活操作，业务可用，随用随建轻松实现•数据建模，可视化拖拽配置及高级SQL编辑器，业务人员、分析师皆可使用 产品核心功能——多场景应用 03核心组件剖析 DataFunSummit#2023 核心组件——事件总线 产品定位 •统一风险数据标准化处理流程•抽象数据接入、过滤、富化、转换、分发、输出等过程•提供可扩展架构 丰富平台数据处理能力，提升实时计算、实时数仓、数据湖等平台的数据开发效率 事件总线——架构图 插件化算子抽象脚本语言函数扩展点 事件总线——自定义函数 复杂结构解析逻辑类似，抽象共性，一次编译多处复用 Aviator表达式框架 函数解析器函数编译器函数注册器函数执行器 关键技术——插件化 组件定义、解析、注册、渲染 JDBC连接器、Cache连接器、工厂模式、模版设计 解析器、适配器、UDF、RedisSQL、nGQL CK、ES、Hbase、MQ 连接器扩展、算子扩展、函数扩展点 关键技术——异常检测服务 可扩展算法网关 定义标准、多模型对接扩展，无缝集成 自动进化 模型自动迭代 自适应能力 时序数据的自动化处理和自适应微调 高性能 支持上万枚举值、毫秒级响应 04未来的思考与展望 DataFunSummit#2023 未来的思考与展望 Ø场景化：场景化分析能力持续建设 Ø智能化：从单指标异常检测到异常团伙检测探索；分析模式从个体分析到群体分析 Ø湖仓一体：将数据仓库与数据湖的优势充分结合，其数据存储在数据湖低成本的存储架构之上，拥有数据湖数据格式的灵活性，又继承了数据仓库数据的治理能力。 感谢观看