“计算、感知、驱动” 金融实时数仓建设实践分享
“计算、感知、驱动”金融实时数仓建设实践分享演讲人：沈钰淋 TITLE标题构建实时数仓的背景痛点1实时数仓的建设架构2实时数仓业务能力的三个阶段3案例分享4 领先的数字化转型技术与服务提供商为什么要构建实时数仓？组建“国家金融监督管理总局”和“国家数据局”《金融机构风险管理框架》提出7个风险管理原则和一套风险管理框架 领先的数字化转型技术与服务提供商为什么要构建实时数仓？客户管理部风险管理部•无法第一时间获取发生的业务行为•不法行为变化多端层出不穷，风险识别模型验证迭代周期太长•风险行为难以立刻识别和制止，“难看到，抓不到”市场营销部•投放策略和人群圈选都做了，购买量没有起色•业务数据反馈滞后，投入成本但见效差；•客户留存效果不好，购买转化率提升遇到“瓶颈”；•客户信用评级等信息同步更新缓慢，潜在识别风险难以消除；•客户画像更新不及时，提供给内部的数据总有“时间差” 领先的数字化转型技术与服务提供商离线架构下的业务痛点业务变动“跟不上”业务行为难感知数据价值难发挥 目录构建实时数仓的背景痛点1实时数仓的建设架构2实时数仓业务能力的三个阶段3案例分享4 领先的数字化转型技术与服务提供商离线数仓和实时数仓建设的区别由业务需求驱动，垂直业务场景构建，单一实时场景会成为长期状态基于设计逻辑构建实时数仓，分层关系仅存在理解层面，实际任务处于“同时运行”状态构建实时数仓的任务逻辑，数据流经“管道”直接输出到最终业务端，不做过程数据的持久化存储在实时数仓建设的角色定位中，遵循“谁开发谁运维”的逻辑，极少出现开发运维分离负责的情况实时数仓由完整的底层数据构成，统一规划建设，逐层清洗搭建，业务需要再来用基于任务调度和依赖关系来构建数仓分层关系，多米诺骨牌式的依次触发缺少高效的任务管理运维的工具和方法，无法快速定位问题，自己搭建运维平台费时费力，效果不理想。离线任务统一开发，由个别运维角色进行统一的资源调度配置和运维管理，提交到生产运行。离线数仓数据驱动依赖构建过程数据持久化独立开发运维业务驱动逻辑构建“无”过程数据开发运维一体化 领先的数字化转型技术与服务提供商实时数仓分层数据源Source1Source2Source3...Job1Job2Job3...业务系统1.0版本•垂直业务场景，敏捷开发；•任务间相互独立，不存在分层理念；•粗放的管理模式，不同任务间可能存在数据的反复使用，对业务端带来潜在压力；数据源DWD1DWD2...Job1Job2Job3...业务系统/OLAP2.0版本•ODS、DWD层进行统一，主要针对数据源分发方式进行优化；•逐步体现分层概念，但缺少抓手；•顶层数据仍垂直服务业务系统或OLAP查询模式，使用层面有所丰富；数据源DWD湖仓一体3.0版本DWMDWS/ADS•完成分层建设，并与离线数仓逐步统一口径，实时离线不再割裂；•实时指标口径沉淀，数据质量得到维护提升；•湖仓一体打通存储，解决实时数据运维的痛点问题 领先的数字化转型技术与服务提供商实时数仓架构BinlogOGGLog柜台数据推送App埋点服务日志后台日志审计日志业务数据源实时ETL：过滤->清洗->补全->转换/压缩基金产品表Level2快照数据成交流水表委托交易表用户交易表......贴源层（Arctic）产品域大盘行情域交易域用户域......明细层基金估值数据大盘估值数据成交数据申报数据......汇总层实时反洗钱客户适当性MOT实时营销交易数据大屏实时数据服务实时推荐拉抬打压实时交易指标虚假申报实时应用场景产品域大盘行情域交易域用户域......明细层基金估值数据大盘估值数据成交数据申报数据......汇总层异常交易实时基金估值拉抬打压虚假交易......结果层实时数仓（流处理-秒级）准实时数仓（批处理-分钟级）API推送Kafka数仓数据湖数仓 领先的数字化转型技术与服务提供商实时数仓架构BinlogOGGLog柜台数据推送App埋点服务日志后台日志审计日志业务数据源实时ETL：过滤->清洗->补全->转换/压缩基金产品表Level2快照数据成交流水表委托交易表用户交易表......贴源层（Arctic）产品域大盘行情域交易域用户域......明细层基金估值数据大盘估值数据成交数据申报数据......汇总层实时反洗钱客户适当性MOT实时营销交易数据大屏实时数据服务实时推荐拉抬打压实时交易指标虚假申报实时应用场景产品域大盘行情域交易域用户域......明细层基金估值数据大盘估值数据成交数据申报数据......汇总层异常交易实时基金估值拉抬打压虚假交易......结果层实时数仓（流处理-秒级）准实时数仓（批处理-分钟级）API推送生产开发标准化元数据开发规范化业务场景清晰化数据建设层次化 领先的数字化转型技术与服务提供商实时开发过程中的常见问题语法都通过了，业务逻辑实现和兼容性心里没底......开发第一周语法规则业务实现上线测试都是脏数据Mock数据繁琐不真实 领先的数字化转型技术与服务提供商实时开发过程中的常见问题这个数据源不熟悉，照着文档配参数...开发上线前数据堆积和写入速度总达不到预期，还得反复调试 领先的数字化转型技术与服务提供商实时开发过程中的常见问题机房物理隔离，做一次上线就要“禁闭”一整天生产环境上线•大量任务脚本上线•每个任务有独立的前置工作，操作文档一份又一份，小心翼翼生怕敲错一个字符•任务上线完还需要持续监控，稳定运行几小时才能放心离开•任务出现问题拉人排查，越忙越错 领先的数字化转型技术与服务提供商实时开发过程中的常见问题业务说数据对不上，一看任务发现......上线第二周 领先的数字化转型技术与服务提供商实时开发过程中的常见问题原本一直跑挺好，突然任务异常失败了，要恢复拉起时发现......上线第N周 领先的数字化转型技术与服务提供商创建流表任务开发上传资源注册函数项目初始化/登记数据源管理员数据运维数据开发/运维任务运维自动启停报警通知数据开发数据运维语法检测/在线调试基于网易平台的实时数仓构建流程准备阶段开发阶段运维阶段 领先的数字化转型技术与服务提供商数据建设层次化：逻辑库表转换Flink处理逻辑平台转换逻辑物理数据库FlinkTable实时计算X物理数据库物理数据库流表计算X物理数据库构建逻辑库创建流表 领先的数字化转型技术与服务提供商元数据开发规范化：流表引入简化开发FlinkTableDDL图形化流表创建二元组方式引用开发Kafka流表开发RDBMS流表开发登记数据源三元组方式配合set参数引用开发`sloth_mysql_test`.poc.`goods_join_mysql_sink`Testdb.sink_table 领先的数字化转型技术与服务提供商开发生产标准化：上线前本地调试任务开发完成，语法自检从业务截取数据样本本地调试，验证代码逻辑上线服务器 领先的数字化转型技术与服务提供商开发生产标准化：生产环境导入导出自动化发布生产机房测试机房网络隔离导出发布包导入发布包•全流程审计日志监管•全自动导入导出发布•灵活发布策略支持物理介质 领先的数字化转型技术与服务提供商开发生产标准化：监控告警模板化配置项目管理员：统一配置基础告警模版开发人员：实时任务个性化配置 领先的数字化转型技术与服务提供商常用实时数仓组件对比组件HBASEDorisElasticSearchHiveKudu适用数据量PB级TB级GB级PB级TB级延迟时长毫秒级秒级秒级分钟级毫秒级部署规模大规模集群中等规模集群中规模集群大规模集群中等规模集群适用的大数据场景高并发的实时读写，大数据量的列存储实时查询和分析，OLAP、替代MySQL全文搜索、日志分析、时间序列数据分析离线批处理、数据仓库、ETL、数据分析实时读写和分析、实时指标、BI大屏、OLAP分析 TITLE标题构建实时数仓的背景痛点1实时数仓的建设架构2实时数仓业务能力的三个阶段3案例分享4 领先的数字化转型技术与服务提供商实时数仓能力建设数据计算用实时开发替代离线开发进行指标、数据的出产，缩短数据产出周期。数据感知趋向独立于复杂化，通过实时数据加强业务方对于用户行为等感知能力数据驱动结合离线、算法提升数据的综合能力，驱动更复杂、更智能的业务目标实时估值计算实时消息分发实时反洗钱实时行为审计用户身份识别实时产品营销 领先的数字化转型技术与服务提供商数据计算：实时资讯推送行情域外部系统订单域资讯域官方公告柜台系统交易所金融供应商小程序实时计算资讯分析模型资讯定级资讯分类资讯平台用户语音外呼短信发送App推送......智能投顾用户交易经理App推送系统推送实时采集业务场景直接业务支撑内部FlinkCDC实时采集筛选、清洗聚合、统计渠道方式订阅资讯相关推荐行业热点其他内容增值服务媒体监控舆情分析政策解读 领先的数字化转型技术与服务提供商数据感知：实时行为合规审计交易柜台业务来源小程序上交/深交所数据平台第三方数据公司用户/行为审计规则匹配基于用户审计基于行为审计强规则内部交易大宗交易禁止交易弱规则高风险交易资金调拨日常交易用户身份验证资金来源审查风险承受评估交易规则限制交易买卖用户行为融资融券申购打新合并转让上报评估监管机构禁止交易名单重点监控名单股票质押风险名单风险提示名单黑/灰名单用户信息资产审核内部审计清单内部系统实时结果集实时数仓数据消息中间件CEP规则计算数据读取模型比对维表引用业务场景灰名单提前预警风险评估结果异常交易冻结...... 领先的数字化转型技术与服务提供商数据感知：实时反洗钱27 领先的数字化转型技术与服务提供商数据驱动：实时产品营销用户触点用户行为行为分析匹配手机App网上银行小程序点击搜索分期收藏理财营销推荐规则（算法）关键词规则产品收藏规则消费分期规则理财推荐规则账单分期规则优惠推送规则临时提额规则其他规则触发匹配计算结果推荐系统触达语音系统短信系统App其他系统推荐系统结果输出用户语音外呼短信发送App推送......通过离线+算法计算的推荐规则，实时数据可快速匹配计算结果，缩短营销手段触达用户的周期。注：算法数据使用离线T+1数据作为样本进行训练，训练结果以API等方式提供给实时进行调用28 TITLE标题构建实时数仓的背景痛点1实时数仓的建设架构2实时数仓业务能力的三个阶段3案例分享4 领先的数字化转型技术与服务提供商某券商：实时构建提效安全的高品质客户服务财富管理实时资讯推送通过采集第三方资讯平台的数据进行实时资讯分类，处理并通过涨乐通APP推送给用户。机构服务投资管理精准客户运营运用实时大数据技术，精准描绘客户立体画像，助力投顾360度了解客户，深度洞察客户诉求及投资偏好，有的放矢地开展工作。极速行情供支持多市场、多交易品种的L1和L2行情数据服务，提供实时行情推送、历史行情回测、衍生指标定制等丰富的行情数据服务。投资策略实时分析ü中高频阿尔法策略ü日内高频策略ü套利策略ü宏观对冲策略实时风险预警ü证券公司资产风险预警ü私募股权基金风险预警ü基金公司资产风险预警ü期货公司资产风险预警数据产出数据驱动数据产出数据驱动数据感知 领先的数字化转型技术与服务提供商某券商：实时构建提效安全的高品质客户服务Log日志数据源API接口数据库IOT设备线下柜台数据存储KuduHBaseArctic实时计算EasyStream资源调度YARN|Kubernetes实时采集一键入湖|全量初始化|日志采集|间隔轮询实时开发模版开发|流表开发|算子拓扑|采样调试实时运维全链路血缘|自动启停|智能调参|弹性扩容Kafka消息队列集群RocketMQ数据接入实时明细数据应用实时预警实时监控实时统计实时分析实时计算数据落地Impala数据接口EasyDSOLAP汇总型HBase点查询数据封装数据提供 谢谢观看ڠ∕γ㼐ᰡ็
