3.金融大数据存储实践-沈百军

大数据存储实践总结

大数据发展趋势

• 数据重要性：数据的重要性日益凸显，应用服务爆发式增长。
• 大数据特点：大数据具有海量、快速流转、多样类型和潜在高价值的特点。
• 应用服务对比：大数据与应用服务在数据量、处理对象、系统工具和处理方式上存在显著差异。
• 存储需求：金融领域对高并发、高可用、高性能存储需求强烈。

存储设计和选型

• 存储设计原理：基于CAP定理（一致性、可用性、分隔容忍）和ACID/BASE模型，需在三者间进行权衡。
• 存储选型：
  • NoSQL存储：Redis、Aerospike、Cassandra、HBase、MongoDB、Elasticsearch等。
  • 大数据存储：Ceph、Swift、Presto（HDFS）、Kylin、ClickHouse、Hive/Spark等。
  • 图数据库：JanusGraph、Ultipa/Galaxybase/Atlasbase、Neo4j、Milvus向量引擎等。
  • 持久性内存：傲腾持久性内存（PMem）和无限带宽技术（InfiniBand）。

存储服务的硬件和软件架构

• 硬件架构：单点PC架构、PC存储架构、分布式内存架构（傲腾持久内存PMem、SSD/HDD、Infiniband）。
• 软件架构：包括Hash/B+树/倒排索引/BloomFilter/向量化引擎等索引方式，以及列式/行式/行列混合存储方式。

实用案例

案例一：决策引擎

• 功能：通过实时数据接入和业务规则定义，实现原子事件和用户筛选，支持客户事件中心输出。
• 技术架构：KDC/Kerberos、YARN、ZooKeeper、Z+Nagios、Grafana/Prometheus等监控管理平台。

案例二：交易明细

• 功能：整合借贷数据，提供客户视角的资金变动分析，支持多维度分类和精准引流。
• 技术架构：Lambda架构，包括离线数据（Hive/Spark）和实时数据（Lambda），支持高并发查询和规则计算。

案例三：标签系统

• 功能：整合行内外用户数据，构建客户标签体系，支持多主题标签和实时标签。
• 技术架构：基于ES提供大容量存储和高效查询，支持DB、消息数据、外部接口数据接入。

案例四：指标平台

• 功能：指标管理与指标消费统一平台，支持自动跑批、亚秒级查询和复杂指标计算。
• 技术架构：Cube构建指标应用，支持多维度数据融合和指标看板智能预警。

案例五：知识图谱

• 功能：多维度数据融合构建网络图谱，支持交易反欺诈、申请反欺诈、汽融贷款反欺诈等场景。
• 技术架构：基于Neo4j实现图查询和分析服务，支持实体和关系因子计算及风险标签统计。

研究结论

• 金融大数据存储需兼顾高并发、高可用、高性能，结合多种存储技术和架构设计。
• 通过案例实践，可构建高效、可扩展的大数据存储系统，支持业务智能化发展。
• 未来需进一步优化图算法和实时计算能力，提升数据价值挖掘效率。