登录
注册
回到首页
AI
搜索
发现报告
发现数据
发现专题
研选报告
定制报告
VIP
权益
发现大使
发现一下
行业研究
公司研究
宏观策略
财报
招股书
会议纪要
稀土
低空经济
DeepSeek
AIGC
智能驾驶
大模型
当前位置:首页
/
行业研究
/
报告详情
3.金融大数据存储实践-沈百军
金融
2023-06-06
ArchSummit上海2023|全球架构师峰会
匡***
AI智能总结
查看更多
大数据存储实践总结
大数据发展趋势
数据重要性
:数据的重要性日益凸显,应用服务爆发式增长。
大数据特点
:大数据具有海量、快速流转、多样类型和潜在高价值的特点。
应用服务对比
:大数据与应用服务在数据量、处理对象、系统工具和处理方式上存在显著差异。
存储需求
:金融领域对高并发、高可用、高性能存储需求强烈。
存储设计和选型
存储设计原理
:基于CAP定理(一致性、可用性、分隔容忍)和ACID/BASE模型,需在三者间进行权衡。
存储选型
:
NoSQL存储
:Redis、Aerospike、Cassandra、HBase、MongoDB、Elasticsearch等。
大数据存储
:Ceph、Swift、Presto(HDFS)、Kylin、ClickHouse、Hive/Spark等。
图数据库
:JanusGraph、Ultipa/Galaxybase/Atlasbase、Neo4j、Milvus向量引擎等。
持久性内存
:傲腾持久性内存(PMem)和无限带宽技术(InfiniBand)。
存储服务的硬件和软件架构
硬件架构
:单点PC架构、PC存储架构、分布式内存架构(傲腾持久内存PMem、SSD/HDD、Infiniband)。
软件架构
:包括Hash/B+树/倒排索引/BloomFilter/向量化引擎等索引方式,以及列式/行式/行列混合存储方式。
实用案例
案例一:决策引擎
功能
:通过实时数据接入和业务规则定义,实现原子事件和用户筛选,支持客户事件中心输出。
技术架构
:KDC/Kerberos、YARN、ZooKeeper、Z+Nagios、Grafana/Prometheus等监控管理平台。
案例二:交易明细
功能
:整合借贷数据,提供客户视角的资金变动分析,支持多维度分类和精准引流。
技术架构
:Lambda架构,包括离线数据(Hive/Spark)和实时数据(Lambda),支持高并发查询和规则计算。
案例三:标签系统
功能
:整合行内外用户数据,构建客户标签体系,支持多主题标签和实时标签。
技术架构
:基于ES提供大容量存储和高效查询,支持DB、消息数据、外部接口数据接入。
案例四:指标平台
功能
:指标管理与指标消费统一平台,支持自动跑批、亚秒级查询和复杂指标计算。
技术架构
:Cube构建指标应用,支持多维度数据融合和指标看板智能预警。
案例五:知识图谱
功能
:多维度数据融合构建网络图谱,支持交易反欺诈、申请反欺诈、汽融贷款反欺诈等场景。
技术架构
:基于Neo4j实现图查询和分析服务,支持实体和关系因子计算及风险标签统计。
研究结论
金融大数据存储需兼顾高并发、高可用、高性能,结合多种存储技术和架构设计。
通过案例实践,可构建高效、可扩展的大数据存储系统,支持业务智能化发展。
未来需进一步优化图算法和实时计算能力,提升数据价值挖掘效率。
你可能感兴趣
2-2 小米大数据存储服务的数据治理实践 - 李经纶
信息技术
DataFunSummit2022:数据治理在线峰会
2022-09-15
2-2 基于云上对象存储的网易大数据平台应用实践
信息技术
DataFunSummit2022:大数据存储架构峰会
2022-07-19
5-3 京东大数据存储跨域及分层实践
信息技术
DataFunSummit2022:大数据存储架构峰会
2022-07-19
2-3 大数据存储加速与服务化在Shopee的实践
信息技术
DataFunSummit2022:大数据存储架构峰会
2022-07-19
云原生存储 CubeFS 在大数据和机器学习的探索和实践-唐之享
信息技术
ArchSummit上海2023|全球架构师峰会
2023-06-06