海量数据处理技术金融应用研究报告

北京金融科技产业联盟2024年1月 版权声明 本报告版权属于北京金融科技产业联盟，并受法律保护。转载、编摘或利用其他方式使用本报告文字或观点的，应注明来源。违反上述声明者，将被追究相关法律责任。 编制委员会 编委会成员： 何军聂丽琴胡利明周刚慧 编写组成员： 艾轶博鲍玲曹骏陈明戴大海郭龙飞火雪挺江灏姜江靳悦荣李晨宇罗俊杨文龙刘亚龙潘熙文佘万君唐天辰王锋王良杰王能许耀栋徐晓敏杨景瑞袁一张昆张敬之张毅周飞周允 编审： 黄本涛郭栋刘宝龙 牵头单位： 深圳市腾讯计算机系统有限公司兴业银行股份有限公司 参编单位： 中国工商银行股份有限公司中国银行股份有限公司浙商银行股份有限公司飞腾信息技术有限公司深圳市连用科技有限公司北京科技大学 目录 一、发展概况............................................................................................................................................................2 （一）法律法规和政策环境.......................................................................................................................................2（二）技术发展阶段及特征.......................................................................................................................................5（三）技术框架与形态................................................................................................................................................9 二、应用情况.........................................................................................................................................................15 （一）平台建设应用情况........................................................................................................................................15（二）技术应用情况..................................................................................................................................................20 三、主要挑战.........................................................................................................................................................28 （一）数据存储的挑战.............................................................................................................................................28（二）数据计算的挑战.............................................................................................................................................29（三）云化计算的挑战.............................................................................................................................................31（四）融合计算的挑战.............................................................................................................................................32（五）研发运营一体化的挑战...............................................................................................................................33 四、关键技术与建设思路....................................................................................................................................36 （一）云数一体化......................................................................................................................................................36（二）存算分离化......................................................................................................................................................44（三）数据湖仓化......................................................................................................................................................50（四）计算融合化......................................................................................................................................................59（五）研发运营一体化.............................................................................................................................................68 五、发展趋势和展望.............................................................................................................................................78 （一）生成式人工智能驱动数据技术方面........................................................................................................79（二）实时数据湖仓方面........................................................................................................................................81（三）数据网格方面..................................................................................................................................................90（四）数据编织方面..................................................................................................................................................93 摘要： 海量数据处理是金融业大数据技术领域的关键难点，对金融业海量数据进行高效的存储、计算、分析和运营，将有效帮助金融机构深度挖掘数据的潜在业务价值，实现降本增效。现阶段，金融业在海量数据处理方面呈现出“五化”的技术趋势，即云数一体化、存算分离化、湖仓一体化、计算融合化与研发运营一体化。其中一些新的关键技术已在部分金融机构进行了较深入的实践应用，取得了可观的成果。但是，作为一项复杂的课题，海量数据处理还面临着技术、产品、应用等多方面的挑战和痛点，且这些难题当前尚未进行全面的研究和分析。因此，本报告对海量数据处理的技术、应用、建设等方面进行系统的分析，从行业发展、应用情况、落地痛点以及关键技术等多个维度展开研究，结合我国金融业多个典型案例，论证这些关键技术和实施路径的有效性和可行性，并对一些诸如人工智能、数据湖仓、数据网格等前沿数据技术应用进行初步分析，探讨金融业未来的数据技术发展趋势。 兴业数字金融服务（上海）股份有限公司为本报告的编制提供了支持。中信建投证券股份有限公司、上海汽车集团财务有限责任公司为报告编制提供了行业案例。 一、发展概况 （一）法律法规和政策环境 在金融业早期阶段，数据处理主要集中在银行和证券公司的业务数据处理，以及金融管理部门的监管工作中。相关法律法规和政策主要包括1983年12月8日第六届全国人民代表大会常务委员会第三次会议通过的《中华人民共和国统计法》，以及1994年2月18日中华人民共和国国务院令第147号发布的《中华人民共和国计算机信息系统安全保护条例》等。这些法规为金融数据处理提供了基础的法律保障，确保了数据的准确性和安全性。 在信息化阶段，随着信息技术的不断发展，金融业数据处理技术逐渐成熟。在这一阶段，金融业开始将数据处理技术应用于更多的领域，如互联网金融、金融风险控制等。相关法律法规和政策主要包括十二届全国人大常委会通过的《中华人民共和国网络安全法》，以及中国人民银行等十部委发布的《关于促进互联网金融健康发展的指导意见》（银发〔2015〕221号）等。这些法规促进了金融业的信息化进程，为金融业的快速发展提供了有力的支持。 在数字化转型阶段，金融业开始迈向全面数字化。在这一阶段，金融业数据处理技术得到了更广泛的应用。相关法律法规和政策主要包括《关于推进金融科技创新发展