2025年金融业人工智能应用风险研究报告

北京金融科技产业联盟 2025年1月 版权声明 本报告版权属于北京金融科技产业联盟，并受法律保护。转载、编摘或利用其他方式使用本白皮书文字或观点的，应注明来源。违反上述声明者，将被追究相关法律责任。 编制委员会 编委会成员： 聂丽琴苏建明蒋家堂叶红范皓陈芳姚辉亚彭晋汪航史巍威张立文杨文俊蒋宁 编写组成员： 程佩哲许啸陈天涵黄蓉艾毅程元鸿金驰姜璐金昕李荣于雪松李昶赵志永曹威张弛方宇伦许桐桐陆碧波朱婧陆俊廖渊安迪张骏陈鹏飞林杉王翰琛李建兴龙凡 编审： 黄本涛刘昌娟 参编单位： 北京金融股科技产业联盟秘书处、中国工商银行股份有限公司、中央国债登记结算有限责任公司、中国银联股份有限公司、深圳前海微众银行股份有限公司、蚂蚁科技集团股份有限公司、中国邮政储蓄银行股份有限公司、深信服科技股份有限公司、中国光大银行股份有限公司、国家开发银行、云南南天电子信息产业股份有限公司、马上消费金融股份有限公司、中国农业银行股份有限公司 目录 （一）研究背景.................................................................................................................1（二）政策与标准..............................................................................................................1（三）技术发展路线..........................................................................................................2 二、金融业人工智能安全风险框架............................................5 （一）基础设施风险..........................................................................................................5（二）数据风险.................................................................................................................8（三）模型算法风险........................................................................................................10（四）应用风险...............................................................................................................13（五）伦理风险...............................................................................................................15（六）隐私风险...............................................................................................................17（七）管理风险...............................................................................................................18（八）大模型安全风险.....................................................................................................21 三、金融业人工智能安全防护框架...........................................24 （一）基础设施防护........................................................................................................24（二）数据防护...............................................................................................................26（三）模型算法防护........................................................................................................28（四）应用防护...............................................................................................................31（五）伦理防护...............................................................................................................33（六）隐私防护...............................................................................................................34（七）管理防护...............................................................................................................35（八）大模型安全防护.....................................................................................................37 四、金融业人工智能风险防控案例...........................................40 （一）工商银行人工智能安全框架...................................................................................40（二）蚂蚁集团大模型安全一体化解决方案.....................................................................40（三）邮储银行人工智能安全技术体系............................................................................41 五、总结与展望...........................................................42 一、概述 （一）研究背景 随着金融行业数字化转型的快速发展，人工智能相关技术在金融领域的应用场景日趋广泛，已涵盖了产品创新、客服营销、业务运营及风险防控等多个业务场景，特别是大模型的出现，加速了人工智能金融业应用的进程，与此同时深度伪造、对抗样本等针对人工智能的新型攻击手法不断涌现，人工智能应用风险已引起金融业的高度关注。 （二）政策与标准 针对人工智能应用风险，国内外均提出发展和安全并重、加强监管和测评的核心思想，规范和保障人工智能的安全发展。 国内侧重于宏观审慎监管和国家战略服务，中央金融工作会议强调加快建设金融强国，全面加强金融监管，推动金融资源用于科技创新，不断优化金融服务，防范和化解金融风险。 国家网信办联合七部门于2023年公布《生成式人工智能服务管理暂行办法》，该办法旨在促进生成式人工智能健康发展和规范应用，并规定了AI服务提供方的责任义务。 金融监管总局在《银行保险机构数据安全管理办法（征求意见稿）》中提出，应当对人工智能模型开发应用进行统一管理，实现模型算法可验证、可审核、可追溯，就数据对决策结果影响进行解释说明和信息披露，建立人工智能应用的风险缓释措施等。 中国人民银行在《人工智能算法金融应用评价规范》中规定了人工智能算法在金融领域应用的基本要求、评价方法和判定标准，适用于开展人工智能算法金融应用的金融机构、算法提供商 及第三方安全评估机构等；在《人工智能算法金融应用信息披露指南》中明确金融机构在使用人工智能算法提供金融产品和服务时，规范地开展算法信息披露活动，增强人工智能算法的可解释性和透明度，维护金融消费者合法权益。 国外监管更注重市场效率和消费者保护，确保金融机构在提供产品和服务的同时遵守相关法律和道德准则，同时建立完善的消费者投诉和纠纷解决机制。 美国《人工智能应用监管指南》标志着欧美人工智能政策从伦理规范向监管规制逐步转变，也显示了AI主导权开始转向通过立法和监管来谋求科技主导地位；《人工智能权利法案蓝图》中提出，在不损害公众利益的情况下，用户应可以自主选择使用人工服务替代人工智能服务。 欧盟《通用数据保护条例》等隐私及数据安全要求的发布，监管部门要求金融机构在建设和使用人工智能的同时，需满足民众对隐私保护的需求；在《人工智能法》中为人工智能制定了一套覆盖全过程的风险规制体系，提出了风险分类思路、产品规制路径、负责任创新和实验主义治理理念。 现有行业规范主要从管理和治理的角度进行要求，尚未充分针对具体应用场景，进行技术攻击视角开展深入的风险分析，在实际应用中的防护措施也讨论较少。 （三）技术发展路线 人工智能风险及防护已成为技术研究的新兴领域，其技术发展也经历了从初步探索到逐渐深化的过程。 对抗样本攻击技术自2016年起成为学术界研究的热点，研究人员发现通过构造轻微扰动来干扰输入样本，可以使深度神经网络输出攻击者想要的任意错误结果。初期（2016—2019年），研究者开始探索对抗样本识别模型技术，旨在区分正常输入与精心设计的对抗输入。进入2020年，对抗样本生成技术进一步细分，包括多模态对抗攻击、针对不同场景的白盒攻击和黑盒攻击。2021年起，物理世界对抗样本生成、目标定位对抗攻击等新技术涌现，丰富了对抗样本的实战应用。 模型窃取攻击技术作为新兴的安全威胁，2019年，初步出现了用于模型窃取攻击的替代模型技术，标志着该领域研究的起步。随着时间的推移，模型窃取攻击技术不断演变。2021年，研究者们提出了通过对比分析不同模型提取的时序和空间特征，以及利用图形码解析技术来窃取模型信息的方案，展现了模型窃取攻击技术的复杂性和多样性。2022年至今，基于梯度驱动数据生成的模型窃取攻击方法成为新的研究热点。该方法利用梯度信息指导数据生成，从而更有效地窃取目标模型的内部结构和参数，对模型安全构成了新的挑战。 数据投毒攻击技术作为一种隐蔽而有效的攻击手段，2021年基于深度学习中特征碰撞的投毒攻击方法和基于联邦学习的图分类任务中毒攻击方法相继问世。这些技术通过向训练数据中注入恶意样本，破坏模型的正常学习过程，从而实现对目标模型的攻击。近年来，数据投毒攻击技术进一步发展，出现了通过直接破坏训练数据来影响整个学习过程的技术。这类攻击不仅难以被察