金融业人工智能应用风险研究报告 北京金融科技产业联盟 2025年1月 版权声明 本报告版权属于北京金融科技产业联盟,并受法律保护。转载、编摘或利用其他方式使用本白皮书文字或观点的,应注明来源。违反上述声明者,将被追究相关法律责任。 编委会成员: 编制委员会 聂丽琴苏建明蒋家堂叶红范皓陈芳姚辉亚彭晋汪航史巍威张立文杨文俊蒋宁 编写组成员: 程佩哲 许啸 陈天涵 黄蓉 艾毅 程元鸿 金驰 姜璐 金昕 李荣 于雪松 李昶 赵志永 曹威 张弛 方宇伦 许桐桐 陆碧波 朱婧 陆俊 廖渊 安迪 张骏 陈鹏飞 林杉 王翰琛 李建兴 龙凡 编审: 黄本涛刘昌娟 参编单位: 北京金融股科技产业联盟秘书处、中国工商银行股份有限公司、中央国债登记结算有限责任公司、中国银联股份有限公司、深圳前海微众银行股份有限公司、蚂蚁科技集团股份有限公司、中国邮政储蓄银行股份有限公司、深信服科技股份有限公司、中国光大银行股份有限公司、国家开发银行、云南南天电子信息产业股份有限公司、马上消费金融股份有限公司、中国农业银行股份有限公司 目录 一、概述1 (一)研究背景1 (二)政策与标准1 (三)技术发展路线2 二、金融业人工智能安全风险框架5 (一)基础设施风险5 (二)数据风险8 (三)模型算法风险10 (四)应用风险13 (五)伦理风险15 (六)隐私风险17 (七)管理风险18 (八)大模型安全风险21 三、金融业人工智能安全防护框架24 (一)基础设施防护24 (二)数据防护26 (三)模型算法防护28 (四)应用防护31 (五)伦理防护33 (六)隐私防护34 (七)管理防护35 (八)大模型安全防护37 四、金融业人工智能风险防控案例40 (一)工商银行人工智能安全框架40 (二)蚂蚁集团大模型安全一体化解决方案40 (三)邮储银行人工智能安全技术体系41 五、总结与展望42 一、概述 (一)研究背景 随着金融行业数字化转型的快速发展,人工智能相关技术在金融领域的应用场景日趋广泛,已涵盖了产品创新、客服营销、业务运营及风险防控等多个业务场景,特别是大模型的出现,加速了人工智能金融业应用的进程,与此同时深度伪造、对抗样本等针对人工智能的新型攻击手法不断涌现,人工智能应用风险已引起金融业的高度关注。 (二)政策与标准 针对人工智能应用风险,国内外均提出发展和安全并重、加强监管和测评的核心思想,规范和保障人工智能的安全发展。 国内侧重于宏观审慎监管和国家战略服务,中央金融工作会议强调加快建设金融强国,全面加强金融监管,推动金融资源用于科技创新,不断优化金融服务,防范和化解金融风险。 国家网信办联合七部门于2023年公布《生成式人工智能服务管理暂行办法》,该办法旨在促进生成式人工智能健康发展和规范应用,并规定了AI服务提供方的责任义务。 金融监管总局在《银行保险机构数据安全管理办法(征求意见稿)》中提出,应当对人工智能模型开发应用进行统一管理,实现模型算法可验证、可审核、可追溯,就数据对决策结果影响进行解释说明和信息披露,建立人工智能应用的风险缓释措施等。 中国人民银行在《人工智能算法金融应用评价规范》中规定了人工智能算法在金融领域应用的基本要求、评价方法和判定标准,适用于开展人工智能算法金融应用的金融机构、算法提供商 及第三方安全评估机构等;在《人工智能算法金融应用信息披露指南》中明确金融机构在使用人工智能算法提供金融产品和服务时,规范地开展算法信息披露活动,增强人工智能算法的可解释性和透明度,维护金融消费者合法权益。 国外监管更注重市场效率和消费者保护,确保金融机构在提供产品和服务的同时遵守相关法律和道德准则,同时建立完善的消费者投诉和纠纷解决机制。 美国《人工智能应用监管指南》标志着欧美人工智能政策从伦理规范向监管规制逐步转变,也显示了AI主导权开始转向通过立法和监管来谋求科技主导地位;《人工智能权利法案蓝图》中提出,在不损害公众利益的情况下,用户应可以自主选择使用人工服务替代人工智能服务。 欧盟《通用数据保护条例》等隐私及数据安全要求的发布,监管部门要求金融机构在建设和使用人工智能的同时,需满足民众对隐私保护的需求;在《人工智能法》中为人工智能制定了一套覆盖全过程的风险规制体系,提出了风险分类思路、产品规制路径、负责任创新和实验主义治理理念。 现有行业规范主要从管理和治理的角度进行要求,尚未充分针对具体应用场景,进行技术攻击视角开展深入的风险分析,在实际应用中的防护措施也讨论较少。 (三)技术发展路线 人工智能风险及防护已成为技术研究的新兴领域,其技术发展也经历了从初步探索到逐渐深化的过程。 对抗样本攻击技术自2016年起成为学术界研究的热点,研 究人员发现通过构造轻微扰动来干扰输入样本,可以使深度神经网络输出攻击者想要的任意错误结果。初期(2016—2019年),研究者开始探索对抗样本识别模型技术,旨在区分正常输入与精心设计的对抗输入。进入2020年,对抗样本生成技术进一步细分,包括多模态对抗攻击、针对不同场景的白盒攻击和黑盒攻击。2021年起,物理世界对抗样本生成、目标定位对抗攻击等新技术涌现,丰富了对抗样本的实战应用。 模型窃取攻击技术作为新兴的安全威胁,2019年,初步出现 了用于模型窃取攻击的替代模型技术,标志着该领域研究的起步。随着时间的推移,模型窃取攻击技术不断演变。2021年,研究者们提出了通过对比分析不同模型提取的时序和空间特征,以及利用图形码解析技术来窃取模型信息的方案,展现了模型窃取攻击技术的复杂性和多样性。2022年至今,基于梯度驱动数据生成的模型窃取攻击方法成为新的研究热点。该方法利用梯度信息指导数据生成,从而更有效地窃取目标模型的内部结构和参数,对模型安全构成了新的挑战。 数据投毒攻击技术作为一种隐蔽而有效的攻击手段,2021年 基于深度学习中特征碰撞的投毒攻击方法和基于联邦学习的图分类任务中毒攻击方法相继问世。这些技术通过向训练数据中注入恶意样本,破坏模型的正常学习过程,从而实现对目标模型的攻击。近年来,数据投毒攻击技术进一步发展,出现了通过直接破坏训练数据来影响整个学习过程的技术。这类攻击不仅难以被察 觉,而且能够对模型性能造成长期且深远的影响,对机器学习系统的安全性构成了严峻挑战。 对抗性数据增强技术在2016年后逐步成熟,成为提升机器 学习模型鲁棒性的重要手段。早期(2016—2018年),研究者们通过基于对抗示例的防御策略更新、对抗训练系统改进及模型置信水平交换等方法,增强了模型的防御能力。2019年,基于对抗样本增强的抗攻击能力训练等技术进一步提升了模型的鲁棒性。2020年,模型训练方法的创新,如对抗补丁的生成与防御、鲁棒深度神经网络训练等,推动了数据增强技术的多元化发展。2021年,联邦迁移学习、优化训练方法等技术方案的出现,为分布式环境下的对抗性数据增强提供了新的思路。2022年至今,基于对抗训练的文本解析、多任务建模与集成、视频级目标检测训练等技术的融合应用,进一步提升了复杂场景下的对抗性数据增强效果。 数据隐私计算技术在2016年后成为研究热点,旨在保护数 据隐私的同时实现数据的有效利用。早期(2016—2018年),基于隐私保护技术的联合深度学习训练方法初步成型。2019年,数据隐私保护下的机器学习模型特征筛选、多方联合训练图神经网络等技术方案的提出,推动了隐私保护技术的发展。2020年,横向联邦学习、全同态加密等技术的出现,为数据隐私计算提供了更为安全高效的解决方案。基于端边云架构的分布式联邦学习安全防御、联邦神经网络训练等技术的融合应用,进一步提升了数据隐私保护的能力。 AI框架漏洞挖掘技术在2018年后快速发展,成为保障AI系 统安全的重要环节。初期(2016—2018年),深度学习系统漏洞检测技术初步形成。2019年,人工智能和模糊测试漏洞扫描系统 (AIFuzz)的推出,标志着自动化漏洞挖掘技术的兴起。2020年,对抗性漏洞审计工具、深度学习漏洞危害评估指标技术的出现,进一步提升了漏洞挖掘的精度和效率。2021年,基于遗传算法的深度学习模型安全漏洞测试和修复技术、图神经网络在智能合约漏洞检测中的应用等技术,为AI框架安全提供了更加全面的保障。2023年至今,基于图神经网络的源代码缺陷检测、漏洞检测模型优化等技术的融合应用,推动了AI框架漏洞挖掘技术的持续进步。 整体而言,人工智能攻防领域的研究聚焦于模型防护与攻击方法技术,其中模型攻击技术则涵盖对抗样本、窃取、投毒等多种手段,而模型防护技术为核心与热点,包括数据增强、漏洞挖掘与隐私计算等,部分技术尚处于探索阶段。 二、金融业人工智能安全风险框架 (一)基础设施风险 1.AI框架开源风险 AI框架开源风险主要存在断供层面的风险。在人工智能领域,开源人工智能框架TensorFlow和PyTorch目前在我国占据了约85%的市场份额,开源框架在提供灵活性和创新性的同时,也可能使金融机构更加脆弱于供应链的不确定性。一旦开源框架的维护者决定终止支持或因政治原因停止合作,金融机构可能会陷入断供的境地,导致AI应用系统的不稳定甚至瘫痪。这种情况下, 金融机构将面临迁移至其他框架的转换成本,进而增加了整体的运营成本。 2.AI框架和芯片安全漏洞 AI框架和芯片安全漏洞问题是人工智能领域不容忽视的挑战。以硬件加速芯片和AI框架为核心支撑的人工智能系统,在不断提升算力以及模型能力的同时,也面临着安全漏洞的潜在威胁。芯片安全漏洞作为硬件层面的问题,也对人工智能的安全性构成威胁。高性能计算所需的芯片在设计和制造过程中可能存在漏洞,这为恶意攻击提供了潜在入口。AI框架的开源本质为创新提供了契机,但也可能为潜在的安全漏洞留下后门。攻击者可以利用这些漏洞进入系统,威胁到敏感数据和模型的安全性。特别是在金融领域,安全性至关重要,一旦AI框架存在漏洞,可能导致机密信息泄露、模型被篡改等严重后果。例如主流人工智能分布式处理框架Ray就被爆出存在远程命令执行漏洞(CVE-2023-48022),该漏洞可使得攻击者控制服务器的计算能力并窃取敏感数据。此漏洞源于Ray框架提供了用于提交计算任务或作业以供执行的接口,攻击者可通过该接口提交任意系统命令,从而窃取数据库凭证、SSH密钥等敏感信息。 3.AI供应链安全风险 AI供应链安全风险涉及外部引入的数据集、模型、工具包及服务等多个场景,如果外部引入的数据不准确或模型存在漏洞后门,将直接影响模型的性能和决策。AI服务和外部工具的引入也增加了供应链的复杂性和风险,这些服务或者工具本身也可能存 在缺陷或漏洞,可能面临数据隐私泄露、未经授权的数据访问等问题,对人工智能应用场景造成风险。 AI系统的复杂性和对外部资源的依赖性增加了系统被攻击的风险。与传统软件不同,AI系统与供应链的强耦合特性造成风险隐藏在训练集和模型中,很难通过代码审计、成分分析等传统的安全技术手段识别风险,并且也无法通过打补丁的方式进行快速修复,提高了整体风险被发现和修复的难度;AI供应链的安全风险是伴随在系统开发和运行阶段,需要对供应链全生命周期进行持续监控。 4.AI算力消耗风险 作为人工智能的重要底层支撑,算力成本问题是金融人工智能应用发展过程中不可忽视的一大挑战。随着人工智能能力的不断增强,模型架构不断升级,对算力与存储的要求也越来越高。金融人工智能应用需要庞大的计算资源来进行训练和推理,对许多金融机构来说,建立和维护这样的计算基础设施往往会需要高昂的成本,主要体现在硬件成本与能耗成本上: (1)硬件成本是指构建和维护高性能计算设备所需的硬件设备和设施的成本较高。 (2)能耗成本是大规模金融人工智能应用所需的计算资源导致的高能耗,进而增加电力成本。 若不能提升算力资源利用率,或与相关机构合作共享算力,则会造成收益比下降,前沿技术所带来的科技进步无法转化为经济收益。 5.AI系统实现风险 人工智能系统实现依赖于软硬件平台的支撑,软件开发和硬件编