AI风险规划路线：金融服务领导者的实用考虑因素
tlptlp 生成式AI的未来状态© 2025 FS-ISAC, Inc. | 所有权利 reserved | 1理解人工智能能力与人工智能期望4生成式人工智能的不确定性与潜在挑战7短期考虑：增强型劳动力与人工智能部署12中期考虑：劳动力、数据、网络安全和法律挑战 13 长期考虑：代码、竞争和复杂性问题15今日为GenAI未来使用准备的提问16联合主席：Chris Budd，德意志银行，和 Pam Simpson，丰业银行本杰明·达宁 邓肯·斯温尼，WECU 卡丽·E·盖茨博士，FS-ISAC 迈克尔· 贡献者内容执行摘要3为金融服务用例定义人工智能4预测未来使用：定义问题5短期、中期和长期考虑12结论19附录：版权问题20参考文献和资源21 TLP 白色西尔弗曼，FS-ISAC 生成式AI的未来状态© 2025 FS-ISAC, Inc. | 所有权利 reserved | 3为帮助规划人工智能的应用和影响，金融服务业间信息共享与分析中心的人工智能风险工作组组建了由金融领域人工智能、风险、技术和网络安全专家组成的未来应用团队。在该出版物中，未来应用小组将人工智能，特别是生成式人工智能（GenAI），置于一个广泛的金融服务框架中，以帮助机构：人工智能（AI）同时激发了乐观情绪和恐慌。其最新迭代——生成式AI，能够创造全新的文本、图像、音频等——将金融行业带入了新的拐点。虽然AI为该行业带来了明显的机遇，但组织们才刚刚开始预测人工智能解决方案实施阶段中存在的问题并识别相关的不确定性定义挑战并理解人工智能在金融服务中的细微差别预测生成式人工智能工具在真实场景中的短期、中我们的论文旨在提供一个“全风险”方法——针对广泛领域的关注提供指导，在实用框架中包含实用的护栏和风险概念，以帮助该行业保护人工智能的优势。通过这种方式，金融机构可以同时最大化人工智能的业务价值并最小化其潜在缺点。我们以一些问题结束这项工作，帮助贵公司理解，然后管理自身的AI风险。没有足够的数据来做出长期基于证据的预测，判断人工智能的实施是否会随着时间的推移呈指数级提供价值或降低效率和有效性。专利和公开可用的学术研究不足以分离趋势。很少有人全面评估将人类工作负载转移到机器上的可行性，并将人工智能的承诺转化为具体的商业解决方案。一些公司声称正积极推动采用；另一些公司则遇到了重大的担忧。显然，该行业需要一个实用、可操作的方法来应对 执行摘要TLP 白色设定进入AI未来的航线。期和长期影响这个新环境。 流行的LLMs© 2025 FS-ISAC，Inc. | 所有权利保留 | 4理解人工智能能力与人工智能期望生成式AI的未来状态为金融服务用例定义人工智能许多LLM在标凈化考试（如LSAT、多州律师资格考试和GRE）上的表现达到或超过人类前90%的成绩。v考虑到这一点，每个组织都应该根据其自身对技术的目标来定义人工智能。我们建议您的定义：聚焦生成式人工智能是有用的，它创造出以前不存在的新文本、图像、视频和音频（或它们的组合，通常被称为多模态模型）。i金融服务中最相关的GenAI 模型可能是大型语言模型（LLMs），因为这些模型因其知识管理能力，在金融领域变革方面最结合行业标准（NIST、ISO等） 不会过于宽泛以致没有实用性 不会过于详细以致条件变化而过时“人工智能”这个术语本身从技术决定论延伸到科幻小说。人工智能可以指代很多事物，从机器学习到深度学习，从自然语言处理到机器人技术到通用人工智能。尽管它们带来了潜在的风险向量，但大型语言模型在众多领域展现出卓越的能力，并允许任何规模的组织自动化许多基于知识的任务。ii越先进的语言模型在推理、阅读理解、数学问题解决和计算机编程方面始终优于人类的平均水平。iii,iv流行的大语言模型示例包括微软的Co-Pilot、Open AI的Chat GPT、谷歌的Gemini以及开源框架Llama。将风险投射到金融服务领域需要调查人工智能如何改变业务运营。金融机构更有可能通过逐步探索将人工智能投入生产的自身需求来做出更准确的预测。这些步骤中的第一步应该是人工智能的具体定义 TLP 白色具潜力。。 © 2025 FS-ISAC, Inc. | 所有权利 reserved | 5生成式AI的未来状态第二阶段。存在一些不确定性预测未来使用：定义问题公司评估了已知AI价值与实施AI解决方案的成本。这家公司以这种基本业务方法开始，该方法需要了解业务、用例以及可用的人员、流程和技术资源。这些背景使它能够制定预算并选择合适的解决方案。总结公开的招股说明书材料 客户支持 对业务应用程序具有每个机构都面临这一范式，但它可能动摇领导者对其人工智能实施的信心。为了对人工智能解决方案的结果制定现实的预测，我们建议在以下五个阶段的框架中预测你未来的使用：特设实施问题开始出现该机构理解AI的价值以及它想要实现的内容，但缺乏对风险和威胁的充分认识。这家公司并不孤单：整个行业仍在识别然而，在这些初生阶段，就像任何颠覆业务运营的新技术（比如1990年代商业化的互联网）一样，人工智能固有的风险并不能被完全理解。这些技术面临一些限制。例如，在当前形式下，人工智能系统不能像人类一样独立整合知识，并且缺乏自主能动性——例如，在没有人类提示的情况下，人工智能引擎只能等待。尽管如此，金融服务业中生成式人工智能的应用案例已经广为人知，例如：随着时间范围的扩大，预测会变得越来越不准确。这一原则适用于金融服务公司使用人工智能——你对人工智能的未来看得越远，你对人工智能实施的影响和价值就越不确定。用例优先考虑，包括重复任务的自动化. 这些任务与上面识别出的新机遇的价值进行了比较。只有当企业理解人工智能的价值（第一阶段）并充分自信其能够充分运用这些知识来优先考虑用例时，才能完成这一点。 第一阶段：确定性TLP 白色阶段3。不确定性增加成本效益和快速编码 生成式AI的未来状态© 2025 FS-ISAC，Inc. | 所有权利保留 | 6像任何面向业务的其它风险一样，确定性会随着时间的推移而减弱。在人工智能实施的全生命周期中监控这个过程，有助于团队做出更明智的决策，更有效地管理不确定性，并最终交付一个成功的项目。用例无法按预期工作。随着商业机会的演变甚至增长，技术风险可能会与技术可用性叠加。人工智能模型可能无法按预期执行。如果该机构面临人工智能或机器学习工程师的短缺，如果该工具无法实现目标，它可能会面临重大风险。技术及网络安全风险，就其与人工智能的保密性、完整性和可用性相关联而言。随时间推移，生成式人工智能工艺的可持续性和可重复性不被理解。由于人工智能的快速变化特性，随着量子计算等突破性新技术的出现，治理和流程可能会被颠覆。 第四阶段。不确定性增加TLP 白色第五阶段。最大不确定性实施中的确定性丧失 生成式AI的未来状态生成式人工智能的不确定性与潜在挑战© 2025 FS-ISAC，Inc. | 版权所有 | 7缺少精通人工智能的人才内部部署的大型语言模型风险较低，但缺乏熟练的人工智能技术人员会让公司面临运营风险，包括配置错误、缺乏维护、支持不足等。你当前的状态以及未来的状态，可能包括由 GenAI 所带来的以下不确定性挑战——正如其他组织所构建能力和技能集 开展人工智能培训，使员工知道如何安全地将数据导入训练数据集 识别和部署将人工智能模型从开发环境迁移到生产环境所需的职责这是减少知识工作者与部署了GenAI工具的业务线之间紧张关系的关键。最终，这也是创造性破坏与创造性破坏创新决定了新的、更高效、更有效、更强大的技术形式不能与旧的技术系统功能性地共存。随着组织实施人工智能，他们必须了解什么可以被自动化，什么不可以被自动化，并且必须沟通由于任务自动化导致的工作力将如何变化。随着用例的增多，在专有部署中富有成效地使用 GenAI 将需要：随着金融机构采用更多人工智能驱动的工具，网络安全从业者需要了解这些工具的风险和威胁。像任何新技术一样，为了应对日益出现的风险，培训和职业发展将是至关重要的。 TLP 白色遇到的那样。业务中断之间的区别。 生成式AI的未来状态过度自信于生成式人工智能的输出：数据© 2025 FS-ISAC，Inc. | 版权所有 | 8多少百分比的不正确的 GenAI人类反应是可以接受的给定任务？员工知道哪些错误可能会导致监管不合规？如何在操作中被检测到错误优先考虑速度还是准确性？人类之间定义的角色是什么工人类和人工智能？如何解决工人冷漠问题？技能培训将如何优化生产力降低风险？容忍错误：可能会出现 GenAI 与人类工作人员之间的重叠情况，具体是指任务需要一定程度的自动化，但又无法完全取代人类。机器错误（幻觉）和人为错误是这种重叠可能产生的结果。因此，组织需要为错误设定一个阈值或容忍度。在建立此类参数时，组织最好考虑某些因素，包括不同类型错误的容忍阈值以及对包含 AI 的工作角色员工是否知道哪些错误可能会导致业务中断、机会成本和其他收入损失？工作角色将被重新定义以包含人工智能进行事实核查而不是更多创意性工作？分析依赖于信息完整，但AI输出可能包含幻觉和错误。尽管如此，金融服务员工——即使是那些被委托应用批判性思维的人——也可能在不知不觉中依赖缺乏必要完整性的信息。盲目接受AI输出，尤其是来自公共LLM黑盒的输出，vi不明智，并且人工智能可能会简化流程到一定程度，使得审核变得极少，从而引入了基于错误信息采取行动的风险。七金融服务中使用通用人工智能需要满足最高的真实性标准，员工必须知道如何测试输出的准确性。Ⅷ人工智能使用、监督和审查之间的关系对于健康的生产力和发展至关重要，尤其 TLP 白色的影响。是在mission-critical场景中。 © 2025 FS-ISAC，Inc. | 所有权利保留 | 9设计安全生成式AI的未来状态促进公平、道德、问责和透明度（FEAT）的原则在使用中的人工智能与数据分析师是由新加坡金融管理局起草的xii以人为本的人工智能社会原则和商业人工智能指南是日本的——风险基于，软法方法对人工智能的监管。十三•欧洲理事会人工智能框架公约是第一份关于人工智能的国际法律 binding 条约。以设计安全为原则，将客户安全作为核心业务需求，而不是技术功能或附加功能进行集中管理。•欧盟人工智能法案对人工智能风险进行分类，并对其进行责任认定。xi规则和规定地区、国家和国际立法和框架存在（并且会更多），以指导人工智能的实施。坚持“安全设计”框架。随着组织寻求实现其人工智能实施目标状态，在人工智能失败的情况下，人类因素必须能够实现业务目标。随着人工智能在业务中涌现新的角色——例如首席人工智能官——公司可以从员工组合中受益，其中既有具备先前业务经验、了解旧流程或现有流程的员工，也有具有人工智能或 GenAI 特定经验的新员工，以创新更成熟的流程。过度依赖 GenAI 输出：在危机或事件情况下，当网络团队没有多少时间收集或处理信息时，通用人工智能可以被用来提高效率。ix但系统可能停止运行，并且缺乏替代结构会阻碍应对。界定通用人工智能（GenAI）如何和应当被使用的监管环境仍在发展中。传统上，监管的设立旨在激发创新，然而，当前提出的关于人工智能（AI）的监管表明政府可能寻求限制人工智能（AI）的创新持续审慎调查与人工智能的开发和实施需要构 重要立法TLP 白色(MAS)与银行和技术部门合作。与采用。建到员工技能中 •• x © 2025 FS-ISAC，Inc. | 版权所有 | 10塔勒尔·V·佩尔穆特布鲁塞尔效应生成式AI的未来状态由 AI 模型生成。xviii“知识产权（IP）漂洗”的概念可能出现在机构中，这些机构在组织产出中无意使用了知识产权，然后将其嵌入专有流程或文件中。企业应准备好应对知识产权漂洗的法律和道德影响，同时建立控制措施，通过GenAI模型映射数据谱系和数据供应链，直至GenAI模型的输出。经济合作与发展组织（OECD）原则于2019年采用并在2024年5月更新。xvi他们依靠一个双层方法来实施值得信赖的
