AI革命的机遇与风险：风险管理

目录 4 企业智慧与人工智能相遇4 人工智能的现状6 是否采用人工智能6 识别人工智能风险与收益7 / 开展人工智能效益分析7 / 人工智能加剧竞争8 人工智能风险类型8 / 社会风险9 / 知识产权风险9 / 无效所有权10 / 网络安全与韧性影响10 / 内部权限结构薄弱11 / 技能差距11 / 过度反应11 / 预期与非预期使用11 / 数据完整性12 / 责任归属12 / 展望：量子赋能的人工智能与下一个风险前沿13 / 量子为何改变格局13 / 什么是后量子密码学（PQC）13 / 建立量子-人工智能准备团队的必要性14 结论：从意识到问责15 致谢 摘要 自从像ChatGPT这样的大型语言模型公开发布以来，人工智能（AI）已从实验性工具转变为嵌入各企业运营基础设施的关键组成部分。这种转变改变了风险方程式。随着AI的采用率增加，组织必须考虑与AI相关的安全漏洞、滥用以及快速扩大的治理和合规环境。 人工智能引入的新故障模式的速度，快于传统控制方法能够检测和应对的速度。因此，风险管理现在需要在人工智能的整个生命周期中进行持续监督。与此同时，标准制定机构和监管机构已开始制定可执行的要求，推动企业建立正式的人工智能管理系统和文件化的风险控制措施。本文概述了近年来出现的主要人工智能风险发展趋势、治理预期以及安全现状。 当企业智慧遇上人工智能 仅仅几年前，还很难想象各行各业的专业人士都依赖某一项技术来起草法律论点、生成代码、总结文件、自动化工作流程以及做出临床决策。但如今，人工智能（AI）已直接嵌入到平台、管道和系统中。最近的调查表明，88%的组织至少在某个业务功能中使用AI，许多组织正朝着更广泛的企业部署方向发展。 新型风险。风险管理实践往往落后于部署，导致在数据隐私、访问控制和合规性等方面存在空白。 不幸的是，这对大多数新技术来说是一个普遍模式。那些还记得智能手机、3D打印或物联网（IoT）出现的人们，可能会认为人工智能的兴起与那些突破性进展相当。但它更像是互联网的创造：一场席卷各行各业的创新烈火。 如今，人工智能（AI）已直接嵌入到平台、流程和系统中。 因此，组织开始认识到，有效的AI治理需要将风险管理融入AI的设计、部署、监控和生命周期控制中。企业面临的核心挑战是如何负责任地采用AI，同时保持信任和问责制。 尽管采用了如此迅速，但人们对人工智能危险性的认识仍然不均衡。许多用户和企业领导者仍然主要将这些系统视为生产力加速器，低估了它们引入...的潜在可能。 人工智能的现状 尽管人工智能能够模仿人类的思维模式和语言，但它并没有意识。通常所说的“人工智能”大部分实际上是由机器学习（ML）技术或大型语言模型（LLM）构成的。 使用人类反馈强化学习（RLHF）来提高回复质量。谷歌的Bard（现更名为Gemini）也是以类似方式训练，但它的信息也来源于互联网。4 开发这些系统所使用的技巧，继续引发关于用于训练人工智能工具的数据的来源、许可和可靠性的未解决疑问。 大型语言模型（LLMs）是基于统计模式识别来生成输出，而非理解或意图进行训练的。例如，ChatGPT是在由授权数据、人类训练师创建的数据以及公开可用的数据混合而成的信息上进行训练，并使用...进行精炼的。 1 麦肯锡公司，《2025年人工智能现状：智能体、创新与转型》，2025年11月5日，https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai 第五节 人工智能革命的机遇与风险：管理风险 像英伟达的Megatron-LM这样的大规模研究计划已经证明，分布式训练和模型并行性的进步能够显著提升模型能力，同时也加剧了关于数据来源、透明度和可信度的担忧。 能够执行从日程安排和研究到内容合成和规划等一系列任务。9 同样地，随着Copilot的引入，人工智能已直接集成到Microsoft 365应用程序中，包括Word、Excel、PowerPoint和Outlook。10 人工智能的进化速度甚至让最资深的科技老兵都感到惊叹。几乎每周都会出现关于人工智能优势、危险、局限或潜力的新声明，而结论往往相互矛盾。许多商业领袖选择等待人工智能尘埃落定后再制定正式的商业策略，这并不令人意外。但虽然这似乎是最安全的路径，但延迟本身也伴随着风险。员工在组织内部未经批准地使用生成式人工智能工具的情况持续存在，且缺乏集中可见性或控制。 虽然像OpenAI这样一些知名度高的公司最初吸引了媒体的广泛关注，但更广泛的AI生态系统已迅速多元化。ChatSonic、6 Jasper、7和Wordtune 8等初创公司和平台，进一步强化了AI作为一种新型功能技术的认知，这种技术可以嵌入到各种工作流程中。这些系统依赖于基于公共和私营部门数据生成的预训练，并正在重塑用户与信息、内容创作和决策支持进行交互的方式。 生成式人工智能（GenAI）已不再局限于独立的界面。像谷歌的Gemini这样的系统被设计为个人助理，并且是 如图1所示，人工智能的采用已从快速消费者采用阶段发展成为一种企业执行模式。 图1：人工智能的采用与加速 第六章 人工智能革命的机遇与风险：管理风险 无论景观如何持续演变，很明显AI现在已经是企业基础设施的持久组成部分，商业领袖应该假定AI已经在他们的组织中投入使用。 最安全、最负责任的前进道路并非推迟，而是基于可见性、治理和风险意识部署的审慎适应。 人工智能，还是非人工智能？ 一些公司，例如Stack Overflow、三星、苹果、摩根大通和威瑞森，最初试图禁止或限制使用生成式人工智能工具，理由是担心数据泄露、幻觉和知识产权暴露。13当时，这被广泛视为对一项陌生且快速发展的技术的审慎反应。 然而，不受约束的应用也带来了相反的风险。配置错误的权限、监督不足以及责任不清，都可能使人工智能驱动的行动在系统和数据集中传播的速度远超传统安全和风险框架的设计管理能力。 配置错误权限、监管不足以及责任不清，可能使人工智能赋能的行为在系统和数据集中传播的速度远超传统安全与风险框架的设计管理能力。 然而，此类禁令的实施已变得十分困难。AI工具通过个人账户、浏览器扩展和第三方集成持续泛滥。员工越来越像依赖电子邮件、电子表格和协作平台一样依赖AI。这种现象现在通常被称为“影子AI”，它引入了一种新的、未被管理的风险类别。 因此，高级领导者若希望利用人工智能技术，需要确保相应的基建和治理流程到位。为了准确理解人工智能所蕴含的脆弱性与优势，领导者必须进行全面的、考虑到人工智能领域当前的不确定性及其未来影响力的风险评估分析。 忽视人工智能也可能使组织处于竞争劣势，因为员工、合作伙伴、分销商和竞争对手都可能从中受益。即使不使用人工智能赋能的工具，忽视这项技术也可能使企业更容易受到风险的影响，例如过时和难以获得顶尖人才。 识别AI风险与收益 人工智能为组织带来了前所未有的机遇，也带来了前所未有的风险。其提升生产力、自动化复杂任务以及增强人类决策的能力，有可能重塑几乎所有行业。 然而，随着生产力的提高，风险也随之增加，新的威胁也出现了。组织必须权衡风险与回报。 13 Rundle, J.; “网络安全负责人应对人工智能风险与潜在收益”, 《华尔街日报》, 2023年5月25日, https://www.wsj.com/articles/cybersecurity-chiefs-navigate-ai-risks-and-potential-rewards-9138b76d 14 Mathew, A.; “影子人工智能的崛起：审计企业中未经授权的人工智能工具”, ISACA行业新闻, 2025, https://www.isaca.org/resources/news-and-trends/industry-news/2025/the-rise-of-shadow-ai-auditing-unauthorized-ai-tools-in-the-enterprise 7 人工智能革命的机遇与风险：管理风险 领导者在设置恰当有效的护栏的同时，必须采取四个重要步骤来最大化人工智能的价值： 产品和服务。技术效率的提升使员工能更专注于战略流程，而非重复性任务；然而，组织需要建立保障措施以确保输出结果的准确性。 1.识别AI的益处。 2.识别AI风险。 3. 采取持续风险管理方法。 近年来，竞争步伐加快。曾经变化缓慢的市场，如今可能被配备人工智能、人员精简且部署迅速的竞争对手在数月内颠覆。因此，有意义的效益分析必须超越短期生产力提升，还应涵盖长期战略定位、劳动力影响、监管风险和组织韧性。 4. 实施适当的AI安全协议。 如果企业领导者能够遵循这些步骤，那么在人工智能赋能的工具和流程被应用于其企业时，他们更有可能取得风险与回报的良好平衡。 进行人工智能效益分析 企业巨头可能会发现，他们人工智能赋能的竞争对手比以往任何时候都更聪明、更快、更具杀伤力。图2包含了一些示例用例。 组织正在利用人工智能来简化行政流程、加速研发、提升客户参与度，并实现新的 图2：AI不安全感——人工智能比我们更聪明吗？ 使用人工智能加剧竞争 正如竞争情报证实，没有其他公司的研发能接近A公司的产品功能。随后，一家名为B公司的初创企业利用人工智能进行研发和设计。 A公司是行业领导者，凭借一款旗舰产品，其市场主导地位已持续10年。CEO对公司目前的地位感到安心。 吉布森，K.；“将人工智能整合到您企业中的5个关键益处”，哈佛商学院，2024年8月1日，https://online.hbs.edu/blog/post/benefits-of-ai-in-business 16 Ault, A.; “AI机器人ChatGPT无突击复习通过美国医学执照考试——不同于学生,”Medscape,2023年1月26日,https://www.medscape.com/viewarticle/987549; Sloan, K.; “ChatGPT通过法学院考试尽管‘表现平平’,”路透社,2023年1月25日,https://www.reuters.com/legal/transactional/chatgpt-passes-law-school-exams-despite-mediocre-performance-2023-01-25/; Business Today, “‘AI的下一步’：ChatGPT通过美国医学执照考试和沃顿商学院MBA考试,”2023年1月25日,https://www.businesstoday.in/technology/story/next-step-for-ai-chatgpt-clears-us-medical-licensing-exam-and-whartons-mba-exam-367569-2023-01-25; Tribal Health, “AI通过医学院考试,”2023年1月24日,https://tribalhealth.com/chatgpt/; Hutson, M.; “AI学会编写计算机代码，取得‘惊人’进展,”科学,2022年12月8日,https://www.science.org/content/article/ai-learns-write-computer-code-stunning-advance; Google DeepMind, “Demis Hassabis & John Jumper获得诺贝尔化学奖,”2024年10月9日,https://deepmind.google/blog/demis-hassabis-john-jumper-awarded-nobel-prize-in-chemistry/; Zaske, S.; “AI方法能比人类更快、更好地发现潜在疾病,”华盛顿州立大学,2024年1