利用COBIT进行有效的人工智能系统治理

目录 4人工智能在现代企业中的作用 4 / 人工智能系统与战略重要性 5 / 人工智能系统的风险与挑战 6 / 治理指导示例 6 / 覆盖范围差距7COBIT框架7概述/领域和目标9/治理系统的组成部分 11 / 治理系统设计考虑 11 / 可信人工智能的原则13整个人工智能生命周期中的 cobit 14 / 示例用例15挑战与考量16使用 cobit 对人工智能技术的益处18结论19致谢 摘要 随着人工智能（AI）成为各行业创新和效率提升的重要驱动力，组织 应对监管这些系统的压力以负责任的方式。该白皮书探讨了COBIT框架作为有效AI治理和管理的一个强大、适应性解决方案的作用。传统上用于信息和技术的治理（I&T），COBIT可以独特地应对人工智能系统引入的独特挑战，包括与道德、问责制、透明度和合规性相关的问题。该框架的结构化方法提供了一个整体的、基于生命周期的模型，指导组织如何将人工智能计划与战略业务目标相结合，优化资源分配，并降低特定的AI风险。 人工智能在现代企业中的作用 人工智能系统与战略重要性 随着人工智能日益成为现代企业不可或缺的一部分，对人工智能的稳健治理和管理需求也随之增长。许多组织利用机器学习（ML）、深度学习（DL）和生成式人工智能来通过自动化简化运营、改进决策以及提升客户和用户体验。无论是自动化用户或客户服务流程，还是生成预测分析，人工智能系统为效率和创新能力带来了新的机遇。 人工智能系统包含几种关键技术，每种技术都具有独特的功能，能够在各行业中发挥战略作用。例如，机器学习涉及在数据上训练算法以识别模式并做出预测。在企业中，机器学习可用于需求预测、欺诈检测和精准营销，最终导致决策的改进。 然而，部署人工智能也带来了独特的挑战，需要谨慎的治理。与传统IT系统不同，人工智能引入了围绕偏见、公平性和透明度的伦理问题，这些问题必须在多个司法管辖区和行业中进行管理。随着人工智能的快速发展，创新的速度往往超过了完全预见其影响和含义的能力，导致人工智能系统容易受到操纵、数据污染、网络攻击和安全事故等威胁。 深度学习是机器学习的一个子集，使用具有许多层的神经网络来分析庞大且复杂的数据集。深度学习支持高级图像识别、自然语言处理和自主系统，这些都对诊断、分析和工作流程自动化产生了重大影响。 此外，生成式人工智能模型，包括生成对抗网络（GAN）和大型语言模型（LLM），可以创建与提供的输入数据相似的逼真文本、图像或模拟。企业通常使用生成式人工智能进行内容创作、个性化体验和快速原型设计。 与传统的IT系统不同，人工智能引入了围绕偏见、公平性和透明度的伦理问题，这些问题必须在多个司法管辖区和行业中进行管理。随着人工智能的快速发展，创新的步伐往往超过了全面预见到其影响和意义的 khả năng，使得人工智能系统容易受到操纵、数据中毒、网络攻击和安全漏洞等威胁。 人工智能的战略意义可能因行业而异。在医疗保健领域，人工智能可以增强诊断能力，实现个性化治疗方案，并加速药物发现，所有这些都有助于改善患者结局并降低成本。在金融行业，人工智能可以实现交易自动化，提高欺诈检测能力，并使金融运营更快、更安全、更数据驱动。人工智能还可以为制造企业提供预测性维护，以优化生产线、提高质量控制和管理供应链物流。此外，人工智能可以通过个性化客户互动、管理库存、预测需求、促进销售和提高客户体验来支持零售行业。 此外，管理层还必须意识到，人工智能功能已经嵌入到企业可能已经使用的商用现货软件应用程序和常用搜索引擎中。人工智能治理缺乏明确的归属加剧了这些问题，通常导致监管碎片化，并难以将人工智能系统与企业整体商业战略保持一致。 利用 cobit 实现高效的 ai 系统治理 5 鉴于人工智能在自主影响运营、管理敏感数据以及大规模影响消费者体验方面的潜力，专门的治理框架至关重要。有效的AI治理确保人工智能系统与组织和社會道德相一致，保護數據隱私並維持合規性，同時管理與這些自主系統相關的獨特風險。 重申理由93还要求在要求时对高风险人工智能系统采取行动进行披露人们在交互时，当AI用于决策制定（例如，安全）。4 许多AI模型，特别是在深度学习领域，充当“黑箱”，这使得难以理解AI决策是如何做出的。这种缺乏透明度给问责制带来了挑战，侵蚀了用户、消费者和利益相关者之间的信任。采用可解释AI技术对于揭示模型逻辑、实现更负责任的AI使用以及符合不断发展的监管指南至关重要。 人工智能系统的风险与挑战 此外，违反数据保护和隐私法规和法律（例如欧盟通用数据保护条例[GDPR]或加利福尼亚州消费者隐私法[CCPA]）可能导致法律处罚和声誉损害。例如，人工智能用户可以通过使用ChatGPT有意或无意地泄露商业秘密和其他知识产权。5组织必须实施隐私保护技术，如数据匿名化和差分隐私，以保持合规。 为了实现人工智能的好处，组织必须应对其风险和挑战。首先，模型中的人工智能偏见可能源于使用的数据，这些数据可能反映系统性或历史性不平等或人类偏见。如果不受控制，有偏见的人工智能会导致具有法律后果的歧视行为，特别是在招聘或贷款等敏感应用中。例如，在萨斯诉 majer, lindsey & 非洲有限公司,1原告声称公司的算法偏见导致她被筛除在就业机会之外。法国也有一个案例，旨在检测最有可能实施福利欺诈的算法导致对低收入人群的歧视指控。2缓解此风险需要刻意进行偏差测试以及定期对训练数据和模型行为进行审计。 人工智能系统容易受到更复杂的网络攻击，包括那些故意操纵模型输入以产生错误输出的对抗性攻击。例如，更改图像中的几个像素可能会欺骗人工智能模型，并可能错误分类关键信息。这种形式的对抗性攻击可能会在深度神经网络中使停车标志被感知为限速标志。6此外，模型反转攻击也带来了从训练模型中提取敏感数据的风险。这种风险使得组织采用与人工智能系统相关的整体治理和管理实践变得至关重要。 此外，许多人工智能模型，尤其是在深度学习领域，充当“黑箱”，这使得难以理解人工智能决策是如何做出的。这种缺乏透明度对责任追究构成挑战，侵蚀了用户、消费者和利益相关者之间的信任。应用可解释人工智能技术对于揭示模型逻辑、实现更负责任的人工智能使用以及遵守不断发展的监管指南至关重要。欧盟人工智能法案第50条规定了人工智能系统提供者和部署者对透明度的期望。3 6 利用 cobit 实现有效的 ai 系统治理 治理指导示例 标准，组织可以建立利益相关者信任，简化合规，并主动管理潜在的人工智能相关风险，从而将自己定位为负责任的人工智能使用领域的领导者。 一些人工智能治理框架、标准和法律已经出现，以应对伦理使用、安全、问责制和公平，包括： •欧盟人工智能法案是由欧盟提出的综合性监管框架，根据风险等级对人工智能系统进行分类，并对可接受的使用实施严格要求。10使用被归类为高风险的AI应用程序（例如用于医疗保健或金融领域的应用程序）的组织必须实施严格的合规流程，以满足该法案的严格要求。非合规可能导致罚款，类似于GDPR下发布的处罚。 •经济合作与发展组织（OECD）的人工智能原则强调人工智能应用中的人权、民主价值观、透明度和问责制。7这些原则指导组织确保负责任和道德地使用人工智能。通过使人工智能计划与这些原则保持一致，企业可以获得公众信任并避免潜在的道德和法律陷阱。最小化偏差的透明人工智能系统可以提高客户满意度和品牌忠诚度，而未能满足这些期望的系统则可能导致声誉损害、法律后果或监管审查。然而，如果没有可执行的措施，遵守仅依赖于组织自愿的承诺。 通过主动遵循这一指导方针，企业可以降低受到处罚的风险，提升作为可靠组织的声誉，并吸引更多关注数据隐私和人工智能伦理使用的客户群体。虽然它为人工智能的伦理和责任使用提供了一种结构化的方法，但它可能缺乏对快速发展的技术的灵活性。 •在美国，美国国家标准与技术研究院（NIST）的人工智能风险管理框架（AI RMF）侧重于管理人工智能相关的网络安全风险。8美国国家标准与技术研究院（nist）的框架为组织提供了一种结构化的方法来开发安全、弹性且符合网络安全最佳实践的人工智能系统。采用nist人工智能风险管理框架（airmf）可降低组织其人工智能系统遭受网络攻击或数据泄露的风险，否则可能导致财务损失、声誉损害、监管不合规和客户信任度下降。 通过主动遵循这一指导方针，企业可以降低受到处罚的风险，提升作为值得信赖组织的声誉，并吸引更多关注数据隐私和人工智能伦理使用的客户群体。 覆盖范围空白 虽然这些示例为人工智能治理提供了坚实的基础，但仍存在显著差距。国家间的协调有限，导致监管和边境执法不一致。例如，《欧盟人工智能法案》强调了高风险人工智能系统严格的控制和风险管理实践。其他地区可能有更宽松的标准，或完全缺乏全面的人工智能治理。这些差异可能为在多个地区运营的组织带来挑战，因为这些组织必须应对一个可能相互冲突或缺乏互操作性的复杂法规网络。不一致的监管方法会产生不确定性，使合规工作变得复杂，并 •ISO/IEC 42001：2023 是一个全球标准，围绕创建人工智能管理系统（AIMS）展开，并包含对风险评估、透明度和数据治理的具体要求。该标准强调结构化风险管理的重要性，并鼓励组织分析并记录其人工智能系统的社会、环境和数据隐私影响。9此外，ISO/IEC 42001支持持续改进的文化，要求组织定期审查其AI流程，以与行业最佳实践和监管期望保持一致。通过采用这种 7 利用 cobit 实现有效的 ai 系统治理 然而，最关键的差距却存在于组织内部，即经常缺乏对人工智能治理的明确所有权。董事会和高级管理层必须理解人工智能的益处和风险，以帮助确保问责制和责任角色得到明确界定，避免分片式监管，这可能会阻碍组织全面理解人工智能对其运营的更广泛影响。 增加企业根据不同国际标准定制其人工智能治理策略所需运营成本。 国家间协调有限导致了法规和边境执法。在不一致的r中 某些行业，例如医疗保健行业，在人工智能治理方面取得了重大进展，这得益于确保人工智能驱动的医疗应用中患者安全、数据隐私和道德决策的迫切需要。11 董事会和执行管理层必须理解o以帮助确保负责人工智能的益处、风险和应负责的角色都得到了明确界定，以避免碎片化的监管，这可能阻碍组织全面理解人工智能对其运营的更广泛影响。 金融和教育等行业发展滞后，缺乏能够应对AI在这些领域所带来的风险的全面治理模式。例如在教育领域，AI已被用于个性化学习和提高管理效率，但确保公平、透明和缓解偏见等治理标准仍处于起步阶段。12这个行业分歧未能解决潜在风险，特别是在伦理使用、偏见和数据安全方面。 没有明确的所有权，关键利益相关者，包括it高管，领导者、合规官和业务经验丰富者可能未能将人工智能系统与组织的政策和管理整体战略相一致。这种不一致可能导致实施脱节、效率低下，以及对人工智能部署相关的风险和机遇缺乏清晰的了解。 COBIT框架概述 域和目标 随着人工智能技术的不断发展，对适应性治理框架的需求也会持续增长。COBIT框架可以通过提供一种全面的人工智能治理方法来解决这些差距。其主要目标是帮助组织将IT与业务目标相结合，管理风险，并确保资源的最佳利用。 COBIT被划分为五个关键领域（图1）。这些领域包括40项旨在管理IT相关活动的目标，范围从战略规划到日常运营和绩效监控。 COBIT通过为信息和技术的治理和管理提供全面的框架来实现这一点。它强调问责制和责任感，以帮助组织优化其信息和技术的投资价值，以降低相关风险。 11价格II，W.;“医疗保健中人工智能的风险和补救措施”，布鲁金斯学会，2019年11月14日，https://www.brookings.edu/articles/risks- and-remedies-for-artificial-intelligence-in-health-care/12 Q.ai；《人工智能在各个行业的应用》，福布斯，2023年1月6日，https://www.forbes.com/