弥合差距：为何生成式AI中的偏见是必须立即应对的多样性、公平性和包容性挑战

010203040506070809内容执行摘要生成式人工智能中的偏见：一个必须解决的风险生成式人工智能中的偏见：它从何而来，如何表现，以及为什么重要使 GenAI 更加公平：一种跨组织的方法来处理科技，以及人们案例研究：微软的RAI实践要点和建议参考文献调查方法致谢 (特隆尼尔等,2024年,第3页)在本白皮书中，我们将GenAI中的偏见与多样性、公平性和包容性定义为：数据、算法或机器学习模型对结果解释中存在的系统性和非随机性误差，导致不公平的结果，例如偏袒一部分任意用户群体而另一些用户群体。未经过检查，GenAI中的偏见有可能持续并甚至放大对社区某些群体的不公平结果，并助长社会不公。预计在未来12个月内，GenAI在商业和社会中的集成和部署将飙升，释放出可能为全球经济贡献数万亿美元生产力的增长。然而，尽管组织正在拥抱这项变革性技术的承诺，对其相关风险的关注度也在不断增加。在这些风险中，GenAI训练数据、开发和输出中的偏见正被认识到是一种可能威胁，阻碍其公平、公正和包容性使用。本报告汇集了IMD、微软和EqualVoice的专业知识，阐述了与多样性、公平性和包容性相关的GenAI中的偏见风险。它还分享了作者于2024年主持的对高管和企业领袖的专有调查的一些发现。我们的调查关键洞察表明，尽管大多数领导者对GenAI的机会持乐观态度，但大多数人对偏见感到担忧，并不认为他们的组织正在为应对风险做出足够的努力。我们发现： 72%71%只有9%仅5%担心在 GenAI 中的偏差。•基因人工智能领域中，围绕偏见的组织意识、能力和问责制将如何继续向前扩展？•是否存在一套清晰阐述的、与组织价值观和流程相一致的责任人工智能原则？该报告以一系列关键问题结尾，我们邀请领导者们紧急考虑。这些问题包括：不要相信他们的组织在这一点上正在做足够的事情来减轻 GenAI 中的偏见。•人类中心价值观目前如何在GenAI的训练、设计和部署中得以坚持？•目前，组织内部伦理AI的责任由谁承担？强烈同意他们的现有组织治理框架有助于减轻偏见。很有能力发现 GenAI 中的偏见数据、开发或部署。这些发现强调了采取措施解决与多样性、公平性和包容性相关的GenAI中偏见的重要性。在本报告中，我们为组织提出了几项可行的建议：需要一个全面纳入流程、技术和人员的组织方法来应对偏见。我们强烈主张将多元、公平与包容性框架与负责任的AI实践相结合，以增强对GenAI中偏见的认识，并培养跨职能的技能、能力和问责制来应对它。 1执行摘要 5 2生成式人工智能中的偏见：一个必须解决的风险 人类在决策中倾向于犯系统性错误，因为我们并不总是有意识地控制我们全部的感知，这影响了我们的印象形成和做出的判断。这些系统性错误被称为偏见（Greenwald & Krieger,2006；Kahneman，2013）。偏见可以被嵌入到组织系统和流程中（Fleischmann & van Zanten，2024），并且会对行为、决策和互动产生重大影响，当它们与刻板印象相关联时，经常导致歧视。研究发现，偏见影响，例如，就业决策、医疗保健互动和刑事司法结果。偏见、刻板印象、代表性不足以及其对群体和社区的影响 8• 确认偏误：对证实初始判断或刻板印象的信息更为开放，并淡化与之矛盾的数据（尼克森，1998）。随着 GenAI 加速融入数字工作流程、决策过程和工作产品创建中，未来的机遇将倍增。风险也同样会倍增。其中一些风险源于 GenAI 的黑盒特性，使其内部运作难以解读和理解。此外，它有效模仿人类对话和行为的能力，这一特性使得判断内容是否由机器生成越来越困难。因此，了解 GenAI 在其流程和决策中为何或何时出错，可能会变得更加具有挑战性。我们大脑欺骗我们做出错误假设的常见方式世界经济论坛预测，到2026年，全球80%以上的组织将使用GenAI（世界经济论坛，2024年），这种整合的指数级增长，根据麦肯锡（2023年）等机构的数据，将为全球经济带来数万亿美元的生产力提升。• 刻板印象：对特定群体成员特征所持的负面或正面假设，关于他们的“本质”或他们应该如何是或行为（Koch 等人，2015）。 “只有男性玩电子游戏”是一种常见的刻板印象，但实际上，将近一半的玩家是女性。2020年代初，生成式人工智能（GenAI）成为一项技术突破。一系列创新浪潮正在改变人类社会，并改变我们的生活方式和工作方式。 (特隆尼尔等,2024年,第3页)数据、算法或机器学习模型对结果解释中存在的系统性和非随机性误差，导致不公平的结果，例如偏袒一部分任意用户群体而另一些用户群体。这个问题是有原因的，因为生成式人工智能易受人类、社会和统计偏差的影响，这些偏差根植于训练数据、生成式人工智能模型的设计和开发，以及结果的解释和部署。在本白皮书中，我们将GenAI中的偏见与多样性、公平性和包容性定义为：• 内群体偏见：信任、关联，并与相似的个人或群体有更强的亲和力（Greenwald & Krieger, 2006）。• 锚定偏见或光环效应：坚持第一印象和不相关的数据，而不是寻找关于某人的替代信息来源（Tversky & Kahneman, 1974）。• 偏见盲点：在他人身上看到偏见，而相信自己没有偏见（托马斯 & 雷曼，2023）。 来源：Choi & Mattingly, 2022; Correll 等人, 2020; Guzikevits 等人, 2024•女性患者比男性患者较少被开具止痛药物——这种差距即使考虑了患者报告的疼痛评分仍然存在。•2.7%的美国抵押贷款被拒绝给黑人，相比之下，白人为13.6%。•在绩效评估中，男性和女性往往以刻板印象的方式描述（“乐于助人”与“负责领导”），这导致女性的评分较低——但男性的评分并未降低。 • 算法系统偏差的来源。鉴于这种复杂性，组织必须主动采取措施来应对和减轻由偏见带来的风险，这些措施涵盖了技术本身以及组织治理、流程和人员。•生成式人工智能中的偏见对组织和社会构成的风险。本文利用了其作者们的多样化专业知识以及来自高管的调查数据（参见调查方法，第60页），这些高管所在的组织已经开始将GenAI集成到他们的运营中，以更清晰地阐明：•偏见如何在GenAI的数据、开发和应用中体现。偏见可能导致针对特定人群的歧视，包括人口统计群体、社会群体以及社区中的边缘化部分。与多元化、公平性和包容性相关的GenAI中的偏见，对这一技术在组织和社会范围内的公平公正使用构成了严重风险。不受控制的情况下，GenAI中的偏见有可能持续甚至放大有害的刻板印象，并产生基于种族、性别、年龄、性取向、信仰、文化或身体和心理健康能力等特征而损害社会群体和社会部分的结果。黑盒决策流程和超复杂技术可能使识别过程变得困难。而且，GenAI所带来的真正益处——即生成并非唯一正确答案，而是一系列创意输出的能力——意味着偏见可能以不同方式显现——有些显而易见，有些则不那么明显。同时，该技术正以如此快的速度扩展，以至于组织难以跟上步伐。•高管和组织如何看待其中一些风险。解决生成式人工智能中的偏见需要一个多方面的方法，涉及技术、组织和道德措施。 来源：IMD、微软和EqualVoice联合调查GenAI会加剧并扩大偏见，还是会帮助我们减少它？生成式人工智能将永续并且增加偏差我们调查的一些领导者对如果我们采取果断行动，将能够利用通用人工智能工具来识别偏见并帮助减轻我们在组织和社会中存在的偏见表示有希望。当被问及对通用人工智能是否会加剧偏见还是帮助我们减轻偏见的预测时，受访的执行官认为平均来看稍微乐观一些。本文旨在进一步推动公平、包容和负责任地使用通用人工智能。为确保生成式人工智能中的偏见不会对代表性不足的群体产生不利影响，利益相关者必须制定保护措施以最小化伴随的 risk。这包括定义原则、治理框架和缓解流程，以及在技术领域快速开发新的伦理能力。这将需要提升人工智能工程师、产品经理、商业分析师、软件开发人员和测试工程师的技能，使他们能够思考公平、包容和伦理上有效的数字产品。 72%71%76%•高管们对通用人工智能及其潜在益处感到压倒性的乐观。•压倒多数的人认为，他们的组织在应对这一挑战上仍然做得不够。对GenAI的潜力感到乐观，可以做善事。需要更多措施来解决与DE&I相关的GenAI中的偏见影响•同时，人们普遍关注与DE&I相关的GenAI系统中的偏见。来源：IMD、微软和EqualVoice 2024年调查（参见调查方法，第60页）。本文还分享了可信赖的人工智能治理框架和风险缓解协议中的行业最佳实践，以及重点关注组织文化和领导力的建议。相信他们的组织没有足够做来减轻 GenAI 中的偏见。应对生成式人工智能中的偏见需要一种原则性的、跨部门协作的方法；这种方法基于跨学科合作，同时利用组织内不同群体、观点和专业知识，并优先考虑培训和教育工作。本白皮书的重点是偏见对多元性的影响，是对领导者和决策者采取果断行动和立即行动的呼吁。我们对调查的反馈指出了三个主要发现：担心 GenAI 中的偏差以及潜在的公平问题——对于女性高管而言，这一比例上升到 82%。 12GenAI在更广泛的AI领域处于什么位置？机器学习算法可用于数据的分类、回归和基于相似性的聚类，并且随着时间的推移已被部署在各种应用中，执行从推荐系统到销售预测等多样化的任务。人工智能是计算机科学的一个领域，旨在创造能够复制或超越人类智能传统任务的智能系统。生成式人工智能代表了人工智能发展的巨大飞跃，从快速原型设计和生产准备，跨多个用例和行业，到革新药物发现并为医药及其他领域开辟新的途径和可能性。在人工智能的广阔领域内，机器学习（ML）使这些系统能够识别现有数据中的模式，并利用它们创建能够做出预测的数据模型。机器学习技术的一个子集是深度学习，一种使用人工神经网络来学习基于其训练数据的复杂表示的机器学习类型。深度学习的进步导致了我们现在称之为的通用人工智能（GenAI），这是一个利用基于转换器的深度学习模型（称为大型语言模型（LLM）或小型语言模型（SLM））的人工智能领域。这些系统在庞大的多模态数据集上进行训练，以根据提示创建新的书面、视觉或听觉内容。 143生成式人工智能中的偏见：它从何而来，如何表现，以及为什么重要 • 设计和开发流程。偏见、不公正、歧视和社会不平等是现实生活中的事实。偏见通过以下方式渗透到生成式人工智能中：•将带有偏见的输出部署回现实世界，有可能持续和放大不平等。•反映社会刻板印象的训练数据集，以及放大不平等代表的倾斜数据集。现实世界的偏见被输入到生成式人工智能系统中，并在人工智能系统基于偏见创建新输出时返回到现实世界。它们从现实世界重新进入训练数据，这个过程会不断循环。偏见的风险在于它会被生成式人工智能放大，并在大规模上持续这些刻板印象，从而扩大在公平、代表性和平等方面现有的差距。源于现实世界中不平等和歧视的偏见，在GenAI训练数据中得到了反映。 歧视性数据应用不公扭曲的设计和开发实践有偏见的输出具有影响现实世界决策的潜力，特别是如果用户不常规地质疑其有效性。这反过来又会驱动有偏见反馈循环的风险：具有现实世界后果的AI驱动决策可能会进入新的训练数据中，进一步扭曲结果。这些结果可以重新进入训练，这会形成一个恶性循环，其中歧视和不公平被放大。每秒钟都有海量的电子数据在全球生成。这些数据并不总是公平地代表社群或人口群体，并且常常反映现实世界中的社会偏见。全球媒体监测项目（2020年）的研究揭示，例如，只有25%的全球新闻和媒体关注女性。用于训练LLM的数据集容易受到选择性策展的影响，而旧数据集更容易受到历史偏见的影响。关于收集、标记、分类和存储以用于训练集的数据的主观决策，也可能导致不同群体在数据中的代表性存在差异。与此同时，LLM通常只能访问所有全球可用数据的一小部分——世界的一个狭窄的“快照”，其中信息片段（和社群）被无意中排除在外。人工智能工程仍然不成比例地由一个群体主导：白人男性（Kassova，2023）。当设计团队本身缺乏多样性