人工智能伦理治理研究报告（2023年）

(2023年) 中国信息通信研究院知识产权与创新发展中心中国信息通信研究院科技伦理研究中心2023年12月 版权声明 本报告版权属于中国信息通信研究院，并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的，应注明“来源：中国信息通信研究院”。违反上述声明者，本院将追究其相关法律责任。 前言 伴随人工智能的迅速发展和广泛应用，人类正在进入一个“人机物”相融合的万物智能互联时代，人工智能技术的应用在给人们带来生活和工作便利的同时，也带来了系列伦理挑战。2022年3月，中共中央办公厅国务院办公厅印发《关于加强科技伦理治理的意见》，对科技伦理治理工作进行了系统部署，将人工智能列入科技伦理治理的重点领域。 人工智能伦理是开展人工智能研究、设计、开发、服务和使用等活动需要遵循的价值理念和行为规范。人工智能技术的突破发展，引发了技术应用的伦理争议，特别是生成式人工智能技术的发展应用引发了偏见歧视、隐私侵犯、责任不明、虚假内容传播等伦理挑战。 为应对人工智能技术应用带来的风险，世界各国积极推动人工智能伦理国际治理合作。各国政府通过出台人工智能伦理原则、发布人工智能伦理治理指引、提供技术治理工具等加强本国本地区的人工智能伦理治理监管。我国通过积极完善人工智能伦理制度规范，探索人工智能伦理治理技术化、工程化、标准化落地措施，加强人工智能治理国际合作等举措推动人工智能向善发展。 人工智能伦理治理是多主体协作的全流程治理，是以敏捷机制协调人工智能发展与安全的重要治理模式。未来一段时期，人工智能伦理治理将与产业创新活动增强协调；多学科多主体参与、分类分级治理、技术工具开发等措施将有效推动人工智能伦理治理机制完善；全民科技伦理素养的提升将有效防范人工智能伦理风险；全球人工智能 伦理治理合作也将推动人工智能技术造福人类。 中国信息通信研究院首次发布《人工智能伦理治理研究报告》蓝皮书。本报告在总结分析人工智能伦理治理相关特点的基础上，对人工智能生成内容、自动驾驶、智慧医疗三个典型应用场景的伦理风险进行分析，并结合国内外人工智能伦理治理实践，提出人工智能伦理治理的四点展望，以期为更加广泛深入的讨论提供参考。 目录 一、人工智能伦理治理概述............................................1（一）人工智能伦理的概念与特点....................................1（二）人工智能伦理治理的必要性....................................2二、人工智能伦理治理关切............................................5（一）人工智能伦理挑战............................................5（二）典型应用场景的人工智能伦理风险..............................7三、人工智能伦理治理实践...........................................12（一）国际组织人工智能伦理治理方案...............................12（二）域外国家和地区人工智能伦理治理机制.........................13（三）我国人工智能伦理治理实践...................................17四、人工智能伦理治理展望...........................................21（一）协调人工智能产业创新发展与伦理治理.........................21（二）完善人工智能伦理治理举措...................................21（三）提升各主体人工智能伦理风险应对能力.........................23（四）加强人工智能伦理治理国际交流合作...........................23 一、人工智能伦理治理概述 （一）人工智能伦理的概念与特点 “伦理”是人的行为准则，是人与人之间和人与社会的义务，也是每个人源于道德的社会责任1。伦理作为价值规范，为不同场景的行为提供引导。在科技活动中，伦理从价值引导和实践规范层面指导技术研发应用。 人工智能伦理是开展人工智能研究、设计、开发、服务和使用等科技活动需要遵循的价值理念和行为规范。人工智能伦理关注技术的“真”与“善”，并为人工智能发展提供更广阔的讨论空间。人工智能伦理包含价值目标与行为要求两个方面。在价值目标上，人工智能伦理要求人工智能各阶段活动以增进人类福祉、尊重生命权利、坚持公平公正、尊重隐私等为目标。在行为要求上，人工智能伦理要求人工智能技术做到安全可控、透明可解释，在人工智能研发应用各环节强化人类责任担当，提倡鼓励多方参与和合作。 人工智能伦理呈现出哲学性、技术性、全球性三大特点。一是人工智能伦理拓展了人类道德哲学反思的边界。人工智能伦理蕴含了人与机器相互关系的伦理思考，拓展人类关于善、理性、情感等问题的探索。人工智能伦理的讨论既包含了对人工智能主体、人格、情感方面的本体伦理问题研究，也关注人工智能应用是否符合社会道德要求。关于人工智能伦理的讨论体现着当代人对社会生活的价值理想，将人与人交往的伦理规范扩展至人与技术交互的反思。二是人工智能伦理 与人工智能技术的发展应用密切相关。从1940年人工智能第一次浪潮中阿西莫夫提出“机器人三原则”，到2004年人工智能第三次浪潮中机器人伦理学研讨会正式提出“机器人伦理学”2，再到目前，人工智能伦理已成为政府、产业界、学界等共同关注的议题。伴随深度学习算法的演进以及人工智能技术应用领域的拓展，人工智能伦理关注算法技术风险和技术应用危机的防范。在“强人工智能”时代到来前，人工智能伦理主要关注歧视偏见、算法“黑箱”、技术滥用、数据不当收集等问题。但随着大模型技术的发展，人工智能伦理讨论的议题也不断深化。三是增进人类福祉是人工智能伦理的全球共识。不同于传统伦理观念受地区历史传统文化的影响产生的差异，人工智能技术的发展和应用带来了全球性伦理挑战。目前，社会偏见、技术鸿沟、多样性危机等成为国际社会面临的共同挑战。以人为本、智能向善、促进可持续发展等已成为全球人工智能伦理共识。 （二）人工智能伦理治理的必要性 面对人工智能带来的风险，通过人工智能治理的多种机制促进人工智能健康发展已成为普遍共识。人工智能伦理治理是人工智能治理的重要组成部分，主要包括以人为本、公平非歧视、透明可解释、人类可控制、责任可追溯、可持续发展等内容。人工智能伦理治理能根据人工智能技术发展和应用情况，及时提出调整人与人工智能关系和应对人工智能风险的方法。人工智能伦理治理重点不在于关注对创新主体的最低义务要求，而在于推动“智能向善”的价值目标的实现。 1.通过伦理治理，加深关于“人工智能体”的哲学探讨 人工智能技术的发展和应用带来了新的主体“人工智能体”，即能在一定条件下模拟人类进行自主决策，与人和环境开展交互的技术体。大语言模型的发展，使得关注和应对“人工智能体”带来的伦理问题变得更加迫切。一是人类自主性受到挑战。工业时代，机械化的发展降低了人类体力型、重复型劳动的比例；智能时代，机器开始替代人类进行决策分析，从自动化向自主决策发展。人工智能从人类操控为主的“人在决策圈内”转向“人在决策圈外”3的智能体自主决策。二是人类自我认知受到冲击。人类因所具有的学习能力、创造力、个体的多样性、饱含情感等与机器存在不同。当前，大模型技术已具有自然语言交互和开展专业任务的能力，并能根据反馈进一步学习提升，与人的差异进一步缩小，对人类自身价值的认知面临冲击。三是人机关系进一步复杂化。与工业时代可视、可理解、可控制的工具不同，人工智能体具有自主学习能力，但可解释性不足，也可能产生不可控的人机伦理风险。同时，具身智能机器人、自动驾驶等的发展，推动人机交互实体化。随着人工智能技术向通用人工智能发展，有关人工智能体意识、人工智能体是否成为社会主体、人工智能体的法律地位等问题受到更多关注。有关人工智能与人类关系的问题引起包括技术专家、哲学家、科技企业家、科幻小说作者等的关注。如科幻小说作家艾萨克·阿西莫夫提出“机器人三定律”，提出人与机器交互的基本底线；人机协同工作模式的探索等。 2.通过伦理治理，应对人工智能应用风险 人工智能被视作促进经济发展、产业升级的重要推动力。然而，人工智能技术本身是否无害、人工智能技术应用的潜在危害仍然需要广泛探讨，伦理治理的包容性、跨学科性为风险的评估和应对提供空间。一是关于技术本身是否承载观念意志仍存在争议。同意技术中性（neutrality）的观点认为，技术是纯粹的科学应用，是自然规律与科学原理的反映。反对技术中性的观点认为，技术由人创造，具有社会属性和价值观念4。二是技术应用的“不中立”“非中性”不存在争议，技术的应用根据场景不同，其争议度有明显区别。一方面，人工智能技术应用被视作推动经济发展的重要力量，为工业、农业、服务业等升级转型提供了技术支撑。另一方面，人工智能伦理风险与其他技术风险叠加，且不同场景下的人工智能技术应用的伦理风险有明显差异。如在农业智慧化的场景下，人工智能技术与物联网等技术相结合，可对土壤、光照、病虫害等进行监测分析，实现对农业作业的指导、管理、优化等，对提高农作物产量和质量起到重要作用，总体风险较小。在互联网信息推送场景下，企业主体将数据与算法相结合，对用户偏好进行分析，进行个性化推荐，实现用户体验的提升与广告分发效率的提高；然而，个性化推荐可能造成的隐私、监控、信息茧房等伦理问题受到关注。 3.通过伦理治理，实现敏捷有效的风险规制 人工智能伦理治理具有灵活敏捷、包容开放的特点，与人工智能 全流程治理理念契合，成为人工智能治理的关键模式。从机制的灵活性上看，人工智能伦理治理是一种高适应性规范，与科技发展和伦理事件动态互动，能够进行快速调整。从参与主体上看，人工智能伦理治理是政府、产业、学界等多主体合作应对风险的机制，是以多主体参与为基本实践的治理模式。从治理工具上看，人工智能伦理治理包括了原则指导、规范指南、技术工具等丰富机制，能与人工智能研发和应用不同阶段的需要相配合。从治理介入阶段看，人工智能伦理治理融入研发到应用的全生命周期中，既能有效发挥向善价值的前置引导作用，也可借助风险评估和风险反馈机制及时调整技术发展与应用，为新技术匹配适宜的治理方式。 二、人工智能伦理治理关切 （一）人工智能伦理挑战 目前，人工智能引发的伦理挑战已从理论研讨变为现实风险。根据OECD AI Incidents Monitor的统计，仅2023年11月1个月，人工智能事件超过280件5。对人工智能伦理问题的关切覆盖人工智能全生命周期的各个阶段，需要从技术研发和应用部署6层面分析评估人工智能伦理风险。 在技术研发阶段，由于人工智能技术开发主体在数据获取和使用、算法设计、模型调优等方面还存在技术能力和管理方式的不足，可能产生偏见歧视、隐私泄露、错误信息、不可解释等伦理风险。偏见歧 视风险是由于训练人工智能的数据集存在偏见内容、缺乏多样性等数据集质量问题，以及算法对不同群体进行了非公平性设计等，产生歧视性算法决策或内容输出。隐私泄露风险是指使用包含未经同意的个人数据进行模型训练，继而引发模型输出内容可能产生侵犯隐私的风险。错误信息风险主要发生在人工智能基础模型中，由于大模型是根据前序文本对下一个词进行自回归预测生成，预测内容受前序文本影响较大，大模型可能产生“幻觉”（Hallucination），继而生成错误不可靠的内容。不可解释风险是指由于人工智能算法的复杂性和“黑箱性”，导致人工智能决策原因和过程的无法解释。在产品研发与应用阶段，人工智能产品所面向的具体领域、人工智能系统的部署应用范围等将影响人工智能伦理风险程度，并可能产生误用滥用、过度依赖、冲击教育