与合作三菱化学控股公司聊天机器人重置管理在医疗保健中负责任地使用对话式人工智能的框架D E C E M B E R 2 0 2 0 聊天机器人 RESET 一个框架，用于管理在医疗保健中负责任地使用对话式人工智能2封面：肖恩·安东尼·埃迪/盖蒂图片社内部：Cyano66/Getty Images、Marco VDM/Getty Images、Filadendron/Getty Images、Portra/Getty Images内容3 前言5执行摘要61 医疗保健中的聊天机器人72 聊天机器人 RESET 项目83 聊天机器人在医疗保健中的应用10在 COVID-19 及以后采用聊天机器人11治理差距134 聊天机器人 RESET 框架14利益相关者的类型14在医疗保健中使用聊天机器人的阶段15聊天机器人的类型175 聊天机器人重置：原则206 聊天机器人重置：操作化20跨越原则的操作化行动21安全/非恶意22功效23数据保护24人力资源中介25问责制26透明度27公平28可解释性29正直30包容性31结论32附录：人工智能和医疗伦理原则34 位贡献者36 尾注© 2020 世界经济论坛。版权所有。不得以任何形式或通过任何方式（包括影印和录制）或通过任何信息存储和检索系统复制或传播本出版物的任何部分。 聊天机器人 RESET 一个框架，用于管理在医疗保健中负责任地使用对话式人工智能32020 年 12 月聊天机器人重置管理在医疗保健中负责任地使用对话式人工智能的框架前言拉里·迈克斯纳三菱化学控股公司首席创新官兼首席技术官；董事会成员，三菱田边制药公司全球 COVID-19 大流行突显了医疗保健对人类、社会和地球可持续福祉的重要性。这与三菱化学控股株式会社 (MCHC) 的企业理念“KAITEKI”完全吻合。我们长期致力于这些概念，不仅在紧急情况下。人工智能 (AI) 正在推动包括医疗保健在内的许多领域的变革性进步。然而，即使这样的第四次工业革命技术显示出解决社会问题的能力，我们也必须意识到当技术发展速度超过我们管理它们的能力时出现的差距。这种认可促使 MCHC 与世界经济论坛合作启动和支持 Chatbots RESET 项目，并聘请我们公司的一名研究员共同领导该项目。Chatbots RESET 框架反映了项目社区数月的努力，众多利益相关者的贡献带来了他们不同的观点来应对关键的治理挑战。该框架中的原则和建议的行动旨在成为实施对话式人工智能系统以解决医疗保健问题的道德“护栏”。我们相信这个框架可以帮助促进和产生负责任地使用医疗保健技术的例子。Shobana Kamineni 执行副主席，阿波罗医院在医疗保健中使用人工智能和聊天机器人是当今时代的真实反映，当时世界不得不迅速转向数字系统。尽管最近该领域的技术进步不断，但大流行迫使我们相当突然地采用和使用它。在 Apollo 247 – Apollo Hospitals 的数字健康平台– 我们已经能够成功地使用这些技术，并在很短的时间内接触到数百万人。世界经济论坛第四次工业革命中心开展了这项及时而令人印象深刻的工作来制定框架以及在医疗保健中开发和使用聊天机器人的指导原则。医疗保健聊天机器人系统可以改善和增强可访问性（到达最后一英里）、增强有效交互、更快、更准确地提供护理。但是，它必须是安全的，维护用户的隐私和完整性，并以公平和包容的方式。因此，指导这一新领域的开发者、用户和监管者的生态系统仍然是首要目标。我坚信这个框架是在适当的时候开发的，可以为生态系统提供指路明灯，并将对生态系统产生深远的帮助。 聊天机器人 RESET 一个框架，用于管理在医疗保健中负责任地使用对话式人工智能4基兰·托马斯Jio 平台有限公司首席执行官宽带连接、移动设备、云计算和人工智能等数字技术的指数级发展已经改变了人类生活的方方面面。数字技术已经用于提供价格实惠且易于使用的性价比体验包不仅仅是少数特权人士，而是全球数十亿人。但是，人类许多根深蒂固的问题的解决方案受到了相对限制缺乏熟练的人力。一个突出的例子是医疗保健，它一直依赖于训练有素的医生。但现代人工智能服务与智能传感器相结合，在补充甚至替代方面取得了长足进步对于人类医生。这克服了阻碍发展中国家、农村人口和其他难以服务的社区广泛获得高质量医疗保健的关键制约因素。即便如此，医疗保健是一个敏感领域，需要适当考虑安全、安保和隐私。幸运的是，医疗保健领域有健全的标准、行为准则和道德规范经过几个世纪的人类经验演变。本白皮书是及时且受欢迎的努力，旨在创建一个全面的框架，使技术监管机构和开发人员很容易将这些概念化并融入未来的人工智能解决方案中。CP Gurnani 董事总经理兼首席执行官，Tech Mahindra当世界与一个看不见的敌人作战时，人类的变化是人工智能及其对人类知识的增强义不容辞的。从药物发现到患者护理——世界见证了人工智能及其许多原则在抗击这一流行病的行动。虽然人工智能是新的电力，而数据是新的燃料，但我们已经意识到，增强污染 (AP) 的实现。这种认识反映了该技术的恶意使用。在人工智能可能对无数案例有用的地方，世界也见证了许多场景，其中人工智能的使用没有透明度、没有同理心和没有适当的控制会导致严重的破坏，如深度伪造、恶意聊天机器人等。在我们反思这一变化时，我很高兴地介绍一个治理框架，以负责任地使用对话式人工智能系统进行医疗保健，这是世界经济论坛及其合作伙伴公司领导的一项倡议。该框架提供了领先的人工智能专家对聊天机器人创建阶段、遵守安全性、有效性、可解释性、数据保护等原则的见解，最重要的是，它的操作化。我真的相信我们正处于变革的边缘，而变革需要技术社区的持续努力，以坚持负责任和合乎道德地使用人工智能的原则。我希望这些原则能为您提供必要的见解，以便在现实生活中的医疗保健场景中实际实施聊天机器人。 执行摘要聊天机器人或对话式人工智能 (AI) 系统越来越多地被组织用于通过嵌入以自然且易于使用的方式与客户沟通网站、社交网络应用程序、智能家居设备等中的聊天机器人。COVID-19 大流行加速了聊天机器人在医疗保健应用中的采用。例如，世界卫生组织和疾病控制中心都部署了聊天机器人来传播冠状病毒信息和检查症状。许多政府和医疗保健提供者也是如此。除了大流行之外，由于聊天机器人带来的访问和成本优势，医疗保健应用程序的采用率可能会持续下去。当一项新技术被引入医疗保健领域时，尤其是基于人工智能的技术，它会引起细致的审查，聊天机器人也不例外。与聊天机器人交换敏感的健康信息是需要谨慎处理的众多治理挑战之一考虑以促进在医疗保健中负责任地使用聊天机器人。除了公平性和可解释性等经典 AI 挑战外，其他挑战还包括性能保证、患者考虑、合法性、隐私和安全性。为了应对这些治理挑战，今年早些时候，世界经济论坛组建了一个多利益相关方社区，该社区共同创建了聊天机器人 RESET，一个用于管理在医疗保健中负责任地使用聊天机器人的框架。Chatbots RESET 框架由两部分组成：（1）从人工智能伦理和医疗伦理原则中精心挑选的 10 条原则，并在医疗保健中使用聊天机器人的背景下进行解释； (2) 运营行动以建议的形式在部署的各个阶段实施每项原则医疗保健中的聊天机器人。该框架是三组利益相关者的可操作指南，以促进在医疗保健应用程序中负责任地使用聊天机器人：技术开发人员、医疗保健提供者和政府监管机构。在聊天机器人 RESET 框架中，聊天机器人开发人员将发现他们可以在项目开发过程中整合的操作，以创建更负责任的聊天机器人实施；医疗保健提供者可以将框架中的行动整合到他们的工作流程中，以促进负责任的部署；监管机构可以选择与其国家战略产生共鸣的行动，以确保负责任地扩大聊天机器人技术。展望未来，论坛的几个合作伙伴将试用聊天机器人 RESET 框架。试点结果，包括对框架的反馈和改进，将在未来的出版物中分享。聊天机器人 RESET 一个管理对话式人工智能负责任使用的框架卫生保健5 1医疗保健中的聊天机器人聊天机器人是一种人工智能程序，旨在通过语音界面或短信以自然的方式与人交谈。聊天机器人通常出现在网站、应用程序或即时消息中。聊天机器人主要用于技术支持和潜在客户生成。在医疗保健领域，聊天机器人可以通过多种方式与患者互动，包括导航常见问题、寻找医生或服务、安排预约、促进症状检查、在紧急护理中进行分诊、帮助准备程序并确保遵守岗位-出院说明。聊天机器人还可以充当医生的虚拟助手，减轻医生的管理负担并让他们轻松访问患者健康记录（有关更全面的应用程序列表，请参见图 1）。聊天机器人在医疗保健中的这些使用可以带来更好的护理管理和客户参与。但是，可能会出现几个问题，例如聊天机器人和客户之间的沟通不畅，客户在与聊天机器人交互时认为选择减少，以及在与聊天机器人与人类交互时忽视客户偏好。更严重的问题包括不正确/不良的指导、错误的诊断或未能及时干预。重要的是要慎重管理聊天机器人在医疗保健中的部署，以避免这些问题并确保信任、透明度和可靠性和安全。什么是聊天机器人，你为什么要关心？AIML 基金会将聊天机器人定义为“旨在以自然语言响应文本或语音输入的计算机程序”。聊天机器人也被称为会话 AI 或会话代理。通常，聊天机器人预先加载了一组规则或使用数据进行预训练，以便能够与用户实时进行有意义的对话并在此过程中提供有用的服务。在网站上寻求帮助或技术支持时，您可能会遇到聊天机器人——它们通常链接到网站右下角的“聊天”图标。您可能还会在家中与之交谈的智能家居设备。当您与聊天机器人交谈时，您正在与 AI 系统交谈。尽管您可能会发现今天的聊天机器人的功能有限，但聊天机器人技术正在快速发展，很快您可能无法区分自动化系统和人类。如果您的聊天主题是医疗保健，这可能会产生重大影响。聊天机器人 RESET 一个管理对话式人工智能负责任使用的框架卫生保健6 2聊天机器人 RESET 项目世界经济论坛聊天机器人 RESET 项目的目标是通过将聊天机器人开发人员、聊天机器人平台、医学界、民间社会、学术界和医疗保健监管机构聚集在一起，为负责任地在医疗保健领域使用聊天机器人设计一个治理框架。通过设计、试点和扩展框架，我们努力实现聊天机器人在医疗保健领域的广泛采用，最大限度地发挥其有益用途，同时最大限度地减少负面后果。Chatbots RESET 项目于 2020 年 1 月启动，最初的想法是用 RESET（Reveal、Escalate、Substitute、Explain和跟踪）。此后不久，聊天机器人的重要性变得显而易见，因为它们越来越多地用于传播有关 COVID-19 和冠状病毒的精选信息。 2020 年 3 月，论坛举办了题为“冠状病毒及其他领域的聊天机器人”的小组讨论，其中包括来自专家组的深入讨论初创企业、平台提供商和政府1.讨论强调了该技术的有益用途及其对医疗保健产生积极影响的潜力。 2020年5月，该论坛将全球专家聚集在一个设计研讨会上，就潜在用途、问题和利益相关者的行动进行头脑风暴，以最大限度地提高医疗保健中使用聊天机器人的积极影响并最大限度地减少负面后果。在 5 月研讨会之后，多利益相关方项目社区开始通过一系列虚拟会议共同创建治理框架。这项工作的结果是聊天机器人 RESET 治理框架，其中包含 10 条原则和 75 条建议措施，是本文的主要重点。正在与来自不同利益相关者社区的合作伙伴合作，在实际用例中试行该框架。试点的结果将在随后的出版物中分享。对话式人工智能在医疗保健领域大有希望，但也存在可能对患者护理产生直接影响的潜在风险和危害。因此，为聊天机器人创建治理框架是当务之急。这项工作提供了一份全球指南，使利益相关者组织能够确保他们在医疗保健中使用聊天机器人时的有效性、安全性、隐私和其他道德考虑，并建立公众对该技术的信任。– Kay Firth-Butterfield，世界经济论坛人工智能和机器学习负责人聊天机器人 RESET 一个管理对话式人工智能负责任使用的框架卫生保健7 聊天机器人在医疗保健中的应用在 COVID-19 大流行相关信息传播需求的推动下