与合作三菱化学控股公司聊天机器人重置在医疗保健中负责任地使用对话式AI的框架D E C E M B E R 2 0 2 0 聊天机器人RESET用于管理医疗保健中对话式AI负责任使用的框架2封面：肖恩·安东尼·埃迪/盖蒂图片社内部：Cyano66 / Getty Images，Marco VDM / Getty Images，Filadendron / Getty Images，Portra / Getty Images内容3前言5执行摘要61医疗保健中的聊天机器人72 Chatbots RESET项目83聊天机器人在医疗保健中的应用10在COVID-19及以后期间采用聊天机器人11治理差距134 Chatbots RESET框架14利益相关者的类型14在医疗保健中使用聊天机器人的阶段15聊天机器人的类型175个聊天机器人重置：原理206个聊天机器人重置：可操作化20跨越原则的运营行动21安全/非恶意22功效23数据保护24人力资源中介25问责制26透明度27公平28可解释性29正直30包容性31结论32附录：AI和医疗保健道德原则34位贡献者36个尾注©2020世界经济论坛。版权所有。本出版物的任何部分均不得以任何形式或通过任何方式（包括影印和录制）或通过任何信息存储和检索系统进行复制或传播。 聊天机器人RESET用于管理医疗保健中对话式AI负责任使用的框架32020年12月聊天机器人重置在医疗保健中负责任地使用对话式AI的框架前言拉里·梅克斯纳（Larry Meixner）三菱化学控股公司首席创新官兼首席技术官；田边三菱董事会成员制药公司全球COVID-19大流行极大地缓解了医疗保健对于人类，社会和我们星球可持续发展的重要性。这与三菱化学控股公司（MCHC）的企业理念“ KAITEKI”完全吻合。我们长期致力于这些概念，而不仅仅是在紧急情况下。人工智能（AI）使包括医疗保健在内的许多领域都具有变革性的进步。然而，即使第四次工业革命技术显示出解决社会问题的能力，我们也必须意识到，当技术进步快于我们治理技术的能力时，就会出现差距。这种认可促使MCHC与世界经济论坛合作，发起并支持Chatbots RESET项目，并从我们公司选派一名研究员来共同领导该项目。Chatbots RESET框架反映了项目社区数月的努力，众多利益相关者的贡献使他们的不同观点可以应对关键的治理挑战。此框架中的原则和建议的操作被设计成道德的“护栏”，用于实施对话式AI系统以解决医疗保健问题。我们相信该框架可以帮助促进和生成在医疗保健中负责任地使用技术的示例。Shobana Kamineni阿波罗医院执行副主席在医疗保健领域中使用AI和聊天机器人是对当今时代的真实反映，当时世界不得不快速转向数字系统。尽管近来该领域的技术进步一直不懈，但这种大流行促使我们相当突然地采用和使用它。在阿波罗247号–阿波罗医院的数字健康平台–我们已经能够成功使用这些技术，并在很短的时间内达到数百万人。世界经济论坛第四次工业革命中心已经开展了这项及时而令人印象深刻的工作来制定框架以及在医疗保健中开发和使用聊天机器人的指导原则。医疗保健聊天机器人系统可以改善和增强可访问性（到达最后一英里），增强有效的交互作用，更快，更准确地提供护理。但是，它必须安全，维护用户的隐私和完整性并在公平和包容的方式。因此，引导这一新颖领域的开发人员，用户和监管者的生态系统仍然是最重要的目标。我坚信，此框架是在适当的时候开发的，旨在为生态系统提供指导，并将对生态系统产生深远的帮助。 聊天机器人RESET用于管理医疗保健中对话式AI负责任使用的框架4基兰·托马斯（Kiran Thomas）Jio Platforms Ltd首席执行官宽带连接，移动设备，云计算和AI等数字技术的指数级发展已经改变了人类生活的方方面面。数字技术有用于提供价格实惠且易于使用的价格性能体验套餐不仅有特权的少数人，而且惠及全球数十亿人。但是，许多根深蒂固的人类问题的解决方案却受到相对者的限制。缺乏熟练的人力。一个突出的例子是医疗保健，它一直依赖于训练有素的医生。但是，现代AI服务与智能传感器相结合，在补充甚至站立方面都取得了长足的进步对于人类医生。这克服了一个关键的制约因素，该制约因素阻止了发展中国家，农村人口和其他难以服务的社区广泛获得高质量的医疗服务。即便如此，医疗保健还是一个敏感领域，需要对安全性，保密性和隐私性予以适当考虑。幸运的是，医疗保健领域有健全的标准，行为准则和道德规范，几百年来人类经验的演变。本白皮书是一项及时而受欢迎的工作，旨在建立一个全面的框架，使技术监管机构和开发人员可以轻松地将它们概念化并纳入未来的AI解决方案中。C.P. Gurnani Tech Mahindra董事总经理兼首席执行官当世界与一个看不见的敌人作战时，人类及其AI知识的增长必将发生人类的变化。从药物开发到患者护理-世界见证了AI及其在抗击这种流行病中的许多行动原则。虽然AI是新的电力，而数据是新的燃料，但我们已经意识到实现增强污染（AP）的意识。这种认识反映了该技术的恶意使用。在人工智能可能对无数案件有用的地方，世界也目睹了无数情况下使用人工智能而没有透明，没有同理心和没有适当的控制会造成严重的破坏，例如深造假货，恶意聊天机器人等。当我们对这一变化进行反思时，我很高兴介绍一个治理框架，以负责任地使用对话式AI系统进行医疗保健，该框架由世界经济论坛及其合作伙伴公司发起。该框架为聊天机器人创建阶段，遵守安全性，有效性，可解释性，数据保护等原则以及最重要的是其可操作性提供了来自领先AI专家的见解。我坚信，我们处在变革的边缘，变革需要技术社区不断努力，以遵守负责任和符合道德的AI使用原则。我希望这些原则将为您提供在实际医疗保健场景中实际实施聊天机器人的必要见解。 执行摘要组织越来越多地使用聊天机器人或对话式人工智能（AI）系统，通过嵌入以一种自然且易于使用的方式与客户进行通信网站，社交网络应用程序，智能家居设备等中的聊天机器人。COVID-19大流行加速了聊天机器人在医疗保健应用中的采用。例如，世界卫生组织和疾病控制中心都部署了聊天机器人，用于传播冠状病毒信息和症状检查。许多政府和医疗机构也是如此。除了大流行之外，由于聊天机器人在访问和成本方面的优势，在医疗保健应用中的采用率可能还会持续。当一项新技术（特别是基于AI的技术）引入医疗保健领域时，它会受到细致的审查，聊天机器人也不例外。与聊天机器人交换敏感的健康信息是许多治理挑战之一，需要谨慎对待为了促进在医疗保健中对聊天机器人的负责任使用而考虑。除经典的AI挑战（例如公平性和可解释性）外，其他挑战还包括性能保证，患者考虑，合法性，隐私和安全性。为了应对这些治理挑战，今年早些时候，世界经济论坛召集了一个多利益相关方社区，共同创建了一个社区。聊天机器人RESET，用于管理医疗保健中聊天机器人负责任使用的框架。Chatbots RESET框架包括两个部分：（1）从AI伦理和医疗保健伦理原则中精心选择的10条原则，并在医疗保健中使用聊天机器人的背景下进行解释； （2）运营行动以建议的形式针对每个原则在不同的部署阶段实施医疗保健中的聊天机器人。该框架是针对三类利益相关者的可行指南，以促进在医疗保健应用程序中对聊天机器人的负责任使用：技术开发商，医疗保健提供商和政府监管机构。在Chatbots RESET框架中，聊天机器人开发人员将找到可以纳入项目开发流程的动作，以创建更负责任的聊天机器人实现。医疗保健提供者可以将框架中的操作集成到他们的工作流中以促进负责任的部署；监管机构可以选择与其国家战略相呼应的行动，以确保负责任地扩大聊天机器人技术。展望未来，该论坛的几个合作伙伴将试用Chatbots RESET框架。试验结果，包括对框架的反馈和增强，将在以后的出版物中共享。聊天机器人RESET用于管理会话式AI负责任使用的框架卫生保健5 1医疗保健中的聊天机器人聊天机器人是一种AI程序，旨在通过语音界面或短信以自然方式与人们交谈。聊天机器人通常在网站，应用程序或即时消息中找到。聊天机器人主要用于技术支持和潜在客户产生。在医疗保健领域，聊天机器人可以通过多种方式与患者互动，包括浏览常见问题，寻找医生或服务，安排约会，促进症状检查，在急诊中进行分类，帮助准备程序并确保坚持张贴-排放说明。聊天机器人还可以充当医师的虚拟助手，从而减轻医师的管理负担并使他们易于访问患者健康记录（有关更全面的应用列表，请参见图1）。聊天机器人在医疗保健中的这些使用可以带来更好的护理管理和客户参与度。但是，可能会出现一些问题，例如，聊天机器人与客户之间的沟通不畅，客户对与聊天机器人交互时选择减少的看法以及在与聊天机器人与人进行交互时忽略客户的偏好。更严重的问题包括指导不正确/不正确，诊断错误或未能及时采取干预措施。重要的是要谨慎地控制医疗保健中聊天机器人的部署，以避免出现这些问题并确保信任，透明，可靠和安全性。什么是聊天机器人，您为什么要关心？AIML基金会将聊天机器人定义为“旨在响应自然语言的文本或语音输入的计算机程序”。聊天机器人也称为对话AI或对话代理。通常，聊天机器人会预先加载一组规则或使用数据进行预训练，以便能够与用户进行实时有意义的对话并在此过程中提供有用的服务。在网站上寻求帮助或技术支持时，您可能遇到过聊天机器人-它们通常链接到该网站右下角的“聊天”图标。您可能还在家中与之交谈的智能家居设备。与聊天机器人对话时，就是在与AI系统对话。尽管您可能会发现当今的聊天机器人在功能上有些局限，但聊天机器人技术发展迅速，很快您可能无法区分自动化系统和人机。如果您的聊天主题是医疗保健，那么这可能会产生重大影响。聊天机器人RESET用于管理会话式AI负责任使用的框架卫生保健6 2Chatbots RESET项目世界经济论坛的Chatbots RESET项目的目标是，通过将聊天机器人开发人员，聊天机器人平台，医学界，民间社会，学术界和医疗保健监管机构召集在一起，为在医疗保健中负责任地使用聊天机器人设计治理框架。通过设计，试验和扩展框架，我们努力实现聊天机器人在医疗保健中的广泛采用，在最大程度地发挥其有益作用的同时，将负面影响降至最低。Chatbots RESET项目于2020年1月启动，最初的想法是关于RESET（揭示，升级，替代，解释）一词的治理行动和跟踪）。此后不久，聊天机器人的重要性从增加其用于传播有关COVID-19和冠状病毒的精选信息的使用中变得显而易见。 2020年3月，论坛举办了主题为“冠状病毒和超越的聊天机器人”的小组讨论，其中包括来自以下国家的专家小组进行了深入讨论：初创企业，平台提供商和政府1。讨论强调了该技术的有益用途及其对医疗保健产生积极影响的潜力。 2020年5月，该论坛召集了全球专家参加设计研讨会，以集思广益，探讨如何将聊天机器人用于医疗保健领域的潜在用途，问题和利益相关者的行为，以最大程度地发挥积极影响，并最大程度地减少负面影响。在5月的研讨会之后，多利益相关方项目社区开始通过一系列虚拟会议共同创建治理框架。这项工作的结果是Chatbots RESET治理框架，其中包含10条原则和75条建议的措施，是本文的重点。正在与来自不同利益相关者社区的合作伙伴一起在实际用例中试用该框架。试点结果将在后续出版物中共享。会话式人工智能在医疗保健领域具有广阔的前景，但也存在潜在的风险和危害，可能直接影响患者的护理。因此，为聊天机器人创建治理框架是当务之急。这项工作提供了全球指南，使利益相关者组织能够确保在医疗保健中使用聊天机器人时确保效力，安全性，隐私权和其他道德考虑，并建立对该技术的公众信任。–世界经济论坛人工智能与机器学习主管Kay Firth-Butterfield聊天机器人RESET用于管理会话式AI负责任使用的框架卫生保健7 聊天机器人在医疗保健中的应用聊天机器人正在医疗保健领域中得到越来越多的使用，最近受COVID-19大流行相关信息传播需求的推动。许多全球和全国性的医疗机构都采用了聊天机器人，以与他们的成员就病