人工智能与医疗保健中的人权

01 引言 人工智能在医疗保健行业的应用 人工智能在医疗保健行业对人权的影响 06 建议 通过建立专注于负责任技术使用的内部团队和咨询委员会（例如默克集团旗下的数字伦理咨询委员会），或制定人工智能原则（例如诺华承诺对人工智能系统进行合乎道德和负责任的使用），虽然一些公司采取了这些措施，但其他公司仍然对人工智能发展与部署所引发的新兴风险和影响缺乏意识，或未做好应对准备。 本报告探讨了人工智能（AI）技术如何推动医疗保健行业变革，以及相关的机遇与挑战。 随着医疗保健行业的数字化转型持续进行，提供方需要考虑人工智能的影响，主要有三个原因： 人权 技术转型为人类权利的实现带来了复杂、微妙且系统性的风险与机遇。这些风险与机遇既与技术的设计开发相关，也涉及技术部署使用的方式以及公司如何进行部署和使用。 在此背景下，BSR已开始与医疗保健公司及其提供AI服务的科技公司进行接触，以更好地了解AI的当前用例、相关的人权风险，以及为应对这些风险而制定的处理流程和政策。本指南总结了我们在这些接触中所获得的研究发现和观察结果，并向医疗保健行业的公司就如何应对AI在医疗保健中产生的人权影响提出了初步建议。 不断变化的监管环境 监管环境的变革，包括欧盟提出的《企业可持续尽职调查条例》和《人工智能法案》，都表明非技术行业的公司需要更深入地理解其部署的AI解决方案所产生的人权影响。值得注意的是，在拟议的欧盟AI法规范围内，不仅包括销售AI的公司，也包括使用AI的公司。 本报告并非旨在对医疗保健行业的所有人权影响进行全面评估。相反，它介绍了与医疗保健行业日益增加的AI技术应用相关的主要人权问题。本报告概述的发现... 缺乏公司流程 在与医疗保健公司的初步合作中，BSR注意到这些公司在人工智能治理流程方面成熟度各不相同。虽然一些公司已经开始处理道德和 报告旨在提供一个起点；希望进一步探讨这些问题的医疗保健公司应进行更全面的人权尽职调查。 BSR欢迎医疗保健公司就这一主题提出意见。如欲参与讨论，请联系Ife Ogunleye、Lale Tekisalp或Hannah Darnton。 人工智能在医疗保健行业的应用 2021年，医疗保健行业的人工智能全球市场规模超过600亿美元，预计到2027年将增长至超过4000亿美元。2 根据世界卫生组织的数据，人工智能有潜力加强医疗和药品的交付，并帮助各国实现全民健康覆盖。人工智能可应用于多个领域，包括医疗或临床护理、研究与药物开发、公共卫生监测和监控，以及卫生系统管理。 人工智能技术正在医疗保健行业的健康领域以及各种用例和应用中得到应用。在临床护理方面，我们观察到以下用例： • 诊断：人工智能技术正被开发和应用，用于通过放射学、医学影像及其他工具进行诊断和疾病检测。人工智能正被用于初步疾病诊断，以支持医疗专业人员做出及时准确的诊断，并预测疾病在发生前出现。3 660.9361.5高级人工智能人工智能与分析 • 患者管理：医院、诊所和医疗保健专业人员正在使用人工智能技术来管理患者记录、识别和预防临床错误、监测患者治疗、用药和护理计划，并支持患者进行治疗决策和自我管理。 • 个性化药物与护理：人工智能技术正被应用于提供个性化医疗护理和健康服务，包括疾病诊断、患者健康管理以预防疾病的发生或发展，以及药物剂量调整。 研发和药物开发领域，人工智能系统正在用于： • 数据生成与分析：人工智能系统可用于为生物医学研究和药物开发生成高质量数据。它们还能有效分析大型数据集，以促进对疾病和人体生理学的更深入理解，并加速有效治疗方法（的）发现。 • 药物发现：人工智能技术正被用于加速药物发现，并为各种疾病和健康状况的治疗开发提供支持。人工智能能够识别可能促进疾病进展的分子，以及可能有效靶向疾病的化合物，并生成新的药物候选物。 • 临床试验设计：人工智能系统可用于优化临床试验的运营设计，包括试验设计和参与者招募与监测。它们也可用于确定哪些国家或临床中心最适合特定临床试验，以及如何在不同进行中的临床试验之间分配资源，此外还可用于快速识别和招募参与者。 公共卫生领域，人工智能技术正被应用于： • 疾病暴发监测与管理：人工智能系统正被用于识别疾病暴发和管理公众应对。这包括识别疾病传播、促进检测与追踪，以及研发疫苗和其他治疗方法。 • 健康促进与疾病预防：人工智能系统可用于识别并精准定位有较高患病风险的个人或社群，或识别并解决导致健康状况不佳或疾病爆发的潜在原因。 人工智能技术在医疗健康领域的应用预计将在各个职能和应用场景中持续增长。根据2022年一项调查，人工智能是医疗健康行业预期采纳的新兴技术之首，50%的受访者表示他们计划在2022年投资人工智能技术。该领域创新的一个例子是Insilico Medicine的AI赋能药物研发平台，该平台已为特发性肺纤维化产生了一种药物候选物，并已进入临床试验阶段。 Q: 未来两年，您预计您的组织将投资以下哪项新兴技术？ 人工智能在医疗保健行业对人权的影响 人工智能技术的应用可能缓解或加剧医疗保健行业现有的人权影响。在本报告中，我们主要关注人工智能技术可能带来的权利风险，以及人工智能技术可能加剧医疗保健行业现有不平等的方式。 通过与为它们提供AI服务的医疗保健公司和技术公司的接触，我们确定了四类主要风险。 1. 非歧视 2. 卫生权与科学 3. 隐私与监控 4. 人类自主性 以下是与此类相关的突出人权。然而，需要注意的是，所有人权都是不可分割、相互依存、相互关联的。一项权利的改善有助于其他权利的进步；一项权利的被剥夺会不利地影响其他权利。 1. 非歧视 人工智能系统可能强化系统性偏见，加剧医疗保健系统中的现有不平等。人工智能解决方案在医疗保健行业的应用可能导致基于种族、性别、年龄、残疾或其他受保护类别的个体歧视。人工智能技术基于历史数据进行训练，因此如果其训练数据存在偏见、歧视或不具代表性，它们也可能带有偏见。 人工智能模型在诊断少数族裔个人或社区的医疗状况时可能准确性较低，或可能为这些患者推荐效果较差的治疗方案。 人工智能系统也可能通过加剧“数字鸿沟”来延续歧视。4 当由于语言、地理或设备获取障碍导致人工智能技术的获取机会不平等时，与采用相关的益处（例如改善的健康结果）可能无法公平分配。 数据集可能被医疗保健系统中现有的偏见所编码，例如某些性别、种族或年龄组过度代表，而另一些组则代表性不足，这可能导致不同患者群体在表现或准确率上存在差异。例如， 可能受影响的权利 • 平等权与非歧视权（公民权利和政治权利国际公约第一条和第二条） 2. 卫生权与科学 精心设计和恰当实施的医疗行业人工智能解决方案，可能带来更有效、更易获取的医疗服务。然而，人工智能解决方案也存在风险，可能导致非预期的负面健康结果，或加剧医疗资源获取的不平等。例如，在药物发现的不同阶段，包括临床试验中，某些人群的过度代表，可能导致代表性不足的人群出现不成比例的更差健康结果。 错误地认为人工智能算法的结果是万无一失，会导致用户或患者对健康权产生负面影响，从而使得医疗保健专业人员与患者根据人工智能算法提供的错误结果来做出有关健康和治疗选择的决定。 将人工智能系统用于优先发展研究可能也会对科学权产生影响。例如，如果人工智能系统被用于优先发展针对高收入国家需求的研究与创新，低收入国家可能无法从这些科学进步中受益，因为创新的疗法可能成本过高，或者可能需要某些市场无法获得的技术（例如冷藏设备）。 如果像AI诊断工具这样的AI解决方案只能提供给高收入个人或社区，它们可能会通过加剧医疗差距来增加不平等。诊断错误也可能 可能受影响的权利 • 卫生权（公民权利和政治权利国际公约第25条，经济、社会及文化权利国际公约第12条） • 科学权（公民权利和政治权利国际公约第27条，经济、社会及文化权利国际公约第15条） 3. 隐私与监控 个人隐私。例如，个人的健康状况等私人信息可能被推断或泄露，而无需其知情同意，从而导致弱势群体受到污名化或排斥。 借助人工智能解决方案，医疗机构可能会以侵犯隐私权的方式收集、使用和共享患者数据。数据被常规购买和使用，通常患者/数据所有者并不知情。此外，近年来，所谓健康数据的范围已扩大，除了标准的健康来源外，还包括来自个人设备以及环境、行为和社会经济等多样化来源的个人数据。 数据收集的增加也可能导致政府或执法机构、保险公司、雇主等私人行为者的监控加剧。外部行为者可能利用敏感的健康数据来识别、追踪或监控个人。例如，隔离执法应用程序追踪的位置数据可能被用作执法和情报工作的组成部分。类似地，政府可能要求与怀孕和堕胎相关的用户数据。 尽管从各种广泛来源收集数据可能提高数据质量，并最终提升人工智能技术的性能和准确性，但大量数据收集会增加违反...的风险。 • 隐私权（公民权利和政治权利国际公约第12条）• 注意，隐私权的侵犯可能对其他权利产生次生影响，包括生命权、自由权和安全权，以及不受任意逮捕的权利。 4. 人类自主性 医疗保健行业越来越多地使用人工智能系统来提供诊断、治疗方案和症状监测等医疗保健服务，这可能导致医疗保健专业人员和患者过度依赖这些系统。过度依赖算法来做出有关健康管理方面的决策，可能会对心理自主性产生潜在影响。 例如，医疗保健专业人士和患者可能认为人工智能系统是完美无缺的。对人工智能技术毫不怀疑的信心可能导致在诊断或治疗方面做出有缺陷的医疗决策。这些决策可能带来有害的后果，例如误诊、过度诊断、漏诊或过度治疗。 可能受影响的权利 • 人身自主与尊严（《世界人权宣言》第一条）• 思想自由权（《世界人权宣言》第十八条） 建议 负责任的AI挑战通常需要公司内多个部门的参与。对于那些尚未设立专门团队来处理这些问题的公司，我们建议从让以下部门参与进来开始这个过程： 能够从中心视角管理此类问题的团队，例如可持续发展、人权、道德、合规性。 B) 使用人工智能技术，例如研发、市场营销、人力资源的团队 C) 开发或采购人工智能技术的团队，例如采购或营销团队 为减轻任何不利人权影响，公司可以采取包括但不限于以下列出的行动： 1.对公司内部的AI应用用例进行盘点。了解AI在不同业务部门中是如何被使用的重要第一步是。公司应联系上述团队，询问他们如何在工作中使用或计划使用AI技术。然后，公司应列出这些用例，并优先考虑那些可能风险较高的用例。 2.开展人权尽职调查为识别和应对其使用的人工智能解决方案所造成的实际和潜在人权影响，公司应首先开展人权尽职调查① ，该流程专门评估针对个人的风险（而非公司可能面临的其它风险）。人权尽职调查应持续进行，因为人工智能技术的使用方式可能会随时间变化。除进行持续尽职调查外，公司在开发、使用或采购可能对人权构成风险的新人工智能技术时，还应进行具体的人权影响评估。随后，应根据需要，利用这些影响评估的结果来修改或调整技术，或确保已采取充分的缓解措施或防范措施以应对已识别的风险。 3.说明目的和使用限制 企业应明确人工智能的使用目的，并在实施指南中考虑设定使用限制。如果人工智能解决方案将对外共享给其他用户，企业应建立可接受使用政策，明确用户在使用人工智能解决方案时可以和不可以做什么。 4.建立人工智能负责任使用治理机制 公司在识别、评估和应对伦理及人权影响方面存在重要问题。一些公司已为现有伦理委员会增添新专业知识，并/或制定了关于其人工智能使用的指导原则，而另一些公司则创建了专门的委员会，就人工智能提供咨询建议。 5. 确保高度的数据保护 人工智能相关的人权风险很多源于个人数据的运用。虽然关注遵守相关隐私和数据保护框架很有诱惑力，但其中许多框架将重点放在权利人主张其隐私权上，而非要求将隐私和数据保护进行设计整合。企业应超越合规要求，将其内部的数据保护和隐私承诺、政策与实践与国际最高标准保持一致。 6.测试人工智能模型的偏见和外部性。人工智能模型依赖于数据输入，而数据输入可能存在偏