面部识别用例负责任限制的政策框架：执法调查（2022 年修订）

负责任限制面部识别的政策框架用例:执法部门调查我N S G H T E P O R TR E V I S E d n O E M B E R 2 0 2 2 面部识别用例负责任限制的政策框架：执法调查2特别感谢和欣赏: 面部识别用例负责任限制的政策框架：执法调查3图片:盖蒂图片社,Unsplash内容1执法调查：用例和定义 102原则193自我评估问卷27免责声明本文发表的世界经济论坛是对项目、洞察领域或互动的贡献。本文所表达的调查结果、解释和结论是世界经济论坛推动和认可的合作过程的结果，但其结果不一定代表世界经济论坛的观点，也不代表其全体成员、合作伙伴或其他利益相关者的观点。© 2022年世界经济论坛、犯罪司法所、国际刑警组织和荷兰警方。保留所有权利。不得复制或传播本出版物的任何部分任何形式或任何方式，包括影印和录音，或通过任何信息存储和检索系统。 面部识别用例负责任限制的政策框架：执法调查42022年11月负责任限制面部识别的政策框架用例:执法部门调查前言Irakli Beridze犯罪司法所人工智能和机器人中心主任凯Firth-Butterfield人工智能和机器学习主管;世界经济论坛执行委员会成员Marjolein Smit-Arnold Bik荷兰警察特别行动司司长西里尔痛风国际刑警组织行动支助和分析主任近年来，远程生物识别技术（尤其是面部识别技术）在安全领域获得了很大的关注。随着深度学习算法的进步、对大量训练数据的访问的增加以及将偏差降低到可忽略不计值的压力，这些技术的准确性显着提高。这项技术的出现正值执法机构越来越期望解决越来越复杂且往往是跨国犯罪并迅速进行调查的时候——通常资源有限。在一个表现不佳可能事关生死的领域，面部识别技术等工具可以极大地有利于执法调查。但是，实施不当或实施不当考虑到其后果，面部识别技术（FRT）可能导致重大滥用人权，并对公民，特别是服务不足社区的公民造成伤害。毫无疑问，FRT的迅速采用引起了多重关注，主要与其可能破坏自由和隐私权有关。与此同时，人们越来越重视制定政策来应对和减轻这些风险。随着本文的创建，世界经济论坛，国际刑警组织（刑警组织）、联合国区域间犯罪和司法研究所（犯罪司法所）和荷兰警方建立了一个全球联盟，以应对这一挑战，并将在执法调查中负责任地使用FRT的问题提交给国际议程。我们还与由政府、民间社会和学术界组成的专家社区进行了接触，通过协商进程收集他们的见解，并与执法机构试行了我们提议的框架，以确保我们的建议能够在可操作的执法环境中真正发挥作用。确实如此。这份洞察报告提出了一套在执法调查中使用面部识别的拟议原则，以及一份自我评估问卷，旨在支持执法机构设计有关使用FRT的政策，并根据拟议的原则审查现有政策。这只是关于执法部门使用FRT的对话的开始，但我们相信，这种独特的拟议方法可以为执法界做出重要贡献，并有助于为全球公众辩论提供信息。我们鼓励国家层面的执法机构和政策制定者反思这份文件，参与在此基础上的对话，并审查或通过支持负责任地使用面部识别技术的立法。 介绍虽然执法部门一直在使用生物识别数据，例如指纹或DNA，以进行调查，FRT是执法部门面临的新机遇和新挑战。在过去十年中，人工智能（AI）和传感器的进步推动了面部识别技术（FRT）的发展– 能够将数字图像或视频帧中的人脸与面部图像数据库进行匹配的软件。这导致它在各个行业迅速采用，包括执法、运输、医疗保健和银行业。FRT的发展为社会有益的用途提供了大量机会。例如，它可以在面部解锁机制中找到应用。在移动设备中，授予对音乐会和体育赛事的访问权限，以及员工和学生的出勤跟踪。但它也带来了独特的挑战。为了充分掌握这些挑战及其可能带来的权衡并构建适当的治理流程，有必要通过检查特定的应用程序来处理FRT部署。事实上，通过带有人脸识别的机场边境管制，在零售中使用基于人脸的广告或使用面部识别解决方案进行执法调查涉及非常不同的好处和风险。为了确保该技术在各个领域的可靠和安全部署，世界经济论坛率先发起了一项全球和多利益相关方政策倡议，以设计强大的治理框架。论坛于2019年4月启动了第一个工作流，重点关注流程管理应用1 – 用面部识别代替车票，以进入物理场所或公共交通工具，例如火车站台或机场。该工作流程于 2020 年 12 月结束，东京成田机场发布了经过测试的评估问卷、审计框架和与AFNOR认证（法国标准化协会）共同设计的认证计划。22020 年 11 月，启动了第二个工作流，重点关注执法背景——通过将探测图像与一个或多个参考数据库进行比较来支持个人身份识别，以推进警方调查。虽然执法部门一直在使用指纹或DNA等生物识别数据进行调查，FRT是执法部门面临的新机遇和挑战。就挑战而言，执法部门的使用引起了公众的多重关注，主要是因为系统错误或滥用在该领域的潜在破坏性影响。美国国家标准与技术研究院 （NIST） 在 2019 年进行的一项研究表明，尽管一些面部识别算法在种族群体的准确性方面存在“无法察觉”的差异，其他人则表现出基于性别和种族等人口统计特征的表现缺陷。3 执法机构应意识到这些潜在的绩效缺陷，并实施适当的治理流程来缓解这些缺陷。通过这样做，他们将限制假阳性或假阴性的风险，以及基于FRT系统输出的可能错误逮捕个人的风险。未能建立这些过程可能会产生严重后果。例如，2018年在美国，一名无辜的非裔美国人被捕，由于在使用FRT的盗窃调查中被错误地认定为嫌疑人而被拘留。4除了阻碍权利等作为无罪推定以及获得公平审判和正当程序的权利，执法机构使用FRT也会损害言论自由，集会和结社自由以及隐私权。5面部识别用例负责任限制的政策框架：执法调查 5 这些担忧导致全球政策活动加剧。仅在美国，一些地方和州政府就禁止包括执法部门在内的公共机构使用FRT。旧金山等主要城市，6 奥克兰7和波士顿8 已采取此类措施。在州一级，阿拉巴马州，9 科罗拉多州,10 缅因州,11马萨诸塞州,12维吉尼亚州13和华盛顿14都制定了立法来规范其使用。最后,在联邦政府层面,各种账单15– 包括最近于 2022 年 9 月推出的 2022 年面部识别法案16 – 已提出规范 FRT，但迄今为止尚未采用。此外，美国大型科技公司也就这一话题制定了立场。在 2020 年的一系列事件之后，美国和全球对警察机构的不信任加剧，包括 Clearview AI 争议，17 IBM宣布将不再提供，开发或研究FRT，而微软承诺在引入联邦法规之前停止向美国执法机构出售FRT。18 2022 年，微软更进一步，对 FRT 的所有使用施加了新的限制和保障措施，作为更广泛的人工智能原则的一部分。192021 年，亚马逊网络服务 （AWS） 还延长了对警察使用其平台 Rekognition 的禁令，该平台最初于 2020 年实施。20在其他司法管辖区，政策制定者正试图将警察对FRT的使用限制在与强大的问责机制相关的非常具体的用例中，以防止可能导致错误逮捕的潜在错误。这就是建议的方向由欧盟委员会于2021年发布其人工智能法案草案21– 一项全面的监管提案，根据特定要求将人工智能应用分为四类不同的风险。22 该提案包括关于远程生物识别系统的规定，其中包括FRT。它指出，打算用于自然人“实时”和“事后”远程生物特征识别的人工智能系统属于高风险应用，需要在技术提供者进入欧盟市场之前进行事前符合性评估，并在其系统运行时进行事后合格评定。此外为法律目的在公共可访问空间的“实时”远程生物特征识别系统禁止执法，除非它们服务于与公共安全有关的非常有限的例外情况（例如，防止迫在眉睫的恐怖主义威胁或有针对性地寻找失踪人员）。为了进入然而，欧盟委员会的提案生效首先需要得到欧洲联盟议会和欧洲联盟理事会的通过。在联合国，正在出现类似的做法，人权事务高级专员办事处（人权高专办）提出了一份报告。232021年向人权理事会提交关于数字时代的隐私权，其中建议禁止不能根据国际人权法使用的人工智能应用程序。具体到执法、国家安全、刑事司法和边境管理部门使用FRT的问题，报告指出，远程生物特征识别大大提高了国家当局系统化的能力面部识别用例负责任限制的政策框架：执法调查 6 除了为执法部门和政策制定者提供实用指导和支持外，该治理框架还旨在为有关使用FRT的公众辩论提供信息。识别和跟踪公共场所的个人，破坏人们在不受观察的情况下生活的能力，并对行使言论自由、和平集会和结社自由权以及行动自由权产生直接负面影响。该报告还再次呼吁暂停在公共场所使用远程生物识别，至少在当局能够证明在准确性或歧视性影响方面不存在重大问题，并且这些人工智能系统符合强大的隐私和数据保护标准。法院也开始在制定FRT政策议程方面发挥重要作用。2021年，巴西圣保罗法院阻止了24 在公共交通系统中部署FRT。这被认为是民权组织反对公共机构越来越多地使用FRT的重大胜利。在英国的一个类似案件中，虽然上诉法院发现警方部署自动FRT确实有普通法使用的法律依据，但南威尔士警方在某些活动和公共场所使用它是非法的，因为它没有充分定义谁可以在观察名单上以及在哪里可以使用。25在一些国家，政府采取了谨慎的态度。荷兰的情况就是这样。2019年，司法和安全部长致函议会向他们通报执法机构对FRT的现有用途，并重申他支持与这种敏感技术相关的健全治理流程。26此外,他认为，现有的法律框架和保障措施，无论是技术上的还是组织的，都足够强大，可以确保执法机构负责任地使用FRT。尽管如此，他要求在授权FRT的任何进一步使用或试点之前进行额外的隐私，道德和人权影响评估。尽管有这些发展，世界上大多数政府仍在努力应对FRT带来的挑战。因此，这项工作的目标是加强努力克服这些问题，并支持法律和政策。全球制定者设计可操作的治理框架，以解决提出的关键政策考虑因素，例如特定目的的必要性、授权解决方案的绩效评估、执法机构的采购流程、专业人员的培训以及紧急情况指挥链的维护。为了实现这一目标，世界经济论坛，国际刑事警察组织（国际刑警组织）、联合国区域间犯罪和司法研究所（犯罪司法所）和荷兰警方召集了一个多利益相关方社区，其中心是共同设计一套原则，概述什么是负责任地使用FRT进行执法调查。这些原则附有自我评估问卷以支持执法机构设计有关使用FRT的政策，并根据拟议的原则审查现有政策。除了为执法部门和政策制定者提供实用指导和支持外，该治理框架还旨在为国家、区域和国际层面关于FRT使用的公众辩论提供信息，并提供一个可操作的框架，以最大限度地提高FRT的效益，同时降低其风险。虽然本文提出的政策框架并不是本文中唯一的此类政策指导。领域，它寻求提出一个具有国际视野的独特提案，在其发展中纳入多利益相关方方法，包括执法、行业和民间社会。面部识别用例负责任限制的政策框架：执法调查 7 面部识别用例负责任限制的政策框架：执法调查8方法过去三年，世界经济论坛的人工智能/机器学习（AI/ML）平台一直在开展FRT治理的政策倡议。该计划的目标是创造一个适当的对话空间，以推进与使用这种生物识别技术相关的政策的起草。方法,本质上,由一个合作伙伴核心社区和扩大的全球专家社区共同领导试点项目的开发。这种基于试点的政策制定方法已被采用，因为它被认为有可能更好地告知和指导寻求确保FRT适当治理的执法用户和政策制定者。基于核心社区和项目社区的多利益相关方方法总共有64个人参与本项目社区，代表科技公司、政府以及国际组织、民间社会和学术界。该倡议将世界经济论坛与国际刑警组织和荷兰警方（FRT的用户）以及犯罪司法所（UNICRI）聚集在一起，UNICRI是一个联合国实体，其任务是支持联合国会员国在预防犯罪和刑事司法领域制定和实施改进的政策。为了提出政策框架，这个核心社区在 2021 年 1 月至 2022 年 10 月期间每周举行虚拟聚会。核心社区还组织了与广大利益相关者群体的磋商– 项目社区 – 进一步受益于更广泛的专业知识和见解。共有64人参加了该项目社区，代表技术公司，政府和国际组织，民间社会和学术界。与项目社区的第一次磋商是 2021 年 2 月组织的研讨会，启动了该项目，并试图深入了解与执