William Crumpler 和 James A. Lewis |页12021 年 6 月面部识别如何工作？入门作者：William Crumpler 和 James A. Lewis执行摘要1.什么是人脸识别？面部识别是一种使用软件来确定两个面部图像之间的相似性以评估索赔的方法。该技术用于多种用途，从用户登录手机到在照片数据库中搜索特定人员。2.什么是面部特征？面部特征是指使用软件根据性别、年龄、情绪或其他特征对单个人脸进行分类的做法。面部分类与面部识别不同，面部识别的目的是比较两个不同的面部。在流行的报道中，面部特征通常与面部识别相混淆，但它们实际上是不同的技术。许多关于面部识别危险的说法实际上是在谈论表征。3.面部识别如何工作？面部识别使用计算机生成的过滤器将面部图像转换为可以比较以确定它们的相似性的数字表达式。这些过滤器通常是通过使用深度“学习”生成的，它使用秒人工神经网络来处理数据。4.面部识别的准确度如何？面部识别正在迅速改进，但虽然算法可以在受控设置中实现非常高的性能，但许多系统在部署在现实世界中时性能较低。然而，总结面部识别系统的准确性很困难，因为没有单一的衡量标准可以提供完整的性能图片。5.什么是相似度分数？相似度得分向人类操作员提供关于算法认为两幅图像的相似程度的反馈。由于所谓的“检察官谬误”，这些分数可能会被误解，并且通常被视为提供了比实际提供的更权威的信息。 面部识别如何工作？ |页26.什么是比较阈值？面部识别系统面临着低误报率和低误报率之间的权衡。比较阈值是一种使用面部识别算法计算的相似度分数来调整系统对这两种错误类型的敏感度的方法。在将结果返回给人类裁决者时，阈值被调整以考虑准确性和风险之间的权衡。7.人脸识别有偏见吗？人脸识别准确率的人口统计学差异已得到充分证明，但有证据表明，如果足够重视改进算法的训练过程和捕获图像的质量，则可以解决这个问题。8.这是什么意思？面部识别通常仅在其最反常应用的背景下讨论，但它是一种多方面的工具，可以应用于一系列不同的问题。面部识别用于辅助人类决策，而不是取代它。人工监督有助于降低错误风险。操作员需要了解系统性能会如何受到影响通过部署条件采取正确的保护措施来管理准确性和风险之间的权衡。更好地理解本报告中涵盖的问题将有助于确保可以安全地部署这项技术，让我们在管理风险的同时获取其收益。介绍随着越来越多的组织开始使用面部识别技术 (FRT)，人们越来越担心该技术可能对隐私和其他公民自由构成的潜在风险。在各级政府，政策制定者已经开始提出新的规则和条例来管理 FRT 的使用和管理任何风险。重要的是，这些努力要以技术如何工作为基础，因为到目前为止，许多公开讨论都被夸大技术性能、对其操作细节的误解以及不同类型系统的混淆所混淆。项。本文提供了有关该技术的工作原理以及如何理解有关其性能和操作的问题的检查。什么是人脸识别？人脸识别是计算机视觉研究的一个子领域，专注于构建可以分析图像和视频中人脸相似性的软件系统。在实践中，可以将面部识别工具视为评估涉及特定人员的索赔的一种方式。这些声明可以是“这个人是他们所说的人吗？” “此人是否包含在此数据库中？”或者甚至只是“系统之前见过这个人吗？”虽然这有时可以完全以以自动化方式，面部识别通常与负责审查和裁决软件返回的决定的人类检查员一起部署。今天，几乎所有新的面部识别系统都是在深度学习的帮助下构建的，深度学习是一种使用人工神经网络处理数据的机器学习形式。面部识别开发人员使用深度学习来创建能够将面部图像转换为数字表达式的软件程序，这些表达式可以通过比较来确定它们的相似性。面部识别是生物特征识别的一种形式，但需要注意的是，并非所有生物特征处理都涉及深度学习的使用。重要的是，面部识别不同于面部特征（有时也称为面部分析）。在人脸识别中，算法用于比较两张人脸的相似度。在面部特征化中，算法用于根据性别、年龄、情绪或其他特征对单个面部进行分类。单独使用，面部特征可用于匿名描述个人 William Crumpler 和 James A. Lewis |页3目的，例如计算进入特定商店的男性和女性人数或提供有关不同人口群体对产品或广告的反应的数据。人脸表征是一项独特的技术，具有自己独立的开发过程、用途和风险，但人们有时会互换使用术语面部表征和人脸识别，因为它们实际上非常不同。关于如何管理特征化系统，需要进行重要的对话——特别是考虑到最近尝试将其用于高度可疑的目的，例如按以下方式对人进行分类或“检测”一个人的或者——但在开展这些工作时应意识到面部特征和面部识别是不同的技术。FRT 最常见的用途之一是验证（也称为 1:1 匹配），该技术用于确认一个人是否与特定的身份记录相关联。验证的例子是当一个人用他们的脸来解锁他们的智能手机、登录银行应用程序或在通过机场安检时验证他们的身份。当一个人登录时，系统会拍下他们的面部照片，然后将其与该人记录的图像进行比较。如果两张脸匹配，则授予此人访问权限。比较照片通常是在一个人第一次注册服务时拍摄的，或者是从可信来源（如护照或国家身份登记处）中提取的。身份识别（也称为 1:N 或 1:many 匹配）是指使用面部识别来确定未知个人的记录是否存在于更大的已知面部数据库中。最著名的身份识别示例是警方使用面部识别技术根据犯罪图像或镜头生成潜在嫌疑人阵容的做法。但是，执法部门也使用身份识别来搜索失踪人员、识别死者并删除重复的数据库记录。私营部门也可以使用身份识别来执行黑名单（例如当赌场监控其客户以检测赌博成瘾者时）或白名单（例如当建筑物的管理层希望自动执行授予员工或居民访问权限的过程时）。识别几乎总是包含人工审查，要么要求训练有素的人工操作员从软件提供的选项列表中选择匹配项，要么允许个人向人类裁决者上诉他们不同意的决定。身份证明并不一定提供关于一个人是谁的任何信息。也就是说，FRT 的使用方式实际上并不涉及收集或链接有关相关人员的任何个人数据。例如，一些零售店可能会创建客户跟踪系统，允许商店识别回头客并跟踪店内行为以进行营销分析，但不会将该数据与任何传记信息（如姓名、地址或购买历史）相关联。商店面部识别系统唯一能识别的是访客 #12345 在某一天回来了。它无法告诉访客 #12345 是 678 Main Street 的 Jane Smith。类似的系统也可以以相反的方式使用——识别一个人何时未被见过。一个例子是北京该公司遇到了访客拿走过多厕纸的问题，因此决定安装带有 FRT 的厕纸分配器，首先检查以确保系统在过去 9 分钟内没有遇到任何人。面部识别如何工作？人脸识别的工作原理是将人脸图像转换为称为模板的数字表达式，可用于比较人脸图像的相似性。通过比较不同人脸的模板，可以确定两张给定的人脸是否属于同一主体，类似于比较指纹记录的方式。生成这些模板的过程通常被描述为在脸上定位某些关键点并测量它们之间的距离，但这并不准确。 面部识别如何工作？ |页496999794808368766466587410199101918113467626054569895261621161153313963626396921089160221223169997159549588931421821972462342155043589292841012042272302232118157578289749210415893226215695748858770789020719622620918752509290676417022020023819818540438577697015711918521119015344398044741028615316920820214644427673645793225210203179422837766962695312816215524527162865646156497224624426201611733044210955245136138143030165311613029108314241511731155716548424虽然构建面部识别系统的一些较早尝试确实采用了这种方法，但今天的系统要复杂得多。现代面部识别程序通过将图像通过一系列计算机生成的“过滤器”来生成面部模板。要了解这是如何工作的，首先要记住，计算机不会像人类那样解释人脸图片，这一点很重要。计算机不会将人脸视为颜色、形状和特征的集合，而是将其视为数字矩阵。这些数字的排列使得每个数字都描述了某个像素的亮度或暗度。面部识别的目标是找到一种方法，根据这些数字在矩阵中的组织方式来可靠地识别面部。实现这一点的一种方法是使用过滤器。今天，在智能手机相机应用程序的背景下，图像过滤器的概念最为人熟悉。这些类型的过滤器可以通过浏览构成图像的数字矩阵并根据创建特定视觉效果的一组预先确定的规则稍微调整它们来拍摄图像并调整其颜色，对比度或其他视觉细节风格。这种操作的结果是，当您将所有数字重新组合在一起时，图像看起来与我们的眼睛略有不同。用于面部识别的过滤器基于相同的想法，即根据一组编程规则操纵像素值。然而，它们的不同之处在于它们的目的不是调整图像的视觉细节。 William Crumpler 和 James A. Lewis |页5面部图像，而是将图像转换为简化的“指纹”，以独特的方式代表该面部。要理解这意味着什么，请考虑以下数字集的情况：列表 1: [8, 1, 2, 4, 2, 5, 6, 7, 8, 7, 8, 9, 8, 4, 2, 1, 1, 6, 6, 2, 2, 2, 1, 6]列表 2: [6, 8, 8, 3, 4, 1, 7, 8, 3, 4, 1, 7, 4, 2, 5, 8, 2, 3, 3, 2, 7, 7, 9, 8]假设您的任务是比较这两个列表以确定它们是否包含相同的数字（只是顺序不同）。你会怎么做？一个答案可能是手动检查每个列表以对照相反的列表核对每个数字，但这将需要很长时间并且如果您被要求进行数千个此类比较，则无法很好地扩展。更好的解决方案是找到某种方法将每个列表简化为更容易立即比较的形式。一种选择可能是使用列表中值的平均值。如果两个列表包含相同的数字，它们的平均值也应该相同。您可以计算出列表 1 的平均值为 4.5，而列表 2 的平均值为 5。通过使用列表的平均值作为一种指纹，可以快速轻松地确定列表包含不同的数组。当然，数字列表的平均值并不是该列表的唯一表示。即使您看到两个平均值为 5 的列表，您也无法确定它们包含完全相同的数字。一个列表可以容纳 20 个 5，而另一个可以容纳 10 个 1 和 10 个 9。更好的操作将能够将这些列表简化为更具区别性的表示，并且除了真正匹配的数字列表之外不会被误认为是任何其他内容。这是面部识别开发人员的使命：创建一种将数字面部图像中包含的信息转换为简化但仍然非常独特的表示的方法。理想情况下，这些模板应该是独一无二的，因为任何两个人脸都不应该产生高度相似的模板，并且它们应该是健壮的，因为同一人脸的不同实例和角度应该总是导致高度相似的模板。目前，现代 FRT 系统创建的模板既不是唯一的，也不是完全健壮的，但更接近这些目标是当前研究工作的重点。面部识别系统从数字图像生成模板的操作比简单地取像素值矩阵中所有数字的平均值要复杂得多。现代面部识别系统中的模板生成过程涉及应用一系列过滤器，这些过滤器在图像上移动并对像素值执行计算以产生简化的表示，如下所示。在上图中，显示的数字代表面部图像的像素值。红色框是“过滤器”，包含数字或未图示的计算过程。输出值（x、y、z 等）是对红框内的图像像素进行乘法和加法或其他一些操作（例如“找到最大数”）的结果。 面部识别如何工作？ |页6通过使用多个不同的过滤器在图像上一遍又一遍地重复这个过程，面部识别模型最终能够生成一个简化的模板，该模板易于比较，同时仍然与主题不同，并且希望对图像质量具有鲁棒性。以这种方式工作的算法的一个例子是 Facebook 的 DeepFace 系统，如下面的 Facebook 所示，它使图像经历七个处理阶段，并首先将 32 个不同的过滤器应用于目标