Machine Translated by Google

Virtual  U：
击败人脸活体检测
从您的公共照片构建虚拟模型
Yi  Xu、
True  Price、
Jan‑Michael  Frahm  和  Fabian  Monrose，
北卡罗来纳大学教堂山分校
https://www.usenix.org/conference/usenixsecurity16/technical‑sessions/presentation/xu

本文收录在第  25  届  USENIX  安全研讨会论文集

2016  年  8  月  10  日至  12  日  ‧  德克萨斯州奥斯汀

国际标准书号  978‑1‑931971‑32‑4

第  25  届  USENIX  安全研讨会论文集的
开放获取由  USENIX  赞助
Machine Translated by Google

Virtual  U：
通过构建虚拟模型击败人脸活体检测
来自您的公开照片

Yi  Xu,  True  Price,  Jan‑Michael  Frahm,  Fabian  Monrose  

北卡罗来纳大学教堂山分校计算机科学系

{yix,  jtprice,  jmf,  fabian}@cs.unc.edu

抽象的 谷歌，
准备以自己的方式进入市场
在本文中，
我们介绍了一种新的绕过方法 解决方案，
已经收购了多家面部识别软件公司1。
虽然市场是根据所提供的
现代人脸认证系统。
进一步来说， 技术类型（例如，
通过利用目标用户的少量图片
取自社交媒体，
我们展示了如何创造现实， 2D  面部识别、
3D  识别和面部分析/面部生物特征认证），
Gartner  研究估
破坏安全性的纹理化  3D  面部模型 计，
2018  年整体市场将增长到超过  65  亿美元（目前约为  20  亿美元）  
广泛使用的人脸身份验证解决方案。
我们的框架使用了虚拟现实  (VR)  系 [13]。
统，
并结合了执行动画的能力
随着这种推向市场，
提高了准确性
（例如，
扬眉或微笑）
面部模型， 人脸识别技术仍然是一个活跃的领域
为了欺骗活体检测器相信 学术界和工业界的研究。
谷歌的  FaceNet
3D模型是真实的人脸。
合成人脸 该系统在  Wild  数据集[47]中的  La  beled  Faces  上实现了近
用户显示在  VR  设备的屏幕上，
并且作为 乎完美的准确度， 举例说明了一个
设备在现实世界中旋转和平移，
3D 这样的努力。
此外，
最近的进展与深度
脸相应地移动。
对于观察面部认证系统，
显示器的深度和运动提示 学习算法[38,  53]在
加强人脸识别的鲁棒性
符合人脸的预期。 和当今使用的身份验证技术。
事实上，
最先进的人脸识别系统现在可以胜过
我们认为，
这种基于  VR  的欺骗攻击构成了一种全新的攻击类型，
即 他们的人类同行[36]，
而这种高精度是增加使用的驱动因素之一

基于摄像头的身份验证存在严重缺陷
系统：
除非它们包含其他可验证数据源，
否则依赖彩色图像数据和相机运动 的人脸识别系统。
的系统很容易受到虚拟现实的攻击。
至 然而，
即使考虑到现代人脸的高精度
识别技术，
它们在人脸认证系统中的应用还有很多不足之处。
为了
展示这种威胁的实际性质，
我们使用我们方法的端到端实施进行彻底的实
验，
并展示它如何破坏 例如，
在  2009  年的黑帽安全会议上，
Duc  和  Minh  [10]展示了来自联想、
华硕和东芝等商品供应商的流行人脸
几种人脸身份验证解决方案的安全性 认证系统的弱点。
有趣的是，
杜克
包括基于运动的检测器和活体检测器。
和  Minh  [10]能够可靠地绕过面部锁定
1  简介 只需向软件展示照片和伪造的人脸图片即可。
本质上，
这些系统的安全性完
全取决于面子问题

在过去的几年里，
人脸认证系统已经
作为增强的安全性变得越来越流行 检测，
而不是人脸认证。
这广

移动设备和台式计算机中的功能。 宣传事件导致后续整合更多

随着底层计算机视觉算法的成熟，
许多应用程序设计人员和新生专家 强大的人脸身份验证协议。一个突出的例子是  Android  
OS，
它增强了它的面部认证
供应商已经加入并开始提供解决方案
1  参见，例如， “Apple  Acquires  Face  Recognition,  Expression
具有不同程度的安全性和我们能力的移动设备。
其他更知名的玩家，
如   分析公司， Emotient”，
TechTimes， 2016  年  1  月；  “谷歌收购
Apple  和 面部识别软件公司  PittPar，” 华尔街日报， 2011  年。

USENIX  协会 第  25  届  USENIX  安全研讨会  497
Machine Translated by Google

2012  年的  tication  方法要求用户在眨眼的同时 身份验证相机被跟踪，
VR  系统内部旋转和平移网格以匹配。
身份验证（即，
作为静止图像的对策
欺骗攻击）。
不幸的是，
这种方法也被 以这种方式，
相机观察到的完全相同
显示提供的保护很少，
并且可以通过向系统显示两个交替图像来轻松通过   面部特征的运动，
就像真实的脸一样，
‑  一个是用户睁着眼睛，
另一个是她 满足活体检测的要求。
这样的
攻击从根本上击败了基于彩色图像和运动的面部识别，
因为只要付出足够
闭上眼睛。
2这些攻击强调了一个事实，
即面部 的努力，
VR  系统就可以显示一个环境，
身份验证系统需要强大的安全功能
不仅仅是识别，
以阻止欺骗攻击。 本质上与现实世界的输入没有区别。
粗略地说，
三种类型的这种欺骗攻击 在本文中，
我们表明可以破坏
过去曾使用过，
取得了不同程度的成功： 现代人脸认证系统使用这样一种方法。
此外，
我们展示了一个准确的面部模
(i)  基于静止图像的欺骗，
(ii)  基于视频的欺骗， 型
(iii)  基于  3D  掩码的欺骗。
顾名思义， 可以只使用少数可公开访问的
基于静止图像的欺骗攻击存在一种或多种 照片  ‑  例如，
从社交网络收集
用户的静止图像到认证相机；
每个 网站 受害者的网站。
从务实的角度
图像要么打印在纸上，
要么用数字化显示器显示。
另一方面，
基于视频的欺 看来，
我们面临两个主要挑战：
i)
骗 目标的照片数量可能会受到限制，
并且  ii)
呈现受害者移动面部的预先录制的视频 每张可用照片，
照明设置未知
试图欺骗系统错误地识别 并且用户的姿势和表情不受约束。
运动作为活力的标志。
基于  3D  蒙版的 为了克服这些挑战，
我们利用来自
使用  3D  打印面膜的方法是
最近由  Erdogmus  和  Marcel  [11]  探索。 计算机视觉领域，
并调整这些技术以适应
与计算机安全领域的典型案例一样，
技术娴熟、
积极进取的对手的聪明 我们的需求。
一旦用户的可信合成模型
才智 获得，
然后我们使用入门级虚拟现实显示器来击败活体检测的最新技术。
促使系统设计人员将防御技术融入他们开发的生物识别解决方案中。
这个
本文的其余部分安排如下：  §2提供
猫捉老鼠的游戏继续在这个领域上演 与人脸认证、
用户在线照片开发和3D人脸相关的背景和相关工作
人脸认证系统，
目前的建议要求使用精心设计的人脸活体检测方案（试图
区分真实的 重建。  §3概述了我们执行的步骤
我们基于  VR  的攻击。
在§4  中，
我们评估性能
来自欺骗的用户）。
事实上，
大多数现代系统 我们在  5  个商业人脸认证系统上的方法，
此外，
在提出的用于活体检测的
与简单的眨眼检测相比，
现在需要更积极的参与，
经常要求用户旋转她 最先进系统上。
我们建议的步骤可以

登录时抬起头或扬起眉毛。
基于运动 被用来减轻我们在§5中的攻击，
我们解决了
例如，
检查登录期间捕获的输入是否表现出足够的  3D  行为的技术是 §6中我们成功的攻击策略的含义。

也是人脸认证研究的一个活跃领域。
2  背景及相关工作
一个这样的例子是李等人最近的工作。  [34]
出现在  CCS 2015  中。
在那项工作中，
使用 在深入研究我们方法的细节之前，
我们首先
活体检测被提出作为一种解决方案，
通过检查数据的一致性来阻止基于视 提供理解本文其余部分所需的相关背景信息。
频的攻击。
用惯性传感器记录的数据。
这样的检测 首先，
我们注意到，
鉴于三个突出的类别
该方案依赖于这样一个事实，
即当相机相对移动时 前面提到的欺骗攻击，
应该清楚的是
对于用户的静止头部，
它检测到的面部特征 虽然基于静止图像的攻击是最容易执行的，
也将以可预测的方式移动。
因此，
一个  2D  视频 通过检测面部的  3D  结构，
可以轻松应对它们。
基于视频的欺骗更难
的受害者将必须在确切的情况下被捕获
相同的摄像机运动以欺骗系统。 完成，
因为目标用户的面部视频可能
如[34]  中所述，  3D  打印的面部重建为击败基于运动的活体检测方案 更难获得；
此外，
此类攻击还可以
提供了一种选择。
在我们看来，
一个更可实现的 被成功击败，
例如，
使用最近
Li等人的建议技术。  [34]  （我们讨论
方法是用  3D  面部网格呈现系统 稍后更详细）。
基于  3D  掩模的方法，
在
在虚拟现实  (VR)  环境中。
这里，
动 另一方面，
更难对付。
也就是说，
建
3D  面具可以说更耗时，
而且
2https://www.youtube.com/watch?v=zYxphDK6s3I 需要专门的设备。
尽管如此，
因为

498  第25届USENIX安全研讨会 USENIX  协会
Machine Translated by Google

对于这种攻击媒介所构成的威胁，
许多研究表明 可以自己提供。
借助这些集成技术，
可以可靠地检测到传统的欺骗
开始检测  3D  蒙版的纹理[11]。 攻击。
出于这个原因，
基于运动的组合

系统和活体检测器已获得牵引力和
2.1  现代防御欺骗 现在已在许多商业系统中广泛采用，包括由

正如引入了新型欺骗攻击来欺骗面部认证系统一样，
KeyLemon、
Rohos  和  Biomids  等公司。
为了
在本文的其余部分， 我们将这种组合视为
对抗这些攻击的更先进的方法
防御欺骗攻击的最先进技术
被开发。
现在最流行的直播
用于人脸认证系统。
检测技术可以分为基于纹理的方法、
基于运动的方法或活性

评估方法。
我们依次讨论。 2.2  在线照片和人脸认证
基于纹理的方法[11,  25,  37,  40,  54,  60]试图基于被欺骗的面部
将具有明显不同的假设来识别欺骗攻击 来自的个人照片应该不足为奇
在线社交网络可能会损害隐私。主要的
真实面孔的纹理。
具体来说， 他们假设 社交网站建议用户设置隐私设置
由于其生成的特性，一张恶搞的脸（不管它是否印在纸上，
显示在 对于他们上传的图片，但其中绝大多数
照片通常可供公众访问或设置为“仅限朋友”
查看”  [ 14,26,35 ]。
显示，或制作为  3D  蒙版）
将不同于 用户也无法直接控制自己照片的可访问性
在形状、细节、
微纹理、 分辨率、模糊、
伽马校正和阴影方面的真实面
孔。
那 由其他用户发布，
尽管他们可以删除（“取消标记”）
此类照片与其
也就是说，这些技术依赖于图像显示和打印技术的感知局限性。 然 帐户的关联。
而，
随着 社交网络照片用于在线安全的一个显着用途是  Facebook  的
高分辨率显示器（例如  5K） 的出现，
欺骗图像和真实图像之间的视 社交身份验证  (SA)  系统
觉质量差异 [15]，
验证码的扩展， 旨在支持
活着的脸很难注意到。 另一个限制是 通过要求用户识别其朋友的照片来进行身份验证。 虽然这种方法确
这些技术通常需要对所有可能的培训 实需要更多
欺骗材料，这对于真实系统是不实用的。 比一般  CAPTCHA、
Polakis  更具体的知识
基于运动的方法[3,  27,  29,  32,  57]检测 等。  [42]证明面部识别可以
通过使用用户头部的运动来进行欺骗攻击 应用于用户的公开照片以发现他们的社交
推断  3D  形状。
光流等技术 关系并自动解决  22%  的  SA  测试。
通常使用焦距分析。 基本假设是从真实面孔中恢复的结构 鉴于一个人的在线照片存在并不完全
由用户单独控制 但由他们的集体控制
通常包含足够的  3D  信息，而来自假脸（照片）
的结构通常在深度上 社交圈 攻击者有许多途径
是平面的。 揭示用户的面部外观， 即使
例如， 李等人的方法。  [34]检查 用户将自己的个人照片设为私密。  Ilia  等人的工作是为了遏制
移动设备之间的移动一致性 这种便捷的访问方式。  [17]有
内部运动传感器和观察到的头部变化 探索用户数据的自动私有化
一个社交网络。
该方法使用人脸检测和
从录制的视频中计算出的姿势， 而
索赔人尝试向设备验证自己的身份。 照片标签可以选择性地模糊用户的面部，
当
这种  3D  推理提供了强大的防御 查看方无权查看照片。
静态图像和基于视频的攻击。 未来，这种方法可能有助于减少
用户个人照片的公共可访问性，但它是
最后，活性评估技术[19,  30,  31,  49]
一个人的外表不可能被所有社交媒体上的攻击者完全混淆
要求用户在身份验证阶段执行某些任务。 对于我们评估的系统，

互联网上的网站和图像商店。
通常要求用户在注册过程中遵循某些准则，
并执行一系列随机动作
（例如，
眼球运动、嘴唇运动和眨眼） 显然，
在线用户照片的可用性是一个福音
对于负责破坏人脸身份验证系统挑战的对手。
最贴切的
登录时。
请求的手势有助于击败当代欺骗攻击。
这条战线是李等人的工作。  [33]。
在那里，
作者提出了一种攻击，
击
败了常用的
要点：
对于现实世界的系统，
活体检测方案通常与基于运动的方法相 使用目标照片的面部认证系统
结合，
以提供比这两种方法更好的安全保护 从在线社交网络收集的用户。
李等人。  [33]
报告称，
他们的测试集中  77%  的用户是  vul‑

USENIX  协会 第  25  届  USENIX  安全研讨会  499
Machine Translated by Google

对他们提议的攻击感到厌烦。
然而，
他们的工作 Blanz  和  Vetter  [6,  7]的  (3DMM) ，
它学习了
针对的是不用于企业人脸活体检测的人脸识别系统。
如第  2  节所述，
在 面部形状和外观的主要变化，
发生在种群中，
然后将这些属性拟合到
现代人脸认证软件，
复杂的活体检测方法已经在使用，
而这些 特定面孔的图像。
可以在一组受控图像[8,  39]或互联网照片集[23]  上训练
可变形模型。
这
技术可以阻止此类静态图像欺骗攻击
由李等人进行。  [33]。 潜在的变化落在一个连续统一体上并捕获
两种表情（例如，
从皱眉到微笑的光谱）
和身份（例如，
从瘦到重或从男性到女性
2.3  3D面部重建
光谱）。
在  3DMM  及其衍生产品中，
无论是  3D  形状
从少量构建  3D  面部模型 和纹理信息被投射到一个高维

个人照片涉及强大的应用 线性空间，
可以用主成分分析（PCA）  [22]进行分析。
通过优化

计算机视觉领域的技术。
幸运的是，
存在多种重建方法
PCA  中不同特征向量的权重，
任何特定的人脸模型都可以近似。
统计

这使得这项任务不像最初看起来那样令人生畏
脸红，
并且已经引入了许多技术用于从单个图像进行面部重建[4,  23,  24,   面部模型已被证明非常强大，
只需要几张照片即可进行高精度重建。
为了

43]，
视频[20,  48,  51]，
以及两者的组合[52]。
为了 例如，
Baumberger  等人的方法。  [4]达到

教学原因，
我们简要回顾一下概念 仅使用两个图像即可获得良好的重建质量。
帮助读者更好地理解我们的方法。 为了使该过程完全自动化，
最近的  3D  面部重建方法依赖于几个面部标

最流行的面部模型重建方法可以分为三类： 志点，
而不是对整体进行操作

阴影（SFS）、
运动结构（SFM）
结合密集立体深度估计和统计面部模型。   模型。
这些地标可以使用监督下降法（SDM）  [59]或深

SFS  方法[24]使用
卷积网络[50]。
通过首先识别这些
场景照明和反射率恢复模型 图像中的二维特征，
然后将它们映射到点

面结构。
使用这种技术，
一个  3D  面部模型 在  3D  空间中，
可以高效、
高精度地重建整个  3D  人脸表面。
在这个过程中，

可以仅从单个输入照片重建。  SFS
依赖于假设人脸图像的亮度水平和梯度揭示了人脸图像的  3D  结构 主要挑战是面部地标的定位
在图像中，
尤其是轮廓地标（沿着
脸。
然而，
光照模型的约束 颧骨），
在非正面半封闭

在  SFS  中使用需要相对简单的照明设置，
因此通常不能应用于现实世界的 意见；
当有多个输入图像可用时，
我们介绍了一种解决此问题的新方法。

照片样本，
其中光的配置
3D  重建的最终结果是无纹理的

来源未知，
而且通常很复杂。 （即缺乏肤色、
眼睛颜色等）
面部表面。
然后使用源图像应用纹理，
创建
作为替代方案，
结构来自运动方法
[12]利用多张照片对空间进行三角测量
逼真的最终人脸模型。
我们接下来详细介绍我们的流程
从用户公开可用的互联网照片构建这样一个面部模型，
我们概述了这个模
3D点的位置。
然后它利用立体
型如何
跨不同观点的技术来恢复
用于基于  VR  的人脸身份验证攻击。
面部的完整  3D  表面。
用这种方法，
重建密集且准确的模型通常需要从不同角度对表面进行许多一致的视图；
此外，
图像中的非刚性变化（例如面部表情）
很容易导致  SFM  方法 3  我们的方法

图  1  显示了我们创建合成人脸模型的方法的高级概述。
给定一个或
失败。
在我们的场景中，
这些要求使得这样一个
方法不太实用：
对于许多人来说，
只有有限数量的图像可能在网上公开可 更多目标用户的照片，
我们首先自动提取用户面部的地标（阶段 ）。
这些
用，
而且面部的动态特性使其难以
地标捕捉物体的姿势、
形状和表情
查找具有一致外观的多个图像 用户。
接下来，
我们为用户估计一个  3D  面部模型，
（即完全相同的面部表情）。 优化几何以匹配观察到的二维地标（阶段 ）。
一旦我们恢复了形状
与  SFS  和  SFM  不同，
统计面部模型[4,  43]
寻求使用对图像执行面部重建 用户的脸，
我们使用单张图像来传递纹理
现有面部模型的训练集。
这样做的依据 信息到  3D  网格。
转移纹理是
面部重建的类型是  3D  可变形模型 非平凡的，
因为面部的某些部分可能是自闭的

500  第  25  届  USENIX  安全研讨会 USENIX  协会
Machine Translated by Google

图  1：
我们提出的方法概述。

（例如，
从侧面拍摄照片时）。
这些被遮挡部分的纹理必须以不引入太多 知名数据集上  2.7  像素的点对齐误差
伪影的方式进行估计（阶段 ）。 [1]并且优于其他常用技术
（例如，  [5]）
用于地标提取。
一旦纹理被填充，
我们就有了一个逼真的  3D  模型
基于单个图像的用户面部特征。
然而，
尽管它的真实性，
阶段的输出是
仍然无法欺骗现代人脸认证系统。
其主要原因是现代人脸认证系统使用对象的注视方向作为强

功能，
要求用户按顺序看相机
通过系统。
因此，
我们还必须自动纠正用户注视纹理网格的方向（阶段
图  2：
面部地标提取示例
）。
然后可以对调整后的模型进行变形，
以生成不同面部表情的动画，
例
如微笑、
眨眼和扬眉 根据我们的需要，SDM  在大多数在线图像上都能很好地
工作，
即使是那些以低分辨率（例如， 40  ×  50  像素）
捕获人
脸的图像。
但是，它确实失败了
（阶段 ）。
这些表达方式常被用作活泼 我们收集的一些在线照片（少于
人脸认证系统中的线索，
因此，
我们 5%），
其中姿势超出了
需要能够在我们的 算法。
如果发生这种情况，
我们只需丢弃图像。
3D模型。
最后，
我们将纹理化的  3D  模型输出到 在我们的实验中，
地标提取结果是
一个虚拟现实系统（阶段 ）。 手动检查正确性，
虽然自动
使用这个框架，
对手可以绕过这两个 可能会为此任务设计评分系统。
人脸识别和活体检测组件 示例地标提取如图2  所示。
现代人脸认证系统。
在接下来的内容中，
我们讨论了我们为解决在我们的六个阶段过程中出现的各种挑战而采取
3.2  3D模型重建
的方法。
从每个模型中提取的  68  个  3D  点地标
N  个输入图像为我们提供了一组坐标
3.1  面部地标提取
si,  j  ∈  R2,其中  1  ≤  i  ≤  68,1  ≤  j  ≤  N。
从用户的多张输入照片开始，
我们的第一个 人脸上的  3D  点Si,  j  ∈  R3与图像坐标si,  j遵循所谓的“弱透视”
任务是执行面部地标提取。
遵循朱等人的方法。  [63]，
我们提取了  68  个  
2D 投影”
（WPP）
模型[16]，
计算如下：

使用监督去气味方法（SDM）  [59]在每个图像中的面部标志。  SDM  成 si,  j=  fjPRj(Si,  j  +tj),   (1)

功识别
其中fj是统一比例因子；  P  是投影
较大位姿差异下的面部标志
100
（±45  度偏航，
±90  度滚动，
±30  度俯仰）。
我们选择了 矩阵 ;  Rj是一个  3×3  的旋转矩阵，
定义为
朱等人的技术。  [63]因为它成就了我 010

USENIX  协会 第  25  届  USENIX  安全研讨会  501
Machine Translated by Google

面相对的俯仰、
偏航和滚动，
分别 给定输入图像中每个识别出的面部标志si,  j ，
我们需要找到对
到相机；  tj  ∈  R3是人脸的平移 应的  3D  点Si ,  j
相对于相机。 在这些参数中， 在底层人脸模型上。
对于地标，
例如
只有si、
j和  P  是已知的，
所以我们必须估计 眼角和嘴角，
这对应
其他。 是不言而喻的，
并且在图像之间是一致的。
然而，
幸运的是，
在形状上存在大量工作 用于标记面部边缘的轮廓地标
人脸统计。
继朱等人。  [63]， 图像，
用户面部上的相关  3D  点
我们使用  3D  Morphable  捕捉面部特征 模型依赖于姿势：
当用户直接面对相机时，
他们的下巴和颧骨完全处于
具有  Chu  等人提出的表达式扩展的模型  (3DMM)  [39] 。  [9]。
该方法使
用主成分分析  (PCA)  来表征人群面部形状的变化，
每个人的  68  个  3D 视图，
并且观察到的  2D  地标位于基准上
用户  3D  面部模型的边界。
当用户
向左（或向右）旋转他们的脸， 但是，
之前的
点地标被连接成一个特征 在左侧观察到  2D  轮廓地标（分别在右侧）
用于分析的向量。
这些变化可以分为 脸的一侧移出视线。
结果，
观察到
两类：
与个人相关的常数因素 人脸边缘的  2D  地标对应于  3D
不同的外观（身份）
和非常数的因素 点更靠近脸部的中心。
恢复时必须考虑到这个  3D  点位移
与表达有关。
身份轴捕获特征，
例如脸宽、
眉毛位置或嘴唇大小，
底层面部模型。
而表情轴则捕捉到微笑等变化 曲等人。  [44]使用表面法线方向上的约束来处理轮廓地标，
基于图像
相对于皱眉。
图6显示了表达式变化的示例轴。 中人脸边缘上的观察结果

更正式地说，
对于任何给定的个体，
面部的  3D  坐标Si、
j可以 将具有垂直于视图的表面法线
建模为 方向。
但是，
这种方法不太稳健，
因为
法线方向不能总是准确估计，
因此需要仔细调整参数。
矽,  j
=  S¯ +援助 αid  +Aexp αexp (2)
一世
一世
一世
j ,

哪里 一世
是人口中个体中Si,  j的统计平均值，  Aid 朱等人。  [63]提出了一个“里程碑式的行进”
方案
是主体集 一世
迭代估计  3D  头部姿势和  2D  轮廓
与身份相关的变异轴和Aexp 一世
是集合 地标位置。
虽然他们的方法有效且
与表达相关的主轴。  αid和αexp 是 对不同的面角和表面形状具有鲁棒性，
j
分别是身份和表达权重向量， 它只能处理单个图像，
不能细化
确定个人特定的面部特征和 使用附加图像的重建结果。
表情特定的面部外观。
我们得到  S¯ 一世
和 我们解决对应问题的方法是
援助使用  3D  可变形模型[39]和Aexp
一世 一世
从 使用
人脸仓库[8]。 预训练的高斯分布（见附录A）。
不像朱等人的方法。  [63]这是基于

单个图像输入，
我们联合求解所有图像的姿势、
透视、
表情和中性表情参
数。
由此，
我们得到一个中性表达式

用户面部的模型Si 。
一个典型的重建，  Si，
如图4  所示。

图  3：
身份轴的图示（从重到细）
和
表情轴（抿嘴笑）。

结合方程式时。  （1）
和（2），
我们不可避免地运行 图  4： 根据面部标志构建的  3D  面部模型（右）
进入所谓的“对应问题”。
那是， 从  4  张图像中提取（左）。

502  第25届USENIX安全研讨会 USENIX  协会
Machine Translated by Google

3.3  面部纹理修补 其中Np是网格上点  p  的邻域。
我们的增强是泊松的自然延伸
给定  3D  面部模型，下一步是修补
佩雷斯开创性作品中建议的编辑方法
具有真实纹理的模型， 可以通过以下方式识别
等。  [41]，
尽管没有给出  3D  的公式。
人脸认证系统。 由于外观
通过求解方程。  4而不是将纹理投影到
社交媒体照片的变化， 我们必须实现
平面和求解方程。  3、 我们获得更真实的纹理
这是通过映射单个捕获照片中的像素
在人脸模型上， 如图5  所示。
3D  面部模型， 避免了挑战
混合面部的不同照明。 然而，
这仍然使许多区域没有纹理， 并且
那些没有纹理的斑点在现代人的脸上会很明显
认证系统。 为了填补这些缺失的区域，
天真的方法是利用垂直对称
面对并用它们的对称补码填充缺失的纹理区域。 然而，
这样做会导致

到缺失区域边界的强伪影。
一个 图  5：
朴素对称修补（左）； 平面泊松
逼真的纹理模型应该没有这些伪影。 编辑（中）；  3D  泊松编辑（右）。

为了减少这些伪影的存在，一种方法
是迭代地平均相邻顶点的颜色
作为一种颜色趋势，
然后将这种趋势与纹理细节相结合[45]。
然而， 3.4  视线校正
这种方法过于简化
我们现在有一个逼真的用户  3D  面部模型。
问题并且未能真实地模拟面部表面的照明。
相反，
我们遵循建议
然而，
我们发现处于阶段的模型无法
绕过大多数著名的人脸识别系统。
深入挖掘原因，
我们观察到大多数
朱等人。  [63]并使用估计面部照明
球谐函数[61]， 然后用
识别系统在很大程度上依赖于注视方向
泊松编辑[41]。 这样，
输出模型将
身份验证，
即，如果用户没有看设备，它们会失败关闭。
为了
似乎有更自然的照明。 可悲的是，
我们
解决这个问题，我们引入了一个简单的，
不能直接使用他们的方法， 因为它重建的是平面标准化人脸，
而不是  
但有效的方法来纠正注视方向
3D  人脸模型，因此
我们的合成模型（图1，
阶段 ）。
我们必须将他们的技术扩展到  3D  表面网格。
思路如下。由于我们已经重新构建了面部模型的纹理，
我们可以
我们为改进最初的想法而实施的想法
在眼睛区域合成纹理数据。这些数据
带纹理的  3D  模型如下：  从
选择单张照片作为主要纹理来源， 我们首先
包含来自巩膜、
角膜、
估计并随后删除照片中存在的照明条件。 接下来，
我们映射纹理
和瞳孔并形成一个三维分布
RGB  颜色空间。
我们使用  3D  高斯函数估计这种颜色分布，
其三个
通过保形映射将面部模型放到一个平面上，
然后
主成分可以计算为(b1,b2 ,  b3)
使用  2D  Poisson  编辑估算未知纹理。
我们进一步将他们的方法扩展到三个维度和
权重(σ1,σ2,σ3),σ1  ≥  σ2  ≥  σ3  >  0。
我们执行
直接在面部模型的表面上进行泊松编辑。 直观地说，
泊松编辑背后的
对普通人脸的眼睛区域进行相同的分析
想法
从  3DMM  [39]  获得的模型， 其眼睛直视相机， 我们同样获得
是在编辑区域保留细节纹理， 同时
强制纹理在边界上的平滑度。
主要颜色成分（bstd 1 ,bstd
2 3 )  与重量
,bstd
这个过程在数学上定义为
(σstd
1 ,σ标准
2 ,σ标准
3 ),σstd1 ≥  σ标准
2 ≥  σ标准
3 >  0.  然后， 我们  con
(3) 将眼睛纹理从平均模型转换为眼睛
Δf  =  Δg,st  f  |∂Ω  =  f  0|∂Ω,
用户的质感。对于眼睛区域中的纹理像素  c
0
其中Ω是编辑区域，
f是编辑结果，
f是已知的原始纹理值，
g是纹理 平均纹理，我们将其转换为
3
σi
编辑区域中的值未知且需要 转换= ∑
我=1
个。
标准差
一世
（c  bstd
一世)  与一 (5)
用它的反射补码进行修补。在  3D  曲面网格上，每个顶点都与  2  到  8  
个相邻节点相连。变换方程。  3成离散形式， 我们有 实际上，我们对齐了平均值的颜色分布
具有用户眼睛颜色分布的眼睛纹理
质地。
通过修补面部模型的眼睛区域
0
|Np|  fp  ‑  ∑ fq  =  ∑ f  q +  (Δg)p, (4) 使用这种转换后的平均纹理，我们可以真实地捕捉用户向前注视的
q∈Np∩Ω q∈Np∩Ω 眼睛外观。

USENIX  协会 第  25  届  USENIX  安全研讨会  503
Machine Translated by Google

3.5  添加面部动画 在  3D  空间中发生了变化。
这提出了一个挑战，
因为
不知道设备是如何在  3D  中移动的
我们测试的一些活体检测方法要求用户执行特定的操作，
以便
空间，
我们不能在现实中移动我们的  3D  面部模型
时尚。
结果，
观察到的  3D  面部运动将
解锁系统。为了模仿这些动作，
我们可以简单地使用一组预定义的动
不同意设备的惯性传感器， 导致我们
画我们的面部模型 在  Li  等人的方法上失败的方法。  [34]那
面部表情（例如， 来自  FaceWarehouse  [8]）。
回忆一下在方 使用这些数据进行活体检测。
程式中的推导。  2，
我们已经计算过了
幸运的是， 可以跟踪  3D  位置
身份轴αid  的权重，
它捕获
使用外向摄像头的移动智能手机
中性表情中的用户特定面部结构。 我们
具有运动结构（见§2.3）。 使用摄像机的视频流作为输入，该方法
可以通过代入a来调整模型的表达
通过跟踪来工作
特定的、 已知的表达权重向量αexp 性病 进入方程。  2.
周围环境中的点（例如， 角落
通过将模型的表达权重从  0  插值到
表），然后估计它们在  3D  空间中的位置。
αexp 我们能够动画  3D  面部模型以微笑，
标准差，
同时，
相机的  3D  位置相对于跟踪点被重新覆盖， 从而推断
大笑、
眨眼和扬眉（见图6）。

相机的  3D  位置变化。
几种计算机视觉
最近引入了一些方法来解决这个问题
在移动设备上准确实时地解决问题
[ 28、
46、
55、
56 ] 。
在我们的实验中，
我们使用
印刷标记3放置在相机前面的墙上，
而不是跟踪周围的任意物体
图  6：
动画表达式。从左到右：
微笑， 场景;但是，
最终结果是一样的。通过将此模块纳入我们的概念验证，
笑， 闭上眼睛，扬起眉毛。 由于相机平移而观察到的模型的视角可以是

以高一致性和低延迟进行模拟。
4
我们的攻击设置示例如图所示
3.6  利用虚拟现实 7.  VR  系统由一个  Nexus  5X  单元组成，
使用
虽然前面的步骤对于恢复目标用户面部的真实动画模型是必要的， 它的外向摄像头跟踪打印的标记
但我们的驱动洞察力是可以利用虚拟现实系统来显示该模型， 就好 环境。 在  Nexus  5X  屏幕上，系统
像它是真实的  3D  面部一样。
这种基于  VR  的欺骗构成 显示一个  3D  面部模型， 其视角始终为
与空间位置和方向一致
认证设备。 验证相机视图
一种全新的攻击类型，
利用基于摄像头的身份验证系统中的弱点。 VR显示器上的人脸模型， 成功
被欺骗相信它正在查看用户的真实面孔。
在  VR  系统中，用户的合成  3D  人脸
显示在  VR  设备的屏幕上，并作为
设备在现实世界中旋转和平移， 3D
脸相应地移动。对于观察型人脸认证系统， 显示器的深度和运动提
示与人脸的预期完全匹配。我们的实验性  VR  设置包括自定义

Nexus  5X  smart  上显示的  3D  渲染软件
电话。 鉴于现代智能手机无处不在
社会， 我们的实施是切实可行的
图  7：使用虚拟现实模拟  3D  的示例设置
攻击者没有额外的硬件成本。 在实践中，
从运动结构。 认证系统观察到
任何具有类似渲染能力和惯性传感器的设备都可以使用。 旋转和平移以及设备移动的用户  3D  面部模型的虚拟显示。
恢复  
3D  平移
在智能手机、加速度计和陀螺仪上 VR  设备，
外向摄像头用于跟踪标记
协同工作，为设备提供一种感觉 在周围的环境中。
自运动。
一个示例用例是检测何时
设备从纵向视图旋转到横向视图， 3参见http://gogglepaper.com/上的  Goggle  Paper  4  
Oculus  Rift  等专用  VR  系统可用于
并旋转显示器，作为响应。
然而，这些传感器无法恢复绝对翻译 即
进一步提高相机跟踪的精度和延迟。 这种先进但容易获得的硬件有可能提
供甚至
是，
设备无法确定其位置如何 与这里介绍的相比， 更复杂的  VR  攻击。

504  第  25  届  USENIX  安全研讨会 USENIX  协会
Machine Translated by Google

4  评价 目前我们的框架面临的挑战，
无论是最初
重建用户的面部并创建相似度
我们现在证明我们提出的欺骗方法 与他们现在的外表相匹配。
对现代人脸构成重大安全威胁
认证系统。
使用真实的社交媒体照片
行业领先的解决方案
从同意的用户那里，
我们成功地破解了五个商业认证系统，
并以实用的端到
端实施我们的方法。
为了更好地了解威胁，
我们进一步系统地进行实验室 我们在五个高级商业广告上测试了我们的方法
实验，
以测试我们提出的方法的能力和局限性。
此外，
我们使用  Li  等人最新 人脸认证系统：
KeyLemon5、  Mobius6、  True
的基于运动的活体检测方法成功地测试了我们提出的方法。  [34]，
这在商 密钥[18]、  BioID  [21]和  1U  App7。
表1总结
业系统中尚不可用。 每个系统在学习a时所需的训练数据
用户的面部外观，
以及每个系统的大概用户数量（如果可用）。
所有系统

将某种程度的活体检测纳入其
身份验证协议。  KeyLemon  和  1U  App  要求用户执行眨眼、
微笑、
旋转
头部和扬眉等动作。
此外，
1U  App  随机请求这些操作

参与者
我们招募了  20  名志愿者进行商业测试 时尚，
使其对基于视频的攻击更具弹性。
BioID、
Mobius  和  True  Key  是基于运动的系统
人脸认证系统。
志愿者通过口耳相传招募，
跨越研究生和
并在用户转动头部时检测  3D  面部结构。
这五个系统也有可能采用其他
教师在两个独立的研究实验室。
咨询
先进的活体检测方法，
例如基于纹理的检测方案，
但这些信息还没有
我们的  IRB  部门联络人透露不需要申请。
参与实验室研究没有任何补偿。
参与者年龄
已向公众提供。

范围在  24  到  44  岁之间，
样本包括
其中  6  名女性和  14  名男性。
参与者来自 方法
各种种族背景（如志愿者所述）：
6  人为亚裔，
4  人为印度人，
1  人为非裔
美国人，
1  人为西班牙裔，
8  人为高加索人。
和他们的 #  安装
系统 训练方法

KeyLemon3 单视频  10  张静 ～100,000

同意，
我们从用户的  Facebook  和  Google+  社交媒体页面收集公共照
莫比乌斯2 止图像 18  条评论
片；
我们还收集了
我们可以在个人或社区网页上找到用户的任何照片，
以及通过 真键1 单视频  4  视频   50,000‑100,000
生物识别码2 1  静止图像 未知
1U  应用程序1 50‑100
网。
我们收集的最少照片数量
个人3人，
最多27人。
表  1：
评估的人脸认证系统总结。
平均照片数量为  15  张，
标准偏差约为  6  张照片。
除了存储对象之外，
没有
第二列列出了每个系统如何获取训练数据
记录有关受试者的私人信息 用于学习用户的面部，
第三列显示根据  (1)  Google  Play  商店，
(2)  每个系统
收到的安装或评论的大致数量
他们也同意的照片。
任何主题的图像
本文中显示的内容是在征得该同意的情况下完成的 iTunes  商店，或  (3)  softpedia.com。  BioID  是一个相对
特别的志愿者。 新应用程序， 尚未在  iTunes  上获得客户评论。
对于我们的实验，
我们手动提取了区域
在每个图像中围绕用户的脸部。
对手可以 所有参与者都在室内照明下注册了  5  个面部认证系统。
平均值
如果可用，
还可以使用社交媒体网站上的标签信息自动执行此操作。社交
媒体照片的一个有趣方面是它们可能会随着时间的推移捕捉用户的重大 每个志愿者注册所花费的时间
身体变化。
为了 所有系统的时间为  20  分钟。
作为对照，
我们首先
验证所有系统都能够正确识别
例如， 我们的一位参与者在 同一环境中的用户。
接下来，
在测试之前
过去  6  个月，
我们的重建必须使用此更改前后的图像。
其他两个用户 我们的方法使用通过社交媒体获得的纹理，
我们
评估我们的系统是否可以使用在此环境中拍摄的照片来欺骗识别系统。
我
面部发型频繁变化 胡须、
小胡子和刮得干干净净 所有这些都是我们 们
用于我们的 5http://www.keylemon.com
重建。
另一位用户在过去  3  年中仅向社交媒体上传了  2  张照片。
这些品种 6http://www.biomids.com
都 7http://www.1uapps.com

USENIX  协会 第  25  届  USENIX  安全研讨会  505
Machine Translated by Google

表  2：
使用  5  种面部认证系统的成功率
模型从（第二列）
获取的用户图像构建
室内环境和（第三和第四列）
图像
在用户的社交媒体帐户上获得。第四栏
显示成功完全欺骗目标用户之前所需的平均尝试次数。

发现

8因为它是一个桌面应用程序，
所以排除了  KeyLemon。

506  第  25  届  USENIX  安全研讨会 USENIX  协会
Machine Translated by Google

本文提出的策略代表了现实的安全威胁
可以在当今被利用的模型。
接下来，为了更深入地了解现实主义
对于这种威胁，我们仔细研究一下哪些条件
是我们的方法绕过各种面所必需的
我们测试的身份验证系统。我们还考虑什么
主要因素导致我们方法的失败案例。

4.1  评估系统鲁棒性
进一步了解建议的局限性
欺骗系统，
我们测试其对分辨率和视角的鲁棒性，
这是两个重要因素

用于用户上传的社交媒体照片。
具体来说，
图  8：
从照片中获取纹理的欺骗成功率
我们回答这个问题：
上传的文件中允许的最小分辨率和最大头部旋转是 不同的分辨率。
多少
在它变得无法用于欺骗攻击之前的照片
像我们的一样？
我们进一步探索低分辨率正面 单个图像。
对于所有  20  个样本用户，
我们收集了多张偏航角从  5  度变化
图像可以用来提高我们的成功率 的室内照片
高分辨率侧视图图像不可用。 （大约正面视图）
至  40  度（显着
旋转视图）。
然后我们执行  3D  重建
4.1.1  模糊、
有颗粒感的图片仍然说很多 每个用户的每个图像，
都在相同的三个人脸身份验证系统上。
欺骗成功率

评估我们欺骗面部认证系统的能力
图9  （左）
说明了作为头部旋转函数的单个输入图像。
可以看出，
当输入图
仅提供用户的低分辨率图像时
像具有大部分正面视图时，
所提出的方法成功地欺骗了所有基线系统。
作
face，
我们对样本用户的  3D  面部模型进行纹理处理
为
使用室内正面照片。
那时这张照片
以各种分辨率进行下采样，
使得用户下巴和前额之间的距离在  20  到  50  
偏航角增加，
推断变得更加困难
像素之间。
然后，
我们试图欺骗
用户从图像的正面视图，
导致欺骗成功率降低。

True  Key、
BioId  和  KeyLemon  系统，
其面部模型使用下采样照片进行
纹理化。  9如果
我们在某个决议上取得了成功，
这意味着 4.1.3  想要自拍
该决议将用户的身份信息泄露给我们
图9  （左）
的结果表明我们的成功率
欺骗系统。
各种欺骗成功率
图像分辨率如图8  所示。
如果只给出一个带有偏航的图像，
则会急剧下降
角度大于  20  度。
然而，
我们认为
结果表明，
我们的方法具有很强的欺骗性
这些高分辨率的侧角视图可以作为基础
人脸认证系统，
当人脸的高度在
如果额外的低分辨率图像用于面部纹理
图像至少为  50  像素。
如果上传照片的分辨率小于  30  像素，
则该照片可
用户的正面视图可用。
我们通过为每个用户获取旋转图像来测试这个假
能
设
分辨率太低，
无法可靠地编码有用的特征
上一节以及  1  或  2  个低分辨率
识别用户。
在我们的样本集中，
88%  的用户拥有
正面照片（下巴到前额的距离为  30  像素）。
然后我们重建每个用户的
6张以上下巴到额头距离大于100像素的在线照片，
轻松满足
面部模型并
用它来欺骗我们的基线系统。
单独提供的低分辨率图像提供的纹理不足
我们提出的欺骗系统的分辨率要求。

用于欺骗，
更高分辨率的侧视图确实
4.1.2  向左一点，
向右一点
没有提供足够的面部结构。
如图9  （右）
所示，
通过使用低分辨率前视图
确定所提出系统的鲁棒性
头部旋转，
我们首先评估最大偏航角 引导  3D  重建，
然后使用侧视图进行
允许我们的系统使用 纹理，
大角度头的欺骗成功率
旋转大幅度增加。
从实际的角度来看，
低分辨率的正面视图相对容易
9  我们跳过对  Mobius  的分析，
因为它的检测方法相似
到  True  Key，
而我们的方法在  True  Key  上表现不佳。
我们
也不研究我们的方法在  1U  系统中的鲁棒性 获取，
因为它们通常可以在公开发布的内容中找到
因为我们无法使用在线照片来欺骗这个系统。 集体照。

USENIX  协会 第  25  届  USENIX  安全研讨会  507
Machine Translated by Google

图  9：
不同偏航角的欺骗成功率。
左：仅使用指定角度的单个图像。
右图：
用低分辨率正面视图补充单个图像，
这有助于  3D  重建。

4.2  看脸就够了 训练集，
我们重复我们的分类实验  4
次，
在每次试验中随机训练/测试拆分，
我们
我们的方法不仅击败了现有的具有活体检测的商业系统 它从根本上破坏 报告所有四次试验的平均表现。
了基于颜色的活体检测过程

训练数据 真实的 视频   虚拟现实

图像，
完全。
为了说明这一点，
我们使用我们的方法 真实+视频 19.50 /  20  0.25 /  20  9.75 /  10
攻击最近提出的身份验证方法 实景+视频+VR  14.00 /  20  0.00 /  20  5.00 /  10
李等人的。  [34]，
获得了很高的成功率 真实+VR  14.75 /  20     5.00 /  10
防范基于视频的欺骗攻击。
这个
系统通过要求面部的运动在基于运动的活体检测中添加另一层 表  3：
归类为真实用户的测试样本数量。
第一列中的值代表真阳性率， 而
捕获的视频与从获得的数据一致 第二列和第三列代表误报。 每一行
设备的运动传感器。
幸运的是，
正如所讨论的 显示在类中训练后的分类结果
在§3  中，
数据一致性要求是自动的 第一列。 结果取四次试验的平均值。
对我们的虚拟现实欺骗系统感到满意，因为
3D  模型随相机运动一起旋转。
我们的实验结果如表3  所示。
Li等人的中心。  [34]  的方法是建立一个分类器来评估捕获的视频和 对于每个类别（真实用户数据、
视频恶搞数据和  VR
数据），
我们报告测试的平均次数（超过  4  次试验）
运动传感器数据。
反过来，
学习到的分类器被使用 分类为真实用户数据的样本。
我们尝试
以区分真实面孔和欺骗面孔。
由于他们 三种不同的训练配置，在
代码和训练样本尚未公开， 表的第一列。第一行显示使用真实用户数据作为正样本和
我们实现了我们自己的  Li  等人的版本。  [34]  的活体检测系统，
并用我们的
视频恶搞数据作为负样本。
在这种情况下，
它
自己的训练数据。
我们建议读者参考[34]以获得完整的 可以很容易地看出，
真实与视频的识别几乎是完美的，
与[34]的结果相匹配。
方法概述。 然而，
我们基于  VR  的攻击能够欺骗这种训练
按照[34]  的方法，
我们捕获视频
约  4  秒的样本（和惯性传感器数据） 几乎  100%  的时间进行配置。
第二个和
手机的前置摄像头。
在每个示例中，
手机与手机保持  40  厘米的距离 表3的第三行显示了分类性能
当训练数据中包含  VR  欺骗数据时。
在
被摄体向左前后移动  20  厘米 在这两种情况下，
我们的方法都击败了活体检测器
正确的。
我们捕获了  40  个移动的真实主体样本 50%的试验， 真实用户数据被正确识别
手机在他们面前，
40个样本，
其中用户的预先录制的视频被呈现给相机，
以及 因此，不到  75%  的时间。

所有三种训练配置都清楚地指向
30  个样本，
其中在我们的  VR  环境中向相机展示了用户的  3D  重建。
对于训 事实上，
我们的  VR  系统呈现的运动特征是
练， 我们使用经过训练的二元逻辑回归分类器 接近真实的用户数据。 即使活体检测器
[34]被专门训练来寻找我们基于  VR  的攻击，
每  2  次攻击中有  1  次仍然会成
每类  20  个样本，
其他样本 功，
用于测试。
由于我们的体积相对较小 误拒率也在增加。
任何系统使用

508  第  25  届  USENIX  安全研讨会 USENIX  协会
Machine Translated by Google

此检测器将需要多次登录尝试 棱镜下。
当然，
使用我们提出的方法的攻击者可以简单地添加细微的颜色变
考虑到召回率的下降；
然而，
允许多次登录尝试允许我们的方法更多 化
到  3D  模型来近似这种效果。
尽管如此，
成功的机会。
总体而言，
结果表明 这种方法将提供另一层防御
所提议的基于  VR  的攻击成功地欺骗了 反对欺骗的面部模型。
李等人。  [34]  的方法，
据我们所知 红外照明微软发布Windows
基于运动的活体检测的最新技术。
您好，
作为登录  Windows  10  的更个性化方式
只需看一下或触摸一下设备。
新界面
支持生物特征认证，
包括面部、
虹膜、
5  纵深防御 或指纹认证。
该平台包括  In  tel  基于  RealSense  IR，
而不是基于颜色的面
部验证方法。
原则上，
他们的方法
虽然当前的面部认证系统屈服于
我们基于  VR  的攻击，
可以添加几个功能
工作方式与现代人脸验证方法相同，
但使用红外摄像头捕捉
这些系统混淆了我们的方法。
在这里，
我们详细
三个这样的特征，
即光的随机投射
用户面部的视频。
本文介绍的攻击
模式，
检测相关的轻微肤色波动
论文无法绕过这种方法，
因为典型的  VR  显示器不是为投射  IR  光而构建
脉冲，
并使用照明红外  (IR)  传感器。
的；
然而，
专门的红外显示硬件可能会
其中，
前两个仍然可以通过额外的对手努力绕过，
而第三个呈现显着不同的
硬件配置，
需要对我们的方法进行重大更改。 用来克服这个限制。
可能使基于  IR  的技术不那么普遍（尤其是在移动设备上）
的一个限制
因素是
需要额外的硬件来支持这一点
光投射使用光投射进行活体检测的原理很简单：
使用朝外的光源（例如，
配
人脸认证的增强形式。
确实，
截至目前
备相机的手机上常见的手电筒）、
手电筒
写作，
只有少数个人电脑支持
Windows  Hello.10然而，
红外照明的使用为未来提供了有趣的可能性。

以随机间隔出现在用户的脸上。
如果观察到
光照变化与随机模式不匹配，
则人脸认证失败。
这个简单
外卖在我们看来，
强大的面部认证系统不太可能仅使用网络/移动摄像头
方法使其具有吸引力且易于实施； 输入进行操作。
给定
然而，
对手可以修改我们提出的方法来检测随机闪光，
并且
高分辨率个人在线的广泛性
低延迟，
随后将渲染光添加到  VR 照片，
今天的对手拥有大量信息可用于合成假脸
场景。
结构光的随机投影[62]，
即
棋盘图案和线条，
会增加这种攻击的难度，
因为  3D  渲染系统必须 数据。
此外，即使系统能够可靠地检测到某种类型的攻击
无论是使用纸质打印输出，
能够快速准确地渲染投影 一个  3D  打印的面具，
或者我们提出的方法 推广到所有可能的攻击将增
模型上的照明模式。
然而，
结构化 加
光投射需要专门的硬件，
这在智能手机和类似设备上通常是找不到的， 错误拒绝，
因此限制了整体可用性
系统。
最强的面部认证系统
这降低了这种缓解的可行性。 将需要包含用户的非公开图像
不容易打印或重建的（例如，
皮肤
脉冲检测最近的计算机视觉研究[2, 来自特殊红外传感器的热图）。
58]探索了视频放大的前景，
它将随时间的微尺度波动转化为
6  讨论
强烈的视觉变化。
一种这样的应用是从人类的标准视频中检测人类脉搏

我们的工作概述了两个重要的经验教训
脸。
该方法检测小的、
周期性的颜色变化
目前和未来的安全状态，
特别是
与面部区域的脉搏相关，
然后放大这种效果，
使面部看起来经历了
因为它与面部认证系统有关。
首先，
我们利用社交媒体照片进行面部重建强
调了在线隐私的概念
亮度和色调的强烈变化。
这种放大
通过要求被观察的面部具有可检测的特征，
可以用作活体检测的附加方法
一个人的外表无异于网络隐私
其他个人信息，
例如年龄和位置。
脉冲。
类似的想法已应用于指纹系统，
该系统使用从发出的光来检查血流。
10有关详细信息，
请参阅“支持  Windows  Hello  的  PC  平台” 。

USENIX  协会 第  25  届  USENIX  安全研讨会  509
Machine Translated by Google

对手通过在线照片恢复个人面部特征的能力是一种直接且非常严重的 角地标，
当使用多个输入图像时，
这种方法实际上会导致较差的结果。
威胁，
尽管在社交媒体时代显然无法完全消除这种威胁。
因此，
不同于朱等人。  [63]，
我们用最大后验计算  3D  面部模型

因此，
谨慎的做法是人脸识别工具变得越来越强大以抵御此类威胁，
以 (MAP)  估计。
我们假设对齐误差为
便 每个  3D  地标独立地遵循高斯分布。
然后，
最可能的参数  θ :=
在未来仍然是一个可行的安全选择。
正如我们在评估中所展示的那样，
人脸验证系统至少必须能够拒绝 ({ fj},{Rj},{tj},{αexp j
},αid)可以通过最小化成本函数来估计
具有低分辨率纹理的合成人脸。
的

68 ñ 1
然而，
更令人担忧的是虚拟的威胁越来越大
现实，
以及计算机视觉，
作为一种对抗性工具。
θ  =  最大参数 {
一世
∑∑(σs  
我=1 j=1 一世
)2
||si,  j  ‑  fjPRj(Si ,  j +tj)||2+

在我们看来，
人脸认证的设计者
ñ
系统假设了一个相当弱的对抗模型
其中攻击者可能具有有限的技术技能和
∑
j=1
(αexp
j )  Σ−1  expαexp
j +  (αid)  Σ−1 ID αid}。

仅限于廉价材料。
这种做法是 (7)
有风险，
充其量。
不幸的是，
VR  本身正在迅速变得司空见惯、
便宜且易于 在这里，
西 ,  j 使用方程式计算。  (6)。  Σid和Σexp
使用。
而且， 是αid和αexp的协方差矩阵 可以是
j ,
VR  可视化越来越令人信服， 使得
从已有的人脸模型中获得。  (σs )2是
更轻松地创建逼真的  3D  环境
一世

第  i  个界标的对齐误差方差为
可以用来欺骗视觉安全系统。
像这样，
从一个单独的训练集中获得，
该训练集包含  20  个带有手工标记的地标
我们相信，
未来的认证机制必须积极预测并适应快速发展的
的图像。
方程。  (7)可以有效地计算，
导致估计的身份权重

虚拟和在线领域的发展。
αid，
我们可以用它来计算中性表达式
型号Si  (=  YES 一世
+援助 一世
αid)。

附录
参考
一种多图像面部模型估计 [1]  S.  Baker  和  I.  Matthews。  Lucas‑kanade  20  年后：
一个统一的
框架。 国际计算机视觉杂志  (IJCV),  56
在§3.2  中，
我们概述了如何关联  2D  面部标志 (3):221–255,  2004。
在底层面部上具有相应的  3D  点
[2]  G.  Balakrishnan、
F.  Durand  和  J.  Guttag。
检测脉冲来自
模型。
轮廓地标造成了很大的困难
视频中的头部动作。 在  IEEE  会议论文集中
对于这个  2D  到  3D  的对应问题，
因为 关于计算机视觉和模式识别， 第  3430‑3437  页，
这些特征的相关  3D  点集取决于姿势。
朱等人。  [63]通过用平行线建 2013  年。

模轮廓地标来补偿这种现象
[3]  W.  Bao、
H.  Li、
N.  Li  和  W.  Jiang。一种活体检测方法
基于光流场的人脸识别在图像分析中
曲线段和迭代优化头部方向和  2D  到  3D  对应。
对于一个特定的 和信号处理， 国际会议， 第  233  页–
236，
2009  年。

头部方向Rj，
对应的界标点
[4]  C.  Baumberger,  M.  Reyes,  M.  Constantinescu,  R.  Olariu,
使用显式函数在  3D  模型上找到 E.  De  Aguiar  和  T.  Oliveira  Santos。  3D人脸重建
基于旋转角度： 来自使用  3d  可变形模型和剪影的视频。 在图形、 模式和图像  (SIBGRAPI)，
会
议上， 第  1‑8  页，
2014  年。
你，
j =  fjPRj(Si ,  j  +tj)

和 ,  j
=  S¯ +援助 αid  +Aexp αexp (6) [5]  PN  Belhumeur、
DW  Jacobs、
DJ  Kriegman  和  N.  Kumar。
一世
一世
一世
j
使用样本的共识来定位部分面部。 模式分析和机器智能， IEEE  Transactions  
i  =  土地(i,Rj), on，
35（12）：
2930‑2940，
2013。

其中，
land(i,Rj)是预先计算的映射函数，
用于计算地标  i  在  3D  上的位
[6]  V.  Blanz  和  T.  Vetter。
用于合成的可变形模型
置 的  3d  面孔。 在第  26  届年会论文集上
方向为Rj  时的模型。
理想情况下，
方程中的第一个方程。  (6)对于所有 计算机图形和交互技术， 第  187‑194  页。
的地标点都应该成立 ACM  Press/Addison‑Wesley  Publishing  Co.，
1999  年。

在所有图像中。
然而，
情况并非如此，
因为
[7]  V.  Blanz  和  T.  Vetter。
基于拟合3d的人脸识别
地标提取引入的对齐误差。 可变形模型。 模式分析和机器智能，
通常，
轮廓地标引入的误差比 IEEE  Transactions  on,  25(9):1063–1074,  2003。

510  第  25  届  USENIX  安全研讨会 USENIX  协会
Machine Translated by Google

[8]  C.  Cao、
Y.  Weng、
S.  Zhou、
Y.  Tong  和  K.  Zhou。  Faceware  house：
用于视觉计算 [25]  G.  Kim、
S.  Eum、
JK  Suhr、
DI  Kim、
KR  Park  和  J.  Kim。
的  3d  面部表情数据库。
可视化和计算机图形学，
IEEE  Transactions  on，
20 基于纹理和频率分析的人脸活体检测。
在生物识别（ICB），
第五届  IAPR  国际会议
上，
(3):413–425,  2014。 第  67‑72  页，
2012  年。

[9]  B.  Chu、
S.  Romdhani  和  L.  Chen。  3D辅助人脸识别 [26]  H.‑N.  Kim、
A.  El  Saddik  和  J.‑G。
荣格。
利用个人
对表情和姿势变化具有鲁棒性。
在计算机视觉和 照片来推断社交网络服务中的友谊。
专家
模式识别  (CVPR)，
会议，
第  1907‑1914  页， 应用系统，
39(8):6955–6966,  2012。
2014  年。
[27]  S.  Kim、
S.  Yu、
K.  Kim、
Y.  Ban  和  S.  Lee。
使用可变对焦进行面部活体检测。  In  

[10]  N.  Duc  和  B.  Minh。
你的脸不是你的密码。
黑色 Biometrics  (ICB)，
2013  年国际会议，
2013  年第  1‑6  页。

帽子会议，
第  1  卷，
2009  年。

[28]  K.  Kolev、
P.  Tanskanen、
P.  Speciale  和  M.  Pollefeys。
将手机变成  3D  扫描仪。
在计
[11]  N.  Erdogmus  和  S.  Marcel。
使用  3d  欺骗人脸识别
算机视觉和
面具。
信息取证和安全，
IEEE  Transactions
模式识别  (CVPR)，
IEEE  会议，
第  3946  页–
9(7):1084–1097,  2014。
3953,  2014.
[12]  D.  Fidaleo  和  G.  Medioni。
基于视频的模型辅助  3D  人脸重建。
在面部和手势的分析
[29]  K.  Kollreider、
H.  Fronthaler  和  J.  Bigun。
通过以下方式评估活力
和建模中，
人脸图像和结构张量。
在自动识别中
第  124‑138  页。
斯普林格，
2007。
先进技术，
第四届  IEEE  研讨会，
第  75‑80  页。
IEEE，
2005  年。
[13]  加特纳。  Gartner  支持企业移动身份验证的生物识别技术。
今日生物识别技术，
2014  
年  2  月。 [30]  K.  Kollreider、
H.  Fronthaler、
MI  Faraj  和  J.  Bigun。
即时的
人脸检测和运动分析在活体中的应用
[14]  S.戈尔德。
用数码照片测量社交网络 评估。
信息取证和安全，
IEEE  Transactions  on，
2(3):548–558，
2007。
收藏品。
在第十九届  ACM  会议论文集上
超文本和超媒体，
第  43‑48  页，
2008  年。
[31]  K.  Kollreider、
H.  Fronthaler  和  J.  Bigun。
通过以下方式验证活性
[15]  M.希克斯。
对安全的持续承诺，
2011  年。  URL 多位面部生物识别专家。
在计算机视觉和模式识别研讨会上，
IEEE  计算机学会会议
https://www.facebook.com/notes/facebook/
a‑对安全的持续承诺/ 上，
第  1‑6  页，
2008  年。
486790652130/。
[32]  A.  Lagorio、
M.  Tistarelli、
M.  Cadoni、
C.  Fookes  和  S.  Sridha  跑了。
基于3d人脸形
[16]  R.  Horaud、
F.  Dornaika  和  B.  Lamiroy。
对象姿势：
链接 状分析的活体检测。
在  Biometrics  and  Forensics  (IWBF),  International  
在弱透视、
超透视和全透视之间。 Workshop  on,  pages
国际计算机视觉杂志，
22(2):173–189,  1997。 2013  年  1  月  4  日至  4  日。

[17]  P.  Ilia、
I.  Polakis、
E.  Athanasopoulos、
F.  Maggi  和  S.  Ioanni  dis。  Face/off：
防止 [33]  Y.  Li、
K.  Xu、
Q.  Yan、
Y.  Li  和  RH  Deng。
理解
社交照片中的隐私泄露 针对人脸认证系统的基于osn的人脸披露。
网络。
在第  22  届  ACM  计算机和通信安全会议记录中，
第  781‑792  页，
2015  年。 在  ACM  信息、
计算机和通信安全研讨会  (ASIACCS)  会议记录中，
第  413‑424  页。

ACM，
2014  年。
[18]  英特尔安全。  Intel  Security  出品的True  KeyTM  ：
安全白皮书，
2015  年  1.0  版。
网址
https://b.tkassets.com/shared/ [34]  Y.  Li、
Y.  Li、
Q.  Yan、
H.  Kong  和  RH  Deng。
看到你的

TrueKey‑SecurityWhitePaper‑v1.0‑EN.pdf。 人脸还不够：
基于惯性传感器的活体检测
人脸认证。
第  22  届  ACM  会议论文集
[19]  H.‑K.吉，
S.‑U。
荣格和  J.‑H。
哟。嵌入式人脸识别系统的活体检测。
国际生物医学杂志， 关于计算机和通信安全，
第  1558‑1569  页，
2015  年。
1(4):235–238,  2006。

[35]  Y.  Liu、
KP  Gummadi、
B.  Krishnamurthy  和  A.  Mislove。  Ana  lyzing  facebook  
隐私设置：
用户期望与现实。
在
[20]  洛杉矶杰尼、
JF  科恩和  T.  Kanade。
实时从  2d  视频进行密集  3d  面部对齐。
在自动面
部和手势中 2011  ACM  SIGCOMM  Internet  会议论文集
测量会议，
第  61‑70  页。  ACM，
2011  年。
认可  (FG)，
2015  年第  11  届  IEEE  国际会议和
研讨会，
第  1  卷，
第  1‑8  页。  IEEE，
2015。
[36]  C.  Lu  和  X.  Tang。
使用  GaussianFace  在  LFW  上超越人类级别的人脸验证性能。  
arXiv  预印本
[21]  O.  Jesorsky、
KJ  Kirchberg  和  RW  Frischholz。
健壮的脸
arXiv：
1404.3840，
2014。
使用hausdorff距离进行检测。
在基于音频和视频的
生物特征认证，
第  90‑95  页。
斯普林格，
2001  年。 [37]  J.  Määttä、
A.  Hadid  和  M.  Pietikainen。
人脸欺骗检测
使用微纹理分析从单个图像中提取。
在生物识别
[22]  I.乔利夫。
主成分分析。
威利在线图书馆， (IJCB)，
国际联合会议，
第  1‑7  页，
2011  年。
2002  年。

[38]  OM  Parkhi、
A.  Vedaldi  和  A.  Zisserman。
深度人脸识别。
在英国机器视觉会议论文
[23]  I.  Kemelmacher‑Shlizerman。
基于互联网的可变形模型。
在 集中
IEEE国际计算机会议论文集 (BMVC)，
2015  年。
愿景，
第  3256‑3263  页，
2013  年。
[39]  P.  Paysan、
R.  Knothe、
B.  Amberg、
S.  Romdhani  和  T.  Vetter。
一个
[24]  I.  Kemelmacher‑Shlizerman  和  R.  Basri。  3D人脸重建 用于姿势和光照不变人脸识别的  3d  人脸模型。
在第  6  届  IEEE  国际会议论文集中
从使用单个参考面部形状的单个图像。
图案
分析和机器智能，
IEEE  Transactions  on，
33(2)： 关于用于智能环境中的安全、
安全和监控的高级视频和信号监控  (AVSS)，
2009  年。
394–405，
2011  年。

USENIX  协会 第  25  届  USENIX  安全研讨会  511
Machine Translated by Google

[40]  B.  Peixoto、
C.  Michelassi  和  A.  Rocha。
恶劣光照条件下的人脸活体检测。
在图像 [55]  P.  Tanskanen、 K.  Kolev、
L.  Meier、F.  Camposeco、
O.  Saurer  和  M.  Pollefeys。
处理  (ICIP)  中，
第  18  届  IEEE  国际会议，
第  3557–3560  页，
2011  年。 手机上的实时公制  3d  重建。 在  IEEE  计算机视觉国际会议论文集上， 第  65‑72  
页， 2013  年。

[41]  P.  Pérez、
M.  Gangnet  和  A.  Blake。
泊松图像编辑。  ACM
图形交易  (TOG),  22(3):313–318,  2003。 [56]  J.  Ventura、
C.  Arth、
G.  Reitmayr  和  D.  Schmalstieg。手机上单眼猛击的全球定
位。 可视化和计算机图形学， IEEE  Transactions  on， 20(4):531–539，
2014。
[42]  I.  Polakis,  M.  Lancini,  G.  Kontaxis,  F.  Maggi,  S.  Ioannidis,  AD
Keromytis  和  S.  Zanero。 你所有的脸都属于我们： 打破  facebook  的社交认
证。 在第  28  届年度计算机安全应用会议论文集上， 第  399‑408  页，2012  年。
[57]  T.  Wang、
J.  Yang、
Z.  Lei、
S.  Liao  和  SZ  Li。
使用从单个相机恢复的  3D  结构进行人
脸活体检测。  In  Biometrics  (ICB)， 国际会议， 2013  年第  1‑6  页。

[43]  C.  Qu、E.  Monari、
T.  Schuchert  和  J.  Beyerer。
从视频中快速、 稳健和自动地重建  
[58]  H.‑Y。  Wu、
M.  Rubinstein、
E.  Shih、
J.  Guttag、
F.  Durand  和  WT  Freeman。 欧
3D  人脸模型。 在  Advanced  Video  and  Signal  Based  Surveillance  (AVSS)，
拉视频放大， 用于揭示世界的细微变化。  ACM  图形交易  (TOG)， 31  (4)，
2012。
第  11  届  IEEE  国际会议上，
第  113‑118  页，
2014  年。

[44]  C.  Qu、
E.  Monari、
T.  Schuchert  和  J.  Beyerer。
用于姿态不变的  3D  人脸形状重 [59]  X.  Xiong  和  F.  De  la  Torre。
监督下降法及其在人脸对齐中的应用。 在计算机视觉
建的自适应轮廓拟合。 在英国机器视觉会议  (BMVC)  论文集上， 第  1‑12  页，
2015   和模式识别  (CVPR)  中， IEEE  会议，
第  532‑539  页，
2013  年。
年。

[60]  J.  Yang、Z.  Lei、
S.  Liao  和  SZ  Li。
使用依赖于组件的描述符进行人脸活体检测。  
[45]  C.  Qu、
E.  Monari、
T.  Schuchert  和  J.  Beyerer。
对自遮挡具有鲁棒性的  3D  人脸 In  Biometrics  (ICB)， 国际会议， 2013  年第  1‑6  页。
模型的真实纹理提取。 在  IS&T/SPIE  电子成像中。 国际光学与光子学会， 2015  年。

[61]  L.  Zhang  和  D.  Samaras。
使用球面谐波在任意未知光照下从单个训练图像进行
人脸识别。 模式分析和机器智能， IEEE  Transactions  on，
28(3):351–363，
2006。
[46]  T.  Schops、T.  Sattler、
C.  Hane  和  M.  Pollefeys。随时随地进行  3d  建模： 在移动
设备上对大型场景进行交互式  3d  重建。 在  3D  Vision  (3DV)，
国际会议上，第  
291‑299  页， 2015  年。
[62]  L.  Zhang、B.  Curless  和  SM  Seitz。
使用彩色结构光和多通道动态编程快速获取
形状。
[47]  F.  Schroff、
D.  Kalenichenko  和  J.  Philbin。  Facenet：
用于人脸识别和聚类的 在  3D  数据处理可视化和传输中， 第一次国际研讨会，
第  24‑36  页，
2002  年。
统一嵌入。  arXiv  预印本  arXiv:1503.03832,  2015。

[63]  X.  Zhu、
Z.  Lei、J.  Yan、
D.  Yi  和  SZ  Li。
用于野外人脸识别的高保真姿势和表情归一
化。 在  IEEE  计算机视觉和模式识别会议记录中， 第  787‑796  页，
2015  年。
[48]  F.  Shi,  H.‑T.  Wu、
X.  Tong  和  J.  Chai。使用单目视频自动获取高保真面部表现。  
ACM  图形交易  (TOG)， 33(6):222， 2014。

[49]  L.  Sun、
G.  Pan、
Z.  Wu  和  S.  Lao。
使用条件随机场的基于闪烁的实时人脸检测。
在
生物指标进展中， 第  252‑260  页。 斯普林格，
2007。

[50]  Y.  Sun、
X.  Wang  和  X.  Tang。用于面部点检测的深度卷积网络级联。 在计算机视
觉和模式识别  (CVPR)， IEEE  会议上，
第  3476‑3483  页，
2013  年。

[51]  S.  Suwajanakorn、
I.  Kemelmacher‑Shlizerman  和  SM  Seitz。
总运动面重建。 在计算机视觉‑ECCV  2014， 第  796‑812  页。 斯普林格， 2014。

[52]  S.  Suwajanakorn、
SM  Seitz  和  I.  Kemelmacher‑Shlizerman。
是什么让汤姆汉克斯看起来像汤姆汉克斯。 在  IEEE  计算机视觉国际会议论文集
上，
第  3952‑3960  页，
2015  年。

[53]  Y.  Taigman、
M.  Yang、M.  Ranzato  和  L.  Wolf。  Deepface：
在人脸验证方面缩
小与人类水平的差距。 在计算机视觉和模式识别  (CVPR)  中， IEEE  会议，
第  
1701‑1708  页， 2014  年。

[54]  X.  Tan、
Y.  Li、
J.  Liu  和  L.  Jiang。
具有稀疏低秩双线性判别模型的单个图像的人脸
活体检测。 在欧洲计算机视觉会议  (ECCV)， 第  504‑517  页。  2010  年。

512  第  25  届  USENIX  安全研讨会 USENIX  协会