Machine Translated by Google

广义人脸反欺骗的深度异常检测

dpcabo@gradiant.org djcabello@gradiant.org acosta@gradiant.org

胆汁或  iPhone  的  FaceID2 。
所有这些系统都是
因其实用性而受到消费者的高度评价
人脸识别取得了前所未有的成果， 它的非侵入性。但是，
仍然有一个主要的
在某些情况下超越人类的能力。
然而，这些自动解决方案还没有准 对所有人的挑战，演示攻击（PA）。
备好投入生产，
因为它们很容易被简单的身份所欺骗
锚
美国有线电视新闻网

冒充攻击。
虽然付出了很多努力
致力于开发人脸反欺骗模型，其泛化能力在现实场景中仍然是一个
挑战。
在本文中，我们介绍了一种新颖的方法，
(*)
三胞胎
美国有线电视新闻网

焦点损失
积极的
从异常检测的角度重新制定了广义表示攻击检测（GPAD）
问题。
从
技术上讲，
提出了一种深度度量学习模型， +
公制
软最大
其中三重焦点损失用作正则化 (*)
新颖的损失创造了“metric‑softmax”，
它负责 消极的
美国有线电视新闻网

引导学习过程更具辨别力
嵌入空间中的特征表示。
最后，我们
通过引入不需要训练任何分类器的少量后验概率估计来展示我们
(*)共享权重
的深度异常检测架构的好处

关于学习的特征。 我们进行广泛的实验 图  1：

我们提出了一种深度度量学习方法， 使用一组连体  CNN，
结合
使用提供最大的  GRAD‑GPAD  框架 三重焦点损失和新颖的“度量  softmax”
人脸  GPAD  的聚合数据集。
结果证实我们的
方法能够在相当大的程度上胜过所有最先进的方法。 失利。
后者累积概率分布
三元组中的每一对。
我们的目标是学习一个特征
表示允许我们将冒名顶替者样本检测为
异常。

这些商业系统依赖于专门的硬件
不管我们喜不喜欢，我们正处于人脸识别自动系统时代。
这些解 例如  3D/IR/热像仪需要更容易检测演示攻击的选项。此外，
这种情
决方案现在开始被广泛用于：边境控制、
入职 况
将用例限制在少数专用设备上， 从而显着增加成本。
为了方便和
进程、
访问事件、
自动登录或解锁
我们的移动设备。 作为最后一项技术的一个例子， 成本，我们专注于无处不在的  2D  相机包，
几乎可用于所有移动设
我们有Samsung  mo  附带的  Intelligent  Scan1 备，
并且易于获取和
集成在不同的检查点上。
1https://www.samsung.com/my/support/mobile‑devices/
什么是智能扫描以及如何使用它/ 2https://www.apple.com/lae/iphone‑xs/face‑id/
Machine Translated by Google

尽管人脸识别技术在某些场景下达到了高于人类表现的准确率， 表明我们基于异常检测的方法优于最先进的模型。

消费者应该知道， 他们还引入了两种新的
4.  最后，
我们提出了一种新的少样本后验概率能力估计，
它避免了
危害其安全性的挑战： 演示文稿
训练的必要性
攻击检测（PAD） 和泛化能力
任何用于决策的分类器。
这些解决方案。 对于前者， 例如，
具有出色  99.9%  准确率的人脸识别系统仅通过展示印有您的脸的页 本文的其余部分安排如下。 第2节回顾了反欺骗系统泛化问题的主
面就失败了 要进展和挑战。我们在第3  节中介绍了我们的异常检测深度模型。第4
在上面。 这些演示攻击是一个主要威胁 节和第5节提供了实验评估和
非法用户试图冒充身份
使用不同的策略访问系统， 例如视频
重播， 化妆。 请注意， 从几乎每个潜在用户那里获取视听资料（例如   分别得出结论。
Facebook  照片、
YouTube  上的视频等）
非常容易，
这使得
二、
相关工作
创建工具来执行这些  PA。
Face‑PAD  方法可以分为以下几类：
但泛化问题也是相关的。 简而言之，
科学界未能提供一种有效的方
以下观点： i）
从所需的用户交互作为主动[19]或被动[20,  33]方法；  
法来检测基于面部的身份冒充
ii)  从
用于数据采集的硬件仅作为  rgb  [14,  25,  33]，
对实际应用有效的生物识别技术。
通常，
最先进的模型会严重下降
rgb‑infrared‑depth  [3,  37]或附加传感器[30]方法；  iii)  从输入数据
类型为基于视频的[1,  28]
在现实场景中的表现，因为它们表现出
或单帧[33]方法；  iv)  最后， 根据特征类型， 从经典的手工特征[5,  33]
一种过拟合行为，使结果最大化
到基于自动学习的新特征
他们接受过训练的数据集。
在本文中，
我们明确地解决了这两个挑战。
深层特征[18,  20]。
这些深度模型正是
首先，
我们介绍一种基于深度度量学习的方法
负责显着提高面部  PAD  的准确性，定义了最新的技术水平。
解决  PAD  问题。如图1  所示，
我们的
解决方案被训练来学习一个特征表示， 以保证真实样本和假冒样本之
然而，
最近的研究表明，
目前的方法不能正确地概括[21]使用公平
间的合理分离。 然后解决泛化问题

比较。
实际上，
在现实环境中包含反欺骗系统的主要困难是
从异常检测方法，
我们期望
检测攻击，
就好像它们是分布外样本一样，相对于数据集中的真实样
广义表示攻击检测  (GPAD)  问题。
一些作品[11,  12,  25]提出了新的
本，
这些样本在嵌入空间中自然表现出更高的距离。
评估协议、
数据集和方法来解决  GPAD。
我们的解决方案的泛化能力及其
总体而言， 已经从不同的角度解决了泛化问题： i）
应用领域适应技
使用最先进的竞争对手进行全面评估
术[21]；  ii)  学习广义的深度特征[20,  21]；
最近的  GRAD‑GPAD  框架[11]。
我们使用  GRAD‑GPAD  中提供的聚
合数据集， 该数据集包含  10  多个不同的数据集用于人脸反欺骗。
甚至  iii)  使用生成模型[18]。
所有这些方法
能够稍微减轻性能下降时
这方面的结果是基本的，
因为它允许我们
部署广泛的数据集间实验，以解决
在新的看不见的场景上进行测试，
但距离它们还很远
适合真实场景。
广义表示攻击检测问题。
传统的人脸反欺骗方法使用两类分类器来区分真实样本和大头
总而言之，在本文中，
我们做出了以下贡献：
钉。
最近，一些工作建议制定

1.  我们引入了一种新的基于异常检测的策略 作为异常检测方法的反欺骗问题
使用深度度量学习进行人脸反欺骗 可以提高它们的泛化能力[2,  25]。
在[2]中，
只是静止图像。 作者假设真实访问具有相同的性质，
与可能非常多样化和
2.  我们的模型利用三重焦点损失作为
不可预料的。 他们提出了一项研究，
以确定仅使用真实数据进行训练
一种新颖的“度量softmax”
损失的正则化器，
以确保
的影响并进行比较
学习到的特征允许在嵌入空间中的真实样本和攻击样本之间进
与传统的二分类器。 从实验
行合理的分离。
结果  论文的结论是： i）
基于异常检测
系统可与基于两个类的系统相媲美； 和
3.  对  GRAD‑GPAD  进行彻底的实验评估 ii)  这两种方法在
Machine Translated by Google

评估数据集（CASIA‑FASD  [39]、  Replay‑Attack  [8] 空间（见公式1）。
它与softmax结合使用
和  MSU‑MFSD  [33]）。
另一方面，
作者 增加类内紧凑性的损失，但是后者
[25]提出了一个更具挑战性的实验，
该实验基于 不保证正确的类间分离。
聚合数据集，包括  Replay‑Attack、
Replay  Mobile  [10]和  MSU‑
b
MFSD。
他们提出了一个基于  GMM 1 2
异常分类器优于[2]  中报告的最佳解决方案。 Lc(θ)  = 2 X kfθ(xi)  cyi  k 2 、 (1)
我=1

在本文中， 我们重新制定异常检测 其中b是批次中输入元组的数量，  cyi是

使用面部  PAD  的深度度量学习模型的方案 对应于ground  truth标签y的类中心
一世

这大大减少了泛化问题。 实验是在最大的公开聚合上进行的 样本xi 。

对比损失[9]  （参见公式2）
迫使所有渴望同一个类别的图像接近，
而
可用的数据集，
GRAD‑GPAD  框架[11]。
这个 来自
框架允许我们加强假设真实 不同的类应该由一个边距m  分开。 它用
访问数据具有相同的性质，
前提是身份数量多且捕获条件和设备足够多 两个图像的元组作为不同的图像对{p,  q}：  i)  正，
如果它们属于同一类，
样化；
也就是正版课好 ii)  负，
否则。
但是，
需要为

用数据表示。
此外，极具代表性的 负对，
用
使用建议的度量学习获得的嵌入 相同的边距，
不管它们的视觉外观：
方法允许优于以前的工作，在最常见的开放集攻击中区分真正的
Lct(θ)  =  Xb ypi,qiDpi,qi  +  (1  －  ypi,qi )  max  (0,  m  －  Dpi,qi )  2 ,
迄今为止具有挑战性的数据集。 我=1
(2)

3.人脸GPAD深度异常检测 其中ypi,qi  =  1表示正对，  ypi,qi  =  0表示正对
消极的。
3.1。
度量学习回顾 遵循相同的想法， 三胞胎的作者
许多作品依赖于  softmax  损失函数来分离深度学习模型中不同类 loss  [32]将对比损失扩展为考虑积极和
别的样本。 通过使用三个图像的元组同时对负对： i）
锚，ii）
正和  iii）
负。的目标
但是，没有明确考虑类紧凑性， 并且
来自不同类别的样本很容易在 方程中的三元组损失。  3是减少由anchor‑positive对定义的类内方
特征空间。相反，
基于度量学习的损失旨在通过促进类间可分离性和减 差，
同时通过最大化anchor‑positive对来增加类间分离
少类内方差来解决这些问题。 请注意， 几种度量学习方法已应用于多个
任务，例如人脸识别[26]、 对象检索[17] 锚负对之间的欧几里得距离。
尽管避免了负对的恒定余量和

获得高度判别特征， 它受到
或人重新识别[38]，
获得出色的泛化性能。
在本节中，
我们介绍 三元组选择过程的复杂性。 尽管如此，
它已在最近的许多方法中成功解
决[15,  31,  35]。
数学符号和我们对问题的表述
基于度量的人脸  GPAD  深度异常检测 b
学习视角。
Lt(θ)  =  X max  (0,  Dai,pi  Dai,ni )  +  m),  (3)  
设fθ(xi)为嵌入空间中的特征向量 我=1
ñ
数据点xi  2  R , 其中映射函数
ñ
fθ :  R ！  
_   
R 是一个可微的深度神经网络 其中{ai ,  pi ,  ni}子索引是锚点，
正
参数  θ， 令Di,j为之间的平方  l2‑范数 以及批次中每个三元组的负样本，
2
由Di,j  =  kfθ(xi)  fθ(xj )k定义的两个特征向量 2 . 分别。
通常，  fθ(xi)被归一化为具有单位长度以保证训练稳定性。
在 先前的工作成功地应用了三元组损失（或任何
基于深度度量学习的方法中， 其变体） 使用大量的类， 例如人脸
目标是学习生成特征的深度模型 例如， 识别模型使用数千个身份
表示fθ(xi)以保证来自 在  VGG2  人脸数据集[7]中有超过  9000  个不同的身份。
当样本数量很
同一类在嵌入空间中比来自不同类别的样本更接近。
这样做，
不同的损 大时，
这种类的多样性鼓励嵌入泛化
失
函数可以在文献中找到。 足够的。
在本文中，
我们展示了基于三元组损失的
例如，  [34]中提出的中心损失将样本集中在嵌入中的类中心周围 从异常检测的角度来看，
模型实际上可以优于现有的人脸  GPAD  方法。
Machine Translated by Google

3.2.用于人脸  GPAD  异常检测的  Triplet  Focal  Loss 缺乏训练样本来模拟某些类型的攻击。
为了实现这一点，我们在训练期间固定锚正对始终属于真正的类（即闭
集类别），同时从任何类型的攻击（即开集类别）中选择负样本，
而不管
我们通过具有  Triplet  焦点损失的度量学习方法来解决人脸  
它们的身份。
GPAD  问题。
从技术上讲， 我们建议使用[29]中描述的包含焦点注意力
的三元组损失的修改版本， 请参见方程式。  4.三重焦点损失通过将欧
几里德距离映射到指数核来自动增加困难样本的权重， 比简单的损失更 3.3.度量  Softmax  的  Triplet  Loss  正则化
多地惩罚它们。

最近的工作[17]表明，
三元组损失作为  softmax  函数的正则化器，
实现了更具辨别力和鲁棒性的嵌入。 在我们基于深度异常检测的模型
Dai ,pi   戴妮 中，
我们不专注于分类任务， 而是旨在获得具有高度代表性的嵌入， 以区
p
和 (4) 分开放集攻击类别中的真实样本。 因此，我们建议将三重焦点损失添加
Ltf(θ)  =  X
最大  ✓  0，
和 +  米  ‧ , 为适用于度量学习的新型  softmax  函数的正则化器， 请参见方程式。  
5.  提出的  softmax  公式，
称为  metric‑softmax  （等式  6  中的
其中  σ  是控制指数核强度的超参数。
Lmetric  soft ），
累积了三元组中每对的概率分布， 以便在欧几里得空
间中高度分离。 因此， 我们阻止了将学习过程引导到二元分类， 从而避免
三元组生成方案是对最终性能有很大影响的关键步骤。传统方法以
了众所周知的泛化问题。
离线方式在训练集上运行他们的样本策略，一旦学习过程开始，它们就
不会适应。或者，
我们使用基于半硬批量负挖掘过程的三元组选择方法，
其中三元组示例在每个小批量的训练过程中更新，避免模型崩溃。

实施的半硬批量负挖掘（基于[26]）的目标是选择一个负样本， 该样 Lanomaly  =  Lmetric  soft  +  λ  Ltf, (5)

本在一个批次中相当难， 但不一定是最难的也不是最简单的。 对于每个 和
Dai ,pi  
训练步骤，我们使用网络的当前权重选择每个类的大量样本。 接下来，我 =  X 日志 , (6)
和 Dai ,pi  +  e  戴妮
们计算这个群体中所有正对之间的距离， 即Da,p， 并且对于每个正对， 我
们计算相应的锚点f(xa)和所有可能的负样本f(xn)  之间的距离。 最后，我 其中λ是控制三重焦点损失和softmax损失之间权衡的超参数。
们随机选择一个满足以下边际标准Da,p  Da,n  <  m  的负样本，以构建
用于在每个步骤中进行训练的最终元组， 即所谓的  mini‑batch。
这种挖 提出的度量学习模型为每个输入图像获得了一个判别原生嵌入。但
掘策略有两个重要的好处： 1）
我们确保训练步骤中包含的所有样本都与 是，
我们需要提供图像是否渴望真实样本或模仿尝试的后验概率。
学习过程相关；  2）
由于对负样本的随机选择，
我们提高了训练收敛性。

在实验中，
我们只是建议用径向基函数训练一个  SVM  分类器来学习特
征空间中两个类之间的边界。

3.4.少试后验概率估计

通常，
欺骗攻击固有的动态特性和访问数据的难度需要快速适应可
用样本很少的新环境。
为了解决这个问题，我们提出了一种后验估计过
在真实的反欺骗中， 攻击者不断设计新的方法来用新的攻击、 材料、 程，
它不需要任何分类器来训练学习到的特征，以便在度量学习中做出
设备等来欺骗  PAD  系统。
因此，类似分类的方法容易过度拟合看到的 决策。
类，
并且不会泛化出色地。 相反，我们遵循基于异常检测的策略。 首先，我
们不将用户的身份视为不同的类别。 我们在异常检测设置中定义了两个
类别：1）
封闭集， 指的是在训练期间可以正确建模的类；  2） 开集，指的是
所有不能被训练集完全建模的类。  face  GPAD中，
真实样本属于闭集 从技术上讲，我们继续计算真实的概率（参见方程7）
作为输入样本
类，
冒名顶替者属于开集类， 其动机是稀缺性甚至 （xt）
的累积后验概率，给定目标域中的两个参考集，
分别对应于真实类
G和攻击H .

和
dt,gi

P(xt  |  {G,  H})  =  X (7)
和 Dt,gi  +  e Dt，
你好，
Machine Translated by Google

其中M是两个参考集中的对总数 OULU‑NPU  [6]）
或网络摄像头设置，
用户所在的位置
对于每次攻击和涉及的每个数据集，  t子索引 放置在固定摄像头前面（例如  Replay‑Attack  [8]，
指测试图像和{gi ,  hi}子索引指 SiW  [23]），
甚至是用户所在的站立场景
真实和攻击集中的每个参考样本， 从相机进一步记录（例如UVAD  [27]）。
分别。
为了满足few‑shot约束，
我们 对于我们的实验，
我们建议使用最近的
在我们的实验中选择M小。 已发布的  GRAD‑GPAD  框架[11]可减轻
上述限制。  GRAD‑GPAD  是最大的聚合数据集，
将  10  多个数据集与
4.  实验结果
常见的分类在两个级别，
代表四个关键
在本节中，
我们将展示我们的实验
反欺骗方面：
攻击、
闪电、
捕获设备
将新方法与三种最先进的方法进行比较
和分辨率。
它不仅可以公平地评估
来自文献的方法。  [25]中的方法计算
泛化属性，
但也有更好的代表性
基于质量证据的手工制作的特征。
他们从串联的
由于体积的增加，
面部垫问题
数据。
为了论文的扩展，
我们重点关注
[14]和[33]中提出的质量测量。
为了
基于用于执行大头钉的工具（即  PAI  ‑  演示攻击工具）
的评估，
使用
第二种方法，
我们选择[4]，
它包括计算一个基于颜色的高维特征向量

表1中的分类（即  Grandtest  协议）。
（19998  长度）
通过连接基于纹理的特征
两种不同颜色空间中的局部二进制模式  (LBP)
类别 类型 子类型标准
（即  YCbCr  和  HSV）。
最后，
第三种方法是 低dpi  ≤  600pix
在[23]中提出，
它引入了一个双分支深度神经网络，
该网络结合了受深度重建约 打印 中  600  <  dpi  ≤  1000pix

束的像素级辅助监督，
适用于所有真实的 高  dpi  >  1000pix
介绍 低分辨率≤480pix
攻击 重播 中等  480  <  分辨率  <  1080pix
样本（攻击被迫属于一个平面）
和远程  PhotoPlethysmoGraphy  (rPPG)  信 乐器 高分辨率≥1080pix
号的估计 非弹性 纸面具
面具 死板的 纸,  石膏
添加时间信息。
尽管处于
硅酮 硅胶口罩
人脸反欺骗艺术，
该模型需要预处理
真实样本以计算深度估计 表  1：
GRAD  GPAD  中的两层常见  PAI  分类。
以及相应的  rPPG  信号，
它会影响我们的能力并将性能限制在深度方法上

重建和rPPG估计。
第一个的代码
我们使用  GRAD‑GPAD  进行所有实验
两种算法基于作者提供的可重现材料3  4.  [23]的结果是使用以下方法获得的
框架，
我们添加  UVAD  数据集[27]以进一步增加超过  10k  的样本总数

我们自己重新实现了他们的方法。
图片。
在图2中，
我们显示了人口统计数据
4.1。  GRAD‑GPAD  框架 整个  GRAD‑GPAD  数据集（左图）
和训练
Grandtest  协议的拆分（右图）。
尽管几乎每篇论文都有自己的缩减数据集[ 21、
23、
24、
37 ] ，
但没有达成一
致意见 4.2.实验装置
PAD  基准，
因此，
泛化
网络架构我们使用  ResNet‑50  [16]的修改版本作为我们的主干架构。
我们堆
模型的属性没有得到适当的评估。
期间
叠
简要检查可用人脸的捕获设置
输入体积中的  RGB  和  HSV  颜色空间，
以及
PAD  数据集，
可以很容易地观察到，
它们每个目标的目标没有统一的标准，
从而
特征维度固定为  512。 我们使用带有动量优化器的随机梯度下降。
我们以0.01
导致明显的内置偏差。
在所涵盖的领域中的这种特殊性
的学习率开始训练，
最多使用  100
大多数数据集可以在不同的场景中观察到：
i）
其中一些专注于单一类型的攻击（例如掩码
时代。
批量大小固定为  12  个三元组，
即  36  个图像
‑  3DMAD  [13]、
浸大[22]、  CSMAD  [3])；  ii)  其他焦点 每批。
正如原作中所建议的那样，
σ  和m

关于不同图像源（深度/近红外/热）
的研究
方程式中的值。  4分别设置为  0.3  和  0.2。
例如  CASIA‑SURF  [37]或  CSMAD；  iii)  其他人尝试
模拟移动设备设置等特定场景， 预处理由于我们的方法遵循基于帧的程序，
而不是使用完整的视频，
我们只
用户持有设备的位置（例如  Replay‑Mobile  [10]，
选择每个视频的中心帧。
我们用作输入
3  https://github.com/zboulkenafet/Face‑anti
基于颜色纹理分析的欺骗 网络使用该方法检测到的裁剪人脸
4https://gitlab.idiap.ch/bob/bob.pad.face/ 在[36]中提出。
Machine Translated by Google

图  2：
GRAD‑GPAD  中提供的整个数据集的人口统计数据（左）
和训练样本统计数据
Grandtest  协议（右）。

指标为了将我们的方法与之前的工作进行比较，
我们 度量学习，
被称为“metric‑softmax”。
为了显示
使用最近标准化的指标 这些贡献中的每一个的影响，
我们进行
ISO/IEC  30107‑35 :  即错误接受率  (FAR),  False 以下实验。
我们从一个类分类开始
拒绝率  (FRR)、
半总错误率  (HTER  = 基于三重损失的模型，
即没有异常检测方法。
第一种方法称为基线
远+远期
2 ),  攻击表示分类错误率
(APCER)，
Bonafide  演示分类错误率 在表2  中，
其中三元组的元组是从类集中随机选择的（正版  +  9  种不同的攻击
(BPCER)  和平均分类错误率  (ACER)。
我们想强调ACER的重要性 在  GRAD‑GPAD  中）。
然后我们逐渐将我们的
指标，
因为它需要最具挑战性的场景， 贡献。
模型  1  包括使用三元组损失的异常方法。
在模型  2  中，
我们将注意力集中
其中每次攻击的性能都是独立计算的，
但它只考虑最坏情况下的结果。
因此，
它 在三重损失公式中。
最后，
我们的
会惩罚在某些类型的攻击中表现良好的方法。  HTER反映整体性能
表示我们系统的整个管道，
其中添加了提出的  metric‑softmax  项。
结果报告
于
算法在  FAR  相等的平衡设置中的 表2显示了每个贡献在最终结果中的影响
到  FRR，
即相等错误率  (EER)。 表现。
请注意，
对于此消融研究，
我们使用开发
GRAD‑GPAD  的  Grandtest  协议的拆分，
以及
协议我们在以下两个设置上评估我们的方法
性能以下列术语显示：
FAR、
FRR  和平均值
GRAD‑GPAD  框架：
1）数据集内；  2）
数据集间。
对于数据集内设置，
我们使用  
错误率  (AER)。
此外，
使用描述的累积度量‑softmax  分布计算性能
Grandtest
协议和数据集间评估我们使用
在等式。  7 ，  M  =  3 ，
随机选择样本
leave‑one‑dataset‑out  协议，
由框架提供：
Cross‑Dataset‑Test‑On‑CASIA‑
FASD  和 从训练集中。

Cross‑Dataset‑Test‑On‑ReplayAttack。
在这些协议中，
算法  AER  FAR  FRR  ∆AER
在训练期间排除了其中一个数据集（分别为  CASIA‑FASD  和  Replay‑ 基线  17.02  %  10.72  %  23.33  % ‑
Attack）。
通过评估排除数据集中的模型（测试 模型  1 12.46  %  24.43  %  0.49  %  26.8  %
模型  2 9.80  %  14.87  %  4.74  %  42.42  %
分裂）。 我们的 5.07  %  6.38  %  3.77  %  70.21  %

4.3.消融研究 表  2：
开发集的性能评估
消融研究中涉及的不同模型的  GRAD‑GPAD。
我们还展示了相对改进  ΔAER
我们工作的科学贡献是双重的。
第一的，
我们引入了面部  PAD  问题的重新表述
相对于基线。
使用度量学习的深度异常检测视角。
其次，
我们建议使用三重焦点损失作为

我们在表2中表明，
当我们将焦点
一种新的  softmax  损失函数的正则化，
适用于
关注三元组，
即Model  2，
我们在AER方面实现了42.42%的相对提升。
这方面
5https://www.iso.org/standard/67381.html
Machine Translated by Google

图  3：
基线（左）
和我们的方法（右）
的真阳性率混淆矩阵。

算法 HTER  宏基  APCER  BPCER
揭示了挖掘策略在学习中的重要性
质量[25] 23.21  %  36.96  %  50.51  %  23.42  %
过程。
最后，
引入提出的度量softmax项，
实现了显着的相对改进
颜色[4] 7.87  %  19.21  %  28.57  %  9.84  %
辅助[23] 5.92  %  37.89  %  66.67  %  8.55  %
70.21%  的  AER。
辅助* 6.52  %  31.81  %  53.33  %  10.44  %
此外，
我们在图3中显示了真阳性率
我们的 5.41  %  10.14  %  14.29  %  5.99  %
（TPR）
基线（左）
和我们的混淆矩阵
我们的† 5.45  %  10.42  %  14.28  %  6.55%
接近（右）。
我们评估，
通过异常检测方法，
我们能够高度区分真正的

表  3：
Grandtest  协议的数据集内结果。
来自冒名顶替者的样本，
无论其分类
攻击仪器。
请注意，
尽管对不同的攻击进行了正确分类，
但基线对真实样本
分类的性能很差，
这会严重惩罚 排除在训练步骤之外。 在第一个实验中， 我们
为测试集省去  CASIA‑FASD  [39] 。
在第二
其全球表现。 一、
ReplayAttack  [8]在学习过程中被排除在外。
同时
4.4.数据集内评估 实验，
没有来自测试数据集的样本
既没有在训练集中使用，
也没有在开发集中使用。
为了公平地比较我们的方法与最先进的方法，
我们为每个方法训练一个  
SVM‑RBF  分类器
4.5.1  CASIA‑FASD  测试
其中使用相应的功能。
此外，
对于辅助模型[23]，
我们仅使用深度图  (Auxiliary* )  中的  L2‑Norm  报告 如图4  所示，
该实验的训练集包括所有类型的攻击，
但是域是
结果，
因为它是
由作者在其原始作品中提出。
对于所有 不同（即不同的环境、
光照条件、
实验中，
我们在方程式中使用M  =  3 。  7为几杆 捕获设备等）。  CASIA‑FASD  是最小的之一
后验概率估计（我们的† ）
实验。
笔记 人脸反欺骗样本的数据集。
因此，
仅考虑其测试集进行评估会在错误分类的
即，  [23]中提出的原始方法（辅助* ） 情况下对性能造成严重影响。
这个
和我们的后验估计方法，
不需要
使用任何具有学习特征的分类器。 事实反映在表4  中，
其中性能显着
表3中的结果表明，
我们的两种新方法都优于最先进的方法，
即使使用 放弃所有方法，
除了我们的方法，
我们
能够保持合理的良好表现：
从
最具挑战性的指标（ACER）。
这些结果表明学习到的特征空间具有很高的 ACER  为  10.14%（见表3）
至  16.8%。
辨别力 在表4中，
我们展示了我们的  HTER  和  ACER  值
能力，
并且我们的模型表现最好。 方法几乎相同。
我们认为，
尽管
由该协议引入的域转移，
在训练期间学习到的嵌入足够健壮，
可以在
4.5.数据集间评估

为了评估泛化能力，
我们执行了两个跨数据集评估，
其中整个数据集是 这个设置。
相反，
实验中的其他方法
受到高度惩罚，
表明他们倾向于过度拟合
Machine Translated by Google

图  4：
Cross‑Dataset  Test‑On‑CASIA‑FASD  协议的训练样本统计数据。 图  5：
Cross‑Dataset  Test‑On‑ReplayAttack  协议的训练样本统计数据。

算法质量[25] HTER  宏基  APCER  BPCER
算法质量[25] HTER  宏基  APCER  BPCER
40.90  %  47.38  %  65.56  %  29.21  %
37.35  %  47.02  %  42.14  %  51.90  %
颜色[4] 22.17  %  25.69  %  26.67  %  24.72  %
颜色[4] 34.51  %  43.35  %  51.25  %  35.44  %
辅助[23]  28.60  %  29.71  %  12.22  %  47.19  %
辅助[23]  35.62  %  45.62  %  68.75  %  22.50  %
辅助* 25.42  %  26.90  %  12.22  %  41.57  %
辅助* 37.87%  47.50  %  72.50  %  22.50  %
我们的 16.74  %  16.80  %  10.00  %  23.60  %
我们的 25.00  %  45.62  %  71.25  %  20.00  %
我们的† 17.56  %  18.48  %  10.00  %  26.97  %
我们的† 25.25  %  45.62  %  71.25  %  20.00  %

表  4：
在  CASIA‑FASD  上评估的数据集间结果。
表  5：
重放攻击评估的数据集间结果。

更大程度的训练集。
此外，
我们表明，
在  CASIA‑FASD  测试中，
与  SVM  版本相比，
我们的少样本 我们使用  SVM  的方法，
再次评估我们可以使用几个样本替换分类器。
此外，
我
后验估计管道（Ours† ）
实现了相似的性能 们得到
最佳整体性能  HTER  和最佳  BPCER
设置。
因此，
我们评估学习到的嵌入空间足够泛化，
因此我们可以避免使用具有 （ACER  接近于所有方法的随机选择）。

特征向量并估计后验概率
5。
结论
通过简单地使用M  =  3。
这个无分类器模型也是
能够胜过所有最先进的方法，
包括
在这项工作中，
我们介绍了一种新颖的方法，
该方法可以解决  face‑PAD  中
辅助* ，
既不需要分类器。
的泛化问题，
遵循异常检测管道。
我们利用深度度量学习来提出一个新的
“metric‑softmax”
损失，
4.5.2  重放攻击测试
与三重焦点损失驱动器一起应用到
选择省略重放攻击数据集的动机是显示对性能的影响
更健壮和通用的特征表示来区分原始样本和攻击样本。
我们还提出了一种新的
后验概率估计，
可以防止
属于一种新的看不见的攻击的  face‑PAD  算法
domain：
该数据集包含所有重放低质量攻击的样本（见图5）。
这需要一个
我们不需要训练任何分类器进行决策。
通过在具有挑战性的  GRAD‑GPAD  框
更具挑战性的场景。
架中进行彻底的实验评估，
我们表明所提出的解决方案在相当大的程度上优于
先前的工作
表5中报告的结果显示所有方法的性能都严重下降，
特别是  ACER，
其中

利润。
所有方法都受到看不见的攻击的严重惩罚
并实现接近随机选择的性能。这个事实
是由于添加了一种从未见过的新攻击以及强大的域更改，
高度
致谢我们感谢戈润生物指标团队的同事做出的宝贵贡献。
影响APCER（即攻击分类）。
有趣的是，
我们基于少样本后验估计的建议与
特别提到  Esteban  Vázquez‑Fernandez,  Julian´
～

拉莫索‑努内兹和米格尔·洛伦佐‑蒙托托。
Machine Translated by Google

参考 [16]  Kaiming  He,  Xiangyu  Zhang,  Shaoqing  Ren,  and  Jian  Sun.  
用于图像识别的深度残差学习。
在  IEEE  计算机视觉和模式会
[1]  A.  Anjos  和  S.  Marcel。
照片攻击的对策
议论文集中
人脸识别：
公共数据库和基线。
在 认可  (CVPR)， 第  770‑778  页， 2016  年。5
国际生物识别联合会议  (IJCB)，
2011。
[17]  Xinwei  He,  Yang  Zhou,  Zhichao  Zhou,  Song  Bai,  and  Xiang  
2
白。 用于多视图  3d  对象检索的三重中心损失。
[2]  SR  Arashloo、
J.  Kittler  和  W.  Christmas。
异常 在  IEEE  计算机视觉会议论文集中
面部欺骗检测的检测方法： 一种新的模拟和评估协议。  IEEE  访问,   和模式识别  (CVPR)，
第  1945‑1954  页，
2018  年。
2017.  2, 3、
4  _
3
[18]  Amin  Jourabloo,  Yaojie  Liu,  and  Xiaoming  Liu.  Face  de  
[3]  Sushil  Bhattacharjee、
Amir  Mohammadi  和  Sebastien  Marcel。
使用 spoofing:  Anti‑spoofing  via  noise  modeling.  In  Proceedings  
自定义  Sil  icone  面具欺骗深度面部识别。 在  BTAS,  2018.  2,  5 欧洲计算机视觉会议  (ECCV)，
第  290–306  页，2018年。 2
[4]  Z.  Boulkenafet、
J.  Komulainen  和  A.  Hadid。
人脸欺骗 [19]  Klaus  Kollreider、
Hartwig  Fronthaler、
Maycel  Isaac  Faraj、
使用颜色纹理分析进行检测。  IEEE汇刊 和约瑟夫·比根。
实时人脸检测和运动
关于信息取证和安全  (TIFS),  11(8):1818– 分析与活性评估中的应用。  IEEE
1830  年，
2016  年8月。
5、7、
8
信息取证和安全交易（TIFS），
[5]  Zinelabidine  Boulkenafet、
Jukka  Komulainen  和  Abdenour 2(3):548–558,  2007.  2
哈迪德。 基于颜色纹理的人脸反欺骗泛化。
图像和视觉计算，   [20]  Haoliang  Li,  Peisong  He,  Shiqi  Wang,  Anderson  Rocha,  
77  ：
1‑9，
2018。
2 姜星浩和亚历克斯·C·科特。学习泛化
[6]  Z.  Boulkenafet,  J.  Komulainen,  Lei。  Li、
X.  Feng  和  A. 人脸反欺骗的深度特征表示。  IEEE
哈迪德。  OULU‑NPU：
移动人脸呈现攻击 信息取证和安全交易（TIFS），
具有真实世界变化的数据库。
在  IEEE  国际
13(10):2639–2652,  2018.  2
自动人脸和手势识别会议， [21]  H.  Li、
W.  Li、
H.  Cao、
S.  Wang、
F.  Huang  和  AC  Kot。
用于人脸反欺骗的无
2017年  5  月。
5 监督域适应。  IEEE
[7]  Q.  Cao、
L.  Shen、
W.  Xie、
OM  Parkhi  和  A.  Zisserman。 信息取证和安全交易（TIFS），
Vggface2： 跨姿势识别人脸的数据集 13(7):1794–1809，
2018  年  7月。
2、5
年龄。在自动人脸与国际会议上 [22]  Siqi  Liu,  Pong  C.  Yuen,  Shengping  Zhang,  and  Guoying  
手势识别，2018.  3 赵。  3d  面具面部反欺骗与远程光电容积成像。
在欧洲计算机
[8]  Ivana  Chingovska、
Andre  Anjos  和  S  ebastien  Marcel。 视觉会议上
关于局部二值模式在人脸反欺骗中的有效性。
在  BIOSIG，
2012   (ECCV)，
第  85‑100  页。
施普林格国际出版社，
年9月。
3、5、
7 2016.  5
[9]  Sumit  Chopra、
Raia  Hadsell、
Yann  LeCun  等人。
学习 [23]  Yaojie  Liu,  Amin  Jourabloo,  and  Xiaoming  Liu.  Learning  
有区别的相似性度量，
应用于人脸 人脸反欺骗的深度模型： 二进制或辅助监督。 在  IEEE  计算机视觉和模
确认。
在  CVPR  (1)，
第  539–546  页，
2005.  3 式识别  (CVPR)  会议论文集中， 第  389  页–
[10]  Artur  Costa‑Pazo、 Sushil  Bhattacharjee、
Esteban  Vazquez  
Fernandez  和  Sebastien  Marcel。 重放‑移动面部呈现‑攻击数据库。 在   398,  2018.  5,  7,  8
BioSIG， 2016  年  9月。3、5 [24]  I.  Manjani、
S.  Tariyal、
M.  Vatsa、
R.  Singh  和  A.  Majumdar。
检测基于硅
[11]  Artur  Costa‑Pazo、 David  Jimenez‑Cabello、Esteban  Vazquez‑Fern   胶面具的演示攻击
andez、
Jos  和  Luis  Alba‑Castro，
以及  Roberto  J. 深度字典学习。  IEEE信息汇刊
洛佩兹‑萨斯特。
广义表示攻击检测：
人脸反欺骗评估建议。
在国 取证与安全  (TIFS)，
12(7):1713–1723，
2017  年  7  月。
际 5
生物识别会议  (ICB),  2019.  2,  3,  5 [25]  O.  Nikisins、
A.  Mohammadi、 A.  Anjos  和  S.  Marcel。
上
[12]  阿图尔·科斯塔‑帕索、
埃斯特万·巴斯克斯‑费尔南德斯、何塞·路易斯·阿尔 异常检测方法对人脸反欺骗中未见呈现攻击的有效性。 在国际生物识
巴‑卡斯特罗和丹尼尔·冈萨雷斯‑吉姆·内兹。
真实场景中人脸呈现攻击检
测的挑战。  In  Hand   别会议  (ICB)， 第  75‑81  页，
2  月
book  of  Biometric  Anti‑Spoofing,  Springer,  2019.  2
2018.  2,  3,  5,  7,  8
[13]  内斯利·埃尔多莫斯和塞巴斯蒂安·马塞尔。  2d  人脸欺骗 [26]  Omkar  M  Parkhi、
Andrea  Vedaldi、
Andrew  Zisserman  等人。
使用  3D  面具进行识别和使用  kinect  进行反欺骗。
在 深度人脸识别。
在英国机器视觉大会上
生物识别： 理论、
应用和系统，
9  月 (BMVC)， 第  1  卷，
第  6  页，2015.  3,  4
2013.  5 [27]  A.  Pinto、
W.  Robson  Schwartz、
H.  Pedrini  和  A.  de
[14]  J.  Galbally、
S.  Marcel  和  J.  Fierrez。
假生物特征检测的图像质量评估： 雷森德·罗查。 使用视觉节奏检测基于视频的面部欺骗攻击。  IEEE  
在虹膜、 指纹和人脸识别中的应用。  IEEE图像汇刊 Transactions  on  Information  Forensics  and  Security  (TIFS)，
10(5):1025–1038， 5  月
处理， 23(2):710–724，
2014  年  2月。
2、5 2015.  5
[15]  葛伟峰． 具有分层三元组的深度度量学习 [28]  A.  Pinto、
WR  Schwartz、
H.  Pedrini  和  A.  d.  R.  Rocha。
失利。 在欧洲计算机视觉会议  (ECCV)  会议记录中， 第  269‑285  页， 使用视觉节奏检测基于视频的面部欺骗
2018年。3 攻击。  IEEE  TIFS，
10(5):1025–1038，
2015  年  5  月。
2
Machine Translated by Google

[29]  弗洛里安·施罗夫、
德米特里·卡列尼琴科和詹姆斯·菲尔宾。
Facenet：
用于人脸识别和聚类的统一嵌入。
在  IEEE  计算机视觉和模式
识别  (CVPR)  会议论文集中，
第  815‑823  页，
2015  年。
4

[30]  A.  Sepas‑Moghaddam、
F.  Pereira  和  PL  Correia。
基于光场的人脸呈现
攻击检测：
审查、
基准测试和更进一步。  IEEE  Transactions  on  
Information  Forensics  and  Security  (TIFS)，
13(7):1696–1709， 2018  
年  7  月。
2  [31]  Evgeny  Smirnov、Aleksandr  Melnikov、 Andrei  Oleinik、
Elizaveta  Ivanova、
Ilya  Kalinovskiy  和  Eugene  Luck  yanets。
带有辅
助嵌入的困难示例挖掘。

在  IEEE  计算机视觉和模式识别研讨会论文集上，
2018  年第  37‑46  页。
3  
[32]  Kilian  Q.  Weinberger  和  Lawrence  K.  Saul。
用于大边缘最近邻分
类的距离度量学习。  J。

马赫学。  Res.,  10:207–244,  June  2009.  3  [33]  Di  
Wen,  Hu  Han,  and  AK  Jain。
带有图像失真分析的人脸欺骗检测。  IEEE  TIFS,  
10(4):746–761,  April  2015.  2,  3,  5  [34]  Yandong  Wen,  Kaipeng  
Zhang,  Zhifeng  Li,  and  Yu  Qiao.一种用于深度人脸识别的判别特征学
习方法。
在欧洲计算机视觉会议上，
第  499‑515  页。  Springer,  2016.  3  [35]  于
宝生，
刘同良，
龚明明，
丁长兴，
陶大成。
纠正三元组损失的三元组选择偏差。
在欧洲计算机视觉会议  (ECCV)  会议记录中，
第  71‑87  页，
2018年。
3

[36]  Kaipeng  Zhang,  Zhanpeng  Zhang,  Zhifeng  Li,  and  Yu  Qiao.  
使用多任务级联卷积网络的联合人脸检测和对齐。  CoRR,  abs/
1604.02878,  2016.  5  [37]  张世峰,  王晓波,  赵晨旭,  万军,  Ser  gio  
Escalera,  石海林,  王泽政,  斯坦  Z.Li.大规模多模态人脸反欺骗的数据集和基
准。
在  IEEE  计算机视觉和模式识别会议  (CVPR)  上，
2019.  2,  5  [38]  S.  
Zhang、
Q.  Zhang、
X.  Wei、
Y.  Zhang  和  Y.  Xia。
重新识别三重焦点损失的
人。  IEEE  Access,  6:78092–78099,  2018.  3  [39]  Z.  Zhang,  J.  Yan,  S.  
Liu,  Z.  Lei,  D.  Yi,  和  SZ  Li。
具有多种攻击的人脸反欺骗数据库。 在国际生
物识别会议  (ICB)，
第  26‑31  页，
2012  年3月。
3、7