Evaluacion Biometricos v1

Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico
1) Sistemas biomtricos e identificacin personal. Generalidades

Terminologa biomtrica
Identificacin personal: asociacin de identidad a un individuo Biometra: Caracterizacin estadstica de seales biolgicas (definicin clsica) Antropometra: Caracterizacin estadstica de parmetros fisiolgicos humanos (ej., mandbula, longitud sea, capacidad craneal o pulmonar, etc.) Biomtrica/Sistemas biomtricos: Utilizacin de sistemas automticos para la clasificacin / reconocimiento de rasgos personales en identificacin.
Escuela Politcnica Superior - EPS
Paradigma de la identificacin personal

Autenticacin de una entidad concreta relacionada con la persona.
Esta entidad concreta incluye: a) Algo que la persona posee: "Algo que tienes, ... Atenticacin por algo que se tiene o porta: llave, tarjeta, etc. b) Algo que la persona sabe: ... algo que sabes, ... Atenticacin por algo que se sabe (memoriza): clave / password, PIN, etc. c) Algo que la persona es: ... algo que eres." Autenticacin de la persona a travs de un rasgo personal
Problemtica de los mtodos"tradicionales"

Autenticacin por posesin: Lo que uno posee puede ser sustrado, ser perdido, ser olvidado, ser extraviado (descolocado)... Cuando el medio cae en manos de personas no autorizadas, stas adquieren los "privilegios" de las autorizadas Autenticacin por conocimiento
Lo que uno sabe o memoriza puede ser olvidado, ser confundido, ser unificado o ser asociado a datos externos. Ej.: 25% de las personas que poseen tarjetas de cajero (crdito o dbito) escriben su PIN en lugares fcilmente accesibles (la cartera, la pantalla del PC, notas en casa, la propia tarjeta, etc.) Conclusin:
No se puede distinguir al usuario del impostor con posesin y/o conocimiento del medio.
Autenticacin Biomtrica
Autenticacin de la identidad mediante la identificacin de rasgos (fsicos) de la personas Tipos:
Rasgos fisiolgicos: huellas dactilares, geometra de la mano/dedo, iris, ADN, etc. Rasgos del comportamiento: Voz, firma, modo de teclear, modo de andar, etc.
Ventajas:
No pueden ser sustrados, perdidos, olvidados o descolocados. Representan una manifestacin tangible de lo que uno es. No son la panacea; pero en combinacin que mtodos de autenticacin por posesin y/o conocimiento estn comenzando a proporcionar potentes herramientas en la identificacin personal.
Propiedades (ideales) de los rasgos biomtricos

Universalidad: Toda persona debe poseer dicho rasgo biomtrico. Unicidad: Personas distintas deben poseer rasgos diferenciados/distintos Permanencia: El rasgo debe ser invariante con el tiempo a corto plazo Perennidad: El rasgo debe ser perpetuo, es decir, invariante con el tiempo a largo
plazo (vida de la persona)
Mensurabilidad: El rasgo debe poder ser caracterizado cuantitativamente
Caracterizacin de los sistemas biomtricos
Rendimiento: precisin en el proceso de identificacin Aceptabilidad: grado de aceptacin/rechazo personal y social del sistema
biomtrico
Evitabilidad: capacidad de eludir el sistema mediante procedimientos fraudulentos
Evitabilidad y fraude en sistemas clsicos

usuario legtimo
Colusin: El operador del sistema hace uso abusivo de sus privilegios frente al Coercin: El usuario legtimo es obligado a entregar su posesin/conocimiento Denegacin: El usuario legtimo no es autenticado por el sistema y es (falsamente)
rechazado
Encubrimiento: Se obtiene informacin del usuario legtimo de forma oculta
El principal riesgo que se deriva de los sistemas biomtricos es la suplantacin de identidad mediante la imitacin (voz, cara) o la reproduccin (huella, iris) del rasgo a reconocer.
2) Funcionamiento de los sistemas

Sistemas de Reconocimiento: Identificacin vs. Verificacin
Desde el punto de vista del funcionamiento de los sistemas automticos de reconocimiento de personas mediante rasgos biomtricos, se hace necesario clasificar las dos perspectivas fundamentales de trabajo de los mismos: Sistemas de reconocimiento en modo identificacin Sistemas de reconocimiento en modo verificacin
MODO IDENTIFICACIN
El objetivo es el de clasificar una realizacin determinada de un rasgo biomtrico de identidad desconocida como perteneciente a uno de entre un conjunto de N posibles individuos.
Semejanza Referencia
(individuo 1)
Rasgo Biomtrico
Extraccin parmetros
(individuo 2)
Regla de decisin
Individuo identificado
(individuo N )
Dentro de estos sistemas, debemos diferenciar dos posibles casos:
asignacin de identidad a uno de los individuos modelados por el sistema, y conocidos como usuarios. Existen, por tanto, N posibles decisiones de salida posibles.
Identificacin en conjunto cerrado: en este caso, el resultado del proceso es una
grupo de usuarios, con lo que el sistema de identificacin debera contemplar la posibilidad de no clasificar la realizacin de entrada como perteneciente a las N posibles.
Identificacin en conjunto abierto: aqu debemos considerar una posibilidad adicional a las N del caso anterior: que el individuo que pretende ser identificado no pertenezca al
10
MODO VERIFICACIN
Los sistemas de verificacin de individuos, por el contrario, toman dos entradas: una realizacin del rasgo biomtrico a verificar, una solicitud de identidad, que puede ser realizada de diversas formas (lectura de tarjeta magntica individual, introduccin mediante teclado o mediante voz de un cdigo de locutor, etc.).
De este modo, las dos nicas salidas o decisiones del sistema son la aceptacin o rechazo del individuo como aqul que pretende ser. De esta forma, el locutor solicitante ser catalogado como usuario autntico o bien como impostor, respectivamente. La decisin de aceptar rechazar la locucin de entrada como correspondiente al locutor solicitado depender de si el valor de parecido o probabilidad obtenido supera o no un determinado UMBRAL de decisin.
11
La figura siguiente muestra de forma genrica la estructura tpica de un sistema de verificacin.
Rasgo biomtrico Entradas Solicitud individuo i
Extraccin de parmetros
Semejanza
Regla de decisin
Resultado de Verificacin (Aceptado/rechazado)
Referencia
(Individuo i )
Ui
12
ALGUNAS CONSIDERACIONES ADICIONALES
Los sistemas de verificacin pueden ser vistos como un caso particular de identificacin en conjunto abierto, en el que N=1. Por otro lado, el proceso de identificacin en conjunto abierto puede ser observado como un esquema en dos etapas: En la primera, realizaramos un proceso de identificacin en conjunto cerrado sobre los individuos conocidos, de forma que la realizacin incgnita sera asignada a uno de los usuarios del sistema con mxima probabilidad, con N decisiones de salida posibles A continuacin, realizaramos un proceso de verificacin respecto al individuo seleccionado en el proceso de identificacin. De esta forma, la salida del sistema sera la aceptacin del individuo que realiza el intento como uno de los N usuarios del sistema, o bien el rechazo al tomarlo como presunto impostor al mismo, lo que da lugar a un total de N+1 decisiones posibles.
13
Caracterizacin de sistemas de reconocimiento

Debemos disponer de herramientas y procedimientos que nos permitan comprobar y medir la fiabilidad del sistema en forma de valores, curvas, etc. Su utilidad es doble: a) El desarrollador podr evaluar nuevas mejoras o desarrollos sobre el mismo sistema. b) Los resultados sern repetibles en otros grupos de investigacin. Describiremos los distintos parmetros que se pueden medir y el procedimiento empleado en la medida. Llamando X a la poblacin de m usuarios registrados:
X = {X 1 ... X m } = {X i }1 i m
Cada usuario registrado Xi habr producido ci realizaciones del rasgo a reconocer, realizaciones que denotaremos xi:
14
x i = x i1 ... x ic i = x ik
} { }
1 k c i
donde k indica la realizacin k-sima del usuario Xi. Llamaremos c al nmero total de realizaciones de prueba autnticas, y pi a la proporcin de realizaciones pertenecientes al usuario Xi respecto al conjunto total de prueba:
c =
i =1
ci
ci pi = c
Haciendo uso de la notacin:
u i* = 1 u i* = 0
si
ci 0
resto
llamaremos m* al nmero de usuarios registrados con al menos una realizacin de prueba autntica disponible:
15

m
m =
*
i =1
u i*
* *
En determinados rasgos biomtricos (voz, cara) aumentar la fiabilidad la separacin de la poblacin por sexos. Para proceder de forma separada, llamaremos M (male) al conjunto de usuarios varones registrados, y F (female) al conjunto de mujeres registradas, y m M y m F a los nmeros de hombres y mujeres respectivamente con al menos una realizacin de prueba autntica. En cuanto a los impostores, en el caso ms general, el conjunto total de realizaciones de prueba procedentes de impostores puede dividirse en subconjuntos correspondientes a uno entre n impostores Y j haciendo uso del sistema con identidad solicitada Xi.
{ }1 j n
d
Llamaremos entonces:
ji y ji = y 1 = yk ji ... y ji ji
} { }
1 k d ji
16
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico al conjunto de dji realizaciones de prueba de impostores generadas por el impostor Yj reclamando ser Xi. De forma similar a las realizaciones de prueba autnticas (las procedentes de los usuarios reclamando ser ellos mismos), llamaremos d al conjunto total de realizaciones de impostores, y qji a la proporcin de pruebas de impostores del impostor Yj frente al usuario registrado Xi,
d =
j =1i =1 n
d ji d ji ,
q ji =
d ji d dj di , qj = d d
y escribimos igualmente:
di =
j =1
dj =
i =1
d ji ,
qi =
De manera similar, llamaremos (mn)* al nmero total de parejas (Xi, Yj) para las cuales hay al menos una realizacin de prueba de un impostor.
17
Caracterizacin de sistemas de identificacin

Un sistema de identificacin en conjunto cerrado puede verse como una funcin que asigna a cualquier realizacin de prueba z un ndice del usuario estimado i(z ) , correspondiente a la persona identificada, X i(z ) , de entre el conjunto de usuarios registrados. En la identificacin en conjunto cerrado, todas las realizaciones de prueba corresponden a uno de los usuarios registrados. Por tanto, se producir un error de clasificacin para la realizacin k del usuario Xi cuando:
i x ik i
( )
o de forma equivalente
i x ik , i = 0
[( ) ]
donde denota la funcin delta de Kronecker, que vale 1 si los dos argumentos son iguales, y 0 en el resto de los casos.
18
ERRORES DE CLASIFICACIN
El rendimiento de un sistema de identificacin se mide calculando el nmero relativo de veces (%) que el sistema falla en identificar correctamente al usuario de entrada, o lo que es lo mismo, con qu frecuencia una realizacin de prueba es asignada a una identidad errnea. Este valor es directo para cada usuario. Veamos, sin embargo, cmo se obtiene este valor para un sistema global. Si suponemos ci 0, definimos el error de clasificacin para el usuario Xi como:
i = 1
ci
k =1
k i x i ,i
ci
[( ) ]
De forma general, se conoce como ovejas (sheep) a los usuarios con bajo error de clasificacin (son dciles frente al grupo y se dejan llevar), y cabras (goats) a los usuarios con alto error de clasificacin (son pocos los que dan problemas, pero son los que marcan las caractersticas del grupo).
19
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico A partir de las tasas usuario a usuario, el error de clasificacin promedio del sistema se puede obtener como:
=
y a partir de:
i =1 c i 0
i
m
M =
mM
*
i =1 X i M c i 0
F =
mF
i =1 X i F c i 0
podemos calcular el error de clasificacin balanceado por sexos como:
MF =
1 ( M + F 2
20
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico Los valores anteriores son diferentes al error de clasificacin del conjunto de prueba, calculado como:
=1
c 1 m i
i =1 k =1
[i(
x ik
), i ] = p i i
m i =1
Los valores y son idnticos si y solo si ci no depende de i, es decir, cuando el conjunto de prueba contiene un nmero idntico de c/m de realizaciones por persona. Adems, si se separa la poblacin global por sexos, y las pruebas no estn balanceada en estos subgrupos, puede haber diferencias apreciables entre y MF , por lo que una caracterizacin del sistema bastante adecuada en estos casos vendr dada por los tres nmeros, MF , y .
21
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico TASAS DE DESCONFIANZA Abordado desde otro punto de vista, podemos disear las tasas de rendimiento de los sistemas en funcin del grado de fiabilidad cuando el sistema asigna una determinada identidad, o en otras palabras, disponer de un estimador de la probabilidad de que el usuario no sea realmente Xi cuando el sistema da a Xi como la identidad ms verosmil. Para ello, llamaremos:
ci =
*
k =1
m
i x k , i
i =1
[( ) ]
ci pi = c
= m
i* m
i* = 1 si ci 0 donde m i* = 0 si ci = 0 y m
i son, respectivamente, el nmero y la proporcin de realizaciones donde por definicin ci y p

22
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico de prueba identificadas como procedentes de Xi sobre el conjunto total de prueba, mientras
* es el nmero de usuarios registrados cuya identidad fue asignada al menos una vez a que m una realizacin de prueba.
La tasa de desconfianza para el usuario Xi puede calcularse entonces como:
ci 1 i k ( ) i x i = , 1 1 i = 1 i i i k =1 i c c
Siguiendo entonces con la analoga animal, llamaremos usuarios resistentes o carneros (rams) a aquellos con baja tasa de desconfianza (es difcil hacerse pasar por ellos), y corderos (lambs) a aquellos con alta tasa de desconfianza (cualquiera es capaz de reventar su modelo). Nuevamente, a partir de estos valores usuario a usuario, la tasa de desconfianza promedio se obtendra como:
[( ) ]
23
i =1 ci 0
i
m
y calculando por separado:
M =
M m
*
i =1 X i M ci 0
F =
F m
i =1 X i F ci 0
podemos calcular la tasa de desconfianza balanceada por sexos como:
MF =
1 (M + F 2
Podemos apreciar que:
24

m m
i =1
pi i = p i i
i =1
por lo que no es necesario definir una tasa de desconfianza promedio del conjunto de prueba , es decir, la tasa de desconfianza del conjunto de prueba es igual al error de clasificacin del conjunto de prueba. Desde un punto de vista prctico, los errores de clasificacin y las tasas de desconfianza se pueden obtener a partir de los mismos programas de clculo, operando de forma consecutiva sobre la matriz de confusin del sistema o sobre su transpuesta.
25
Caracterizacin de sistemas de verificacin

En este caso, un sistema de verificacin se comportar como una funcin que asigna a una realizacin de prueba z y a una identidad solicitada i, un valor booleano vi (z ) que ser igual a uno si la realizacin es aceptada, o igual a cero si por el contrario es rechazada. Podemos tener dos tipos de error: Un usuario autntico es rechazado: error de falso rechazo (FR, o error tipo I) Un impostor es aceptado: error de falsa aceptacin (FA, o error tipo II). Por tanto, un falso rechazo se corresponder con:
vi x ik = 0
y una falsa aceptacin con:
( )
vi y k ji = 1
( )
26
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico De esta forma, la tasa de falso rechazo para el usuario Xi se calcular como:
i = 1
ci
k =1
k v x i i
ci
( )
Nuevamente, podemos aplicar los trminos oveja y cabra para calificar respectivamente a los usuarios con bajas y altas tasas de falso rechazo. La tasa de falso rechazo promedio se calcular como:
i =1 c i 0
i
)
En su caso, la tasa de falso rechazo balanceada por sexos vendra dada por:
MF =
donde:
1 ( M + F 2
27
M =
mM
*
i =1 X i M c i 0
F =
mF
i =1 X i F c i 0
La tasa de falso rechazo del conjunto de prueba se calculara nuevamente como:
= 1
c 1 m i
i =1 k = 1
vi x ik
( ) = pi i i =1
m
disponiendo nuevamente por tanto de tres estimadores distintos, , MF y probabilidad de rechazar de forma incorrecta a un usuario del sistema.
de la
28
Para el clculo de las falsas aceptaciones existen dos alternativas: a) Si queremos medir la vulnerabilidad de los usuarios registrados. b) O bien, la habilidad de los impostores. Adems, el modo de evaluar las tasas de falsa aceptacin y las tasas de xito de los impostores (imposture rates) depender de si la identidad de cada impostor es conocida o no.
29
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico IMPOSTORES CONOCIDOS Si la identidad de los impostores es conocida, la tasa de falsa aceptacin a favor del impostor Yj frente al usuario registrado Xi se define como:
ji =
d ji
d ji
k =1
k v y i ji
( )
As, podemos ver a ji como un estimador de la probabilidad de que el sistema acepte una realizacin del usuario Yj reclamando ser el usuario registrado Xi. Entonces, la tasa de falsa aceptacin promedio contra el usuario Xi se obtiene promediando para todos los impostores:
i =
ni
j =1 d ji 0
ji
30
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico De forma equivalente, la tasa promedio de xito de los impostores a favor del impostor Yj se calcula como:
1 j = ~* m ~
j i =1 d ji 0
ji
Como vemos, el nmero i indica la tasa de falsa aceptacin obtenida en promedio por cada ~ impostor reclamando ser el usuario Xi, mientras que j indica la tasa de xito promedio del usuario Yj reclamando cualquier identidad. Un usuario registrado puede ser un usuario resistente (i bajo) o vulnerable (i alto), mientras ~ que a los impostores con alto j podemos verlos como impostores habilidosos o lobos (wolves), y los que presentan bajos valores de j como impostores poco hbiles, llamados tejones (badgers) o tambin vacas (cows).
31
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico La tasa de falsa aceptacin promedio, que es igual a la tasa promedio de xito de los impostores se obtiene como:
(m ,n ) (i , j ) = (1,1)
d ji 0
(mn )*
~ ji =
o lo que es lo mismo, como promedio de las falsas aceptaciones a lo largo de todas las parejas (Xi, Yj), suponiendo todas las parejas equiprobables. Otra forma de calcular estas dos ltimas tasas sera a partir de las tasas promedio de cada persona:
(1)
1 m = * i ~ m
i =1 d i 0
~ (1)
n*
j =1 d j 0
~ j
aunque con el inconveniente que ahora
(1)
~ y (1) no son, en general, iguales.
32
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico Adems, podemos obtener estimadores separados de las tasas promedio de falsa aceptacin sobre las poblaciones registradas masculina y femenina como:
M =
ji (m M n ) (i , j )= (1,1)
*
(m ,n )
X i M d ji 0
F =
ji (m F n ) (i , j )= (1,1)
*
(m ,n )
X i F d ji 0
As, la tasa de falsa aceptacin balanceada por sexos vendr dada por:
MF =
1 (M + F 2
33
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico Tambin puede resultar interesante calcular las tasas de xito de los impostores independientemente de la identidad solicitada:
~ j = ~ dj
y su valor promedio:
dj
k =1 dj
~
vi (y k j )
~ j
~ j =
n*
j =1 ~ d j 0
34
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico IMPOSTORES DESCONOCIDOS Ninguno de los valores anteriores puede ser calculado si no conocemos la identidad de los impostores, por lo que las tasas de falsa aceptacin y de xito de los impostores deben ser calculadas bajo la suposicin de que todas las realizaciones de prueba de impostores proceden de personas distintas. As, la tasa de falsa aceptacin frente al usuario Xi suponiendo impostores desconocidos vendr dada por:
i =
di
k =1
k v y i i
di
( )
y la tasa promedio vendr dada por:
1 m = * i ~ m
i =1
Nuevamente, podemos obtener estimadores separados por sexos mediante:

35
1 = M ~* m
M i =1 X i M
1 = F ~* m
F i =1 X i F
donde la tasa de falsa aceptacin suponiendo personas diferentes balanceada por sexos viene entonces dada por:
= MF
1 + F (M 2
36
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico INDICADORES SOBRE EL CONJUNTO DE PRUEBA Si deseamos valorar las falsas aceptaciones de forma global, independientemente de la identidad del impostor o de la identidad reclamada, obtenemos la tasa de falsa aceptacin sobre el conjunto de prueba, que es idntica a la tasa de xito de los impostores sobre el conjunto de prueba, y que viene dada por:
1 d
k =1
v(y
~ ) = d vi (y ik ) =
i =1 k =1
d 1 m i
Aqu, nos da un estimador sobre el conjunto de prueba de la probabilidad de que el sistema acepte la realizacin de un impostor, estimacin que puede estar sesgada por la composicin de la poblacin de usuarios o por un nmero desigual de intentos de impostores por cada usuario, como podemos apreciar a partir de:
i =
j =1
q ji
i
ji
j =
i =1
q ji
j
ji
37

m n m n
i =1 j = 1
~ q q q = = ji ji i i j j
i =1 j =1
en caso contrario, mientras que el resto de valores que podemos calcular nos o y MF sirven nicamente a nivel interno como diagnstico del sistema.
Destacar finalmente, y a modo de resumen, que para evaluar los falsos rechazos de un sistema, debemos dar, junto a , los valores de y MF , en caso de impostores conocidos,
38
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico ESTABLECIMIENTO DE UMBRALES Los sistemas automticos de verificacin funcionan normalmente en dos fases: a) En primer lugar, se calcula un valor de verosimilitud (o distancia) s(z, Xi) entre la realizacin de prueba z y el modelo de referencia Xi correspondiente a la identidad reclamada. b) En segundo lugar, este valor es comparado con un umbral i, tomndose entonces la decisin de aceptacin o rechazo:
vi (z ) = 1 vi (z ) = 0
si s (z , X i ) i en caso contrario
Cada usuario registrado puede tener un umbral individual asociado con su modelo, o podemos disponer de un nico umbral comn para todos los usuarios. Llamaremos al vector de umbrales [i], 1im, y () y () a las tasas de falso rechazo y
39
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico falsa aceptacin correspondientes al vector . Los valores de influyen de forma directa en las tasas de falsa aceptacin y falso rechazo: Si i es pequeo, pocos intentos autnticos del usuario Xi sern rechazados, pero un nmero mayor de intentos por parte de impostores sern aceptados de forma errnea. Por el contrario, si aumentamos el valor de i, decrecern las falsas aceptaciones a costa de incrementar los falsos rechazos. Por tanto, el establecimiento de umbrales estar condicionado a unas especificaciones de un punto de trabajo que exprese el compromiso a adquirir entre ambos tipos de error, y que generalmente ser una de las tres opciones siguientes: Un valor especificado de falso rechazo, 0 Un valor especificado de falsa aceptacin, 0 El punto de error igual (equierror), o EER (Equal Error Rate), que es el punto en que las curvas de falsa aceptacin y falso rechazo en funcin del umbral se cruzan, y por tanto ==. Este punto permite caracterizar de forma directa el funcionamiento del sistema.
40
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico UMBRALES A PRIORI Y A POSTERIORI Existen dos procedimientos clsicos para establecer los umbrales, ya se realice este proceso a priori o a posteriori. a) Establecimiento de umbrales a priori: El vector se establece a partir de un conjunto de datos de estimacin de umbrales, que pueden ser bien los propios datos de entrenamiento del sistema, o bien un conjunto nuevo de datos no observados hasta el momento. Una vez establecidos los umbrales, las tasas de falso rechazo y falsa aceptacin, (prio) y (prio), se estiman a partir de un conjunto de prueba distinto del conjunto usado para la estimacin de umbrales. En este caso, los intentos de usuarios e impostores tienen que ser distintos entre las dos fases, y el conjunto de los pseudo-impostores usados para establecer el umbral de un usuario registrado no debera contener ninguno de los impostores que sern usados en el conjunto de prueba.
41
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico b) Establecimiento de umbrales a posteriori: Los umbrales se calculan a partir de los datos del conjunto de prueba. En este caso, las tasas de falso rechazo y falsa aceptacin, (post) y (post), deben ser interpretadas como los mejores resultados posibles del sistema, o lo que es lo mismo, el funcionamiento del sistema con umbrales ideales, lo que no conduce a valores muy objetivos a la hora de evaluar sistemas funcionando realmente.
42
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico CARACTERIZACIN GRFICA DE SISTEMAS DE VERIFICACIN A partir de los valores actuales de falsa aceptacin y falso rechazo no es posible predecir cul ser el comportamiento del sistema en otro punto de trabajo diferente. De esta forma, si se quiere estimar el rendimiento del sistema bajo otras condiciones, debemos modelar el comportamiento del sistema de forma independiente a cualquier imposicin inicial. Ante una entrada al sistema, tenemos dos casos posibles: s, la realizacin de entrada pertenece al usuario n, la realizacin no pertenece al usuario, que es la condicin opuesta Asimismo, el sistema puede tomar dos decisiones: S, la realizacin es aceptada como pertenenciente al usuario solicitado N, la realizacin es rechazada
43
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico Estas condiciones se combinan para formar las cuatro probabilidades condicionales siguientes: P(S|s).- probabilidad de aceptacin correcta P(S|n).- probabilidad de falsa aceptacin (FA) P(N|s).- probabilidad de falso rechazo (FR) P(N|n).- probabilidad de rechazo correcto En forma de tabla: Condicin de entrada Decisin S (aceptacin) N (rechazo) s (usuario) P(S|s) P(N|s) n (impostor) P(S|n) P(N|n)
44
y debe cumplirse: P(S|s) + P(N|s) = 1 y P(S|n) + P(N|n) = 1
45
Podemos estudiar el comportamiento del sistema representando las curvas de falso rechazo (error tipo I) y de falsa aceptacin (error tipo II) en funcin del umbral de verificacin, tal y como vemos en la siguiente figura:
30 Tasa de error (%)

15
(FA
EER
0 0 EER Umbral de verificacin
46
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico En el caso de umbrales independientes de usuario (nico umbral comn para todos los usuarios), las tasas de falso rechazo y falsa aceptacin se pueden escribir en funcin de un nico parmetro, =() y =(). Entonces, podemos resumir el comportamiento del sistema de una forma ms compacta expresando directamente como funcin de :
= f ( )
En la figura anterior, tenemos representados tres posibles umbrales de decisin: aumentar el nmero de falsos rechazos. falsos rechazos.
(a) Criterio de decisin estricto: tenemos muy pocas falsas aceptaciones, a costa de (b) Criterio de decisin relajado: permitimos falsas aceptaciones, pero hay muy pocos (c) EER (equal error rate): este es el punto generalmente buscado, donde igualamos a
posteriori los dos tipos de error (FA y FR).
47
Usando terminologa de Teora de la Comunicacin, denominamos a la funcin f curva ROC (Receiver Operating Characteristic, o curva caracterstica de funcionamiento del receptor). De forma genrica, la funcin f es montona decreciente y satisface las condiciones lmite f(0)=1 y f(1)=0, como podemos ver en la figura siguiente:
1 Curva ROC
EER
EER
EER
48
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico Como vemos, conociendo la funcin f completa, podemos evaluar de forma instantnea nuevos puntos de funcionamiento para el sistema. Adems, el valor de referencia dado por el EER se calcula rpidamente como interseccin de la curva ROC con la curva =. En la prctica, existen diferentes curvas ROC, en funcin del tipo de tasas de falso rechazo y falsa aceptacin usadas. As, tenemos: Curva ROC balanceada por sexos: MF = f ( MF Curva ROC promedio: = f ( ) Curva ROC del conjunto de prueba: = f ( )
Sin embargo, trabajar manteniendo las diferentes curvas ROC resulta confuso, y se prefiere proceder con datos ms concisos, como el EER, hablndose entonces de MF , y . Sin embargo, a la hora de caracterizar el sistema final, s es conveniente presentar los resultados en forma de curvas, ya que nos permitir evaluar el funcionamiento del sistema en diferentes puntos de trabajo.
49
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico COSTE DEL SISTEMA Otra forma de buscar el punto de trabajo ptimo es trabajar con el beneficio esperado del sistema. En este caso, debemos disponer a priori de valores estimados de las siguientes cantidades:
p, probabilidad de que la persona solicitante no sea un impostor BX0, el beneficio de una aceptacin correcta BY0, el beneficio de un rechazo correcto CX0, el coste de un falso rechazo CY0, el coste de una falsa aceptacin
Conocidos estos estimadores, el beneficio esperado B de un sistema de verificacin con falso rechazo y falsa aceptacin se calcula como:
B = p ((1 )B X C X ) + (1 p ) ((1 )BY CY
En particular, para p =1p =1/2 y BX=BY=CX=CY=K, el beneficio esperado de coste igual y

50
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico riesgo igual viene dado por:
B eq = K (1 ( + ))
Si, como ser ms habitual, lo que queremos es hacer mximo este beneficio buscando para ello los valores y ptimos, debemos hacer:
B p B X +C X B = = =0 1 p BY + CY
De forma grfica, y a partir de la curva ROC, el punto ptimo de funcionamiento se obtendr deslizando, desde el origen, una lnea recta de pendiente , hasta que la recta sea tangente a la curva ROC, indicando el punto de contacto el que ser el punto de funcionamiento y los correspondientes valores de y ptimos. En el caso de que nuestro sistema utilice umbrales dependientes de usuario, las tasas de falso rechazo y falsa aceptacin para cada usuario Xi dependen de un parmetro diferente i. Entonces, cada usuario dispondr de su propia curva ROC:
i = f i ( i
51
Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico En este caso, no hay ningn mtodo sencillo de obtener una curva ROC promedio que represente el funcionamiento general del sistema. Lo que se suele hacer entonces es caracterizar cada curva ROC individual mediante su equal error rate i, y resumir el comportamiento del sistema mediante el equal error rate promedio calculado como:
1 m
i =1
Tambin se puede definir un EER promedio balanceado por sexos:
1 m 1 1 1 m MF = ( M + F ) = i + i 2 2 mM i M mF i F
y el EER del conjunto de prueba como:
m
i =1
pi i
52

Evaluacion Biometricos v1

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Evaluacion Biometricos v1

Uploaded by

Copyright:

Available Formats

Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico

1) Sistemas biomtricos e identificacin personal. Generalidades

Escuela Politcnica Superior - EPS

Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico

Paradigma de la identificacin personal

Escuela Politcnica Superior - EPS

Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico

Problemtica de los mtodos"tradicionales"

Escuela Politcnica Superior - EPS

Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico

Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico

Propiedades (ideales) de los rasgos biomtricos

Mensurabilidad: El rasgo debe poder ser caracterizado cuantitativamente

Escuela Politcnica Superior - EPS

Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico

Caracterizacin de los sistemas biomtricos

Evitabilidad: capacidad de eludir el sistema mediante procedimientos fraudulentos

Escuela Politcnica Superior - EPS

Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico

Evitabilidad y fraude en sistemas clsicos

Encubrimiento: Se obtiene informacin del usuario legtimo de forma oculta

Escuela Politcnica Superior - EPS

Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico

2) Funcionamiento de los sistemas

Escuela Politcnica Superior - EPS

Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico

Escuela Politcnica Superior - EPS

Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico

Dentro de estos sistemas, debemos diferenciar dos posibles casos:

Identificacin en conjunto cerrado: en este caso, el resultado del proceso es una

Escuela Politcnica Superior - EPS

Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico

Escuela Politcnica Superior - EPS

Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico

La figura siguiente muestra de forma genrica la estructura tpica de un sistema de verificacin.

Rasgo biomtrico Entradas Solicitud individuo i

Resultado de Verificacin (Aceptado/rechazado)

Escuela Politcnica Superior - EPS

Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico

ALGUNAS CONSIDERACIONES ADICIONALES

Escuela Politcnica Superior - EPS

Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico

Caracterizacin de sistemas de reconocimiento

Escuela Politcnica Superior - EPS

Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico

Haciendo uso de la notacin:

Escuela Politcnica Superior - EPS

Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico

Escuela Politcnica Superior - EPS

Escuela Politcnica Superior - EPS

Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico

Caracterizacin de sistemas de identificacin

Escuela Politcnica Superior - EPS

Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico

podemos calcular el error de clasificacin balanceado por sexos como:

Escuela Politcnica Superior - EPS

Escuela Politcnica Superior - EPS

i son, respectivamente, el nmero y la proporcin de realizaciones donde por definicin ci y p

Escuela Politcnica Superior - EPS

Ampliacin de Seales Aleatorias / Reconocimiento Biomtrico

y calculando por separado:

podemos calcular la tasa de desconfianza balanceada por sexos como:

Podemos apreciar que: