You are on page 1of 18

Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 1.

Prohibida su reproduccin
ANALISIS DISCRIMINANTE
En el anlisis discriminante se busca un
conjunto de variables que mejor identifique la
categora o grupo a la que pertenece un
individuo
1
.
Con esta finalidad, se construye un ndice Z
tomando como base una cierta combinacin
lineal de las variables predictoras.
Este ndice, o funcin discriminante, se utiliza
para asignar puntajes a los individuos: los
denominados puntajes discriminantes. Estos
puntajes permiten identificar la categora a la
que pertenece un individuo.

(X
1
, X
2
, X
3
, ... , X
m
)

_ _
Perfil Categora
1
Por tanto, debe existir en la situacin problemtica, un atributo
respecto al cual interesa clasificar a los individuos.
Funcin
discriminante
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 2.
Prohibida su reproduccin
Si hay exactamente dos categoras de inters, el
anlisis discriminante se denomina bigrupal. Si
hay ms de dos categoras, se denomina
multigrupal.
Ejemplo 1
Determinar las caractersticas que
diferencian a los clientes de un banco, en
buenos y malos usuarios de crditos.
Posibles variables predictoras:
Edad, grupo familiar, ingreso por ao,
patrimonio, propiedades, deuda actual,
antigedad en su actual trabajo (y/o anterior).
Muestra:
Dos grupos de clientes, uno formado por buenos
usuarios de crditos y el otro por malos
usuarios.
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 3.
Prohibida su reproduccin
Ejemplo 2
Determinar las principales caractersticas
que explican el comportamiento de
estudiantes universitarios de primer ao,
respecto a permanencia en su carrera.
Posibles variables predictoras:
Puntajes en las pruebas de admisin, notas de la
enseanza media, intensidad y variedad de sus
actividades extraprogramticas.
Muestra:
Dos grupos de estudiantes, uno formado por
estudiantes que terminan sus estudios y otro
formado por estudiantes que los abandonan en
los primeros aos.
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 4.
Prohibida su reproduccin
Ejemplo 3
Explicar diferencias entre sucursales cuyas
ventas son altas, medias o bajas. Predecir
ventas en una nueva sucursal.
Posibles variables predictoras:
Nivel medio de ingreso del sector, nmero de
sucursales de la competencia, nmero de
sucursales propias, densidad de la poblacin.
Muestra:
Tres grupos de sucursales que presentan ventas
altas, medias, y bajas, respectivamente.
Ejemplos 1 y 2 son posibles aplicaciones de
anlisis discriminante bigrupal, mientras que
Ejemplo 3 es una posible aplicacin del anlisis
discriminante multigrupal.
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 5.
Prohibida su reproduccin
Anlisis discriminante bigrupal
La funcin discriminante tiene la forma
siguiente:
Z = k
1
X
1
+ k
2
X
2
+ + k
m
X
m
(+cte)

Los pesos discriminantes se estiman:


i) maximizando las diferencias entre los
puntajes discriminantes de los individuos
que pertenecen a diferentes categoras y,
simultneamente,
ii) minimizando la diferencia entre los
puntajes discriminantes de los individuos
pertenecientes a una misma categora.
Pesos discriminantes
Puntaje
discriminante
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 6.
Prohibida su reproduccin
La efectividad que posee el ndice Z para
discriminar entre individuos de diferentes
grupos, depende de la capacidad que tienen los
descriptores, como un todo, de separar a los dos
grupos de individuos.
Por ejemplo, en la situacin siguiente ninguno
de los descriptores posee la capacidad de
distinguir entre individuos de los diferentes
grupos. Sin embargo, el nuevo eje trazado s
permite una diferenciacin total entre estos
individuos.
0 2 4 6 8 10 12
0
2
4
6
8
10
12
Las proyecciones
sobre esta recta
permiten distinguir
las categoras de
los individuos
X
1
X
2
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 7.
Prohibida su reproduccin
Observar que el diagrama de dispersin de la
muestra est conformado por dos agrupaciones
de puntos (con un posible traslape), cada una
conglomerada en torno a su propio centroide.
(Se denomina gran centroide al centroide que
determinan ambas nubes de puntos,
consideradas como un todo.)
Geomtricamente, las estimaciones de los pesos
discriminantes se buscan proyectando cada
punto del diagrama de dispersin sobre una
recta. Aquella recta que mejor separa y,
simultneamente, concentra las proyecciones de
los dos grupos de puntos, es la que se elige para
calcular los puntajes discriminantes.
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 8.
Prohibida su reproduccin
Estas estimaciones de los pesos discriminantes
se realizan utilizando una muestra de individuos
previamente clasificados.
Por tanto, en la matriz de datos, tambin debe
existir (adems de las columnas
correspondientes a las variables predictoras) una
columna que especifique la categora a la cual
pertenece cada individuo de la muestra.
Ya que hay exactamente dos categoras de
individuos, digamos A y B, esa columna puede
interpretarse como la correspondiente a una
variable binaria (a dummy variable). Esto, en el
caso del anlisis discriminante bigrupal.
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 9.
Prohibida su reproduccin
Ejemplo (Evaluacin de cereales)
Se desea determinar si la cantidad de protena y
de vitamina D contenida en cereales para el
desayuno, influye en la evaluacin que dan los
consumidores a estos productos.
Para ello, se ha pedido a 10 individuos clasificar
un respectivo cereal en dos categoras: cereales
que no gustan (A) y cereales que gustan (B).
Los resultados aparecen en la tabla siguiente, en
donde:
X
1
: gramos de protena en 2 onzas de cereal
X
2
: porcentaje de vit. D en 2 onzas de cereal
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 10.
Prohibida su reproduccin
Diez cereales evaluados por el consumidor
Prot. Vit. D
Cereal Grupo
X1 X2
1
A
2 4
2
A
3 2
3
A
4 5
4
A
5 4
5
A
6 7
Med.
4 4,4
D Est.
1,6 1,8
6
B
7 6
7
B
8 4
8
B
9 7
9
B
10 6
10
B
11 9
Med.
9 6,4
D Est.
1,6 1,8
G media
6,5 5,4
D Est.
3,03 2,01
Las mayores
diferencias observadas
entre medias, pueden
estar asociadas a
aquellas variables que
poseen un mayor poder
separador:
5 x x A 1 B 1
2 x x A 2 B 2
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 11.
Prohibida su reproduccin
Diagrama de dispersin
X
1
: gramos de protena en 2 onzas.
X
2
: porcentaje de vit. D en 2 onzas.
0 2 4 6 8 10 12
0
2
4
6
8
10
12
x
1
x
2
A (no gustan)
B (gustan)
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 12.
Prohibida su reproduccin
Puntajes Descriminantes
Z = 0,837 X
1
0,335 X
2
3,632
Cereal X
1
X
2
Z
1 2 4 -3.297
2 3 2 -1.791
3 4 5 -1.958
4 5 4 -0.787
5 6 7 -0.954
Media 4 4,4 -1.757
6 7 6 0.218
7 8 4 1.724
8 9 7 1.557
9 10 6 2.728
10 11 9 2.561
Media 9 6,4 1.757
Gran
media
6,5 5,4 0.000
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 13.
Prohibida su reproduccin
0 2 4 6 8 10 12
0
2
4
6
8
10
12
-3,297
-1,958
-1,791
-1,757 0,218
-0,954 1,557
-0,787 1,724
1,757
2,561
2,728
0.000
Eje discriminante
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 14.
Prohibida su reproduccin
Observaciones
1. La bsqueda de los pesos discriminantes se
realiza maximizando el siguiente cuociente:


2 2
2 2
1 1
( ) ( )
( ) ( )
A B
A B
A B
n n
A B
A B
n Z Z n Z Z
C
Z Z Z Z



_
n
A
= nmero de individuos de A en la muestra
n
B
= nmero de individuos de B en la muestra
Variabilidad atribuible a las
diferencias entre grupos (SCB)
Variabilidad conjunta dentro
de los grupos (SCW)
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 15.
Prohibida su reproduccin
2. Se puede demostrar que
SCT = SCW + SCB.
2 2 2
1 1 1
2 2
( ) ( ) ( )
( ) ( )
A B
n n n
A B
A B
A B
A B
Z Z Z Z Z Z
n Z Z n Z Z


2. El valor mximo de C se denomina valor
propio de la funcin discriminante.
3. El puntaje discriminante Z = k
1
X
1
+ k
2
X
2
es
proporcional a la distancia entre el origen y la
SCW SCT
SCB
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 16.
Prohibida su reproduccin
proyeccin del punto (X
1
, X
2
) sobre el eje
central que pasa por (k
1
, k
2
).

Por tanto:
determinar la funcin discriminante ptima es
equivalente a encontrar el eje que concentra las
proyecciones en torno a su respectivo centroide
(proyectado) y que, simultneamente, separa
estos centroides (proyectados) al mximo.
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 17.
Prohibida su reproduccin
4. La constante que se agrega en la
construccin del puntaje discriminante Z
permite asignar puntaje 0 al gran centroide.
Nota
La muestra de cereales podra discriminarse
utilizando slo la variable X
1
. Esto
corresponde a utilizar como eje discriminante
un eje paralelo a X
1
. La funcin discriminante
que se obtiene es Z = 0,632X
1
4,111.
Z = 0,837 X
1
0,335 X
2
3,632
Z = 0,632 X
1
4,111
C 3,860 3,125
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 18.
Prohibida su reproduccin
El criterio discriminante
Una vez construida la funcin discriminante,
formulamos un criterio que permita clasificar
individuos en base a sus puntajes
discriminantes.
Con este propsito, se define un puntaje crtico
que determina cuales valores de Z
corresponden a individuos del grupo A y
cuales a individuos del grupo B.
Z
A
= 1,757 Z
B
= 1,757

_

_
Puntaje
crtico
Puntajes de
individuos
clasificados en
el grupo A
Puntajes de
individuos
clasificados en
el grupo B
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 19.
Prohibida su reproduccin
Criterio del punto medio
Se elige como punto crtico el promedio de los
puntajes de los centroides.
El criterio del punto medio es eficiente siempre
que:
1) Sea igualmente probable que un nuevo
individuo pertenezca al grupo A o al
B.
2) El costo de clasificar errneamente a un
individuo de A sea igual al costo de
clasificar errneamente a un individuo
de B.
Si alguno de estos supuestos no se satisface, el
punto crtico debiera desplazarse en forma
conveniente.
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 20.
Prohibida su reproduccin
Una vez construido el modelo, podemos
aplicarlo a la muestra base (utilizada para su
construccin) con la finalidad de determinar el
valor predictivo del modelo. Usualmente, los
resultados se resumen en la llamada matriz de
clasificacin.
Clasificacin dada
por el modelo
A B
Grupo A 5 0
Grupo B 0 5
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 21.
Prohibida su reproduccin
Observacin
Si las probabilidades de pertenencia de un
individuo a los grupos no son iguales, el punto
crtico debe desplazarse en direccin al puntaje
discriminante del centroide del grupo de menor
probabilidad.
En particular, si las probabilidades de
pertenencia a cada grupo se extraen de los
tamaos de las submuestras, entonces el punto
crtico que se elige es
B A
B
A
A
B
crtico n n
Z n Z n
Z

Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 22.


Prohibida su reproduccin
Pruebas de significancia estadstica del
modelo
Para medir el poder separador de cada variable,
se utiliza el estadstico U (o lambda de Wilks)
de la variable X.


U =

n
1
2
n
1
n
1
2
B
2
A
) X (X
) X (X ) X (X
A B
B A

_
El estadstico U es igual al porcentaje de
variabilidad del descriptor X que no es
atribuible a la variabilidad entre grupos (el
porcentaje de error).
Variabilidad conjunta
dentro de los grupos
(SC
W
)
Variabilidad total (SC
T
)
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 23.
Prohibida su reproduccin
La interpretacin del estadstico U es que un
valor cercano a 0 indica alto poder de
discriminacin de la variable X, mientras que
un valor igual a 1 significa que la variable no
tiene poder de discriminacin entre los grupos.
Tambin es posible obtener, para cada variable
predictora X, un estadstico F procedente de
un ANOVA. La hiptesis nula asociada a este
estadstico es:
H
0
: (X
A
) = (X
B
)
En el ejemplo de los cereales:
U F P
X
1
0,242 25,00 0,001
X
2
0,725 3,03 0,120
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 24.
Prohibida su reproduccin
Una medida multivariada del poder separador
de la funcin discriminante se basa en el
estadstico U o lambda de Wilks
2
, esta vez
aplicado a los puntajes discriminantes.
U =

n
1
2
n
1
n
1
2
B
2
A
) Z (Z
) Z (Z ) Z (Z
A B
B A
Para determinar la significancia estadstica del
lambda de Wilks, se transforma U en un
estadstico que sigue una distribucin
aproximadamente
2
(con gl = 2). La hiptesis
nula de la prueba es:
H
0
: Los centroides poblacionales de los dos
grupos son iguales
3
2
Se puede demostrar que
1 C
1
U

3
Los centroides se localizan en un espacio cuya distancia toma
en cuenta las diferentes varianzas y correlaciones existentes
entre los descriptores (distancia de Mahalanobis).
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 25.
Prohibida su reproduccin
La proporcin p de individuos de la muestra
que han sido correctamente clasificados,
tambin puede considerarse como una medida
de la eficiencia de la funcin discriminante.
(En el ejemplo, p = 1)
Si comparamos esta proporcin p con el
porcentaje resultante de una clasificacin
aleatoria (bajo igual probabilidad de los
grupos), obtenemos una prueba de significacin
estadstica del modelo.
(El estadstico de prueba unilateral es:
p - 0,5
z = n
0,5
,
cuya distribucin es la normal estandarizada.)
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 26.
Prohibida su reproduccin
La importancia de las variables
Las diferencias entre las medias de los puntajes
de las variables son la primera indicacin de
cuales son aquellas variables que distinguen
entre los grupos.
La magnitud de los pesos discriminantes es otra
indicacin de la importancia de las variables en
separar a los grupos.
Para obtener una jerarquizacin de las variables
predictoras utilizando los pesos discriminantes,
estos pesos deben ser estandarizados. As se
toma en cuenta las diferencias que existen
debido a unidades de medida diferentes y a
varianzas de distinto orden.
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 27.
Prohibida su reproduccin
Un mtodo de estandarizacin (1) consiste en
multiplicar cada peso discriminante por la
correspondiente desviacin estndar de la
variable. De este modo, se obtiene una medida
del cambio en el puntaje discriminante cada vez
que la variable predictora cambia en una
desviacin estndar.
Otro mtodo de estandarizacin (2) consiste en
multiplicar cada peso discriminante por la
correspondiente desviacin estndar conjunta
dentro de los grupos
4
, denotada por s
x
(w)
.
s
x
(w)

(XX
A
)
2
(XX
B
)
2
1
n
B

1
n
A

n 2
Esta segunda estandarizacin es entregada por
SPSS.
4
El cuadrado de esta desviacin se denomina intravarianza.
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 28.
Prohibida su reproduccin
En el ejemplo de los cereales,
X
A
X
B Peso D.
(k)
Peso D.
est. (1)
Peso D.
est. (2)
X
1
5 0,837 2,536 1,323
X
2
2
0,335 0,673 0,608
k*s
X
k*s
x
(w)
s
X
s
x
(w)
X
1
3,03 1,581
X
2
2,01 1,817
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 29.
Prohibida su reproduccin
Aunque la variable X
1
encierra gran parte del
poder discriminador de la funcin, no parece
conveniente simplificar el modelo eliminando la
variable X
2
.
Primero, porque existe un cierto poder
discriminador en X
2
( = 0,725).
Segundo, porque dada la alta correlacin que
exhiben las dos variables predictoras (r
X1 X2
=
0,75), la variable X
2
acta como supresora de
cierta variabilidad de X
1
, lo que permite a esta
ltima variable aumentar su poder de
discriminacin.
El efecto supresor de X
2
sobre X
1
queda
evidenciado en el signo del peso discriminante
de X
2
.
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 30.
Prohibida su reproduccin
Observaciones finales
1. Dos supuestos fundamentan al anlisis
discriminante:
i) Igualdad de las matrices de covarianza
de los grupos
ii) Distribucin normal multivariada en los
grupos
2. Si los mismos datos utilizados en la
construccin de la funcin discriminante son
usados para examinar la potencia predictiva de
esta funcin, se produce un sesgo hacia arriba
en el porcentaje de individuos correctamente
clasificados.
Una manera simple de remover este sesgo es
partir la muestra en una muestra de anlisis y
en una muestra de reserva, usando esta ltima
para medir el porcentaje p de individuos
correctamente clasificados.
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 31.
Prohibida su reproduccin
Ms observaciones
1. La relacin entre los puntajes de los
centroides y del gran centroide es:
A B
A B
A B
n Z n Z
Z
n n

,
Esta relacin permite demostrar que:
C
n
A
n
B
n
A
n
B
(ZA ZB)
2
(Z
A
ZA)
2
(Z
B
ZB)
2
1
n
B

1
n
A

2. Note que si n
A
= n
B
, entonces
2
A B Z Z
Z

Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 32.


Prohibida su reproduccin
3. Otra medida combinada del poder
discriminador de la variable X es
I
x
k(X
A
X
B
) .
Con esta medida es posible calcular el ndice
R
x
, que permite medir la importancia relativa
que tiene cada variable en la discriminacin.
R
x

I
x
I
x

En el ejemplo,
I
x
R
x
X
1
4,185 0,862
X
2
0,670 0,138
4,855 1
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 33.
Prohibida su reproduccin
Discriminant
Analysis Case Processing Summary
Unweighted Cases N Percent
Valid 10 100.0
Excluded Missing or out-of-range
group codes
0 .0
At least one missing
discriminating variable
0 .0
Both missing or out-of-range
group codes and at least
one missing discriminating
variable
0 .0
Total 0 .0
Total 10 100.0
Tests of Equality of Group Means
Wilks' Lambda F df1 df2 Sig.
prot .242 25.000 1 8 .001
vitd .725 3.030 1 8 .120
Analysis 1
Summary of Canonical Discriminant Functions
Eigenvalues
Functio
n Eigenvalue % of Variance Cumulative %
Canonical
Correlation
1 3.860
a
100.0 100.0 .891
a. First 1 canonical discriminant functions were used in the analysis.
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 34.
Prohibida su reproduccin
Wilks' Lambda
Test of
Functio
n(s) Wilks' Lambda Chi-square df Sig.
1 .206 11.068 2 .004
Standardized
Canonical
Discriminant Function
Coefficients
Function
1
prot 1.323
vitd -.608
Structure Matrix
Function
1
prot .900
vitd .313
Pooled within-groups
correlations between
discriminating variables
and standardized
canonical discriminant
functions
Variables ordered by
absolute size of
correlation within
function.
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 35.
Prohibida su reproduccin
Canonical Discriminant
Function Coefficients
Function
1
prot .837
vitd -.335
(Constant) -3.632
Unstandardized coefficients
Functions at Group
Centroids
group
Function
1
no gusta -1.757
gusta 1.757
Unstandardized canonical
discriminant functions
evaluated at group means
Anlisis Discriminante, (2013) H. Hevia, M. E. Valenzuela pag 36.
Prohibida su reproduccin
Classification Statistics
Prior Probabilities for Groups
group Prior
Cases Used in Analysis
Unweighted Weighted
no gusta .500 5 5.000
gusta .500 5 5.000
Total 1.000 10 10.000
Classification Results
a
group
Predicted Group Membership
no gusta gusta Total
Original Count no gusta 5 0 5
gusta 0 5 5
% no gusta 100.0 .0 100.0
gusta .0 100.0 100.0
a. 100.0% of original grouped cases correctly classified.