PSICOMETRIA

TEMA 3.1 EVALUACIN DE LA CALIDAD MTRICA : FIABILIDAD

1. Criterios de calidad mtrica de los instrumentos de medida
Criterios de calidad global del test: fiabilidad y validez
Criterios de calidad individual de los tems: anlisis de elementos
2. Coeficiente de Fiabilidad
Criterio de calidad relacionado con la precisin de las medidas obtenidas en un
test, cuanto mayor sea sta menos error se comete
Cociente entre la varianza de las puntuaciones verdaderas y la de las empricas:
proporcin de varianza emprica que corresponde a la varianza verdadera (ver
demostracin en Muiz, 1996)
pXX = 2V / 2X
2X = 2V+ 2e
pXX = 1 - 2e / 2X
Ejercicio prctico 1
Cul es el coeficiente de fiabilidad de un test de razonamiento abstracto,
sabiendo que la varianza verdadera de dicho test es el 80 % de su varianza
emprica?

3. Procedimientos para el clculo emprico del coeficiente de fiabilidad

Formas paralelas
Correlacin de las
puntuaciones
obtenidas en una
muestra para dos
formas paralelas de
un test
Tiene el
inconveniente de
que hay que
construir dos tests
paralelos lo cual es difcil y costoso en tiempo y recursos
El coeficiente obtenido por este mtodo se denomina de equivalencia

Frmula

Donde:
XA = puntuaciones del test
paralelo A
XB =

puntuaciones del test paralelo B

Interpretacin del coeficiente de fiabilidad

En el caso de que no hubiese errores, la correlacin entre las puntuaciones

empricas obtenidas en ambas formas sera perfecta, igual a 1, y la medicin
totalmente fiable.
A medida que la correlacin se aleja de 1 mayores son los errores de medida
Test-retest
Correlacin de las puntuaciones obtenidas en dos ocasiones por los mismos
sujetos en el mismo test
Es ms econmico que el anterior
El principal inconveniente es determinar el tiempo ptimo que debe
transcurrir entre ambas ocasiones para evitar el recuerdo y el cambio de los
sujetos en el rasgo evaluado.
El coeficiente obtenido por este mtodo se denomina de estabilidad
Frmula
X1 = puntuaciones obtenidas en la
primera ocasin
X2 = puntuaciones obtenidas en
la segunda ocasiN

Dos
mitades
Se puede calcular aplicando el test una sola vez
Generalmente se eligen los tems pares frente a los impares.
Si las dos mitades son equivalentes se utiliza el procedimiento de
spearman-Brown mientras que si son tau-equivalentes o esencialmente
tau-equivalentes se utilizan los procedimientos de Rulon o GuttmanFalnagan
Cuando el nmero de tems es pequeo e impar no es aconsejable utilizar
este mtodo
El coeficiente obtenido por estos mtodos se denomina de consistencia
interna
Spearman-Brown
Correlacin de las dos mitades del test corregida mediante una frmula basada
en la relacin existente entre la longitud del test y su fiabilidad
pXX = coeficiente de fiabilidad corregido

p12 =

correlacin entre las dos mitades del test

Ejercicio prctico 2

Hemos aplicado un
test de aptitud numrica compuesto de 20 tems a una
muestra de 6 sujetos. Los resultados que se muestran a continuacin
corresponden a las puntuaciones que dichos sujetos obtuvieron en los tems
pares (x1) e impares (x2). Calcular el coeficiente de fiabilidad suponiendo que las
dos mitades del test son paralelas

Rulon (1939)

xx' 1 d2
2

Ejercicio prctico 3

Donde:

2d: varianza de la diferencia entre las puntuaciones de los

sujetos en la mitad par y la impar
2x: varianza de las puntuaciones globales del test

Hemos aplicado un test de fluidez verbal compuesto de 6 tems a 6 sujetos. A

continuacin se presentan las puntuaciones empricas obtenidas en el test total,
as como las obtenidas en los elementos pares e impares. Calcular el coeficiente
de fiabilidad del test mediante la frmula de Rulon

Guttman-Flanagan (1937, 1945)

Donde:

s2p: varianza de los tems pares

s2i: varianza de los tems impares
s2x: varianza de las puntuaciones globales del
test

Las frmulas de Rulon y Guttman-Flanagan son equivalentes, aplicadas a los

mismos datos dan el mismo resultado.
Son un caso particular de a, que sera el valor medio que se obtendra al
calcular estos coeficientes para todas las posibles mitades de un test.
Ejercicio prctico 4
Con los datos del ejercicio anterior, calcular el coeficiente de fiabilidad utilizando
la frmula de Guttman-Flanagan.

Coeficiente Alfa
Fue propuesto por Cronbach en 1951 y es el ms utilizado
Se puede calcular aplicando el test una sola vez
Es un ndice de consistencia interna del test, entendida como
intercorrelacin entre los tems, y siempre es menor o igual que el
calculado mediante formas paralelas.
Cuanto mayor es la covarianza entre los tems mayor es este ndice.
Frmula

 2j
n = n de tems
x2
= varianza de cada uno de los items
= varianza de las puntuaciones totales

del test

Ejercicio prctico 5
Hemos aplicado un test de percepcin visual a una muestra de 6 sujetos. En la
tabla se presentan las puntuaciones que los sujetos obtuvieron en cada uno de
los 5 tems del test. cul ser el valor del coeficiente de fiabilidad calculado
mediante el mtodo a de Cronbach?

Kuder y Richardson (1937): KR20:

n
KR 20
1
n 1

p q
j1

X2

Es un caso particular de a cuando los tems son dicotmicos.

Donde:
pj: proporcin de respuestas correctas al tem j
qj: proporcin de respuestas incorrectas al tem j
Kuder y Richardson (1937): KR21
Es un caso particular de a cuando los tems son dicotmicos y tienen la misma
dificultad

KR 21

n
n pq
1 2
n 1
X

p
Donde:
q
: media de las proporciones de respuestas correctas de todos los tems
: media de las proporciones de respuestas incorrectas de todos los tems
Ejercicio prctico 6
En la siguiente matriz de datos se
encuentran los resultados de un test
de fluidez verbal que slo admite
dos posibles puntuaciones
(1=correcto y 0=incorrecto). Calcula
el valor de la fiabilidad y comprueba
que en caso de aplicar KR21 con
tems cuya dificultad no es la misma
se obtendra un valor inferior al de
KR20

Otros coeficientes de fiabilidad

Theta (q):
Omega (V):
Beta (b) de Raju:
Ejercicios prcticos 7
Resuelve los ejercicios n: 1, 2, 3 y 4 que encontrars en la pgina 249 del libro
Psicometra: Unidad didctica de Barbero y cols.

4. Factores que influyen en el coeficiente de fiabilidad

Longitud del test
Variabilidad de la muestra
Longitud del test
Cuanto mayor sea el nmero de tems mayor precisin mtrica (ms aspectos
del rasgo se pueden evaluar)
La frmula de Spearman-Brown permite pronosticar el coeficiente de fiabilidad
al variar la longitud del test (al aadir tems similares o paralelos)

Al principio, a medida que aumentamos el n de tems la fiabilidad crece

muy rpido pero luego se desacelera llegando a ser asinttica.

Cuando n= , pXX = 1

Aumentar la longitud de un test para incrementar su fiabilidad slo es

adecuado cuando el test original tiene pocos tems, de lo contrario la baja fiabilidad
se deber a que los tems no son apropiados.
Incremento del coeficiente de fiabilidad
al aumentar la longitud del test
Frmula para estimar el cociente de fiabilidad en funcin de la longitud del
test

xx '

n = n
de veces que se aumenta el test
(n de tems finales partido por
n de tems iniciales)
= coeficiente de fiabilidad
previo a la variacin

XX'

= coeficiente de fiabilidad
posterior a la variacin

(1 - xx ' )
xx ' (1 - XX' )
XX'

Despejando n puede estimarse el n de tems necesarios para

obtener una fiabilidad determinada

Ejercicio prctico 8
Supongamos que se aplica un test de percepcin visual compuesto por 50 tems
a una muestra de sujetos y se obtiene un coeficiente de fiabilidad de 0,6.
Comprobar como a medida que aumentamos el nmero de tems se incrementa
el coeficiente de fiabilidad, aunque cada vez en menor medida. Represntalo en
una grfica (pgina 209 del libro Psicometra: Unidad didctica de Barbero y
cols.)

Ejercicio prctico 9
Supongamos que con los datos del ejemplo anterior queremos aumentar la
fiabilidad del test hasta obtener un valor de 0.93. Cuntos tems deberamos
aadir al test? (pgina 210 del libro Psicometra: Unidad didctica de Barbero y
cols.)

Ejercicio prctico 10
Supongamos un test compuesto por 100 tems y un coeficiente de fiabilidad de
0.85. Estamos interesados en reducir la longitud del test sin disminuir demasiado
la fiabilidad. Cuntos elementos podramos eliminar del test original si
consideramos que un coeficiente de fiabilidad de 0.75 sera aceptable? (pgina
210 del libro Psicometra: Unidad didctica de Barbero y cols.)

Variabilidad de la muestra
El coeficiente de fiabilidad no es ms que una correlacin lineal y como tal una
de sus propiedades es que aumenta con la variabilidad de la muestra (Amn,
1984)
Por tanto el coeficiente de fiabilidad de un test depender de la muestra con la
que se calcule y debemos ser prudentes a la hora de generalizar a otros grupos.
Frmula para estimar el coeficiente de fiabilidad en funcin de la variabilidad de
la muestra


x1

x1x'1

x2

x2x'2

: desviacin tpica y coeficiente de fiabilidad de la muestra de mayor

variabilidad

: desviacin tpica y coeficiente de fiabilidad de la muestra de menor

variabilidad
Ejercicio prctico 11
Se ha aplicado un test a una muestra obtenindose una desviacin tpica de las
puntuaciones empricas igual a 20. La razn entre la desviacin tpica de los
errores y la de las puntuaciones empricas es 0.4. Si aplicramos el test a otra
muestra con desviacin tpica igual a 10 cul sera el valor del coeficiente de
fiabilidad del test? (pgina 211-212 del libro Psicometra: Unidad didctica de
Barbero y cols.)

Ejercicio prctico 12
Resuelve el ejercicio n: 6 que encontrars en la pgina 249 del libro
Psicometra: Unidad didctica de Barbero y cols.

Preguntas conceptuales
Responde a las preguntas conceptuales que encontrars en la pgina 250 del
libro Psicometra: Unidad didctica de Barbero y cols.

5. La fiabilidad en los tests referidos al criterio (TRC)

Definicin de TRC (Popham, 1978): se utiliza para evaluar el status absoluto
del sujeto con respecto a algn dominio de conocimientos, habilidades,
destrezas, etc. bien definido.
Aparecen para cubrir necesidades como: conocer la eficacia de los programas
educativos y evaluar el nivel de habilidades bsicas alcanzadas por los sujetos.
6. Diferencias entre test referidos al criterio (TRC) y referidos a la norma
(TRN)
TRC: Evaluacin sujetos
La puntuacin obtenida en el test representa una estimacin del rendimiento del
sujeto en el dominio
Tiene significado en trminos absolutos
TRN: Evaluacin sujetos
La puntuacin obtenida en el test se considera un indicador de su puntuacin
verdadera en un rasgo latente
Slo tiene significado en relacin a los resultados del grupo normativo
TRC: Finalidad
Test referido al dominio: describir con precisin los conocimientos y
habilidades de los sujetos en un dominio de contenido (puntuacin dominio)
Test de maestra: establecer puntos de corte para clasificar a los sujetos en
una de las posibles categoras excluyentes entre s (ej.: apto-no apto,
trastorno-no trastorno)
TRN: Finalidad
Situar al sujeto en el continuo de algn rasgo, haciendo hincapi en la
diferencias individuales y expresando su posicin relativa respecto al grupo
normativo
TRC: Construccin

Los tems se delimitan claramente al dominio de contenidos o conductas

La seleccin de los tems depender de los objetivos del test:
Test referido al dominio
Test de maestra
TRN: Construccin
Los tems suelen derivarse de alguna teora de rasgos

 El objetivo es maximizar las diferencias individuales por lo que se eligen tems

con alto ndice de discriminacin
7. Fiabilidad de los test de maestra
El objetivo ms frecuente de los TRC y el que ha dado lugar a ms
procedimientos para evaluar la fiabilidad es el de la clasificacin de sujetos
Desde este enfoque un test sera fiable si al aplicarlo a los mismos sujetos en dos
ocasiones o dos formas paralelas, estos son clasificados en la misma categora.
Mtodos para el clculo de la fiabilidad
Requieren dos aplicaciones del mismo test o dos formas paralelas:
Coeficiente pc de Hambleton y Novick
Coeficiente Kappa de Cohen
ndice de Croker y Algina
Requieren una slo aplicacin del test:
Mtodo de Huynh
Mtodo de Subkoviak
Coeficiente de Livingston
Coeficiente pc de Hambleton y Novick
Se basa en la proporcin de sujetos clasificados consistentemente en las
dos ocasiones
El valor mximo de pc es 1 y se obtiene cuando todos los sujetos son
clasificados de forma consistente
El valor mnimo de pc es igual a la proporcin de clasificaciones
consistentes que podemos esperar por azar (pa)

p p nN nN
n

i 1

11

22

... nmm
N
Frmula

Donde:
pi= proporcin de sujetos clasificados consistentemente
N= nmero total de sujetos
n11, n22,...nmm= nmero de sujetos en cada casilla en las que la clasificacin es
consistente
Ejercicio prctico 13
En la siguiente tabla se presenta la puntuacin total obtenida por 20 sujetos en
dos tests paralelos compuestos por 12 tems. Sabiendo que un sujeto debe
responder correctamente a 7 tems para ser clasificado dentro del grupo de
maestra calcula el ndice de fiabilidad utilizando el mtodo de Hambleton y

Novick. (pgina 280-282 del libro Psicometra: Unidad didctica de Barbero y

cols.)

Ejercicio prctico 14
Resuelve el ejercicio nmero 1 de la pgina 293 del libro Psicometra: Unidad
didctica de Barbero y cols.

Coeficiente Kappa de Cohen

Proporciona una medida de la consistencia de clasificacin de la que se ha
eliminado el posible valor esperado por azar.

 Su valor oscila entre 1 (fiabilidad perfecta y 0 (la consistencia observada

sera atribuible al azar)
k

p p
1 p
c

Frmula

Donde:
Pc= proporcin de clasificaciones consistentes
Pa= proporcin de clasificaciones consistentes esperadas por azar

j 1

N N
N
j

Donde:

Pa= proporcin de sujetos clasificados consistentemente por azar

Nj= frecuencias marginales
Ejercicio prctico 15
Calcula el coeficiente kappa para los datos de los dos ejemplos anteriores.
(pgina 282-284 del libro Psicometra: Unidad didctica de Barbero y cols.)

Resuelve el ejercicio nmero 3 de la pgina 293 del libro Psicometra: Unidad

didctica de Barbero y cols.

Ejercicio prctico 16
Contesta a las preguntas conceptuales de las pginas 250-251 y 294-295 del
libro Psicometra: Unidad didctica de Barbero y cols.)

Ejercicio prctico 17
Resuelve los ejercicios 1 y 2 de la pgina 41 del libro Psicometra de Muiz.