Professional Documents
Culture Documents
Tema 5
Tema 5
Psicometría
Ideas clave 4
5.1. ¿Cómo estudiar este tema? 4
5.2. Fiabilidad y error 4
5.3. Fiabilidad como correlación entre formas
paralelas 7
5.4. Fiabilidad como estabilidad temporal 8
5.5. Fiabilidad como consistencia interna 10
5.6. Fiabilidad como acuerdo entre jueces 19
© Universidad Internacional de La Rioja (UNIR)
Lo + recomendado 22
+ Información 25
Test 27
© Universidad Internacional de La Rioja (UNIR)
ERROR
(E)
Términos relevantes
Conducta Constructo
observable (V)
(X) Fiabilidad
Tipos de test
Fiabilidad como correlación entre formas paralelas: Fiabilidad como estabilidad temporal:
- Procedimiento: construir dos formas paralelas y - Procedimiento: aplicar una prueba dos veces a la misma
aplicarlas a la muestra. muestra.
- Interpretación: proporción de varianza de X - Interpretación: estabilidad de las puntuaciones a lo
explicada por V. largo del tiempo.
- Problema: generar formas paralelas. - Problemas: efecto de aprendizaje, de congruencia y
cambio de actitud.
Consistencia interna:
- Procedimiento: aplicar una prueba a una muestra y Acuerdo entre jueces:
dividirla en partes. - Procedimiento: dos o más observadores ven la conducta
- Interpretación: consistencia entre las diferentes de una persona.
partes. - Interpretación: grado de acuerdo entre evaluadores.
- Problemas: división de la prueba, ítems solo - Problemas: cambio de criterio de los jueces y su
homogéneos, test no de velocidad. entrenamiento.
- Métodos: dos mitades y covarianza.
Psicometría
Tema 5. Esquema
Esquema
3
Ideas clave
Para estudiar este tema, deberás leer con atención las ideas clave que se desarrollan a
continuación.
E
n este tema se estudian los principales procedimientos para calcular la
fiabilidad de una prueba psicométrica. Primero, se repasarán qué relación
se da entre el error y la fiabilidad de una prueba y las principales fuentes de
error. Después, se aborda cómo se calcula la fiabilidad en el caso de considerar dos
pruebas paralelas para su cálculo. Seguiremos con cómo estimar la fiabilidad en el
caso de aplicar una prueba dos veces a una misma muestra tras un periodo de tiempo
(estabilidad temporal de la prueba). También veremos cómo calcular lo consistentes
que son los evaluados al responder a las diferentes partes que configuran una prueba.
Y finalmente, cómo poder calcular la fiabilidad de en un diseño observacional con el
procedimiento de acuerdo entre jueces.
C
uando medimos la longitud de una mesa con una cinta métrica siempre
obtendremos la misma longitud si repetimos la medición numerosas veces.
Igualmente, cuando pesamos un objeto en una báscula obtendremos
© Universidad Internacional de La Rioja (UNIR)
siempre el mismo peso, siempre que la báscula esté bien graduada. Por lo tanto,
podemos decir que en estos casos la medida de la longitud y peso son invariantes.
Sin embargo, en psicología, al tratar de medir un rasgo por medio de un instrumento
psicométrico no siempre se obtiene la misma puntuación en el test.
Psicometría
4
Tema 5. Ideas clave
La medida en cada aplicación presentará cierta variabilidad que atribuiremos a
diversos factores y denominaremos error de medida: las instrucciones, el momento
de aplicación, la muestra de evaluados, la situación de evaluación…
Como se puede ver en la figura 1, la conducta observada (X) se predice por el rasgo
psicológico o constructo teórico (V) y el error de medida (E).
Lo que predice V sería la fiabilidad de la prueba, de tal modo que a mayor fiabilidad,
menor sería el error de medida. Desde este punto de vista, la medida de X sería la
variable dependiente y los predictores serían el error y el constructo.
ERROR
(E)
Conducta
Constructo
observable
(V)
(X)
Fiabilidad
Psicometría
5
Tema 5. Ideas clave
Consistencia interna: se refiere hasta qué punto las diferentes partes de un test
miden el mismo rasgo. La replicabilidad se daría si con diferentes partes de una
prueba se obtienen los mismos resultados.
Acuerdo entre jueces: es el grado de acuerdo de dos o más observadores (jueces)
al analizar el comportamiento de una persona o grupo. La replicabilidad tendría
lugar cuando lo observado por un juez coincide con lo del otro.
Por otro lado, se puede hablar de diferentes fuentes de error que hacen disminuir la
fiabilidad de una prueba a la hora de tratar de estimar un rasgo (Abad et al., 2011):
Factores transitorios: son aquellos factores que cambian entre dos aplicaciones
de una prueba a una misma muestra (edad, motivación, personalidad,
maduración, temperatura, instrucciones…). Estos factores disminuirán la fiabilidad
de la prueba. Una manera de solucionar este tipo de errores es aplicar la prueba
una vez. Hay que distinguir, además, entre dos tipos de periodos:
• Breves: cuando dejamos pasar poco tiempo entre las dos aplicaciones de la
prueba. Se puede dar un efecto de aprendizaje, lo que incrementaría la
fiabilidad de la prueba artificialmente. Afectaría principalmente a los test de
rendimiento óptimo.
• Largos: si se deja pasar mucho tiempo entre las dos aplicaciones, se puede dar
un cambio en la actitud o maduración de los examinados y la fiabilidad bajaría
más de lo debido. Afecta sobre todo a los test de rendimiento típico.
Factores específicos: se refiere a cambios debidos al contenido concreto de un
ítem. Un ítem que era adecuado hace cincuenta años, actualmente puede no
serlo, ya que su contenido está desactualizado. La manera de controlar este error
es estudiando cómo varía el rendimiento en la prueba de una persona a lo largo
de las diferentes partes del test. Este error no se detecta si la prueba se aplica dos
© Universidad Internacional de La Rioja (UNIR)
veces.
Factores aleatorios: se deben a variaciones en la atención de los evaluados,
distracciones puntuales… No es necesario controlar este tipo de errores ya que
suceden aleatoriamente y el azar los controla.
Psicometría
6
Tema 5. Ideas clave
5.3. Fiabilidad como correlación entre formas
paralelas
S
i disponemos de dos formas paralelas con diferentes ítems, pero que miden
un mismo rasgo, podemos calcular la fiabilidad de la prueba correlacionando
ambas fórmulas. Recuérdese que dos formas son paralelas cuando poseen la
misma puntuación verdadera y la misma varianza error. En el caso de no poseer dos
formas paralelas, se pueden emplear medidas equivalentes.
Procedimiento
Construir dos formas paralelas (𝑋 y 𝑋’) o equivalentes que midan un mismo rasgo.
Aplicar las dos formas a una misma muestra.
Correlacionar las puntuaciones de las dos formas entre sí: 𝜌𝑥𝑥’.
Interpretación
La correlación entre esas dos formas paralelas o equivalentes sería una estimación
del coeficiente de fiabilidad de la prueba y se interpretaría como la proporción de
varianza de la puntuación verdadera (𝑉) que explica la puntuación observada (𝑋). Por
ejemplo: si 𝜌𝑥𝑥’ = 0,85, esto implicaría que V explica un 85 % la puntuación 𝑋.
Psicometría
7
Tema 5. Ideas clave
Dificultad
U
n modo de calcular la fiabilidad de la prueba consiste en aplicar la misma
prueba dos veces consecutivas a los mismos evaluados dejando pasar un
periodo de tiempo entre ambas aplicaciones.
Procedimiento
Interpretación
Psicometría
8
Tema 5. Ideas clave
Problemas
Los problemas que presenta este procedimiento son los siguientes (Abad et al.,
2011):
Efecto de aprendizaje: como hemos explicado antes, si el periodo entre las dos
aplicaciones es muy breve, puede pasar que los participantes conozcan los ítems
y se sobreestime la fiabilidad, ya que hay una mayor correlación de la que debería
entre las dos aplicaciones. Sucede principalmente en los test de rendimiento
óptimo.
Efecto de congruencia: cuando los participantes intentan por todos los medios
responder lo mismo en las dos aplicaciones.
Cambio de actitud: si el periodo es muy largo entre las aplicaciones, se pueden
dar cambios en la actitud o maduración de los evaluados y la correlación entre las
dos aplicaciones baje y por lo tanto se infraestima la fiabilidad. Sucede
principalmente en los test de rendimiento típico.
Para saber cuál es el periodo de tiempo adecuado entre cada prueba con el
procedimiento test-retest conviene consultar el manual de aplicación para seguir sus
recomendaciones.
Psicometría
9
Tema 5. Ideas clave
5.5. Fiabilidad como consistencia interna
E
n aquellos casos que solo es posible aplicar una prueba en una ocasión a
una muestra, se puede calcular la fiabilidad mediante el procedimiento
denominado de consistencia interna. En este procedimiento lo que se hace
es dividir la prueba en varias partes y correlacionarlas entre sí.
Procedimiento
Para estimar la fiabilidad con este procedimiento sería el siguiente:
Interpretación
Limitaciones
No se puede aplicar en test heterogéneos, es decir, con ítems muy diferentes entre
sí.
No es adecuado en test de velocidad, ya que al haber muchos ítems no
contestados se sobreestimaría la fiabilidad de la prueba.
Psicometría
10
Tema 5. Ideas clave
Métodos
Los métodos empleados para calcular la consistencia interna de una prueba han sido
los siguientes:
Ítems pares-impares configuran las dos partes. Se necesita que los ítems sean muy
homogéneos.
Según la dificultad de los ítems, en el caso de test de rendimiento óptimo.
Formar aleatoriamente las dos partes de la prueba, es necesario que los ítems
sean muy homogéneos.
Según el contenido de los ítems, como sucede en los test de rendimiento típico
Si las dos partes de la prueba son paralelas, este índice es una buena estimación de
la proporción de varianza que V explicaría de la puntuación del test (X). Si no, sería
© Universidad Internacional de La Rioja (UNIR)
El método empleado para calcular la fiabilidad cuando las formas son paralelas es la
fórmula General de Spearman-Brown en el caso particular de que la longitud sea 𝑛 =
2.
Psicometría
11
Tema 5. Ideas clave
2𝜌2𝑥𝑥’ 2𝜌2𝑥𝑥’
𝜌2𝑥𝑥’ = =
[1 + (2 − 1)𝜌2𝑥𝑥’ ] [1 + 𝜌2𝑥𝑥’ ]
Donde:
𝜌𝑥𝑥’ es la correlación de las dos partes de la prueba.
Ejemplo 1.
Ítem Ítem Ítem Ítem Ítem Ítem Ítem Ítem Parte Parte
S u jeto
1 2 3 4 5 6 7 7 par impar
1 3 4 3 3 3 4 4 4 13 15
2 3 1 2 3 2 4 1 1 8 9
3 3 2 4 3 4 1 4 4 15 10
4 2 3 1 1 3 1 2 1 8 6
5 1 4 2 1 3 2 4 3 10 10
6 2 5 3 2 4 2 4 4 13 13
7 2 2 4 2 3 4 2 2 11 10
8 1 2 3 1 3 1 3 1 10 5
9 1 2 2 2 3 2 5 2 11 8
10 4 3 1 1 2 3 4 3 11 10
Psicometría
12
Tema 5. Ideas clave
Cálculo con R Commander
2𝜌2𝑥𝑥’ 2 × 0,613
𝜌2𝑥𝑥’ = = = 0,76
[1 + 𝜌𝑥𝑥’ ] [1 + 0,613]
Psicometría
13
Tema 5. Ideas clave
Figura 3. Cálculo de la fiabilidad con Spearmen-Brown. Paso 2.
Fuente: http://cran.r-project.org
Método de covarianza
© Universidad Internacional de La Rioja (UNIR)
Psicometría
14
Tema 5. Ideas clave
La covarianza entre ítems permite ver la concordancia o consistencia entre las
puntuaciones de las diferentes personas a los ítems que forman el test, es decir, el
grado en el que las medidas de las personas dependen de los ítems.
𝐽 ∑𝑛𝐽=1 𝜎𝐽2
𝛼= (1 − )
𝐽−1 𝜎𝑥2
Donde:
𝐽 es el número de ítems de la prueba.
𝜎𝐽2 es la varianza de cada ítem de la prueba.
𝜎𝑋2 es la varianza de toda la prueba.
Los factores de los que depende el valor del alfa de Cronbach son los siguientes (Abad
et al., 2011):
Psicometría
15
Tema 5. Ideas clave
Del número de ítems que tenga la prueba: a mayor número de ítems, mayor alfa.
Los principales problemas o limitaciones del alfa de Cronbach se pueden resumir del
siguiente modo (Abad et al., 2011):
Ejemplo 2
Psicometría
16
Tema 5. Ideas clave
Figura 5. Cálculo de la consistencia interna con alfa de Cronbach. Paso 1.
Fuente: http://cran.r-project.org
Psicometría
17
Tema 5. Ideas clave
Cálculo con R commander
Para calcular la consistencia interna procedemos del modo que se indica en las figuras
5, 6 y 7.
Además, aparece la correlación de cada ítem con el total de la prueba: r(ítem, total).
Ese valor es el índice de discriminación interna de cada ítem con respecto al total dela
prueba. Como ya vimos aquellos ítems con valores inferiores a 0,20 deberían ser
eliminados de la prueba ya que lograrían mejorar la fiabilidad de esta prueba.
Psicometría
18
Tema 5. Ideas clave
Ejemplo 3
Para calcular la varianza de la prueba (X), se asume que la prueba está formada por
los ítems agregados linealmente, por lo que se puede calcular del siguiente modo:
E
n un diseño observacional en el que se ve el comportamiento de una
persona o grupo de ellas, para poder estimar la fiabilidad es necesario que
dos o más jueces observen el comportamiento de los participantes y
posteriormente se calcule el grado de acuerdo entre las medidas tomadas por estos.
Psicometría
19
Tema 5. Ideas clave
Procedimiento
Interpretación
Problemas
Los problemas que se pueden dar con este cálculo de fiabilidad serían:
Que los jueces cambien de criterio a la hora de evaluar, lo que produciría una
disminución en la fiabilidad.
Es necesario entrenar a los jueces para que la fiabilidad sea alta.
© Universidad Internacional de La Rioja (UNIR)
Psicometría
20
Tema 5. Ideas clave
Abad, F. J., Olea, J., Ponsoda, V. y García, C. (2011). Medición en ciencias sociales y de
la salud. Madrid: Síntesis.
Psicometría
21
Tema 5. Ideas clave
Lo + recomendado
Lecciones magistrales
En esta lección magistral se describen las relaciones entre fiabilidad y error de medida
y los diferentes índices de fiabilidad para medidas paralelas o equivalentes; test-
retest; consistencia interna y fiabilidad «interjueces». Así como las principales
ventajas y desventajas de cada uno de estos índices.
Psicometría
22
Tema 5. Lo + recomendado
No dejes de leer
Accede al artículo a través del aula virtual o desde la siguiente dirección web:
https://dialnet.unirioja.es/servlet/articulo?codigo=668325
© Universidad Internacional de La Rioja (UNIR)
Psicometría
23
Tema 5. Lo + recomendado
No dejes de ver
Consistencia interna
En este vídeo se podrá ver una presentación que explica cómo calcular el índice de
fiabilidad de un test por medio del procedimiento de dos mitades.
Accede al vídeo a través del aula virtual o desde la siguiente dirección web:
https://www.youtube.com/watch?v=ZCMNmX90STU&list=PLi8-
5ukIiM6KIS8qHnIxqxi9lRV-n4WRc
© Universidad Internacional de La Rioja (UNIR)
Psicometría
24
Tema 5. Lo + recomendado
+ Información
A fondo
Accede al artículo a través del aula virtual o desde la siguiente dirección web:
https://revistas.ucr.ac.cr/index.php/actualidades/article/viewFile/29/5
Webgrafía
Proclapar
Accede a la página web a través del aula virtual o desde la siguiente dirección web:
http://psicometriayestadistica.blogspot.com.es/p/escalamiento.html
Psicometría
25
Tema 5. + Información
Bibliografía
Abad, F. J., Olea, J., Ponsoda, V. y García, C. (2011). Modelo clásico y fiabilidad;
Fiabilidad interjueces y medición del cambio. En Medición en ciencias sociales y de la
salud (pp. 92-106, 315-317). Madrid: Síntesis.
Psicometría
26
Tema 5. + Información
Test
1. En la aplicación de un test, la varianza de los errores representa un 70 % de la
varianza de las puntuaciones observadas o empíricas. Esto implicará que la
fiabilidad del test será:
A. 0,30.
B. 0,70.
C. 0,49.
Psicometría
27
Tema 5. Test
5. El coeficiente alfa de Cronbach es un índice:
A. Obtenido a partir de las correlaciones entre ítems.
B. Que es necesario que esté basado en ítems paralelos.
C. Obtenido aplicando la prueba una vez y dividiéndola en dos partes
7. Entre las diferentes fuentes de error que pueden hacer bajar la fiabilidad de una
prueba están los que afectan a las aplicaciones por cambios de los participantes.
Estos serían los:
A. Específicos.
B. Transitorios.
C. Aleatorios.
8. El efecto de congruencia:
A. Se minimiza cuando pasa poco tiempo entre las dos aplicaciones de una
prueba.
B. Afecta en el cálculo de la fiabilidad con el procedimiento de partes paralelas.
C. Afecta en el caso de tomar dos medidas de un mismo test.
Psicometría
28
Tema 5. Test
10. Si la fiabilidad obtenida con la fórmula general de Spearman-Brown, tiene un valor
de 0,95 podemos afirmar que:
A. El alfa de Cronbach sería 0,98.
B. Empleando ítems equivalentes la fiabilidad sería mayor.
C. La consistencia interna dará un valor de 0,99.
© Universidad Internacional de La Rioja (UNIR)
Psicometría
29
Tema 5. Test