Teoría y Construcción de Pruebas Psicológicas SIC 636

Escuela de Psicología

CLASE 9: ANÁLISIS DE ÍTEMS I

Análisis de Ítems
2

 Cuando se ha construido un instrumento psicológico de

medición, se lo debe someter a diversas evaluaciones antes de utilizarlo como instrumento de evaluación o en investigación.

Acciones previas al análisis de Ítems. Tal como expresado con anterioridad, se lleva a cabo en primer lugar una APLICACIÓN PILOTO O DE PRE-TEST del instrumento construido, con el objeto de verificar la comprensión de las instrucciones y de los reactivos específicos que se construyeron, para realizar las correcciones que se necesiten antes de proceder a la aplicación definitiva del instrumento. Como se dijo, consiste en una aplicación de la prueba en una muestra accidental del grupo meta u objetivo, en una relación cara a cara con los examinados, para incentivarlos a expresar las dificultades que les surgen con la prueba.

Análisis de Ítems
3

Acciones previas al análisis de Ítems.
 Luego se lleva a cabo la APLICACIÓN EXPERIMENTAL de la prueba,

en que se obtienen datos del instrumento a partir de la aplicación en una muestra que en cuanto tipo y tamaño reproduzca la población meta de medición, con el fin de usarlos en diferentes análisis estadísticos.
 La

aplicación del instrumento se realiza sobre una muestra representativa de la población a la que va dirigida la medición.
 Se puede trabajar tanto con una muestra aleatoria como una no

aleatoria, siempre que en este segundo caso se trabaje con muestras que permitan reproducir la estructura del colectivo.

 Se exige que el tamaño muestral permita inferencias con un error

máximo del 5% .

Determinar la calidad de los ítems o reactivos de una prueba. Se llevan a cabo dos tipos de análisis: Análisis global de los ítems Análisis individual de los ítems . con el fin de decidir cuáles van a formar parte de la prueba y cuáles deberán ser eliminados.Análisis de Ítems 4 Objetivo del Análisis de Ítems. Acciones en el Análisis de Ítems.

Esquema Resumen 5 Rango de los ptjes totales obtenidos Análisis Global Análisis de ítems Análisis Individual Forma de la distribución resultante Proporción de la respuesta en dirección a la variable Cálculo índice de consistencia interna .

Forma de la distribución resultante .Análisis Global de los Ítems 6 Implica el análisis de la distribución de los puntajes iniciales que arroja el test. Rango de los puntajes totales obtenidos 2. Se lleva a cabo en base a dos indicadores: 1. lo que adquiere mucha importancia en pruebas de comportamiento máximo.

Análisis Global de Ítems 7 RANGO DE LOS PUNTAJES TOTALES OBTENIDOS .

que nadie acepta totalmente. la interpretación de lo anterior es que la prueba contiene algunos ítems que nadie rechaza. Esto se aprecia muy claramente en pruebas actitudinales.   . y en otro extremo. En el caso de pruebas de comportamiento típico. en tanto si nadie alcanza el puntaje máximo teórico. Si el puntaje mínimo obtenido en el grupo no comienza en el puntaje mínimo teórico. si no se efectúa el recorrido total del rango de puntajes teórico. nos indica que hay algunos ítems que fueron muy fáciles.Análisis Global de los Ítems (2) 8 1. permite inferir si para el grupo experimental hubo ítems que resultaron ya sea muy difíciles o muy fáciles. para el grupo experimental algunos ítems resultaron muy difíciles. El rango de los puntajes totales obtenidos.

Análisis Global de Ítems 9 FORMA DE LA DISTRIBUCIÓN RESULTANTE .

que arroja información sobre el grado de dificultad global del instrumento. o sea. a los sujetos que rinden menos.Análisis Global de los Ítems (3) 10 2. Se intenta obtener este tipo de distribución cuando se elaboran pruebas para evaluar sujetos que presentan algún tipo de déficit. la distribución final de los puntajes será asimétrica negativa: la mayor parte de los puntajes serán altos y se discrimina en los puntajes bajos.   . Si en una prueba de comportamiento máximo la mayoría de los ítems de una prueba son fáciles. y que en pruebas de comportamiento típico posibilita efectuar estudios descriptivos en torno a la o las variables que se están midiendo. en pruebas de comportamiento máximo. El segundo indicador es la forma de la distribución resultante.

Análisis Global de Ítems (4) 11   Si la mayoría de los ítems de una prueba son difíciles. y poder definir el 50% central. En pruebas de inteligencia. y se discrimina a los sujetos que rinden más: da una distribución asimétrica positiva. pero si se discrimina a los de inteligencia inferior o muy superior. aunque también se obtienen distribuciones simétricas si sólo se usan ítems de mediana dificultad. los sujetos tendrán puntajes bajos en su mayoría. como en selección de personas. En este tipo de pruebas intervienen ítems que son 25% difíciles. Entre éstos no se diferencia. se busca la distribución simétrica. Sirven para rendimiento competitivo. normal.   . 50% de mediana dificultad y 25% fáciles. a los sujetos de inteligencia normal.

Mediana y Promedio 12 .Comparación de Moda.

CÁLCULO DE LA PROPORCIÓN DE LA RESPUESTA EN DIRECCIÓN DE LA VARIABLE .Análisis Individual de los Ítems 13 1.

opiniones. el cálculo de la proporción de respuesta en la dirección de la variable. 2. a través de dos indicadores: 1. se la denomina grado de atractivo o de popularidad de los ítems. 1. • La proporción de respuesta en la dirección de la variable se la denomina como grado de dificultad de cada ítem en pruebas de aprendizaje o capacidad.Análisis Individual de los Ítems 14 • Permite establecer la capacidad de discriminación de cada uno de los reactivos. En ítems que miden actitudes. características personales. . el cálculo de su índice de consistencia interna (o también denominado índice de homogeneidad o índice de validez interna).

Fórmula básica: a: cantidad de personas que responden correctamente (o aprueban) el ítem. Los cálculos pueden contener variaciones. a partir de la cantidad de personas que aprueban un ítem. y la cantidad de personas total que lo ha debido enfrentar. .Análisis Individual de los Ítems (2) 15 Se establece en ambos casos como una proporción o porcentaje (p). N: número de personas que abordaron o intentaron responder el ítem. dependiendo de los objetivos del constructor de la prueba.

porque no permite dividir al grupo en aquellos que poseen la característica medida (los que contestan bien) de aquellos que no la presentan.Análisis Individual de los Ítems (3) 16 • Se entiende fácilmente que el grado de dificultad de un ítem interviene en la discriminación del mismo: este grado de dificultad. En cambio los ítems ni muy fáciles ni muy difíciles son los que aportan a la discriminación del test. no permite discriminar entre los sujetos. que se expresa a través de la proporción o del porcentaje de sujetos que contestan correctamente al estímulo. que contesta correctamente el 100% del grupo experimental. Un ítem muy fácil. hace que sea posible diferenciar a los sujetos con relación al nivel de habilidad que presentan. porque dispersan a los sujetos. • • • . que nadie del grupo contesta correctamente (0% de respuesta). Lo mismo acontece con un ítem muy difícil.

Si lo responde bien entre 30 y 70% del grupo: ITEM DE MEDIANA DIFICULTAD.S.A.U. Se ha llegado al siguiente consenso* en torno al grado de dificultad de ítems de pruebas de rendimiento y capacidad general:     Si lo responde bien menos de 30% del grupo: ITEM DIFÍCIL. porque mientras mayor es la proporción de sujetos que contestan. más fácil es el ítem. y que anteriormente también se aplicó en la P.A. . Si más de un 70% del grupo lo responde bien: ITEM FÁCIL.Análisis Individual de los Ítems (4) 17  El concepto de proporción o porcentaje de sujetos que contestan correctamente un ítem está relacionado inversamente con la dificultad.  Este es el criterio que se aplica en la P.

en términos prácticos.   . No obstante.Análisis Individual de los Ítems (5) 18  En pruebas de comportamiento máximo. el que un ítem presente un grado de dificultad distinto del definido para el objetivo de la prueba es causal de su eliminación del test. se sabe que los ítems de las pruebas de comportamiento típico que responde más del 75% de las personas de la muestra experimental. dado que allí los ítems no se eliminan por el criterio de su grado de atractivo o de popularidad. corresponden a ítems que miden alguna característica que el grupo de sujetos considera como propia. (Se estaría cargando la prueba con características que el grupo objetivo de medición siente como obvias). por lo que se considera que no tiene mucho sentido mantenerlos en la prueba. Lo anterior no acontece en pruebas de comportamiento típico.

Análisis Individual de los Ítems (6) 19 Retomando el cálculo del grado de dificultad o del grado de atractivo de los ítems.  A partir de la fórmula básica. Ni = número de sujetos del grupo inferior. ai = número de sujetos que respondieron correctamente al ítem. Ns = número de sujetos del grupo superior. De esta forma tenemos:      Donde. . además de la cuantitativa. as = número de sujetos que respondieron correctamente al ítem en el grupo de puntaje superior. es posible hacer el análisis del grado de dificultad dividiendo al grupo experimental en la mediana de puntaje total alcanzado. Esta práctica se suele hacer cuando se desea obtener información cualitativa. en torno a la forma de responder un ítem. diferenciando así a un grupo de mejores puntajes y otro grupo de puntajes más bajos a partir del listado total de los puntajes obtenidos. en el grupo de puntaje inferior.

516 ó un 51.  Aplicando la fórmula aludida. eso me daría una proporción de respuesta correcta de 0.6%. . (b ) lo que indicaría un ítem que no diferencia entre los sujetos de mejor rendimiento y los de más bajo rendimiento. puedo saber si:    la proporción de personas del grupo de puntajes superior que respondió bien el ítem es mayor que la de los del grupo inferior que lo respondieron bien ( a ). y en un ítem 32 personas me lo responden bien. lo que sería lo esperable (o si la proporción es la misma). ( c ) lo que indicaría un ítem ambiguo (que desconcierta a los sujetos de altos puntajes). o si por último la proporción de las personas de bajo rendimiento global en la prueba son quienes responden bien el ítem en más alta proporción que los de altos puntajes.Ejemplo 20  Si tengo un grupo de 62 personas que han me contestado una prueba.

n. sino más. Fórmula “compleja”: p= ∑ Puntaje obtenido por los sujetos Puntaje máximo teórico (Ptje.2.. ítem x N) .1.. porque para determinar el grado de dificultad de un ítem de este tipo hay que obtener la proporción del puntaje efectivamente alcanzado por el grupo y el puntaje total teórico para el ítem. como 0. entonces el procedimiento cambia un poco..Análisis Individual de los Ítems (7) 21  En el caso que el puntaje a un ítem no sea 0 ó 1. máx.

no el constructor de la prueba. entonces el puntaje total teórico en el ítem son 150 puntos.  De todo lo anterior es posible deducir que la dificultad de un ítem la determina el grupo experimental.Análisis Individual de los Ítems (8) 22 Ejemplo:  Si 50 personas enfrentan un ítem y el máximo puntaje que se puede dar en el ítem son 3 puntos. y así se obtiene el grado de dificultad o de atractivo del ítem.  Habría que ver la suma de los puntajes obtenidos en el ítem por las personas que lo hayan abordado. . ya que éste sólo planifica la dificultad de acuerdo con el grado de discriminación deseado.

y lo que interesa es analizar el grado de dificultad de cada ítem para las diferentes edades. Se intenta incluir en esas pruebas justamente ítems que muestren diferencias con la edad: eso constituiría un ítem evolutivo.  Esto se ve preferentemente en pruebas psicológicas.Ítems transversales y longitudinales 23  Por otra parte. en caso que la variable o proceso sometido a evaluación evolucione con la edad. . a lo que se ha estado haciendo referencia hasta este momento es a lo que se conoce como Análisis de Ítems Transversal. que no toma en cuenta el factor edad en los resultados. en tanto el Análisis de Ítems Longitudinal intenta precisamente determinar si un ítem discrimina por edad.

Ítems transversales y longitudinales (2) 24  Se supone que un ítem transversal mantiene un mismo porcentaje de respuesta a lo largo de varios años. su progresión indicaría cambio en la variable. . que. porque si un ítem entregara el mismo porcentaje de resultados para cada edad no serviría para un estudio evolutivo. aunque muestren aumento y disminución en la proporción de respuesta. porque estaría aportando el mismo valor para cada edad. demostrando que no es capaz de diferenciar por edad.  En ítems evolutivos también pueden aparecer ítems oscilantes.  El análisis de ítems evolutivos se debe hacer siempre antes de realizar estudios descriptivos sobre variables que experimenten un desarrollo con la edad. pero en el fondo mantienen la misma proporción de respuesta por edad. Suelen aparecer con frecuencia ítems oscilantes.

se establece como la diferencia entre la proporción de personas de más alto puntaje final en una prueba que responden bien a un ítem.D. es el denominado Índice de Discriminación (I. . y que opera muy bien en pruebas que miden aprendizaje o rendimiento educacional: El I.D. y aquellas de más bajo puntaje final que lo hacen.Análisis Individual de los Ítems 25 El Índice de Discriminación    Uno de los indicadores para la capacidad de discriminación de los ítems.). Es fácil de calcular cuando no se han trabajado los datos a través de planillas de cálculo ni se van a procesar a través de programas de análisis estadístico.

obtenido constituye una aproximación a un coeficiente de correlación y fluctúa entre –1 y +1.D.      El valor de I. Se lo considera significativo a partir de valores +/. .20. Ns: número de sujetos del grupo superior.Análisis Individual de Ítems (b) 26 El Índice de Discriminación (2)   El cálculo se puede hacer dividiendo al grupo en la mediana de puntajes.0. La fórmula es: as: número de sujetos que respondieron correctamente al ítem en el grupo de puntaje superior. ai: ídem. Ni: ídem del grupo inferior. en el grupo de puntaje inferior.

estudiar el porcentaje de sujetos que contesta cada alternativa incorrecta. se exige que un 5% de sujetos elija un distractor para considerar que es eficiente. o sea. Cuando un ítem es aplicado a más de 100 sujetos. Se espera que ninguna tenga 0% de respuesta porque en ese caso el funcionaría con un número menor de alternativas que el previsto. El objetivo es ver si todas ellas funcionan. . se considera que un distractor funciona cuando lo responde al menos un 3% del grupo experimental. Si son menos de 100 sujetos.Análisis Individual de Ítems (c) 27 Análisis de las Alternativas • • • • Cuando se ve la discriminación de ítems en pruebas de más de dos alternativas. es necesario analizar las opciones incorrectas o distractores por separado: esto es lo que se denomina el análisis de las alternativas.

: ítem de 5 alternativas.Análisis Individual de Ítems (d) 28 Análisis de las Alternativas (2) • Ej. aplicado a 60 personas: Opciones: Frecuencia absoluta A 0 (B) 27 C 3 D 15 E 15 N/C 0 Frecuencia relativa Frecuencia ideal 0% 14% 45% 5% 14% 25% 14% 25% 14% 0% .

.  La alternativa C justo cumple con el criterio mínimo de elección. pero ya en el análisis experimental se ve que no es de 5 alternativas. en tanto las opciones D y E concitan bastante elección. La pregunta se redujo a 4 alternativas.  Hay que fijarse entonces cómo se distribuyen los porcentajes de respuesta en todas las alternativas incorrectas o distractores: esta distribución debería ser más o menos pareja en lo teórico: debería darnos una distribución rectangular.Análisis Individual de Ítems (e) 29 En el ejemplo anterior…  Se construyó como de 5 alternativas. porque la alternativa A nadie la contestó ya sea porque es muy obvia o muy difícil. por lo que deben contener suficientes elementos de verdad como para ser plausibles.

en general el ítem no se rechaza. sino que se cambia la alternativa. cuando se analiza una alternativa que nadie ha contestado. . Suele suceder que.Análisis Individual de Ítems (f) 30 Análisis de las Alternativas (3)    El criterio de cuándo el porcentaje conviene o no depende del que proporcione la alternativa correcta. y se hacen además estudios cualitativos de estas alternativas de baja elección. se llegue a la conclusión que es porque nadie la entendió. porque los distractores debieran concitar en forma pareja el resto del porcentaje que deja la alternativa correcta. Cuando aparecen situaciones como las del ejemplo.

Ejemplos de Análisis de alternativas 31 EJEMPLOS DE ÍTEMS DE SELECCIÓN MÚLTIPLE PROVENIENTES DE PRUEBAS DE CAPACIDAD EN CUANTO A LA ADECUACIÓN DE LAS DIFERENTES ALTERNATIVAS. (ENTRE PARÉNTESIS SE CONSIGNA LA OPCIÓN CORRECTA): .

Test A 6 9% (B) 15 24% C 19 30% D 8 13% E 12 19% N/C 3 5% -0.2477 32 Frecuencia ideal de distractores: 12 casos OPCIONES Frecuencia Absoluta Frecuencia Relativa Correlación Item .20 0.Ítem 1= 63 casos r crítico para gl =61.31 -0.33 -0.10 .51 -0.28 -0. 0.

30 -0.: 46 =0.Test (A) 16 33% 0.l.28 B 0 0% --C 1 2% D 12 25% E 16 33% N/C 3 7% -0.2842 33 Frecuencia ideal distractores: 8 casos Opciones Frecuencia absoluta Frecuencia relativa Correlación Item .44 -0.17 .08 0.ITEM 2 = 48 CASOS r crítico para g.

l.1937 34 Frecuencia ideal distractores: 14.52 -0.22 0.25 casos Opciones: A B (C) D E N/C Frecuencia absoluta Frecuencia relativa Correlación Item-Test 19 21 47 9 8 0 18% 20% 45% 9% 8% 0% -0.30 --- .25 -0.34 0. = 102 = 0.ITEM 3 = 104 CASOS r crítico para g.

10 .20 0.18 0.Test A 13 (B) 29 C 38 D 15 E 3 N/C 2 13% 29% 38% 15% 3% 2% -0.196 35 Frecuencia ideal distractores: 17.l.49 -0.75 casos Opciones Frecuencia absoluta Frecuencia relativa Correlación Item .31 -0.43 -0.ITEM 4 = 100 CASOS r crítico para g. = 98 = 0.