UNESCO

Codificación preguntas abiertas Ciencias

ERCE 2019

Ciudad de Panamá, 03 - 05 de junio de 2019

Taller de Levantamiento de Datos, Procedimientos y

UNESCO Codificación de Preguntas Abiertas
Ciudad de Panamá, Panamá
 Contexto

• El propósito del Cuarto Estudio Regional Comparativo y

Explicativo (ERCE) es evaluar y comparar los logros de
estudiantes latinoamericanos de primaria en las áreas de
Lenguaje, Matemática, Ciencias Naturales y Escritura.
• ERCE está basado en el Tercer Estudio Regional Comparativo y
Explicativo (TERCE) y sus resultados en Lectura, Matemática y
Ciencias Naturales serán comparables con los de TERCE.
• UNESCO ha contratado a MIDE UC, como socio implementador,
para la tarea de construir los instrumentos de la aplicación
piloto y definitiva.

Taller de Levantamiento de Datos, Procedimientos y

UNESCO Codificación de Preguntas Abiertas
Ciudad de Panamá, Panamá
 Aplicación piloto

La aplicación piloto del ERCE se realizó entre los meses de mayo y

noviembre del 2018, en 17 países de los 18 países participantes.

Se aplicaron 4 instrumentos en la aplicación piloto:

-Prueba de Lectura, Tercer y Sexto grado.
-Prueba de Matemática, Tercer y Sexto grado.
-Prueba de Ciencias, Sexto grado.
-Prueba de Escritura, Tercer y Sexto grado.

Taller de Levantamiento de Datos, Procedimientos y

UNESCO Codificación de Preguntas Abiertas
Ciudad de Panamá, Panamá
 Selección de ítems para la aplicación definitiva

• Revisión cualitativa.
• Revisión de resultados TC e IRT (parámetros psicométricos
señalados en el plan de análisis y aprobados por el CTAN).
• Análisis interacción ítem – país.
• Verificación de requerimientos y disponibilidad según matriz.
• Ensamblaje de bloques y cuadernillos.
• Comparación con prueba TERCE.

Taller de Levantamiento de Datos, Procedimientos y

UNESCO Codificación de Preguntas Abiertas
Ciudad de Panamá, Panamá
 Cantidad y tipo de ítemes

• Al igual que en TERCE, los ítems son de dos tipos: selección

múltiple y producción de respuestas.

• El tipo de ítem se escogió en función de la naturaleza del

aprendizaje que se desea medir.

Taller de Levantamiento de Datos, Procedimientos y

UNESCO Codificación de Preguntas Abiertas
Ciudad de Panamá, Panamá
 Estructura de la prueba definitiva

• Para la prueba ERCE definitiva se ensamblaron siete formas de prueba

utilizando un sistema de bloques rotados.
• Cada forma tiene dos bloques y cada bloque aparece en dos formas*, una
vez al principio y otra vez al final. Por lo tanto, cada estudiante responde
dos bloques.
• En la siguiente tabla se muestra el número de ítems que finalmente
componen la prueba definitiva de Ciencias, a partir de las preguntas
disponibles luego de la selección de ítems:

*dos de los bloques se repiten dos veces.

Taller de Levantamiento de Datos, Procedimientos y

UNESCO Codificación de Preguntas Abiertas
Ciudad de Panamá, Panamá
 Tabla de especificaciones

Dominio Reconocimient Análisis y Producción, Total

o de aplicación del transferencia y
información conocimiento evaluación del
científica científico conocimiento
científico
Cuerpo humano y salud 8% 10% 9% 27%
Ciencia, tecnología y 3% 6% 4% 13%
sociedad
La Tierra y el Sistema 4% 9% 2% 16%
Solar
Energía y materia 4% 11% 3% 19%
Seres vivos, ecologia y 6% 14% 6% 26%
médio ambiente
Total 25% 50% 24% 100%

Taller de Levantamiento de Datos, Procedimientos y

UNESCO Codificación de Preguntas Abiertas
Ciudad de Panamá, Panamá
Pautas de corrección

o Base: pautas consensuadas en el Taller de Quito en

2018.
o Revisión cuantitativa de resultados.

o Revisión de evidencias de pilotaje.

Taller de Levantamiento de Datos, Procedimientos y

UNESCO Codificación de Preguntas Abiertas
Ciudad de Panamá, Panamá
 Pautas de codificación

Las pautas de codificación de los ítems fueron elaboradas

respondiendo a las particularidades de cada uno de ellos, sin
embargo existen elementos comunes que es importante
mencionar.

Taller de Levantamiento de Datos, Procedimientos y

UNESCO Codificación de Preguntas Abiertas
Ciudad de Panamá, Panamá
 Códigos que comienzan con 3

• Estos códigos se asocian al crédito completo, es

decir, a las respuestas que cumplen o
sobrepasan los criterios establecidos para
recibir el máximo puntaje.

• Pueden ser el 31, 32 o 33, según corresponda a

la cantidad de opciones para el crédito
completo.

Taller de Levantamiento de Datos, Procedimientos y

UNESCO Codificación de Preguntas Abiertas
Ciudad de Panamá, Panamá
 Códigos que comienzan con 2
• Estos códigos se asocian al crédito parcial, es decir, a las respuestas
que cumplen parcialmente con los criterios establecidos para
obtener el máximo puntaje.

• Pueden ser el 21, 22 o 23, según corresponda a la cantidad de

opciones para el crédito parcial.

• Existirán solo para algunas preguntas, estando tipificados

específicamente para cada una de ellas en el manual de corrección.

Taller de Levantamiento de Datos, Procedimientos y

UNESCO Codificación de Preguntas Abiertas
Ciudad de Panamá, Panamá
 Códigos que comienzan con 1

Estos códigos se asocian a “sin crédito”, es decir, se trata de

respuestas que no cumplen con los requisitos mínimos del crédito
parcial en caso de que exista o que dan cuenta de los casos
particulares que se indican para cada pregunta.

Pueden ser el 11, 12 o 13 según corresponda a la cantidad de

opciones definidas.

Taller de Levantamiento de Datos, Procedimientos y

UNESCO Codificación de Preguntas Abiertas
Ciudad de Panamá, Panamá
 Códigos 99, 98 y 97

Se usarán para aquellas respuestas que hayan sido omitidas por el

estudiante o tengan respuestas nulas o que tengan problemas de
impresión o que no apliquen a lo solicitado en la pregunta.

o99: Respuesta omitida por el estudiante.

o98: Respuesta con errores de impresión para el estudiante. Este código se

asignará a aquellas preguntas que tengan errores de impresión, compaginación o
similares, teniendo como consecuencia que el o la estudiante no se enfrenta al
ítem, o lo hace en condiciones evidentemente desventajosas, por ejemplo, el
estímulo es ilegible o le falta una parte.

o97: Nulo o No Aplica.

Taller de Levantamiento de Datos, Procedimientos y

UNESCO Codificación de Preguntas Abiertas
Ciudad de Panamá, Panamá
 Acuerdos sobre principios generales de codificación

 En caso de dudar sobre la evidencia que entrega una respuesta, esta debe
clasificarse según la interpretación que más favorezca al estudiante.
 Si un estudiante borra su respuesta, la tacha, la marca con una cruz, indica que no se
considere anotando frases como “no vale”, “esto no” u otras, entonces esa parte de
la respuesta no se debe considerar para propósitos de la codificación.
Independientemente de si favorece o perjudica al evaluado, al considerar solo el
resto de la respuesta entregada.
 Una respuesta que NO contenga contradicciones (es decir, en la que no se
respondan dos cosas distintas o se afirme estar de acuerdo con una afirmación en
una parte de la respuesta y estar en desacuerdo con ella en otra parte de la
respuesta) y que cumpla con la descripción de más de un código, debe clasificarse
en el primero de tales códigos que aparezca en la pauta. En el caso de que una
respuesta contenga contradicciones y cumpla con la descripción de más de un
código, debe clasificarse en el último de tales códigos que aparezca en la pauta.

Taller de Levantamiento de Datos, Procedimientos y

UNESCO Codificación de Preguntas Abiertas
Ciudad de Panamá, Panamá
Identificación de preguntas abiertas Ciencias 6º

Taller de Levantamiento de Datos, Procedimientos y

UNESCO Codificación de Preguntas Abiertas
Ciudad de Panamá, Panamá
 Gracias por su atención
Taller de Levantamiento de Datos, Procedimientos y
UNESCO Codificación de Preguntas Abiertas
Ciudad de Panamá, Panamá