Propuestas

para la elaboración de pruebas de certificación de nivel C1

en las Escuelas Oficiales de Idiomas de la Comunidad de Madrid

Comisión de Evaluación
Noviembre 2015

Mercedes CASTAÑO EOI S.S. de los Reyes Marie-Hélène LYX EOI Collado Villalba
María CRISTÓBAL EOI Pinto Fernando MARÍN EOI Jesús Maestro
Cristina ESPAÑA EOI Collado Villalba Carlos PÉREZ EOI Goya
Anja GEISLER EOI Aranjuez Raquel RODRÍGUEZ EOI Alcorcón
Eugenio GILLANI EOI Alcalá de Henares Asunción ROMEU EOI Boadilla
Iñaki GOITIA EOI Jesús Maestro Cristina SÁNCHEZ EOI Valdemoro
Denise GOMES EOI Torrejón de Ardoz Katja STROBEL EOI Collado Villalba
Índice

A. Necesidades organizativas para garantizar la calidad de las pruebas.

B. Tipología de pruebas de examen para el nivel C1.

C. Criterios de evaluación, calificación y certificación.

La Comisión de Evaluación quiere agradecer a la Subdirección General de Ordenación

Académica haber sido invitada a ofrecer una propuesta para la elaboración de la
prueba de certificación de Nivel C1, puesto que nuestra activa participación en la toma
de decisiones es imprescindible para la mejora de la calidad del sistema educativo en
general y de nuestras enseñanzas en particular.
A. Necesidades organizativas para garantizar la calidad de las pruebas.

Las Escuelas Oficiales de Idiomas de la Comunidad de Madrid —como institución

pública para la enseñanza de idiomas y la certificación de su grado de dominio—
sienten como un deber propio y una responsabilidad ineludible ofrecer a la sociedad
unos procedimientos de evaluación y unas pruebas de examen de alta calidad, así
como poder aportar evidencia de su validez y fiabilidad.
Las EOI-CM han sido ahora requeridas para administrar y evaluar pruebas de examen
que, en algunos casos, por el número previsible de candidatos y la relevancia de los
resultados —habilitación del profesorado, incidencia en su situación laboral, etc.—
entrañan una alta responsabilidad.
Por ello, es imprescindible que las EOI dispongan de los medios, la organización y los
mecanismos de control imprescindibles para desempeñar su trabajo con la calidad
debida. Al igual que sucede en todas las demás instituciones certificadoras, es
imprescindible que las EOI dispongan de los recursos necesarios para garantizar la
calidad de las pruebas y de sus procesos de evaluación.
La elaboración y administración de pruebas de evaluación que cumplan con los
estándares de calidad exigibles a cualquier institución certificadora requieren la
implantación urgente de los siguientes puntos:

1. Profesionalización de los equipos de redactores de pruebas.

El equipo seleccionado por la Consejería de Educación para la elaboración de las

pruebas del Nivel C1 debe estar formado por profesionales con amplia experiencia
reciente en la enseñanza de idiomas en las EOI-CM y en el campo específico de
evaluación de lenguas extranjeras y redacción de pruebas.
Además de proveer de formación específica a los equipos de redactores, la Consejería
de Educación debe permitirles una dedicación suficiente —liberación docente total o
parcial— y supervisar la calidad de las pruebas que elaboran, estableciendo para los
redactores criterios de permanencia en su cargo.

2. Equipos de supervisión y coordinación.

Una serie de personas, igualmente con formación específica y experiencia acreditada,

habrá de asumir las tareas de coordinación y supervisión de los equipos de redacción,
así como del control de calidad de las pruebas.
Asimismo, estos equipos se encargarán de llevar a cabo la recogida de datos de los
resultados de las pruebas y la redacción de los informes de calidad de las pruebas.

3. Control de calidad.

3.1. La Consejería de Educación ha de proporcionar un DOCUMENTO DE ESPECIFICA-

CIONES DE PRUEBAS y un DOCUMENTO DE ESPECIFICACIONES TÉCNICAS a los equipos
de redactores.
3.2. Las pruebas de examen propuestas por los redactores habrán de atenerse a lo pre-
visto en los mencionados documentos de especificaciones.
3.3. Será responsabilidad de los equipos de supervisión determinar la idoneidad de las
pruebas presentadas, así como su adecuación a las especificaciones y, en su caso,
proponer modificaciones.
3.4. Todas las pruebas deben ser pilotadas de modo fiable y en número estadística-
mente relevante. Los ítems o pruebas que, tras el análisis del pilotaje, no arrojen un
resultado satisfactorio habrán de ser modificados o rechazados.

4. Recogida sistemática de datos.

Para poder garantizar la validez y fiabilidad de las pruebas de certificación, es

necesaria la recogida y el análisis de datos, tanto previos como posteriores a la
administración de las pruebas, a través de diversos instrumentos de investigación
cuantitativa y cualitativa.
La recogida sistemática de datos de resultados de las pruebas y el análisis de los
indicadores de calidad de sus ítems (dificultad, discriminación, correlación, etc.) son
el elemento clave, definitivo e indispensable para el proceso de control de calidad de
las pruebas. Estos datos habrán de permitir aportar evidencia sobre el grado real de
calidad de las pruebas —más allá de las meras percepciones— y habrán de ser la
base sobre la que los equipos de supervisión y coordinación redactarán sus informes
y propondrán las correcciones y modificaciones necesarias para la mejora del
proceso de evaluación.

5. Formación de los evaluadores.

5.1. La Consejería de Educación debe proveer de formación específica al profesorado

para garantizar la correcta interpretación de la definición de competencia
lingüística y la familiarización con los criterios y descriptores de competencia del
Nivel C1. Consideramos que una jornada de estandarización, desarrollada en
medio del curso escolar, es insuficiente para que el profesorado lleve a cabo un
proceso evaluativo de calidad.
5.2. Con el propósito de garantizar el mayor grado de objetividad posible en la
evaluación de las pruebas de expresión escrita y oral, la Consejería de Educación
debe organizar con una periodicidad suficiente sesiones de estandarización que
permitan el adiestramiento en el uso homogéneo de las tablas de evaluación.
B. Tipología de pruebas para el nivel C1.

En lugar de establecer un formato cerrado de pruebas, creemos preferible que se

elabore un repertorio de tipos de prueba idóneos para el nivel C1. Esto permite
experimentar con diversos formatos o variantes de un formato determinado y
contrastar los resultados obtenidos, además de evitar la repetición de los mismos
ejercicios en cada modelo.
En cuanto a la tipología de los textos para las pruebas de nivel C, remitimos al
detallado inventario recogido en al Plan Curricular del Instituto Cervantes, basado en
el Marco Común Europeo de Referencia:
cvc.cervantes.es/Ensenanza/biblioteca_ele/plan_curricular/niveles/07_generos_discursivos_inventario_c1-c2.htm

1. Tipología de pruebas de comprensión.

Orientaciones generales.
En general, en las pruebas de comprensión de nivel C1 el enfoque de las preguntas no
debería limitarse a datos o hechos concretos, sino incluir la comprensión del sentido
implícito, alusiones e inferencias, y la identificación del registro, tono y actitud, etc.
Asimismo, junto a preguntas de comprensión literal, sería conveniente incluir ítems
que evalúen otros conocimientos de uso de la lengua que son distintivos de este nivel:
registro, expresiones idiomáticas y giros coloquiales de uso frecuente, formación de
palabras, sinonimia, colocación y cualquier otro aspecto léxico o morfosintáctico
específico que sea relevante para la comprensión.
La experiencia muestra que las pruebas de comprensión resultan fiables y equilibradas
si se combinan diferentes tipos de tareas en las que a cada ítem se le otorga la misma
puntuación.
Proponemos que haya 3 tareas para cada destreza de comprensión lectora y auditiva,
una de las cuales al menos debería ser de respuesta abierta.

1.1. Comprensión de lectura.

En las pruebas de comprensión lectora, proponemos la opción de elaborar —como
hacen otras instituciones— varias tareas diferentes basadas en un solo texto, para evitar
un exceso de textos.
La duración de las pruebas de comprensión lectora del nivel C1 no debe ser superior a
la duración actual de las pruebas del nivel B2.

 Elección múltiple.
Preguntas con no menos de 3 opciones orientadas hacia la comprensión global, de
detalle, de partes complejas o de aspectos no factuales del texto.
Ejemplo: Elegir entre varios resúmenes o títulos para cada apartado.
 Preguntas abiertas.
Preguntas sobre un texto en las que el candidato debe identificar actitud, hilo
argumental, tono, registro, inferencias, alusiones, etc.
 Texto con huecos.
Completar un texto introduciendo en sus huecos palabras, sintagmas, frases o
incluso párrafos completos. En el caso de huecos de palabras, una variante
apropiada a este nivel serían los huecos abiertos, sin banco de palabras. En este
caso, las palabras próximas a cada hueco deben ser claves a la hora de restringir las
opciones posibles: expresiones fijas, colocaciones, lógica del texto o restricciones
sintácticas.
 Reformulación de frases.
Este tipo de prueba está enfocado hacia el uso de estructuras morfosintácticas de
significado similar, expresiones coloquiales equivalentes, sinónimos, etc.
Ejemplo: Solicitar que el candidato resuma o explique una parte del texto con sus propias
palabras.
 Emparejamiento.
Emparejar textos cortos o párrafos de un texto con resúmenes, títulos o preguntas,
pidiendo al candidato que justifique brevemente su decisión o indique en qué
línea del texto ha encontrado la respuesta.
Ejemplo: Emparejar las preguntas que un usuario / ciudadano se plantea sobre sus derechos /
obligaciones / condiciones con las respuestas que se encuentran en textos adminis-
trativos / reglamentarios divididos en apartados (como las FAQ en una página web).
Emparejar palabras o expresiones con definiciones extraídas del diccionario o similares.

1.2. Comprensión oral.

Las tareas estarán basadas en textos con formato audio o vídeo que se escucharán una
o dos veces, dependiendo del tipo de tarea.
La duración de las pruebas de comprensión oral del nivel C1 no debe ser superior a la
duración actual de las pruebas del nivel B2.

 Elección múltiple.
Preguntas con no menos de 3 opciones dirigidas a datos concretos, posibles
resúmenes / títulos, significados de elementos claves, actitud / intención del locu-
tor, etc.
 Preguntas abiertas.
Preguntas enfocadas tanto a la comprensión global como específica o de detalle,
así como a aspectos no factuales.
 Texto con huecos.
Completar con la información escuchada un texto con huecos. Las frases en las que
aparecen los huecos no deben ser transcripción literal de la grabación.
 Emparejamiento.
Emparejar textos escritos breves o párrafos con la información escuchada:
Ejemplo: Emparejar las respuestas de una entrevista escuchada con preguntas escritas.
Emparejar diferentes hablantes con afirmaciones y opiniones.
Emparejar títulos con afirmaciones que recojan la intención del locutor.

2. Tipología de pruebas de expresión.

Orientaciones generales.
Las pruebas de expresión de nivel C1 han de evaluar en el candidato un dominio
operativo eficaz de la lengua, y por tanto deberían acercarse lo más posible a las tareas
de comunicación que se dan con más frecuencia en la vida real. En este sentido, en las
actividades comunicativas de la vida real se produce un alto grado de integración de
distintas destrezas, y creemos que esto se debe reflejar específicamente en las pruebas
de expresión.
Conviene apuntar que las demás instituciones certificadoras de nivel C ya recogen esta
realidad en sus exámenes, algunas de cuyas tareas incluyen destrezas integradas.
La duración de las pruebas de expresión escrita del nivel C1 no debe ser superior a la
duración actual de las pruebas del nivel B2.
Proponemos que se mantengan las 2 tareas para cada destreza de expresión escrita y
oral: por un lado, monólogo / argumentación / exposición, y por otro, interacción /
negociación, incorporando las modificaciones que exponemos a continuación:

2.1. Expresión escrita.

En las tareas de expresión escrita, proponemos que se presente al candidato un input o
estímulo propio de otra destreza (texto escrito, gráficos, texto audio o vídeo…) que
sirva de base para la producción de la tarea.
Asimismo, en coherencia con la mayor capacidad de iniciativa y personalización del
discurso, que son propias del nivel, proponemos que en las instrucciones de la tarea se
reduzcan las sugerencias o indicaciones de puntos a tratar, de modo que la producción
no esté tan dirigida y sea el propio candidato quien decida qué aspectos son a su juicio
relevantes.

2.2. Expresión oral.

En las tareas de expresión oral, proponemos que se presente al candidato un input o
estímulo propio de otra destreza (texto escrito, gráficos, texto audio o vídeo…) que
sirva de base para la producción de la tarea.

Igualmente, proponemos que en las instrucciones de la tarea se reduzcan las

sugerencias o indicaciones de puntos a tratar, de modo que la producción no esté tan
dirigida y sea el propio candidato quien decida qué aspectos son a su juicio relevantes.
En cuanto a la tarea monológica, sugerimos que ésta incluya como cierre una breve
interacción con el examinador a propósito del tema o aspecto tratado en el monólogo.
Para garantizar la debida administración de esta tarea, la guía del profesor debe
contener sugerencias específicas para que el examinador aborde dicha conversación.

3. Integración de destrezas.
Las pruebas de certificado de nivel C deben seguir el modelo de los niveles existentes
en la actualidad y mantener su número y denominación: Comprensión de Lectura,
Comprensión Auditiva, Expresión Escrita y Expresión Oral.

Sin embargo, para el nivel C resulta recomendable que exista un cierto grado de
integración de destrezas en las pruebas, por los motivos siguientes:

— Un examen que pretenda alcanzar un alto grado de validez debe incluir tareas que
se acerquen lo más posible a las tareas de comunicación que se dan con más
frecuencia en la vida real. En este sentido, la comunicación real se basa en un gran
porcentaje en integración de distintas destrezas.

— Los niveles C son de "dominio" de la lengua. Ello implica que el candidato debe de-
mostrar que tiene las competencias necesarias para realizar tareas de comunicación
diversas, incluyendo tareas en las que deba integrar destrezas.

El criterio para incluir una tarea de integración en una parte u otra del examen será el
de "destreza principal". Es decir, dependerá de cuál es la destreza que se debe utilizar
de forma preponderante, o que resulta más necesaria para la realización de la tarea.

Ejemplos: Escuchar una grabación y responder a preguntas abiertas, o resumir brevemente alguna
parte del texto escuchado.
[Intervienen las destrezas de comprensión auditiva y de escritura, pero la primera
predomina y es crítica para la realización de la tarea, por lo que se incluye en la prueba de
comprensión auditiva.]

Leer uno o dos textos breves y resumirlos / contrastarlos, añadiendo una opinión personal.
[Se activan las destrezas de lectura y de escritura, pero aquí es la segunda la
predominante.]
C. Criterios de evaluación, calificación y certificación.

Es imprescindible abrir una reflexión de carácter global sobre los criterios de

evaluación, calificación y certificación de las pruebas de certificado de las EOI de la
Comunidad de Madrid. Si bien este documento trata sobre el nivel C, creemos
fundamental que se tome como punto de partida para la necesaria revisión de los
criterios y las tablas de evaluación de las pruebas de expresión escrita y oral de todos
nuestros certificados. Lamentablemente, tal reflexión, de vital importancia, no puede
plantearse en las condiciones actuales, dada la premura con la que se quiere implantar
el nivel C.
En todo caso, esta necesaria revisión de las tablas de evaluación, debe tender a
conseguir dos objetivos:
1. Claridad de los descriptores, que garantice su buena interpretación y aplicación.
2. Simplicidad en el uso, de tal forma que la calificación se obtenga fácilmente.
Para ello, consideramos necesario y urgente replantear y, en su caso, modificar:
— La ponderación de cada bloque de criterios,
— La pertinencia de ciertos descriptores y
— El solapamiento existente entre algunos descriptores.

Es obvio, por otra parte, que existe una discordancia entre nuestros criterios de
calificación y certificación y los que existen en otras instituciones que certifican los
niveles del Marco Común Europeo de Referencia. En instituciones de reconocido
prestigio se aplican criterios mucho menos restrictivos que en las EOI-CM: permiten,
por ejemplo, hacer media entre destrezas, exigen un 50% de la nota máxima para
aprobar, mantienen la nota de una destreza aprobada en convocatoria ordinaria para
convocatoria extraordinaria, etc.
En nuestras Escuelas, por el contrario, para poder certificar, el candidato debe superar
todas y cada una de las destrezas de manera independiente con un mínimo del 60% de
la nota máxima, y hacerlo en la misma convocatoria, sin posibilidad de hacer media ni
de conservar la calificación de las pruebas superadas para otra convocatoria. Estos
criterios de certificación mucho más restrictivos dificultan en gran medida que
nuestros alumnos consigan la certificación.
Aunque consideramos necesaria una revisión de la tipología de las tareas de com-
prensión y de las tablas de evaluación de las tareas de expresión, somos conscientes de
que no disponemos ni del tiempo ni de los medios para poder llevar a cabo esta
revisión en plazo para la primera convocatoria prevista de exámenes de nivel C1 para
alumnos libres. Por ello, esta Comisión de Evaluación propone que, de modo
provisional, la citada convocatoria de nivel C1 se realice de arreglo a los siguientes
puntos:

1. Que los exámenes de certificado consten de cuatro pruebas: comprensión de lectura,

comprensión auditiva, expresión escrita y expresión oral.
2. Que las cuatro pruebas del examen tengan el mismo valor (25 puntos cada una).
3. Que se mantenga la exigencia de un mínimo del 60% para superar cada prueba (15
puntos sobre 25).
4. Que se permita hacer media entre las calificaciones de cada una de las cuatro
pruebas cuando el candidato sólo tenga una prueba suspensa y su calificación no
sea inferior al 50% de la nota máxima. Esto es, que un candidato pueda certificar si
obtiene 13 ó 14 puntos en sólo una destreza, siempre que el total de puntos sea como
mínimo 60 sobre 100.