Metodologa Ceneval

Metodologa Ceneval

Directorio

Direccin General
Rafael S. Vidal Uribe

Direccin General Adjunta de los EXANI

Luca Monroy Cazorla
Direccin General Adjunta de los EGEL
Jorge Hernndez Uralde

Direccin General Adjunta de Programas Especiales

Roco Llarena de Thierry
Direccin General Adjunta de Operacin
Francisco Javier Apreza Garca Mndez
Direccin General Adjunta de Difusin
Javier Daz de la Serna Braojos

Direccin General Adjunta de Administracin

Francisco Javier Anaya Torres
Direccin Tcnica y de Investigacin
Csar A. Chvez lvarez

Direccin de Procesos pticos y Calificacin

Mara del Socorro Martnez de Luna

Direccin de Tecnologas de la Informacin y las Comunicaciones

Francisco Manuel Otero Flores
Direccin de Relaciones Institucionales
Mara Elena Barrera Bustillos

Redaccin
Erika Gonzlez Corzo, Patricia Martnez Cuevas
Revisin tcnica
Csar Chvez lvarez

Revisin editorial
Direccin General Adjunta de Difusin

Diseo grfico
Mnica Corts Genis | lvaro Reynoso Castaeda

Metodologa Ceneval

D.R. 2013, Centro Nacional de Evaluacin para la Educacin Superior, A.C. (Ceneval)
Av. Camino al Desierto de los Leones 19, Col. San ngel, Deleg. lvaro Obregn, C.P. 01000, Mxico, D.F.
www.ceneval.edu.mx
Se prohbe la reproduccin total o parcial de esta obra incluido el diseo tipogrfico y de portada,
sea cual fuere el medio, electrnico o mecnico, sin el consentimiento por escrito del editor.
Julio de 2013

Impreso en Mxico | Printed in Mexico

Contenido
Presentacin

Marco institucional

Principios institucionales

Exmenes del Ceneval

Cuerpos colegiados

12

Programas permanentes de control de calidad

13

Metodologa Ceneval

17

Procesos y fases de la Metodologa Ceneval

18

Descripcin de los procesos

18

El Ceneval y la cultura de la evaluacin

27

Bibliografa

29

| Presentacin
La evaluacin educativa es una herramienta fundamental para encaminar polticas pblicas por la va
de la mejora de la educacin. Da con da, las pruebas de logro acadmico a gran escala acrecientan su
importancia al identificar las fortalezas y debilidades de los sistemas educativos, de los programas de
estudio y de los aprendizajes logrados por los estudiantes.
El Ceneval ha desempeado desde su creacin un papel relevante en nuestro pas, en virtud de que
ha generado informacin til para que las instituciones educativas, pblicas y privadas, de los niveles
medio superior y superior apliquen estrategias de mejora en el cumplimiento de sus funciones.
El Ceneval disea y administra exmenes de alta calidad al servicio de las instituciones educativas.
Se ha ganado el reconocimiento de la sociedad por ser un organismo con bases tcnicas slidas, fundamentadas en la psicometra y en la investigacin educativa.
El Centro es lder en la construccin de pruebas de opcin mltiple, rbricas y otros instrumentos
de evaluacin de habilidades y competencias acadmicas o profesionales. Para conservar este liderazgo,
el Ceneval debe fortalecer sus acciones de mejoramiento continuo, mantener actualizados los instrumentos de medicin, ampliar la participacin de expertos en los cuerpos colegiados encargados de supervisar y construir los exmenes, cuidar con esmero los procesos involucrados en cada estrategia de
evaluacin y capacitar de manera permanente a su personal tcnico.
El conocimiento adquirido a lo largo de su trayectoria y la profusa revisin de la literatura para el
desarrollo de pruebas que producen instituciones educativas y organizaciones nacionales y del extranjero dedicadas a la evaluacin, se constituyeron en el cimiento que permiti consolidar en los aos recientes la metodologa del Ceneval, que sistematiza los procesos y fases indispensables para disear,
construir, aplicar y calificar los instrumentos de evaluacin.
Los avances del conocimiento, los cambios en la sociedad y sus instituciones y las nuevas necesidades que debe satisfacer la evaluacin obligan a repensar, revisar y actualizar los modelos con que esta
opera en los hechos; en congruencia, la Metodologa Ceneval tambin se modifica. Otra actividad constante del Centro son las acciones permanentes de control de calidad de los procesos; el desarrollo y
uso intensivo de recursos informticos y un amplio programa de capacitacin para el perfeccionamiento tcnico del personal.
En la perspectiva de promover la cultura de la evaluacin en amplios sectores de la sociedad y con
el propsito de difundir en todo foro pblico los rasgos esenciales de la Metodologa Ceneval, se ha
preparado la segunda edicin de esta publicacin que incorpora modificaciones recientes. Ahora se
ampla la informacin sobre el marco institucional y se incluyen aspectos que permiten comprender
las particularidades de su quehacer en torno al modelo que se emplea en el desarrollo de los instrumentos de evaluacin.

Presentacin

| Marco institucional
Principios institucionales
El Centro Nacional de Evaluacin para la Educacin Superior (Ceneval) es una asociacin civil que
surge por mandato de la Asociacin Nacional de Universidades e Instituciones de Educacin Superior
(ANUIES) en 1994. Desde su creacin se caracteriza por ser una institucin eminentemente tcnica,
cuya misin es promover la calidad de la educacin mediante evaluaciones vlidas, confiables y pertinentes. Sus actividades se orientan, principalmente, a evaluar los conocimientos y habilidades adquiridos por los individuos en procesos de enseanza-aprendizaje formales o no formales de los niveles
educativos medio superior y superior.
El Centro ofrece sus servicios a instituciones educativas pblicas y privadas, organizaciones de profesionistas y a organismos del sector gubernamental y del mbito empresarial.
Para cumplir su misin, el Ceneval rige sus actividades con los siguientes principios bsicos:
Imparcialidad. El Centro no favorece a ninguna persona, organismo o institucin en particular.
Calidad tcnica. Los procesos de diseo, construccin, aplicacin, calificacin y reporte de resultados de los exmenes estn apegados a estndares de calidad reconocidos por agencias de evaluacin nacionales y de otros pases para garantizar su validez y confiabilidad.
Actualidad. Los exmenes se revisan continuamente para ajustar los contenidos que se evalan a
los cambios que sobrevienen en las reas disciplinares o profesionales.
Confidencialidad. Las personas y las instituciones evaluadas tienen derecho a que sus resultados
no sean revelados sin su consentimiento.
Transparencia. Los procesos concernientes a la elaboracin, aplicacin y calificacin de los
exmenes estn abiertos a escrutinio, siempre y cuando no se contrapongan al principio de
confidencialidad.
Exmenes del Ceneval
Caractersticas
La mayora de los exmenes que desarrolla y aplica el Ceneval son evaluaciones de alto impacto: las
personas que los sustentan afrontan consecuencias directas de los resultados que obtienen. Esta particularidad compromete al Centro a que cada uno de sus instrumentos de evaluacin cumpla con las
siguientes propiedades:

Marco institucional

 Validez. Los instrumentos se disean y construyen para medir un dominio claramente identificado.
Los reactivos de cada instrumento de medicin son congruentes con las definiciones del objeto de
medida sancionado por el Consejo Tcnico del examen. Por ello, es posible realizar inferencias a
partir de indicadores fehacientes del rasgo medido.
Confiabilidad. Los resultados de la evaluacin son consistentes, de tal forma que diferentes puntajes reflejan diversos niveles de competencia de los sustentantes.
Equidad. Los instrumentos de medicin se construyen de forma tal que no benefician a un grupo
determinado. Se establecen las medidas necesarias para evitar sesgos culturales que alteren la
evaluacin.
Pertinencia. Los instrumentos de medicin cuentan con un marco de referencia conceptual que
sustenta la definicin del constructo medido y cubre de manera representativa los dominios definidos como objeto de evaluacin.
Objetividad. Las ristras de respuestas de los sustentantes se califican siguiendo el algoritmo autorizado para cada examen, por lo que todos los sustentantes son calificados de la misma forma.
Todos los instrumentos de medicin se califican en un rea independiente a la que construye el examen y a la que lo aplica.
Tipologa de exmenes
Cada instrumento de medicin se disea y construye de acuerdo con un propsito que delimita los
usos de sus resultados de evaluacin. El Ceneval desarrolla los siguientes exmenes:
Exmenes de admisin

Son exmenes normativos que evalan dominios con un alto poder predictivo sobre el rendimiento
acadmico de los estudiantes en el primer ciclo educativo.
Permiten a las instituciones educativas identificar a los mejores candidatos para ingresar a un programa acadmico.
Los sustentantes que presentan el examen en una institucin educativa son ordenados de acuerdo
con el puntaje que obtuvieron en la prueba de logro acadmico.
Las instituciones usuarias determinan el puntaje requerido para ingresar a cada uno de sus programas.
Los resultados de los exmenes se reportan en una escala continua a la que se le da el nombre de
ndice Ceneval.
A las instituciones usuarias se les entregan reportes con la informacin de la poblacin que sustent
el examen.

10

Exmenes de egreso

Son exmenes criteriales que se disean considerando un perfil profesional validado; pueden estar
alineados o no a un programa de estudios especfico.
Su propsito es identificar los conocimientos y habilidades que logran los sustentantes al concluir
un proceso formal de instruccin.
Informan sobre los niveles de desempeo en las reas que mide el examen, por lo que la escala de
medicin es categrica.
A todos los sustentantes se les entrega un reporte individual de resultados.
Se otorga un testimonio de desempeo satisfactorio o sobresaliente a los sustentantes que cubren
los criterios establecidos en cada examen.
A las instituciones educativas se les entrega un reporte que contiene informacin de todos los estudiantes que presentaron el examen.
Exmenes de diagnstico

Son exmenes criteriales que informan sobre los niveles de desempeo logrados por los sustentantes.
Su propsito es informar sobre los conocimientos, habilidades y competencias que han adquirido
los sustentantes en un punto de su trayecto educativo o desempeo profesional.
Generalmente los contenidos que se evalan se alinean a currculos o a descripciones puntuales de
una competencia.
Permiten a las instituciones educativas identificar fortalezas y debilidades de un programa acadmico.
Exmenes de acreditacin

Son exmenes criteriales que se disean considerando los aspectos esenciales del nivel educativo
que se pretende acreditar.
Su objetivo es identificar si los sustentantes poseen los conocimientos y las habilidades equivalentes
a los que tienen en su repertorio los estudiantes que cursaron formalmente el nivel educativo que
se pretende acreditar.
Estos exmenes se aplican en momentos no ligados a procesos de instruccin.
A cada sustentante se le informa el resultado de su evaluacin.
A las autoridades de la Secretara de Educacin Pblica se les notifican los resultados de todos los
sustentantes que presentan el examen.
Exmenes de certificacin

Su objetivo es identificar si los sustentantes cuentan con un repertorio actualizado de conocimientos

y habilidades considerados como esenciales para la prctica profesional.
Se aplican en momentos no ligados a procesos de instruccin.
Se cien a lo que el gremio profesional considera relevante de evaluar.
Marco institucional

11

Cuerpos Colegiados
En los procesos de construccin de los instrumentos de medicin contribuyen con el Ceneval cientos
de especialistas que aportan sus conocimientos y experiencia en diversos rganos de trabajo. Los especialistas docentes, investigadores y autoridades provienen de instituciones educativas pblicas y
privadas de todo el pas; colaboran tambin profesionales con amplio reconocimiento en su campo,
que laboran en el mbito empresarial, en el sector pblico y en el ejercicio libre de la profesin.
Para cada examen se constituye un Consejo Tcnico y diversos comits acadmicos. Estos cuerpos
colegiados se distinguen entre s por las actividades que realizan en las fases de la Metodologa Ceneval.
Los cuerpos colegiados son de vital importancia para el desarrollo de los instrumentos, esencialmente
porque aportan el conocimiento y el juicio de expertos que permiten, por una parte, construir el contenido de la evaluacin y, por la otra, conjuntar evidencias para sustentar la validez del instrumento.
A continuacin se describen brevemente las funciones de cada grupo de apoyo:
Consejo Tcnico. Es el rgano rector del examen. Sus funciones son proponer, guiar, vigilar y autorizar todas las decisiones que afectan la evaluacin, cuidando que el instrumento sea vigente, vlido, confiable, pertinente y relevante.
Comit Acadmico de Diseo. Este grupo se conforma con especialistas de los campos temticos que incorpora el examen y puede integrar a miembros del Consejo Tcnico. Su funcin principal es delimitar el objeto de medicin, y en tal virtud define los constructos por medir y selecciona
los contenidos que deben ser evaluados. Con este grupo se elaboran las definiciones conceptuales
de las reas que se medirn, as como la estructura del examen.
Comit Acadmico de Elaboracin de Especificaciones. Con base en la estructura del examen,
este cuerpo colegiado elabora las especificaciones de reactivos que ponen de manifiesto una definicin operacional de los conocimientos, habilidades o competencias que se pretende medir, as
como un reactivo muestra. En este grupo pueden participar consejeros tcnicos o miembros del
comit de diseo.
Comit Acadmico de Validacin del Objeto de Medida. Este cuerpo colegiado valida de manera integral los contenidos propuestos para el instrumento y verifica que la estructura y las especificaciones sean congruentes. Un aspecto esencial de las tareas del comit es revisar la correspondencia del contenido con las definiciones del perfil referencial del examen. Con estas labores se
alinean todos los elementos definitorios del contenido. Adems de especialistas en los temas, pueden participar expertos que hayan formado parte de los comits anteriores o consejeros tcnicos.
Comit Acadmico de Elaboracin de Reactivos. Este comit se encarga de elaborar los reactivos alineados a las especificaciones y siguiendo los lineamientos tcnicos institucionales. Integra a especialistas que cumplen un perfil acadmico y profesional establecido por el Consejo Tcnico acorde
con los temas en que participan. Para garantizar la calidad de los reactivos, todos los elaboradores

12

participan en talleres de capacitacin y utilizan el Banco de Reactivos para Asesores Externos

(eBRAE), que es la herramienta informtica del Ceneval para la administracin de los bancos de reactivos en proceso de construccin.
Comit Acadmico de Validacin Externa de Reactivos. Los miembros del comit, organizados en mesas de trabajo, verifican que el contenido de cada reactivo est alineado a la especificacin
y, por tanto, a la estructura del examen; analizan que el reactivo est libre de errores de contenido
(redaccin, imgenes, tablas o cualquier otro recurso utilizado); revisan que tenga nicamente una
respuesta correcta, que los distractores sean plausibles y que la informacin del reactivo est libre
de sesgos culturales (de gnero, religiosos, polticos, regionalistas, racistas, clasistas, sexistas, etctera).
El comit debe dictaminar si el reactivo mide contenidos vigentes, relevantes y pertinentes para la
poblacin sustentante. Sus miembros podrn hacer modificaciones para lograr que el reactivo posea
las caractersticas adecuadas ya que posteriormente no ser modificado, excepto para corregir errores ortotipogrficos.
Por su importancia, los especialistas que participan en este comit deben tener una trayectoria
acadmica o laboral destacada y, por aadidura, los conocimientos necesarios para emitir un juicio
sobre el contenido de cada reactivo.
Comit Acadmico de Clasificacin. Este cuerpo colegiado se conforma con la intencin
de verificar la ubicacin temtica de los reactivos en la estructura y su correspondencia con la
especificacin.
Comit Acadmico de Puntos de Corte. Este cuerpo colegiado se conforma para los exmenes
con referencia al criterio; es su responsabilidad establecer los puntajes mnimos (puntos de corte)
que sern la base para clasificar a los sustentantes en los diferentes niveles de logro determinados
previamente por los especialistas en el consejo tcnico del examen. Este comit tambin elabora
los descriptores conceptuales de cada nivel de desempeo.
Programas permanentes de control de calidad
El Ceneval ha redoblado esfuerzos para mejorar la calidad de los productos y servicios que brinda a
sus usuarios. Se han vigorizado las acciones para detectar fortalezas y reas de oportunidad que permitan una mejora constante.
En este sentido, para garantizar la observancia de las normas institucionales, el cumplimiento de
los estndares, la recoleccin de las evidencias que den cuenta de los procesos realizados y la debida
atencin a los usuarios, en el Ceneval se llevan a cabo acciones de control interno, auditoras tcnicas
y estudios para conocer el nivel de satisfaccin del usuario.

Marco institucional

13

Acciones de control interno

La supervisin del cumplimiento de las normas, procedimientos y estndares de calidad son actividades
cotidianas del cuerpo directivo que conforma cada una de las direcciones generales adjuntas. Estos
funcionarios coordinan las actividades del personal tcnico a su cargo y revisan la calidad de los productos o servicios que se brindan a los usuarios.
Sobre este cuerpo directivo recae la responsabilidad de establecer los mecanismos de control que
se requieran para vigilar la calidad de los procesos y productos. Asimismo, es de su competencia solicitar los apoyos que se requieran para solventar dificultades tcnicas y de capacitacin.
Auditoras tcnicas
Simultneamente a las acciones de control desplegadas en cada una de las direcciones generales adjuntas, la Direccin Tcnica y de Investigacin (DTI) realiza auditoras cuyo objeto es la valoracin tcnica
de los aspectos nodales de los instrumentos.
En las auditoras se verifica el cumplimiento de los lineamientos con base en protocolos especficos
focalizados en los aspectos que interesa revisar; en cada auditora se elabora un informe de resultados
que incluye la descripcin de las fortalezas encontradas y, si es el caso, las recomendaciones para mejorar la calidad tcnica del instrumento en cuestin. Posteriormente, la DTI realiza el seguimiento de
las recomendaciones emitidas.
Auditoras cualitativas y cuantitativas abordan, por ejemplo, la revisin de la estructura del examen,
la calidad de los reactivos activos del banco, las reglas de diseo utilizadas en el ensamble de versiones,
las especificaciones tcnicas de los reactivos incorporados en cada versin, las caractersticas psicomtricas de los reactivos y de las versiones operativas, los procesos de lectura y calificacin y los reportes
que se turnan a las instituciones usuarias, as como los informes de observaciones que los sustentantes
hacen a los reactivos.
Auditoras de los diferentes procesos que define la Metodologa Ceneval consisten en verificar in
situ el desarrollo de acciones que deben llevarse a cabo de manera obligatoria, conforme lo establecido
en el Prontuario de Normas Tcnicas.
En las acciones de auditora tcnica colaboran con la DTI las direcciones generales adjuntas de
Difusin y de Operacin, la direccin de Tecnologas de la Informacin y la Comunicacin, as
como la de Procesos pticos y Calificacin, suministrando informacin, procesndola o trabajando
conjuntamente.

14

Estudios del nivel de satisfaccin del usuario

Un aspecto fundamental para el control de la calidad es la opinin de los usuarios acerca de los productos y servicios del Centro. En la exploracin de los niveles de satisfaccin de los usuarios se considera el anlisis sobre la utilidad y la pertinencia de la evaluacin, la oportunidad con que se da la informacin sobre los exmenes o sobre la logstica de las aplicaciones, la eficiencia del registro en lnea,
el desempeo de los coordinadores de aplicacin o aplicadores de exmenes, la rapidez en el envo de
los resultados de los sustentantes, la diligencia para solucionar problemas y la difusin de los servicios
a los cuales pueden acceder, entre otros aspectos.
El cuidado de la calidad est vinculado con la bsqueda constante de un alto nivel tcnico en la
elaboracin de los exmenes, junto con una atencin esmerada a los usuarios de los instrumentos de
evaluacin.

Marco institucional

15

| Metodologa Ceneval
Despus de algunos aos de experiencia, el Ceneval se dio a la tarea de formalizar el modelo de evaluacin institucional, recuperando lo hecho por las diferentes reas de la organizacin y enriquecindolo con los conocimientos emanados de la literatura especializada.
En los primeros aos de su existencia, cada coordinacin de examen estableci normas y procedimientos mnimos retomados de las experiencias nacionales y de instituciones con experiencia en exmenes de gran escala (College Board, Educational Testing Service, entre otros). Durante varios aos
coexistieron varios mtodos de trabajo en los que se realizaban tareas comunes pero no estandarizadas.
Posteriormente, la constitucin de un rgano de evaluacin externa en el ao 1999,1 permiti establecer los estndares de calidad para todos los instrumentos del Centro.
Entre los aos 2001 y 2005 un proyecto conjunto del personal tcnico tuvo la finalidad de compartir
las prcticas de trabajo, y el resultado fue una primera documentacin de los procesos inherentes a la
construccin de los exmenes. Sin embargo, el mayor impulso para la concrecin de una metodologa
propia se ha desplegado en estos ltimos aos.
Los esfuerzos de sistematizacin han cristalizado en la Metodologa Ceneval que describe la secuencia de procesos y las fases necesarias para el desarrollo de los instrumentos de evaluacin.
La metodologa incorpora procedimientos basados en los ltimos avances de la psicometra y de
otras disciplinas afines. En el modelo que se sigue, los productos de una fase se convierten en insumos
de la siguiente. Adems, considera diversas tareas de verificacin en las que se revisa el cumplimiento
de los lineamientos tcnicos institucionales que se han emitido para lograr los estndares de calidad
exigidos.2
De esta manera, la metodologa establece tanto el mtodo por seguir, las consideraciones tcnicas
y los estndares, as como las normas, procedimientos y responsabilidades a las que el personal directivo
y el tcnico deben ajustarse en cada fase de trabajo.
Como complemento indispensable para desplegar las actividades necesarias y controlar cada proceso y producto, el Ceneval ha consolidado un equipo tcnico capaz de desarrollar una herramienta
informtica robusta y confiable. El Banco de Reactivos para Asesores Externos (eBRAE) y el Banco de
Seguridad (eBASE) conforman la plataforma informtica que obliga a que la estructura del examen, la
totalidad de los reactivos que se elaboran y los exmenes que se ensamblan transiten por los procesos
establecidos en la Metodologa Ceneval.

1
2

En 1999 se instala el Consejo Asesor Externo, CAE. En 2000 el Ceneval publica los Estndares de Calidad para Instrumentos de Evaluacin.
Al final del documento se incorpora una bibliografa bsica.
Metodologa Ceneval

17

La administracin de la plataforma est a cargo de la Direccin Tcnica y de Investigacin (DTI).

En lo que respecta a los aspectos tecnolgicos, el rea responsable es la Direccin de Tecnologas de
la Informacin y las Comunicaciones (DTIC).
La Metodologa Ceneval se difunde entre la comunidad institucional a travs del Prontuario de normas
tcnicas y estndares, publicado en volmenes distribuidos de la siguiente manera: el primero corresponde
a los procesos de diseo de la evaluacin, delimitacin del objeto de medida y construccin del banco
de reactivos. El segundo aborda las normas de los procesos de verificacin cuantitativa y ensamble de
cuadernillos y formas de versiones. El tercero se refiere de manera particular al proceso de aplicacin
(operacin) de los instrumentos. En otro volumen se establece la normativa para los procesos de calificacin y emisin de resultados, as como lo relativo al mantenimiento de los instrumentos. Finalmente, en un volumen independiente, se documentan las normas para la elaboracin de materiales
complementarios a los instrumentos: la gua del sustentante y el manual tcnico, entre otros.
La normativa del Ceneval se apega a las recomendaciones emanadas de entidades acadmicas como
American Educational Research Association (AERA), American Psychological Association (APA), National Council on Measurenment in Education (NCME) y el Joint Committee on Standards for Educational Evaluations.
Procesos y fases de la Metodologa Ceneval
El modelo de evaluacin consta de diez procesos que se subdividen en 33 fases: desde la concepcin
de un examen hasta las acciones para su mantenimiento, incluyendo la elaboracin de sus materiales
complementarios. En la tabla 1 se muestra la metodologa y a continuacin se describen sus rasgos
principales.

18

Tabla 1 | Metodologa Ceneval: procesos y fases

Proceso

Fase

I.

Diseo de la evaluacin

1.

Definicin de las caractersticas de la evaluacin

II.

Delimitacin
del objeto de medida

3.

Propuesta de la estructura

2.
4.
5.

III.

Construccin
del banco de reactivos

IV.

Verificacin cuantitativa

V.

Ensamble
de cuadernillos y formas

6.
7.
8.
9.

10.
11.
12.
13.
14.

VI.

Aplicacin

15.
16.
17.
18.
19.

VII. Procesamiento
de la informacin
y calificacin

20.
21.
22.
23.

VIII. Emisin de resultados

IX.

Mantenimiento
del examen

24.
25.
26.
27.
28.
29.

X.

Elaboracin
del material
complementario

30.
31.

32.

33.

Definicin conceptual del objeto de medida

Diseo de especificaciones de reactivos
Validacin del objeto de medida
Elaboracin de reactivos

Validacin externa de reactivos

Revisin de estilo de reactivos
Piloteo de reactivos

Calibracin de reactivos
Integracin

Revisin editorial
Publicacin

Planeacin y programacin
Registro

Capacitacin y asignacin de auxiliares para la aplicacin

Logstica y preparacin de materiales de aplicacin en papel y en lnea

Ejecucin y control de aplicacin
Lectura y correccin

Establecimiento de puntos de corte

Equiparacin
Calificacin

Validacin de resultados

Difusin de los resultados

Resguardo de la informacin
Revisin cualitativa

Revisin cuantitativa

Renovacin de bancos y versiones

Elaboracin de la gua para el sustentante

Integracin del Manual tcnico

Conformacin del Cuestionario de contexto

Elaboracin de materiales adicionales
Publicacin en el portal del Ceneval

Metodologa Ceneval

19

Descripcin de los procesos

Proceso I. Diseo de la evaluacin
A partir de la aprobacin institucional del proyecto, se definen las caractersticas generales de la estrategia de evaluacin que sern las directrices para su desarrollo. Con estas bases se elabora un documento rector denominado perfil referencial, el cual concentra las caractersticas ms importantes del instrumento de medicin y sus condiciones de aplicacin, calificacin e interpretacin de los resultados.
En este proceso se desarrolla la fase 1:
1. Definicin de las caractersticas de la evaluacin
El perfil referencial debe ser elaborado con base en el propsito de la evaluacin, la poblacin a la
que se dirige y las condiciones en que es posible la evaluacin. En aras de garantizar su calidad, el perfil
referencial debe ser aprobado por los especialistas que conforman el consejo tcnico del examen, quienes
verifican la pertinencia de los planteamientos que sern el fundamento para el desarrollo del instrumento de evaluacin.
Proceso II. Delimitacin del objeto de medida
En el proceso de delimitacin del objeto de medida se elaboran los elementos que constituyen la descripcin conceptual y operacional de lo que se pretende medir y se realiza su validacin por juicio de
expertos.
En un marco terico se plantea la definicin del constructo y la delimitacin conceptual de los dominios que lo constituyen. Sobre la base de la racionalidad trazada, se seleccionan los contenidos generales y especficos que se incluirn en el examen. Los contenidos se organizan en una estructura jerrquica que muestra con claridad las reas, subreas y temas considerados. Con estos elementos se
construyen las especificaciones de los reactivos que constituyen una descripcin de cmo deben ser los
reactivos. La pertinencia de los contenidos y su congruencia lgica debe ser validada por especialistas.
Este proceso se desarrolla en cuatro fases:
2. Definicin conceptual del objeto de medida
3. Propuesta de la estructura
4. Diseo de especificaciones de reactivos
5. Validacin del objeto de medida
Cada uno de los productos de las diversas tareas que se realizan aporta evidencias para sustentar la
validez del examen. Asimismo, estos elementos permiten concretar el objeto de la medicin y ofrecen
la materia prima para la construccin de los reactivos con que se har la medicin.
20

Proceso III. Construccin del banco de reactivos

Los reactivos constituyen la unidad bsica de observacin que permite hacer inferencias sobre la presencia de un conocimiento o habilidad. Los reactivos representan las variables manifiestas (observables)
de los constructos o rasgos latentes (no observables) que fueron definidos como objeto de la medicin
a travs de la estructura y de las especificaciones.
Para conformar el banco, los reactivos elaborados por los especialistas deben someterse a una revisin efectuada por el personal tcnico del Ceneval; posteriormente, otro grupo de expertos realiza
la validacin del contenido. Para esta distribucin de tareas, los especialistas se agrupan en dos comits
acadmicos independientes y participan en talleres de capacitacin sobre la elaboracin y validacin
de reactivos.
Antes de permitir su exposicin en pruebas piloto, los reactivos pasan por una revisin de estilo.
Las fases previstas para este proceso de construccin del banco son:
6. Elaboracin de reactivos
7. Validacin externa de reactivos
8. Revisin de estilo
Las acciones realizadas en esta fase permiten garantizar que los reactivos cumplen de manera cabal
con los lineamientos tcnicos institucionales y que estn libres de errores de contenido; asimismo el
Ceneval asegura que se generen y conserven las evidencias que sustentan la validez de los contenidos
del examen.
Proceso IV. Verificacin cuantitativa
Durante la construccin del banco, la revisin de los reactivos es eminentemente cualitativa. Por su
parte, el proceso de verificacin cuantitativa se enfoca a comprobar la calidad psicomtrica de los reactivos. El Centro se vale de diferentes procedimientos para poner a prueba los reactivos, con el propsito de calibrarlos y observar su comportamiento estadstico bajo condiciones prximas a la situacin
real en que sern resueltos por los sustentantes.
El Ceneval desarrolla este proceso en dos fases:
9. Piloteo de reactivos
10. Calibracin de reactivos
Esta etapa permite la seleccin de los reactivos idneos para incorporarse a las versiones del examen
y la estimacin de las caractersticas psicomtricas del examen considerado como una unidad.

Metodologa Ceneval

21

Proceso V. Ensamble de cuadernillos y formas

Una vez que se cuenta con los reactivos calibrados con los parmetros ptimos, el siguiente paso es el
ensamble de distintas versiones de la prueba, de acuerdo con la estructura del examen. Este proceso
debe seguir reglas tcnicas de diseo para la seleccin de los reactivos que formarn parte de cada versin, cuidando las caractersticas psicomtricas del instrumento.
Una vez que est conformada, cada versin debe ser revisada editorialmente antes de su impresin
en cuadernillos o la colocacin de las formas en los servidores, para su aplicacin en lnea.
El proceso se desarrolla en tres fases:
11. Integracin
12. Revisin editorial
13. Publicacin
En sntesis, este proceso comprende desde la integracin de las versiones operativas del examen
hasta la supervisin de su publicacin en lnea o en papel. Por la naturaleza de estas fases, se pone una
atencin especial en las medidas de seguridad de los materiales de examen.
Proceso VI. Aplicacin
El logro de la validez y la confiabilidad en los resultados de un instrumento de evaluacin requiere de
procedimientos adecuados para que los sustentantes enfrenten la prueba en condiciones controladas,
estandarizadas, ptimas y equitativas. De ah la relevancia que adquiere el proceso de aplicacin considerado en la metodologa.
Las estrategias de aplicacin deben apegarse a las caractersticas de la evaluacin y a los criterios sealados en el perfil referencial de cada examen. La implementacin depende de la planeacin y los acuerdos
establecidos con los usuarios y de la capacitacin de quienes asumen la administracin de los exmenes.
Las actividades necesarias se organizan en las siguientes fases:
14. Planeacin y programacin
15. Registro
16. Capacitacin y asignacin de auxiliares para la aplicacin
17. Logstica y preparacin de materiales en papel y lnea
18. Ejecucin y control

22

Los procesos previos de construccin carecen de sentido si no se tiene el mismo cuidado en la implementacin de las estrategias de aplicacin a la poblacin destinataria del instrumento. La eficacia de
los procedimientos logsticos y operativos descansa en la eficiencia, compromiso y honestidad de los
responsables del proceso.
Proceso VII. Procesamiento de la informacin y calificacin
Para los sustentantes, el aspecto ms importante tras resolver su examen es el proceso de calificacin.
Ellos necesitan tener la certeza de que sus resultados son obtenidos correctamente, es decir que son
calificados sin error y con imparcialidad. Ofrecer garantas sobre la seguridad de los procedimientos
de calificacin se basa en altos estndares de calidad y confidencialidad en la lectura y calificacin de
las respuestas de los sustentantes.
En este trayecto de la metodologa se procesa la informacin recolectada durante la aplicacin y se
realizan las siguientes fases:
19. Lectura y correccin
20. Establecimiento de puntos de corte
21. Equiparacin
22. Calificacin
23. Validacin de resultados
En el caso de pruebas con referencia al criterio, en este proceso se hace un anlisis para establecer
los rangos de puntuacin aplicables a los niveles de desempeo que se darn en los resultados. Por otra
parte, como garanta de equidad se emplean procedimientos de equiparacin entre versiones para que
midan de manera equivalente a todos los sustentantes.
La calificacin de los sustentantes debe ser precisa y libre de errores. As, el Ceneval ha establecido
los mecanismos para corroborar los procesos y productos de cada fase, cuenta con ciclos de autocontrol que alertan sobre la necesidad de auditar la calificacin de alguna aplicacin.
La calificacin validada es la base para la emisin de resultados, objetivo del siguiente proceso de la
metodologa.

Metodologa Ceneval

23

Proceso VIII. Emisin de resultados

La entrega de resultados de los exmenes del Ceneval tiene dos vertientes fundamentales: los reportes
individuales de los sustentantes y los reportes institucionales. La entrega a las instituciones y la que se
hace a la poblacin evaluada deben respetar las polticas de seguridad y confidencialidad para la salvaguarda de la evaluacin de cada persona. La informacin que se genera debe resguardarse para las aclaraciones necesarias, para la elaboracin de diversos informes especiales o para su posterior anlisis con
fines de investigacin.
Este proceso se desarrolla en dos fases:
24. Difusin de resultados
25. Resguardo de la informacin
En el Centro se hace un amplio esfuerzo para comunicar los resultados de la evaluacin de manera
oportuna y comprensible para los usuarios. Por otra parte, guardando la confidencialidad de los datos
personales, los resultados pueden ser utilizados por especialistas con fines de investigacin.
Proceso IX. Mantenimiento del examen
Diversas actividades hacen posible el adecuado funcionamiento de cada examen a lo largo de su permanencia operativa. Estas acciones de retroalimentacin se agrupan en el proceso de mantenimiento.
Es importante visualizar los exmenes como instrumentos dinmicos, cuyos contenidos no son
permanentes dados el avance de la ciencia y la tecnologa y los cambios que renuevan las prcticas
profesionales y el contenido de los planes y programas educativos. Asimismo, se deben considerar
las modificaciones que, por efecto de su uso, se observan en el funcionamiento psicomtrico de los
reactivos.
El mantenimiento del examen considera la revisin y actualizacin de aspectos cualitativos y cuantitativos de los componentes del instrumento de evaluacin. Este proceso acaece en tres fases:
26. Revisin cualitativa
27. Revisin cuantitativa
28. Renovacin de bancos y versiones
La fase de revisin cualitativa se ocupa principalmente de mantener actualizado el contenido del
instrumento sistematizado en el perfil referencial, la estructura del examen y las especificaciones de los
reactivos; tambin implica la confirmacin de la vigencia del contenido de los tems. La revisin cuantitativa se concentra en la actualizacin y estabilizacin de los parmetros estadsticos, en los anlisis

24

para corroborar la dimesionalidad de la prueba y en el estudio del funcionamiento diferencial de cada

reactivo, entre otros estudios psicomtricos. Finalmente, dado que se requieren versiones suficientes
para evitar la sobreexposicin de los reactivos y garantizar la seguridad de la prueba, es indispensable
contar con estrategias para robustecer los bancos.
Proceso X. Elaboracin del material complementario
Como un proceso paralelo e independiente, pero ntimamente ligado al desarrollo del examen, las fases
de elaboracin de materiales complementarios son determinantes para el xito de la evaluacin, de su
validez y operacin.
Particularmente, se plantean como indispensables las siguientes fases, cada una abocada a un material:
29. Elaboracin de la gua para el sustentante
30. Integracin del Manual tcnico
31. Conformacin del Cuestionario de contexto
32. Elaboracin de materiales adicionales
33. Publicacin (de informacin) en el portal del Ceneval
Para su construccin requieren de la informacin que se produce a lo largo del diseo de la evaluacin. A continuacin se brinda una breve descripcin de los rasgos caractersticos de cada material.
Gua para el sustentante

Las guas para los sustentantes informan de los contenidos que evala el examen. En ellas tambin se
explica el propsito de la evaluacin, los instrumentos, sus caractersticas, las formas de aplicacin y la
entrega e interpretacin de los resultados.
Este material es un medio por el cual el sustentante conoce las condiciones previstas para la resolucin del examen. Su contenido debe ser adecuado a la capacidad de los sustentantes, de modo que
todos comprendan el proceso en que participan. De esta manera se logra la estandarizacin del proceso, lo que favorece que los resultados de la evaluacin sean una evidencia de los conocimientos, habilidades y desempeos de los sustentantes.
Manual tcnico del instrumento

El manual tcnico es un documento en el que se detallan las caractersticas de la evaluacin. Su objetivo

es informar, de manera clara y precisa, a los especialistas en el rea de evaluacin y al pblico interesado,
la metodologa que subyace al diseo, desarrollo, aplicacin y anlisis de los instrumentos de medida
que conforman la evaluacin, y da cuenta de su calidad y pertinencia psicomtrica.

Metodologa Ceneval

25

Cuestionario de contexto

El cuestionario de contexto es un instrumento que se aplica durante el registro de los sustentantes. Su

funcin es recabar informacin que permita conocer las caractersticas de la poblacin sustentante,
contextualizar las medidas obtenidas en las pruebas y generar modelos de los factores asociados al desempeo acadmico.
Materiales adicionales

Bajo este rubro se agrupan un conjunto de materiales que se requieren para la aplicacin del instrumento, a saber: las hojas de respuesta utilizadas en los exmenes de lpiz y papel para que los sustentantes consignen sus respuestas; los formularios de consulta que se entregan a los sustentantes a fin
de garantizar que todos cuentan con la informacin tcnica y frmulas disciplinares (cientficas) estandarizadas; las encuestas de salida para recabar la opinin de los sustentantes y el formato de la carta de
confidencialidad que deben firmar, entre otros.
Publicacin en el portal del Ceneval

Con la intencin de proporcionar informacin suficiente y oportuna a los usuarios, instituciones o personas, est prevista en la metodologa la elaboracin de materiales con los contenidos necesarios para
que la informacin actualizada y completa sea difundida en el sitio web, independientemente de otros
medios que se utilicen en esta tarea.

26

| El Ceneval y la cultura de la evaluacin

Como se puede apreciar en la descripcin de la metodologa, durante el desarrollo de los instrumentos
de evaluacin se genera una gran cantidad de informacin de diversa ndole. Los resultados de las evaluaciones hechas por el Ceneval, adems de cumplir funciones especficas para la admisin, el diagnstico o la certificacin de conocimientos, habilidades o competencias, permite conocer diversos aspectos
de la realidad educativa que pueden contribuir a emprender acciones de mejora.
Dado que en su Estatuto el Ceneval establece como uno de sus objetivos la difusin y promocin
de publicaciones relacionadas con los instrumentos de evaluacin y otras destinadas al desarrollo de
la cultura de la evaluacin en nuestro pas, adems de la presente, mltiples obras editadas pueden ser
consultadas en la pgina web institucional: www.ceneval.edu.mx.
En esta lnea de accin, cada dos aos se celebra el Foro de Evaluacin Educativa, un acontecimiento acadmico que organiza el Centro para conocer y debatir propuestas y resultados de investigacin de especialistas nacionales y extranjeros.
El Ceneval procura mantener comunicacin continua y participativa con las instituciones usuarias
de los instrumentos de evaluacin, como parte de las acciones que emprende con ese propsito; asimismo, se efectan reuniones de carcter nacional para los Exmenes para el Egreso de la Licenciatura
(EGEL) y para los Exmenes de Ingreso (EXANI). Estas reuniones permiten conocer las necesidades
de evaluacin de las instituciones, sus inquietudes en torno a la informacin que el Centro les proporciona, en un ejercicio de retroalimentacin en donde el Ceneval recibe sugerencias para mejorar la calidad de sus servicios.
Las reuniones de usuarios son un foro para dar a conocer a las instituciones las innovaciones tcnicas y tecnolgicas que el Centro implementa para el desarrollo de los exmenes, adems de los nuevos instrumentos a su disposicin.
La razn de ser del Centro es la de participar y contribuir cada vez ms y de mejor manera en el
avance de la educacin en Mxico, de ah que se ratifique el compromiso primordial de dar una atencin esmerada a todos los usuarios. Para ello existen en el Centro diversos canales de comunicacin y
servicio.
En funcin de sus necesidades, cada institucin o persona puede dirigirse a las siguientes instancias:
Direccin de Relaciones Institucionales (DRI). Su misin es establecer y fortalecer las relaciones
del Ceneval con instituciones del pas y del extranjero. Se encarga de promover las acciones de evaluacin en las instituciones, brindar la informacin sobre los usos y beneficios de la evaluacin y
asesorar a las instituciones, cuando as lo solicitan, sobre los instrumentos adecuados a cada caso.
Telfono de contacto: (55) 53.22.92.00 ext. 2012

El Ceneval y la cultura de la evaluacin

27

 Direccin General Adjunta de Operaciones (DGAO). Se encarga de la organizacin y realizacin

de todas las aplicaciones de los instrumentos de evaluacin. Es la instancia a la cual deben dirigirse
las instituciones interesadas en realizar procesos de carcter institucional para programar los
eventos; para mayor informacin y solicitud de servicios establecer contacto al telfono (55)
53.22.92. 00 en las extensiones 8001 y 8045.
Unidad de Informacin y Atencin al Usuario. Es responsable de resolver las dudas, responder
las preguntas y orientar a los usuarios en relacin con todos los aspectos de los exmenes: fechas,
requisitos, inscripcin o registro, correccin de datos, etc. Para dirigirse a la Unidad de Informacin
y Atencin al Usuario llamar al telfono 30.00.87.00 del Distrito Federal y del interior de la Repblica Mexicana Lada sin costo: 01800.624.25.10

28

| Bibliografa
American Educational Research Association, American Psychological Association and National
Council on Measurement in Education (1999). Standards for Educational and Psychological Testing. Washington, DC: American Educational Research Association.
Centro Nacional de Evaluacin para la Educacin Superior, A.C. (2012). Reglamento de los consejos tcnicos de los exmenes, Mxico, Ceneval.
Centro Nacional de Evaluacin para la Educacin Superior, A.C. (2013a). Lineamientos para la construccin de reactivos de opcin mltiple, Mxico, Ceneval.
Downing, S.M. y Haladyna T.M. compiladores. (2012). Manual para el desarrollo de pruebas a gran escala.
Mxico, Ceneval.
Fishman, J.A. & Galguera, T. (2003). Introduction to Test Construction in the Social and Behavioral Science.
A Practical Guide. Oxford, UK: Rowman & Littlefield Publishers.
Joint Committee on Standards for Educational Evaluation (1994). The Program Evaluation Standards.
Thousand Oaks, CA: Sage Publications
Rust, J. & Golombok, S. (2000). Modern Psychometrics: The Science of Psychological Assessment (3rd Edition). London: Routledge.

Bibliografa

29

El Centro Nacional de Evaluacin para la Educacin Superior es una asociacin civil sin
fines de lucro constituida formalmente el 28 de abril de 1994, como consta en la escritura
pblica nmero 87036 pasada ante la fe del notario 49 del Distrito Federal.
Sus rganos de gobierno son la Asamblea General, el Consejo Directivo y la Direccin
General. Su mxima autoridad es la Asamblea General, cuya integracin se presenta a
continuacin, segn el sector al que pertenecen los asociados:
Asociaciones e instituciones educativas: Asociacin Nacional de Universidades e Instituciones
de Educacin Superior, A.C.; Federacin de Instituciones Mexicanas Particulares de Educacin Superior, A.C.; Instituto Politcnico Nacional; Instituto Tecnolgico y de Estudios
Superiores de Monterrey; Universidad Autnoma del Estado de Mxico; Universidad
Autnoma de San Luis Potos; Universidad Autnoma de Yucatn; Universidad Nacional
Autnoma de Mxico; Universidad Popular Autnoma del Estado de Puebla; Universidad
Tecnolgica de Mxico.
Asociaciones y colegios de profesionales: Barra Mexicana Colegio de Abogados, A.C.; Colegio
Nacional de Actuarios, A.C.; Colegio Nacional de Psiclogos, A.C.; Federacin de Colegios y Asociacin de Mdicos Veterinarios y Zootecnistas de Mxico, A.C.; Instituto
Mexicano de Contadores Pblicos, A.C.
Organizaciones productivas y sociales: Academia de Ingeniera, A.C.; Academia Mexicana de
Ciencias, A.C.; Academia Nacional de Medicina, A.C.; Fundacin ICA, A.C.
Autoridades educativas gubernamentales: Secretara de Educacin Pblica.
Ceneval, A.C., EXANI-I, EXANI-II son marcas registradas ante la Secretara
de Comercio y Fomento Industrial con el nmero 478968 del 29 de julio de 1994.
EGEL, con el nmero 628837 del 1 de julio de 1999, y EXANI-III, con el nmero
628839 del 1 de julio de 1999.
Inscrito en el Registro Nacional de Instituciones Cientficas y Tecnolgicas del Consejo
Nacional de Ciencia y Tecnologa con el nmero 506 desde el 10 de marzo de 1995.
Miembro de la International Association for Educational Assessment.
Miembro de la European Association of Institutional Research.
Miembro del Consortium for North American Higher Education Collaboration.
Miembro del Institutional Management for Higher Education de la OCDE.

La publicacin de esta obra la realiz el

Centro Nacional de Evaluacin para la Educacin Superior, A.C.
Se termin de imprimir el 9 de agosto de 2013
en los talleres de Winkilis, Bugambilias 131,
Col. El Rosario, C.P. 09930, Mxico, D.F.,
con un tiraje de 800 ejemplares