Professional Documents
Culture Documents
Metodologa Ceneval
Directorio
Direccin General
Rafael S. Vidal Uribe
Redaccin
Erika Gonzlez Corzo, Patricia Martnez Cuevas
Revisin tcnica
Csar Chvez lvarez
Revisin editorial
Direccin General Adjunta de Difusin
Diseo grfico
Mnica Corts Genis | lvaro Reynoso Castaeda
Metodologa Ceneval
D.R. 2013, Centro Nacional de Evaluacin para la Educacin Superior, A.C. (Ceneval)
Av. Camino al Desierto de los Leones 19, Col. San ngel, Deleg. lvaro Obregn, C.P. 01000, Mxico, D.F.
www.ceneval.edu.mx
Se prohbe la reproduccin total o parcial de esta obra incluido el diseo tipogrfico y de portada,
sea cual fuere el medio, electrnico o mecnico, sin el consentimiento por escrito del editor.
Julio de 2013
Contenido
Presentacin
Marco institucional
Principios institucionales
Cuerpos colegiados
12
13
Metodologa Ceneval
17
18
18
27
Bibliografa
29
| Presentacin
La evaluacin educativa es una herramienta fundamental para encaminar polticas pblicas por la va
de la mejora de la educacin. Da con da, las pruebas de logro acadmico a gran escala acrecientan su
importancia al identificar las fortalezas y debilidades de los sistemas educativos, de los programas de
estudio y de los aprendizajes logrados por los estudiantes.
El Ceneval ha desempeado desde su creacin un papel relevante en nuestro pas, en virtud de que
ha generado informacin til para que las instituciones educativas, pblicas y privadas, de los niveles
medio superior y superior apliquen estrategias de mejora en el cumplimiento de sus funciones.
El Ceneval disea y administra exmenes de alta calidad al servicio de las instituciones educativas.
Se ha ganado el reconocimiento de la sociedad por ser un organismo con bases tcnicas slidas, fundamentadas en la psicometra y en la investigacin educativa.
El Centro es lder en la construccin de pruebas de opcin mltiple, rbricas y otros instrumentos
de evaluacin de habilidades y competencias acadmicas o profesionales. Para conservar este liderazgo,
el Ceneval debe fortalecer sus acciones de mejoramiento continuo, mantener actualizados los instrumentos de medicin, ampliar la participacin de expertos en los cuerpos colegiados encargados de supervisar y construir los exmenes, cuidar con esmero los procesos involucrados en cada estrategia de
evaluacin y capacitar de manera permanente a su personal tcnico.
El conocimiento adquirido a lo largo de su trayectoria y la profusa revisin de la literatura para el
desarrollo de pruebas que producen instituciones educativas y organizaciones nacionales y del extranjero dedicadas a la evaluacin, se constituyeron en el cimiento que permiti consolidar en los aos recientes la metodologa del Ceneval, que sistematiza los procesos y fases indispensables para disear,
construir, aplicar y calificar los instrumentos de evaluacin.
Los avances del conocimiento, los cambios en la sociedad y sus instituciones y las nuevas necesidades que debe satisfacer la evaluacin obligan a repensar, revisar y actualizar los modelos con que esta
opera en los hechos; en congruencia, la Metodologa Ceneval tambin se modifica. Otra actividad constante del Centro son las acciones permanentes de control de calidad de los procesos; el desarrollo y
uso intensivo de recursos informticos y un amplio programa de capacitacin para el perfeccionamiento tcnico del personal.
En la perspectiva de promover la cultura de la evaluacin en amplios sectores de la sociedad y con
el propsito de difundir en todo foro pblico los rasgos esenciales de la Metodologa Ceneval, se ha
preparado la segunda edicin de esta publicacin que incorpora modificaciones recientes. Ahora se
ampla la informacin sobre el marco institucional y se incluyen aspectos que permiten comprender
las particularidades de su quehacer en torno al modelo que se emplea en el desarrollo de los instrumentos de evaluacin.
Presentacin
| Marco institucional
Principios institucionales
El Centro Nacional de Evaluacin para la Educacin Superior (Ceneval) es una asociacin civil que
surge por mandato de la Asociacin Nacional de Universidades e Instituciones de Educacin Superior
(ANUIES) en 1994. Desde su creacin se caracteriza por ser una institucin eminentemente tcnica,
cuya misin es promover la calidad de la educacin mediante evaluaciones vlidas, confiables y pertinentes. Sus actividades se orientan, principalmente, a evaluar los conocimientos y habilidades adquiridos por los individuos en procesos de enseanza-aprendizaje formales o no formales de los niveles
educativos medio superior y superior.
El Centro ofrece sus servicios a instituciones educativas pblicas y privadas, organizaciones de profesionistas y a organismos del sector gubernamental y del mbito empresarial.
Para cumplir su misin, el Ceneval rige sus actividades con los siguientes principios bsicos:
Imparcialidad. El Centro no favorece a ninguna persona, organismo o institucin en particular.
Calidad tcnica. Los procesos de diseo, construccin, aplicacin, calificacin y reporte de resultados de los exmenes estn apegados a estndares de calidad reconocidos por agencias de evaluacin nacionales y de otros pases para garantizar su validez y confiabilidad.
Actualidad. Los exmenes se revisan continuamente para ajustar los contenidos que se evalan a
los cambios que sobrevienen en las reas disciplinares o profesionales.
Confidencialidad. Las personas y las instituciones evaluadas tienen derecho a que sus resultados
no sean revelados sin su consentimiento.
Transparencia. Los procesos concernientes a la elaboracin, aplicacin y calificacin de los
exmenes estn abiertos a escrutinio, siempre y cuando no se contrapongan al principio de
confidencialidad.
Exmenes del Ceneval
Caractersticas
La mayora de los exmenes que desarrolla y aplica el Ceneval son evaluaciones de alto impacto: las
personas que los sustentan afrontan consecuencias directas de los resultados que obtienen. Esta particularidad compromete al Centro a que cada uno de sus instrumentos de evaluacin cumpla con las
siguientes propiedades:
Marco institucional
Validez. Los instrumentos se disean y construyen para medir un dominio claramente identificado.
Los reactivos de cada instrumento de medicin son congruentes con las definiciones del objeto de
medida sancionado por el Consejo Tcnico del examen. Por ello, es posible realizar inferencias a
partir de indicadores fehacientes del rasgo medido.
Confiabilidad. Los resultados de la evaluacin son consistentes, de tal forma que diferentes puntajes reflejan diversos niveles de competencia de los sustentantes.
Equidad. Los instrumentos de medicin se construyen de forma tal que no benefician a un grupo
determinado. Se establecen las medidas necesarias para evitar sesgos culturales que alteren la
evaluacin.
Pertinencia. Los instrumentos de medicin cuentan con un marco de referencia conceptual que
sustenta la definicin del constructo medido y cubre de manera representativa los dominios definidos como objeto de evaluacin.
Objetividad. Las ristras de respuestas de los sustentantes se califican siguiendo el algoritmo autorizado para cada examen, por lo que todos los sustentantes son calificados de la misma forma.
Todos los instrumentos de medicin se califican en un rea independiente a la que construye el examen y a la que lo aplica.
Tipologa de exmenes
Cada instrumento de medicin se disea y construye de acuerdo con un propsito que delimita los
usos de sus resultados de evaluacin. El Ceneval desarrolla los siguientes exmenes:
Exmenes de admisin
Son exmenes normativos que evalan dominios con un alto poder predictivo sobre el rendimiento
acadmico de los estudiantes en el primer ciclo educativo.
Permiten a las instituciones educativas identificar a los mejores candidatos para ingresar a un programa acadmico.
Los sustentantes que presentan el examen en una institucin educativa son ordenados de acuerdo
con el puntaje que obtuvieron en la prueba de logro acadmico.
Las instituciones usuarias determinan el puntaje requerido para ingresar a cada uno de sus programas.
Los resultados de los exmenes se reportan en una escala continua a la que se le da el nombre de
ndice Ceneval.
A las instituciones usuarias se les entregan reportes con la informacin de la poblacin que sustent
el examen.
10
Exmenes de egreso
Son exmenes criteriales que se disean considerando un perfil profesional validado; pueden estar
alineados o no a un programa de estudios especfico.
Su propsito es identificar los conocimientos y habilidades que logran los sustentantes al concluir
un proceso formal de instruccin.
Informan sobre los niveles de desempeo en las reas que mide el examen, por lo que la escala de
medicin es categrica.
A todos los sustentantes se les entrega un reporte individual de resultados.
Se otorga un testimonio de desempeo satisfactorio o sobresaliente a los sustentantes que cubren
los criterios establecidos en cada examen.
A las instituciones educativas se les entrega un reporte que contiene informacin de todos los estudiantes que presentaron el examen.
Exmenes de diagnstico
Son exmenes criteriales que informan sobre los niveles de desempeo logrados por los sustentantes.
Su propsito es informar sobre los conocimientos, habilidades y competencias que han adquirido
los sustentantes en un punto de su trayecto educativo o desempeo profesional.
Generalmente los contenidos que se evalan se alinean a currculos o a descripciones puntuales de
una competencia.
Permiten a las instituciones educativas identificar fortalezas y debilidades de un programa acadmico.
Exmenes de acreditacin
Son exmenes criteriales que se disean considerando los aspectos esenciales del nivel educativo
que se pretende acreditar.
Su objetivo es identificar si los sustentantes poseen los conocimientos y las habilidades equivalentes
a los que tienen en su repertorio los estudiantes que cursaron formalmente el nivel educativo que
se pretende acreditar.
Estos exmenes se aplican en momentos no ligados a procesos de instruccin.
A cada sustentante se le informa el resultado de su evaluacin.
A las autoridades de la Secretara de Educacin Pblica se les notifican los resultados de todos los
sustentantes que presentan el examen.
Exmenes de certificacin
11
Cuerpos Colegiados
En los procesos de construccin de los instrumentos de medicin contribuyen con el Ceneval cientos
de especialistas que aportan sus conocimientos y experiencia en diversos rganos de trabajo. Los especialistas docentes, investigadores y autoridades provienen de instituciones educativas pblicas y
privadas de todo el pas; colaboran tambin profesionales con amplio reconocimiento en su campo,
que laboran en el mbito empresarial, en el sector pblico y en el ejercicio libre de la profesin.
Para cada examen se constituye un Consejo Tcnico y diversos comits acadmicos. Estos cuerpos
colegiados se distinguen entre s por las actividades que realizan en las fases de la Metodologa Ceneval.
Los cuerpos colegiados son de vital importancia para el desarrollo de los instrumentos, esencialmente
porque aportan el conocimiento y el juicio de expertos que permiten, por una parte, construir el contenido de la evaluacin y, por la otra, conjuntar evidencias para sustentar la validez del instrumento.
A continuacin se describen brevemente las funciones de cada grupo de apoyo:
Consejo Tcnico. Es el rgano rector del examen. Sus funciones son proponer, guiar, vigilar y autorizar todas las decisiones que afectan la evaluacin, cuidando que el instrumento sea vigente, vlido, confiable, pertinente y relevante.
Comit Acadmico de Diseo. Este grupo se conforma con especialistas de los campos temticos que incorpora el examen y puede integrar a miembros del Consejo Tcnico. Su funcin principal es delimitar el objeto de medicin, y en tal virtud define los constructos por medir y selecciona
los contenidos que deben ser evaluados. Con este grupo se elaboran las definiciones conceptuales
de las reas que se medirn, as como la estructura del examen.
Comit Acadmico de Elaboracin de Especificaciones. Con base en la estructura del examen,
este cuerpo colegiado elabora las especificaciones de reactivos que ponen de manifiesto una definicin operacional de los conocimientos, habilidades o competencias que se pretende medir, as
como un reactivo muestra. En este grupo pueden participar consejeros tcnicos o miembros del
comit de diseo.
Comit Acadmico de Validacin del Objeto de Medida. Este cuerpo colegiado valida de manera integral los contenidos propuestos para el instrumento y verifica que la estructura y las especificaciones sean congruentes. Un aspecto esencial de las tareas del comit es revisar la correspondencia del contenido con las definiciones del perfil referencial del examen. Con estas labores se
alinean todos los elementos definitorios del contenido. Adems de especialistas en los temas, pueden participar expertos que hayan formado parte de los comits anteriores o consejeros tcnicos.
Comit Acadmico de Elaboracin de Reactivos. Este comit se encarga de elaborar los reactivos alineados a las especificaciones y siguiendo los lineamientos tcnicos institucionales. Integra a especialistas que cumplen un perfil acadmico y profesional establecido por el Consejo Tcnico acorde
con los temas en que participan. Para garantizar la calidad de los reactivos, todos los elaboradores
12
Marco institucional
13
14
Marco institucional
15
| Metodologa Ceneval
Despus de algunos aos de experiencia, el Ceneval se dio a la tarea de formalizar el modelo de evaluacin institucional, recuperando lo hecho por las diferentes reas de la organizacin y enriquecindolo con los conocimientos emanados de la literatura especializada.
En los primeros aos de su existencia, cada coordinacin de examen estableci normas y procedimientos mnimos retomados de las experiencias nacionales y de instituciones con experiencia en exmenes de gran escala (College Board, Educational Testing Service, entre otros). Durante varios aos
coexistieron varios mtodos de trabajo en los que se realizaban tareas comunes pero no estandarizadas.
Posteriormente, la constitucin de un rgano de evaluacin externa en el ao 1999,1 permiti establecer los estndares de calidad para todos los instrumentos del Centro.
Entre los aos 2001 y 2005 un proyecto conjunto del personal tcnico tuvo la finalidad de compartir
las prcticas de trabajo, y el resultado fue una primera documentacin de los procesos inherentes a la
construccin de los exmenes. Sin embargo, el mayor impulso para la concrecin de una metodologa
propia se ha desplegado en estos ltimos aos.
Los esfuerzos de sistematizacin han cristalizado en la Metodologa Ceneval que describe la secuencia de procesos y las fases necesarias para el desarrollo de los instrumentos de evaluacin.
La metodologa incorpora procedimientos basados en los ltimos avances de la psicometra y de
otras disciplinas afines. En el modelo que se sigue, los productos de una fase se convierten en insumos
de la siguiente. Adems, considera diversas tareas de verificacin en las que se revisa el cumplimiento
de los lineamientos tcnicos institucionales que se han emitido para lograr los estndares de calidad
exigidos.2
De esta manera, la metodologa establece tanto el mtodo por seguir, las consideraciones tcnicas
y los estndares, as como las normas, procedimientos y responsabilidades a las que el personal directivo
y el tcnico deben ajustarse en cada fase de trabajo.
Como complemento indispensable para desplegar las actividades necesarias y controlar cada proceso y producto, el Ceneval ha consolidado un equipo tcnico capaz de desarrollar una herramienta
informtica robusta y confiable. El Banco de Reactivos para Asesores Externos (eBRAE) y el Banco de
Seguridad (eBASE) conforman la plataforma informtica que obliga a que la estructura del examen, la
totalidad de los reactivos que se elaboran y los exmenes que se ensamblan transiten por los procesos
establecidos en la Metodologa Ceneval.
1
2
En 1999 se instala el Consejo Asesor Externo, CAE. En 2000 el Ceneval publica los Estndares de Calidad para Instrumentos de Evaluacin.
Al final del documento se incorpora una bibliografa bsica.
Metodologa Ceneval
17
18
Fase
I.
Diseo de la evaluacin
1.
II.
Delimitacin
del objeto de medida
3.
Propuesta de la estructura
2.
4.
5.
III.
Construccin
del banco de reactivos
IV.
Verificacin cuantitativa
V.
Ensamble
de cuadernillos y formas
6.
7.
8.
9.
10.
11.
12.
13.
14.
VI.
Aplicacin
15.
16.
17.
18.
19.
VII. Procesamiento
de la informacin
y calificacin
20.
21.
22.
23.
Mantenimiento
del examen
24.
25.
26.
27.
28.
29.
X.
Elaboracin
del material
complementario
30.
31.
32.
33.
Calibracin de reactivos
Integracin
Revisin editorial
Publicacin
Planeacin y programacin
Registro
Validacin de resultados
Resguardo de la informacin
Revisin cualitativa
Revisin cuantitativa
Metodologa Ceneval
19
Metodologa Ceneval
21
22
Los procesos previos de construccin carecen de sentido si no se tiene el mismo cuidado en la implementacin de las estrategias de aplicacin a la poblacin destinataria del instrumento. La eficacia de
los procedimientos logsticos y operativos descansa en la eficiencia, compromiso y honestidad de los
responsables del proceso.
Proceso VII. Procesamiento de la informacin y calificacin
Para los sustentantes, el aspecto ms importante tras resolver su examen es el proceso de calificacin.
Ellos necesitan tener la certeza de que sus resultados son obtenidos correctamente, es decir que son
calificados sin error y con imparcialidad. Ofrecer garantas sobre la seguridad de los procedimientos
de calificacin se basa en altos estndares de calidad y confidencialidad en la lectura y calificacin de
las respuestas de los sustentantes.
En este trayecto de la metodologa se procesa la informacin recolectada durante la aplicacin y se
realizan las siguientes fases:
19. Lectura y correccin
20. Establecimiento de puntos de corte
21. Equiparacin
22. Calificacin
23. Validacin de resultados
En el caso de pruebas con referencia al criterio, en este proceso se hace un anlisis para establecer
los rangos de puntuacin aplicables a los niveles de desempeo que se darn en los resultados. Por otra
parte, como garanta de equidad se emplean procedimientos de equiparacin entre versiones para que
midan de manera equivalente a todos los sustentantes.
La calificacin de los sustentantes debe ser precisa y libre de errores. As, el Ceneval ha establecido
los mecanismos para corroborar los procesos y productos de cada fase, cuenta con ciclos de autocontrol que alertan sobre la necesidad de auditar la calificacin de alguna aplicacin.
La calificacin validada es la base para la emisin de resultados, objetivo del siguiente proceso de la
metodologa.
Metodologa Ceneval
23
24
Las guas para los sustentantes informan de los contenidos que evala el examen. En ellas tambin se
explica el propsito de la evaluacin, los instrumentos, sus caractersticas, las formas de aplicacin y la
entrega e interpretacin de los resultados.
Este material es un medio por el cual el sustentante conoce las condiciones previstas para la resolucin del examen. Su contenido debe ser adecuado a la capacidad de los sustentantes, de modo que
todos comprendan el proceso en que participan. De esta manera se logra la estandarizacin del proceso, lo que favorece que los resultados de la evaluacin sean una evidencia de los conocimientos, habilidades y desempeos de los sustentantes.
Manual tcnico del instrumento
Metodologa Ceneval
25
Cuestionario de contexto
Bajo este rubro se agrupan un conjunto de materiales que se requieren para la aplicacin del instrumento, a saber: las hojas de respuesta utilizadas en los exmenes de lpiz y papel para que los sustentantes consignen sus respuestas; los formularios de consulta que se entregan a los sustentantes a fin
de garantizar que todos cuentan con la informacin tcnica y frmulas disciplinares (cientficas) estandarizadas; las encuestas de salida para recabar la opinin de los sustentantes y el formato de la carta de
confidencialidad que deben firmar, entre otros.
Publicacin en el portal del Ceneval
Con la intencin de proporcionar informacin suficiente y oportuna a los usuarios, instituciones o personas, est prevista en la metodologa la elaboracin de materiales con los contenidos necesarios para
que la informacin actualizada y completa sea difundida en el sitio web, independientemente de otros
medios que se utilicen en esta tarea.
26
27
28
| Bibliografa
American Educational Research Association, American Psychological Association and National
Council on Measurement in Education (1999). Standards for Educational and Psychological Testing. Washington, DC: American Educational Research Association.
Centro Nacional de Evaluacin para la Educacin Superior, A.C. (2012). Reglamento de los consejos tcnicos de los exmenes, Mxico, Ceneval.
Centro Nacional de Evaluacin para la Educacin Superior, A.C. (2013a). Lineamientos para la construccin de reactivos de opcin mltiple, Mxico, Ceneval.
Downing, S.M. y Haladyna T.M. compiladores. (2012). Manual para el desarrollo de pruebas a gran escala.
Mxico, Ceneval.
Fishman, J.A. & Galguera, T. (2003). Introduction to Test Construction in the Social and Behavioral Science.
A Practical Guide. Oxford, UK: Rowman & Littlefield Publishers.
Joint Committee on Standards for Educational Evaluation (1994). The Program Evaluation Standards.
Thousand Oaks, CA: Sage Publications
Rust, J. & Golombok, S. (2000). Modern Psychometrics: The Science of Psychological Assessment (3rd Edition). London: Routledge.
Bibliografa
29
El Centro Nacional de Evaluacin para la Educacin Superior es una asociacin civil sin
fines de lucro constituida formalmente el 28 de abril de 1994, como consta en la escritura
pblica nmero 87036 pasada ante la fe del notario 49 del Distrito Federal.
Sus rganos de gobierno son la Asamblea General, el Consejo Directivo y la Direccin
General. Su mxima autoridad es la Asamblea General, cuya integracin se presenta a
continuacin, segn el sector al que pertenecen los asociados:
Asociaciones e instituciones educativas: Asociacin Nacional de Universidades e Instituciones
de Educacin Superior, A.C.; Federacin de Instituciones Mexicanas Particulares de Educacin Superior, A.C.; Instituto Politcnico Nacional; Instituto Tecnolgico y de Estudios
Superiores de Monterrey; Universidad Autnoma del Estado de Mxico; Universidad
Autnoma de San Luis Potos; Universidad Autnoma de Yucatn; Universidad Nacional
Autnoma de Mxico; Universidad Popular Autnoma del Estado de Puebla; Universidad
Tecnolgica de Mxico.
Asociaciones y colegios de profesionales: Barra Mexicana Colegio de Abogados, A.C.; Colegio
Nacional de Actuarios, A.C.; Colegio Nacional de Psiclogos, A.C.; Federacin de Colegios y Asociacin de Mdicos Veterinarios y Zootecnistas de Mxico, A.C.; Instituto
Mexicano de Contadores Pblicos, A.C.
Organizaciones productivas y sociales: Academia de Ingeniera, A.C.; Academia Mexicana de
Ciencias, A.C.; Academia Nacional de Medicina, A.C.; Fundacin ICA, A.C.
Autoridades educativas gubernamentales: Secretara de Educacin Pblica.
Ceneval, A.C., EXANI-I, EXANI-II son marcas registradas ante la Secretara
de Comercio y Fomento Industrial con el nmero 478968 del 29 de julio de 1994.
EGEL, con el nmero 628837 del 1 de julio de 1999, y EXANI-III, con el nmero
628839 del 1 de julio de 1999.
Inscrito en el Registro Nacional de Instituciones Cientficas y Tecnolgicas del Consejo
Nacional de Ciencia y Tecnologa con el nmero 506 desde el 10 de marzo de 1995.
Miembro de la International Association for Educational Assessment.
Miembro de la European Association of Institutional Research.
Miembro del Consortium for North American Higher Education Collaboration.
Miembro del Institutional Management for Higher Education de la OCDE.