You are on page 1of 8

La evaluacin de la secundaria Jorge Hernndez Uralde Introduccin El Centro Nacional de Evaluacin para la Educacin Superior A.C.

(Ceneval) se crea en febrero de 1994, por acuerdo de la Coordinacin Nacional para la Planeacin de la Educacin Superior (Conpes), en respuesta a una recomendacin de la ANUIES. Su estado jurdico es el de una Asociacin Civil y sus objetivos fundamentales son: disear, elaborar, aplicar y calificar exmenes indicativos, de alcance nacional, para los niveles medio superior y superior del pas. El Ceneval ofrece, en la actualidad, tres tipos de instrumentos de evaluacin con carcter nico, nacional e indicativo: Examen Nacional de Ingreso a la Educacin Media Superior (Exani I), Examen Nacional de Ingreso a la Educacin Superior (Exani II) y Examen General de Calidad Profesional (EGCP). De stos, el que ha alcanzado mayor cobertura es el Examen Nacional de Ingreso a la Educacin Media Superior (Exani I); es un instrumento diseado para identificar el nivel de desempeo acadmico que presentan los aspirantes a ingresar a la educacin media superior, respecto a habilidades y conocimientos considerados esenciales para cualquier egresado de educacin secundaria en el pas; por ello, los resultados derivados de sus aplicaciones pueden observarse tambin a manera de un indicador significativo de evaluacin del egreso del sistema de educacin secundaria a nivel nacional, aunque, como trataremos de explicar a continuacin, nicamente en trminos relativos. Entre mayo de 1994 y septiembre de 1995, distintas versiones del Exani I se aplicaron en 29 entidades federativas del pas, 70 instituciones y 700 planteles escolares a poco ms de 650 mil jvenes aspirantes a ingresar al nivel medio superior. Nuestro programa del ciclo 1996-1997 previo aplicaciones a aproximadamente 450 mil jvenes, contando entre ellos a los 260 mil que participaron en el Concurso de Seleccin 1996, al que convoc la Comisin Metropolitana de Instituciones Pblicas de Educacin Media Superior de la Ciudad de Mxico. A dos aos de su primera aplicacin formal, el Exani I ha mantenido, en lo fundamental, sus propsitos, estructura y composicin originales. 1. Se trata de un instrumento de evaluacin objetiva que pretende cumplir bsicamente con dos propsitos: a. Dotar a las instituciones de educacin media superior de elementos de juicio para realizar un proceso equitativo y objetivo de seleccin de los aspirantes. b. Informar a los principales agentes educativos (autoridades, instituciones, maestros, estudiantes y sociedad en general) acerca del estado que guardan poblaciones e individuos respecto de habilidades y conocimientos considerados esenciales en un aspirante a ingresar en alguna institucin de nivel medio superior.

2. Se estructura con 120 reactivos (128 para el caso de su aplicacin en la zona metropolitana de la Ciudad de Mxico) de opcin mltiple, organizados en dos reas, una en la que se miden habilidades cognoscitivas de orden genrico (verbal y matemtica) y otra en la que se miden conocimientos y habilidades especficos, en ocho campos temticos: Espaol, Literatura, Historia, Geografa, Matemticas, Fsica, Qumica y Biologa.
Estructura del Exani I Distribucin de reactivos Habilidades Total de Conocimientos Total de Habilidades reactivos disciplinarios reactivos disciplinarias Matemticas 12 Matemticas 6 Matemticas Verbal 12 Espaol 6 Espaol Historia 6 Historia Literatura 6 Literatura Geografa 6 Geografa Fsica 6 Fsica Qumica 6 Qumica Biologa 6 Biologa 24 48

Total de Total reactivos global % 6 24 20 6 24 20 6 12 10 6 12 10 6 12 10 6 12 10 6 12 10 6 12 10 48 120 100

3. Se compone de reactivos cuyo rango de dificultad vara entre 0.27 y 0.73, y que simultneamente alcanzan un ndice de discriminacin, en el grupo de mejores calificaciones, superior a 30% respecto al grado de dificultad. La organizacin en cada seccin del examen deriva del cumplimiento de tres criterios: a) Representar fielmente, mediante muestreo, los aprendizajes considerados esenciales respecto a esta situacin de trnsito entre la secundaria y la educacin media superior. b) Mantener en promedio un grado de dificultad de 0.50, incluyendo niveles fciles, difciles y medios. c) Incluir un nmero predeterminado de reactivos comunes y de reactivos equivalentes en todas las versiones del examen para permitir su equiparacin, al mismo tiempo que incorporar un nmero reducido de reactivos experimentales con el fin de incrementar progresivamente el banco disponible. El Exani I es entonces un instrumento estandarizado, de ejecucin tpica, diseado para identificar desde los sustentantes menos aptos hasta los ms aptos, diferencindolos segn las habilidades y conocimientos que poseen. Por ello, la escala 0-10 que todos conocemos en la educacin bsica no tiene sentido en un examen de ejecucin tpica como el Exani I, en virtud de que ste ha sido diseado para que el promedio de la poblacin se mantenga alrededor de 50% de aciertos,

que 66% de la misma se ubique entre 38 y 62% de aciertos y que una calificacin de 90% o ms slo sea alcanzada, en teora, por menos de 2% de la poblacin. Por tanto, en estricto sentido, en este examen no se aprueba o se reprueba, ni permite tampoco sacar conclusiones absolutas sobre el nivel de aprovechamiento escolar alcanzado por la poblacin participante; sin embargo, s resulta una herramienta til como parmetro comn de comparacin de individuos y agrupamientos en el contexto nacional o regional a lo largo del tiempo, siempre y cuando demuestre ser un instrumento vlido y confiable en sus diferentes aplicaciones. Algunos resultados significativos Respecto de los resultados obtenidos en los periodos de aplicacin 1994-1995 y 1995-1996, interesa destacar aqu slo algunos de los ms significativos, enfatizando que, por coincidencia, estos resultados permiten comparar al mismo tiempo el desempeo de la primera generacin formada con el nuevo plan de estudios por asignaturas del nivel medio bsico y la ltima generacin egresada con los planes anteriores.

Geo.

Lit. Qui. His. Bio. Esp. Hu. Fis. Hm. Mat.

Comparativo global nacional del porcentaje de aciertos 1994-1995

Lo primero que vale la pena destacar es que el promedio nacional de respuestas correctas, en el periodo 1995-1996, fue de 43.77, con una desviacin estndar de 13.3, lo que significa que en promedio nuestros egresados de secundaria del ciclo lectivo 1995-1996 contestaron de manera correcta 52 reactivos de los 120 posibles y que aproximadamente 80% de la poblacin se encuentra por abajo de 57% de respuestas correctas; es decir, por abajo de los 68 aciertos en 120 posibles. Contrastando estos con los obtenidos en el periodo 1994-1995 encontramos un comportamiento consistente en la poblacin participante, ya que en este periodo se obtuvo una media nacional de aciertos de 41.74% con una dispersin de 13.9. Es decir, la diferencia bruta entre medias de ambos periodos es de slo 1.98. Esta apreciacin, asociada al ndice de equivalencia obtenido (de 95%), al aplicar a los dos conjuntos de datos la frmula de traslapamiento de Tilton (donde un

traslapamiento cercano a 100% indica que los instrumentos son prcticamente iguales), nos permite ir que se aplicaron versiones equivalentes de un mismo instrumento en los dos de aplicacin considerados y, con ello, que es posible la comparabilidad de datos obtenidos en stos. Si se observan los resultados en trminos de las secciones que componen el en, encontramos que en el periodo 1995-1996, las que presentan una media por de la media nacional de este ao (43.77) son: Matemticas (con 39.65), Literatura (con 38.69), Biologa (con 38.56) y Fsica (con 37.84); en contraste con lo encontrado en el periodo 1994-1995 donde las secciones por abajo de la media de ese ao (41.74) fueron: habilidad verbal (con 40.23), Fsica (con 39.23), habilidad matemtica (con 37.47) y matemticas (con 37.29). Puede decirse entonces que Fsica y Matemticas son las secciones que aparecen consistentemente como las de menor porcentaje de respuestas correctas, como las ms difciles del examen, en ambos periodos de aplicacin. Entre un ao y otro, las diferencias encontradas slo resultan significativas para las secciones de: Habilidad verbal, que incrementa 10.4 puntos porcentuales en el periodo 19951996. Habilidad matemtica, que incrementa 9.7 puntos porcentuales en el periodo 1995-1996. Qumica, que incrementa 6.3 puntos porcentuales en el periodo 1995-1996. Literatura, que disminuye 5.9 puntos porcentuales en el periodo 1995-1996. Biologa, que disminuye 4.6 puntos porcentuales en el periodo 1995-1996. Respecto de estas diferencias nos atrevemos a adelantar algunas posibles explicaciones, aunque de carcter muy general: Respecto a la diferencia sealada en la seccin de habilidad verbal, cabe destacar que el incremento en el porcentaje de respuestas observado en el periodo 1995-1996, se encuentra tambin reflejado en el comportamiento estadstico de los reactivos comunes de ambos periodos de aplicacin (reactivos que, ya lo dijimos, se encuentran presentes en todas las versiones de Exani I en 1994-1995 y 1995-1996); es decir, los sustentantes del periodo 1995-1996 tuvieron un mejor desempeo en estos reactivos comunes (media = 52) que los sustentantes del periodo 1994-1995 (media = 48) lo que impide pensar en que simplemente esta seccin tuviera un nivel de dificultad menor en el periodo 1995-1996. En nuestra opinin, el factor explicativo ms a la mano aqu, sobre el que habra que profundizar en su momento, consiste en recurrir al cambio ms notorio entre una generacin y otra: la modificacin sufrida en los planes de estudio de la educacin secundaria, cuya primera generacin egres justamente en el ciclo escolar 1994-1995. El nuevo plan de estudios, organizado por asignaturas, enfatiza, por cierto, el desarrollo de habilidades ms que el aprendizaje mecnico de reglas y procedimientos.

En el caso del incremento sealado en la seccin de habilidad matemtica entre la primera y la segunda aplicacin, tambin se encontr un comportamiento estadstico equivalente en los reactivos comunes a ambos periodos de aplicacin. La media de respuestas correctas, en los reactivos comunes, obtenida por los sustentantes del periodo 1995-1996 fue igual a 48, significativamente mayor a la obtenida por los aspirantes del periodo 1994-1995 que fue de 37. La explicacin dada al incremento en el porcentaje de respuestas correctas para el caso de la seccin de habilidad verbal podra ser generalizable para el incremento observado en la seccin de habilidad matemtica. En el caso de la seccin de Literatura, el decremento detectado en los puntajes del periodo 1995-1996 se observa tambin en los reactivos comunes de ambas aplicaciones. La media del periodo 1994-1995 en estos reactivos comunes fue de 39.8, mientras que la del periodo 1995-1996 fue de 35.7. En este caso, habra que sealar que en los planes de estudio reformados de secundaria se le da una nueva orientacin al estudio de este campo disciplinario que, bajo el rubro de recreacin literaria, pretende que el estudiante conozca y se familiarice con las obras y el anlisis literario, poniendo especial nfasis en la lectura de autores hispanoamericanos, mientras que en el plan anterior se pretenda lograr en el estudiante un dominio ms amplio y preciso en torno a corrientes y gneros literarios, autores y obras representativas. Habra que aadir que esta seccin present problemas de correlacin con algunas otras secciones del examen, lo mismo que de discriminacin inversa en algunos de sus reactivos (es decir, los contestaron correctamente con mayor frecuencia los alumnos de ms bajos puntajes), por lo que, en nuestra opinin, hay que hacer un estudio detallado del perfil de validez de esta seccin del examen e incluso replantear su permanencia como una seccin independiente del mismo. En relacin con las diferencias observadas en la seccin de Biologa, el mejor desempeo de los alumnos egresados en el ciclo 1993-1994 se presenta, lo mismo en la seccin total que en los reactivos comunes presentes, en todas las versiones de ambos periodos. Para el periodo 1994-1995 se obtuvo una media en los reactivos comunes de 35.6 y para el 1995-1996 una de 33.2. Una posible explicacin al respecto podra referirse al hecho de que, mientras que en el plan de estudios de secundaria anterior se enseaban contenidos de esta disciplina en los tres aos sucesivos del ciclo, en el plan reformado slo se estudia Biologa en los dos primeros aos. En referencia al incremento de respuestas correctas en la seccin de Qumica, no es posible proponer una explicacin tentativa similar a las presentadas con anterioridad, en virtud de que la diferencia encontrada en las ejecuciones relacionadas con los reactivos comunes es incluso inversa a la encontrada en la seccin como totalidad; la media para el periodo 1995-1996 fue de 48, mientras que para el periodo 1994-1995 fue de 52. Dicho de otra manera, en apariencia tuvimos aqu un efecto de incremento del porcentaje de respuestas correctas, derivado de un nivel de dificultad menor en los reactivos utilizados en el periodo 1995-1996, respecto a los incluidos en las versiones 1994-1995.

Vamos ahora a referirnos brevemente a datos que pueden ser del inters de los lectores. Estos se construyen a partir del cruce de dos bases de datos: la derivada de nuestra hoja de registro, que recoge informacin socioeconmica, cultural y educativa de los aspirantes, con la resultante de la lectura y calificacin de la hoja de respuestas del examen. Un primer cruce de variables que puede destacarse se refiere al puntaje obtenido a prueba, considerando la escuela de procedencia de los aspirantes, segn sean pblicas o privadas. Lo primero que sobresale aqu es que el patrn de desempeo, en los periodos de aplicacin, para uno y otro caso de aspirantes, coincide plenamente; es decir, las secciones difciles, las de dificultad media y las fciles, lo son para los dos tipos de agrupaciones, aunque en proporcin diferente. Lo segundo es que, lo mismo a nivel global que a nivel especfico de las secciones, en ambos periodos de aplicacin, los egresados de secundarias privadas obtienen mejores puntajes que las pblicas, destacando el hecho de que las diferencias ms grandes que se mantienen en uno y otro periodo de aplicacin se encuentran en las secciones de Matemticas (10.2, en 5-1996 y 7.6 para 1994-1995) y Espaol (9.8 en 1995-1996 y 8.8 para 1994-1995) iras 3 y 4). Un segundo cruce de variables, que resulta interesante mencionar. es el relacionado con el puntaje alcanzado en funcin del tipo o modalidad de secundaria en que se formaron los aspirantes. El comparativo del porcentaje total de aciertos a nivel nacional muestra que el porcentaje mayor de aciertos en ambos periodos de aplicacin lo alcanzan los egresados de escuelas secundarias generales, seguidos por los egresados de escuelas secundarias tcnicas, los de secundaria abierta y, por ltimo, los de secundarias para trabajadores y los de telesecundarias. Esta superioridad de los egresados de secundarias generales est presente en todas las secciones del examen, excepto en la seccin de historia, donde los jvenes de secundarias tcnicas tuvieron un puntaje un poco mayor. Ya era de esperarse, la escolaridad de los padres juega un papel muy importante en el desempeo de los aspirantes en el examen. En los dos periodos de aplicacin comparados se ha observado que a mayor escolaridad, tanto del padre como de la madre del aspirante, se obtiene un mayor porcentaje de respuestas correctas en el examen. Otra variable de inters -que muestra una relacin positiva con el desempeo de los aspirantes en el Exani I- la constituye el nivel de ingreso mensual familiar. En el periodo 1994-1995 se observa en trminos generales que, a mayor ingreso familiar mayor porcentaje de aciertos, excepto en los casos de los aspirantes que declararon ingresos mayores a los 5 mil pesos, los cuales obtuvieron, en promedio, apenas un poco ms de 39% global de aciertos; en el periodo 1995-1996 esta tendencia se mantiene, en lo general, excepto el caso de los jvenes que declaran tener ingresos cercanos a los 3 mil pesos, pues alcanzan un porcentaje de aciertos menor en comparacin con quienes declaran ingresos familiares de mil a 2 mil pesos. La edad de los aspirantes es un factor que parece influir tambin de manera importante en el rendimiento que stos tienen en la prueba; aqu, la relacin se puede expresar sealando que a mayor edad del sustentante menor porcentaje de

aciertos correctos, acentundose este efecto en materias como Matemticas y Fsica. Por ltimo, me gustara presentar la siguiente tabla en la que podemos comparar los resultados de los dos periodos de aplicacin considerados, teniendo como punto de referencia la posicin relativa de las diferentes entidades federativas, con base en el promedio porcentual de aciertos obtenido por los sustentantes de cada entidad.
Comparativo nacional del porcentaje de aciertos por entidad federativa 1994-1995 1995-1996 52.66 51.57 Jalisco Jalisco Chihuahua Colima 45.49 51.62 Puebla 50.67 44.59 Puebla Quintana Roo 44.59 San Luis Potos 48.03 Distrito Federal 42.94 Baja California 47.92 Chihuahua Morelos 47.32 42.00 San Luis Potos 41.70 Mxico 46.83 Aguascalientes 41.61 Guanajuato 46.70 Oaxaca Aguascalientes 41.07 46.56 Baja California Colima 40.89 45.31 Veracruz 40.88 Yucatn 44.35 Sonora 40.84 Oaxaca 44.22 Baja California Sur 40.70 Quertaro 44.05 Quertaro 39.71 Hidalgo 43.87 Durango 39.46 Chiapas 43.81 Chiapas 39.35 Veracruz 43.37 Mxico Quintana Roo 39.33 43.22 Tamaulipas 38.21 Campeche 43.19 Guerrero 38.11 Zacatecas 43.19 37.71 Durango 42.73 Campeche Zacatecas Sonora 37.01 42.62 Yucatn 36.89 Tamaulipas 42.32 Hidalgo Distrito Federal 42.66 36.10 Tlaxcala 36.09 Baja California Sur 42.36 Sinaloa 35.02 Guerrero 40.95 Michoacn 33.12 Sinaloa 40.62 Tlaxcala Tabasco 32.04 40.50 37.72 Morelos 30.87 Tabasco Michoacn 37.33

Lo primero que se hace evidente en este contraste es que, en trminos generales, las entidades mantienen una posicin equiparable de un ao a otro. Si se toman, por ejemplo, los diez primeros lugares de la tabla correspondiente al periodo 1995-1996 y se comparan con los diez primeros de la tabla del periodo 1994-1995, se podr observar que slo tres casos de los diez (Morelos, Mxico y Guanajuato), no se encuentran presentes en la tabla del periodo 1994-1995. En el caso de Guanajuato, se explica porque no hubo ninguna institucin educativa de este estado que aplicara el examen en el periodo 1994-1995. En los casos de los estados de Morelos y Mxico (que en el periodo 1994-1995 se encontraban por debajo de la

media) su presencia entre los diez mejores promedios puede atribuirse a un incremento muy significativo de la poblacin participante, lo mismo que al nivel de desempeo que estas nuevas capas de poblacin aportan: en el estado de Morelos el incremento en la poblacin fue de 50.2% al incorporar a los aspirantes a ingresar a la Universidad Autnoma del estado, mientras que para el caso del Estado de Mxico, el incremento en la poblacin fue mucho mayor al pasar de 343 sustentantes a 53 853, en virtud de que en el periodo 1995 se extendi la aplicacin del Exani I a todos los subsistemas pblicos de educacin media superior del estado. Si se consideran las cinco ltimas posiciones de las tablas, se observa que cuatro casos (Tabasco, Tlaxcala, Michoacn y Sinaloa) se ubican, en ambos periodos de aplicacin, en este mismo sector. El cambio en la ubicacin relativa del estado de Guerrero puede explicarse porque en el periodo 1994-1995 se aplic el examen en los Centros de Estudio bachillerato y el Colegio de Bachilleres, mientras que en 1995-1996 slo se aplic en los Centros de Estudio de Bachillerato; el caso de Morelos qued explicado en el prrafo anterior. Para concluir, queremos sealar que -en nuestra opinin- los datos aqu presentados permiten ver que el Exani I puede ser una herramienta til en el amplio y complejo proceso de evaluacin de la educacin secundaria a nivel nacional, aunque el alcance y significado de la informacin que de l se deriva debe interpretarse dentro de los mrgenes que desde el propio diseo del instrumento se han establecido, con el fin de evitar generalizaciones excesivas o interpretaciones equivocadas. Esperamos que los datos y las reflexiones expuestas en el presente trabajo colaboren, en alguna medida, en el anlisis de la educacin secundaria de nuestro pas.

You might also like