PERSONA Y SOCIEDAD

Universidad Alberto Hurtado Instituto Latinoamericano de Doctrina y Estudios Sociales ILADES

Aplicación de valor agregado en el contexto de un modelo descentralizado de evaluación de la calidad y eficacia escolar

Orlando Mella1
Resumen En este artículo se presentan los antecedentes conceptuales y la metodología de trabajo de la aplicación de la técnica denominada Valor Agregado en la evaluación de los aprendizajes de un grupo de establecimientos de la Región Metropolitana. A través del método se evalúa el progreso escolar entendido como el puntaje del alumno o del establecimiento que surge de la diferencia entre el puntaje predicho a partir de una primera evaluación y el puntaje efectivamente obtenido por ellos en la segunda. En este artículo se analiza, además, algunos de los factores asociados a dicho progreso.

Introducción
Durante los años 2001 y 2002, un equipo de investigadores de CIDE, ha estado elaborando un modelo orientado a profundizar en las perspectivas y metodologías utilizadas en la medición de la calidad de los resultados escolares. Presentamos a continuación resultados de las primeras aplicaciones, mostrando el estado actual de la reflexión y configuración de un modelo que está en la fase de aplicación inicial. El modelo se orienta a posibilitar en un establecimiento educacional la evaluación diagnóstica, la intervención tendiente a innovar en procesos y la rendición de cuentas con resultados obtenidos, permitiendo identificar los as-

pectos perfectibles de la labor de los establecimientos. El modelo evaluativo implica poner centralmente los temas de calidad, eficacia y equidad, en educación, en el sentido de analizar el peso diferencial tanto de las variables intrasistema como las externas al sistema escolar para explicar los resultados o productos del sistema educativo. El modelo de análisis evaluativo con los resultados que mostraremos, dice relación no sólo con la calidad de la educación sino que también con la equidad y el de la eficacia escolar. El problema de la equidad en el sistema educacional se ha traducido en las décadas

1

Phd. Sociología. Investigador del CIDE. Coordinador de Red Latinoamericana de Documentación Educativa (REDUC)

179

Una escuela será eficaz si promueve el desarrollo de todos y cada uno de sus alumnos. De esta forma. Cuando el problema de la equidad ya no es principalmente el de cobertura sino más precisamente respecto de qué resultados obtiene la escuela. se plantea el problema de la eficacia.PERSONA Y SOCIEDAD Universidad Alberto Hurtado Instituto Latinoamericano de Doctrina y Estudios Sociales ILADES pasadas en el acceso desigual al sistema educacional. Como lo hemos señalado. también es importante estudiar su eficacia diferencial. Por tanto. un centro será eficaz si su valor añadido (el rendimiento de los alumnos ajustado por el rendimiento inicial y la situación social. económica y cultural de su familia. que surge de la . compensar las diferencias de partida. bien sea los alumnos respecto a las alumnas. cultural y económica. donde colegios particulares pagados obtienen cada vez mejores resultados y los colegios municipalizados o públicos obtienen cada vez peores resultados escolares. Técnicamente. o los de un grupo étnico o cultural mayoritario respecto al minoritario. Diferentes investigaciones internacionales han demostrado que. es imprescindible ajustar el rendimiento de los alumnos en función de su rendimiento previo y de la situación social. Para conocer la eficacia de una escuela no sirven los datos brutos. Para conocer la eficacia de una escuela no sirven los datos brutos. el concepto de eficacia está íntimamente relacionado con el de equidad. Según esa idea. se ha demostrado que algunos centros escolares son más eficaces que otros en la promoción de mejores resultados en los exámenes. intentando. así como que algunos docentes enseñan mejor Eso no significa que todos los alumnos tengan que tener iguales resultados. Más adelante desarrollaremos los aspectos metodológicos del valor agregado. vale decir el puntaje que para cada sujeto. Actualmente se manifiesta en desigualdad respecto de lo que la escuela hace y obtiene como resultado. entendiendo como una escuela eficaz aquella que promueve de forma duradera el desarrollo integral de todos y cada uno de sus alumnos más allá de lo que sería esperable teniendo en cuenta su rendimiento inicial y su situación social. Igualmente. una escuela eficaz será aquella en el cual todos los alumnos avancen lo máximo posible. los de situación socio-económica alta respecto a los de baja. El enfoque evaluativo que se propone en el modelo y específicamente para el estudio de las variables dependientes de rendimiento cognitivo. es imprescindible ajustar el rendimiento de los alumnos en función de su rendimiento previo y de la situación social. Es lo que se ha venido llamando valor añadido educativo (o valor agregado). en ciertas escuelas. no se puede metodológicamente asumir el promedio escolar como una medida válida para analizar la eficacia de la escuela. que permite apreciar el avance de cada establecimiento a partir de sus propias potencialidades. también es importante estudiar su eficacia diferencial. intentando. incluso. es el denominado Valor Agregado. una escuela es eficaz en tanto que los residuales (lo que difiere el resultado del centro del valor previsible teniendo en cuenta su rendimiento previo) escolares sean positivos y los más elevados posibles. De esta forma. una escuela eficaz será aquella en el cual todos los alumnos avancen lo máximo posible. direc180 tos. incluso. económica y cultural de su familia. La aplicación de la técnica denominada valor agregado El modelo tiene así un sello innovativo al proponer trabajar con la técnica denominada valor agregado. directos. Aquí queremos dejar señalado la dimensión de eficacia y equidad que implica que un modelo de evaluación tenga como una de sus bases el concepto de valor agregado. Esto se ha graficado crucialmente en los resultados diferenciales que obtienen alumnos de diversas condiciones socio-económicas en las diferentes mediciones de la calidad de la educación. económica y cultural) es superior al previsto. compensar las diferencias de partida. alumnos de unos grupos tienen un rendimiento superior a los de otros. no se puede asumir el promedio escolar como una medida válida para analizar la eficacia de la escuela.

identificando aquellas escuelas que obtienen un puntaje mayor que el esperado y midiendo el grado de mejoría en los puntajes de las escuelas en períodos sucesivos. William l. pero además puede utilizarse para evaluar el progreso desarrollado por las escuelas. han sido capaces de demostrar los mejoramientos que han hecho a partir de su condición. Mediante el uso de esta técnica. ciencia. Sandra P. escuelas norteamericanas. el que no haya progresado tendrá un valor agregado negativo. En España se puede citar la experiencia 2 SANDERS. lectura. Las materias en torno a las cuales se mide logro son matemáticas. una vez que se controlan efectos externos a la escuela. El valor agregado permite determinar la contribución que la escuela ha hecho. conduce así a nuestro juicio. aparecen atribuidas a ésta. 181 .PERSONA Y SOCIEDAD Universidad Alberto Hurtado Instituto Latinoamericano de Doctrina y Estudios Sociales ILADES diferencia entre un puntaje predicho y el puntaje efectivamente obtenido por él. Una descripción acabada de su metodología puede consultarse en Bock & Wolfe (1996). no haciéndola por una parte asumir responsabilidades que no son suyas. por ejemplo en el estado de Tennessee en USA donde ha sido aplicado durante los años 90 y por casi diez años. 1998. cuando se utilizan exclusivamente enfoques no ajustados de datos brutos. De acuerdo con la predicción establecida a partir de la medición inicial. mientras que quien haya hecho un progreso correspondiente al promedio de los alumnos tendrá un valor agregado cero. Horn. Research Findings from the Tennessee Value-Added Assessment System (TVAAS) Database: Implications for Educational Evaluation and Research. El puntaje predicho se obtiene a partir de la recta de regresión que representa la forma de distribución de los resultados para un sujeto en un período determinado. lenguaje y estudios sociales. se controla anualmente a todos los estudiantes entre los grados 3° y 8° en el contexto del así llamado Tennessee Comprehensive Assessment Program (TCAP). el alumno o el establecimiento que haya progresado durante el período considerado obtendrá un valor agregado positivo. padres y docentes acerca del logro escolar individual de los alumnos. El enfoque evaluativo escogido ha sido desarrollado en varios países. a un reconocimiento y recompensa de las escuelas “eficaces” y motivan a las demás escuelas a reproducir las características de dichos establecimientos. hemos por tanto tratado de determinar el progreso escolar justo que tiene cada alumno y cada escuela. Uno de los méritos más importantes del enfoque es que permite una apreciación más justa de la contribución de la escuela. 1998)2 . University of Tennessee Value-Added Research and Assessment Center. En Tennessee por ejemplo (ver William l. como así mismo otras variables concomitantes a la situación inicial. que en una asignatura determinada tenía un estudiante al iniciar la etapa para la cual se está calculando el valor agregado. Sanders y Sandra P. El enfoque del “valor agregado” de la escolaridad. lo que hubiera sido imposible utilizando sistemas nacionales de medición de la calidad (Sanders y Horn 1994). Se producen así mismo informes con datos agregados a nivel de cada docente y escuela. Se entiende por “progreso” el puntaje para cada alumno o para cada establecimiento surgido de la diferencia entre el puntaje predicho a partir de una primera evaluación y el puntaje efectivamente obtenido por ellos en la segunda. Los resultados son usados para informar a estudiantes. en especial al tomar en cuenta en el análisis las características del alumno en variables contextuales como nivel socioeconómico y nivele educacional de los padres. las que no siendo de responsabilidad de la escuela. Tanto desde la perspectiva de la equidad como de la eficacia. y HORN.. Los resultados evaluativos utilizando valor agregado permiten dar base a informes de “accountability” o rendición de cuentas. especialmente en áreas rurales o en zonas con alumnos desaventajados. El enfoque de valor agregado se centra tanto en el progreso efectuado por los alumnos individuales.

XXVIII. 182 . Otro aspecto a discutir en relación a valor agregado es el de la norma y estandarización. y una comparación con aquellos centros que se sitúan en su mismo contexto sociocultural. Research papers in education. Mediante ella son considerados colegios de mayor calidad los que obtienen altos puntajes y colegios de menor calidad los que logran bajos puntajes. (1996). En cada centro se evalúan cuatro bloques de dimensiones: contexto sociocultural. por ejemplo. Estudies in educational Evaluation Nº 20. una experiencia de evaluación externa de 30 centros de secundaria. han puesto de relieve lo peligroso que es utilizar tablas de clasificación basadas exclusivamente en los resultados brutos ya que las escuelas que tienen un elevado nivel inicial de conocimientos tenderán a obtener mejores resultados tan sólo por este motivo. (Webster 1994)3 . La evaluación se lleva a cabo de acuerdo con un modelo multinivel y de valor agregado. Para Thomas (1998)5 es de importancia vital la cuestión de los métodos apropiados y válidos para dar cuenta de los resultados de las escuelas. nivel de aprendizaje inicial de los alumnos en una serie de áreas curriculares y de aspectos relacionados con las estrategias de aprendizaje y la metacognición. y por otra. junto con nivel de satisfacción de familias. por una parte. 3 Nº 11. en los resultados de valor añadido esas 6 Escuelas fueron clasificadas en el 25 % inferior. W. Revista Electrónica de Investigación y Evaluación Educativa. los resultados brutos no constituyen una respuesta adecuada a la interrogantes sobre la eficacia de la escuela. MORTIMORE. Los resultados de comparar resultados brutos y valor añadido en la clasificación de las escuelas indicaron que 6 centros fueron clasificados en el 25 % superior en función de los resultados brutos. En Estados Unidos los investigadores com- pararon el ranking en que el Estado de Texas había situado a las escuelas por medio del TAAS (Texas Assessment of Academic Skill) con el ranking en que quedaron las Escuelas después de calcular el valor añadido por las mismas. Comparison of value-added models for secondary school effectiveness. La información se entrega a cada centro de manera confidencial. José et al. R. 11 Nº 1THOMAS Sally (1998). Los responsables de política educativa en países europeos y americanos así como investigadores. Perspectivas. y resultados de los alumnos. (1997). 1997. Baste. Nº 1. ponen de manifiesto lo peligroso de utilizar la técnica de los puntajes brutos para clasificar las escuelas como eficaces o menos eficaces. Se trata de un proyecto longitudinal de cuatro años. señalar que la escuela que ocupaba el lugar Nº 1 en valor añadido ocupaba el lugar 20 en el TAAS. y permitir valorar la evolución de cada centro. y el segundo ocupaba el lugar 24. Los estudios relativos al valor agregado como indicador de eficacia de la escuela surgen en oposición a los métodos de investigación que la determinan según los puntajes brutos que los alumnos alcanzan en test o pruebas aplicados al final de un período. y MENDRO. THOMAS. Medir el valor añadido de la 6 eficacia de las escuelas en el Reino Unido. Vol. Esta última técnica presenta dificultades obvias (Thomas 1996). L. con el fin de cubrir el conjunto de la educación secundaria obligatoria. (1994) Effectiveness indices: A value Added approach to measuring school effect. S. De los grados 3 al 6 las diferencias eran muy notorias. P. uno realizado en Estados Unidos y otro en Inglaterra. Dos estudios. Vol. Vol. J. Como lo señala Fernández (1997)6 normalmente se ha tenido en cuenta sólo el rendimiento del 3 4 5 WEBSTER.PERSONA Y SOCIEDAD Universidad Alberto Hurtado Instituto Latinoamericano de Doctrina y Estudios Sociales ILADES de la red de evaluación de Centros de Educación Secundaria. una comparación con el conjunto de los que componen la muestra. profesorado y alumnado. procesos de centro y de aula. Desarrollo y situación actual de los estudios de eficacia escolar. Sin embargo. En Inglaterra durante 1992-1993 Thomas (1996)4 condujo una investigación similar que abarcó 402 Centros Docentes de nivel secundario. En cada dimensión se ofrece los resultados del centro. FERNÁNDEZz D.

el quien recomendó utilizar “use of pupils’ prior attainments (as measured by their Key Stage assessments) as the ‘context’ within which each school’s examinations are evaluated (Fitz-Gibbon. Se recomendó efectuar un proyecto piloto llevado a cabo por el profesor Carol FitzGabon en la Universidad de Newcastle. muchas escuelas empezaron a poner en marcha modelos propios de evaluación donde se empezaron a aplicar formas de valor agregado. habilidades académicas generales y aspectos cognitivos más que los productos específicos de aprendizaje propios de la instrucción en clase. se incluye una prueba de Lenguaje para 7º 7 Value-Added Indicators: A Powerful Tool for Evaluating Science and Mathematics Programs and Policies by Robert H. Por otra parte. por lo que no son sensibles a lo que ha sido enseñado en ese momento en el aula y. Por el contrario. evalúan en su mayoría. Meyer.PERSONA Y SOCIEDAD Universidad Alberto Hurtado Instituto Latinoamericano de Doctrina y Estudios Sociales ILADES Value Added Performance Evaluation Framework 10 Performance Outcame Measure 8 6 4 2 0 1 2 3 4 5 6 7 8 9 10 alumno en test referidos a norma. en consecuencia. los test referidos a norma que se han utilizado para medir el producto (rendimiento). Meyer. 2000)7 . 1997). El diagrama propuesto es muy simple y es el siguiente: Diseño metodológico de la aplicación en Chile de valor agregado En la batería de instrumentos considerados en el Modelo de Evaluación Descentralizada. adquisición de valores etc. El movimiento creció de tal manera que impactó en la política educativa del Reino Unido los que re-evaluaron la posibilidad de aplicar en todo el país la metodología de valor agregado. A comienzos de los años 90 se empezó a vivenciar una creciente hostilidad hacia la política gubernamental en materia de evaluación ligada a mediciones en puntajes brutos por lo que según este investigador. 2000 Department of Economics and Related Studies University of York Heslington York. No se encuentran estudios que consideren otros aspectos tales como satisfacción de los padres y estudiantes. De interés es la experiencia en el Reino Unido (Robert H. cumplimiento de objetivos. YO10 5DD 183 . este tipo de pruebas suele correlacionar con el rendimiento previo y con las variables de entrada del estudiante. el efecto de la clase y de la Escuela tiende a minimizarse.

La primera correspondería contiene 31 itemes y cuatro dimensiones: Leer al manejo de la comprensión del lenguaje Oral. además de proveer resultados por grupos de costos y plazos exigen sólo permitieron remitirse contenidos y/o por conjuntos de competencias. no sería especialmente compleja de eva3 Observed luarse ya que es posible Linear siempre grabar estímu2 0 2 4 6 8 10 los estandarizados que sean reproducidos como Leer comprensivamente textos linguísticos e icónico-linguístico de los estímulos para que los 184 . La tercera se refiere a la producción de una comunicación por parte Predicción de Resultado y Valor Agregado del examinado. comprensivamente textos lingüísticos e icónicola respuesta a estímulos auditivos. ya que en la vida diaria. Leer comprensivamente textos de ficción y sos. es singularmente compleja. Consecuentemente. si bien en algunos casos se incluye dentro de nivel de aprendizaje de determinados conteni. requeriría la determinación de lo realmente abarEsto implica una situación mucho más cado en la docencia de aula. por lo cual sólo competencias específicas.ciones estandarizadas. Metropolitana con un total de 388 alumnos.aunque la presentación de tales estímulos es to" y el " currículo logrado". pero que ítem el estímulo a que ese ítem hace referencia. también del logro de larga y costosa en su calificación. Una segunda lingüísticos de los medios masivos de comunicase referiría al manejo de la comprensión del ción. implicaría costos y tiempos notablemen. en contadas ocasiones se incluye en las evaluaentrega resultados por logros totales en la prue. las El diseño de la prueba de Lenguaje de 7º. lo cual siendo cercana a la realidad. El test tiene base curricular y está fundamentalEn el presente test. a la segunda forma antes citada.los contenidos de lectura deben ser identificados te diferentes a los incluidos en el modelo inicial. gruencia entre el denominado "currículo prescri. 10 En general la evaluación en esta temática 8 se centra exclusivamente en la segunda de las 7 nombradas. No se ha conside. La primera. solamente se incluyemente dirigido a determinar el grado de con.las evaluaciones.esencialmente distinta a lo habitual. Leer comprensivamente textos para inforlenguaje escrito. En el caso actual. La tercera. alternativas son tres. la generación de textos escriLa prueba está dirigida a determinar el tos. competencias en Lenguaje y Comunicación.marse. la respuesta a estímulos impre. en establecimientos municipalizados de la Región general no se incluyen en las evaluaciones. los ba. la inclusión del "currículo alumno debe buscar en un impreso separado del enseñado". dos y a través de ellos.PERSONA Y SOCIEDAD Universidad Alberto Hurtado Instituto Latinoamericano de Doctrina y Estudios Sociales ILADES básico. pese a lo cual. dentro de una publicación que incluye a varios Bajo el esquema de la evaluación de las una mezcla de ellos.ron ítemes que respondan a estímulos escritos. la que se aplicó a un conjunto de 14 alumnos puedan responder. ello es la 6 respuesta a estímulos escritos. de suyo más exhaustivo. la 5 respuesta a estímulos 4 orales. factible. ya que el rado en este caso.

Se aplicó la prueba en una primera oportunidad al terminar el primer semestre escolar. significado y normas del lenguaje escrito. Los resultados de ambas pruebas indican Comparación de niveles promedios en ambas pruebas 30 25 20 15 10 95 % IC 5 0 N= 53 Prueba 1 53 Prueba 2 Estadísticos descriptivos de ambas pruebas Prueba 1 Prueba 2 N 53 53 Rango 21.2642 Desv. con el valor agregado que eso significa. sobre ella.4723 4.00 12.00 18. por debajo de la línea. estableciéndose así los mínimos puntos de comparación para una cohorte de alumnos (388 alumnos que responden ambas pruebas). línea transversal. y volviéndose a aplicar al finalizar el segundo semestre del 2002.00 Máximo 30. 5.PERSONA Y SOCIEDAD Universidad Alberto Hurtado Instituto Latinoamericano de Doctrina y Estudios Sociales ILADES Reconocer partes de la oración. con un rendimiento que no supera lo predictivo. es el límite entre el rendimiento con valor agregado. típ.00 Media 20. fines de junio de 2002. Se ha trabajado calculando una recta de regresión.00 30.5283 22. Presentación de resultados a nivel de uno de los establecimientos Hemos elegido un establecimiento que de alguna manera presenta parámetros típicos del conjunto de establecimientos estudiados.5453 185 . señalada por la línea transversal. El objetivo es mostrar la aplicación de valor agregado a nivel particular de cada establecimiento educacional. clases de palabras. El siguiente gráfico describe la relación entre los resultados predichos. Por lo tanto la media estimada. donde la primera aplicación es la variable predictora y la segunda aplicación es la variable dependiente.00 Mínimo 9.

5 25.668 . y por tanto se consideran los resultados de sus alumnos en la primera prueba como variable predictora. TOTAL 2 como la variable dependiente.5 25. Para efectos de precisar este efecto establecimiento.0 22.4135 como variable predictora y la prueba a Variables predictoras: (Constante).000 tros obtenidos nos Residual 594.447 . tip.0 Frecuencia 0 Desv. la prueba 1 1 . de la rando como ya dicorregida estimación cho.5 N= 53. obteANOVA niéndose los siModelo Suma gl Media F Sig.55 Media= 22. TOTAL (test 1) tibilidad en los reb Variable dependiente: TOTAL2 (test 2) sultados de la segunda prueba a ción estándar.3 N= 53.0 186 . tip. avance en todo caso que no aparece tan significativo como debiera esperarse en el ritmo de ganancia de los conocimientos potencialmente adquiridos en un semestre de estudios.5 20. se procede a calcular Valor Agregado.5 20.5 30.302 52 mos una alta predica Variables predictoras: (Constante).00 10.0 17. el rango el que pasa de 9 puntos a 12 y la desvia- mayor homogeneización del grupo de 53 estudiantes y de un relativo mejoramiento del nivel de conocimientos.5 puntos en la segunda prueba.436 3. al comparar los partir de la primera.0 17. de cuadrados cuadrática Los paráme1 Regresión 480. En otras palabras.0 12.0 27. La media sube 2. pero sin que se produzca resultados en puntajes brutos de ambas pruebas.5 15. vale decir que podemos asumir prelimi- Prueba 1 14 12 10 8 10 6 4 20 Prueba 2 Frecuencia 2 0 Desv. guientes resultados.0 27.= 4.5 30.00 12.PERSONA Y SOCIEDAD Universidad Alberto Hurtado Instituto Latinoamericano de Doctrina y Estudios Sociales ILADES que existe un avance en los conocimientos medidos a través de ellas. bajo la premisa de que el establecimiento se compara a sí mismo. y consideModelo R R cuadrado R cuadrado Error típ.= 5. disminuyendo como era de esperarse.5 15.250 51 11.199 .051 1 480.051 41.652 señalan que teneTotal 1074.47 Media= 20. Se aplica un análisis de regresión Resumen del modelo simple. una situación tal que ambas pruebas sean coliel efecto establecimiento se manifiesta en una neales.0 22.

52605 4.19469 2.86333 residual (Valor Agregado) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 21.00 18.00 26.00 17.00 25.86037 23.00 12.36054 -5.00 24.85741 25.00 23.00 22.00 25.00 27.74696 -.30219 15.00 22.00 30.00 14.00 23.74696 25.00 20.85741 24.00 23.63946 25.00 26.63650 22.00 22.00 26.00 26.00 19.85741 20.86333 1.00 28.74696 23.00 25.36054 -4.00 18.30219 .91872 3.00 24.00 26.00 21.52605 20.00 18.36350 3.00 29.00 25.19173 25.00 23.00 19.74696 27.00 18.00 27.97082 24.00 12.00 21.00 24.00 12.00 23.13963 3.00 25.00 14.86037 1.30219 21.85741 23.47099 -4.08423 23.85741 24.14259 -2.00 26.00 28.00 21.63650 -7.00 25.63946 3.47395 3.00 18.08128 22.00 26.30514 25.00 12.14259 5.74696 -1.86333 19.25304 -.25304 -1.52605 25.85741 .00 27.36350 -3.00 22.52901 16.00 22.00 26.00 23.13963 .00 19.47395 6.00 11.00 22.00 26.69486 -.85741 23.86037 3.52309 18.00 22.69781 3.63946 18.00 28.41560 25.00 21.00 29.00 27.80827 -7.00 27.00 21.00 22.19469 -.97378 .00 16.08128 3.52605 25.63650 1.00 21.30219 4.00 27.RESULTADOS INDIVIDUALES PERSONA Y SOCIEDAD Correlativo alumno Resultado Prueba 1 DE LOS ALUMNOS/AS DEL ESTABLECIMIENTO Resultado Prueba 2 Universidad Alberto Hurtado Instituto Latinoamericano deoDoctrina y Estudios Sociales ILADES Ajuste para Error NIVLOGR Prueba 2 con Prueba 1 desde modelo lineal 22.00 24.36054 -.00 26.00 25.00 25.00 22.47395 .47099 -.86037 20.00 25.00 19.52605 20.00 13.00 16.00 22.30219 -.13963 .08128 20.00 14.08423 1.00 15.00 -.00 18.63946 25.00 18.30219 15.00 15.08128 23.00 25.97378 24.52901 19.00 24.25008 -6.14259 -5.63650 19.00 24.00 18.00 24.63650 24.08128 22.63946 21.00 25.02918 3.30219 17.30219 18.91872 1.00 25.00 9.41560 2.63946 18.86037 23.74696 18.00 19.00 14.74992 18.00 22.74696 17.00 28.00 9.63650 20.00 14.86037 25.74696 23.86037 24.19469 25.00 16.25304 -5.00 13.00 21.14259 .00 30.00 27.25304 .52309 3.63946 .00 18.14259 -.00 13.00 15.13667 Regular Muy Bueno Regular Bueno Regular Regular Bueno Regular Malo Muy Malo Bueno Malo Regular Muy Bueno Regular Bueno Malo Bueno Malo Bueno Regular Bueno Bueno Bueno Muy Bueno Regular Bueno Regular Muy Bueno Bueno Bueno Regular Regular Regular Bueno Malo Bueno Muy Bueno Muy Bueno Bueno Bueno Bueno Muy Bueno Muy Malo Malo Bueno Malo Bueno Bueno Bueno Malo Bueno Bueno 187 .08128 -4.30219 -3.19469 24.

9 puntos. pero incrementando 3 puntos. Lo apreciar cómo un conjunto importante de alum.2 71. hay que tener en consideración las siguientes 188 .3% no ligeramente por encima del punto 0.9 puntos. dependiendo de cuán respor alumno/a. el modelo predictivo El establecimiento obtiene avances signifiestableció que para ese puntaje inicial se espera. 0 en el error o residual.5 Malo 8 15.esperado según el modelo eran 17. no/a 14. Está magnitud.7 miento no le está agreTotal 53 100.1 15.7% de los alumnos/as del establecinos/as con sus resultados. Aumenta dos puntos en la prueba 2 Globalmente se refleja esta situación en el gráfico llegando a 22 puntos.8 3.1 58. El resumen para este establecimiento es el tomando en consideración los resultados del conjunto de alumnos del establecimiento (53) siguiente: que rinden ambas pruebas.7 puntos. mientras que el resto. se tiene Valor Agregado Obtuvo un puntaje de 9 en la prueba 1.8 75. tados en las materias evaluadas. por nos se desplazan desde resultados mediocres lo que su incremento es de 4.cativos con un grupo de alumnos. Lo esperado para este presumiblemente su situación es fruto de otros alumno/a era 24. aumenta a 22 puntos en la segunda.4 43.PERSONA Y SOCIEDAD Universidad Alberto Hurtado Instituto Latinoamericano de Doctrina y Estudios Sociales ILADES narmente que las pruebas miden situaciones Muy buena es la calificación para el alumrelacionadas pero distintas.4 43.0 100.5 100. Tomemos por ejemplo el alumno/a 45. calificándose Regular 13 24. Esta situación grupo importante que no es impactado por los implica que el alumno/a 45 se desvía resNIVEL DE LOGRO pecto de lo esperado Frecuencia Porcentaje Porcentaje Porcentaje en menos 3.4 vale decir el estableciMuy Bueno 7 13. Este alumno está obtePara la apreciación de estos resultados niendo valor desde su establecimiento.25 puntos y calificándosele establecimiento educacional. válido acumulado obteniendo por tanto un valor agregado neMuy Malo 2 3.establecimiento. el que obtiene un puntaje de 25 en la alumnos/as tenga necesariamente malos resulprimera prueba y de 28 en la segunda. quién obtiene 14 puntos en la primera Comparando ambos gráficos podemos prueba.5 gativo. pero establecimiento le está agregando valor cognitivo. y le basta logran ser impactados pedagógicamente por el para ser calificado como teniendo valor Agrega. incrementó y se asume que es un alumno/a al que el su puntaje a 12 puntos en la prueba 2. un 45. donde se puede analizar la forma trictivo se establezcan los márgenes. pero hay otro ba un incremento de 15. pero lo que no varía es si se tiene o no valor agregado: sobre de cálculo de Valor Agregado utilizado. estableció que lo miento presentan valor agregado de alguna esperado para ese alumno era 21.5 puntos.0 gando valor.2 13. Obtiene en la primera prueba un puntaje procesos pedagógicos del establecimiento.9 puntos. hacia mejores resultados. Una situación más clara la presenta el alumNo quiere decir que este último grupo de no/a 49. Examinemos ahora el caso del alumno 48. siguiente: tomando en consideración el conjunto de alumEl 54. lo que arroja un factores y no de lo que hace o no hace el Valor Agregado de 3. do.5 24. de 20. Bueno 23 43.0 su logro como “malo”. Las calificaciones de logro en estos resulA continuación se presentan los resultados tados pueden variar.5 puntos. también como “bueno”. pero el modelo predictivo.

5 13. estamos Valor Agregado Estandarizado examinando la cohorte en un lapso Dimensión Total de tiempo corto.4 45 40 35 30 25 20 15 10 5 0 Muy Malo Malo Regular 3. la diferencia de un semestre académico. Finalno. siendo lo aconsejaSin VA ble tener al menos un 45.3% año de diferencia Con VA para comparar.PERSONA Y SOCIEDAD Universidad Alberto Hurtado Instituto Latinoamericano de Doctrina y Estudios Sociales ILADES Porcentajes de niveles de agregación de valor 43. 189 .8 15. y al tener dos medidas adicionales en el segundo año para la misma cohorte. de 54. el efecto “establecimiento” análisis de regresión simple debe ser revisada.2 Bueno Muy Bueno contribuye el establecimiento a los resultados escolares. En tercer lugar. no se ha ajustado mos en propiedad hablar de cálculo de valor por ninguna variable considerada factor exteragregado final para un establecimiento.7% allí que en el modelo de evaluación descentralizado. la utilización de un en segundo lugar. debe ser analizado más en profundidad utilizando la técnica de análisis multinivel jerárquico. la pues introduce algunas rigideces en el pronóstico que nos permitirá precisar exactamente cuánto a partir de la aplicación de modelos lineales.1 24. mente y en cuarto lugar . hablamos de calcular en el primer año el valor agregado preliminar. lo que debe hacerse en una fase subsiguiente. podelimitaciones: primeramente.

5 55.5 60.60 54.= 4.1783 to en forma de valor 190 Frecuencia .00 60.0 47.008) vale decir.0 57.0 dos al rendimiento escolar.5 50. típ. N Mínimo Máximo Media Desv. sig 0. los establecimieninfluenciados por el hecho de que hemos debido tos con mayoría de alumnos que no viven con el promediar las variables factores asociados para padre tienden significativamente a tener peor obtener puntajes por establecimientos. Los estableciPorcentaje mientos varían entre de alumnos 44% y 60% de sus escon valor tudiantes en su impacagregado 14 44.18 Media= 54.0857 4. tip. Respecto de los resultados según valor sis serán posteriormente trabajados con multinivel agregado no tienen diferencias significativas jerárquico.resultado.0 52. Se debe hacer la Simce 2000 son estadísticamente significativas advertencia que los análisis son explorativos e (t:3. El significado de estos porcentajes debe ser interpretado en el contexto de que son análisis preliminares y que no existen otros estudios similares en el país que puedan servir como parámetro de comparación.1 N= 14. y por tanto trabajando tanto a niESTADÍSTICOS DESCRIPTIVOS vel alumno como nivel establecimiento. Los análi.20.PERSONA Y SOCIEDAD Universidad Alberto Hurtado Instituto Latinoamericano de Doctrina y Estudios Sociales ILADES Análisis de resultados inter-establecimientos Los 14 establecimientos con los que se ha trabajado presentan la siguiente situación controlando explorativamente con factores asocia- agregado. Las diferencias para los resultados en Porcentaje de alumnos con valor agregado Por establecimiento 7 6 5 4 3 2 1 0 Desv.00 45.

14.5431 13.2320 3.77.7167 56.438 sig 0.0598 4.9591 (t:2.069).1000 248. Ello implica que podemos hipotéticamente plantear que al trabajar con valor agregado no existen diferencias en sus resultados según si la mayoría de los alumnos del establecimiento vive o no con el padre.PERSONA Y SOCIEDAD Universidad Alberto Hurtado Instituto Latinoamericano de Doctrina y Estudios Sociales ILADES ANÁLISIS POR ESTABLECIMIENTO COMPARANDO LAS VARIABLES VALOR AGREGADO Y RESULTADO SIMCE 2000 EN CASTELLANO.8912 21.8571 4.1232 22. 6 7 6 7 51.6111 290.3750 52. SEGÚN SI EL ALUMNO/ALUMNA VIVE O NO CON EL PADRE estadísticos de grupo La mayor parte de los alumnos Vive o no con el padre Porcentaje de alumnos con valor agregado resultado promedio en castellano Simce 2000 si no si no N Media Desviación típ.067).3341 Los resultados de la comparación nos indican que respecto de los resultados de Castellano en Simce 2000. están significativamente afectados según el nivel de repitencia que presente el establecimiento (t:2. habiendo dicotomizado según mediana. sig 0. sig 0.065).8333 280.018) mientras que los resultados de ANÁLISIS POR ESTABLECIMIENTO COMPARANDO LAS VARIABLES VALOR AGREGADO Y RESULTADO SIMCE 2000 EN CASTELLANO. (t:-2. sig 0.5462 15. Nuevamente encontramos aquí que los resultados Simce se explican en forma significativa por esta variable (t –4.009) mientras que los resultados de Valor Agregado no están impactados por el nivel de escolaridad de la madre (t:-2. Los resultados de la comparación nos Valor Agregado no están afectados. SEGÚN SI EL NIVEL DE ESCOLARIDAD PROMEDIO DE LA MADRE Estadísticos de grupo nivel educativo de la madre. el nivel de escolaridad de la madre es significativo (t:-3.05.001) mien191 .03. indican que los resultados en Castellano de Simce 2000 promediando a nivel de establecimiento. promedio y dicotomizado Porcentaje de alumnos con valor agregado resultado promedio en castellano Simce 2000 menor que mediana mayor que mediana menor que mediana mayor que mediana N Media Desviación típ. sig: 0. Finalmente comparamos con el nivel de ingreso familiar promedio de los alumnos del establecimiento.011 sig 0. 4 9 4 9 57.5000 255.2222 3.

El gráfico siguiente nos confirma esta apreciación: Se aprecia la estrecha relación entre ambas pruebas.4167 248.9902 13. confirmando la afirmación anterior.2857 282. pues en ella también están combinados los efectos de factores externos e internos al sistema escolar. 1. SEGÚN NIVEL DE INGRESO FAMILIAR PROMEDIO DE LOS ALUMNOS DEL ESTABLECIMIENTO Estadísticos de grupo Ingreso familiar promedio y dicotomizado Porcentaje de alumnos con valor agregado resultado promedio en castellano Simce 2000 nivel de ingreso menor que mediana nivel de ingreso mayor que mediana nivel de ingreso menor que mediana nivel de ingreso mayor que mediana N Media Desviación típ.1667 tras que las diferencias de niveles de ingreso ANÁLISIS POR ESTABLECIMIENTO COMPARANDO LAS VARIABLES VALOR AGREGADO Y RESULTADO SIMCE 2000 EN CASTELLANO.8078 19.1091 10. Añadiendo a este análisis está el carácter de la prueba 1 del modelo de evaluación que aplicamos.7933 3. a nivel de establecimiento. en tanto nuestra hipótesis es que el valor agregado muestra el efecto de factores netamente escolares.3755 7 6 7 6 52.8650 24. Están midiendo cosas distintas. Es importante en todo caso dejar establecido que lo que Valor Agregado mide no implica una contradicción con lo que mide Simce. sino que se trata de dimensiones diferentes que incluso se pueden complementar. 3.03 sig .4167 252. .PERSONA Y SOCIEDAD Universidad Alberto Hurtado Instituto Latinoamericano de Doctrina y Estudios Sociales ILADES ANÁLISIS POR ESTABLECIMIENTO COMPARANDO LAS VARIABLES VALOR AGREGADO Y RESULTADO SIMCE 2000 EN CASTELLANO.0714 56. Los análisis nos orientan a concluir que no existe relación entre el resultado en castellano del Simce 2000 y el resultado en Valor Agregado. probablemente el resultado de Simce muestra el resultado combinado de factores extra-escolares y escolares.8571 286. Existiría en cambio una lógica distinta en lo que se refiere a lo que mide Simce y lo que mide valor Agregado. tal como lo muestra el gráfico siguiente. SEGÚN NIVEL DE REPITENCIA PROMEDIO DEL ESTABLECIMIENTO Estadísticos de grupo Repitencia promedia y dicotomizada Porcentaje de alumnos con valor agregado resultado promedio en castellano Simce 2000 mayor repitencia que mediana menor repitencia que mediana mayor repitencia que mediana menor repitencia que mediana N Media Desviación típ.1667 familiar no logran explicar las variaciones en valor agregado entre los establecimientos (t:1.9286 55.8409 6.0307 7 6 7 6 52. donde explícitamente hemos señala192 do que esa prueba debe coincidir en gran medida con el resultado de Simce.325).

PERSONA Y SOCIEDAD Universidad Alberto Hurtado Instituto Latinoamericano de Doctrina y Estudios Sociales ILADES Comparación entre resultado Simce 2000 castellano y prueba Resultado promedio en castellano Simce 2000 340 320 300 280 260 240 220 16 18 20 22 24 26 28 Puntaje promedio lenguaje test 1 Comparación valor agregado y Simce castellano 2000 70 60 50 40 30 20 10 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Porcentaje de alumnos con valor agregado resultado promedio en castellano Simce 2000 350 300 250 200 150 100 50 0 193 .

56 25.43 1.17 7. alto nivel de repitencia.42 23. nivel también medio en las expectativas de los padres respecto del futuro educacional de sus hijos/as. 10. muy bajo nivel de horas de estudio en el hogar por parte de los alumnos.14 .90 3.48 16. De acuerdo con la predicción establecida a partir de la medición inicial.72 24.25 8. mediante la cuál.2 54. un nivel de escolaridad de la madre relativamente medio.35 1. 25.16 6.11 1. 1. nivel bajo educativo de la madre. 194 Síntesis de resultados Se han presentado resultados de la aplicación de la técnica denominada Valor Agregado.50 7.10 3.2 54.13 27. una vez que se controlan efectos externos a la escuela. El establecimiento que tiene el valor agregado más bajo tiene un resultado medio en la prueba Simce (comparativamente en este grupo de establecimientos). 6.31 1.34 1.2 54.38 33. 2una vez.88 11.91 1. tanto desde la perspectiva de la equidad como de la eficacia.33 1.18 4.89 27. el alumno o el establecimiento que haya progresado durante el período considerado obtuvo un valor agregado positivo.15 11.54 1.00 27.37 1.PERSONA Y SOCIEDAD Universidad Alberto Hurtado Instituto Latinoamericano de Doctrina y Estudios Sociales ILADES establecimiento Porcentaje de alumnos con valor agregado resultado promedio en Simce 2000 Vive con el castellano (1si.10 2.14 5.07 18.47 1. un nivel relativamente medio en horas destinadas al estudio.07 2. un nivel bajo en repitencia. 1.00 26.54 14. El mejor establecimiento con valor agregado tiene un nivel comparativamente medio (en este grupo de establecimientos) en la prueba Simce en castellano.48 5.33 1.10 . mientras que quien haya hecho un progreso correspondiente al promedio de los alumnos tuvo un valor agregado cero.36 7.25 .41 17.38 1.22 .35 1. nivel medio en el ingreso familiar.05 1. 2. nivel medio (en el grupo que se compara) en el ingreso familiar. relativamente bajas expectativas educacionales de los padres respecto de los hijos. 2no) Nivel educativo madre (1 a 48) repitencia (1no. el que no haya progresado tuvo un valor agregado negativo.86 2.52 3.18 1. se ha tratado de determinar el progreso escolar justo que tiene cada alumno y cada escuela.6 59.01 1.85 12.14 1.5 52.3 51.23 1.13 2. tiene un nivel bajo en la problemática de familias sin el padre.7 54.7 50 44 275 324 283 282 256 246 281 234 238 260 233 261 248 272 1.64 17.08 1.90 6.60 3.23 1. 2 varias veces) Horas de Expectativas estudio a la educacionales semana para el hijo/a (1 a 40) Ingreso familiar (1 a 13) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 60.22 1.68 11.55 3.62 12.1 52.68 5.73 13.96 34. La aplicación de esta técnica se basa en los planteamientos que indican lo peligroso que es utilizar tablas de clasificación basadas exclusivamente en los resultados brutos ya que las .32 Presentamos finalmente un cuadro resumen con factores asociados y resultados escolares tanto en este modelo de evaluación como en Simce. tiene nivel alto de alumnos que no viven con el padre.12 24.35 28. Se entiende por “progreso” el puntaje para cada alumno o para cada establecimiento surgido de la diferencia entre el puntaje predicho a partir de una primera evaluación y el puntaje efectivamente obtenido por ellos en la segunda.11 3.19 .05 11.84 14.04 1.3 59 55.46 .13 3.4 55.45 27.70 5.75 4.38 1.

En la misma línea de resultados obtenidos en Estados Unidos y el Reino Unido al comparar resultados de Valor Agregado con resultados de mediciones nacionales. el efecto establecimiento se manifiesta en una mayor homogeneización del grupo de 53 estudiantes y de un relativo mejoramiento del nivel de conocimientos. El 54.3% no logran ser impactados pedagógicamente por el establecimiento. la media sube 2. en tanto nuestra hipòtesis es que el valor agregado muestra el efecto de factores netamente escolares. Los resultados de Valor Agregado no están afectados por los niveles de repitencia lo que sí ocurre con los resultados Simce. disminuyendo como era de esperarse. 195 .7% de los alumnos/as del establecimiento presentan valor agregado de alguna magnitud. En otras palabras. al trabajar con valor agregado se constató que no existen diferencias en sus resultados según si la mayoría de los alumnos del establecimiento vive o no con el padre lo que sí sucede con los resultados Simce en castellano.PERSONA Y SOCIEDAD Universidad Alberto Hurtado Instituto Latinoamericano de Doctrina y Estudios Sociales ILADES escuelas que tienen un elevado nivel inicial de conocimientos tenderán a obtener mejores resultados tan sólo por este motivo. mientras que el resto. El significado de estos porcentajes debe ser interpretado en el contexto de que son análisis preliminares y que no existen otros estu- dios similares en el país que puedan servir como parámetro de comparación. para un establecimiento elegido reflejando parámetros típicos para el grupo estudiado. probablemente el resultado de Simce muestra el resultado combinado de factores extra-escolares y escolares. Están midiendo cosas distintas. Trabajando primeramente en un análisis intra-establecimiento. Efectuando controles preliminares de factores asociados. a nivel de establecimiento. el rango el que pasa de 9 puntos a 12.5 puntos en la segunda prueba. los establecimientos varían su impacto en forma de valor agregado entre 44% y 60% de sus estudiantes. Igualmente se constató que los resultados de Valor Agregado no están impactados por el nivel de escolaridad de la madre lo que sí sucede con los resultados Simce. Al efectuar análisis inter-establecimiento. En la batería de instrumentos considerados en el Modelo de Evaluación Descentralizada. la que se aplicó a un conjunto de 14 establecimientos municipalizados de la Región Metropolitana con un total de 388 alumnos. un 45. se incluye una prueba de Lenguaje para 7º básico. Las diferencias de niveles de ingreso familiar no logran explicar las variaciones en valor agregado entre los establecimientos en cambio sí explican los resultados Simce. no existe relación entre el resultado en Castellano del Simce 2000 y el resultado en Valor Agregado. al comparar los resultados en puntajes brutos de ambas pruebas.

Medir el valor añadido de la eficacia de las escuelas en el Reino Unido. Vol. R. Revista Electrónica de Investigación y Evaluación Educativa. R. Part I: Audit and review of the Tennessee ValueAdded Assessment System (TVAAS): Final report. Nº 1. A. Perspectivas. y MENDRO. Desarrollo y situación actual de los estudios de eficacia escolar. 196 . Vol XXVIII. W. Effectiveness indices: A value Added approach to measuring school effect. The Tennessee ValueAdded Assessment System (TVAAS): Mixed-model methodology in educational assessment. C. N. L. W....PERSONA Y SOCIEDAD Universidad Alberto Hurtado Instituto Latinoamericano de Doctrina y Estudios Sociales ILADES BIBLIOGRAFIA BOCK. D. P. HORN. William l. (1996). TN: Comptroller of the Treasury. (1994). R... Methods and Effectiveness in Advanced GNVQ Teaching and Learning. Research Findings from the Tennessee ValueAdded Assessment System (TVAAS) Database: Implications for Educational Evaluation and Research. National Council for Vocational Qualifications. L. SANDERS. (1994). 1997. Nashville. (1997).. 11 Nº 1 THOMAS. Robert H. SANDERS. D. (1996. José et al.. 299-311. WEBSTER. 8. y WOLFE. Vol. FITZ-GIBBON. 3 Nº 11 MEYER. MEAGHER. University of Tennessee Value-Added Research and Assessment Center. HORN. Comparison of valueadded models for secondary school effectiveness. Estudies in educational Evaluation Nº 20. THOMAS S Mortimore. FERNÁNDEZ D. R. Research papers in education. (1997). Value-Added Indicators: A Powerful Tool for Evaluating Science and Mathematics Programs and Policies Department of Economics and Related Studies University of York Heslington York. March 15). EDWARS. J. S. Sandra (1998). HAYWOOD. Journal of Personnel Evaluation in Education. A review and analysis of the Tennessee Value-Added Assessment System. (2000). Sally (1998).