High Quality
Open the downloaded document, and select print from the file menu (PDF reader required).
OBSERVATORIOREGIONAL DE POLÍTICASDE EVALUACIÓN EDUCATIVA
Boletín Nº21, Diciembre 2010
"El Programa de Promoción de la Reforma Educativa en América Latina y el Caribe - PREAL - es un proyecto conjunto del Diálogo Interamericano, con sede en Washington, y laCorporación de Investigaciones para el Desarrollo, con sede en Santiago de Chile. Su objetivo central es contribuir a mejorar la calidad y equidad de la educación en la regiónmediante la promoción de debates informados sobre temas de política educacional y reforma educativa, la identificación y difusión de buenas prácticas y la evaluación y monitoreodel progreso educativo.Sus actividades se realizan a través de Centros Asociados de Investigación y Políticas Públicas en diversos países de la región y comprenden la realización de estudios, laorganización de debates y la promoción de diálogos públicos sobre temas de política educacional y reforma educativa.El Grupo de Trabajo sobre Estándares y Evaluación del PREAL fue creado con el propósito de informar, legitimar y utilizar espacios de la labor de medición de resultados delaprendizaje y promover un debate informado sobre el tema de la formulación de estándares. Se coordina desde el Grupo de Análisis para el Desarrollo -- GRADE -- de Lima, Perú, ycuenta con una amplia red de participantes con los que se vincula a través de un sitio virtual desde el cuál también divulgan los resultados de estudios realizados en el marco de susactividades y promueven foros y debates sobre su contenido. Ver:Las actividades del PREAL son posibles gracias al apoyo de la United States Agency for International Development (USAID), el Banco Interamericano de Desarrollo (BID), laInternational Association for the Evaluation of Educational Achievement (IEA), GE Foundation, The Tinker Foundation, entre otros.”
http://www.preal.org/Grupo2.asp?Id_Grupo=3
El pasado 7 de diciembre se presentaron los resultados de PISA 2009. Esta es la cuarta oportunidad en que esto ocurre desde la publicación de los resultados de PISA 2000 en el año 2001. Si bien PISA tiene una presencia cada vez más importante en la agendaeducativa, las discusiones que se generan o recogen en los medios de comunicación suelen adolecer de dos problemas principales: unainsuficiente comprensión sobre la información que está siendo analizada y una lectura excesivamente politizada de los datos (en el peor sentido del término, es decir, forzando interpretaciones incorrectas pero afines a los intereses del emisor en las contiendasinterpartidarias).Ejemplos de lo primero serían:a. El acento puesto en el lugar que ocupa cada país en el ranking, ignorando los cambios en la cantidad de países participantes y lascaracterísticas de los mismos. b. El foco de atención en las puntuaciones (p. ej. “alcanzamos 458 puntos y mejoramos 23 puntos”), que están expresadas en una escalaestadística (TRI) carente de significado educativo, ya que simplemente reflejan magnitudes de las desviaciones con respecto a lamedia, algo difícil de comprender por personas sin formación en estadística.c. No tomar debidamente en cuenta que PISA mide el resultado final logrado por los estudiantes al cabo de al menos 9 años de educaciónformal (los estudiantes evaluados en PISA 2009 iniciaron la escuela primaria en el año 2000 o antes) y 15 años de formación en lafamilia y en la sociedad.Ejemplos del segundo tipo de problemas son:a. El uso de los resultados para legitimar o criticar a la administración de turno, cuya duración inevitablemente es de menor extensión quela acumulación educativa evaluada por PISA señalada anteriormente. b. Realizar análisis genéricos descalificadores de la realidad educativa y del trabajo de los docentes.c. Desde otras perspectivas, descalificar a la propia evaluación porque no se la comprende o porque la situación educativa no mejora, sinconsiderar que la mejora no es resultado de la evaluación en sí misma sino del uso reflexivo por parte de múltiples tomadores dedecisiones de la información que ella provee que se suma a criterios y datos provenientes de otras fuentes, visiones y perspectivassobre la política educativa y las prácticas de enseñanza.Como en anteriores oportunidades, los principales resultados y rankings han tenido una gran difusión en los medios en buena parte delmundo durante la semana del 7 de diciembre. Pasada esa primera ola de repercusiones, la intención de este primer Boletín sobre PISA
1
2009 es enfocar la mirada en dos temas relevantes para los países de América Latina: la tendencia en los resultados en Lectura al cabo deuna década de evaluaciones y el problema de la desigualdad en el acceso a las competencias y conocimientos evaluados.Por cierto, las páginas que siguen se apoyan en la premisa de que los datos aportados por PISA son válidos y confiables. Esto es, creemosque PISA mide conocimientos y capacidades socialmente relevantes para los estudiantes de nuestra región y que lo hace de manerarazonablemente precisa. Somos concientes de que otros actores vinculados a la educación y que conocen en profundidad la evaluaciónPISA (también los hay quienes discrepan con PISA sin comprenderla), discrepan con la pertinencia de los aspectos evaluados en las pruebas y, en otros casos, tienen dudas acerca de la precisión de las medidas de tendencia a lo largo del tiempo. Desde nuestra perspectiva,los reportes técnicos son lo suficientemente robustos, lo cual no significa que no exista error de medición, sino que el mismo está siendomedido y controlado.
UNA PRIMERA MIRADA A LOS RESULTADOS DE LOS PAISES LATINOAMERICANOSEN PISA 2009: TENDENCIAS Y DESIGUALDAD
1
1
Por razones de espacio hemos optado por concentrar el análisis en Lectura, que fue el foco principal de PISA en los años 2000 y 2009.
La Gráfica 1 presenta la evolución de los puntajes entre mediciones para los países de América Latina más Portugal, España y Finlandia.También se incluye el promedio de la OCDE.Los asteriscos indican el puntaje de cada país en cada medición. Se incluye una línea entre cada medición para representar la tendencia. En loscasos en que no hay información en alguna de las mediciones intermedias la línea se representa punteada. Los datos de Colombia comienzanrecién en 2006 y los de Uruguay en 2003. Los nombres de los países se incluyen tanto a la derecha como a la izquierda del gráfico para facilitar lalectura.
2
OBSERVATORIOREGIONAL DE POLÍTICASDE EVALUACIÓN EDUCATIVAOBSERVATORIOREGIONAL DE POLÍTICASDE EVALUACIÓN EDUCATIVA
Tendencias en los resultados en Lectura entre 2000 y 2009
Gráfica 1: Tendencias en los puntajes promedio de lectura entre 2000 y 2009Fuente: OECD, PISA (2010) Volumen V, Tabla V.2.1, p.146. V, Anexo B1.
El gráfico permite observar, en primer lugar, que casi todos los países de la región, y también España y Portugal, tuvieron una caída en sus puntuaciones en el 2006 y una mejora en el 2009. Es difícil establecer en qué medida podría haber un efecto, aunque fuera leve, de la propia prueba, ya que en el 2006 el área principal evaluada fue Ciencias, cuyas actividades exigían mucha lectura. En cualquier caso, la tendencia delargo plazo (2000-2009) es claramente favorable en los casos de Chile, Brasil y Perú. Portugal, Uruguay y México no muestran cambiossignificativos, en tanto que Argentina, España y Finlandia desmejoran. El promedio de la OCDE se mantiene bastante estable, lo cual esrazonable porque es el eje de la escala y además, combina las situaciones de más de 30 países. El caso de Colombia es difícil de valorar dado quesolamente tiene mediciones en 2006 y 2009 (lo ideal es tener al menos tres puntos en el tiempo y/o haber participado en el ciclo 2000).Los datos de la Gráfica 1 presentan las puntuaciones TRI, que tienen una media de 500 puntos. Estas puntuaciones reflejan desviacionesestándar respecto de la media, por lo que sirven principalmente para hacer comparaciones pero no dicen nada acerca de la bondad o gravedad dela situación. Por ejemplo, 20 puntos equivalen a un quinto de la desviación estándar de la OCDE, algo bastante abstracto para ser comprendido por el público e, incluso, por educadores no especializados.
22
Como ejemplo de las confusiones que pueden generarse, un Ministro de Educación de uno de los países de la región declaró en un programa detelevisión que las puntuaciones de PISA van de 0 a 1000 puntos, lo cual es disparatado, pero una confusión comprensible.
Por ello, como hemos planteado desde hace muchos años desde el GTEEPREAL, la información más relevante para interpretar lasituación es la relacionada con los niveles de desempeño en que se encuentran los estudiantes. Para ello es importante comprender losiguiente. La escala de puntuaciones está “cortada” en tramos, es decir, se crean escalones de puntajes que reflejan distintos niveles decapacidad de los estudiantes. A estos escalones se los denomina
“niveles de desempeño”
. Los estudiantes en los niveles más altos (4, 5 y6) son quienes tienen una mayor capacidad de lectura, pueden trabajar con textos extensos y complejos, reflexionar sobre los mismos,extraer información que no es fácilmente visible, etcétera. Los estudiantes en el nivel 1 o por debajo del mismo son aquellos que carecen
3
de las herramientas básicas para una lectura que les permita continuar estudiando y aprendiendo.La Gráfica 2 presenta los porcentajes de alumnos de cada país en distintos niveles de desempeño. En la parte superior de la gráfica, seubican los porcentajes de alumnos en los niveles 4, 5 y 6, es decir, aquellos que tienen un excelente nivel de competencia en lectura. En la parte inferior, los porcentajes de alumnos en los niveles 1 y por debajo de 1, es decir, aquellos que carecen de las capacidades mínimas para comprender distinto tipo de textos escritos. Para cada país se presentan los datos correspondientes a su primera participación enPISA (2000, 2001, 2003 o 2006) y los correspondientes a 2009. La selección de países es la misma que en la gráfica anterior. Para lamedición 2009 se unieron los niveles 1a y 1b en el Nivel 1 y los niveles 5 y 6 en el Nivel 5 (distinciones que no estaban hechas en el 2000).A partir de estos datos es posible llegar a conclusiones más relevantes que las derivadas de las puntuaciones. Una primera situaciónaltamente preocupante a observar es en la zona inferior de la gráfica, donde hay un número importante de estudiantes que no alcanzan lascapacidades básicas de lectura a los 15 años. Mientras en Finlandia esto ocurre con apenas el 8% de los estudiantes en 2009, en Españacon el 19% y en Portugal con el 18%, en los países de América Latina las cifras oscilan entre el 30% en Chile y el 65% en Perú.Si se observa la parte superior del gráfico, la correspondiente a los niveles de mayor capacidad de lectura, este panorama preocupante seconfirma. El 51% de los estudiantes finlandeses tienen un excelente nivel en lectura, cifra que desciende al 25% en España y Portugal. EnAmérica Latina la mejor situación en 2009 se verifica en Chile y Uruguay, con un 10%. De modo que la situación debe ser objeto de preocupación en toda la región. En materia de tendencias en el largo plazo, los niveles de desempeño también ofrecen una visión másrelevante que la puntuaciones. Chile se destaca especialmente, dado que en dicho país el porcentaje de alumnos que no alcanzan un nivelde comprensión lectora básica cayó de 48% en 2001 a 30% en 2009. Mejoras más pequeñas se verificaron en México, Brasil y Perú (eneste último caso se pasó de 80% a 65%, lo cual muestra que, a pesar de la mejora en el promedio, la situación continúa siendo grave).Uruguay y Argentina empeoraron su situación, dado que disminuyeron los porcentajes de estudiantes de alto desempeño (en Uruguay del16% a 10% y en Argentina de 11% a 7%) y aumentaron los de bajo desempeño (en Uruguay de 40% a 42% y en Argentina de 44% a 52%).
OBSERVATORIOREGIONAL DE POLÍTICASDE EVALUACIÓN EDUCATIVAOBSERVATORIOREGIONAL DE POLÍTICASDE EVALUACIÓN EDUCATIVA
3
2
Como ejemplo de las confusiones que pueden generarse, un Ministro de Educación de uno de los países de la región declaró en un programa detelevisión que las puntuaciones de PISA van de 0 a 1000 puntos, lo cual es disparatado, pero una confusión comprensible.
231123520130416354142066141101202141334528292543283726512036121812181717589636591565131182221211817203231211111110005210843451915
0%10%20%30%40%50%60%70%80%90%100%
01 09 00 09 01 09 06 09 00 09 01 09 03 09 00 09 00 09 00 09 00 09Arg. Brasil Chile Colom. Mexico Perú Urug. OECD España Port. Finl.Nivel 5Nivel 4Nivel 1Bajo 1
Gráfica 2: Porcentajes de alumnos en niveles de desempeño seleccionados en lecturaFuente: OECD, PISA (2010) Volumen I, Tabla I.2.1., p.194, OECD, PISA (2008) Figura 6.1., p.296 StatLink() & OECD, PISA (2003), Tabla 2.1a, p.274.http://dx.doi.org/10.1787/142046885031
Add a Comment
marinach10left a comment