TEMA 6: LA EVALUACION DE LAS INSTITUCIONES UNIVERSITARIAS Los primeros intentos de evaluacién de centros educativos en Espajia tienen lugar con la puesta en vigor de la Ley General de Educacion de 1970. Actualmente, el marco de la Unién Europea, con el Proyecto de convergencia de la ensefianza superior , hace que todos los pafses compartan procesos_afines en las propuestas evaluadoras, integrandose en la European Network of Quality Assurance in Hihger Education (ENQA) El papel de la comunidad educativa en la evaluacion institucional: -Las variables, factores, dimensiones, ambitos, de una institucién a ser evaluados de son miltiples. La funcién principal es la mejora de la calidad de las ensefianzas que imparten y de la formaci6n de sus estudiantes. -Una cuestién esencial a la hora de planificar una evaluacién sera decidir cul es el papel que han de jugar los profesores, asi como los demas sectores de la comunidad educativaTEMA 6 *CRITICAS A LAS EVALUACIONES EXTERNAS: %Se dan separadas de los intereses y cultura singulares de las instituciones, YSon descontextualizadas, demasiado instrumentalizadas y tienen poca capacidad para implicar a los profesionales. *CRITICAS A LAS EVALUACIONES INTERNAS Y AUTOEVALUACIONES: %6e les achaca falta de rigor, poca objetividad, poca critica y por tanto también poca potencia de cambio o mejora. *DEFENSA DE PLANTEAMIENTOS MIXTOS: para superar las criticas anteriores. Esta fue la opcién en Espajia , del Consejo de Coordinacién Universitaria en su “I Plan Nacional de Calidad de las Universidades (PNECU 1995-2000) y el II Plan de Calidad de las Universidades (PCU 2001) a partir del cual tomaria la responsabilidad evaiuadora la Agencia Nacional de Evaluacion de la Calidad de las Universidades (ANECA) y las agencias dependientes de las Comunidades Auténomas.TEMA 6 La EVALUACION INSTITUCIONAL UNIVERSITARIA EN EL AMBITO EUROPEO Caracteristicas de evaluacién de las agencias nacionales: * La evaluacién externa se ha ido progresivamente complementando con una evaluacion interna de las propias universidades e incluso por una autoevaluacion. El objeto de estas evaluaciones recae sobre la: docencia, investigacién y gestion. A la hora de la evaluacién institucional del proceso ensefianza- aprendizaje, la mayoria pone atencién en la opinidn del alumnado, recogiendo habitualmente dicha informacidn a través de cuestionarios. Disponen de un conjunto de guias o catdlogos de indicadores que pretenden ser la base orientadora para la evaluaci6n institucional y andlisis de la calidad.TEMA 6 La evaluacién institucional en GRAN BRETANA The Quality Assurance Agency (QAA) (desde 1997) * Organismo independiente encargado de velar por la calidad universitaria, desde 1997. * Compuesto por un equipo directivo de 14 miembros: 4 propuestos por los rectores, 4 por los apoderados de estos centros, 6 directores independientes con experiencia en el campo industrial, comercial, financiero, etc y tres observadores. (1 representante del alumnado, 1 de la institucién académica de educacién superior, 1 representante del Departamento de Educacién del Gobierno). * Se encarga de la politica de evaluacion, supervision del funcionamiento de los objetivos y de gestionar las finanzas.TEMA 6 SUS FUNCIONES SON: » Revisar la calidad de las diferentes instituciones de educacién superior. > Elaborar una infraestructura de guias de referencia (indicadores) que ayuden a explicar los niveles de calidad = “Requisitos para la educacién superior” * “Organizacién de los puntos de referencia de las asignaturas -materias” (curticulo que compone las diversas areas). * "Cédigos de actuacién” (code of practice) > Garantizar la claridad y transparencia acerca de los propésitos de las diferentes areas, niveles o/y programas, para conseguir el éxito en cada uno de ellos. > Presentar una clasificacién de la Educacién superior atendiendo al puntaje obtenido en el proceso de evaluacidn de calidad.TEMA 6 Otro ambito de trabajo de la Agencia es la Auditoria Institucional en colaboracion con los Servicios de Calidad de las universidades, que abarca los siguientes objetivos: Contribuir a la promocién y mejora de la calidad en la ensefianza y el aprendizaje. Asegurar informacién publica, fiable y significativa a los estudiantes, empleadores y otros interesados. Asegurar un rapido proceso de intervencién para la mejora. Proveer de un informe de accountability que facilite la distribucién de los fondos piiblicos. © El proceso de auditoria intenta combinar dos niveles de andlisis, el examen interno del Quality Assurance sobre el sistema de la institucién y las evaluaciones referentes a cémo influye dicho sistema en el nivel disciplinar y en el nivel de programa. © Através de la evaluacién institucional el QAA elabora una especie de catélogo donde se marcan los niveles de calidad de las diferentes universidades.TEMA 6 FRANCIA (Comité National d'Evaluation). aspectos singulares: — el control administrativo de la educacién superior esta en manos del Ministerio de Educacién (encargado de financiarla, nombrar y promocionar al profesorado, autorizar las carreras universitarias nacionales, — la relacién entre los intereses de los agentes cofinanciadores de la educacién superior (estudiantes-familias, empresarios, etc) y la concepcién de ésta como un servicio publico para los ciudadanos. — Se cred un cuerpo independiente del Ministerio de Educacién (Comité National d'Evaluation en 1984 para que se hiciera responsable de la evaluacion de las universidades, ecoles y grandes instituciones y posteriormente se creo la Agencia de Evaluacién de la Investigacion de la Ensefianza superior en la que se integra el CNE.TEMA6 El objetivo principal de la evaluacién institucional es analizar las instituciones de la educacién superior como un servicio publico, para ello reflexiona sobre: " la formacion inicial y permanente, " sobre la investigaci6n, " sobre la gestion de las instituciones. >» FUNCIONES: * La evaluacion de instituciones universitarias y écoles. *Las evaluaciones de entorno. *El andlisis transversal de actividades especificas llevadas a cabo en la educacién superior como la practica del deporte en la universidad. * La evaluacion transversal y comparativa sobre una disciplina o un tipo de formacion, entre diferentes instituciones. *La presentacion de un Informe Anual en el que se analiza y reflexiona sobre los problemas generales de la politica de ensefianza superior.TEMA 6 -La evaluaci6n llevada a cabo por este organismo no pretende calificar a las personas, ni habilitar programas o distribuir las subvenciones del Estado, sino que busca el andlisis de la realidad académica, de gestién y de relacion con el contexto social de la Educacion Superior. - Los informes tienen por objeto enfrentar a las instituciones con su realidad haciendo hincapié en si cumplen su misién como servicio publico y alcanzan sus objetivos. Se convierte asi en un instrumento estratégico para que las instituciones mejoren la calidad del proceso de ensefianza y aprendizaje, investigacién y gestidn. Sirve como informacidn a la opinion publica, fundamentalmente a los usuarios, al Estado y otras instituciones y empresas financiadoras.TEMA 6 ITALIA (Comitato Nazionale per la Valutazione del Sistema Universitario y Nucleo di Valutazione) Se delega a las Regiones las competencias sobre evaluacién institucional. Estas tienen independencia en materia educativa, de investigacién, y autonomia de gestién por parte de las universidades. Se encarga desde el plano externo al Comitato Nazionale per la Valutazione del Sistema Universitario (CNVSU y a la Agencia nazionale di Valutazione del Sistema Educativo e della Ricerca (ANVUR) y el plano interno en manos del Nucleo di Valutazione. Esta evaluacién externa se complementa con el “Nucleo di Valutazione” que se establece como un organismo interno de las universidades encargado de la realizacién de la evaluacién institucional interna. La evaluacién externa tiene cardcter obligatorio porque de ella dependen las subvenciones estatales de cada universidad. Se centra en evaluar la calidad de la actividad de las universidades y de los entes publicos y privados de investigacién, revision de las evaluaciones internas y valoracién de la eficacia y eficiencia de los programas pilblicos de financiacién y apoyo a la investigacion.-El comité de Nucleo di Valutazione elabora un conjunto de ambitos de evaluacién interna encaminado a promover la evaluacién desde una triple 6ptica: ensenanza, investigacidn y gestién -La evaluaci6n llevada a cabo por estas agencias tiene el objetivo de: *Informar a la comunidad universitaria y a la sociedad sobre las caracteristicas del sistema educativo y la calidad de la educacién superior. "Qué opinién tiene el alumnado de la ensefianza de los Ateneos para mejorar la calidad de la educacién superior *Provee de un informe de accountability que facilite el proceso de redistribucién de los recursos econémicos.TEMA 6 ESPANA > La primera actuacién sistematizada la constituye el Programa de Evaluacién Institucional de la Calidad de las Universidades Espafiolas aprobado hace unos quince afios > La participacién en el Proyecto Piloto Europeo, que se desarrollé durante el curso 1994-95, cuyos objetivos "consistian en aumentar el grado de conciencia acerca de la necesidad de evaluar la ensefianza superior; enriquecer los procedimientos nacionales de evaluacién existentes; promover los intercambios de experiencias y dotar a la evaluacién de una dimensién europea”. Esta evaluacién se centré en la ensefianza y el aprendizaje, teniendo en cuenta las actividades de investigacién en la medida en que afectaban al proceso educativo. El Consejo de Universidades propuso al Gobierno y puso en marcha el Plan Nacional de Evaluacién de la Calidad de las Universidades Espafiolas. Por primera vez, en el curso 1996/97, todas las Universidades espaiiolas tuvieron la oportunidad de participar en un plan general de evaluaci6n.TEMA 6 Los procedimientos de la evaluacién son como en el resto de Europa: "Generar el autoinforme "Visita de expertos externos "Emision de informe final "cada universidad organiza su propio equipo de evaluaci6n interna, encargado de recoger, analizar los datos y elaborar el autoinforme, siguiendo la guia de evaluacién facilitada por el Consejo de Universidades, "Elaborado este documento se remite al comité de expertos externos. Prepara una visita de tres dias para entrevistar y reunirse con el Comité Interno, con los estudiantes de los diversos niveles, profesorado, personal de administracién y servicios, responsables de los departamentos, centros o facultades, egresados, con cada sector independientemente, mas una audiencia publica. "Visita las instalaciones y dependencias administrativas, docentes y de investigacion y se termina con un primer adelanto de informe oral. En el plazo de un mes el Presidente del Comité externo ha de remitir al Comité Interno y al Consejo de Universidades su informe correspondiente.TEMA 6 » Durante el curso 2003/04, se pone en marcha un nuevo modelo experimental bajo la responsabilidad de la Agencia Nacional de Evaluaci6n de la Calidad y Acreditacion (ANECA) La nueva filosofia se basa en la unién de la evaluacion a la acreditacién. No obstante, el cambio de Gobierno, vuelve a abrir el debate y en el modelo que la ANECA pone en marcha al curso siguiente (2004/05), parece querer recuperar la tendencia de la filosofia evaluadora que “piensa que sin la reflexion e implicacién directa de los profesionales es imposible la mejora real de las instituciones educativas, no siendo suficiente ni eficaz el simple control externo y el establecimiento de ranking fruto de una concepcién neoliberal de la sociedad”.TEMA 6 Como consecuencia de la entrada en vigor del II Plan de Calidad la ANECA asume la responsabilidad de desarrollar la evaluacién y acreditacién, a través de diversos programas en diferentes niveles: Programa Verifica: establece un marco normativo para la ordenacién y verificacién de los titulos oficiales. La evaluacién institucional de las ensefianzas oficiales se desarrolla a través de procedimientos de autoevaluacién y evaluacién y finaliza en un informe final. Programa Docentia: evaliia la cualificacién y competencia docente del profesorado universitario. Programa Academia: encaminado a la acreditacion del profesorado universitario. Programa Audit: encaminado a la organizacién, desarrollo y potenciacién de sistemas de Garantia Interna de Calidad en las Universidades.TEMA 6 Puntos positivos de estos planes de evaluacién: Impulso a la difusién y concienciacién de la necesidad de evaluar la actuacién y el servicio prestado por las instituciones de ensefianza superior a sus estudiantes y a la sociedad en general. Los comités internos de profesores, personal de servicios y estudiantes han tenido la posibilidad de recoger datos, organizarlos elaborar un informe para debatir e intercambiar informacin y opiniones y discutir razonadamente sobre alternativas viables y contextualizadas. Tener la oportunidad de intercambios de puntos de vista interpretaciones de los fenémenos académicos con los comités externos.TEMA 6 Puntos débiles: - Para no tener rechazos han tenido que dejar de definir sus propésitos, sin profundizar ni debatir los problemas y un disefio que parecia poder dar informacién externa para transmitir un ranking sutil que supusiera una presién para las universidades, pensando que podria superar algunas limitaciones 0 vicios, que se han ido manifestando a lo largo de los ultimos afios. Esto ha provocado que se adectien y actualicen los sistemas de informacién y disposicién de datos cuantitativos. - La busqueda de resultados cuantificables provoca la definicién de objetivos simples para poder medirlos con facilidad. Ello puede distorsionar gravemente el debate y las alternativas.TEMA 6 - Los autoinformes, en general, tienden a dar descripciones demasiado suaves y superficiales de problemas profundos, para mantener el equilibrio politico de los centros. - Las alternativas o propuestas de mejora se convierten en una mezcla de sugerencia y reivindicaciones dirigidas a estamentos superiores, politicos, académicos y sociales, entrando poco en las actuaciones més cercanas y propias al profesorado y departamentos, independientemente de los datos y el valor para la mejora real que supongan. - La gestion no ha sido analizada ni siquiera_superficialmente. Se mezclan en ella cuestiones sindicales, politicas, de representacién, complejas y llenas de intereses diversos, dificiles de desentrafiar, pero de gran importancia para comprender y tomar decisiones de mejora.