Scribd Logo
Upload

Welcome to Scribd!

  • Modelos de Evaluación

    Uploaded by

    Alba Armero
    10 views33 pages

    Original Title

    Modelos de evaluación

    Copyright

    © © All Rights Reserved

    Available Formats

    PDF or read online from Scribd

    Did you find this document useful?

    Is this content inappropriate?

    Report this Document

    Copyright:

    © All Rights Reserved
    Download as PDF or read online from Scribd
    Flag for inappropriate content
    10 views33 pages

    Modelos de Evaluación

    Uploaded by

    Alba Armero

    Copyright:

    © All Rights Reserved
    Download as PDF or read online from Scribd
    Flag for inappropriate content
    of 33
    3 Modelos de evaluacion 3.1. Introduccién Es bastante usual el hecho de que cuando a nuestros alumnos se les introduce en el capitulo relativo a los modelos de Evaluacién tengan una primera reaccién de “repulsa”; su impresién es que se trata de un tema excesivamente teérico y arduo. Quiza esa percep- cién se deba a que el término “modelo” esté asociado a la acepcién que recoge la Real Academia Espafiola (2012) y que hace referencia a la “representacién en pequetio de alguna cosa”, al “esquema tedrico de un sistema o de una realidad compleja”. Sin embargo, en el caso de la Evaluacién de Programas, los modelos se asemejan més a la etimologia del término; con origen en la palabra italiana modelo, proveniente del latin, modus, el concepto de modelo en Evaluacién de Programas hace referencia al “mo- do de hacer algo”; en nuestro caso, a la forma en la que Ilevamos a cabo la evaluacién de un programa, de una intervencién, de un servicio o de una institucién. Por otro lado, el uso del término modelo en Evaluacién, se hace habitualmente equi- parindolo a la nocién de método, aunque, en sentido estricto, los conceptos de modelo y método son distintos; el primero se refiere a un contexto explicativo y cl segundo a los “pasos” que es preciso abordar para llegar a ese contexto explicativo. En definitiva, la utilizacién del vocablo “modelo” se refiere a c6mo nos acercamos (procedimiento segui- do) a la evaluacién de un determinado programa o servicio. La gran variedad de formas de llevar a cabo una evaluaci6n ha hecho que la mayoria de los autores que trabajan en este Ambito hayan optado por sustituir el término “modelo” por el de “aproximacién a la evaluacién” (ver, por ejemplo, el tiltimo manual revisado y actualizado de Stufflebeam y Shinkfield, 2007), pues esta Ultima acepcién permite reco- ger todas las posibilidades existentes a la hora de abordar una tarea tan compleja como es la evaluacién de un pro} sin el encorsetamiento que supone para ellos la asuncién del vocablo “modelo”. Este es demasiado exigente y restrictivo, y algunas de las propues- tas mds significativas en el campo de la Evaluacién de Programas hacen hincapié en la flexibilidad, la adaptacién de la evaluacién al contexto especifico en el que se leva a cabo, o la necesidad de atender en cada caso las exigencias que van surgiendo a lo largo del proceso de evaluacién. De cualquier modo, a lo largo pues éste ha representado la forma acercamientos a la evaluacién de un progra “aproximacién” como sinénimo de aquél. del presente capitulo se adoptara el término “modelo”, ‘mas usual de denominar a las distintas perspectivas 0 ma, aunque también se haré uso del término -55- ¢ Evaluacién Institucional en el dmbito educativo. ‘Conceptos, modelos y aplicaciones 43.2. Clasificacién de los modelos de evaluacién. Una aproximacién general A lo largo de los capitulos anteriores, se ha podido evidenciar la complejidad que en- vyuchve al fondmeno de la Evaluacién, no sélo en cuanto a sus precisiones terminolégicas ‘0 conceptuales, sino también en lo referido a la practica evaluativa. Desde los inicios de eoaiceejon de Programas comenzaron a desarrollase diferentes modos de enfrentarse a fe efvidad evaluativa y a la realidad de los programas u “objetos” evaluables; es, como 1a aetvomentado al inicio de este capitulo, lo que se denomina “modelo” de evaluacién. Fetus formas distintas, implicaban también actividades muy diversas, dependiendo, en gran medida, de los propésitos perseguidos con la evaluacién. ‘Son muchos los autores que han realizado sintesis de las distintas aproximacioncs 4 la Evahuclén.a través de la clasificacion de los diversos modelos existentes (Akin y Elle 1985; Glass y Ellett, 1980; House, 1992; Madaus, Scriven y Stufflebeam, 1983; Scriven, 1980, Stake, 1974). De todas ellas, se han seleccionado tres para este capitulo, dado que por tno u oto motivo resultan de especial interés, y euya revisién proporciona una pa- pordmica general de lo que ha sido la Evaluacién de Programas a lo largo de su trayector ria histérica. La primera, por orden cronolégico, es la propuesta de Stake (1974) que identifica nueve aproximaciones distintas a la evaluacién de un programa. Su clasificacién recoge Heade lex modelos clisicos a los més actuales en el eampo de Ia Evaluacién; éstos se con- cretan en los siguientes: Modelo pre-test y post-test ‘Modelo para la acreditacién Investigacién aplicada al modelo didactico Evaluacién orientada hacia el consumidor Evaluacién orientada hacia la decision Metaevaluacion Evaluacién sin metas Evaluacién por contraposicién Evaluacién respondente PRN AvweyNe ‘Algunas de estas aproximaciones se describen con mayor 0 menor detalle a lo largo del presente capitulo. Destaca también la propuesta de anlisis de House (1983, 1992), quien establece una taxonomia de modelos de evaluacién en funcién de los supuestos teéricos subyacentes @ cada uno de ellos, distinguiendo dos grandes bloques: los enfoques desarrollados desde la epistemologia objetivista, y los que se ubican en la epistemologia subjetivista. En su libro “Evaluacién, ética y poder”, afirma que la evaluacién conduce a una opi- nién fundada o “juicio acerca del valor de algo” (House, 1994: 20). Afirma que los jui- cios surgen en funcién de una calificaciOn y clasificacién del objeto, como consecuencia de unos criterios o normas previas y mediante un contraste y comparacién. Por lo tanto, la formulacién de un “Juicio” es algo més complejo de lo que en principio pueda parecer; éstos se expresan con formulas valorativas “bueno”, “malo”...), 0 expresiones descripti- vas (ejemplos, anéedotas...), y representan meras orientaciones para que se puedan usar en el futuro, Results bastante interesante Ia visién que tiene dela Evaluacion,entendiendo ésta como: ° “... la determinacién del valor de algo; en nuestro ji toh, 5 caso, de los programas, las poli- ticas y el personal educativos $0, de los programas, las pol yel pe s,juzandos de acuerdo con crtrios apropiados, que ban de Modelos de Evaluacién ser a su vez, explicados y justificados. ... la evaluacién de i justificados. .. programas sociales y educati- veal aoe a Per le dannii. de ns decisiones piblicas, -eramas iti iertos deleracion piblices” (House, 199243) sens bien lies Para el desarrollo de su categorizacién de modelos, House (1983) se apoy6 en las es- tablecidas por reconocidos evaluadores como Popham o Stake, y asumié que todos los modelos se basan en asunciones propias de una ideologia liberal, 0 democracia liberal (libertad de eleccién, metodolégicamente individualista y fuertemente empiricista). Para este autor, la posibilidad de comparar los elementos caracteristicos de unos modelos con otros en cuanto a sus propésitos, audiencias implicadas, metodologia preferente 0, por citar algin aspecto mas, los potenciales juicios valorativos que de ellos se derivan, es un factor clave para entender la evaluacién y la evolucién de la misma como disciplina apli- cada. Basicamente, se distinguen ocho categorias distintas, dentro de las cuales se inclu- Jas propuestas de los autores mas significativos. Algunos afios més tarde, el mismo House (1992, 1994) reformula su taxonomia con pequeiias modificaciones para actuali- zarla segin modelos més recientes. El resultado se presenta en el cuadro 3.1. Cuadro 3.1. Taxonomia de los principales enfoques de la Evaluacién (House, 1994: 23- ss.) Modelo Concuerdaen Metodologia__—_—_—Producto Cuestiones tipicas Tudlisis de Objetivos, PBS, programa-Eficiencia {Se han alcanzado Tos efec- Sistemas causas yefec-cién lineal, varia- tos previstos? {Pueden tos conocidos, _cién planificada, lograrse de manera més Variables cuan- anélisis cos- econémica? {Cuales son los tificadas te/producto programas més eficientes? Objetivos _Objetivos es-_Objetivos con-_Productividad, {El programa alcanza los Conduetuales pecificados de ductuales, tests responsabilidad ‘objetivos? {Es productivo el antemano, _ de resultados programa? variables de lineales pro- ducto cuantificadas Decisién _Objetivos ge- Encuestas, cues- Eficacia, con- UES eficaz el programa? emles crite. tionarios, entre- trol de calidad Qué partes son eficaces? rios vistas, variacién natural Eleccién del {Cuéles son fodos los efec- Sin objetivos Consecuencias, Control de ses- cliente tos? definidos _criterios 208, modus operandi Revision rita Normas mejo- (Resist el programs la res, mayor _citica? ,Aumenta el apre- consciencia _cio del puiblico? Criticade Critica, nor- Arte mas, niveles -57- Evaluacién Institucional en el dmbito educativo. ‘Conceptos, modelos y aplicaciones Revision _Criterios, tri- Revision a cargo Aceptacié i{Cémo clasificarfan los Pefecional —bunal, proce- del Tribunal, profesional _—profesionales este progra. dimientos estudio ma? Cuasi- Procedimientos Procedimientos Resolucién {Qué argumentos hay en juridico | —-¥y jueces Cuasi-juridicos pro y en contra de prog. ma? Estudio de Negociaciones, Estudios de ca- Comprensién Qué les parece el programa casos actividades sos, entrevistas, de la diversidad a distintas personas? observaciones Pero si existe una clasificacién de modelos que representa el mejor ejemplo de com- prehensividad y exhaustividad, ésa es la propuesta por Daniel Stufflebeam; todo un clasi- co en la recopilacién de las aproximaciones existentes en Evaluacién de Programas. Este autor, de forma individual 0 en colaboracién con Shinkfield, ha publicado decenas de trabajos de revisién de las distintas aproximaciones a la Evaluacién. Su ultimo manual supone una actualizacién de la recopilacién publicada en el afio 2000, ¢ identifica veintis- éis formas distintas de llevar a cabo la evaluacién de un programa, todas ellas desarrolla- das principalmente en los Estados Unidos desde los afios 60 hasta la actualidad (Stuffle- beam y Shinkfield, 2007). Desde el nacimiento de la Evaluacién de Programas como disciplina cientifica en los afios 60, se han producido ciertas pricticas que han perjudicado enormemente el desarro- Ilo y la consolidacién de la misma, legando incluso a desacreditar la figura y profesién de evaluador. Este tipo de practicas denominadas por Stufflebeam pseudoevaluaciones, asumen propésitos poco licitos: “blanquear” malos resultados para favorecer a quicnes demandan la evaluacién, utilizar los resultados de la evaluacién para justificar decisiones politicas y presupuestarias escondiendo las debilidades de los programas, sobrevalorar los resultados positivos con el fin de favorecer a algtin grupo de poder, etc. Evidentemente, los expertos en Evaluacién no consideran estas practicas como verdaderas evaluaciones y, afortunadamente, cada vez son menos quienes las realizan, motivado en gran medida por las normas y estandares que garantizan la calidad de las evaluaciones; entre dichas nor- mas las promulgadas por la JCS (Joint Committe on Standards for Educational Evalua- tion, 1994) son las mds conocidas: normas de utilidad, viabilidad, honradez y precisién. En definitiva, las pseudoevaluaciones pueden definirse como aquellas actuaciones ¢n las que, ya sca de manera implicita o explicita, el evaluador recibe la peticién de guiar los resultados de la evaluacién con fines “propagandisticos”. A pesar de no ser consideradas como verdaderas evaluaciones, conviene hacer un repaso por algunas de ellas con el fin de dar a conocer lo que no es evaluacién, cmo no debe comportarse un profesional de la Evaluacién y cuales deben ser los verdaderos propésitos que guien la evaluacién de un programa. Con algunos de los ejemplos que se muestran a continuacién podré evidenciar- se el dafio que este tipo de actuaciones ha causado a la integridad de la disciplina y a la profesién del evaluador. 1. Estudios basados en las relaciones ptiblicas. Se trata de estudios planificados, realizados y utilizados para obtener informaciOn que ayude al cliente (normalmen- te quienes lideran el programa) a crear una imagen positiva de su institucién 0 programa, asegurando asi el apoyo de los potenciales clientes. Su finalidad es, por tanto, claramente propagandistica, evitando realizar una auténtica evaluacién del -58- Modelos de Evaluacién mérito y valor del i Daas ea eae eee Por ejemplo, durante la guerra del Golfo, se llevaron cabo studios” por parte de la agencia encargada de evaluar el im- nes utilizan, por ejemplo, resultados de enc basados Con preguntas que orientan a la respuesta © la utlimcion de case ancedoacee a a a luce a presentar una “bonita estampa” del programa supuestamente + Estudios controlados politicamente, En este tipo de trabajo, ln intencién del cliente que encarga la evaluacién es conseguir asistencia para obtener, mantener 0 incrementar su esfera de influencia, poder o apoyo econémico. Se trata de estu- dios ilicitos ya que el evaluador o el “cliente”: a) ocultan el conjunto completo de resultados que las audiencias han expresado durante la evaluacién; b) rompen un acuerdo previo para revelar completamente los resultados; o, c) sesgan los mensa- jes de la evaluacién al comunicar sélo parcialmente los resultados. Un ejemplo de este tipo Ros’ Jo muestra Stufflebeam en su tiltimo manual, cuando alude al caso de una Universidad norteamericana en la que recientemente se decidié llevar a cabo un plan de evaluacion de los distintos Titulos de Grado existentes, con el fin de tomar decisiones acerca de la continuidad 0 no de algunos programas debido a la baja demanda de los mismos, el escaso nivel de calidad mostrado o las pobres ra- tios de graduacién; todo ello bajo el argumento de abaratar costes en un periodo de crisis econémica. Asi, el rector de dicha Universidad llegé a un acuerdo con una Facultad para poner en marcha un plan de evaluacién de sus Titulos con la garantia de que el informe completo seria publicado antes de tomar cualquier tipo de decisién. La Facultad colaboré completamente para proporcionar la informa- cién solicitada y evaluar cada programa. Por su parte, el Rector recopilé y revis6 las evidencias y publicé su informe, en el que sc incluia la decisién de finalizar definitivamente con algunos programas. La Facultad alegé que las decisiones del rector reflejaban determinados sesgos y no estaban sustentadas en Ia informacién y evidencias que ellos habian recopilado concienzudamente. Cuando se solicit6 al rector que mostrara dicha informacién y no lo hizo, la Facultad vot6 cesarlo. . Evaluaciones complacientes. Desgraciadamente, en otros casos, algunos evalua- dores se saltan por alto su compromiso con la evaluacién por atender y “ganarse” la confianza de sus clientes; para ello, aceptan desde el principio que la evalua~ cidn iré orientada a confirmar ciertas conclusiones, pase lo que pase durante la implementacién del programa e independientemente de los resultados alos que se Ilegue. De esta forma, el cliente se queda satisfecho y el evaluador se garantiza no sélo el favor del cliente, sino también la posibilidad de futuros contratos de eva- luacién. |. La evaluacién como pretexto. Es muy frecuente encontramos con cambios politi- cos o de gobierno en el seno de las instituciones educativas, como es el caso de tas universidades, que llevan consigo asociadas actuaciones encaminadas a des- acreditar a quienes hasta ese momento ostentaban el poder. El cambio del respon- sable politico, por ejemplo, de un Servicio Universitario, pareoe justificar todo ti- po de nuevas propuestas (algunas sin previo estudio de To que s¢ venia haciendo) para “tirar por tierra” proyectos, programas 0 acciones concretas que se venian -59- Evaluacién institucional en el dmbito educativo ‘Conceptos, modelos y aplicaciones ha, sin tener en cuenta los resultados de las mismas y See ain pe aleanzados. “Cambiar de color” y deshacerse de todo aquelio que recuerde al equipo de gobierno antinot parece ser lo tnico im- portante en estos casos. ‘Asi, la evaluacién es utilizada como pretexto para justifi- tar decisiones que ya se tenian tomadas de antemano. Un ejemplo de ello lo refle- jan en su dltimo manual Stufflebeam y Shinkfield (2007), cuando relatan el caso Yel director de un centro de investigacién que contrat a un evaluador extemo pa- ta analizar el estado de los distintos programas que se estaban Hevando a cabo sin Tomunicarle cudles eran sus verdaderos propésitos; una vez que ésie comenz6 a comabat informacion (al tercer dia de su visita) se percatd de que las anteriores Cwaluaciones, realizadas de forma rigurosa y por evaluadores independientes, fnostraban un muy alto nivel de calidad del trabajo desarrollado por el personal del centro, ¢ incluso los programas habian sido galardonados por su importancia, rigor y rentabilidad. Cuando el evaluador pregunt6 sobre este asunto al director, tate ultimo le contesté que esos excelentes resultados no ayudaban a formular nuevas propuestas de mejora y que, por tanto, el evaluador debia centrarse Gnica- ‘mente en las debilidades de los programas y no en las fortalezas. Una indagacion posterior permitié comprobar que el verdadero propésito del director del centro era desacreditar el liderazgo del antiguo director, y sustituir los programas exi tentes por otros nuevos de su eleccién. Afortunadamente, los ejemplos seftalados arriba no son lo comin dentro de la disci- plina de la Evaluacion; y la mayoria de los modelos existentes se ajustan a esas “normas de honradez” a las que antes haciamos mencién, Pero cabe preguntarse, {cul es la mejor manera de llevar a cabo la evaluacién de un programa? La respuesta es muy sencilla: no hay una forma mejor que otra; los que trabajamos en el campo de la Evaluacién sabemos que todo dependerd de los propésitos que se persigan, de nuestra formacién previa y fuestras habilidades 0 competencias, de los recursos con los que se cuente, de los usua~ rios del programa, las necesidades de informacién de quienes demandan la evaluacién, tte, Asi, cada modelo presenta una serie de ventajas y utilidades; cada uno sirve a propé- sitos diferentes y cada uno de ellos tiene, igualmente, sus limitaciones, ‘Lo mismo que sucediera con el concepto de Evaluacién, los modelos también han evolucionado de forma considerable, pasando de sencillas aproximaciones basadas en la uilizacion exclusiva de diseftos experimentales o la medida del cumplimiento de objeti- vos, a orientaciones metodolégicas mucho més complejas como las centradas en la toma de decisiones, las orientadas al uso el modelo de evaluacién responsiva o comprehensi- va de Stake (por citar tan s6lo algunos) (Pozo, Alonso y Hernandez, 2004). ‘También son muy variadas las clasificaciones propuestas por distintos autores acerca de los modelos existentes; sin embargo, con el fin de agilzar la lectura y convertir este capitulo en lo mas didéctico posible, vamos a obviar dichas sintesis, centrindonos tan silo en la clasficacién que consideramos mis comprehensiva, y que permite dar cuenta a amplia diversidad de modelos existentes, es la propuesta por los va vitados Stuffle- beam y Shinkfield (2007). Su taxonomia incluye ores ya cliadas Suutile incluye un total de veintiséis aproximaciones que se engloban dentro de cinco grandes categorias: (1) pseudoevaluacionee,w | 10s hemos referido anteriormente y que no pueden ser consideradas “vondsclere cual. ciones”; (2) cuasievaluaciones, también Hamadas evaluaci ies Peniaderns et @) evaluaciones orientadas al perfeccionamiento y la respun nines pr Cl metodo: socialmente comprometidas 0 de promocién socal, y (9) Neuen jo eines i it Model bctict de estas categorias, en este capitulo se muestran los Sodsios eles Deva i stacado por -60- relevancia para el desarrollo de la Evaluacién mente, cada uno de ellos representa un la Evaluacién de Programas 0, en pal ciones de evaluadores”. Sin embargo, se presentan a continuacién hoy en dia res. Periodo muy concreto de la evolucién histérica de labras de Guba y Lincoln (1989), distintas “genera- es preciso matizar que algunos de los modelos que ‘ya no tienen tan buena acogida entre los evaluado- De las cuasievaluaciones se incluyen los modelos experimentales (“convencionales” términos de Cronbach y asoc., 1980), cuyo propésito mis comin e demeotne vee: los causales entre ciertas variables independientes (las actividades del programa) y algu- nas variables dependientes (los efectos generados por la intervencién); la aproximacién de Ralph Tyler (1949) 0 modelo de evaluacién por objetivos, que pretende determinar en qué medida los objetivos del programa han sido alcanzados y, a partir de ello, concluir acerca del éxito 0 fracaso del programa de intervencién; y, por tltimo, la aproximacién al Estudio de Caso, ampliamente desarrollada por Robert Stake (2007). De entre las denominadas evaluaciones orientadas al perfeccionamiento y la respon- sabilidad, se han seleccionado, por su relevancia, el modelo CIPP del propio Stufflebeam (Stufflebeam y Sinkfield, 2007), pues representa el mejor ejemplo de evaluacién orienta- da a la decision, y el modelo de Scriven o evaluacién orientada al consumidor (Scriven, 1991), cuyo propésito principal es proveer de informacién suficiente para ayudar a los clientes a saber elegir entre distintas posibilidades de servicios o programas. Los modelos seleccionados comprendidos en la categoria denominada por Stufflebe- am aproximaciones basadas en la promocién social (0 evaluaciones socialmente com- prometidas) han sido la evaluacién respondente o comprehensiva de Robert Stake (2004), y la propuesta constructivista (0 modelo naturalista) de Guba y Lincoln (1989). Ambas son aproximaciones disefiadas para asegurar que todos pueden participar, de una u otra forma, en el proceso de evaluacién. Por iiltimo, dentro de la categoria de modelos eclécticos se incluye la evaluacién cen- trada en el uso de M.Q. Patton (1997). Se trata de una aproximacién sin una filosofia particular de evaluaci6n, misin social ni orientacién metodolégica conereta, y que reco- ge lo que considera més adecuado a cada ocasién, recopilando ideas pragméticas de otros modelos de evaluacién. ; La clasificacién expuesta con los modelos seleccionados puede apreciarse en el cua- dro 3.2. En él se recogen sus principales fortalezas asi como los propésitos perseguidos con cada uno de ellos. Cuadro 3.2. Distintas aproximaciones a la evaluacién de un programa TUASIEVALUACIONES 0 EVALUACIONES ORIENTADAS POR EL METODO i Propésitos Aproximacién Fortalezas 9 — Braluacion ‘por obj Ampliamente conocido y aplicado _Determinar logro de objetivos fivos Empleo de objetivos operacionales del programa ‘Uso de tests Comparar ejecucién de estu- Enfasis en resultados diantes en tests con estindares Estudios experimen- Ampliamente conocido y aplicado Fropurcions tahrmectia preci- tales Popular entre politicos sa sobre resul yy Enfasis en validez y fiabilidad de los Comparar con ejecuci le datos programas competidores la Proporcionar informacién para Ia planificaci6n politica oe Establecer_relaciones _causa- EE nfasis en resultados ee -61- Base adecuada para la planificaci6n Evaluacién Insttucional Conceptos, Jen el dmbito educative. ‘modelos y aplicaciones Fntablece relaciones causa-efecto ‘efecto Se Estudios de casos factores contextuales jiento interno fectos sobre Tiene en cuenta ‘Andlisis del. funcionam! del programa, y de sus Jos resultados ‘Analisis del pro natural ‘Anilisis del programa en profund! enfoque holista Enfasis en complementariedad de métodos cualitativos y cuantitativos, ¥ yeramma en su contexto jidad, Explicar e iluminar el programa Interpretaciones sobre el caso. ena triangulacién de datos EVALUACIONES ORIENTADAS AL PEI BILIDAD [RFECCIONAMIENTO Y LA RESPONSA- ‘Aproximacion Fortalezas Propésitos El Modelo CIPP ‘Adecuacién a estindares profesio- Proporcionar informacién que sirva de base para la toma de Evaluacién orientada al consumidor nales Examen del contexto, entradas, procesos y resultados Uso. de métodos cualitativos y ccuantitativos Integracién de la evaluacién en los procesos de gestion Orientacién hacia la cobertura de las necesidades de la poblacién Enfasis en la mejora del programa Base para la responsabilidad y la toma de decisiones Participacién de todos los implica- dos Completa valoracién del mérito y valor Evaluacién formativa y sumativa Examen del contexto, entradas, procesos y resultados Uso de métodos cualitativos y cuantitativos Orientacién hacia la cobertura de las necesidades de la poblacién diana Enfasis en principios democraticos, independencia y defensa del con- sumidor ‘Completa valoracién del mérito y valor Enfasis en eficiencia Valoracién de la calidad de pro- gramas ¢ instituciones decisiones ‘Ayudar al perfeccionamiento y ‘mejora de los programas Rendir cuentas (accountability) y cumplir con la responsabilidad social Conducir evaluaciones compre- hensivas que incluyan la evalua- cién formativa y sumativa Proporcionar informacion y juicios de valor que sirvan de ‘base para la toma de decisiones Juzgar alternativas MODELOS DE EVALUACION BASADOS EN LA PROMOCION Y RESPONSABI- “Aproximacién LIDAD SOCIAL Fortalezas ~62- Propésitos Modelos de Evaluaciin Evaluacién Respondente Participacion signi Propo ormacion i ignificativa de todos jonar i i ls impicados en el proceso de programa “ evaluaci Proporc i ha : a en cuestiones de interés todos los implicadog = ee los implicados Conocer las fortalezas y debili- Armplia bisqueda de informacién dades del programa desde el unto de vista de tod Examen de Ia base légica, antece- plicados acon dentes, proceso y resultados del Averiguar cémo valoran el pro- Programa ‘grama tanto los propios impli- Analisis profundo de dindmicas dos como expertos mm ‘contextuales Valorar el programa a través de Aproximacién multimétodo la participacién democritica Uso eficaz de metodologia cualita- Responder a necesidades de tiva informacién de los usuarios de ‘Triangulacién de datos de diversas la evaluacién fuentes Enfasis en comunicacién y uso de resultados Evaluacién Constructi- Participacién significativa de todos Proporeionar informacién itil a vista los implicados en el proceso de todos los implicados evaluacién Conocer Ins fortalezas y debili- Enfasis en cuestiones de interés dades del programa desde el ‘para los implicados punto de vista de todos los im- Anilisis profundo de dindmicas plicados ccontextuales ‘Averiguar c6mo valoran el pro- Uso eficaz de metodologia cualita- _grama los propios implicados tiva Conocer las construcciones del ‘Triangulacién de datos de diversas programa por parte de los impli- fuentes cados Participacién democritica de los Valorar el programa a través de implicados en todo el proceso de Ia participacién democratica Responder a necesidades de cevaluacién Enfasis en uso de resultados de la informacién de los usuarios de evaluacién Ja evaluacién MODELOS ECLECTICOS DE EVALUACION Aproximacion Fortalezas Propésitos ‘Euilnacion orientada al Pafticipacién de los implicados en Proporcionar informacion Gil a 50 el proceso de evaluacién Jos implicados Einfasis en cuestiones de interés Responder a necesidades de para los implicados informacién de los usuarios de ‘Amplia basqueda de informacién Ia evaluacién relevante ‘Anilisis profundo de dinimicas contextuales ‘Aproximacién multimétodo Uso eficaz de metodologia cu tiva Triangulacién de datos de diversas fuentes Enfasis en comunicacién y uso de rete g -63- Evaluacion Institucional en el ‘dmbito educativo. ‘Conceptos. modelos y aplicaciones “cuasievaluaciones” 3.3. Modelos de evaluacién orientados por el métod inacién “cuasievaluaciones” se hace referencia a las aproximaciones __ Soph nmi ait te programa o intervencién, sin plantearse la emisi@n de juicios de valor 0 mérito de dicho programa. En este caso, del conjunto de cuasievaluaciones han sido seleccionadas tres: la eraluacién por objetivos, los estudios experimentales y las evaluaciones basadas en estu- dos de caso; aunque dentro de esta categoria, también cabe mencionar los estudios basa- doe en la accountability, los estudios de medida de los programas, los que se centran en Ios resultados de la evaluacién como valor afiadido, las aproximaciones del anilisis coste- beneficio 0, por citar algiin ejemplo mas, las evaluaciones basadas en la teoria del pro- grama. 3.3.1. La Evaluacién por objetivos Ralph Tyler puede ser considerado como el maximo precursor de la Evaluacién Edu- cativa, marcando cl inicio de una perspectiva sistemdtica orientada a la medida de la con- secucién de los objetivos, que tuvo una gran repercusién en su tiempo, sobre todo en el Ambito de la enseiianza. Su modelo de evaluacién marcé el desarrollo de los trabajos eva- luativos durante dos décadas en Estados Unidos, desde los afios 40 hasta inicios de los 60. Tyler (1949) postulaba que la Evaluacién debe dirigirse al estudio profundo de la con- gruencia existente entre los objetivos formulados en un determinado programa y los re- sultados obtenidos tras la aplicacién del mismo. Su propuesta sobre cémo debe ser el proceso de evaluacién queda claramente explicitada en la siguiente cita: “BI proceso de evaluacién es esencialmente el proceso de determinar hasta qué pun- to los objetivos educativos han sido actualmente alcanzados mediante los programas de curricula y ensefianza. De cualquier manera, desde el momento en que los objetivos educativos son esencialmente cambios producidos en los seres humanos, es decir, ya que los objetivos alcanzados producen ciertos cambios deseables en los modelos de comportamiento del estudiante, entonces la evaluacién es el proceso que determina el nivel alcanzado realmente por esos cambios de comportamiento” (Tyler, 1949: 69) Como puede apreciarse en la definicién presentada, el aspecto crucial de la Evalua- cién se centraria en la especificacién de los objetivos del programa, operativizados, a su vez, en comportamientos potencialmente medibles y cuantificables a través del cambio en Jos mismos. Los objetivos deben ser formulados de manera meridianamente clara, ya que. posteriormente, servirin para concluir acerca de si el programa ha tenido éxito 0 no. Las metas planteadas se tienen que traducir en tareas y contenidos concretos que sirvan y ayuden no s6lo al responsable de la evaluacién, sino también a los directivos a la hora de consensuar los objetivos a integrar en el programa 3 ; ; ue post su evaluacién. Y que posteriormente han de permitir El proceso de evaluacién por objetivos (Tyler, 1949) at ‘ fe evalnacite , vies que de manera sintética consisten en: (a) identificar los objetivos del programa; a tatarcuantitativamente los resultados en el periodo temporal establecide: (6) Os cl grado de consecucién de los objetivos perseguidos. Estas tes grandes dace se eubdiv den, a su vez, en una serie de actuaciones especific: s ; as fie ape . da, is que aparecen reflejadas en el cuadro -64- Modelos de Evatuacién Cuadro 3.3. Actividades basicas del modelo de Tyler (1949). PASOS BASICOS DEL MODELO DE EVALUACION POR OBJETIVOS Establecer las metas los objetivos del programa (Ordenar los objetivos de forma jerérquica en amplias clasificacionesy en términos mensurables Definir los objetivos en términos de comportamientos Establecer ls situaciones y condiciones en las que pueda ser demastrada la consecucin de los objetivos Explicar los propdsitos dela etrategia evaluative a los implicados y personal mis drectamenterlacio- 6. Seleccionar 0, en su caso, disefiar los instrumentos o herrami it jar ono Fn ze ‘ herramientas que permitan cuantificar el logro 7. Recopilar los datos de trabajo o informacién necesaria utilizando los instrumentos referidos en el punto yay ol 8. Comparar os datos con los objetivos de comportamiento; es decir, deducir a partir de la informacién re- ‘copilada hasta qué punto se han alcanzado los objetivos previamente planteados Podemos acercamos a este modelo con un ejemplo muy sencillo de un “Programa de habilidades sociales en el aula”. El propésito general perseguido (0 meta) se dirige a pro- ‘mover las habilidades sociales en nifios de 5 a 7 afios como medio de favorecer unas ade- cuadas relaciones interpersonales. Dicho objetivo general debe operativizarse en objeti- vos especificos, mensurables, cuantificables y traducidos a comportamientos concretos que podamos registrar. Asi, los objetivos especificos podrian coneretarse en dos grandes ‘grupos, y éstos, a su vez, en términos de comportamientos: 1, Incrementar las habilidades de comunicacién verbal como: Inicio de conversaciones. ‘Aprendizaje del saludo y la despedida. Peticién de favores. Hacer favores. Dar las gracias por algo. Realizacién de cumplidos. Recibir cumplidos. 2. Incrementar las habilidades de comunicacién no verbal como: = Expresién de emociones faciales de alegria o tristeza. Control del volumen de voz. Mantenimiento del contacto visual. Refuerzo del contacto fisico. Uso de la sonrisa como refuerzo. Escucha activa. Los encargados de Ia implantacién del programa, los propios maestros, deciden utili- zar una hora a la semana a llevar a cabo las acciones del programa, que tendrén lugar en las propias aulas donde se desarrollan el resto de actividades diarias. Las actividades del programa se realizarin a través de juegos, de forma que sea mayor la participacién de los menores y sea més factible adquirir las conductas requeridas. . Para la evaluacién de los comportamientos, los maestros disefian unas fichas “ad hoc" para cada nifio en las que anotaran el mlimero de veces que evan a cabo las conduc- -65- Evaluacién Institucional en el dmbito educativo, ‘Conceptos, modelos y aplicaciones é iiénes, etc. tas deseadas, en qué momento Io hacen, con qui a oaea ey concluida la intervencidn, al finalizar el curso, Tos maestros recopilarin y analisutin in informacion registrada, lo que les permitiré.comprobar en qué medida cada feos ha sido alcanzado por cada nifio y, haciendo una valora- objetivos especi s , win ae conju de orig si se han cumplido los propésitos perseguidos con el progra- ™ 4 propuesta de Tyler esa primera vsta sencilla, pero a la par novedosa para su tiem. poy sunue han sido muchas las voces que se han alzado en conta, queda patente su Po tel hervir como herramienta de diagnéstico en el proceso educativo, como criterio ara que el rexponsable pueda modifica ls objtivos, como guia para obtener una infor. paveicn util, y como apoyo para mejorar Ia calidad del programa. Guba y Lincoln (1981) vpetnen la tesla tyleriana como sistemética, elegante, precisa y con l6gica interna. Stu- flebeam y Shinkfield (2007) alaban que pusiera el acento en otros aspectos del programa yy no s6lo en los estudiantes, como era préctica comin por entonces. Ten lo que respecta a las criticas, algunos autores las centran en la mala utilizacion posterior que se hizo del modelo, y no en el modelo en si mismo, con la excesiva insis- fencia en el rendimiento como criterio altimo o la consideracién exclusiva de la evalua- cién como un proceso terminal. También se criticaron las limitaciones referidas al excesi- yo peso otorgado a la scleccidn de los objetivos, lo que, en muchas ocasiones, se traduce en la eleecién de metas faciles y sencillas de cuantificar, evitindose Ia eleccién de aqué- Tlas que resulten més complejas, dificiles de operativizar 0 inalcanzables. ‘A pesar de las criticas que posteriormente se vertieron al modelo de Tyler, no puede negarse el mérito que tuvo el disefto de un sistema de evaluacién, revolucionario por aquél entonces, y que sirvié de base para posteriores desarrollos de la Evaluacién. Es cierto que se circunscribia al campo especifico de la Educacién, pero senté las bases para cl desarrollo posterior de procedimientos de evaluacién sisteméticos 3.3.2. Estudio de Casos Las evaluaciones basadas en el estudio de casos son aproximaciones centradas en la descripcién y andlisis en profundidad de un programa, o algin componente especifico del mismo, en su propio contexto geogréfico, cultural, organizacional o histérico. Esta forma de abordar la Evaluacién es muy util en el ambito educativo, pues el “caso” se puede referir a un programa de estudios, una asignatura, un grupo de clase e incluso a un solo nifio. Evidentemente, cuando se estudia un caso, lo importante no es que dicho caso sea representativo (estadisticamente hablando) de un grupo de poblacién, sino que su andlisis permita comprenderlo con la mayor exhaustividad y profundidad posibles. En palabras del propio Stake (2007: 16): “Bl caso es algo especifico, algo complejo, algo en funcionamiento” Y no hay nada mas “especifico, complejo y en funcionamiento” que un programa. Los programas de intervencién son tinicos; un mismo programa aplicado en contextos distintos adquiere unas caracteristicas propias c idiosincrasicas derivadas del momento de Ja implantacién, los usuarios que participan, los responsables de implantarlo, e incluso los diferentes recursos y las condiciones ambientales en las que se lleve a cabo. En esta idiosincrasia de los programas se bas6 la propuesta que hizo Cronbach (1982) y que se conoce como el “modelo UTOS", iniciales de los aspectos a considerar en una - 66 Modelos de Evaluacién crac: 3 Uy ientfie las Unidedes, es deci Is Personas a las que se dirige el pro- grama; “T 7_Jratamiento o intervencién que se desarrolla: "0": we te q sarrolla; “O”: decidir qué Oe ee eae arin: Y “S”, procedente del inglés Seting, o lo que es lo mismo, t x n el programa, por ejemplo, las sesiones de informacién acerca de los efectos nocivos del tabaco, el control de estimulos (como re- duccién del café u otras bebidas asociadas a la conducta de fumar), las técnicas de relaja- ci6n para reducir la ansiedad asociada con la dependencia psicolégica provocada por el tabaco, etc.; las Observaciones las constituirian los distintos resultados que se obtengan de las diversas técnicas de recogida de informacién (como las técnicas de autorregistro, los instrumentos de medida del nivel de monéxido de carbono en los pulmones, el nivel de ansiedad evaluado mediante escalas estandarizadas, etc.); y, por iltimo, el contexto (0 Setting) que habria que describir seria aquél en el que se desarrolla el programa, esto es, la Universidad X, las caracteristicas de los alumnos que estudian en ella, el lugar concreto donde se desarrolla el programa, y cémo dicho contexto puede influir en los resultados del mismo, Pues bien, ese contexto es tinico, por lo que la aproximacién basada en el estudio de caso es altamente apropiada en Evaluacién de Programas. Asi entendida, la evaluacién de un caso consiste en: a, Observar cémo se desarrollan las acciones del programa, y cémo las entradas y procesos dan lugar a determinados resultados; b. describir detalladamente las caracteristicas de los usuarios reales y potencia- les de la intervencién, valorando sus necesidades y determinando en qué me- dida el programa logra cubrirlas; c. examinar y valorar los efectos de la intervencién, tanto esperados como ines- perados; 4. analizar el programa tanto a nivel global como en cada uno de sus niveles y componentes. Para ello, se recurre a miiltiples fuentes y métodos de recogida de informacién, con el fin de lograr una descripcién completa del programa en sus diversas dimensiones. El au- tor mas significativo que ha profundizado en el uso de esta metodologia de evaluacién ha si . poe cficaz estudio de caso, Stake recomienda que se haga uso de una amplia variedad de metodologia cuantitativa y, en especial, cualitativa. Entre ellas, son de gran utilidad el andlisis documental 0 de datos de archivo, el andlisis de contenido de los documentos existentes sobre el programa, la observacién, tanto estructurada como parti- cipante, las entrevistas en profundidad o, por citar algdn ejemplo més, los grupos focales Desde la perspectiva de Stake cualquiera de estas téenicas puede ser itl para comprender en profundidad un programa, siempre y cuando se utilicen de forma empatica y no inter- vencionista; es decir, para analizar la realidad comple de bon prone 6 Soest aie investi lores no estorben en la activida , consi fs mvignnes 9 sain Go smn ies poss, compen ‘cémo ven las cosas los propios actores (participantes en el programa) y recabando las -67- Evaluacién Institucional en ef dmbito educativo ‘Conceptos, modelos y aplicaciones rmiiltiples realidades, visiones 0 perspectivas de aquéllos, aunque a veces sean incluso ay rey extudio de caso es lo més alejado a un estudio de corte experimental os en el siguiente apartado) se le ha criticado su excesivo com ee 2 ah eo ae aa bien, no es menos cierto que gracias a la triangulacién (el significado de sei apemos cbservado rquir a menudo, de cbservaciones acionalcs como base para la revision de las interpretaciones realizadas) se consign® reducir al minimo las fal- sas interpretaciones, ayudando a descubrir la validez de los datos ‘observados. ; Fue Norman Denzin quien en 1984 identificd cuatro tipos de triangulacién, refirién- dose a ella como la estrategia consistente en la recopilacion de una gran variedad de datos yy métodas referides al mismo caso (0 programa), de forma que los resultados y conclu- yoni la evaluacién tuvieran la mixima validez de constructo posible, eliminando los sespos gracias a la utilizacién combinada y contrastada de métodos y procedimientos cuantitativos con medidas de carcter cualitativo. Siguiendo a Denzin (1984), los cuatro tipos posibles de triangulacién permitirin combinar datos, investigadores, marcos teéricos diversos y diferentes metodologias. Concretamente, las cuatro estrategias referidas se describen de la siguiente forma: 1. Triangulacién de datos: esto es, combinar de forma cruzada el tiempo en que se desarrolla la evaluacién, el contexto en el que se realiza el programa y las perso- nas que participan en el mismo. Es decir, pretendemos detectar si aquello que ob- servamos en una circunstancia concreta se ve 0 no alterado al observarlo en una situacién diferente. En el ejemplo al que nos referiamos en el modelo anterior, la triangulacién de datos supondria observar si los nifios Hevan a cabo la misma conducta, por ejemplo, “dar las gracias” en otro contexto distinto del aula, por ejemplo, en casa con sus familiares 0 con sus amigos del barrio. 2. Triangulacién del investigador; supone la participacién de varios evaluadores a lo largo del proceso evaluativo. Siguiendo con el ejemplo anterior, ademas del ma- estro de los nifios que son observados, puede triangularse su interpretacién con la de otros maestros ajenos 0 no al programa; por ejemplo, los docentes de otras cla- ses. 3. Triangulacién de la teoria: se refiere a la aplicacién de varias teorias posibles so- bre la misma informacién; algo que probablemente ya pueda producirse al elegir co-observadores con puntos de vista tedricos distintos; por ejemplo, uno de los, maestros, ya sea de forma explicita 0 no, puede ser mas conductista y otro més constructivista. Esto permitiré establecer varios modelos causales explicativos acerca de cémo opera o funciona el programa, 4, Triangulacién metodolégica: supone la utilizacién de distintos procedimientos de recogida de informacién sobre el programa a evaluar. Es la estrategia mas comiin de todas las triangulaciones vistas y la més aceptada por el conjunto de evaluado- res. En nuestro caso, la observacién estructurada se podria complementar con otras técnicas de recogida de informacién como entrevistas a los padres, o la revi- sién de material documental ya existente. En definitiva, el caso (puede ser un programa) es algo especial, una entidad, que debe set objeto de evaluacién y que puede set considerado iinico. Nuestra intencign con el estudio de caso es comprender esa realidad de la forma mas exhaustiva posible, para lo cual necesitamos recabar informacién, a veces organizandolo en torno a un tema conercto - 68 - Modelos de Evaluacién y sobre el cuél formularemos una serie de p : reguntas temiticas de ayudarin a estructurar las observaciones que tengamos que realizar lan seein ee ; estas caracteristicas es aparezean nuevos temas segiin se desarrolla el andlisis del caso, que lleven Tin tormnisce de nue- vvas preguntas y que conduzcan, por tanto, a la utilizacién de otros métodos con el fin de corroborar las interpretaciones realizadas. Generalmente, se tiende a buscar miltiples perspectivas de los hechos, de las actividades que se analizan, de los temas concretos 2 estudiar, y, ademds, se intenta observar el caso en su contexto natural. Todo esto da cuen- ta de la complejidad de realizar una evaluacién siguiendo la aproximacién del estudio de casos. Stake (2007) lo sintetiza de la siguiente manera: “El estudio cualitativo de casos ¢s una investigacién de cardcter muy personal. Se hhace un estudio profundo de las personas. Se fomenta que el investigador aporte sus perspectivas personales a la interpretacién. Se supone que el caso y el investigador in- teractiian de un modo tinico y no necesariamente reproducible en otros casos ¢ investi- gadores. La calidad y la utilidad de ta investigacién no dependen de su capacidad de ser reproducida, sino del valor de los significados que han generado el investigador o el lec- tor... Debido a que se trata de un ejercicio de tal profundidad, el estudio de casos es una oportunidad tinica de ver lo que otros no han visto atin, de reflejar la unicidad de nues- tras propias vidas, de dedicar muestras mejores capacidades interpretativas...” Stake (2007: 115-116). 3.3.3. Modelos experimentales Por aproximacién experimental se entiende una orientacién hacia Ia Evaluacién que pica lou principios de a ciencia experimental al dominio espectfco de la Evaluacion de Tos programas sociales y educativos. Esta aproximacién se deriva de la larga tradicién de experimentacién controlada que marca Iu mayoria de la investigacién desde el mundo académico. El objetivo del evaluador experimental es derivar conclusiones generalizables facerca del impacto de un programa conereto, a través del control de las variables extrafias 4 del aislamiento de las variables que influyen en el programa. Las operaciones o activi- dades del programa son controladas como cualquier variable independiente y se analizan Tos efectos que producen, es decir, su impacto sobre las variables dependientes (Pozo et «l., 2004). : "Fr peepésito mis comin de estos modelos es dterminaro demostrarvinculos causa- les entre ciertas variables independientes (las actividades del programa) y ciertas varia- bles dependientes (los efectos generados por su implantaién). Para ello, los individuos pertenecientes ala poblacién diana, o bien los centros en los que éste se implementa, son Esignados aleatoriamente a los grupos experimental (eciben el programa) y control (no reciben el programa), con el fin de examinar as diferencias existente entre ambos una ae renimac ioe gida por autores como Campbell y Stanley (1963) entre otros muchos, fue particularmente dominante durante los afios 60 y 70, sirviendo de ase ae oe . peo oes ale aie ‘ayentlided an N ‘on la actualidad cuenta con adeptos, : Mirco tadge Ios sequisitos de los diseios experimental (0 cuseneinenis) yas Kerias limitaciones éticas de Ia experimentacién en el Ambito de la y -69- -Evaluacién Insttucional en el émbito educativo. ‘Conceptos, modelos y aplicaciones it valuadoc que adopta cl meétodo experimental debe desarrollar su evaluacién ex- i Ando cientifico de la manera més estricta como le sea po- bens aplcando ome ee gor experto, ¥ orientando sus tareas bisicaments a Ga aE de investigacion donde se determine claramente la intervencién, se Blanca a cnc experimental se establezcan grupos de tratamiento y de control, y se pa Ios resultados en ambos grupos para concluir a el impacto del programa. rere ver este modelo més claramente si 1o ejemplificamos con fo Progiams de prevencién secundaria del fracaso académico Ilevado a cabo algunos affos atrés en el esbite universitario (Pozo, 1996). Bn primer lugar, se detectaron las variables “de riesgo” para suftir fracaso académico en los estudios universiiaie, una vez identificadas, se Pvmluaron de forma rigurosa y exhaustiva en un grupo de alumnos (aproximadamente 300) recién llegados a la universidad. Entre dichas variables Jas més relevantes hacian ce encia a cursar una carrera no deseada, la baja motivacién por los estudios, la trayec- toria académica previa de suspensos, el desconocimiento del funcionamiento de la Uni- wersidad que puede conducir a conductas poco adaptativas, la inadecuacién de los habitos de estudio y la ansiedad ante los ex4menes, por citar tan s6lo algunas. Esta evaluacién previa permitié identificar del conjunto de alumnos a aquéllos con riesgo de experimentar FAU (Fracaso Académico Universitario), y se hicieron agrupaciones de estudiantes en funci6n de sus puntuaciones en las escalas de medida utilizadas. ‘Asi, el investigador distribuy6 aleatoriamente a los sujetos con las mismas puntuacio- nes en cada variable en dos grupos; un grupo experimental (formado por 20 personas) que recibié el programa y un grupo de control (conformado por otros 20) a quienes se les informé que pasaban a formar parte la lista de espera, y a quienes, con el fin de cumplir con las recomendaciones que dicta la ética profesional, s¢ les aplicé el programa al cabo de unos meses, una vez finalizada la primera intervenci6n. El programa consistia en una intervencién compuesta por varios médulos dirigidos proporcionar informacién y prover de estrategias de afrontamiento a determinadas situa iones, intentando dar respuesta a las necesidades previamente detectadas. Por ejemplo, el primero de los médulos era informativo, y se centraba en facilitar a los estudiantes su adaptacién y entrada en el mundo universitario (funcionamiento de la Facultad, la Biblio~ teca, otros recursos de los que disponen, cémo buscar informacién, etc.); el segundo de los médulos se dirigia a ensefiar estrategias de estudio adaptadas al contexto universitario (condiciones ambientales del lugar de estudio, estrategias de comprensién y memoriza- cidn, técnicas de estudio, etc.); un tercer médulo estaba centrado en el entrenamiento en estrategias de afrontamiento a los examenes universitarios, y asi sucesivamente. Una vez finalizado el programa, se volvié a someter a evaluacién con las mismas ¢s- calas a los participantes en el programa y también a los sujetos del grupo de control. Igualmente, se accedié a las calificaciones finales de las asignaturas del primer cuatrimes- tre de los alumnos de ambos grupos, considerando el rendimiento académico como varia- ble criterio, de resultados o final. La comparacién entre los dos grupos posibilité eviden- ciar que cxisticron diferencias estadisticamente significativas entre ellos, no sdlo en las variables que conformaron el programa, sino también en la variable de rendimiento glo- bal, lo que permitié concluir acerca del éxito del programa. Uno de los mayores representantes de esta aproximacién fue Suchman (1970). En ge- neral, su propuesta de evaluacién se puede resumir en la idea global de la necesidad de seguir la légica de! método cientifico y, por tanto, el uso de las técnicas y procedimientos derivados de dicho método (metodologia cuantitativa). Desde este punto de vista, ¢l propésito de la evaluacién seria la produccién de informacién que muestre el grado en el -10- Modelos de Evaluacién que un programa ha hecho lo que se definidos (Suchman, 1970). ‘Al igual que en cualquier otro tipo de investigacién, en Ia evaluacién pueden darse una serie de problemas relativos a la fabilidad y validez, si un programa no tiene éxito puede deberse a cualquiera de las dos razones siguientes: Planificé y ha alcanzado los resultados previamente a) Porque no se ha puesto en marcha el proceso causal que culminaria en la conse- cuci6n de las metas esperadas (fallo en el programa). b) Porque aunque se ha puesto en marcha el proceso causal, éste no ha producido los efectos deseados (fallo en la teoria del EI método evaluativo de Suchman (1970) se desarrolla en cuatro etapas: 1. Fase piloto, en la que el desarrollo del programa se va efectuando a modo de ensa- error. 2. Fase modelo, donde se ejecuta una estrategia definida del programa en condiciones controladas. 3. Fase prototipo, en la que el programa modelo se sujeta a condiciones de ejecucién realistas. 4, Fase institucional, aqui el programa es parte actual y activa de la organizacién. ‘Asumiendo que la investigacién evaluativa debia regirse por los mismos principios cientificos que cualquier otro tipo de investigacién, otorgé gran importancia dentro det proceso de evaluacién a la relacién entre las causas y los efectos del programa, por una parte, y la planificacién, por otra. Su modelo, abierto y multicausal, aparece reflejado en Ia figura 3.1. Figura 3.1. Modelo ‘multicausal de evaluacién de Suchman La consideracién de este modelo es fundamental para a plninin de i eo eto een 4 Sea es i es nes del ‘programa inicial. Los efectos, arent influir o” "neecuencia de una falta de control experimental. Fanefnattn sl plan de evaluacion se esablecera a partir ela formulacién de una sre 71 Evaluacién Institucional en el dmbito educative. Conceptos, modelos y aplicaciones ipdtesi sables implicadas y se definen las relaciones de hipotesis en las que se determinan las variables imp! funcionales entre ellas; es decir, entre las distintas acciones del programa ¥ sus resus La conceptualizacién mulicausal de la evaluacion permite obtener datos cera dels bilidad y validez. ‘causas y los efectos, con altos niveles de fiabili ; Fn la actualidad las evaluaciones de este tipo estan en desuso, no s6lo por la impos bilidad de trasladar el excesivo control que suponen al contexto social 0 educativo, sino tambign porque se ha demostrado su imposibilidad para tener en cuenta las necesidades de la poblaci6n y para informar de forma comprehensiva acerca del valor y el mérito de ‘un programa. 3.4, Evaluaciones orientadas al perfeccionamiento y la responsabilidad Bajo este nombre se incluyen todos aquellos modelos que acentiian la necesidad de determinar el mérito y valor de los programas, como modo de cumplir con la responsabi- lidad social y establecer actuaciones que conduzcan a la mejora o perfeccionamiento de las intervenciones. La mayoria de las aproximaciones que se engloban en este apartado cemplean la evaluacién de las necesidades expresadas por los distintos stakeholders (per- sonas interesadas, de una u otra forma, en el programa o en su evaluacién) como criterio fundamental para determinar el mérito 0 valor del programa. | Bajo este epigrafe se han seleccionado (ver cuadro 3.1.) el modelo CIPP (orientado a Ja toma de decisiones) y el modelo de Scriven o evaluacién orientada al consumidor. El principal cliente para Scriven es el “usuario”, de forma que sus procedimientos se aseme- jan a los propios de las asociaciones de consumidores: juzgar los valores relativos de los bienes y servicios, y como consecuencia ayudar a los consumidores 0 clientes a saber elegir entre ellos; mientras que el modelo CIPP se orienta a todos los “stakeholders”; es decir, aquéllos destinados a usar los resultados de la evaluacién, aquéllos que pueden verse afectados de una u otra forma por la misma, y aquéllos de quienes se espera que contribuyan a dicha evaluacién. Pero, especialmente, el modelo CIPP se centra en aqué- los que planifican y administran el programa, 3.4.1. Modelos orientados a la decision Su propésito es prover de la informacién necesaria Posterior justficacién. La evaluacién seréutilizada tanto para el perfeccionamiento de un Programa, como para enjuiciar su valor. La propuesta mis significativa de esta aproxima. Sién es el modelo CIPP de Stufebeam (Stulebeam y Shinkfield, 1987), conocido ai Por las iniciales de los términos ingleses Context (Contexto), Input (Eve (Proceso) y Product (Producto o resultados) ‘ ee Desde esta aproximacién, la Evaluacién se entiende como: para la toma de decisiones y su fg r 2 Proporcionar informacién util y des- wora de tomar las decisiones, solucionar los problemas de responsabilidad y promover la c 6 én i Sow Gabe Shel mens la comprensién de los fenémenos implica- En esta definicidn se contemplan como eler i n Pl "mentos prioritarios: la gui: dessins I bse solos yt compro Sa ens Modelos de Evatuaciin plicados tanto en el origen del _ tecen a lo largo del proceso ota al que se ditige el program — cada una de ellas, utilizando como ¢f EI método CIP, ademés de identificar las r : obesidad infantil en el Ambito escolar.” “Y SUPUESt© Programa de prevencién de la 1 Brabectin del contexto. El propésito iltimo es identficar las virtudes y deficiencias Programa, para lo que es necesario valorar el estado global del mismo y hacer un diagnéstico de los problemas. Uno de los objetivos primordiales de esta primera eva- luaci6n se centra en el anilisis de la poblacién objeto de estudio, extrayendo las nece- sidades de dicha poblacién, y ajustando los objetivos propuestos, para identificar, en una siguiente fase, los posibles programas alternativos. Una evaluacién de contexto del programa de prevencién de la obesidad requiere: = Describir el centro o los centros en los que se desarrolla el programa; sus carac- teristicas mas significativas como ubicacién en la ciudad, peculiaridades si exis- ten, niveles educativos que se imparten, etc. = Identificar los potenciales beneficiarios del programa y evaluar sus necesidades especificas en materia de prevencién de la obesidad. Estas pueden referirse, por ejemplo, a la escasa informacién de los padres y los nifios acerca de una alimenta~ cién sana, al desarrollo de comportamientos poco saludables como el exceso del consumo de grasas saturadas, dulces y bolleria industrial, el sedentarismo, etc. = Identificar las barreras que pueden dificultar la puesta en marcha del programa, como la falta de motivacién del profesorado, la excesiva burocracia necesaria para implantarlo, la escasez de recursos, la ausencia de implicacién de los padres, et. + Identificar los recursos disponibles y relevantes (tanto humanos, como materiales, ¢ incluso de formacién) con los que puede contar el programa, desde la prepara- ci6n de los propios docentes en materia de prevencién de la obesidad, los horarios para llevar a cabo el programa, hasta las existencia de infraestructuras concretas y recursos materiales especificos. ; : + Clarificar las metas y los objetivos de mejora asociados con la satisfaccién de las ; wvalwat la formulacién de los objetivos (éstos deben ser cla- i rae seccicos,orientados ‘a metas, cuantificables, medibles, factibles, no incompatibles entre si y asociados a las necesidades identifcadss). Algunos objetivos que retinen estas ‘caracteristicas en nuestro programa son: “incrementar habitos de ali- informacién proporcionada a los padres y madres acerca de los hébitos ¢ {a informacion Proper rir el consumo de dulces en el periodo de recreo", “hacer mentacién sanos”; “reducir el e n ¢ un seguimicnto “ke las comidas de los nifos participantes en el programa en el comedor del Centro”, etc. anilisis es identificar y valorar la iales y estrategias claboradas, pa- nnecesario recurrir al andlisis de Jas necesidades y de las circuns- Evaluacién de entrada. Lo que se persigue con este @ capacidad del sistema, es decir, de los er ed ra alcanzar los objetivos perseguidos. Ademis, Ser otras estrategias de accién alternativas en funci TB i 11 dmbito educativo. Evaluacién Institucional en el mbito Conceptos, modelos y aplicaciones tancias ambientales 0 contextuales analizadas en la fase anterior. Gracias a esta eva. luacién de entrada seré posible: . i distintas alternativas 0 estrategias de accién posibles, pues puede Exar iii strats nn cin zl rr ed canzar los propésitos perseguidos) que igualmente pueden ser factibles, como desarrollar el programa por expertos nutricionistas externos al Centro, o recurrir tan s6lo a un programa informativo y no de cambio de conductas. Encontrar una solucién inicial viable al problema de la obesidad infantil en la po- blacién destinataria. = Tomar decisiones iniciales acerca de la seleccién de recursos de apoyo, y aquellos otros que pueden dificultar la ejecucién del programa. : * Perfilar estudios piloto para poner a prueba el procedimiento de implantacién del programa, * Disefiar el Plan de trabajo de forma plausible. Para llevar a cabo esta evaluacién de entrada revisaremos la literatura existente sobre el problema al que se dirige el programa, la obesidad infantil, recurriremos a examinar otros programas de prevencién ya existentes en contextos similares, hare- mos visitas a programas “ejemplares”, consultaremos a expertos en la materia, etc. todo ello, con el fin iltimo de llegar al convencimiento de que el programa estableci- do es el mas adecuado para cumplir con los propésitos perseguidos, en funcién de las necesidades detectadas y teniendo en cuenta los medios y recursos con los que con- tamos. Evaluacién del proceso. El propésito que se persigue es la valoracién de las activida- des y aspectos del proceso de implantacién del programa, junto con la toma de deci- siones necesaria para lograr los objetivos fijados. De forma mas especifica, se trataria de comprobar de forma continua la realizacién del plan que se ha establecido en la fa- se anterior, evaluando no s6lo las actividades del programa sino también al personal implicado en la intervencién. Gracias a este tipo de evaluacién es posible: * Proporcionar informacién al personal (staff; maestros, cocineros del Centro) acer- ca de como estén realizando su trabajo, si se adecua al plan establecido y si lo hacen eficientemente. * Ayudar al personal a mejorar sus procedimientos; por ejemplo, si observamos que los padres no participan activamente, es posible reconducir el plan de actuacién y formular otras estrategias alternativas para implicarlos mas. * _Evaluar periédicamente el nivel de seguimiento del programa por parte de los par- ticipantes; en nuestro caso los nifios beneficiarios del programa, * Contrastar las actividades programadas con las realmente implementadas, Es po- sible que algunas de las actuaciones en las que necesitemos de la colaboracién de otros agentes (como los padres) no puedan desarrollarse tal y como fueron previs- tas. * Describir los problemas que surgen durante la implantacién del programa, y en qué medida y de qué forma los maestros los afrontan, * Documentar y analizar los costes de la implantacién del programa, no sélo en lo relativo a los costes econémicos, sino también los relacionados con el tiempo in- vertido por los docentes y el esfuerzo que supone la formacién previa. -74- Modelos de Evaluacin © Informar acerca de cémo los ob: ic inne servadores y participantes juzgaron la calidad del 4, Evaluacién del producto. El propésito de la evaluacién de prod ir, analiza, imerpeta yju2gar ls resultados aleanzados, Poniéndolos cn racion a informacién obtenida a partir de las anteriores evaluaciones, es decir, la de context, ia de entrada y la de proceso. Su objetivo principal se centra en vvalorar en qué ‘medida se ha dado respuesta con el programa a las necesidades previamente detectadas. El feed- tack que proporcionan los resultados es fundamental no solo durante el ciclo de im- plantacién del programa, sino una vez concluido éste. Ast, se evaluarin todos los efec- tos provocados por el mismo, tanto los descados (planificados en la intervencién) como los no descados, tanto los positivos como los negativo. Igualmente, a menudo Ios evaluadores utilizan la evaluacién de producto para analizar los efectos de! pro- grams lap plazo. Siguiendo con nuestro ejemplo, este tipo de evaluacién posibili- = Recabar y analizar los juicios de valor de los distintos implicados en el programa (padres y madres, directivos del Centro, maestros, nifios beneficiarios del progra- « Comparar los resultados de este programa con los de otros similares, levados cabo, por ejemplo, en otros centros educativos. + Sies pertinente, analizar si una pobre implementacién del plan de trabajo caus6 pobres resultados. «Tener en cuenta los resultados e interpretarlos desde distintos puntos de vista; por ejemplo, la percepciOn de los propios maestros que participan come’ agentes acti- vos la opinion de los padres, la de ls propios nifios,valorando el esfuer9 ais ha Supuesto para ellos y los resultados que creen haber alcanzado, su nivel de salud y bienestar, etc. wari par an seguimiento de Ios resultados para analiza los efectos a largo plazo y cl impacto del programa sobre poblaci6n no destinataria del mismo; por ejemplo, gxaminando los efectos que provoca en el resto de alumnos del centro, en otros dloventes que no han sido paricips, ¢ incluso en el ‘barrio en el que se ubica el ‘centro si el programa es de mayor alcance. = Decidir acerca de la continuidad 0 no del programa, ¢ incluso sobre su extensién a ros centros, en el caso de haber proporcionado buenos resultados. Por iiltimo, la evaluacién de producto es un componente esencial de los informes de rendicion de euentas, Cuando se informa de resultados significativos es mis fatible con- vencer a la comunidad en general y a las entidades financieras ‘para que provean de apoyo econémico y politico. a E] método CIPP de Stufflebeam se present nto cioso y se inscribe entre los modelos que superan la metodologia tradicional de evalua- ién centrada en objetivos. Asi, se amplian los propésitos de la evaluacién, pasando a ser mucho mas sistematica y global. Pero ‘al margen de representar un ejemplo de evaluacién orientada a la decisi6n, el modelo de Stufflebeam es una buena muestra de evaluacion para el perfeccionamiento del programa. La ‘continuidad en el proceso de recogida de informacion permite ir decidiendo sobre la marcha acerca de la adecuacién de las accio- nes que se estén emprendiendo, lo que posibilita su cambio, en easo de que sea necesarioy para la mejora de las mismas. como un procedimiento bastante ambi- -15- -yaluacién Institucional en el émbito educativo. Foaluccencepios. modelos y aplicaciones 5 1o una aproximacién basada en los sistemas sociales, es poe CTP ane clacionado Se actividades que funcionan a la par para cum- deci, comme ee comin y alcanzar una serie de objetivos definidos dentro de un contex. Pi emminado. Asi considerada, la evaluacién promueve y asiste para aleanzar dichos Sbjetivos y para producir el perfeccionamiento y la mejora. Por tanto, combina tanto la sestuacion sumativa como la formativa, desarrolléndose ambos tipos en cada una de las fases del modelo. Una sintesis de los roles formativo y sumativo del modelo CIPP se recoge en el cuadro 3.4. Cuadro 3.4, Roles formativo y sumativo en el modelo CIPP (Stufflebeam y Sinkfield, 2007: 329) Contexto Entrada Proceso Producto Fvaluacién for- Guia para identi- Guia para Guia para Guia para tomar ‘mativa: Aplica- —_ficar las inter- _elegir un pro-__implementar —_decisiones acerca de ién prospectiva venciones nece-gramaenfun- el plande —_la continuidad, modi- dela informacién sarias y elegir y _cidn de las trabajo basa ficacién o finaliza- del CIPP para priorizar los altemativas y do enel cién del programa, en asistir ala toma de objetivos basa- recursos exis- _seguimiento _funcién de la evalua decisiones caraa dos enlaevalua- tentes; ejem- _-yeenjuicia- cin de los resultados. lamejoray asegu- cidndenecesi-. _plificacién del miento de las _y los efectos desea- rarla calidad del dades, problemas plan de traba- actividades dos y no deseados. programa y oportunidades. jo. del progra- Evaluacién suma- Comparacién de Comparacién _Descripcién _Contraste de resulta- tiva: Uso retros- los objetivos y de lasestrate- completa del _ dos del programa con pectivo de lain- _prioridades esta- gias del pro- _—_procesoreal_necesidades previas formacién del blecidas con las grama ysu — del programa _detectadas y con CIPP para analizar —necesidades disefio con Y¥ Sus costes, otros programas. el mérito del pro-detectadas, los. aquellos otros comparindo- _Interpretacién del grama, su valor, problemas iden- de los compe-tocon lo que programa teniendo en probidad y signifi tificados ylas. _tidores més-_—fue planifi-. cuenta los resultados cado. oportunidades _significativos. _cado. de la evaluacién de examinadas. contexto, entrada y proceso. 3.4.2. Modelo de evaluacién orientada al consumidor La propuesta que se presenta a continuacién, orientada a las necesidades del ““consu- midor”, fue formulada por Michael Scriven (1991, 1995); el te6rico de la Evaluacién que mis ha enfatizado la emision de juicios de valor, dandole el papel central en la definicién del concepto y Ia prictica. Precisamente, este autor considera que la tarea basica de los evaluadores es emitir juicios de valor sobre los programas sobre sus elementos, con el fin de que los encargados de la toma de decisiones decidan acerca de la continuidad de los mismos, su modificacién o climinacién. Sus aportaciones conceptuales y metodolégicas han sido fundamentales para el de rrollo de la disciplina de la Evaluacién de Programas, siendo ademas uno de los més sig- nificativos lideres en los esfuerzos por profesionalizar la Evaluacién. Son suyos concep- -76- Modelos de Evaluacién tos evaluativos tan relevantes como metaevaluacién y evaluacién lil vet gue quiz su aporacién mas sgnifcativaaladscipin haya edo le dstocoe ose Iuacién formativa y evaluacién sumativa; ambos tipos difieren en | cnie eva guidos pero no son incompatibles entre si en los propésitos perse- ‘el La evaluacién beset que se llevaria a cabo durante el proceso de implantacién programa, permite proporcionar informacién continua para ayudar a modificar la pla- nificacin del mismo, asi como su ejecucién; por tanto, presta apoyo al personal na perfeccionar las actividades que se estén desarrollando. La evaluacién sumativa, ne su parte, aportajuicios acerea del nivel en que las metas del programa han sido alcanzadas y las nevesidades han sido cubiertas, de forma que es posible establecer valoraciones com- parativas que permiten distinguir entre la eficacia de distntas acciones, ayudando a los wanda 8 decidir programa fntzadoo& mjo ue ors ya ution los s (econdmicos, de recursos, de tiempo, psicoldgicos, etc, i- Se Te, 1p0, psicolégicos, etc.) que ha supuesto su reali Para Scriven, la evaluacién orientada por objetivos, propia de planteamientos anterio- res como el modelo tyleriano, puede resultar intitil, dado que es posible que las metas establecidas no sean las adecuadas, estén mal formuladas o no atiendan a las necesidades reales de los usuarios. También podria suceder que al considerar s6lo las metas no se tengan en cuenta otros efectos que provoca el programa y que no han sido contemplados en la planificacién de los objetivos. Por ese motivo, Scriven (1973) propone un modelo que sea capaz de responder a los stakeholders y que permita la mejora del programa: es la denominada evaluacién libre de objetivos. Esa iiltima propuesta entiende que en lugar de aceptar las metas establecidas, se debe juzgar si el hecho de alcanzarlas puede contribuir al bienestar de los consumidores. De esta forma, el primer criterio a la hora de determinar el mérito o valor de un programa no es el logro de objetivos previamente definidos, sino Ia satisfaccién de las necesidades de la poblacién destinataria del mismo. Segin este método, el evaluador debe ser “ignorante” de las metas del programa y debe dedicarse a investigar todos los efectos que éste provoca, independientemente de sus objetivos. En este sentido, todos los datos que provoque el programa son igualmente ad- misibles. Las ventajas de este tipo de evaluacién las resume el propio Scriven (1973) en las siguientes: + Es menos intrusiva. Es mae flexible a los cambios que pueden surgir en las metas del programa, Es capaz de detectar efectos no esperados. Es més equitativa, al considerar una amplia gama de valores. Es més estimulante para los profesionales. Posibilita, en mayor medida, evitar los sess 10s propios del efecto evaluador. AA pattir de estas aportaciones y de una nueva forma de entender la evaluaciéa, ls ne- s “ aeons” adquieren un papel central en toda practica evaluativa, cesidades de los “consumidores” adqui ay SS cl ya que proporcionan la informacién a partir de la cual se j programas de sion social Scriven desarrolla asi su modelo de evaluacin centrado en el Consumidor, que consiste bésicamente en idenificar y ordenar os programmer y productos disponibles para los consumidores en funcién de su coste relative ¥ del grado en que dan respuesta alas necesidades existentes (Seriven, 1995), ‘ Para juzgar si una alternativa ¢s ‘mejor que otra, Scriven (1995) propone disponer de un conjunto de criterios de valor previamente definides, derivados de las propias carac- -17- je 11 émbito educativo. ‘valuacién Institucional en el . LS ‘modelos y aplicaciones Ta asignacién det még _ Al procedimiento desarrollado para ta asign oe. eee io vrenoce como la “Idgica de Scriven” y esta compuesto na le ee etividades que quedan reflejadas en la figura 3.2, |, Identificacién clara del programa 2. Especificacion de criterios para

    You might also like