Eqatoi—C060- 1309-14 \o05-30 CONT 3561300201600 EVALUACION DE PROGRAMAS _ SOCIALES Guillermo Briones he TRILLAS [9]versas dicotomias en It ie teleriaiad frecuencia tanto en la epistemologia como en Ia metodolo la investigacion social. De esta manera, ¢ necesidades de la evaluacio 1 necesida acion propiamente tal, las diversas pciones que se presentan en nuestra exposicion, La primera parte del libro contiene lo que podriamos llamar teoria y la metodologia general de la teoya 1 metodolog valuaciOn, para continuar in enatencionequesuexporiion detaadsbubrccelndy diversas obra ecializadas @ sas reas. a Borsonas, De manera especial queremos agradecer a lo numer a en nuestro trabajo. anon Research Gente de fawn, Canadas aye contusions ‘ Eales oon yi de entrenamiento del Programa Inter- diciptoariods nvatgncones en Eduactn hizo paebloiupse sy materiales y nos ani. al Indice de contenido | Introduccion Cap. Cap. Cap. Cap. y metodologia Primera parte. Ter 4, Naturaleza y propésitos de la evaluacién Una definicion de trabajo, 13. Propésitos de la on, 17. Resistencias a la evaluaciGn, saci6n, 20. Niveles de 2. Tipos de evaluacién 1. Evaluaci6n intermedia-evaluacién te 2. Evaluacién durante-evaluacién final ‘cién formativa-evaluacién sumativa de procesos-evaluacién de impacto, 25. 5. Evaluacion fnotitucional-evaluacién de programa, 26. 6. Evalua- cién de objetivos internos-evaluacién de objetivos fextemos, 26. 7. Evaluacién externa-evaluacién inter a, 27. 8. Evaluaciones descriptivas y explicativas, Modelos de evaluacion El modelo CIPP: contexto-insumo-proceso-producto, 32, El modelo de referentes especificos, 35. Focos y Sbjotos de evaluacién, 36. El modelo de utilizacién focalizada, 49, Un modelo global: la evaluacién iluminativa, 57. La evaluacién participativa, 63, 4, Validacién de un programa de accién Disoftos de validacién, 72. Disefios experimentales, 74, Disefios cuasiexperimentales, 78. Validez ecolégi ca del programa, 87. 5. Disefios de evaluacién 1 ‘Objetivos de evaluacién, 90, Objetivos descriptivos, 91 Objetivos explicativos, 93. Disefio metodolégico, 96. u 31 898 INDICEDE com Cap. 6. Diseiios de evaluacién II 115 Universo de estudio y unidades de anélisis, 115, Dise- ios muestrales, 117. Bl disefio metodolégico en los modelos globales, 125 Segunda parte. Andlisis y evalu | Primera ie components Cap. 7. Andisis y evtuacisndeobjetivos 135 parte vos, 137. Resumen, 146. 8. Evaluacién de procesos: funcionamiento del pro- grama 149 Procesos de mantenimiento, 149, Procesos de cambic 1 @ e innovacién, 15 r Cap. 9. Evaluacién de resultados 163 jes Resultados previstos y no previstos, 165. Dotermina- cién de resultados, 168. Evaluacién del rendimiento escolar, 177, Tercera parte. Evaluacién de sistemas educativos } : * i? th Cap 30, Andina evalua dusts ednctivs ans | todologia mm gece cmatn sta ects Teoria y metodologi Cap.11 Cap. 12. Evaluacién social de la educaci 217 Evaluaci6n del proceso estudio-trabgjo-v g 217. WS Guarta parte, Recoleccién y anélisis de datos Cap.13. Recoleccién de informacié 225 aa : Informacién cualitativa, 225, Iaformacién cuantitat va, 2 Cap. 14 239 Cap.1 249 Referencias bibliogréficas 259 Indice onoméstico 265 Indice analitico 267Naturaleza y propdsitos de la evaluacion En su acepcién corriente, ol término evaluaci6n se utiliza para referirse al acto de juzgar o apreciar la importancia de un Geterminado objeto, situacion o proceso en relacién con cier funciones que deberian cumplirse o con ciertos criterios o vale res, explicitados o no. Es asi como en la vida cotidiana las perso- Tas emiten frecuentemente juicios acerca de la utilidad, conve- Riencia, eficacia, compatibilidad, cumplimiento, ajuste, etc., de otras personas, recursos, procedimientos o productos; juicios que en su esencia constituyen acciones de evaluacion con b: muy distintos supuestos, normas 0 contextos de mayoria elegidos subjetivamente. En el desarrollo mismo de la investigacion evaluativa dirigi da, durante los primeros momentos, casi exclusivamente on lc que toca a la evaluacién del aprendizajo, es posible distinguir dos direceiones o énfasis principales, aun cuando interrelacionados: por tn lado, la evaluacién concebida y practicada como medi- Gién; por otro, la evaluacién definida y también practicada como determinacion de logros o resultados en comparaci6n con objeti- ‘vos propuestos on el programa. Ambos enfoques han tenido con- secuencias fundamentales en el desarrollo de la investigacion evaluativa, como lo sefialamos a continuacién. Le evaluacion como medicién equivale a un proceso de cua: tificacion que pormite asignar mimeros o puntuaciones a los objetos 0 personas evaluadas. Es légico que tal conceptualizacion aré aun gran desarrollo de pruebas y técnicas posibles de pro- porcionar informacion estadisticamente manejable, de tal modo que los instrumentos utilizados cumplieran con los criterios de Validez y confiabilidad. Las desventajas de este enfoque son evi "12 PRIMERA PARTE |ETODOLOGIA denies, Desde luego, la acent umental d evaluacién actué en cont e podriamos amar “Ia teoria de Te evaluacién”, Por oto lado, la evaluacion asi entendida estreché su campo de aplicacién a las propiedade quo pudieran ser expresadas en términos de medidas o puntua- Giones, en perjuicio de otras caracteristicas tan importantes como aquéllas, pero que al no poder ser cuantificadas se consideraron no relevantes” o “no significativas”. Una tercera desventaja con- sisti6 en limitar la medicion a variables individuales, es decir. a propiedades que se dan on las personas, con lo cual no se tuviero en cuenta aspectos de la estructura y funcionamiento de un pr grama que corresponden a su lotalidad o que identifiean part tes del mismo. segunda concepcién de la evaluacion puso en el centro de la tarea investigativa la determinacion de los logros que pudo alcanzar un programa o un curso de accién, en relacién con los objetivos o metas del mismo. Si bien es necesario reconocer que en el campo de Ia educacién este enfoque llevé a preocuparse por 9s procesos y materiales curriculares que pudieran explicar el endimiento escolar y otros resultados instruccionales, no es menos cierto que el propésito bésico de encontrar la correspon- dencia entre objetivos y logros obligé a definir los primeros en términos operacionales, medibles, con la consiguiente pérdida de contenidos de aprendizaje que no pueden ser sometidos a osta forma do expresién cuantitativa. Una desventaja adicional d esta concepcién fue la de hacer casi sinénimos los términos eva Tuacién y determinacion de logros terminates, pues debido al acento pusso on Is poible modfiactn final de ia conduct quedé confinada a analizar los resultados obtenidos. Por oso Guba pudo decir c ae siste en que el 6nfasis en la conducta del estudiante como criteria datos abl estn disponible al nal ge un largo oriodsinetramen al. Es tal vez ironico que una definicién que sugeria tan clarament. a rotroalimentacion y su utilizaci . I proce- y su utilizacion en el mejoramiento (del pro so de onsefianza-aprendizaje G.B}) haya tonido oste efecto. La otal 1d de las posibilid es no s6lo no fueron realizai joque la for: feat itn deilebee?hon Corti Wes eat ee program: Reading in social action Ine., Boston, 1972, pig ( education, Allyn and Bacon Debemos agregar que les dos concepciones de evaluacio expuostas llevaron a privilegiar ontale: pata medir los efectos de recursos y metodologias en logros edu. ativos de muy distinta naturaleza. La adhesion por largo tiempo n ostos disefios ~extendida después a programas de accién de dtros sectores sociales ha sido tal voz un factor importante en el Tonto avance della teoria y de la practica de la evaluacién en gen: firmacion, no hay duda de que durante fos iltimos atios, la definicion de la evaluacion en tanto medicion de variables, asf como ol uso casi absoluto de definiciones opera- cionales de ios objetivos, han sido superados desde el punto vista conceptual y metodologico. ral. Sin perjuicio de UNA DEFINICION DE TRABAJO En un campo de investigacién con tan poca tradicion como lo es el de la evaluacion de programas, es natural que abunden la definiciones, en un aparente intento de esclarecer su contenido y sus funciones. En verdad, un buen nimero de esas definicion han sido formuladas en el campo de la educaci6n, especifican ie on el rea constituida por el analisis del proceso de ensehanza- aprendizaje. Desde ahi, algunas de ellas, de forma casi mecéni¢ so han proyectado hacia tareas de evaluacién de actividades muy diferentes y, por lo mismo, con necesidades te6ricas y técnicas de otra naturaleza, Como también sucede con frecuencia, cada una de las distintas dofiniciones propuestas acentiian uno 0 d aspectos que el autor considera los focos principales o centrales de los estudios evaluativos. Si bien no pretendemos superar las caracteristicas anotadbes, creemos conveniente ofrecer una definicién amplia y flexible que permita orientar la practica de la evaluacién de programas de muy diversos objetivos y coberturas, De acuerdo con esta inten- cién, entenderemos por evaluacion de un programa: Un tipo de investigacién que analiza la estructura, el funciona- miento y los resultados de un programa con el fin de proporcionar informacion de la cual se deriven criterios titiles para la tom decisiones en relacién con su administracién y desarrollo. Respecto de esta definicion conviene hacer las siguientes especificaciones:14 PANERA 1. Que la evaluaci6n sea una in motivo de mayor d 6n no deberia ser lesacuerdo si aceptamos, en tarminos genera. les, que lo que se protende al estudiar un programa es encontrar nuevos conocimientos acerca del mismo. Pero en esta caracter zacion queremos destacar diversas aspectos comprendidos on el término andlisis utilizado en la def nicién. Esos aspectos son: des- cripcién del estado, situacién o nivel de cada uno de los compo. nentes del programa, y on especial de aquellos que constitute focos de evaluacion. La descripcién puede ser de tipo cualitative nplicar mediciones; determinacion de factores que faciliten c ficulten el funcionamiento del programa, el logro de sus objeth, a calidad de los mismos; y aplicacién y desarrollo de esque, explicativos o interpretativos referidos a las relaciones yue lan entre los factores mencionados y los estados doscrites o modidos en la evaluacion. Como se advierte, este anilisis -que jui denominamos anélisis evaluativo- os el centro de teds igacién que busque juzgar objetivamente el funcionamien to y los resultados de un programa de accién social. 2. Como investigacién que es, convione distinguir la eval cién de un mero proceso de juzgar subjetivamente la importer © valor de un programa, y lo que constituye su naturaleza e. cial, vale decir, un proceso de andlisis guiado por un esquema conceptual adecuado al objeto de estudio y en él cual se alilion un conjunto de técnicas, cualitativas y cuantitativas, con el fin de asegurar la validez del conocimiento obtenido. De aqui quo se més apropiado ref proceso de indagacién con el nom. bre de investigacion evaluativa 3. La definicion propuesta no limita las tareas de evaluacion a la detorminacién de los resultados finales de un programa que, indudablemente, forman parte principal del mismo, Pero, inag alld de esa determinacién, es de la naturaleza de la adminis cién de un programa proguntarse si éste “trabaja bion” o “trabaja imal’, y luego “muy especificamente, en este ultimo caso~ por do esto 0 qué factores explican los resultados abtenidos. fica que, en mayor o monor grado, la evaluacion es una investigacién explicativa. Pero sea ésta u otra la direccion del analisis, preguntas cle este tipo obligan estudiar la estructura, los recursos y el funcionamiento del programa como focos o dress potenciales donde se ubican las respuestas que explican los resul, tados del programa, sean positives, negativos o nulos, Recordemos ~dice Weiss q) Ja evaluacién tiene como objeto ayudar a tomar decisiones. Los cargados de tomarlas tienen que {.NATURALEZAY PROPOSITOS 15 lo que no sirvid par saber qué fue lo que dio resultados y qu wie aut ddaptarse en todo! sistema o, de bade ae giiceran® menos quo la evaloacion plod pr . pruebas dela naturaleza dl programa tl como existe yo solo dl programa sogin lo describieron sus ejecutantes) no habré'en qué Poear una decision. En el caso extremo, cuando un program {Gmente, jqué os lo que los dizemos que adopton” (Carol H, Weiss, ee er ae 4. La defnietn quo hemos proporcionadoesigng una fina jus eyuden a tomar dclstones nolan coma marcha general que ayuden a tomai nconla marcha general grama o en relacion ama ve podrian del profiarse con otras poblaciones, Por eso la evaluacion es b aaa eaeeais oe eta es a ee ee a camente investigacién apli jue conviene destacar. Li que conviene d Utilizacion de sus halla resultados de la investig un autor: eons rps nai ee cnt i sir et ore aa (ee Pree debe constantemonte, estar consented la uiidad eee eee ichman, Evaluative Research, 1) potential de sus hallaagos (2d Ruscoll Sage Foundation, Nuova York, 1987, p Lteristica ala Esincorrecto, de luego, pasal ee oe eptualizacion de la evaluacion como ciencia a icada. ie se ea la recten eno uzaion de conepies y meidolog provenionesde ns omdediscplinas on cuanfil portend Eripions tls parse desarollo del programa, Ast entonces le Bait -i6n es también investigacion interdisciplinaria que : Ja. segin el caso, en la psicologia, la antropologi, la sociologi Le co oy Jon dle cousideraciones os importante destacar que poe a tigacién evaluativa se establece una isplcacin en abstract do oes principosgonoraes sore 16 Privena DOLoG! entender, los comentarios que Foster hace respecto de la antropo. logia aplicada y que luego resume asi a que la cioncia social eorica no brinda un marco suficiente al studi eplicado, se deduce que el cientifico social que trabaja en este campo debe estar preparado para elaborar al menos tuna pante do su teorta relevante a partir de sus propias experiencias y obser clones (George M. Foster, Antropol ada, Fondo de Cultura Econ6mica, México, 1974, pags. 217 a 218) En todo 0, estas notas acerca del valuativa tienen mayor papel de la teoria en 1 nntido cuando ella trata de buscar relaciones entre componentes del programa, y en espo- cial entre algunos de ellos y los resultados obtenidos; en otras palabras, cuando se tiene un propésito explicativo. La preocups, ci6n teérica disminuye, empero, en la evaluacin descriptiva, specialmente en aquella en la cual el objetivo principal y a vecss linico consiste en determinar sila exposicién de una cierta pobla, cién a un proy ompané de un cambio en la direccion deseada. Mientras en el primer caso se tienen bases para hacer generalizaciones de las ceracteristicas de funcionamiento logros hacia otros programas similares, la evaluacion descriptiv casi no muestra capacidad de generalizacién; sus resultados se refioren solo al programa que esta somotido a estudio, Digamos finalmente que otra caracteristica que define a investigacién evaluativa como investigacidn aplicada la constitu yeel limite que los evaluadores deben imponerse en la seleccion de informaciones. Por lo ya dicho, es claro que su cantidad y tipo se definen on funcién directa de las areas del programa on las cuales los administradores desean o deberian actuar, de tal modo que ol criterio de relevancia practica tiende a reducir al minimo de informacién que analizaré posteriormonte. Cuando decimos “deberian actuar” queremos significar ocasionos en las cuales la evaluaci6n no tiene un cardcter administrativo directo; es decir, cuando no ha sido solicitada y convenida con las personas res. ponsables del programa, sino que surge desdo fuera, pero como investigacién evaluativa y con los mismos propdsitos de ésta, Un ejemplo claro lo presentan los estudios acerca de la eficioncia d los sistemas educativos o sistemas de salud; la eficiencia externa de programas de capacitacién de maestros, etc., on los cuales log resultados obtenidos sirven como normas de contrastacion esta blecidas, como dijimos, desdo instancias totalmente indepon. nites del programa. La evaluacién asume aqui las caracteristi as de una investigacién critica, tigacion 7 PROPOSITOS DE LA EVALUACION En la definicion qu 03 su finalidad Hi ara la toma de dec funcionam oe e cionan coon: tras decisiones que se Spins operaciones drs yas con rforonci lo =u Ciilizad los, la metodologia empleada, al elo oi pate acre pons og ge ue se dosarro le ersificacion de roles que exige la marcha del Ss ieee s o divergentes dentro ie i ‘g ne ae e pags todas manera tomar indicado: ecosidades que hayan A manera do ilustracién de los 8 irse en una investigacion evalua Jos que aquéllos aparecen formula idad pode sropositos que pusden ps Eon ulados en diferontes niveles de Mejorar la efectividad cuantitativa del programa, es dct ol Joerg do sus cbt oF dos, sea la efectividad Aumentar la eficiencia inna! a oe Redefinir la poblacién objeto: r cirla, homogg Siodie fi miento y la metodolo- gia del prog) rama, vale decit cuacion si es pertinente, las expectativas de larecursos, objetiv ste = eae poblacion de referencia del programa, PS 4° !8 el programa pueden ser muy numeresas y do variada importan nos de estos propésitos surgen c andes e amet que algo “anda mal” en el programa: que lo algan indicio o “sospecha” de clon adecuada, que existen conflictos con la poblacion, Tal \dicacion junto con otras fuentes de inform a definir los objetivos de la evaluacién y definitive, teuda Preparar el disefio metodola Sin perjuicio de la existe: n definitiva, ayudan a ico que Se empleara. cia de propésitos que justific evaluacén, Weiss (1075 pag. 29.024) sonalado cuatro circ jncias en las cuales no valde la pena vealizatla, Ellas son, lex. 1. Cuando no hay nada que preguntar acerca del programa Se ot realizado y ls docisiones en lo que to aaculuty. no so van a tomar 0 ya se han tomad 2. Cuando el p ; ne rograma carece de orientacion clare. El pers nal del programa imp fados de un dia pare nal el rogama improvise su actividades dun da par o,basandose en paces sellexiones y menos principlos gel programa cambiay seve tansformandey "wags a” y se orienta como puode. Hay poca razon p : neat YP para llamar 3. Cuando las personas que deberian saberlo no pueden onorse de aeverdoen qu atando de reali- ar el programa, Siexiston grande on li motas proyectadas, la evalua to sobre el cual levantarse. oo 4. Cuando no hay suficiente dinero n calificado para realizar 1: 1 ate a cidad y destroza, p. 1. NATURALEZA Y PROPOSTOS 18 Jos la existencia Podria agregarse que en Igunas oportunidi i bed ndicadas en los numerales 1 a 3 forman ge las caracteristicas ei racionalizaciones usadas para impedir la realizacion Be cea como la que tratamos en Ja siguiente seccion Uva joe colaboren al estlarecimiento de reaultadoe oof eloramiento de su ctrleia | Weiss, nuestra contra de la posicion de Ca: ja en favor de hacer una inv Suestas, precisamente para que sus ios objetivas de los tigacion evalua RESISTENCIAS A LA EVALUACION enven la nocesidad de tomar Altratar de camente se resum Giversos aspectos del progra dyer ca pfectividad. etc. Esta situacion, sin embargo, no sier Feoponerse ala evaluacion. A esto respocto, Suchman (1967: 144 do de un programa suele apelar sefiala que el personal encarg tina serie de “razones”, ya sea para impedir ¢ 5 para disminuir la importancia que puede Entre tales razones el autor destaca las siguiente nodificaciones: estudio evaluativo que traduci. Los efactos del programa son de largo plazo; por tanto, las onsecuencias no pueden ser medidas en el futuro inme- diato. Los eral més bien que ide utilizar un criterio uando {lectos buscados son de tipo g ‘De esta manera, no se pu finico para evaluar el programa: por otro lado, aun se Parson muchos modides no se logrria leg consecuencias complejas buscadas. 3, Loe resultados son pequefios, pero significativos; por lo weno, no puden ser medidos efoctivamente ya que los mntos no son lo bastante sensitivos. efectos son sutiles y no h idados de usar ins: {sumentos capaces de explicar el cambio de las cualidades a las cuales so refiere el programa. Ademés, la medicion perturbaria los procesos involucrados. tesa sala también otras racionalizaciones tendi Suchmanse lazgos de la evaluacién y que disminuir la importancia de los haleee 2ay prorostos 24 20° pre . TEOFIA Y METODOLOGIA 7 : caciones en el programa. Debe tenerse en cuenta que de una for. at Reconocida esta dimension, pretendemos que & ma U otra algunas personas que participan en el programa suelen 1; monos en algunos de Tos aspectos que tra A diferencia de las empresas de negocios cuyo destino esta dec 1. Sistentteca, educacion basica y vocacional), entre otros. dido por el balance, las organizaciones de servicio no sufren eestiocs agFICUITUTA, eda A vale (escueles, hospitales, sin es cuando no logran alcanzar sus metas. Lee sigu za 2, Organizaciones institucionales ( contribuciones privadas o partidas del presupsest mtela dicatos, otcétere). | etizacién, educacién de adul: descontenta no tiene mayor voz ni voto en la direce asin 3, Programas general za administradores concienzudos ue les vaya bien, pre snpecina, drogediccion). para persistir actuando de n as criticas contra 4 ivel del programa seran | tilice a metodologia son un contraataque cada vez més comin pare peeens écnicas de analisis que la evaluacion utilic nderse de la evaluacién que nohable bien deune (Woes 1o0e informacion y las tgonicas de anaisis que la evaluaci™ Nit Hay todavia otras formas de ponerse en guardia contra la Toferiré la investigacion ovaiualtt. Ura de, educacion bésl orientarla hacia ciertos aspectos que el adminisrader sek podré requerir de solo algunos indicator ee evaluacion de un pa nde los habitantes a promover la participacior uarlo al contexto 0a doa p emcee equerir de una informacién més varia los deseos de la poblacion; que basta con la autoovaluacisn de su Aan = comunidad podra requerz de una nora po ejecutor; que lo que en definitiva interesa es lo que se da como asimismo [a utlizacion de wenkcas apropiads Bo hace en el proyecto y no resultados cuantificables; que personas nivol: grupos de discusion, ery pectativas de solucién, etc. Con externas al programa (autoridades) han expresado juicios map ion de necesidades y favo ‘ables respecto del misme esariamente debe aluacion como de tcétera flexibiidad que faust onl plicaign tanto de modelos do evaluaion como Taeaitae apropladasal nivel del programa que ha dev NIVELI S DE EVALUACION El titulo de este texto y el desa realizado refiere la evaluacion fines y que hemos rrollo que hasta aqui hemos estrategias de accién orientada a enominado programas, Si bien ¢ mantener ol término como eti eta general, en la practica esos cursos de accién se diferencian b fe por su magnitud en tér- inos de poblacion atendida, por su distribucion territorial duracién, variedad de objetivos, etc. Para dar una idea de nuestra referencia: la idea de programas se extiende desde todo el sistoma de educacién de un pais (nivel macro), pasando por un programa deTipos de evaluacién Hay diversos tipos de evaluaci6n, diferenciados di ‘con otfos tantos criterios, que se combinan a su vez con algunos de los modelos que presentaremos a continuacién, 4, EVALUACION EXANTE Y EVALUACION EXPOST a evaluaci6n expost es el andlisis que se ofectia del conte- ido del documento en el cual se expone un determinado, pro- ecto con la finalidad principal de evaluar la factibilidad de su puesta en marcha. Tal andlisis examina, por tanto, la claridad V coherencia de sus objotivos, la determinacién de la poblacién blanco del proyecto, la relacién de la estratogia y acciones a realizar con los objetivos, los recursos que serén asignados, los re sultados esperados, etc. En general, la evaluacién exante exami. nna cuidadosamente la estructura y la légica del proyecto de tal modo, que sil resultado es positivo, se pueda dar la aprobacién para su iniciacién préctica en el terreno o bien, si hay reparos, hacer recomendaciones que permitan mejorar el esquema 0 pro- puesta del proyecto, En propuestas de proyectos en los cuales sea pertinente y se disponga de la informacién necesaria, la evaluacién expost presta- 14 especial atencién a su costo-efectividad que compara los cos- tos con los resultados que se espera alcanzar no expresados en términos monetarios (por ojemplo: cul serfa la elevaci6n del ren dimiento escolar de los estudiantes si en un proyecto destinado a @s0s efectos se pretende invertir tal o cual cantidad de recursos 2324 Prin financieros). El andlisis de costo-efectividad alc lidad cuando se comparan proy, mismos objetivos. La evaluacién expost es aquella que se realiza cuando el pro yecto ha terminado. Su propésito es determinar con precisidn los Tesultados logrados y los factores dentro y fuera del proyecto que facilitaron o dificultaron esos resultados, Esa informacion es uli. lizada, si so presenta el caso, en la puesta en marcha en otros pro yectos similares de tal modo de mejorar s ve su eficacia y efectividad. Como se ve, tal evaluacién permite generalizar los resultados ob. tenidos por un proyecto o introduci modificaciones de mayor 0 menor envergadura en sus componentes si se trata de replicar la. experiencia a su mayor uti s alternativos frente a u 2, EVALUACION DURANT! FINAL EVALUACION evaluacién durante es aquella que se realiza mientras se desarrolla el proyecto, en uno o mas momentos. Tales evaluacio, nes buscan detectar posibles problemas de funcionamiento con la finalidad de introducir las modificaciones que sean necesarias de tal modo que se puedan lograr los objetivos del proyecto o prog ma. A diferencia de las evaluaciones expost, aqui la utilizacon no esté referida a la mayor o menor posibilidad de generalizar los resultados, sino a la administracién del programa durante su mar. cha. Es asf, netamente, una evaluacién para la toma de decisiones La evaluacién terminal o final es otro nombre para la evalua, cién expost y vale, por tanto, lo que dijimos de esta ultima en Ja seccién precedents. Agreguemos todavia, sin embargo, que mientras las evaluaciones que se hacen durante el desarrollo del Programa tienden a ser descriptivas y pragméticas, las evalua- Giones finales son de mayor rigor metodolégico. Asi, por ejemplo, buscan determinar relaciones entre variables’ propias del_ pro: ama como también entre ellas y variables del contexto y, final- monte, explicaciones que den ctienta tanto de los “éxitos” como de los “fracasos” del programa, Con el fin de asegurar la objeti- vidad de sus conclusiones, las evaluaciones finales son realizadas preferentemente por evaluadores externos, El mayor rigor metodolégico de las evaluaciones finales se relaciona con la posibilidad de generalizacién de los resultados obtenidos por determinado programa en los términos exprosa, dos més arriba re SBVERSIDAD ANDF BIBLIOT 25 4, EVALUACION FORMATIVA-EVALUACION SUMATIVA a, originado en el campo de la vidad donde se sive, cornet cmpon de. se realiza durante el proceso ae elabor eign de, — Ee : co re slnentacién que permita mejorar (formar) jo de 6 informaci6n de retroalimenta: se instrumento 0 procedi de ei necinp ovaluacién terminal- consisto en el estudio nente, como evaluacion al- co tudo pict a uno 0 varios productos instruccionales I curfcul programa, textos, el.) ya terminados y sometidos,a evaluacio; tos formativas, con la finalidad de analizar su utilizacién en el aera gas ventgjas comparativas con otros materiales, los cost ara eu diseminaci6n ampliada, etcétera. 4, EVALUACION DE PROCESOS-EVALUACION DE IMPACTO La ovaluacion de procesos toma como focos de evaluacion as actividades més importantes que se han desazzollado dentro de tin programa como pueden ser las que tionen que ver con su fun~ Gionamiento propiament tl (asistencia reuniones, partes 6 ‘on, etc.) las actitudes y reacci oblacién Slanco (por eomply frente a sus objatvos y metodlogasepl- ides) Jas relaciones de los participantes entre sf y ‘som el parse nal dei program, ec. Este ipo de evaluacion se contrapone lt mcia de reducir el andlisis a los resultados fina tenlaque dea coja negra) quo impideestablecrrlaiones eno oro aeltados y fos procesos que pudieran dar cuenta de ellos © a et otién de impacto es laque tats do exablce: el loro 8 ok denomina, también, evaluacién de los objetvos del programa. Se denomins, también, evluacién ooo eeees do ln eveluacion de procosos, debe ditinguire la evaltacidn de efectos si se entiende portal a basqueda de las con- Secuencias que puade producir un programa en su poblacién o anal entoro en el cual se dessrolla un programa por ol hecho logrado sus objetivos, es decir, de haber ni haber logrado te soultados obtenidos {por ejemplo, al hecho de casi siampre de |ee ee 26 PRIMERA PARTE, TEORIA ¥ que un cierto grupo de objotivo de aprender a lee as personas -o algur no mejores salarios, otcé soni analfabetas hayan logrado el puede darse el efecto 0 consecuencia de ellas~ hayan logrado una ocupa. ra) EVALUACION INSTITUCIONAL-EVALUACION DE PROGRAMA Lae luacién institucional se refiere a la evaluacién de una institucién de tal modo que uno de sus focos principales de aten- cién estén constituidos por las funciones que ella debe cumplir, Por ejemplo, la funcién de docencia en una institucién universita a, Entre tales funciones se pueden definir objetivos o metas, pero como momentos puntuales dentro de esas actividades permanen. tes de la institucién. Los programas son actividades més o menos coordinadas en tomo a objetivos, de duracién variable. Estos dltimos son estados © situaciones deseables y que pueden lograrse mediante la tegia que el programa utiliza y respecto de los cuales se evaly los resultados alcanzados o nd. Finalmente, las evaluaciones que buscan explicaciones basa das en hipétesis o relaciones ya contrastadas deben distinguirse de los juicios interpretativos que acompafian algunos de los modelos globales. Sin entrar en esta oportunidad en toda la com- plejidad del problema, diremos que en ellos se trata fundamen. talmente de comprendor (verstehen) la conducta de los usuarios del programa desde su propio marco de referencia, de acuerdo con una epistemologia subjetivista a la cual haremos referencia al presentar este tipo de modelos. 6. EVALUACION DE OBJETIVOS INTERNOS-EVALUACION DE OBJETIVOS EXTERNOS Esta distincién nace de la diferenciacién entre objetivos inter- os y externos. Los primeros se refieren a situaciones que han de alcanzarse en la poblacién en la cual acta diroctamente el Programa, como podrfan ser nuevos conocimientos, vale nes, etc, Llamamos precisamente, evaluac destinado a verificar el logro de tales obj mn interna al proceso ivos y la relacién con la DEEVALUACION 27 ma, la calidad de los instructores, los jon del prog Seis u dos, etcétera FeOUISOS UO uactbn se ealiza antes de la terminacién del pro- va resulta similar a la evaluacién intermedia. eo s situaciones 0 estados deseables di ~ Los objetivos externos so1 Se Ee ‘era del Ambito del programa, cuando t ilizado, soa stuvieron sometidas a él o en fralizdo, sea on personas que estuvieron sometidas «61 en nes se transfirieron los resultad Bes oes o bjetivos son de naturaleza econémica, social y tri 720 espe a sean cumplidos en la comunidad o en la aieded global erna se preocupa de este tipo sociedad global. La evaluacion externa se de st clones y ostados 10s objetivos de un programa son las situaciones o este deseables de alcanzar on los usuarios del programa, mediante lo: ;oursos y procedimientos que se estiman adecuados. En su eva juacién pueden considerarse caracteristicas o variable muientes a) claridad ¢) adecuacién a las caracteristicas de la poblaci d) vigencia (jhubo o no cambios desde la f inicial?), ) conflicto o incompatibilidad entre los objetivos f} socuencia (jdeben 0 no algunos objetivos lograrse antes que otros?; jse esté procediondo de la forma corre: trabajar con la poblacién?) jerarquia (;hay algunos objetivos més importan otros?) 1) tiempo de logro (;cuénto tiempo se ha definido para el logro de los objetivos?; ges ese tipo suficiente?) i) cuantificacién (;hay objetivos que podrian ser cuantifica dos, es decir, formulados como metas?; estén las metas d acuerdo con los recursos utilizedos, el tempo de logro, etcétera?) teristicas anteriores valen para objeti- n el pri- al La mayoria de las car : vos instrumentales y objetivos finales del programa. C mer término nos referimos a las condiciones que deber! zarse como prerrequisitos para lograr los objetives finales se desea obtener ciertos niveles de conocimiento en salud en una poblacién, es necesario que los monitores, los folletos explicati- Vos ¥ otros recursos instrumentales tengan los niveles y propieda- des adecuados para ese objetivo; o bien si se estima que el monto