Evaluacion de proceso y seguimiento del programa La intervenci6n social requiere la movilizacién de un conjunto amplio de re- cursos estructurados a través de una organizacién de servicios sociales. La rea- lidad organizacional y politica de los servicios sociales introduce un conjunto de consideraciones relacionadas con factores financieros, pragmaticos y politi- cos especificos y complejos. La evaluacién cumple en esta fase un_papel de apoyo para acomodar las actividades previstas a la realidad social en que se implementan. Aqui el profesional de la intervencion dispone de un conoci- ) impres ible del que Tos investigadores académicos conven- miento prdctico imprescit cionales suelen adolecer. ms La implementaci6n requiere un didlogo constructivo y continuo entre la teorfa Yla préctica, entre lo previsto y lo que puede llevarse a cabo en las condiciones del contexto social de la intervencién. Las decisiones dependen de un objetivo doble, Tespetar la planificacién o adaptar el programa, que cuenta con ventajas ¢ incon- Venientes propios en cada caso. . Los problemas relacionados con la participacion de la poblacién objetivo son €specialmente importantes. El esfuerzo de la intervenci6n resultaré baldio sila Poblacién no es correctamente localizada, si no se motiva su participacién, si esta Sesgada en direcciones no deseadas, 0 si cunde el abandono antes de que los resul- aes del programa se alcancen de manera dptima. Las actividades evaluativas ip! les en esta fase son variadas, incluyendo el disefio de sistemas de segui- ja valoraci6n del ajuste al plany la evaluacién. de_los resultados interme- évaluacién tiene ademas un papel principal en el desarrollo organizacio- 10 fuente clave de informacién para la toma de decisiones en materia de Mejora continua de los procesos de trabajo)102 | Parte Ml: Conceptos clave Implementaci6n. La accion global y sistematica de poner en practica las actividades del programa, que involucra tanto la movilizaci6n de recursos humanos, materiales y fi- nancieros, como el esfuerzo por lo- calizar e implicar a los usuarios po- tenciales del programa. Seguimiento. Actividades evaluativas di- sefiadas para analizar el curso dé la implementacién con vistas a infor- mar y corregir las deficiencias y ne- cesidades que puedan surgir, espe- cialmente las relacionadas con los problemas de la cobertura y el sesgo. Préctica evaluativa. Engloba un con- junto amplio de problemas y deci- siones organizacionales, éticas, le- gales, profesionales y politicas, que tienen que ver, por ejemplo, con el control financiero, las relaciones interpersonales, el contrato de eva- luaci6n o el rol profesional. Teoria de la implementacion. Parte de la teorfa del programa que especi- fica las claves organizacionales pa- ra entender y gestionar las relacio- nes entre las actividades de la intervenci6n, otros factores exter- nos, los procesos intervinientes y las variables de resultado. Evaluacié6n formativa. Se usa incorrec- jamente como sinénimo de evalua- cién de proceso.La funcién formati- ‘ ruacin sstematica de los programas de itervencién social cién evaluativa para identifi gery mejorar la Taniticae oy lel programa, Cobertura. Grado en. -que-un pro, ma alcanza a la poblacién de Aa rencia deseada. —— Sesgo en la cobertura. El hi de que diferentes subgrupos de la pobig. cién objetivo” oarticipen 1 de manera diferencial en el programa. “yt Q & 03 Evaluacién de proceso. Actividades de evaluaci6n relacionadas con la identificacién de poblaciones de re- dad de un proyecto a su diseito y mejora continua de las actividades” ‘dela implementacion, iL Desarrollo organizacional. Estrecha- mente relacionado con los concep- tos de mejora organizacional y me- jora continua, el desarrollo tiene un sentido positivo en términos de crecimiento, maduracién, avance ¥ realizacion de la organizacion y de sus miembros. Fortalecimiento. El fortalecimiento ¢ un concepto idiosincrasico y S¢ aplica al aumento de la caj acidad_ de la organizacién o de sus) bros para desempefiar un com: portamiento auténomo y f2sP9% sable. 29 vCapitulo 5: Evaluacién de proce: . Y Seguimiento de! programa | 103 5.1. Seguimiento del programa jmplementaci6n es la puesta en practi oe tA janifcacion del programa. En eae ae idades que fueron definidas en ‘o monitorizaci6n) del programa se refiere ala evaluacin ee aeiae, (eel sistema de dispensa de servicios ape aa de la cobertura Yrmente se utiliza para medir ef Gxt en-te-entrega del aevicio (Conk Lento Shadish, 1985), aunque también suele tener un sentido amy tio : all i ee Z implementaci6n 0 evaluacién de proceso, incluyendo ie nea a oe oportunidades para la mejora de las actividades, asf como el andlisis de los resulta. dos intermedios del programa (Vedung, 1997). En otras palabras, la pregunta por el seguimiento el éxito del programa debe responder, en primer lugar, acerca de si llegé a implan- tarse satisfactoriamente, si los destinatarios previstos lo recibieron y les result6 compre! riable.o provechoso, o qué dificultades tuvieron los responsables la 1 implementacin, maxime cuando se trata con programas aoieniaiod al mis- mo tiempo en lugares diferentes. Muchos autores de los aiios sesenta y setenta coincidieron en sefialar la impor- tancia de -realizar-una-descripcin completa de la implementacién del programa (Conrad y Miller, 1987; McGrath, 1984). La evaluacion de los resultados finales in- dica si éste tuvo éxito, pero no deja claro cudles son las causas del éxito o.el fraca- so, ya que no se dispone de informacion sobre qué es lo que realmente se hizo y én qué condiciones (Chen y Rossi, 1983). Cuando el programa logre buenos resul- tados, todos coincidiran en que el esfuerzo merecié la pena y deberia repetirse en ocasiones posteriores ¢ incluso servir de modelo para otros lugares. Sin embargo, cuando los resultados no son tan buenos, las dudas se multiplican: dénde nos equi- yocamos, si el disefio fue correcto, si se utilizaron bien los recursos, si se lograron niveles adecuados de motivacién y participacién de los usuarios, o si acertaron en sus decisiones los responsables de las actividades, etc. La informacién de proceso es vital para contestar estas y otras preguntas y hacernos una idea de qué cambios tequiere entonces el programa. Por otra parte, el andlisis de el Ambito local,-con-criterios centrados en el desarrollo © doa cuestién de si el programa es 0 no mejor que otras alternativas (Patton, 1994). Lo importante serfa entonces evaluar el proceso de intervenci6n con objeto de aumentar los conocimientos-olas capacidades de los participa ayudandoles a tomar mej lecisiones, tanto para informar a terceras persona: ; marcha de ie aes ° par ae el desajuste respecto al plan con evict de valorar las conclusiones de la evaluacion de resultados en su justa medida (Re- : , 2000). ———— bolloso, Ferndndez-Ramirez, Cantén y Pozo, ). (ives cvestion’ bi a irigido a determin: El seguimiento de los pee eeu mn teretivortesoferent, si el fa Laci ; sca: prado en que un programa alcanza le POW re ma Tas especificaciones del disefio. ¢ sis sens de § “coherente.< ¥ stema d€ dispensa de servicios ¢s coherent sido destinados al programa del programa y si los recursos que estan siendo o han 2de lo que se habia planificado, a poblacién objetivo, y conocer la organizaci6n logra los obj 104 Porte It Evluacén stemética de los programas de intervencion soci i distingue dos objetivos en el andlisis de |, « sons adecuades. Sei anal nivel de ajuste de la implementacién ak im. plementaci6n: conocer y incluyendo los problemas de cobertura y alcane los factores causales que ayudan a explicar de jetivos de dispensa y como Pe mejorarse su ; es seguimiento sirve a propésitos algo iferentes cuandg ain de eficacia, eficiencia 0 gestion del programa, id que el tipo de datos demandados en cada caso sean los mismos 0 se solapen consi. derablemente. a) Seguimiento y medida del impacto. El seguimiento ha sido siempre, po muchas razones, una actividad esencial de evaluaci6n. Con frecuencia, | razon de que las evaluaciones tengan poco impacto ey un efecto mule TO es que un programa carezca de eficacia, sino més bien que su implementacigi, hia fracasado o ha sido incompleta. Los problemas pueden ser'atribuidos a miltiples causas. Puede que la concepcién tedrica de la intervencién sea errénea, puede que fuera inviable, puede que la evaluacién fallara al detec. tar los efectos deseados o puede que no se llegara a implementar tal como fue prevista (Weiss, 1972b),/Sélo si aseguramos que todas las fases han sido correctamente desarrolladas-podremos concluir que el programa ha tenido éxito 0 ha fracasado en sus objetivos b) Seguimiento y eficiencia d del programa. Ademés de identificar si los defectos de la implementacién explican la magnitud del impacto de los programas sociales, el seguimiento proporciona informacién necésaria a los que toman decisiones, a los patrocinadores y a las personas que tierien intereses y apc yan los programas. Estos grupos, enfrentados con la tecesidad de distribuir ‘Tecursos entre distintas 4reas de programas sociales e iniciativas especificas, estén continuamente preocupados con la contabilidad del programa; es de- cir, con quién logra qué, cémo, y a qué precio. En efecto, las decisiones so- bre la utilidad de las iniciativas puestas en marcha, y si merece la pena con- tinuar apoyndolas, se toman en ocasiones sobre la base del éxito que haya tenido la implementaciGn_y el coste de la misma. Cualquier dato 0 conside- Tacién en esta linea puede proporcionar una base suficiente para decidir si se sigue prestando apoyo al programa. . — El seguimiento como sistema de gestion. Los directores de programas tam- bién necesitan informmacién del seguimiento para poder juzgar la ejecucion _operativa de sus programas y hacer cambios ei [a iiianéra con que se Teva 1 cabo Tas actividades | personal del programa puede causar fa- atid’ adecuada o cuando no se preocup4 del seguimiento y la mejora continua. El uso del seguimiento como instru- mento de gestin ha sido tradicionalmente separado de su uso como una actividad de evaluacién que relaciona la implementacién del programa CoM el impacto. Generalmente, sin embargo, la tendencia es planificar y em ¢Capiuulo 5: Evaluacién de proceso y seguimiento del programa | 105 prender el seguimiento de forma que proporcione informacién relevante a los resultados de impacto y satisfaga las necesidades de directores y patro- cinadores. En parte esta tendencia es una consecuencia del aiamento de la comprensi6n y aceptaci6n de los procedimientos de evaluaci6n entre direc- tores y plantilla profesional, y del gradual aumento de la colaboracién con los evaluadores. En parte también es el resultado de innovaciones en los procedimientos de anilisis y recogida de datos y en la forma de los sistemas de gestién de la informacién, que proporcionan un conocimiento continuo y a tiempo de las actividades de implementacién que puede ser conjuntamen- te utilizado por directores y evaluadores. Cuadro 5.1. Consideraciones pragmaticas sobre la practica evaluativa Més que perseguir el conocimiento en sf mismo, tal como harfa un investigador académico, el evaluador esta marcado por un compromiso con la mejora de las politicas sociales, siendo irrelevan- tes en la practica las diferencias en las cuestiones técnicas de la investigacién. De hecho, las habilida- des técnicas no bastan para asegurar-el éxita del evaliaclor en el campo profesional, sino que debe Saber cémo gestionar, asuntos administativas, financieros y polticos (Freeman y Sherwood, 1970). + Administracién de la evaluacién. El investigador que desempefia tareas para una gran organiza~ cidn ocupa buena parte de su tiempo en resolver asuntos administrativos. Aunque muchos de ellos parezcan decisiones irrelevantes frente a los problemas técnicos de la investigacién, no es extrafio que los proyectos fracasen como consecuencia de una mala administracién. En algunos equipos de evaluacién suele haber un investigador dedicado exclusivamente a estas tareas. * Control del gasto. Es necesario disponer periédicamente. de informacién sobre el gasto realiza~ do y el presupuuesto disponible, de tal modo Giie el evaluador conozea Su sttuacién econdmica c ejemplo, el(istema de gestign de la informacién) que se utiliza para dete! minar el grado en que se Idran los objetivos, tomar decisiones para 2 prestaci6n de servicios y considerar el funcionamiento global del program en relaci6n con la politica general.Capitulo 5: Evaluacién de proceso y seguimiento del programa | 109 Lye Un sistema de gestion del personal orientado al control formativo de proce- sos (desarrollo de objetivos, logro de resul le Ga individual. sultados), més que al andlisis de la La implant hae sae programa de actividades requiere la implicacion yel apoyo p d ‘sponsa les maximos de la organizacién, asi como de- fensores que tengan influencia en la toma de decisiones. La organizaci6n de servi- cios debe disponer los recursos necesarios para que el programa se ejecute, in- cluyendo recursos materiales, humanos, de informaci6n, espacios, etc. La implemen- tacién serd mas facil si se cuenta con tiempo para organizar correctamente la in- fraestructura del servicio sin estar sometidos a presiones de diverso tipo. La orga- nizacién, a Su vez, S& vera afectada por distintas presiones externas relacionadas ton el contexto econdémico, social, legal o politico del programa, La influencia de estos Tactores también ha de ser documentada y analizada para ayudar @ lapuesta eri marcha del programa. Ademés, la implantacién de un nuevo programa supon= dr& un cambio en las rutinas y responsabilidades de la organizacién de servicios que lo pondra en practica (Scheirer, 1981). Es decir, el personal veré cémo las nue- vas actividades se suman a sus tareas rutinarias previ muchas veces si que se raduzea su carga laboral, sin que se dote de la formaci6n 0 de los recursos necesa- rios, y sin que esté claro c6mo influird el nuevo trabajo en sus posibilidades de promocién profesional. Inevitablemente se generardn actitudes de resistencia al cambio que pueden dificultar la puesta en préctica eficiente del programa. Ideal- mente, el programa tendrfa que ser implementado por unidades de trabajo acos- tumbradas a realizar actividades como las propuestas, reduciendo la necesidad de crear situaciones de cambio y actitudes de resistencia. Cuanto mayor sea el cam- bio requerido, la implementaci6n necesitaré mas tiempo y mayores costes (Mc- Kinlay, 1981). La normalizaci6n de esta situacin puede durar meses. El apoyo de los Ifderes de grupo es fundamental, por lo que ¢s aconsejable que reciban una formaci6n adicional para comprender ‘extensamente los fundamentos, objetivos y actividades del programa. Igualmente, hay que estar atentos a los cambios en las relaciones entre los miembros del personal para facilitar que la adaptacién se pro~ duzca del mejor modo posible. 5.2.3. La evaluacion formativa de McClintock McClintock (1986) propone un modelo de evaluacién formativa ttil para es! de situaciones novedosas. Define la evaluacién formativa como una fuente de formacién para la toma de decisiones y la accion, partiendo de un proceso racional de comportamiento donde prima el factor de retroalimentacién. La variedad de actividades que pueden agruparse como evaluacion formativa es muy amplia, ein- cluye, por ejemplo, estudios de proceso, seguimiento de la ejecucion, sistemas de Bestidn de la informacién, investigacion-accion, sistemas de toma de decisiones,3 de intervencién socal 110 | Parte Il; Evaluacién sistemética de los programas aq institucionales. El trabajo del evaluader consiste en ; crs radames el pean pare qe HESTONE 8 promt yan rementar a ctuar-y twego Teducirlas mediante eI 1 uso de algunas herramienta, ion y cr emapreatte -(andlisis de metéforas, mapas conceptuales, andtisis de hg poarch conceptos) y de-acziGn (evaluacién de la evaluabilidad, evaluacige aos tanloenTaG modelos causales, andlisis fostetbenctiio), Las incertidum. bres pueden ser de dos tipos: estructurales, relacionadas con as Aisposiciones es. tructurales del programa, incluyendo factores organizacionales (centralzaci, gestién), sociales (relaciones entre gestores y ae Politicos (toma de decisiones); y $peracionales) en relaci6n con la ejecucién del Programa, incluyen. do cuestiones como la identificacién de usuarios, la distribuci6n de recursos 0 las actividades alternativas disponibles. 5.3. Seguimiento de la participacion El seguimiento de la participacién de las personas objetivo en los Programas tiene que ver con los pablemas de cobertura y sesgo (Rossi y Freeman, 1989). El sesgo puede tener lugar cuando se da la “au seen” de los sujetos o de las acciones del programa. Por ejemply, si los responsables de un programa de ahorro de agua no realizan una biisqueda sistemitica-de-los usuarios objetivo, €s posible que-sélo soliciten sus servicios aquellos que responden a un perfil caracteristico (proani- bientalistas, personas de cierta tendencia politica, etc.), 0 que solo realigen parte de las actividades del programa, y no otras. En este caso, el éxito de la interven- cidn sera limitado y la valoracién del impacta.no ser4 enteramente digna de arédi- tol Los evaluadores, directores de Programas y patrocinadores deben estar al tanto de los Problemas de la infra o sobrecobertura, porque la informacion procedente del Seguimiento puede llevar a un refinamiento o a un redisefio del programa en el in- terés de una cobertura més apropiada) La implementaci6n implica un nivel mini- mo de colaboracién por parte de los usuarios que recibirdn el servicio. Para cubrit el minimo de clientes necesarios para que el Programa funcione, hay que tener en cuenta su disposicion, puntos de vista y habilidades Para comprender y aprove- charse del servicio que se les Presta (Scheirer, 1987). Por ejemplo, es interesante Preguntarse si disponen-de_un nivel educativo suficiente, si estén dispuestos ‘par: ticipar en las actividades del programa, si teciben informacién adecuada, si com- Tar, siel progra- (Chen y Rossi, 1983; Rebolloso, 1995). saluar Ia entrega del servicio (evaluacién de la cobertuyd) sexta suficien- Para te con documentar Tesponsables del se1 rio estimar la inten: aue se produce el contacto esperade entre los usuarios y los Tvicio, aunque esta medida es poco informativa, siendo necesa- sidad del contacto a través de indicadores como el tiempo queCapitulo 5: Evaluacis waci6n de proceso y seguimiento del programa | | | o lacantidad de bienes que recib, i oak evaluacion dé Ta Tiplementatonr dee oo ae cuadamente, SI los Tesponsables del servicio actéan de fon ee et Josofia del programa y si los usuarios reciben un servicio vo de er ae ‘Tres fuentes de datos al medir la cobertura de un programa son los a rograma, las encuestas a participantes en el pr Co i oas comparaciones entre usuarios de los eee we Ss ieoaalea que sa hartcipan (elegibles no participantes) y usuarios que abandonan antes de fina. lizar el programa pueden también revelar sesgos en la cobertura del nisin) . eta 1997) sintetiza en cinco fases el proceso de seguimiento y evaluacién de ‘mentaci6n. El punto de partida se encuentra en la teorfa dé la imple- mentaci6n, que qued6 definida en la fase de planificaci6n del programa y que distin- tos autores identifican como teorfa de la intervencién (Hoogerwerf, 1990) 0 teoria de accidn (Patton, 1980). , @)) Reconstruccién de la teoria de_la.intervencién. Se. trata de describir los pasos que componen el funcionamiento esperado de la intervencién, generalmente en forma de una cadena de relaciones causa-efecto (por ejemplo, una correc- ta difusin de informacién hard que los destinatarios del programa se aproxi- men al mismo; el acceso al programa haré que efectivamente sigan sus pres- cripciones, las cuales producirén el cambio esperado; Williams, 1976). Cuando el programa no incluye estos detalles, el evaluador debe analizar y describir cudles son la suposiciones que subyacen en el modelo de interven- cién, Lo importante es recoger el modelo propuesto en el programa, lo que Jos planificadores pensaban al crearlo, y no tanto lo que el evaluador supon- ga que puede ocurrir en la préctica, si bien esta informaciGn puede ser intere- Jo con los elementos que falten (Chen, 1990). sante para completar el model b) Eleccion de la estrategia de seguimiento. Para que un programa tenga ¢ éxito podemos definir una serie de requisitos en relacién con la difusién y carac- teristicas de Ia informacién que recibe él usuario: que el programa llegue realmente a los usuarios deseados, y que se cumplan algunas condiciones tales como lograr que el usuario acceda a Ja informaci6n, la comprenda, despierte su interés, que ejerza influencia sobre él o que decida realizar los comportamientos que el programa sugiere 0 prescribe. Estos requisitos ten- drén mayor o menor importancia en programas distintos, constituyéndose en criterios para juzgar el éxito de la implementaciod. Recogida y anillisis de datos. El disefio de la recogida de datos depende de las caracteristicas del servicio que se evalda y de los indicadores seleccio- itados para valorar la existencia de los Fequisitos definidos en el paso ante- fior. Se utilizan métodos multiples (documentales, entrevista, encuesta, formacion, atendiendo a los proble- observacién) y diferentes fuentes de inf ido a los : mas de la yy ngulacion y el control de sesgos (Caracelli y Rigin 1994; Denzin y Lincoln, 1994). Gg Programa son los registros del112 | port i: Evaluacin sistemética de los programas de intervencion social d) Aplicacién de criterios y esténdares. Los requisitos necesarios para el és aonaieio se utlizan como criterios de valor con 10s que compara jg ats de Tas necesidades de informacién puede regy fos Tecogidos. En funcin resents presentar los resultados de manera global, cuando se llega a i i ica, cuando el nivel de éxi 4 juicio final os sintesis valorativa, o analitica, le Exito en on aso se presenta por separado.. - ; «) Conclusiones generales para el sistema de gobierno. Mis allé del ans g, recto de la prestacién del servicio, los resultados de cada evah Uacién pug den ser ttiles para reflexionar 0 replantearse el modelo-global de ia inter. venci6n, es decir, los supuestos que sirven como fundamento para el m dela causal implicito en el programa. 5.4. La evaluacion de la implementacién dentro del proceso de intervencién social Como hemos visto, la evaluacién de la implementacién se orienta a determinar la calidad de nar con un doble objetivo (Chen, 1996; Patton, 1996; ©” Scriven, 1996):\fecabar inforn ‘ lel programa a to- mar decisiones‘sobre la implementaci6n, y-afdstar las actividades al plan previsio de tal modo que pueda determinarse, en una fase posterior, si el programa logra los obj se habfa propuesto. En ambos casos, la evaluacién cumple una funci6n fotmativa) en cuanto ayuda a monitorizar, corregir y adaptar la planifica- cién a Ja Realidac ia del programa. Veamos los distintes-componentes de esta fase de evaluacién siguiendo el modelo de Rebolloso y cols. 2003)" - 4a) Intervencién secundaria. Esta es la fase del modelo en que se realiza plena- _mente Ja intervencién social, mediante el desarrollo de actividades diree- tamente orientadas a la soluci6n del problema. Se supone que las consecuen- cias del problema han comenzado a aparecer, de tal modo que la intexvencién intenta demorar sus efectos y evitar que siga desarrolléndose. b) Teoria causal del programa. Aunque la teorfa del programa se especificé en la fase de planificacin y sirvi6 para fundamentar el diseiio de la interven- cién, entre otras cuestiones de interés evaluativo, en esta fase se valora st comportamiento real, es decir, si los supuestos ¢ hipdtesis tedricas que rela- cionan.la-intervencién con una serie de resultados deseados, se cumplen efectivamente-en_la practi uede tir entre la teor ictica. Se puede distinguir entre la teoria del progt ma propiamente dicha, que especifica las actividades y los resultados espe rados, y la teoria de la implementacién, que especifica c6mo se pondré en Practica el programa y las caracteristicas de la organizacién de servicios qU° Jo implementaré (estructura, objetivos, recursos, planes estratégicos, proce” 80s, sistema de informacién, etc.). Como ninguna teoria es capaz de prever todo tipo de incidencias posibles, es evidente que la préctica se desviaré €?Capitulo 5: Evaluacién de proceso y seguimiento del programa | 113 ae ere la planificaci6n teérica, Dadas las usuales dificul- ades para realizar una implementacién homogénea cuando el- desarrolla en miiltiplés centros locales, la teort ad I ocales, la teorfa del programa puede-enten- derse como un planteamiento dindmico, que en cierta realidad de la imiplementacién. : parte emerge dela Prana, a ri mpl cede pox open nani : M igidas a lograr determinados resultados pre- vistos 0 deseados, incluyendo cualquier secuencia de acciones que se guie mediante un proceso racional de toma de decisiones (el plan de estudios de un centro educativo, un proceso de produccién o de servicios dentro de una organizaci6n, los programas de intervencién social). Al modo de la experi- mentacién social, las actividades y los resultados se consideran como las va- riables independientes y las correspondientes variables dependientes descri- tas en él modelo tedrico o modelo de impacto. Se defiende una orientaci6n multicausal, de tal modo qué un conjunto multiple de actividades (variables independientes) produciré un conjunto de resultados (variables dependien- tes) a través de un conjunto de factores, situaciones 0 dindmicas psicosocia- les intermedias (variables intervinientes). Tanto la definicién del programa como el andlisis del proceso de implementacién deben ser conscientes de esta realidad multiple e interrelacionada. d) Evaluacién de proceso. La evaluacién de proceso se dirige a la comprobacion de las actividades que se estan desarrollando en la intervencién y su con- gruencia con la planificacién inicial, con vistas a la mejora continua y al apoyo implementacion. La informaci6n que se obtiene sirve la gestion del programa (evaluacién formativa), entendida como un proceso inmediato de control o seguimiento, siguiendo los criterios de verosimilitud del funcionamiento, exactitud de los fines y adecua- cién de las actividades a la planificaci6n general. La evaluacién de proceso es una actividad de evaluacién interna que tiene. un cardcter-continuo-y-suele: realizada por los propios implicados en la marcha del programa (autoevalua cién), recogiendo informacién constante con el objetivo de gestionar y dirigir correctamente las acciones. Se puede decidir entre-dos tipos de orientaciones: gram de’ tal modo que se adapten corregir las actividades del, programa_en.mare! Rory plenamente a las previsiones del plan; y analizar y comprender el funciona- miento prdctico del programa, con el fin de revisar los planteamientos teéri- G08 y todo tipo de decisiones que se hayan_ tomado anteriormente sobre Ia marcha de la intervencion. wh . Algunas actividades evaluativas especificas. Entre otras actividades, se analiza el efecto de diversas variables intervinientes a6 afectan al aaa del pro- grama, y sus relaciones causales con las actividades de la interes n propia mente dichas, con vistas 2 determinar si es necesario modificar 0 refinar la = dias requieren valorar i jones interme! teort osibles accione: " Taree er ammjones ooure ‘como se esperaba, la transferencia de crédi- le ¢ a los responsables dela como retroalimentacién para eis vO \ 4, iG Mk: ae He : fo econdmico) sigue I Evaluacién sistemética de los programas de intervencién social a secuencia anticipada, los érganos r; as funciones previstas, las acciones respetan las nontaas ortunidades, normas de contrataci6n, etc,), las a de diciones previstas inicialmente on ja poblacién destinataria previs Prevista y es flex; Utos (aporte bles cumplen | gestion (igualdad de op nes se realizan de acue! ga efectivamente & \ programa lle} | ) ble para resolver casos no previstos. Una vez que el programa comienz, tener-efectos, sep! i x Ll ion de cardcter sy a vo (comprobacién. de parciales), con-intencién-de corregir ma de los objetivos deseados. a bles desviaciones respecto al logro ‘Secundaria ITERVENCION ™ 7 (actividades/tratamiento) Teoria causal EORIZACION del problerra Variable V. Intervinientes Variable Independents bl dependiente oe b2 INVESTIGACION Programa <> b3 micros = a bn Evaluacion de ae EVALUACION proceso es Evaluacién intermedia ACTIVIDADES ——Anilisis de la implementacién Anélisis de variables intervinientes Andlisis de submetas METODOLOGIA —Observacién Entrevstas ‘Cuestionarios Juicios de clientes Andlisis cualitativos Figura 5.1. i igui Elementos de la evaluacién de proceso y evaluacién de resultados. A Mét i ee f todos de investigacién titiles para la evaluacion de proceso. Se pueden ipo d : i dos cuantitativos Scat los y técnicas de investigaci6n, incluyendo mo tivos, datos de archivo, estadisticas de indicad” Tes clave, , etc. No obstante, se Prefieren las técnicas de tipo cualitativ? eyor cuando la prueba el cliente, eso es evaluacién sumat cocinero mejorard el plato antes de ser Servidor en pedirlo en una nueva ocasién La distincién formativo-sumativo ha tenido un como punto de referencia para resumir muchas dis los métodos 0 los usos de la evaluacicn. También Por ejemplo, considera que no es valida porque ignora la existencia de otras actividades evaluativas ampliamente utlizadas. Retomando la analogia de Stake, Chen (1996) sefiala que el cocinero no sempre prueba la sopa para mejoraria (formativo); a veces, trata-de averiguar si estd Suficienternente “Buena como para ser servida (sumativo), Por su parte, cuando el cliente prueba la sopa (sumativo), el cocinero puede aprovechar su opinién’ para mejorarta en posteriores guisos (Formativo) Los evaluadores sistemiéticos defienden que las dos funciones de evaluacién son tiles y pueden ser tratadas de forma complementaria, dependiendo de la informacién evaluativa que se quiera conse- Bui, el contexto de los programas y los intereses de los distintos grupos de stakeholders (Chen, 1996). La evaluaci6n, entendida como un conjunto amplio de posibles actividades, sve igualmente de apoyo ala planificacién del programa, al seguimiento y mejora de las actividades 0 a la documentacién sobre el éxito de la intervencién (Wholey, 1996). La funcién sumativa es de gran utilidad para el control y mejora de la politica publica. Lo que ocurre es que, en la préctica, la funcién formativa tiene cierta reeminencia porque los clientes de la evaluacién suelen demnandar con mayor frecuencia actividades de tipo formative (Wholey, 1997). Para profundizar en esta polémica, es recomendable la lectura del niimero 17 de la revista Eva- luation Practice (Worthen, 1996), donde se recogen las aportaciones criticas de algunos autores des- Nxcados. mee (1996) cierra las aportaciones de este nimero con algunas reflexiones de interés: iva" (en Scriven, 199tb: 19). Err él primer caso, ef et segundo, el cliente averiguard si merece la pena gran impacto entre los evaluadores y ha servido iscusiones centradas en el concepto, las funciones, ha recibido muchas criticas. Patton (1996, 1997), 0) Formativa y sumativa sdlo es un modo de clasificar las funciones de la evaluacién, pero hay mu- chos otros. La distincidn no es exclusiva y puede ser modificada 0 redefinida si es necesario. b) La decisién de continuar © modificar el programa se realizard teniendo en cuenta nena “bajo incluye la visita a los centros implicados, el andlisis de informacién documen- tal_y la negociacién sobre icado y las implicaciones de Jos datos mediante un sistema de foros o conferencias que retinen a los miembros del cluster. Como en el caso de la evaluacién independiente, el evaluador puede asumir los papeles de direc- tor y coordinador del equipo de evaluacidn, asesor experto o responsable de organi- zat, coordinar y lograr consensos dentro de las conferencias de evaluacin.