Scribd Logo
Upload

Welcome to Scribd!

  • Evaluación de Entrada y Planificación Del Programa

    Uploaded by

    Alba Armero
    17 views24 pages

    Original Title

    Evaluación de entrada y planificación del programa

    Copyright

    © © All Rights Reserved

    Available Formats

    PDF or read online from Scribd

    Did you find this document useful?

    Is this content inappropriate?

    Report this Document

    Copyright:

    © All Rights Reserved
    Download as PDF or read online from Scribd
    Flag for inappropriate content
    17 views24 pages

    Evaluación de Entrada y Planificación Del Programa

    Uploaded by

    Alba Armero

    Copyright:

    © All Rights Reserved
    Download as PDF or read online from Scribd
    Flag for inappropriate content
    of 24
    Evaluacion de entrada y planificacion del programa La fase de planificacién del programa es de especial trascendencia para el éxito de laintervenci6n y exige la colaboraci6n estrecha entre los evaluadores y los respon- sables del programa (directores, administradores y personal técnico). Las organi- zaciones de servicios son sensibles a los cambios y las influencias politicas, de tal modo que la viabilidad de la intervencién depende de que se mantengan las condi- ciones id6neas de partida y se contrarresten las posibles barreras © dificultades. que pueden aparecer. La planificaci6n del programa es una actividad racional que implica la eleccién de las mejores opciones de-intervencisn y la definicién de un sistema de imple- mentacién adecuado que sea capaz de alcanzar a Ja poblaci6n objetivo y prestar- le los servicios esperados. La coherencia interna del programa tiene que ver con la correcta definicion de las metas, objetivos y actividades de la intervenci6n (teoria del programa), que son objeto de anilisis de la evaluaci6n de la evaluabilidad ° de la evaluacién orientada por la teorfa. En sucesivas ocasiones de implementacion, los programas podran ser refinados © ajustados teniendo en cuenta la experiencia Previa. . Frente a la visin convencional que identifica la evaluacién como una activi- dad que se realiza al final de la intervencion, cuando se ha logrado algiin tipo de resultado, la evaluaci6n de entrada enfatiza la necesidad de revisar y mejorar la i [ pro i ase 16g matica. propia definicién del programa, incluyendo tanto su base idgica como pragmatica. Es decir, por qué se espera que determinadas actividades produzcan los cambios de jeti 4 i it la orga- bay id cémo se estructuraré el funcionamiento de Ste cers repeats ara localizar y trabajar con la pobla- nizaci6n de servicios responsable del programa P cién objetivo. 76 | Parte I: Disefio de politicas y programas de intervencién social Conceptos clave_ Planificacién. Proceso de convertir metas en objetivos, formulando in- tervenciones especificas y definien- do poblaciones de referencia rele- vantes. \ Barreras de la evaluacién. Dificultades de orden sistémico, politico o acti- tudinal para el desarrollo de la evaluacién, que deben ser previs- tas y afrontadas con estrategias es- pecificas. Misién-Meta-Objetivos. Conceptos es- trechamente relacionados, gene- ralmente en un sentido jerarquico. La misi6n es una afirmaci6n breve. y directa que define el sentido o la razon de ser de una organizacién. La meta es una afirmacién general y abstracta de un estado deseado, ‘Los objetivos son afirmaciones es-. pecificas y operacionalizadas que detallan las realizaciones 0 logros deseados de un programa. - Gestién por objetivos. Modelo racional de planificacién y toma de decisio- nes que utiliza Ios objetivos opera- tivos del programa para éscoger las actividades de la intervenci6n y to- do tipo de indicadores relevantes para el control, seguimiento y eva- luacion de los resultados del _pro- grama. Refinamiento. Procedimientos de ajus- te del programa para aumentar la efectividad en sucesivas implemen- taciones. Evaluacién de entrada. Conjunt, net : 0 di actividades evaluativas encaming das a la valoracién general de |, planificaci6n del programa, incly. yendo el modelo de impacto, la de. finicién de objetivos y el sistema’ de implementacién. Teoria del programa. Conjunto de hi- potesis que ponen en relacién las actividades de la intervencién, los resu! s esperados y las varia: bles que intervienen e influyen en el logro de los resultados. Modelo de impacto. Conjunto de hips- tesis-guia que subyacen ata-plani-_ i n.¢ implementacién de un programa. Evaluacién de la evaluabilidad. Con- junto de procedimientos para la planificaci6n de evaluaciones de manera que, con ¢l fin de i zar Ja utilidad de la evaluacién, sé tengan en cuenta los intereses de las personas que apoyan el pro- grama. Evaluaci6én orientada por la teoria. Modelo de evaluacién que enfatiza. rica de la intervencién ivo principal de descu- rir cémo y por qué funcionan los programas, examinando las rela- ciones entre filosofia del progra- ma, implementaci6n y resultados. Sistema de gestion dela informacion. Recogida en curso de datos y siste- Capitulo 4: Evaluacién de entrada y Planificacién del programa | 77 ndlisis, que permite en e! i i ma de ar ae Fi noeeeg a informacién sobre el sistema de tiempo CO ala Servicio y resultados. 4.1. Programas de intervencién social La politica social consta de diversos elementos que ponen en relacién las directrices generales emanadas de los organismos politicos responsables con las actividades di- rectas ante el usuario de los servicios sociales. Alvira (1998) considera tres -politica, planes y programas-, siendo el primero el més general y ambiguo, y el tltimo el més operativo y especifico. Cook, Leviton y Shadish (1985) distinguen tres componentes -programas, proyectos, elementos-, siendo el primero el producto de la definicién politica inicial, el segundo los centros locales donde se implementaré el programa, y el tercero las actividades y recursos de todo tipo que deben ponerse en juego para la prestaci6n del servicio. La variedad de conceptos, y sobre todo la flexibilidad e in- concrecién con que se utilizan, no deja de crear cierta confusién en las personas que se inician en el campo de la evaluacién de programas y politicas sociales. En la prdctica de nuestro pats, por ejemplo, los equipos de gobierno son res- ponsables de elaborar politicas sectoriales ~a veces, meros conjuntos de directrices y objetivos formulados con vaguedad- para afrontar algtin problema o situacién social que tiene consecuencias negativas para amplios sectores de la sociedad. Los equipos técnicos intermedios de la administracién piblica traducen, adaptan y de- sarrollan las directrices politicas creando programas, cuyo nivel de especificidad es mayor, en los que se concretan las metas politicas, los medios disponibles para im- plementarlos y una idea general de las actividades que se llevaran a cabo, asf como los procedimientos de licitacién y rendicién de cuentas; por ejemplo, dentro de la politica de inmigracién, entre otras posibles acciones, la administraci6n propone un programa de integracién de los inmigrados a través de acciones conjuntas de formacién en el idioma local y apoyo para el asentamiento (btisqueda de vivienda, Procedimientos de legalizacién, informacién juridica, etc.). El programa funciona como un marco legal de actuacién apoyado y financiado desde la administraci6n Publica, pero son las organizaciones locales, pliblicas o privadas las que asumirén la tarea de implementar las acciones a través de la presentacién de proyectos para concursar en la adjudicacién de los fondos del programa. El proyecto es una pro- Puesta de acciones concretas, que incluye apartados como la definicin de objeti- Vos operativos de trabajo, el esquema de actividades, la programacién temporal, los medios humanos y materiales que se van a utilizar y los mecanismos de evalua- cin que se dispondran para asegurar el seguimiento y la rendici6n de cuentas. En general, utilizaremos el concepto de programa de una manera flexible e in- tencionadamente amplia. En sentido estricto, el programa sirve como un elemento Itermedio que recoge la filosofia e intenciones subyacentes en la politica social, es- Pecificando de modo sistemitico y exhaustivo los recursos y actividades necesarios 78 | Parte I: Disefo de polticas y programas de intervencién social para producir impactos reales. Eneste caso, el Programa ha sido disefiado €N los nj. veles medios de la administraci6n y su implementaci6n se realiza en miiltiples _ res (por ejemplo, la red de centros de servicios sociales de una comunidad auténo. ma); en otros casos, sin embargo, una pequefia organizacion 0 una asociacién local desarrollan un programa de intervencién que se implementaré £0 UN Contexto geo, grafico limitado. A veces el programa se refiere a una actividad muy localizada, tal como una intervencién planificada én el contexto de un colegio ° de un aula, 9 un cambio planificado en los procesos de trabajo de una organizaci6n. Podriamos jn. cluso equiparar los conceptos de programa, intervencién Y proceso, en el sentido de que su planificacién y evaluacién sistemtica sigue las mismas orientaciones, méto. dos y reglas. La ampiitud del concepto, por tanto, requiere definiciones que recojan miltiples situaciones posibles. En palabras de Chen (1990: 39): “Un programa so. cial o de intervenci6n es el esfuerzo intencional y organizado para intervenir en yy proceso social en marcha con el propésito de resolver un problema o proveer de un servicio”. El objetivo es modificar el estado social, psicolégico, econémico o edu- cativo de un grupo de individuos (Craig y Metze, 1982), mejorando la salud, el cono- cimiento, las actitudes o las précticas sociales (Fink, 1993). En una perspectiva tradicional, planificacién-y-evaluaci6n se consideran actiyi- dades independientes, se planifica la intervencién y se evaliian post ente los resultados 0 impactos logrados. Esta aproximacién cuenta con limitaciones, pues la planificacién corresponde a un equipo de técnicos, ignordndose la existencia intereses de otros grupos sociales y los cambios inherentes a la realidad social. Co- mo alternativa, Aguilar (1993, 1998) defiende un modo de planificacién estratégica orientada precisamente por los conflictos de intereses y la expectativa de cambios sociales. La evaluacién no ocupa aqui un momento puntual (valoraci6n del impac- to), sind qué forma parte intima del proceso de planificacién y ejecucién del pro- grama. De este modo, las actividades de planificacién (tales como la seleccién de politicas y estrategias, la ordenacién de objetivos por prioridades, el diseiio de las actividades o el seguimiento de las operaciones) no pueden ser realizadas sin utili- zar diferentes procedimientos formales de evaluacién. EI principal problema de muchos planes de intervencién se relaciona con la identificacion de fos objetivos perseguidos. Rutman (1977) ha sefialado algunos de estos posibles problemas: programas mal iidos, vaguedad en los objetivos, ob- jetivos no realistas, objetivos contrapuest de las activida- des, problemas de la secuencia de las actividades, problemas de programacin temporal y definicién imprecisa del estudio evaluativo. En todos estos casos, la evaluaci6n del plan, considerada como una actividad de evaluacién especifica, ayudaria a detectar y corregir miltiples problemas, buscando aumentar la factibili- dad del programa (Anguera, 1998). Los programas son entidades difusas que suelen definirse con la suficiente am- plitud y vaguedad como para que puedan ser adaptados a las miiltiples condicio- nes locales en que serdn implementados. Por otra parte, los objetivos del progta- ma pertenecen a la ret6rica politica, y rara vez son definidos con rotundidad en las Capitulo 4: Evaluacién de entrada Y planificacién del programa | 79 copuestas de intervencién (Cronbach y asoc., 1980) implementacion homogénea y para la generalizacié ia intervenci6n, dada la variedad de formulas, rara vez. analizadas y difundid vin que seré llevada a cabo. En los afios sesenta, las evaluaciones se basaban c, tisiones ingenuas de c6mo operan los programas sociales, de los problemas que afrontan y de la facilidad con que se podran conseguir cambios sociales (Cam e bell, 1969; Suchman, 1967). Los evaluadores comprendieron entonces que los os gramas son entidades difusas, heterogéneas y cambiantes segtin lugares y momen- tos de implementaci6n, con intenciones vagas, entre las que la solucién de los problemas sociales no siempre es lo mas prioritario, generalmente compuestas de un personal central y muchos proyectos o centros locales que reciben dinero y gufas para administrar los servicios. Mas allé de la mera lista de objetivos y activi- dades, un programa es un sistema social que se resiste a aceptar a corto plazo cam- bios radicales o de gran alcance, y que puede ser analizado desde miltiples pers- pectivas (Cook y Shadish, 1986; Shadish y Reichardt, 1987). Los programas se ejecutan normalmente en escenarios comunitarios locales, aunque en ocasiones las agendas estén dirigidas por profesionales que no interac- tuan directamente con los usuarios del servicio (forman parte de los equipos técni- cos medios de la administracién piblica, y su conocimiento de los problemas es in- directo). En otras ocasiones, las organizaciones comunitarias son las responsables del programa. Las diferencias entre ambos tipos de organizaci6n son interesantes para tomar decisiones sobre el disefio més adecuado de la intervenci6n. Las insti- tuciones publicas se basan en mecanismos de control, se centran en las deficiencias como estrategia de correccién, burocratizan los procesos y acttian segtin lo que de- be estar bien hecho (seguir el procedimiento o protocolo, cumplimentar correcta- mente el formulario, es mds importante a veces que la persona que acude a un ser- vicio). Por su parte, las asociaciones comunitarias funcionan m4s bien por consenso mutuo entre los miembros, son més flexibles, prefieren tener en cuenta las fortalezas colectivas de personas que no son infalibles, y promueven la creativi- dad en la solucién de problemas, generando nuevas posibilidades dispuestas a ser utilizadas. La viabilidad de cada tipo de organizacién depende de factores diver- Sos: disponibilidad de recursos humanos*y materiales, implicacién de la comuni- dad, existencia de redes sociales, etc. fLovitats (1994) sugiere la posibilidad de una aproximacién combinada, en la que los-objetivos y actividades del programa son decididas por expertos que deben contar con el consentimiento de la comunidad, cuya implicacién se materializa en forma de apoyos, fondos y sugerencias para la implementacién y mantenimiento de los programas. | . La mayoria de los modelos de evaluacion recomiendan que se incluya alos d - versos grupos de stakeholders dentro del proceso de disefio y selecci6n de los obje- tivos y el método de evaluacién (Cronbach y asoc., 1980; Patton, 1997; Weiss, 1990). El concepto de stakeholder se considera de forma amplia como cualquier grupo que tiene intereses en Ta evaluacin. Su inclusién conlleva una serie, de Pro- blemas técnicos que deben ser previstos: que sufran una falta de informacién 0 de )). De ahi la dificultad para la n de conocimiento a partir de 80 | Pare & Dis de potas y programas de intervencén soil in no pueda cubrir las demandas re... sofisticacion conceptual. ave mnie Ga eairourelleraieies pean das por grupos iF potland (1985: siakeholder-based evaluations) genet ™ compatibles MN a ién de 1s grupos de interés en la cuestiOn de que yn"! Fro ee ine de ellos, dado que éstos tendrén una influencia clang *® res defenderé cada uno de ellos, dado qi e inf laraeny, elecci6n de los objetivos y las preguntas de evaluaci m, aunque sin aon Necesa. riamente que sean los patrocinadores 0 grupos politicos quienes dicten las cya, tiones de interés. Los autores proponen el poder y la legitimidad como Caracteris, ticas bésicas para analizar los grupos participantes: El poder es la capacidad de} grupo para influir én las decisiones sobre la marcha y continuidad del Programa, La legitimidad responde a la idea de que losintereses que el grupo tiene en ¢| programa y en sus efectos son socialmente aceptables. A partir de estas conside. raciones, la seleccién de grupos participantes se realiza atendiendo a tres Crite- rios: que su inclusi6n aumente la utilizacién de los resultados de Ja evaluacién, que se represente de forma més segura el proceso de toma de decisiones, y que la evaluacién contribuya al fortalecimiento de los grupos con menos influencia. Con los dos primeros criterios se persigue mejorar el programa facilitando la difusién de informaci6n y el conocimiento mutuo entre los grupos con influencia politica, mien. tras que el tercero plantea el problema ético de qué grupos deben tener voz legitima en el proceso (por ejemplo, cuando se modifica una ley, ,se debe escuchar por igual a las victimas de un delito que a los delincuentes?). En otras palabras, se deberian incluir los grupos con poder si lo que se quiere es aumentar la influencia de la evalua- ci6n y representar mejor el proceso de toma de decisiones, mientras que la extensién de la participaci6n a otros grupos depende del deseo de democratizar la politica so- cial, incluyendo grupos sin voz que tengan intereses socialmente legitimos, 4.2. El marco turbulento de las instituciones de servicios 4.2.1. Contexto social de los programas El contexto de las instituciones de servicios y de los programas sociales se caracte- tiza por la existencia de grupos de interés (stakeholders) que trataran de hacerse escuchar y defenderén sus posiciones de poder o sus reclamaciones con indepen- dencia de los resultados evaluativos (Cook, Leviton y Shadish, 1985; Cronbach y asoc., 1980). En el campo de los servicios sociales hay que considerar también a .l0s grupos y asociaciones politicas con responsabilidad en la definicién de la politi- Ca social, ademds de las asociaciones de usuarios, las asociaciones profesionales 0 i6n en el Contexto institucional mas amplio. En la medida Capitulo 4: Evaluacién de entrada Y Planificacién de} Programa | 81 ma_se desarrolla dentro de un contexto social mé; r mas a Eos muy diversos factores podrén tener influencia sobr pe des y el €xito del plan de evaluacién. La organizacion oo activ ay dela evaluaci6n, siendo importantes factores coy er program: 5 me Jas caracteristicas estructurales o la cultura organizacion; EI prosra mplio, de tal modo re la marcha de las el contexto primario mo las dindmi dc yr el contexto social amplio, i al. ‘Ademds ely mast afecta lo pol ariel MPlo, incluyendo las normas, valores sociales de la comunidad, que revertiran en el apoyo que reciba k ae yo* mente, 10s propios resultados del programa tendrén im, 3 Organizacién, Finmvorganizacion y Ta comunidad, que deben ser invention po oe rutien sonsecuenciaS amplias de la intervencién y de la evaluacién. Scheirer (198) os asumir la perspectiva de los sistemas sociales, describiendo el funcionamiento del rograma y de los servicios como una organizacién social compuesta de seis tipos de elementos: el programa, los clientes, los responsables de la Prestaci6n del servicio, las unidades de trabajo (importancia de la adaptacién de normas, rutinas propias, nor. mas informales, liderazgo), las estructuras organizacionales generales (faciliten las decisiones, recursos, reglas y resoluciones de conflictos) y las presiones ambientales (entorno amplio, sociedad). Aunque en nuestra opinién el disefio de la evaluacién tiene un papel crucial para el éxito del programa, lo normal es que no se le otorgue més que una posi- cin secundaria. Las actividades de la intervencién suelen ser consideradas priori- tarias por el personal del programa, de tal modo que los evaluadores deben adap- tarse al curso del programa, e introducir las actividades evaluativas perturbando lo menos posible el proceso de la intervenci6n. En cualquier caso, existirdn conflictos entre ambas e interferencias que dificulten las tareas del evaluador. El personal del programa suele plantear resistencias a la evaluaci6n, en relaci6n con un miedo a ser evaluado, fundamentalmente ante el desconocimiento de las consecuencias de la evaluacién en cuestiones como la continuidad en el puesto de trabajo, la re- duccién de sueldos o la dificultad para la promocién profesional (Rebolloso y Mo- tales, 1996; Rogers y Prentice-Dunn, 1982; Scriven, 1983). 422, Dificultades para la evaluacién Carol H. Weiss (1990) ha analizado algunos problemas que deben ser previstos en 'a planificacién de la evaluacién, incluyendo las dificultades que se derivan Ze Situacién del Programa en referencia a una multiplicidad de contextos sociales ae Pueden tener alguna influencia en su funcionamiento (la propia organizacion, a “omunidad local o nacional, el contexto social propio de la persona, el contexto mn te i odré desarrollar to- ee i6 etc.). Rara vez se poc arr t n relacién con el apoyo social, etc.). Rara ve So por com lente el program: ista es es imp\ Fi ‘ama de la forma prevista, pu 4n influencia en wee el contexto de la infervencidn y todos los factores que tendlin Tee esa : ae oo rama tit -satrollo. En consecuencia, las actividades del prog scion de los recursos "°S: Son multiples las causas posibles: problemas de distrib 82 | Parte |: Diseiio de politcas Y programas de intervencién social tintos gra es en la implementacién, problemas en las telaciones Entre gj ee pos de participantes, etc. Imaginemos las consecuencias de la renova” € los cargos politicos tras unas elecciones en las que cambia la orientacién idea gica de los gobernantes, y los cambios, a veces profundos, que debe introdugy Personal de un centro de servicios sociales para adaptarse a nuevos pri a whey nuevos usuarios, nuevas actividades, etc, Situacién que podré cambiar al ease Cuatro afios con unas nuevas elecciones, precisamente cuando las rutinas de trap, : jo se han afianzado y funcionan de manera eficiente. * Para contrarrestar este tipo de dificultades se han sugerido diferentes Solucio. Nes, entre otras: asignar al evaluador un control rigido de las actividades, sobre to, do en el caso de programas innovadores (Fairweather, 1967); implementar el pro. grama de forma escalonada, realizando fases de ensayo en condiciones controladas y en condiciones naturales, como paso previo a la institucionalizaci6n del mismo (Suchman, 1970); o compaginar la evaluacién de los efectos con estudios de la eje. cuci6n del programa, para comprender cémo opera dentro del contexto politico y organizacional en que se desarrolla (Weiss y Rein, 1969). En general, Weiss (1990) sugiere la necesidad de que la evaluacién se base en un modelo dindmico del pro- grama, que permita introducir modificaciones en el proceso de evaluacién me- diante la observacién continua de la ejecucién del programa y la redefinicién del plan evaluativo. ‘Aunque muchas instituciones cuentan ya con equipos de evaluadores internos, Ja situacién normal es que los miembros del personal del programa sientan que los evaluadores son un grupo de personas ajenas al programa. De hecho, con el fin de ganar en credibilidad, ellos mismos se esfuerzan generalmente por ser percibidos como independientes. Inevitablemente, surgirdn fricciones y roces entre ambos grupos, que pueden influir negativamente en la ejecuci6n del plan de evaluacién. El resultado es que existe la opinion extendida entre el personal de los programas de que los evaluadores se sienten menos implicados con las actividades del mismo, son demasiado criticos con el comportamiento del personal, no est claro cudl es su papel ni su autoridad dentro de la estructura del programa, y no son capaces de al- canzar un conocimiento tan rico de la situacién como la que tienen los propios pat- ticipantes, por lo que los datos evaluativos serén vistos con desconfianza y cierto menosprecio, especialmente cuando el personal ya est4 sobrecargado de trabajo y siente que la evaluacién viene a ser una actividad pesada que no ofrecer resulta- dos que compensen el esfuerzo requerido. Weiss (1990) sugiere que la mejora de la comunicacién con el personal y la cali dad de la planificacién puede derivar en un ambiente més cooperativo para la eva luacién. En concreto, propone algunas acciones para reducir las fricciones descritas: lograr el apoyo de los administradores y directivos a la evaluaci6n; lograr que los pal pet Paed conovcan con detalle las caracteristicas y beneficios espe? personal del eee Sree bv paste near” pheairiius : eens: a — a que se est juzgando la intervencién, y no a las pet § aportar n titil a los participantes para que estos perciban que la eva- Capitulo 4: Evaluacién de entrada Y planificacién del Programa 83 jon tienen consecuencias positivas directamente ua‘ ctura de autoridad. Ry ey laestru lad. Rebolloso y cols, : i ort que ‘encuentran pepe téenicas de See es es parr fs fctores stéicos, relacionados con la propia tendo tres ses iad (defnicion de puestos,selecion de personal oportunidedee oe a dW ia presion politica para realizar determinado tipo de evaliminn oe jusiva; los condicionamientos politicos del contexto de ios prope ome me ede adminstaci6n o Ta respuesta burocrétia al cambio as bareras erase cai que se generan por la falta de informacion sobre las implcaiones de re dina credibilida, la neutralidad respecto a las distnta potcas, a conan dad de las acciones de evaluaci6n y el buen uso de la informacion evaluative ‘as claves para reducir las mencionadas barreras. juuativa Para ellos; y definir con claridad Ia viabili son algun: 43. Objetivos de los programas. Como hemos visto en otro apartado, los programas son creados en los niveles me- dios de la administraci6n, fundamentalmente en los equipos técnicos, aunque muy préximos a los estamentos politicos superiores. Sin embargo, la implementacién del programa corre a cargo de alguna organizacién de servicios, que bien puede ser una agencia piiblica (como la red de servicios sociales 0 de centros de salud) o una entidad privada (organizaciones no gubernamentales, asociaciones comunita- ris). Las agencias de implementaci6n asumen la realizacién de programas que re- sultan coherentes con la misién que tienen establecida como organizaciones de servicios. 43.1. Mision y objetivos de los programas. Lamisién de la agencia es una definicién de intenciones, muy simplificada, ave TT racion, y que cuenta con el apoyo legal creta la funci6n o el sentido social de la organizacion, i i Yextatuario sufciente. La mision provee de tun significado o una perspectva cont nua sobre el ipo de actividades que desarrollaré la agenciay explcita ls raze O20 iustifican su existencia (Kettner, Daley y Nichols, 1985). Como minimo, Ja mS a el Pecifica un grupo de poblacién destinatario de las acciones y unt vin es "ipo de condiciones sociales que se intentara promover con visi aia dl Tosttu “on del grupo (Kettner, Moroney y Martin, 1999). Por ejemplo, la Lan des entre ‘© Andaluz de la Mujer es promover “Ia igualdad de derechos ¥ oportunigag i ‘ujetes y hombres con el objetivo de avanzar hacia un modelo oe ota mision dl prpore nuevas formas de convivencia més democraticas ¢ ieuaadan’ de Jas muje- tte tituto de la Mujer de Chile es “promover la participa p “con el objetivo de alcanzar la igualdad entre los ae rofundizar la de- : ‘liten la incorpora- Mocracia [...] elaborando estrategias metodolégicas que faciliten 84 | Parte I: Disefio de polticas y programas de intervencién social ci6n de las mujeres a los espacios ptiblicos para que sean capaces de Teconocer, como sujetos de desarrollo”. La continuidad de la misién es sindénimo de estaby, lidad y continuidad de la propia organizacin, aunque no debe ser concebida como una imagen estética, sino que debe someterse a evaluacin y cambio si las condicig, nes sociales asf lo sugieren, cuando aparecen nuevos problemas sociales que pueden ser asumidos por la organizacion o cuando el problema social originario haya desapa. recido o se haya modificado su interpretacién. . Las decisiones que llevan a que una agencia asuma el compromiso de realizar yy programa son complejas. La presién de los organismos politicos, las luchas partidistag por el poder, la oportunidad o el deseo de captar los fondos asociados al programa son factores implicados. La coherencia entre la misién de la agencia y las metas del programa es un requisito que trasciende el origen de las decisiones (Kettner, Moro. ney y Martin, 1999). Las metas son enunciados que explicitan los resultados deseados en relacién con el problema social que la agencia trata de resolver: Las metas se defi. nen con certa vaguedad y no requieren ser medibles o estrictamente alcanzables, ra. z6n por Ta cual no precisan de Iimites temporales ni de criterios de medida, Son titles para proveer de direccion a las actividades de la agencia, sefialando el ideal hacia el que orientard sus esfuerzos. Igualmente, son un producto politico por cuanto el pro- grama intenta responder a los intereses y puntos de vista de miiltiples grupos intere- sados, asi que la ambigiiedad cumple una funcién de consenso afirmando intenciones que, por vagas y poco precisas, pueden ser asumidas por todos permitiendo que con- tintie la accién social. Un objetivo comparte con las nociones de misién y meta el ser una idea simpli- ficada de alguna situacién que se quiere conseguir en el futuro, una vez que se ha- yan puesto en marcha las acciones oportunas, y que suponé_un cambio o una me- jora en las condiciones problemiticas actuales. Cohen y Franco (1993) destacan el cardcter ideal de los objetivos, que sintetizan de algtin modo las variables relevan- tes que describen la situacién deseada. Sin embargo, los objetivos suponen un ma- yor esfuerzo por concretar los resultados que el programa quiere lograr y los me- canismos que pondrd en marcha para conseguirlos. El primer objetivo de un programa es el establecimiento de un servicio, es decir, la creacién de una estruc- tura organizacional suficientemente dotada (recursos humanos, materiales, finan- cieros, de informacién, y otros), que se hard responsable de implementar las acti- vidades del programa (objetivos de proceso), las cuales se supone que servirén para lograr los resultados deseados (objetivos de resultado). Podemos distinguir, en primer lugar, los objetivos de resultado (lo que el pto- grama persigue), que conviven ¢ incluso compiten con los objetivos del sistema, &s decir, con lo que la organizaci6n responsable del programa se propone con vistas a asegurer 7 supervivencia o la adquisidtén de recursos que permitan que la organi- as eae ees El conjunto de objetivos de un programa toma la forma de andes ese mds seas losses Se sapone eo ore Secagregen esariamente en un conjunto de objetivos especift Ss , cya consecucidn conduce légicamiente al logro del ob- Capitulo 4: Evalvacion de entrada y planiicacién del programe | 85 neral, asegurando que existe coherencia légica en el conjunto. La fe rosramas, Por otfa parte, Persiguen objetivos multiples, que pute ne de jementarios. cuando el logro de uno de ellos es necesario para eon ar com tro, 0 competitiVOS, cuando centrar los esfuerzos del Programa en aot a crn sen Cs nema pa oa 4n los objetivos & perseguir. En la practica es interesante también distinguir en- we objei¥OS. inmediatos © intermedios, que se pretenden conseguir a corto plazo. y spjetivos mediatos, AVS se persiguen a medio y largo plazo, ¥ cuya consecucién re- aiere haber Togrado previamente los objetivos intermedios. El logro de estos tilti- mos sirve para determinar si la direccién de los esfuerzos del programa es correc- ta, asi como el grado de avance hacia los objetivos mediatos. ivo £1 43.2. Definicion de los objetivos del programa Las intenciones politicas que presiden la creacién de los programas sociales suelen estar definidas en términos ambiguos, vagos. y excesivamente ideales en muchas ocasiones; en cualquier caso, son de escasa utilidad para el disefio del pro- grama y para determinar los objetivos especfficos que se trataran de lograr. La es- pecificacién de objetivos es una btisqueda de definiciones operacionales apropia- das para los resultados esperados del programa (Chen y Rossi, 1983), teniendo en cuenta el conocimiento disponible para la definicién del modelo teérico de impac- toy distinguiendo tres tipos: * Objetivos dirigidos pi itica, plausibles y congruentes con el conoci- miento disponible, que pueden ser implementados con un esfuerzo y recur- sos razonables. Objetivos dirigidos por la politica no plausibles, caracterizados por la va~ guedad, la posibilidad de ser operacionalizados de diferentes maneras y la falta de ajuste con las condiciones necesarias para los objetivos plausibles. Objetivos derivados de la teorfa, que suelen ser plausibles y se derivan del examen de politicas y programas previos, 0 de estudios empiricos sobre otros programas. bie t2"do se definen, todos los objetivos deben ser claros, espectfices, mensura com; mon un plazo previsto, realistas, y deben indicar la persona 0 grupo pai in gplomete en la actuaci6n (Kettner, Moroney Martin, 1999). La claridad enge mute! de ambigiedad minimo y que los objetivos sean interpretamiet 0 Tt pomet®*4 por todos, de tal forma que los responsables de las acl pueden las en marcha con precisién. Para ganar en claridad, se sugiere que se : inclusig ‘Ss como cambios comportamentales deseados, por ejemp! See (de nunei, On de verbos de accion que impliquen comportamientos ne ede “ar malos tratos en un programa de atenci6n a Jas victimas de Ia viol 86 | Parte I: Disefio de politicas y programas de intervencién social los fundamentos bdsicos de un idioma en un programa de in. os inmigrantes). Los objetivos deben incluir los plazos tempo. rales en que se logrardn los resultados intermedios y finales previstos, que pueden ser definidos de manera absoluta 0 relativa (por ejemplo, diez unidades de mejorg en una escala de aptitud al finalizar el primer afio del programa de integracién, veinte por ciento de disminuci6n en el ntimero de denuncias al finalizar el segundo afio del programa de atenci6n a las victimas). Deben incluir la Poblacion que ser objeto de intervencién, asf como los hitos relacionados con el éxito en el estableci. miento de las actividades. Con otro ejemplo, para lograr el objetivo de resultado previsto en un programa de mejora de la lectoescritura en nifios con retraso esco. lar se actuar4 sobre una poblacién de doscientas familias, intentando que al menos el cincuenta por ciento acudan a un ciclo de actividades informativas. Hay que dis. tinguir entre los resultados previstos y los productos del programa, tales como la elaboracién de informes o la implantacién de un sistema de informacién al final del primer aiio. Por Ultimo, los objetivos deben concretar quién seré el responsa- ble de producir el informe de actividades para la rendici6n de cuentas ante los or- ganismos patrocinadores y los grupos de interés. La precisiOn en todos estos pard- metros facilita indicadores para realizar el seguimiento del programa, evaluar el proceso y evaluar sus resultados. Ni que decir tiene que la precisién y la coherencia entre misi6n, metas y obje- tivos es ideal, y no es extrafio encontrar casos de confusién en las agencias de servicios y los programas de intervencién, con objetivos definidos de manera in- completa o metas cuya desagregacién en objetivos es imprecisa 0 incoherente. La valoraci6n de estas deficiencias es objeto de la evaluacién de la evaluabilidad y el anilisis de la teorfa del programa, que serdn tratadas mds adelante. Ademas de es- te problema, la gestion por objetivos puede ser criticada porque supone un esfuer- zo considerable en las agendas de los responsables del programa, o porque su rigi- dez limita la capacidad de cambio de la organizaci6n, cuando la evolucién continua de las condiciones sociales requiere cierta flexibilidad para asegurar la adaptaci6n. Su mayor utilidad es introducir un elemento de racionalidad en el programa, que ayuda a la correcta implementaci6n de las actividades y ofrece elementos de juicio para la evaluacion. méstica, 0 aprender tegracién de colectiv: 4.3.3. Elementos del programa Més alld de la definicién de los objetivos, el disefio de un programa requiere espe- cificar de manera apropiada el sistema de servicios que se pondrd en marcha para realizar las actividades previstas en la teoria del programa (vid. infra). Un progra- ma se compone basicamente de cuatro tipos de elementos, vinculados entre al modo de un proceso de transformacién (Martin y Kettner; 1996): _ Capitulo 4: Evaluacién de entrada y planifc ién del Py o entradas. Un conjunto variado de rec . plement Tas actividades o servicios del aaa a aeeasion para i Br personal del programa y los recursos fisicos (espacios en oy HemeS fee etc.) Todos ellos deben ser identificados mediante vate significativas, en el sentido de que puedan ser medidas y u as isit i se en toma de decisiones y en las posteriores actividades de seguimiento y a jwaci6n. Throughputs 0 Procesos. Se refiere a las actividades o servicios del ma propiamente dichos, tales como aconsejar a un cliente, orientar a - ' judiante, formar a un grupo de desempleados o distribuir ciertos a entre una poblacién con necesidades. Para definir los procesos es necesario concretar la misi6n del servicio, las tareas que desarrollar4 y los métodos que utilizard para implementar las tareas. Outputs o salidas. La correcta implantacién de los procesos supone que tan- to el personal como los usuarios del programa se comportan tal como se es- peraba. La cuesti6n es asegurar que el servicio se est4 ofreciendo en su to- talidad con la calidad suficiente, y que los usuarios acuden al mismo y realizan completamente las actividades que se les requiere. Outcomes o resultados. Se refiere a variables que indican el nivel de cambio conseguido en las condiciones sociales probleméticas 0 en Ia calidad de vi- da de los usuarios del programa. Los resultados pueden ser cuantificados mediante distintas posibilidades, tales como indicadores numéricos, escalas de medida estandarizadas y escalas de satisfaccién del cliente (Kuechler, Velasquez y White, 1988). La relacién entre los cuatro tipos de elementos descritos forma la hipétesis ° teoria del programa, es decir, suponemos que, si se utilizan un conjunto determi- tado de recursos para realizar determinadas actividades, asegurando que sé de- sarrollan de manera completa, se lograré un conjunto de resultados deseados so- re la poblacién objeto; resultados que, por supuesto, estan légicamente relacio- nados con los objetivos del programa. 44. Planificacion y ajuste de las evaluaciones jeberfan in- ({calmente, todos los programas (entendidos en sentido amplio) dg tividades Y ta Un plan de evaluacién con el propésito ultimo de mejorar su ai aver Gulltados. Sin embargo, la evaluacién supone UD esfuerzo an valuar de- nde recursos en ocasiones considerable, por lo que 1a ees il cuando * Se convenientemente sopesada. Por ejemplo, €8 SPE Tr, eficiente © qt problemas para asignar los recursos del program? aa informacion més acuen’ © Necesita determinar y priorizar las necesidades y wholey (1954) Slantes de los principales stakeholders. Newcomer, Hatry 88 | Parte I: Disefio de polticas y programas de intervencién social proponen un conjunto reducido de criterios para determinar cuando es Necesa, ria la evaluacion: La evaluacién tiene sentido cuando se puede esperar que sus Tesultados j fluyan en las decisiones del programa; por ejemplo, cuando éste depend, de una decision sobre su continuidad 0 terminacién, no siendo recomenda, ble evaluar cuando el programa tiene tanto apoyo por parte de. diferentes grupos de interés que es poco probable que se plantee su finalizacién a pe- sar de que pueda demostrarse su ineficacia. ¢ No debe iniciarse cuando no sea posible terminarla en el plazo oportuno 9 no resulte util; por ejemplo, cuando los datos necesarios no estén disponi- bles o no puedan ser reunidos con la rapidez necesaria para responder las preguntas de la evaluaci6n. ¢ La evaluacién debe realizarse cuando el programa realmente lo requiera; por ejemplo, si emplea una-cantidad excesiva de recursos, si tiene un nivel de ejecucién marginal, si existen problemas con la prestacién de los servi- cios, o en el caso de programas piloto con grandes posibilidades de ser ex- tendidos. Oc La evaluaci6n y la planificacién del programa son, dos conjuntos de actividades aparentemente diferenciadas, pero no se realizan de forma independiente en ningtin caso. Al contrario, en su funcién de apoyo a la toma dé decisiones, Ia planificacién e ‘mplementacién de la evaluacién son las consideraciones clave en el disefio y redise- fio de programas. Ademéds, el desarrollo del plan de evaluacién debe ir de la mano del disefio del programa para facilitar la realizacién de las actividades evaluativas y minimizar el conflicto entre planificadores, directores de programa y evaluadores. Defendemos, por tanto, una perspectiva contingente de la evaluacién, segén la cual, cada evaluacién debe estar ajustada al programa al que complementa. Las tareas que emprenden los evaluadores difieren dependiendo del estadio de la acti- vidad y de las necesidades e intereses de muchas personas, tales como aquellos que disefian la politica social, los que dirigen y administran el programa o los grt- pos que lo patrocinan o apoyan. Ademés, los roles que pueden jugar las evaluacio- nes varfan de acuerdo a si el programa es nuevo y ha sido disefiado implementa- do en alguna ocasi6n, o si es un programa establecido que va a ser evaluado y reajustado o perfeccionado (Rossi y Freeman, 1989). | En la fase de planificacién de un nuevo programa, el evaluador puede ser util tanto a los planificadores como a los implementadores, aunque pueden surgir ten- siones a consecuencia de la discrepancia de intereses de estos diferentes grupos. Co- mo m{nimo, los vinculos inevitables entre el disefio y la evaluacién requieren la comprensién mutua de las tareas y procesos que conciemnen a cada parte. Idealmen- te, los planes para la implementaci6n de las evaluaciones se desarrollan de la man? de los disefios del programa. Los problemas de la evaluaci6n en esta fase incluyen la traduccién de las metas generales en objetivos mensurables y operacionales; el de- Copitulo 4Evaluacién de entrada y planificacién del p rograma rvicios, , : ‘6n del cliente; la especificacién de procedi 1 programa; y la valoracion de la efectividad y efi 7 os programas existentes son més dificiles acto Y eficiencia. Con todo, la evaluacién pued: re ae es imientos para la Monitorizacion ciencia del programa, de evaluar en términos de su im- le ayudar a la correcta implemen- i6 de mej m taci6 : Peon meee jores. Un gran nitaen evaluaciones tienen como objetivo primordial perfeccionar los Programas, ie niendo las poblaciones de referencia, cambiando el sistema de dispensa de servi cios o modificando el programa de manera que aumente su efectividad, Para eva- jar un programa existente, los investigadores necesitan comprender las circunstancias en las que se establecié el programa, su evolucién desde entonces y las perspectivas y percepciones de las personas interesadas en su funciona, toy resultados. Con este fin, las evaluaciones de la evaluabilidad, por ejemplo soa una forma de investigaci6n cualitativa que permite que el evaluador desarre, lle una comprensi6n del programa y consiga apoyo para las subsiguientes acti dades de evaluacién. También los estudios de responsabilidad y monitorizacién son un tipo comun de actividad de evaluacién de programas existentes. Dos pro- blemas basicos a resolver en los estudios de responsabilidad tienen que ver con la decision de utilizar evaluaciones longitudinales o transversales (es decir, estudios puntuales en algtin momento de especial interés) y cémo conjuntar la participa- cién de evaluadores internos y externos. El perfeccionamiento de los programas existentes implica cinco tareas basicas: nueva valoracién de objetivos y resulta- dos, identificaci6n de posibles modificaciones de programas, valoracién de la reputacién (evaluaciones de resultados basadas en la opinién que los distintos grupos de stakeholders tienen acerca del éxito del programa), nueva planificaci6n ydisefio del programa, y planificacién e implementacién de la evaluacién para re- alizar el seguimiento y valorar el impacto de los cambios. Finalmente, las evaluaciones ajustadas y perfeccionadas de programas estable- cidos pueden involucrar la re-evaluaci6n de los objetivos y resultados del progra- 'ma, efectuar evaluaciones de la reputaci6n, y la replanificacion y redisefio del pro- srama. Estas evaluaciones incluyen con frecuencia caracteristicas de evaluaciones ‘anto de programas innovadores como ya establecidos. 4S. La evaluacién de entrada dentro del proceso de intervencién social arrollo de la intervencién y del ae la fase de planificaci ee aria; Rebolloso cursos de todo Sigui fie con el paralelismo entre las fases de des Vdinw ©’@luacién, en este momento estamos situa state ‘Scho de ambos elementos (programa y evaluacién comprem : . ot ret tipo» 2003). La evaluacion de entrada implica un andlisis de los PO que se e 90 | Parte I: Disefto de politicas y programas de intervencién social si es coherente con las necesidades 0 problemas... cuado, sistemético y viable, 7 . ‘os necesarios (humanos, econdmicos, co,” aren ee erie Saat disponibles, y si la relacién entre todos ha tuales, etc.) ane ente. Asimismo implica un preanilisis acerca de la Calida y ee a eo plan de evaluacién. A continuacién repasaremos brevemente Sr eas empleados por Rebolloso y cols. para analizar eg te ting particular de evaluaci6n (véase figura 4.1). a) Teoria causal del programa. La teoria del programa especifica las Telaciones hipotéticas entre las actividades 0 entradas del programa y los resultados esperados, teniendo en cuenta la existencia de multiples variables intery. nientes, mediadoras 0 contextuales que pueden ser relevantes para el éxito de la intervenci6n. También se la denomina modelo de impacto (Freeman y Sherwood, 1970; Rossi y Freeman, 1989). b) Planificacién. La planificacion especifica los elementos operativos del pro- grama, incluyendo la definicién de la teoria causal del programa y la teoria de la implementaci6n, en la cual se recogen las directrices prdcticas referidas al sistema de dispensa del servicio, responsable de la puesta en practica del rograma. La planificaci6n parte de la definicién de las metas globales y los bbjetivos ‘especticos que se quieren obtener, y tiene un tarcado cardcter politico. En general; corresponde a los responsables politicos el estableci- miento de los objetivos generales, mientras que la definicién operativa del plan recae en técnicos especialistas. La planificacién no es independiente de la realidad social del problema sobre el que se actiia, sino que puede inter- Pretarse como la respuesta que la clase politica ofrece a la situaci6n de des- ventaja que sufre el grupo de afectados, La clase politica y administrativa se comporta como otro grupo més de stakeholders, que tienen sus propios mo- tivos ¢ intereses en la existencia y solucién del problema. Evaluacion de entrada. Es una actividad evaluativa encaminada a determi- nar la congtuencia y la viabilidad del plan conjunto de intervencién y eva- luaci6n. El andlisis de estos elementos permite identificar problemas o de- fectos de formulacién, con vistas a mejorar el programa y asegurar la viabilidad y utilidad de su puesta en funcionamiento. Por otra parte, no es recomendable iniciar un programa cuyos propésitos y actividades no pue- dan ser objeto de evaluacién, por la incorrecta definicion, la imposibilidad de implementar las acciones Previstas, 0 por cualquier otro problema. Con este fin, la evaluacion de la evaluabilidad (Wholey, 1977, 1987) valora si las acciones definidas en el programa son evaluables, si es factible el contraste del modelo te6rico en la préctica y si la misma evaluacién del programa es Viable en las condiciones existentes. En sintesis, el objetivo seria analizar la planificacion para probar la adecuacién de la teoria del programa y com- probar que los recursos necesarios para la im lementacién estén disponi- bles (Wholey, 1983), ° "° ¢ itulo 4: Evaluacié Capit luacién de entrada y planificacién del programa | 91 TEORIZACION Teoria causal del problema Decisién, politica INVESTIGACION Panficacién Evaluacion de EVALUACION entrada (Gude la evalsabilicad) ACTIVIDADES: Andlsis de la operativizacién de objetivos Cobertura en la teorta € inwestigacién previa Andlsis de la base légica del programa METODOLOGIA Grupo asesor Paneles de expertos Anilisis de documentos: uias,reglamentaciones Ensayos pilot. Figura 4.1. Elementos de la evaluacion de entrada. d) Algunas actividades evaluativas espe ificas. Aunque son muchas las activi- dades posibles,

    You might also like