_ EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO* _ CHANGES IN THE PARADIGM IN THE EVALUATION OF PUBLIC POLICIES

THE CASE OF COOPERATION/ CONTRIBUTION TO DEVELOPMENT

Carmen Vélez Méndez Universidad de Sevilla

* Algunas de las ideas recogidas en este artículo fueron presentadas por la autora en el XI Congreso Internacional del CLAD celebrado en Guatemala en noviembre de 2006.

sumario//summary
1 ORIGEN E HISTORIA DE LA EVALUACIÓN / ORIGIN AND HISTORY OF EVALUATION PROCESS 2 EL CAMBIO DE PARADIGMA: DE LA CONFRONTACIÓN A LA COMPLEMENTARIEDAD / CHANGE OF PARADIGM: FROM CONFRONTATION TO COMPLEMENTATION El paradigma positivista / The positivist paradigm El paradigma alternativo: constructivista / The alternative paradigm: the contrustivist paradigm 3 EVOLUCIÓN DEL DISEÑO DE LAS EVALUACIONES / DESIGN EVOLUTION OF EVALUATIONS Cambio en las metodologías y técnicas aplicadas / Methodological changes and applied techniques 4 EL CAMBIO DE PARADIGMA EN LA EVALUACIÓN DE LA POLÍTICA DE COOPERACIÓN PARA EL DESARROLLO / CHANGES IN THE PARADIGM OF THE EVALUATION OF COOPERATION TO DEVELOPMENT POLICY La supremacía del enfoque del marco lógico, en cuestión / The supremacy of the approach to logical frame, in question La concepción reticular en la evaluación de la política de cooperación al desarrollo: primeras reflexiones / The reticular conception in the evaluation of the evaluation of cooperation to development policy: preliminary considerations 5 BIBLIOGRAFÍA / BIBLIOGRAPHY

145

NUEVAS POLÍTICAS PÚBLICAS. Anuario multidisciplinar para la modernización de las Administraciones Públicas EVALUACIÓN DE POLÍTICAS PÚBLICAS

resumen//summary

Desde los orígenes de la evaluación de políticas públicas en los años 60 hasta la actualidad se ha producido un cambio de paradigma en la teoría de evaluación que ha venido caracterizado por el paso del positivismo, como pensamiento científico dominante, al constructivismo. Hablaremos de la teoría y de la práctica de la evaluación. Nos centraremos en el caso de la política de cooperación al desarrollo, donde existe gran tradición en planificación y evaluación. Además, en España, la Dirección General de Planificación y Evaluación de Políticas de Desarrollo (DG POLDE) del Ministerio de Asuntos Exteriores y Cooperación está en la actualidad inmerso en un proceso de revisión de la Metodología de Evaluación de la Cooperación Española. Se propone, en esta reflexión sobre la adecuación de los métodos de evaluación, la aplicación de un enfoque que considere la dimensión reticular de la política de ayuda al desarrollo. Se pretende, precisamente, identificar las conexiones entre los distintos actores, objetivos y niveles, para poder analizar adecuadamente el éxito y bondad de la intervención pública, así como el grado de desarrollo institucional y la capacidad que tienen los agentes para resolver sus conflictos e interrelacionarse. From the beginnings of the evaluation of public policies in the 1960's to the present day, there has been a change in the paradigm in the theory of evaluation that is characterised by the change from positivism, as the prevailing scientific thinking, to constructivism what has affected the contents of these evaluations, their aims, methods and techniques. We will talk of the theory and practice of evaluation. We will focus on the particular case of the policy of cooperation to development, where there is a great tradition regarding the planning and evaluation. Furthermore, in Spain, the General Bureau of Planning and Evaluation of Development Policy (DG POLDE) under the Foreign Affairs and Cooperation Ministry is nowadays immersed in a process of revision of the Methodology of the Evaluation of the Spanish Cooperation. In these considerations on the adequacy of the evaluation methods, it is proposed the application of an approach that considers the reticular dimension of the policy of help to development. It is intended, in fact, to identify the connections established between the different actors involved so as to be able to analyse appropriately the success and public intervention kindness as well as the degree of institutional development and the agents' ability to solve their conflicts and relate with each other.
Palabras Clave: - Evaluación. - Paradigma. - Análisis de redes. - Política de cooperación.
ESTUDIOS

1 ORIGEN E HISTORIA DE LA EVALUACIÓN

l hecho de evaluar individuos y programas apareció, como mínimo, en el año 2000 a.C., cuando algunos oficiales chinos dirigieron unas investigaciones de los servicios civiles, y en el siglo V a.C., cuando Sócrates y otros maestros griegos utilizaron cuestionarios evaluativos como parte de su metodología didáctica. (…) Entre 1887 y 1898, Josph Rice estudió los conocimientos en ortografía de 33.000 estudiantes de un amplio sector escolar (…). Este estudio está generalmente reconocido como la primera evaluación formal sobre un programa educativo realizado en América”. (Stufflebeam y Shinkfield, 2005: 33). Al margen de referencias anecdóticas como las de la cita que encabeza este epígrafe, lo cierto es que la utilización de la ciencia social en el análisis de políticas y servicios públicos no es novedosa. Se ha llevado a cabo desde diferentes perspectivas y con la aplicación de distintas metodologías, pero no es hasta los años posteriores a la I Guerra Mundial cuando aparecen los primeros esfuerzos evaluativos dirigidos al análisis de programas de educación y formación profesional e iniciativas de salud pública para reducir la mortalidad provocada por enfermedades infecciosas (Rossi y Freeman, 1993, en Osuna y Máquez, 2000:6). Ahora bien, la mayoría de los autores coinciden en datar el “nacimiento de la evaluación” en los

E

Key Words: - Evaluation. - Paradigm. - Network analysis. - Cooperation policy.

146

la acreditación. Bustelo menciona algunos estudios en el siglo XIX y principios del siglo XX. 2005 y Guba y Lincoln. siempre tomando como referencia lo ocurrido en el campo de la evaluación en Estados Unidos. ESTUDIOS 147 . denominado por ellos periodo pre-tyleriano. 1993: 17). 2005: 33). recogidos en la obra de Weiss. y así conseguir evidencias científicas para los padres de los alumnos (House. Es la evaluación de tercera generación. la que se corresponde con esta época de nacimiento de la evaluación como profesión. 2000: 5). 2 Algunos autores. Se puede llegar a establecer una correspondencia. comenzó en los últimos años del siglo pasado en Estados Unidos. Evolución histórica de la evaluación Fuente: Elaboración propia a partir de Stufflebeam y Shinkfield. (Stufflebeam y Shinkfield. la denominada por ellos la del juicio y valoración. Entre ellos: el realizado en 1833 por el francés Guerry sobre la influencia de la educación en la reducción del crimen. basado en el trabajo realizado por Tyler. se señala la década de los 60. 3 Uno de los principales medios para evaluar actualmente los servicios educativos. la preocupación por el control del gasto público y el cambio ideológico. Guba y Lincoln. en el análisis histórico elaborado por George Manaus y Daniel Stufflebeam. político y social experimentado durante el siglo pasado los principales factores que impulsaron la aplicación de la evaluación al análisis de políticas públicas (Osuna y Márquez. el Acta de la Educación Elemental y Secundaria de 1965 incluía en su artículo I la obligación de realizar evaluaciones sobre el logro de los objetivos de los proyectos financiados y sobre la congruencia entre resultados y objetivos. 2005: 33). coincidiendo con el interés por conocer los resultados de la puesta en marcha de los programas sociales de la Gran Sociedad y de la Guerra contra la Pobreza. Fueron la expansión de los programas socioeconómicos. 1986 y 1989). Figura 1. que están en el origen de la evaluación de programas.EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO Carmen Vélez Méndez años 60 en Estados Unidos. estaban centradas en valorar el resultado de los programas educativos en los alumnos a través de la aplicación de test2. pero no es hasta la siguiente década cuando empieza a hablarse de la evaluación como profesión (época del profesionalismo). acreditaciones3 y comparaciones experimentales. el desarrollado por 1 En este sentido. que establece cinco períodos básicos en la evolución de la evaluación. denominada por estos autores la época del realismo. consideran la aplicación de los test de inteligencia de Alfred Binet en 1904. (En Osuna y Márquez. como el comienzo de la evaluación. (Guba y Lincoln. clasifican la historia de la evaluación en 4 generaciones en función del paradigma evaluativo predominante. 2000: 8). las evaluaciones realizadas antes de los años 30. (Stufflebeam y Shinkfield. recogida en la Figura 1. encuestas. Para Stufflebeam y Shinkfield. como el comienzo de la sicología experimental y la introducción del experimentalismo como enfoque científico adoptado para la Administración Pública. Otros dos autores. como Monnier. 1989. entre la segmentación temporal propuesta por Stufflebeam y Shinkfield y la realizada por Guba y Lincoln. para los que se comprometía un importante volumen de fondos y que sin embargo tenían una reducida capacidad para resolver los problemas a los que iban dirigidos1. Así.

Las diferencias existentes entre los grupos permitirán determinar el éxito del programa y deslindar el efecto neto del programa de los efectos brutos.NUEVAS POLÍTICAS PÚBLICAS. contrastando hipótesis previamente establecidas y determinando relaciones causales entre las variables pre viamente definidas (Campbell. desde 1946 hasta 1957. en Bustelo 2001: 73-75). El siguiente periodo. (Weiss. le encargaron dirigir la investigación del famoso Eight-Year Study (Smith y Tyler. este movimiento reflejó la filosofía del pragmatismo y empleó los instrumentos de la psicología conductista. sobre la utilidad de las infraestructuras públicas. La evaluación se caracterizaba por la medición. Para los investigadores americanos Guba y Lincoln. Las evaluaciones siguen respondiendo a las generaciones de la descripción y de la medición. el del americano Cabot en 1912 sobre la calidad de los diagnósticos médicos (comparando los resultados de 3000 autopsias con los diagnósticos previos realizados). aislando aquellas externas que puedan interferir en la evolución de los efectos. el grupo experimental al que se le aplica el programa y el grupo control. Anuario multidisciplinar para la modernización de las Administraciones Públicas EVALUACIÓN DE POLÍTICAS PÚBLICAS Depuit. que a la vez se fuera renovando a sí mismo. centrados en programas de intervención social en el campo de la educación y la salud. y. ESTUDIOS 148 . Por eso Guba y Lincoln clasifican los estudios de evaluación realizados en este período como la primera generación de evaluaciones. 1979. 6 Este estudio tenía como objetivo examinar la efectividad de ciertos currículos renovadores y estrategias didácticas que se estaban empleando en 30 escuelas americanas: 15 progresistas y 15 tradicionales. Stanley. Es el origen de la evaluación centrada en objetivos. El evaluador es un técnico. 1998. que no participa en el programa. considerados el mejor método de las ciencias sociales. debía ser objetiva y estar desprovista de valores y los evaluadores investigadores debían aplicar preferentemente diseños experimentales. desde 1930 hasta 1945 aparece la generación de la descripción. Con el nombre de Educación Progresiva. Nace con Ralph Tyler. al que algunos consideran el padre de la evaluación. por lo que también se conoce a este período como la época tyleriana (Stufflebeam y Shinkfield). 7 John Dewey y algunos otros intentaron contribuir a que la educación se convirtiera en un sistema dinámico e innovador. Codman intenta evaluar el desempeño de los cirujanos a través de la medición del estado de los pacientes después de dejar el hospital. Los evaluadores describen las fortalezas y debilidades de los programas respecto a una serie de objetivos predeterminados. 1993)5. en 1914. en 1844. y Cook 1966. entendiéndola como una ciencia social. 1942)6. Stufflebeam y Shinkfield también la llaman la época de la irresponsabilidad social puesto que según ellos existía una amplia complacencia a la hora de enjuiciar los graves problemas de la sociedad americana de los años 40 y 50 (fundamentalmente pobreza y racismo). la generación técnica. se pensaba que los programas sociales solucionarían de manera directa las necesidades existentes. A Tyler. Según el enfoque experimental. en un contexto donde predominaba la filosofía pragmatista lanzada por Rooselvet parar sacar a la economía americana del abismo en el que había caído tras la Gran Depresión7. En esta época. La cuestión es determinar si existe una relación que permita atribuir los impactos causados al programa desarrollado. Para ello se toman mediciones de las variables seleccionadas en ambos grupos antes y después del desarrollo del programa. la acción pública se considera una ciencia donde es posible realizar experimentaciones sobre la realidad. (Stufflebeam y Shinkfield. Se re- 4 Muchos han sido los autores que han analizado las principales diferencias entre evaluación e investigación. fundamentalmente con el objetivo de definir la evaluación como área diferenciada. 5 El modelo experimental parte de la construcción aleatoria de dos grupos de entre la población objetivo de una política o programa. se equiparaba a la evaluación con la investigación4. Introdujo un modelo de evaluación basado en la comparación de los resultados obtenidos con los objetivos preestablecidos. 2005: 34). fue el conocido como época de la inocencia.

Cronbach. financiadas por estamentos federales. sino como un proceso consistente en recoger y formalizar información que pueda ayudar a quienes elaboran los currículos”. y se medían sus resultados. Este fue el inicio de la evaluación “como industria” y como profesión (Rossi y Freeman. Ello vino acompañado de un cambio en la metodología de evaluación. 8 El lanzamiento del satélite ruso fue interpretado por los americanos como un fracaso de su sistema de educación. El evaluador es un juez.EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO Carmen Vélez Méndez copilaba información. que incluía comparaciones internas entre los resultados y los objetivos. en la evaluación educativa. La aplicación de la evaluación experimental era la tónica predominante. pues se trataba de grandes experimentos. que cubre el período 19581972. 9 En el marco de la evaluación de los currículos educativos. Comité organizado para valorar las evaluaciones educativas realizadas) “concluyó que la evaluación educacional “era víctima de una grave enfermedad” y recomendó el desarrollo de nuevas teorías y métodos de evaluación. 2001: 126). del Sputnik I en 19578). como señalan Stufflebeam y Shinkfield. (Monnier 1995. al parecer. En estos años la evaluación “empezó a cristalizar y a emerger como una profesión diferenciada de las demás” (Stufflebeam y Shinkfield. y ello a pesar de que el modelo de evaluación tyleriana. La época del realismo. Stufflebeam y Shinkfield ponen de manifiesto como a partir de la época anterior se empezaron a demandar evaluaciones de grandes proyectos educativos (creados tras el lanzamiento. poniéndose cada vez más énfasis en los procedimientos y la ejecución y no sólo en los resultados. Las evaluaciones realizadas en esta época se corresponderían con la generación que los americanos Guba y Lincoln denominan la del juicio y valoración. nuevas conceptualizaciones sobre la evaluación. pues se constató que con la aplicación de los métodos experimentales no se estaba dando respuesta a las demandas de los evaluados. “Cronbach recomendó a los evaluadores que reconceptualizan la evaluación no como si se tratara de una carrera de caballos entre programas competidores. “los educadores escribían sobre la evaluación y sobre la recopilación de los datos más importantes. En Estados Unidos. así como nuevos programas para preparar a los propios evaluadores”10. que incluye la evolución experimentada desde 1973 hasta el presente. Course improvement through evaluation. 2005: 39). Eran muy costosos. y se necesitaba un largo período de tiempo para que los resultados fueran visibles. 2005: 40). por lo que pusieron en marcha numerosos programas educativos e instrumentos para su evaluación. a la evaluación se le presupone no sólo una función positiva (describir lo que es) sino también normativa (establecer cómo debería ser el programa o política). Con la evaluación se pretende valorar el mérito o valor de los programas. pero. en Stufflebeam y Shinkfield. el Nacional Study Committee on Evaluation (creado por el Phi Delta Kappa. 2005: 34 y 35). 10 Las comillas están en el original. criticando así al modelo tyleriano por su limitada orientación hacia la mejora del proceso de toma de decisiones. (Stufflebeam y Shinkfield. L. hacía innecesario recurrir a costosas y problemáticas comparaciones entre grupos de control y grupos experimentales (Stufflebeam y Shinkfield. Empezaron a aparecer. 1963. 64: 672-683. en Díez. por tanto. 2005: 37 y 38. Teachers Collage Record. pero no se ofrecían recomendaciones para la mejora de los programas. como puso de manifiesto Cronbach en un artículo publicado en 19639. ESTUDIOS 149 . (Stufflebeam y Shinkfield. 2005: 36). La época del profesionalismo.J. Ahora la evaluación debía estar relacionada con conceptos como utilidad y relevancia. tanto que no eran operativos para la toma de decisiones. se describían las actuaciones públicas. por parte de la Unión Soviétca. no traducían estos esfuerzos en intentos de mejorar los servicios educativos”. Esta situación tuvo su reflejo.

1997:17). Australia. Entre ellas la Efificiency Strategy (1979) y la Financial Management Initiative en el Reino Unido. norte de Europa. la evaluación es una nueva profesión. 2000: 6). próspera. Planning and Budgeting System). 2000) también señalábamos como catalizadores la puesta en marcha de iniciativas encaminadas a modificar los procesos internos y estructuras organizativas de las agencias públicas en aras a desarrollar en ellas la capacidad necesaria para la evaluación de políticas. Antes. 2001: 120 y Osuna y Márquez. En la Guía para la evaluación de políticas públicas (Osuna et al. 1993: 15). por el Departamento de Defensa. y posteriormente al resto del mundo: Inglaterra. el uso de la evaluación se extiende a Canadá. favoreciendo el desarrollo de procedimientos. “la evaluación de programas es una incorporación reciente a una cadena de intentos por parte de los gobernantes de utilizar el poder mental de académicos y científicos para promover los intereses del Estado” (Vedung. y de la Audit Comisión o la National Audit Office (1988) en el Reino Unido. 1993: 12. las distintas propuestas de reforma de las Administraciones Públicas. como proceso de cambio institucional. un incremento en el número de evaluaciones motivada. (Osuna y Márquez. House considera que la evaluación es uno de los desarrollos de las sociedades capitalistas avanzadas. Ernest R. floreciente y en continua expansión”. La introducción de esta forma de planificación y presupuestación también se produjo en otros países industrializados: Public Expenditure Survey (PES) en Reino Unido. un intento de buscar una nueva autoridad. fundamentalmente. por la obligación reglamentaria de realizar evaluaciones de los programas ESTUDIOS 150 . aunque la evaluación existía antes de diversa forma. que opera en las sociedades altamente profesionalizadas. Uno de los factores que impulsaron el crecimiento de la aplicación de la evaluación fue la adopción de sistemas de presupuestación acordes con la planificación. hecho que no ocurre hasta pasada la mitad del siglo XX. (Díez. al igual que en el resto de países de la Unión Europea. España y países latinos. para este investigador. se observa en la última década.NUEVAS POLÍTICAS PÚBLICAS. del Sistema Presupuestario y Gestión por Programas (PPBS: Programing. como institución. 2001: 121). “De manera progresiva. el surgimiento de la evaluación en los países capitalistas más avanzados. 2000: 3). Así. (Díez. Latinoamérica y 11 En España. el Presupuesto por Programas en España. La evaluación es una nueva forma de “autoridad cultural” que respalda la toma de decisiones públicas. 17 y 18). Este fue el caso de la utilización. (House. Por tanto. o sus equivalentes en Alemania y en los Países Bajos. Anuario multidisciplinar para la modernización de las Administraciones Públicas EVALUACIÓN DE POLÍTICAS PÚBLICAS 1993). como disciplina y como profesión. cuyo uso se generalizó en la década de los 70 a la mayor parte de las agencias federales americanas. Tras su generalización en Estados Unidos. “la evaluación era una actividad menor” (House. la creación del Comité Interministerial de la Evaluación (CIME) y el Fondo Nacional para el Desarrollo de la Evaluación (FNDE) en Francia. la de la ciencia y la investigación social. formas organizativas y culturales más flexibles. para conseguir actuaciones públicas más eficaces y eficientes en procesos de mayor transparencia democrática. para legitimar e informar las acciones del gobierno en las sociedades en las que las instituciones tradicionales han perdido su poder legitimador como consecuencia del avance del capitalismo. Racionalización de la Elección Presupuestaria (RCB) en Francia. Vedung coincide en este planteamiento. han extendido el uso de la evaluación. la evaluación se iba perfilando como una disciplina social con entidad y cuerpo teórico propio. Para él. Esta es la razón que explica. Esta utilización creciente de la evaluación se vio favorecida por la creación de instituciones del tipo de la General Accounting Office (1921) en Estados Unidos.

como las denominan Guba y Lincoln. al menos en el diseño de sus actuaciones. hace que la legitimación de la intervención pública pase ineludiblemente por garantizar la transparencia en la gestión y ejecución de sus actuaciones. Algunos autores abogan por una nueva intervención del Estado. donde eficiencia. con la consiguiente aparición de fuertes déficits públicos por el incremento del gasto. 2007).. sobre la clientelización de las relaciones entre la Administración y sus administrados. la implantación de este campo de investigación es relativamente reciente y además no está lo suficientemente extendido en la práctica de la gestión pública. a considerar la función normativa de la evaluación. La cuestión no es ya si el Estado debe o no intervenir. región Objetivo nº 1 que ha recibido uno de los mayores porcentajes de recursos de los Fondos estructurales. En la actualidad no cabe duda de que la evaluación se ha configurado como una profesión. 12 Para mayor profundización en esta idea del ciudadano como cliente de la Administración véase Richards S. Las limitaciones presupuestarias provocaron una reducción en la financiación de programas públicos y consecuentemente del número de evaluaciones demandadas. Se trata de una nueva forma de hacer política. La preocupación principal de los gestores públicos era el recorte presupuestario y no la mejora de los programas (Viñas. también en Gestión y Análisis de Políticas Públicas Brugué Q. como documentamos en otro artículo donde se analizan los indicadores que desde el lado de la oferta y desde el de la demanda ponen de manifiesto la progresiva configuración de un mercado evaluativo donde se constata la creciente profesionalización de la evaluación y su configuración como disciplina diferenciada de otras. Pág. Pág. La Administración Pública y sus clientes ¿Moda organizativa u opción ideológica? En Gestión y Análisis de Políticas Públicas. cofinanciados con Fondos estructurales. Hay algunos investigadores que consideran que los años que van desde 1975 a 1985 podrían clasificarse como un periodo de crisis de la evaluación (Peters. 2000. y a la obligación de informar al ciudadano del uso que se hace de sus aportaciones al Estado en forma de impuestos12. Así. (1994) Evaluación y el usuario: la experiencia de Reino Unido.EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO Carmen Vélez Méndez Asia11. (Román. entre otros). 33 a 46. Es al calor de esta imposición donde empiezan a aparecer evaluaciones de programas en regiones como la andaluza. 2006). Y Gomá R (1994). Y Gray A. y las que se encargaban tenían objetivos e intereses diferentes: valorar la eficiencia y reducir el gasto público. Ahora bien. por conocer los resultados que se consiguen. a no despreciar los juicios de valor y a la búsqueda del diálogo entre los implicados en los programas para valorar la puesta en marcha y los resultados de las políticas públicas. 5 a16 y. que transfieren rentas a los menos desarrollados. Ello. El paradigma de cliente en la gestión pública en Gestión y Análisis de Políticas Públicas nº 1. nº 1. al beneficiario último de los servicios que prestan. (Vélez. la constante preocupación por determinar cuál debe ser el papel del sector público en la sociedad ha intensificado el debate sobre el empleo de los recursos públicos y sus resultados. eficacia y transparencia se convierten en sus expresiones más inequívocas (Román. sino cómo. pág. como se verá en el epígrafe siguiente. 1999). Tras esta obligación reglamentaria se encuentra la preocupación lógica de los países más desarrollados. La generalización del Estado del Bienestar. 2000). Se volvió de nuevo. el desarrollo de la evaluación desde la época del profesionalismo no ha sido constante. dando como resultado una nueva generación de evaluaciones. unido al interés creciente de las Administraciones por involucrar. 2001: 121). (1994). en Gestión y Análisis de Políticas Públicas.47-57. 1998 y Díez. Amorós M. las de la cuarta generación. 2005 y Díez. Sobre la evaluación y el concepto de usuario de los servicios públicos véase Jenkins B. lo que influyó en los diseños evaluativos. más centrados en ofrecer resultados sobre la idoneidad de dar continuidad o no a los programas (evaluaciones sumativas) que en proponer recomendaciones para su reformulación (evaluaciones formativas). nº 1. intensificó el debate sobre el empleo de los recursos públicos y sus resultados. ESTUDIOS 151 . Tras este período de “crisis” en la evaluación. (Vélez.

pero cuyo funcionamiento puede comprenderse desmontando y volviendo a unir sus piezas. EL PARADIGMA POSITIVISTA El positivismo. aportando una perspectiva general. que eran concebidas como investigaciones evalua- 13 Para Kuhn un paradigma es una especie de amalgama de teoría y método que conjuntamente aporta algo que se asemeja casi a una visión del mundo. se deseaba incrementar la utilización de la precisión matemática. pues la razón principal de la acción (de la investigación o de la evaluación) se convierte en incuestionable. ha impregnado el carácter y concepción de las primeras evaluaciones. importante y razonable. que usa enfoques cuantitativos y experimentales para contrastar generalizaciones utilizando para ello el método hipotético-deductivo. 14 Según el enfoque mecanicista cartesiano. En el campo de las ciencias sociales Ormerod pone de manifiesto en su conocida obra de 1994. a modo de la máquina construida en 1950 por Bill Phillips. 1990: 35 y ss). Los filósofos de la ciencia se han esforzado durante años en un largo debate epistemológico sobre qué es ciencia y sobre cómo conducir mejor una investigación. Parece que. para enseñar a los estudiantes el funcionamiento de la economía. es cada vez menos relevante y se demuestra menos creíble (Ormerod. Anuario multidisciplinar para la modernización de las Administraciones Públicas EVALUACIÓN DE POLÍTICAS PÚBLICAS 2 EL CAMBIO DE PARADIGMA: DE LA CONFRONTACIÓN A LA COMPLEMENTARIEDAD Como se ha esbozado en el epígrafe anterior. especialmente en las ciencias económicas. al constructivismo. un cambio de enfoque. se puede establecer una correlación entre el cambio de paradigma en las ciencias sociales y la evolución de los enfoques seguidos en evaluación en la que ha influido el perfeccionamiento de las técnicas de investigación social y su empleo en el estudio de los problemas sociales. Esa es su principal ventaja.NUEVAS POLÍTICAS PÚBLICAS. perspectiva que como afirma Ormerod. en consonancia con lo acontecido en el campo de las ciencias sociales. Las diferentes aproximaciones realizadas en el campo de la evaluación han sido asimiladas por la mayoría de los teóricos como cambio de paradigma en el sentido Kunhiano. (Ormerod. orientando las acciones en la práctica sin necesidad de plantear cuestiones epistemológicas esenciales. y el constructivista basado en la indagación fenomenológica. lo que ha afectado al contenido de la evaluación. y también su principal inconveniente. en la teoría de evaluación podemos encontrarnos con dos grandes paradigmas: el positivista o hipotético deductivo. el mundo se ve como una máquina. quedando escondida por las asunciones del paradigma (Patton. a sus fines y a los métodos y técnicas. 1995: 55-56). Un sistema se entiende desde este enfoque como la suma de las partes que lo integran. (Patton. una manera diferente de entender la realidad y de plantear la evaluación13. 1995: 21)14. pues hace posible la práctica. algunos de los esfuerzos por configurar a la evaluación como una disciplina seria e independiente han basado sus argumentos contra esta premisa. desde finales del siglo XIX. De hecho. como pensamiento científico dominante. para así equipararlas en status y prestigio a las ciencias físicas. todo ello desde una perspectiva mecanicista del mundo. usando apro- ximaciones cualitativas para entender de manera inductiva y holística el comportamiento humano (la realidad) en un contexto específico. los evaluadores han intentando aumentar la precisión matemática de sus evaluaciones equiparándolas a investigaciones. y el constructivista o hipotético inductivo. Es decir. ESTUDIOS 152 . paradigma predominante en las ciencias sociales durante los años 50 y 60. es decir. desde los orígenes de la evaluación hasta la actualidad se ha producido un cambio de enfoque que. una manera de descomponer la complejidad del mundo real. lo que ha generado un desarrollo de la teoría de la evaluación producto de aproximaciones realizadas desde distintas ópticas con distintos objetivos. se ha caracterizado por el paso del positivismo. impregnados del mismo deseo de los economistas. cómo. enfrentando fundamentalmente dos paradigmas: el positivista. son constructos teóricos que determinan que lo que es legítimo. Por una nueva economía. En definitiva. 1990: 37). al igual que en las ciencias sociales. Así. aunque complicada. guardada en la London School of Economics.

los datos pongan de manifiesto que la teoría más apropiada es justamente la contraria a la de partida. muy diferente a un proceso de desarrollo continuado acumulativo como los inductistas pensaban. Estas anomalías o bien se obvian durante un determinado período de tiempo o bien se tratan mediante el uso de hipótesis ad-hoc. al que Kunh denomina revolución científica. Este es el proceso iterativo de prueba y error. 16 Así.EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO Carmen Vélez Méndez tivas basadas en un modelo racional de consecución de los objetivos de los planes y políticas públicos. Si el conocimiento que se produce no se corresponde con la realidad. para Kunh la historia de la ciencia está señalada por una serie de discontinuidades importantes. en el que la investigación se lleva a cabo de acuerdo con el modelo elaborado. por lo que es necesario despreciar las variables del contexto para aislar las que pueden interferir en el análisis de las causas y efectos que quieren demostrarse y no minar el objeto de estudio. se puede recurrir a un nuevo estudio. El positivista utiliza la metodología convencional basada en el descubrimiento y la verificación. Por otra parte. en centrar el estudio sólo en las variables que pueden refutar o validar una teoría de partida. puede ocurrir que. logrando aumentar la validez interna de la investigación. actuando para ello de la manera más neutral posible presuponiendo con ello lograr una mayor objetividad. la investigación se debe llevar a cabo bajo condiciones controladas. desde el paradigma positivista. que en el caso de la evaluación sería la teoría del programa. que hace cuestionar las técnicas básicas usadas y las suposiciones más fundamentales de toda la estructura teórica del paradigma. los positivistas son defensores de aplicar el método deductivo para conocer las leyes de causaefecto que se dan en la realidad. ESTUDIOS 153 . parte de una primera fase en la que emergen las hipótesis. Esta crisis se resuelve con la adopción de una nueva teoría o paradigma hasta que se alcance uno que pueda generalizarse. limitando las posibilidades de generalización de los resultados. que da lugar a una nueva teoría16. otra de las premisas del paradigma positivista es la necesaria objetividad de la investigación. es decir. 15 Se presume que el paradigma adoptado es correcto y apropiado. para. durante lo que Kunh denomina período de ciencia normal. si los resultados refutan las hipótesis de partida. por lo que las interferencias entre el evaluador y el evaluado deben ser mínimas. aislando las variables que pueden interferir en la verificación empírica de las hipótesis de partida para alcanzar así una teoría generalizable. En definitiva. que debe llevarse a cabo libre de valores. donde se establece la teoría que luego será probada (corroborada o refutada) a través de la observación. Pero cuado existe un número suficiente de anomalías se da lo que se conoce con el nombre de “crisis de paradigma” en el sentido Kunhiano. a partir de la deducción. Esta relación inversa entre validez interna y externa suele ser común en la aplicación del paradigma positivista. y así sucesivamente hasta que la teoría se parezca a la realidad. que aporta reglas apropiadas para la resolución de la investigación con éxito. La función general de un científico durante el período de ciencia normal se convierte en “resolución de rompecabezas”. 1985). formular leyes de causa-efecto de aplicación generalizada. etapa más creativa del proceso. (Blaug. utilizando para ello diferentes métodos (fundamentalmente estadísticos). es decir. Este estado lleva a progresos rápidos en la investigación. lo que podría interpretarse como resultados anómalos o inesperados15. aseguradas por la propia potencia del paradigma. Así. Por una parte. Con ello se crean condiciones similares a las de un laboratorio. y las partes de la naturaleza que no encajan satisfactoriamente son simplemente ignoradas. así los problemas se convierten en rompecabezas debido a que poseen soluciones garantizadas. esto es. pero a costa de la validez externa. Los resultados obtenidos pueden ser más o menos anticipados. Es aquí donde radica una de las principales limitaciones del método.

en cuyo sitio web reconocen que para realizar un meta-análisis se requiere la aplicación de los mismos estándares de rigor científico demandados en el desarrollo de estudios de investigación empíricos. EL PARADIGMA ALTERNATIVO: CONSTRUCTIVISTA El fracaso en los procedimientos racionalistas o positivistas. nuevos requerimientos que estaban relacionados con la mejora de los programas durante su ejecución. En esta generación se toma como punto de partida las preocupaciones. que consideraban la política como una ciencia. Esta desconfianza en la utilidad de las evaluaciones realizadas desde el prisma del positivismo dio lugar. a la aparición de nuevos enfoques evaluativos más centrados en los procesos y en el fomento de la participación en la evaluación de los implicados en las políticas (los stakeholders. por tanto. Son organizaciones internacionales independientes.es/facpsi/metaanalysis).um. Anuario multidisciplinar para la modernización de las Administraciones Públicas EVALUACIÓN DE POLÍTICAS PÚBLICAS La aplicación de este paradigma en evaluación parte de la base de considerar la política pública como objeto de investigación social. Identifican la calidad de las evaluaciones con la aplicación de técnicas cuantitativas. De hecho. defensora de un modelo científico-neutral. reconociéndose la pluralidad de valores e intereses coexistentes en la sociedad y su relevancia en la determinación de los propósitos de la evaluación. esta postura positivista. En España uno de los grupos más activos en este campo es el de Meta-análisis de la Universidad de Murcia (www. según la terminología anglosajona). al paralelismo realizado por algunos autores entre evaluación naturalista y evaluación cualitativa. entre otras razones. en el marco de lo que se ha venido a denominar un nuevo paradigma en evaluación. Para los que defienden la utilización de los métodos experimentales en evaluación. es más propia de la investigación que de la evaluación. crimen y justicia la segunda. entre otros. Se parte del convencimiento de que sólo mediante el uso de este método científico se pueden obtener evidencias que permitian resolver los problemas sociales y mejorar los programas. que entienden que el concepto de evalua- ESTUDIOS 154 . dedicadas al análisis de los efectos de las políticas sociales. que puede ser sometido a un proceso de experimentación continua (Díez. al que denominaron en primera instancia naturalista. sin ánimo de lucro. en el campo de la sanidad la primera (cuyo nombre hace alusión al epidemiólogo inglés Archie Cochrane) y en el campo de la educación. los evaluadores no son más que investigadores que deben aplicar un método riguroso a un problema práctico. Sin embargo.org) y la Campbell Collaboration (www. Campbell y Stanley.campbellcollaboration. por defender la realización de las evaluaciones en un entorno natural. fundamentalmente los que participaron en el libro Naturalistic Evaluation editado por Fetterman.NUEVAS POLÍTICAS PÚBLICAS. así como el uso de métodos estadísticos especiales. Entre los defensores de estos métodos se encuentran. en el que no hay cabida para la manipulación. bienestar social. ésta es la única forma de ofrecer evidencias fundadas sobre lo que está ocurriendo con un programa.org). Suchman. la evaluación sensible y constructivista. cuestiones y opiniones de los diferentes actores que pueden verse afectados por la evaluación. para ofrecer resultados evaluativos útiles a los responsables políticos hace que empiece a perderse confianza en la ciencia para solucionar los problemas sociales. Empezaron a surgir “nuevas demandas” de evaluación.cochrane. aludiendo. algunos autores han identificado la utilización del método científico experimental como una de las claves en la diferencia entre evaluación e investigación evaluativa. 2001: 118. 123 y ss. Fueron estos autores los que empezaron a hablar de este nuevo paradigma en evaluación. donde los parámetros de referencia para la emisión de juicios de valor deben ser determinados a través de un procedimiento de diálogo con todos los implicados en un programa o política.). Entre ellas la Cochrane Collaboration (www. aunque pasaron a llamarlo constructivista. En la actualidad son varias las asociaciones que defienden esta postura. Surge entonces lo que Guba y Lincoln denominan evaluación de cuarta generación.

Por ello. Esta dialéctica hermenéutica parte de un proceso cíclico de interacción entre los diferentes implicados en una evaluación. técnicas y herramientas a utilizar. se plasman en un informe de caso. entre el evaluador y la realidad. analizando la política desde un posicionamiento sistémico. los resultados de la evaluación. En la base de este nuevo paradigma se encuentra la importancia de reconocer qué es lo que los participantes en un programa o política consideran relevante. paradigma que asume que la realidad no puede ser totalmente comprendida. el paradigma constructivista se basa en el reconocimiento de las realidades sociales y del comporta- miento como construcciones mentales que pueden ser discutidas. Además. reformuladas y priorizadas. la aplicación del paradigma constructivista posibilita el examen de la realidad considerada desde diversas perspectivas. 17 Bustelo señala las diferencias entre este paradigma y el postpositivista. puesto que el contexto influye en el evaluando así como el evaluando influye en el contexto. cuando se aplica este paradigma la muestra de observaciones a realizar no se elige exclusivamente por su representatividad a efectos estadísticos. que considera que existe una única realidad. verdaderos protagonistas de la realidad. puesto que consideran que centrar la discusión en estos elementos es perder el reto real que supone el nuevo paradigma. 2003: 27). donde las conclusiones y recomendaciones emergen de los agentes clave. sino lo que es más importante. objetiva. no son sólo las conclusiones del evaluador o evaluadora. es decir. Frente a la postura convencional. ESTUDIOS 155 . ni de unas hipótesis de partida o preguntas predeterminadas. de diferentes constructos mentales. Además. hasta que se llega a un acuerdo. Los constructivistas no parten de una teoría preestablecida. Así. defienden su formulación contando con los implicados en el programa. que parte de sus propias asunciones (Guba y Lincoln 1989: 173). (Guba y Lincoln. la teoría y el descubrimiento. el constructivismo no es simplemente una reacción al paradigma positivista. que opera de acuerdo a leyes predeterminadas de causa-efecto. usando lo que Guba y Lincoln llaman dialéctica hermenéutica para interpretar los hechos desde la perspectiva de los actores. 1989: 178 y ss. enfatizando los enfoques cualitativos. sino una multiplicidad de causas y efectos. y no sólo de carácter metodológico. que no existe una única ley de causa-efecto. Por ello. y la necesidad de fomentar el intercambio de opiniones.). Sin embargo. de grupos de interés. no es una postura reactiva sino preactiva. siendo la diferencia fundamental la preocupación por analizar los procesos de aplicación de las políticas públicas y no exclusivamente sus resultados 17. según este paradigma. Desde el punto de vista epistemológico el nuevo paradigma ofrece una forma diferente de relación entre el conocedor y el conocimiento. Guba y Lincoln diferencian el debate entre paradigmas y entre métodos. Para Guba y Linconln. con lo que para aprehenderla es necesario conocer las diferentes visiones que de ella se tiene. entre los diferentes constructos. buscando el consenso para construir sistemáticamente el análisis de los datos. (Bustelo. valores y experiencias entre ellos a través de la utilización de métodos participativos. asunciones diferentes epistemológicas y ontológicas. negociadas. muchos investigadores siguen empleando el término naturalista para hacer referencia a las corrientes pluralistas-cualitativistas.EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO Carmen Vélez Méndez ción naturalista es un término genérico que engloba distintos tipos de evaluaciones cualitativas. para los defensores de este paradigma el análisis del contexto en el que se forman los constructos mentales es fundamental. puestas en común. Frente a la postura positivista. sino buscando un amplio alcance de fuentes de información. Desde el punto de vista ontológico supone una manera diferente de entender la realidad. el paradigma constructivista parte de la existencia de múltiples realidades no gobernadas por leyes causales predeterminadas. frente al paradigma positivista donde son entidades independientes (Guba y Lincoln 1989: 83-90). 2001). La información a recopilar se va perfilando en un proceso continuo. Por el contrario. en definitiva. y que es crítico con el experimentalismo. (García.

son procesos inseparables. desafortunadamente. los hábitos y las cos- 18 Guba y Lincoln utilizan el ejemplo del martillo. el grado en que las categorías predeterminadas o variables son usadas para descubrir el fenómeno estudiado. es decir. los paradigmas hacen referencia a la forma de entender el mundo y no a las técnicas usadas. Frente al positivismo. la elección de un paradigma u otro no está relacionado con los datos e informaciones a recabar. herramienta que puede ser usada por un fontanero. un tipo de conocimiento que es despreciado por los positivistas por su subjetividad. aunque lo cierto es que la elección de técnicas cualitativas parece más adecuada para la exploración. se entiende que los programas públicos pueden y deben. El método experimental. ESTUDIOS 156 . podemos resumir las principales diferencias entre ambos paradigmas en los siguientes elementos: En el paradigma positivista el descubrimiento y la verificación son procesos separados. el contrustivista parte de la base de constructos mentales que pueden ser discutidos y negociados. En palabras de Guba y Lincoln “los positivistas empiezan sabiendo lo que no saben frente a los constructivistas que enfrentan la evaluación obviando lo que saben” (Guba y Lincoln. por el contrario. Anuario multidisciplinar para la modernización de las Administraciones Públicas EVALUACIÓN DE POLÍTICAS PÚBLICAS Este paradigma es más acorde con la evaluación. Ahora bien. el descubrimiento y la utilización de la lógica inductiva (pues se parte de la observación de un fenómeno específico a la construcción de tendencias generales) que las técnicas cuantitativas. uno se centra en la formulación de la teoría.NUEVAS POLÍTICAS PÚBLICAS. propio del paradigma positivista. la diferencia radica en el objetivo para el que se utilizan y la forma de usarlas. y así poder valorar la inferencia causal de una acción. con lo que no se trabaja con la finalidad de verificar las proposiciones iniciales. En el paradigma constructivista no se restringe los resultados de la investigación a lo que debe ser y no se obvia la influencia de factores externos donde sólo un conjunto limitado de variables son mensurables. sinérgicos (Guba y Lincoln. Por tanto. Los constructivistas parten sin explicitar a priori ninguna formulación teórica. de modo que no puede enjuiciarse la profesión de una persona sólo por utilizar un martillo. 1989: 175). 1989: 166). es decir. Se trata de conocimiento tácito. El paradigma constructivista es más adecuado para capturar procesos y explorar las diferencias individuales y los efectos sobre variables externas. al contrario que el método hipotético deductivo. El método inductivo. el paradigma constructivista minimiza el nivel de manipulación del fenómeno para su análisis y reduce el nivel de restricción sobre la medición del resultado. En el paradigma constructivista. El positivismo trata de interpretar los datos sin más. cambiar en función de la evolución de la complejidad de la realidad en la que el programa actúa y pretende modificar. aunque hay una tendencia natural a elegir datos cuantitativos en el paradigma positivista frente a información de carácter cualitativo en el paradigma alternativo. que no se explicita. como realidades. La aplicación de una u otra técnica no implica la adopción de un determinado paradigma. el otro en la observación. Por otra parte. Las mismas técnicas pueden ser usadas por positivistas y constructivistas. la diferencia entre paradigmas no radica en la metodología. con lo que no puede encuadrase a un evaluador en un determinado paradigma sólo por las técnicas que utiliza18. no hay que obviar que uno de los motivos de peso en la elección de métodos y técnicas suele ser. puesto que la concibe como un proceso dinámico que parte de la posibilidad de que exista un cambio de dirección en los programas. no necesita del establecimiento predeterminado de las variables principales ni de la definición de hipótesis previas a la recolección de datos. es más adecuado para valorar los efectos causales de un programa en sus beneficiarios. carpintero o electricista. En cualquier caso. A modo de corolario.

Por esta razón. el evaluador aplica perspectivas y procedimientos de distintos marcos paradigmáticos. en la concienciación de la importancia de las opiniones de los actores clave implicados en las políticas y programas para emitir juicios de valor sobre lo evaluado. Es la formación. 3 EVOLUCIÓN DEL DISEÑO DE LAS EVALUACIONES Este cambio de paradigma en evaluación ha dado lugar. este autor prefiere hablar del paradigma de la elección. por comodidad. Cambio de paradigma en la evaluación Evaluación sumativa Centrada en objetivos explícitos Evaluación ajena al proceso político (ajena a los valores) Los implicados como agentes informantes Evaluación formativa Libre de objetivos Evaluación inmersa en el proceso político (no es ajena a los valores) Los implicados como protagonistas: evaluación participativa Evaluaciones parciales Evaluaciones integrales y holísticas ESTUDIOS 157 . más que la experiencia. la rutina y la ceguera paradigmática constriñen la flexibilidad metodológica y la creatividad del evaluador. haciendo referencia a la selección de los métodos más adecuados en cada evaluación (Patton. Figura 2. o aquellas que más estatus científico pueden aportar (sobre todo aquellos más preocupados por su carrera académica que por la mejora de la acción de los poderes públicos). como no podía ser de otra manera. sino que coexisten como opciones teóricas. y al igual que ocurre en otros campos de las ciencias sociales. Algunos evaluadores tienden a elegir. y en la tendencia hacia la realización de evaluaciones integrales. en el predominio de la evaluación centrada en objetivos a una libre de objetivos.EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO Carmen Vélez Méndez tumbres. (García García. 2003: 303 y ss). a una evolución en el diseño de las evaluaciones (esquematizado en la Figura 2). independientemente de su adecuación al contexto evaluativo. en vez de evaluaciones parciales de un programa. que se ha concretado en el paso de la función sumativa a la búsqueda de una finalidad formativa en el desarrollo de las evaluaciones. No podemos afirmar que el constructivismo haya superado definitivamente al positivismo como paradigma predominante en evaluación. Como apunta Patton. 1990: 38). las técnicas que saben usar. Para ello se utiliza criterios y cuestiones de evaluación que amplían la visión tradicional del control de resultados. la ausencia de un re- ferente único ha desembocado en una pluralidad metodológica. Este autor defiende la adecuación metodológica al contexto y situación evaluativo frente a la ortodoxia como primer criterio para valorar la calidad metodológica de una evaluación y aboga por el diseño de diferentes estrategias de evaluación más que por la elección entre diversos paradigmas evaluativos. Así. en la práctica. 1990: 39). de la indiferencia de los elementos del contexto político a la inclusión de los valores y de los elementos institucionales como factores clave en el diseño y desarrollo evaluativo. el factor que más influye en las posturas a favor o en contra de determinadas aproximaciones (Patton. con una visión holística de la política.

Otros enfoques acordes con esta visión participativa de la evaluación. Anuario multidisciplinar para la modernización de las Administraciones Públicas EVALUACIÓN DE POLÍTICAS PÚBLICAS Si bien las primeras evaluaciones respondían a una motivación reglamentaria. fomenta la utilización de la evaluación por las instituciones. Así. Porque forma a los implicados. donde los implicados pasan de ser agentes informantes a protagonistas de la evaluación. Porque este enfoque fomenta y facilita la democracia. en el sentido de no contar con otros actores clave relacionados con el evaluando y que deben ser considerados en evaluación. Otro de los defensores de la aplicación de este tipo de enfoques es Cronbach. (Vélez. Se trata de una evaluación participativa limitada. propósitos y cuestiones distintas para la evaluación. 2000). Kaftarian y Wandersman. que aprenden del programa y de los procesos de evaluación: aumentando las capacidades institucionales y fomentando la apropiación del proceso de evaluación y sus resultados. Y ello por varios motivos: Porque los programas se ejecutan en un contexto donde existen múltiples grupos de interés con demandas de información diferentes y. contribuyendo de este modo a mejorar la elaboración de estrategias regionales de desarrollo. en coherencia con esta función sumativa de la evaluación. donde sus conclusiones y recomendaciones sirven de base para planificaciones futuras. Porque confiere legitimidad y abre el proceso de elaboración de políticas públicas. quien propugnaba la necesidad de trabajar conjuntamente con los responsables del diseño. Así.NUEVAS POLÍTICAS PÚBLICAS. la tendencia en la realización de evaluaciones ha sido la de priorizar la utilización de enfoques participativos. Entre ellos. 1995). sentando las bases para la cooperación y el consenso sobre el programa y sobre lo que debe ser evaluado. Según algunos autores. por tanto. sino por su efecto de retroalimentación en el proceso de elaboración de políticas públicas. 1997). promovida por los financiadores de los programas. (1996) proponen un modelo de “autoevaluación” donde el evaluador actúa como árbitro o facilitador y donde juegan un importante papel los profesionales de base de los programas y políticas (los técnicos de nivel medio): la evaluación queda así en manos del personal del programa. Fetterman. que no la perciben como un simple control final de resultados sino como un proceso más completo de análisis de una realidad más compleja que pretende ayudarles a ser mejores (Patton. la evaluación no sólo es importante por la información que suministra a todos aquellos interesados en conocer los resultados de la política. utilizando la información para generar conocimiento que sirva al equipo técnico encargado de gestionar e implantar los programas y políticas para mejorar el proceso de toma de decisiones. son evaluaciones para el empoderamiento. La evaluación formativa tiene por objetivo proporcionar información para mejorar el objeto evaluado y se suele realizar antes de poner en marcha el programa o durante su desarrollo. encuadrados bajo la denominación de evaluaciones pluralistas han perseguido conseguir una mayor participación. como en el caso de España. Ello ha provocado que la función de la evaluación haya basculado desde la vertiente sumativa a la formativa. gestión y ejecución de los programas. Se busca con la evaluación permitir a los responsables de la puesta en marcha de las actuaciones públicas incorporar las lecciones de la experiencia en su quehacer diario. fomentando así los procesos de gobernanza. se viene observando en los últimos años un cambio de tendencia hacia la demanda de evaluaciones por motivaciones más relacionadas con el aprendizaje que con la rendición de cuentas a instancia de parte. Es una evaluación orientada hacia el aprendizaje institucional. reducir el poder de negociación de los que encargan la evaluación (Monnier. en muchos países. Además. La primera tiene como objetivo fundamental ofrecer conclusiones sobre la oportunidad de continuar o suspender un programa y se suele llevar a cabo una éste ha concluido. Tienen ESTUDIOS 158 .

que pueda producirse. deben ser considerados en el trabajo de evaluación (Weiss.EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO Carmen Vélez Méndez en común el reconocimiento de una pluralidad del sistema de valores en la sociedad y defienden que la utilidad de la evaluación radica en la credibilidad y legitimidad política del proceso de evaluación por parte de los actores críticos más que en la metodología y rigor técnico (legitimidad científico-técnica). Esta investigadora habla de las “teorías de cambio” de un programa. por la tendencia actual a diseñar y aplicar programas complejos cuya evaluación sólo puede llevarse a cabo utilizando un marco teórico de referencia acorde con la perspectiva sistémica de la realidad. Varias son las razones que argumentan la mayoría de los evalua- ESTUDIOS 159 . 1998). Este cambio de postura. y que. Se asume que la evaluación está inmersa en el proceso político. como ya mencionaba Weiss a principios de la década de los 70. Además. la cuestión está en no dejar de lado ningún efecto. Ello no implica que los objetivos marcados en las políticas o planes dejen de importar. Sin embargo. cuando lo están. al considerar la dimensión dinámica de los programas. de la evaluación centrada en objetivos (como postulaba Tyler) a la evaluación libre de objetivos (como defendía Scriven. Este modelo parte de la existencia de objetivos claros y medibles en la política o programa a evaluar. Este posicionamiento amplía la utilidad de la evaluación. son ciertas. La evaluación siguiendo la teoría de valorar la implementación hace referencia a la forma en que se gestiona y se ponen en marcha las actividades. hace que se defienda el establecimiento más amplio de los parámetros de referencia para la emisión de juicios de valor a través de un proceso de diálogo con todos los implicados en la política y que no se centre la evaluación exclusivamente en los objetivos predefinidos. siguiendo un enfoque tyleriano. ha sido desde siempre la hipótesis de partida del trabajo de evaluación. inducido. Y ello porque no siempre las hipótesis de causa efecto explicitadas en los programas. que proponía tomar como referencia para la evaluación las necesidades fundamentales detectadas) pero basada en la teoría de la política o del programa. Evidenciamos así un cambio de enfoque. que no es ajena a los valores. Este tipo de evaluación se asocia normalmente con el enfoque hipotético-deductivo. Como se ha comentado anteriormente. bien a la luz del diagnóstico realizado (pertinencia en el diseño). Todo lo contrario. La teoría del programa hace referencia a las hipótesis que median entre la realización de una actividad y la aparición de los resultados. Otro cambio en la postura evaluativa viene del lado del reconocimiento de la importancia del contexto sociopolítico en el que se desarrolla la evaluación. no deseado o no previsto. bien en coherencia con los cambios que la realidad haya ex- perimentado (pertinencia en la ejecución). planes y programas. la inexistencia de objetivos cuantificados e incluso cuantificables y la deficiente formulación de las intervenciones a realizar hace que deban buscarse otros elementos de referencia para la evaluación. 1997). unido a la necesidad de analizar no sólo los efectos previstos y mencionados. no cabe duda de que los objetivos iniciales pueden cuestionarse. la contrastación del cumplimiento de los objetivos explícitos. colateral. junto con las limitaciones en la formulación y diseño de las políticas. Es una evaluación basada en el proceso. la escasa calidad en la definición de los objetivos de las intervenciones públicas. La aplicación de este enfoque no centrado en objetivos y basado en la teoría del programa ha venido impulsado. objetivos de referencia que permitirán concretar y delimitar los cambios buscados. siendo su conocimiento lo que orienta la elección de las variables dependientes de análisis y los criterios a utilizar. además. Como subraya Vedung. los objetivos de un programa no son los únicos criterios de valor permisibles en una evaluación (Vedung. y en considerar todas las necesidades de información de los implicados en las políticas. Así es. Se trata de evaluar las relaciones causaefecto establecidas previamente en el diseño del programa. teorías que incluyen la “teoría del programa” y la “teoría de la implementación”. que no sólo está afectada por ellos sino que puede modificarlos. hace que los parámetros de referencia para la evaluación cambien. consecuentemente.

los rasgos del contexto político en el que surgen y los procedimientos. La evaluación constituye una actividad política.NUEVAS POLÍTICAS PÚBLICAS. (Vedung. como afirma Vedung. las estructuras y los actores que conforman este contexto inciden en su realización. La necesidad de valorar aspectos como el grado de satisfacción de la población objetivo y el cambio de las expectativas e identificar cómo los participantes en un plan (gestores. Bustelo. Las evaluaciones se realizan con el propósito de informar y. los resultados de las evaluaciones se utilizan en ocasiones de manera instrumental para fines políticos.) y. posibilita la agregación y tratamiento estadístico. empresas. 19 La ventaja de la evaluación de carácter cuantitativo es que permite medir reacciones o cuestiones en un grupo de variables (individuos. Este tipo de evaluación se asocia normalmente con la evaluación libre de objetivos puesto que no parte de hipótesis de causalidad preconcebidas. 2003: 27 y ss. la evaluación cualitativa tiene la ventaja de producir una mayor riqueza de detalles sobre los grupos o variables. por tanto. ESTUDIOS 160 . etc. La evaluación debe adaptarse a cada contexto. Anuario multidisciplinar para la modernización de las Administraciones Públicas EVALUACIÓN DE POLÍTICAS PÚBLICAS dores para afirmar la naturaleza política de la evaluación (García. 1997). Forman parte de un mosaico donde cada pieza juega un papel en los resultados finales de un proceso sociopolítico más amplio y complejo. Todo ello. combinando técnicas cualitativas y cuantitativas. aunque sea de difícil agregación y estandarización. CAMBIO EN LAS METODOLOGÍAS Y TÉCNICAS APLICADAS Este cambio de paradigma y la evolución en el diseño de evaluaciones se ha traducido en un cambio en las metodologías y técnicas empleadas. unido a la importancia concedida a la evaluación conjunta de las políticas y no a los efectos aislados de sus componentes (enfoque sistémico de la evaluación). influir. a cada situación. para lo que se necesita la aplicación de una metodología pluralista. en el proceso de toma de decisiones políticas. se ha pasado a la selección de técnicas propias de enfoques inductivos. Por su parte. fundamentalmente basadas en la utilización del método experimental para determinar las principales hipótesis específicas de comportamiento antes de iniciar la recogida de datos. Porque la evaluación debe abarcar todos los elementos relevantes del programa. La dinámica. además. puesto que en que en ella se ven involucrados intereses políticos contrapuestos. por tanto. si quiere fomentarse su utilidad. administradores. hace que se demande la aplicación de un enfoque holística e integral: Porque los programas no se diseñan ni ejecutan de forma aislada. En la evaluación deben considerarse. 2001): Las evaluaciones tienen como objeto de estudio políticas y programas públicos. principalmente técnicas cualitativas de análisis orientados a explorar y descubrir la lógica de las relaciones causales partiendo de lo concreto para derivar en comportamientos generales. Porque la evaluación no debe considerarse la última parte del proceso de formación y ejecución de programas de intervención pública. población beneficiaria y responsables últimos de su ejecución) toman sus decisiones. ha provocado que la metodología de evaluación haya evolucionado hacia un concepto más amplio en el que los aspectos cualitativos cobran cada vez mayor relevancia y las técnicas cuantitativas tienden a integrarse como un elemento más del proceso evaluador19. gestión y ejecución. las especificidades del contexto político en el que se desarrolla la intervención a evaluar y las características de las instituciones y agentes implicados en su diseño. De la utilización de técnicas acordes al enfoque deductivo cuyo fundamento está en el empleo de técnicas cuantitativas. Además.

A través de la inducción se identifican las cuestiones y variables a estudiar y luego se contrastan los resultados de forma deductiva. aunque son útiles para extraer indicios e identificar las tendencias y su dirección. para analizar las relaciones de causalidad y determinar el impacto de cada medida específica a través de la información recogida de los participantes y beneficiarios del proyecto. Bottom-Up U Proporcionar indicios sobre las relaciones causa-efecto.EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO Carmen Vélez Méndez Sin embargo. pero no se Analizar el impacto global (pero no identifica la contribución de cada acción concreta). la calidad de la evaluación de impacto no depende tanto del uso de un método en particular como de la utilidad de la información generada. El análisis top-down consiste básicamente en estimar qué hubiera ocurrido si el plan nunca se hubiera aplicado. Por todo ello el enfoque de evaluación que proponemos se caracteriza por ser: ESTUDIOS 161 . De ahí que aboguemos por una pluralidad metodológica que se adapte a la realidad objeto de evaluación y donde los elementos del contexto jueguen un papel fundamental en la elección de los métodos. y. Analizar el valor añadido neto usando información de los Comparar los resultados con aquellos que se habrían producido en caso de no aplicarse el programa. no existe un método de evaluación de impactos único y como los planes no son iguales. con estudios “de abajo-arriba” (bottom-up). beneficiarios/as (adicionalidad y efectos indirectos). Top-Down D Medir la diferencia entre la situación de partida y la final tras la aplicación del programa. Todos estos condicionantes hacen que ningún método proporcione por sí sólo una explicación suficiente de los impactos. El impacto neto del plan se define como la diferencia entre las circunstancias reales (resultado fáctico) y la estimación de las que hubiesen sido de no haber habido proyecto (resultado contrafáctico o contrafactual). En este sentido. En este sentido. la determinación del momento de la evaluación. la dicotomía cuantitativista frente a cualitativistas se ha limado. Así. la disponibilidad de información. la aproximación metodológica más apropiada combina el enfoque de arriba a abajo (topdown). La elección de la técnica más apropiada al objeto de evaluación está siempre condiciona por factores metodológicos comunes tales como la necesidad de clasificar y cuantificar los objetivos. que posibilita evaluar el impacto total y efecto neto de la intervención. en la práctica evaluativa suelen combinarse ambos enfoques. Identificar la contribución de la cada acción. analizan los impactos más globales del programa. cada evaluación es distinta. Como vemos. El alcance de la evaluación puede ir desde la descripción de los impactos hasta la búsqueda empírica de una causalidad entre acciones e impactos. y hoy no cabe duda de que la utilización de varias técnicas que permitan triangular la información recopilada y mejorar el análisis e interpretación de los datos es la mejor alternativa.

debido. generalmente variables e inestables. ejecución en áreas geográficas dispersas y dispares en las que la variable cultural se convierte en un factor crítico. “El desarrollo como proceso abierto al aprendizaje”. y organizaciones no gubernamentales y destinatarios civiles e institucionales) y su aplicación a una gran diversidad 20 Las ideas recogidas en este epígrafe se han extraído fundamentalmente. una de las características más relevantes de la estructura de relaciones internacionales 4 EL CAMBIO DE PARADIGMA EN LA EVALUACIÓN DE LA POLÍTICA DE COOPERACIÓN PARA EL DESARROLLO20 La política de cooperación para el desarrollo. Anuario multidisciplinar para la modernización de las Administraciones Públicas EVALUACIÓN DE POLÍTICAS PÚBLICAS Integral. Entre ellos los diferentes niveles de planificación (política de cooperación. donde la evaluación contempla todas las etapas del diseño de políticas y programas públicos. estrategias sectoriales y geográficas. de difícil acceso y con problemáticas multidimensionales. publicado en The european journal of development research. como se comentará en el apartado siguiente. donde se asume. educación. de contextos. Pluralista y participativa. pueden ser contradictorios entre sí o con los programas de otros donantes que operan en el mismo ámbito con otros criterios. Orientado a la utilización de los resultados del proceso de evaluación. proyecto en el que he trabajado en el marco de un Convenio firmado entre la Dirección General de Planificación y Evaluación del Ministerio de Asuntos Exteriores y el Instituto de Desarrollo Regional. las diferentes áreas temáticas y sectores afectados (como. la multiplicidad de agentes implicados (administraciones públicas de los países donantes y de los países receptores. defensa y seguridad. cuyos sistemas políticos son cada vez más pluralistas y descentralizados. Miriam Arredondo y Adán Ruiz (de la DG POLDE). aprobada en 1998. presenta elementos que la configuran como una realidad compleja y que deben ser tenidos en cuenta al considerar su evaluación. además de afectar a múltiples políticas y marcos superiores de programación. y de los países donantes. actuaciones con objetivos de naturaleza diversa que. en su artículo 4. y en las conclusiones sobre las particularidades del sistema de ayuda que condicionan su evaluación alcanzadas en la mesa de expertos celebrada en Madrid el 20 de abril de 2006 para orientar la revisión de la Metodología de Evaluación de la Cooperación Española. desarrollo económico en sentido amplio. al igual que otras políticas y programas. Entre ellas. Esta búsqueda de complementariedad queda recogida en la Ley de Cooperación Internacional para el Desarrollo. Analítico y formativo. Belén Sanz. igualdad de género. Juan Murciano y Juan Carlos Sanz (Universidad de Sevilla e Instituto de Desarrollo Regional) y José Antonio González. a sus particularidades y a las exigencias marcadas desde los organismos internacionales. y gestión de las actuaciones compartida por un amplio y heterogéneo grupo de entidades locales. cultura. Esta compleja realidad sobre la que incide la política de desarrollo encuentra también otras particularidades: colectivos destinatarios en situaciones de extrema pobreza. las políticas nacionales de los propios países en vías de desarrollo y las políticas exteriores de los países donantes o de organismos internacionales. Por otra parte. por ejemplo. planes operativos y proyectos de cooperación. sanidad y medio ambiente). ESTUDIOS 162 . Estos nuevos enfoques son totalmente pertinentes para la evaluación de la política de cooperación para el desarrollo. del artículo de José Antonio Alonso. En este proyecto también han trabajado José Luis Ouna. la necesidad de promover la máxima coherencia entre la política de ayuda y el resto de políticas públicas con incidencia sobre los países en vías de desarrollo.NUEVAS POLÍTICAS PÚBLICAS. entre otros). Fundación Universitaria. con las que se debe buscar el aprovechamiento de sinergias para evitar que la falta de coherencia de estas políticas con los objetivos de la política de cooperación provoque un saldo global negativo sobre la eficacia del sistema de ayuda. 2004. la eficacia del sistema de ayuda se encuentra condicionada por la confluencia de los efectos de otras políticas públicas sobre la consecución de los objetivos de desarrollo. entre otros. Además.

Como señala el Comité de Ayuda al Desarrollo (CAD). las organizaciones locales y los beneficiarios suelen adoptar un enfoque pragmático basado en cumplir las expectativas de donantes y asegurar la continuidad de la financiación del proyecto. más acorde con el paradigma constructivista y con la denominada. mediante un diálogo abierto entre las autoridades locales y la sociedad civil y con los socios exteriores.puede ser coherente en organizaciones que sólo se preocupan por sí mismas. y que permita valorar su contribución a los procesos de gobernanza y em- ESTUDIOS 163 . instituciones y actores que la conforman. así. la armonización de criterios y la búsqueda de la apropiación de las estrategias como elementos clave para el desarrollo socioeconómico. es cada vez más patente la importancia que cobran la participación de las poblaciones locales en su propio desarrollo y la apropiación de las estrategias de desarrollo para la consecución de los objetivos socioeconómicos. Los esfuerzos de los Estados para el diseño de sus futuras políticas de cooperación. Desde el Sur. En este contexto no parece que sea muy oportuno aplicar un enfoque positivista de evaluación. por las autoras americanas. como apuntábamos en otro artículo. Que haga énfasis en los procesos y no sólo en los resultados. se plantea la necesidad de buscar nuevas reglas para compartir la competencia en la toma de decisiones entre las distintas entidades políticas. sector o colectivo. originada por el hecho de que las decisiones sobre la ayuda se asientan principalmente sobre la libre voluntad de los donantes. Cirera y Murciano. se convierte en una tarea insoslayable. Por el contrario. es la asimetría de la relación entre los países desarrollados y los países receptores. lo que implica que las poblaciones locales participen en el establecimiento de las estrategias de la cooperación. sino como una pieza más del mosaico político. y de sus correspondientes sistemas de evaluación. no concibe a los programas como unidades de programación independientes. El CAD propone la asociación “como el medio más adecuado para abordar los nuevos y complejos problemas de desarrollo”. por el desarrollo y la erradicación de la pobreza.EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO Carmen Vélez Méndez en que se desenvuelve el sistema de ayuda al desarrollo. buscar el equilibrio de la relación. Orientada hacia el aprendizaje y la apropiación (evaluación formativa). y otros por no gozar de la legitimidad para participar en el esquema de cooperación horizontal y exigir la evaluación de la ayuda. Por ello. en esta red algunos actores se caracterizan por tener un estatus privilegiado de poder. ahora. parece mucho más pertinente aplicar un enfoque de evaluación basado en la participación. 2006). Por todo lo anterior. deberán por tanto orientarse hacia la armonización de criterios de intervención. y. entre donantes y receptores. 1999). En consecuencia. “La negación de ciertos efectos no esperados –el impacto en colectivos que no sean el grupo meta. (Osuna. la ayuda precisaba una colaboración con las autoridades centrales. objetivos e instrumentos con el fin de contribuir a la consolidación de un compromiso común. Vélez. la evaluación de las interrelaciones existentes entre las intervenciones de cooperación. pero es cuestionable en proyectos públicos”. (Alonso. (Gasper. de la política exterior en general y de las políticas de desarrollo locales. que afectan a un territorio. (MAE 2000: 66 y ss). Aún más cuando el beneficiario de la política. dadas las características de la política de cooperación al desarrollo y las exigencias y recomendaciones del CAD hacia la asociación. por necesidades de eficiencia. y que la diferencia de otras políticas. que se base en la teoría de los programas y políticas. aún más cuando desde instancias internacionales se propone una estrategia de Asociación entre donantes y receptores como elemento clave para el éxito de la cooperación para el desarrollo. evaluación de cuarta generación que se centre en la aplicación de una aproximación evaluativa: Libre de objetivos. el alineamiento. 2004).

el trabajo en zonas cuya soberanía se encuentra en disputa. ESTUDIOS 164 . sobre todo en situaciones complejas. actividades e insumos. Y ello sobre todo porque “la matriz del EML precisa una trayectoria de más largo plazo. lo que debe producir los resultados esperados. ello facilitará el cumplimiento del objetivo global. citado en Gasper. concluyendo que la escasez de tiempo. en ocasiones implícitos. aunque no sin herramientas complementarias”. donde existe una multiplicidad de agentes con diferentes intereses. la complicada relación entre los objetivos de corto y largo plazo. la comprensión de la realidad de la cooperación al desarrollo debe servir al menos para acotar la realidad objeto de evaluación. Aún así. las condiciones rápidamente cambiantes. la necesaria coordinación con un gran número y variedad de organizaciones diversas. pueden utilizarse “para ayudar a los planificadores a que consideren más cuidadosamente los modelos normativos y positivos de cambio. distinguiendo niveles y jerarquías entre objetivos. donde los objetivos y resultados se traducen en indicadores cuantitativos. Esto ha venido acrecentado por la aplicación de técnicas como la Gestión del Ciclo del Proyecto y el Enfoque del Marco Lógico (EML). la teoría del programa. En la lógica vertical se presupone que si los recursos están disponibles se podrán realizar las actividades programadas. al plantearlos y considerarlos de manera excesivamente simplificada y rígida. 1999). en definitiva. establece las relaciones causales como una secuencia lineal. La lógica horizontal se dedica a la elaboración de indicadores bajo el supuesto de que los fines son claros y las condiciones estables. como instrumento para la evaluación presenta al- 21 Gasper.NUEVAS POLÍTICAS PÚBLICAS. no existe un modelo único y universal que permita evaluar. A largo plazo. Que contemple y se inserte y contemple en el contexto político y cultural de las intervenciones a evaluar. que en situaciones de emergencia compleja no se dan. el documento que recoge el diseño del proyecto. Que de respuestas satisfactorias a cuestiones relacionadas con la interacción de los elementos y estructuras de la red. Es. referente común para la planificación y evaluación de las actuaciones y para la representación de la teoría del programa implícita en un proyecto. relegando a la evaluación de procesos un papel secundario. sobre la base de un conjunto de supuestos sobre las relaciones causales entre los objetivos. gunas limitaciones. y resultados no esperados21. sin riesgos. consenso sobre los objetivos y precisión sobre los efectos”. lo que conlleva a la existencia de objetivos múltiples. un sistema tan complejo. Es la matriz de planificación la base para la evaluación. aplicando para ello una aproximación pluralista y enfoques participativos. A pesar de que el EML fomenta el análisis de las interconexiones y los supuestos. Anuario multidisciplinar para la modernización de las Administraciones Públicas EVALUACIÓN DE POLÍTICAS PÚBLICAS poderamiento de las organizaciones y territorios de los países receptores. los problemas de comunicación y acceso. contribuyendo de este modo al logro del objetivo específico previsto. Como apunta Gasper (1999). la escasez de personal. EN CUESTIÓN En el campo de la cooperación para el desarrollo. Sin embargo. por lo que no puede aplicarse un modelo lineal de predicción del cambio. condiciona su uso en estos casos. reflexiona acerca de la pertinencia de la utilización de las matrices de planificación en la evaluación de la ayuda de emergencia. la ausencia de información fiable. resultados. Si bien la aplicación del EML resulta útil en planificación. lo que posibilita su jerarquización. alejada en ocasiones de la realidad. y él énfasis de la metodología en los resultados esperados. identificando sus principales dimensiones. donde no suelen darse relaciones lineales entre los elementos de LA SUPREMACÍA DEL ENFOQUE DEL MARCO LÓGICO. sobre la base de un trabajo de Gosling y Edwards (1995: 117. la orientación positivista de la evaluación ha sido la tónica dominante.

los socios contrapartes de la organización responsable (socios frontera). quienes exigen su aplicación en las solicitudes de subven- ciones públicas. El EML es útil para representar la teoría del programa bajo el supuesto de que las relaciones causales que se dan se deben a la actuación de un actor o de un conjunto de actores. identifica al menos cinco tipos diferentes de actores que pueden relacionarse con una posición diferente en la cadena lógica representada por el EML: la organización responsable de ejecutar el programa. en detrimento de una reflexión cualitativa sobre los procesos (RodríguezCarmona Velasco. Por otra parte. sobre la base de unas relaciones causa-efecto que no tienen por qué darse en todas las culturas. por su énfasis en el análisis de los procesos y en la reconstrucción de experiencias sea la ESTUDIOS 165 . Davies. tal vez la más interesante. a pesar de todo lo expuesto. al igual que existe una red de actores. Además. sino en el análisis de los problemas. Pese a todas estas limitaciones. y una actividad puede contribuir a la consecución de varios resultados. 1999). Ello ha permitido que las ONG financieras del Norte hayan adquirido un importante rol en la cadena de la ayuda. los actores y factores tan diversos y co-determinantes. 1999). no debe restársele importancia a la aplicación de esta técnica para la creación de una cultura de la planificación en el seno de las agencias de desarrollo. constituye. Sin embargo. “la verdad es tan discutible. De éstas. relegando a un segundo plano aquellos objetivos relacionados con el fortalecimiento institucional de los receptores de la ayuda al desarrollo. el EML es el modelo impuesto por la mayoría de organismos donantes. En la segunda mitad de los años 90. al menos para cada nivel. en el fondo. no es una metodología centrada en el análisis de capacidades. Entre las metodologías participativas aplicadas en la evaluación de las intervenciones de evaluación se encuentran el Monitoreo y Evaluación Participativa (MEP). que los juicios fidedignos sobre las relaciones de causa-efecto son muchas veces inalcanzables”. Un resultado puede requerir varias actividades. (Davies. el EML “parece subestimar la consecución de objetivos de alto nivel por caminos no planificados y los efectos no previstos” (Gasper. el Marco de Desarrollo de Base (MDB) y la sistematización de experiencias. Otro de sus principales inconvenientes es su excesiva orientación a la rendición de cuenta y a la determinación del grado de cumplimiento de los objetivos prediseñados en distintos niveles. (Gasper. ha surgido con fuerza el discurso de la evaluación participativa. Como apunta Gasper. encargándose de formular las propuestas en términos de marco lógico y atendiendo las exigencias de seguimiento y evaluación. 1999). supliendo así la ausencia de capacidad para ello por parte de las organizaciones de base. existe una red de indicadores interconectados. estando todo ello fuertemente condicionado por la influencia del contexto. donde los caminos no previstos y los efectos inesperados son importantes. 2005). los clientes finales o beneficiarios. R. ni su utilidad para la evaluación de proyectos cuando se considera complementariamente con otras herramientas de evaluación y no como instrumento predominante. el EML “más que una metodología de evaluación. los intermediarios y otros actores. como señala este autor. Ello hace que no sea una técnica adecuada en las evaluaciones libres de objetivos. pero es necesario considerar la posición de cada actor en la cadena. no considerando de este modo aquellos efectos no esperados. debido fundamentalmente a que su orientación sumativa satisface las necesidades de los donantes. su concentración en resultados tiende a negar la importancia de construir redes de relaciones con otros actores de la cooperación. (Rodríguez-Carmona. y como respuesta a las nuevas cuestiones de evaluación y en coherencia con el cambio de paradigma. Además. que en el EML no aparecen relacionados. 1999). Además.EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO Carmen Vélez Méndez un nivel y los del siguiente. En opinión de RodríguezCarmona. un proceso de normalización de procedimientos de gestión de los proyectos”.

si tiene el propósito de fortalecer la capacidad del sistema democrático de generar condiciones de inclusión social. La aplicación de este enfoque se basa en la concepción de la política de cooperación como una red de políticas y programas25. Reconstrucción del proceso vivido (identificación de momentos clave). 1994. beneficiarios y territorios. a partir de su ordenamiento y reconstrucción. 1999)22. que consiste en la “interpretación crítica de una o varias experiencias. O. cuanto en los impactos sobre la capacidad y. Visualización de procesos. los factores que han intervenido en dicho proceso. políticas. apropiación. capacidades. e integrando criterios que complementen a los clásicos de resultados e impactos. 25 Para un mayor detalle sobre el concepto de “policy network” véase Zurbriggen C. armonización. Se debe huir de una concepción retrospectiva de la evaluación. Las políticas de cooperación surgen de la interacción entre las diferentes organizaciones gubernamentales de los países donantes y receptores de ayuda (local. tema al que dedicaremos el epígrafe siguiente. no puede ser entendida simplemente como evaluación de eficacia y / o control en el ámbito de la gestión pública (Cirera y Amaya. Registro y ordenamiento de la información. y Empoderamiento local. Honadle y Cooper (1990) y Marsden y Oakley (1990) son ejemplos de autores que sistemáticamente basan sus recomendaciones para la evaluación de programas de desarrollo. cómo se han relacionado entre sí y por qué lo han hecho de ese modo”. en definitiva. la adaptabilidad y viabilidad. por lo tanto. confianza y modos de trabajo. Gasper. Conceptualización de la práctica. Análisis. Aprendizaje y generación de nuevos conocimientos. 23 La Declaración de París para la Eficacia de la Ayuda estableció los criterios de alineamiento. así como el grado de desarrollo institucional y la capacidad que tienen los agentes para resolver sus conflictos e interrelacionarse. citado en Rodríguez-Carmona Velasco. La evaluación de la ayuda al desarrollo. LA CONCEPCIÓN RETICULAR EN LA EVALUACIÓN DE LA POLÍTICA DE COOPERACIÓN AL DESARROLLO: PRIMERAS REFLEXIONES Como una de las posibles alternativas a la utilización de técnicas de evaluación acordes con en el paradigma positivista. Anuario multidisciplinar para la modernización de las Administraciones Públicas EVALUACIÓN DE POLÍTICAS PÚBLICAS última.NUEVAS POLÍTICAS PÚBLICAS. ac- tores. Para ello deben buscarse técnicas que permitan analizar y evaluar las relaciones entre instituciones. descubre o explicita la lógica del proceso vivido. así como el fortalecimiento de organizaciones e instituciones”. que. Participación de los actores locales. Con ello se pretende contribuir a identificar las conexiones entre los distintos actores. 2007). 24 “Padaki (1995). Difusión del aprendizaje. como pueden ser la participación local y la alineación y coherencia con otras políticas23. para entenderla como una filosofía que debe imbuir la planificación de la política de cooperación al desarrollo e integrarse en el ciclo político. utilizando técnicas cualitativas y participativas. regional o nacional) y una red de organizaciones de otro tipo (principalmente organizaciones no gubernamentales tanto en los países donantes como en los receptores). puede garantizar la eficacia de la ayuda y contribuir a la apropiación de las estrategias de desarrollo y al fortalecimiento de la sociedad civil de los países receptores24. se propone la aplicación de un enfoque de red para evaluar la ayuda al desarrollo. para poder analizar adecuadamente el éxito y bondad de la intervención pública. (Jara. orientación a resultados y mutua rendición de cuentas. síntesis e interpretación crítica del proceso. La evaluación. incluyendo los efectos sobre los comportamientos. Se trata. no tanto en los productos y la provisión de servicios en el corto plazo. de aproximarse a la lógica del programa a través de la experiencia de los actores implicados en él. Des (1999). Esta forma de entender la formación y evaluación de las políticas públicas es una nueva forma de gobernanza en materia 22 Rodríguez-Carmona señala los siguientes pasos y elementos en la aplicación de este método de trabajo: Definición del objetivo y ejes de la sistematización. ESTUDIOS 166 .

cuáles los objetivos compartidos. ESTUDIOS 167 . Entre todos aquellos actores con los que la organización encargada de la implementación no tiene relaciones directas si no es a través de los intermediarios. A esta red la denomina Red Interna. gobernanza política. Esto puede llamarse Red Frontera (boundary network). Ahora bien. competitivo y no discriminatorio. legítimas. son condiciones imprescindibles a considerar en la evaluación de la ayuda al desarrollo. “el nuevo concepto de gobernanza ha servido de orientación para las reformas de los Estados y para afianzar la cooperación para el desarrollo durante los procesos de ajuste estructural” (González Laxe 2006)26. von Haldenwang 2005. Como afirma González Laxe. existe un conjunto de enfoques que en ocasiones comparten contenidos y perspectivas. Red Externa (outer network). cuál es la tipología de relaciones. (C. por la que las propias instituciones protegen los valores culturales. que proporcionan las bases para su aplicación en circunstancias específicas. transparente. regular un orden económico de mercado. Teniendo en cuenta lo anterior y dadas las rigideces del Enfoque del Marco Lógico para modelizar las complejas relaciones que se dan en la realidad. tal como se presupone en la aplicación del EML. El análisis de redes puede centrarse en este caso en la valoración de la naturaleza de las relaciones entre la organización y los actores externos. esto es. utilizando de manera complementaria el mapeo de estrategias para recoger los elementos principales de las hipótesis causales que subyacen en las políticas de cooperación. mediante la cual se debe contar con una administración pública eficiente. de modo que puede hablarse de una aproximación modular de la representación de teorías del cambio. pluralistas y accesibles. resultados y objetivos de la organización. democráticas. a lo largo de los últimos 10 años se han ido aplicando y desarrollando nuevos métodos basados en el análisis de redes sociales para analizar el entramado de relaciones existentes en torno a un programa de actuación y para representar la llamada teoría del programa. Entre la organización encargada de la implementación del programa y los socios inmediatos con los que interactúa (que ejercen un papel de intermediarios con los beneficiarios finales). (2005). J.EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO Carmen Vélez Méndez de cooperación. y contribuyen a promover la igualdad de oportunidades. garantizar las condiciones para la buena gobernanza y para sentar las bases de la gobernabilidad. una manera de reconocer que las políticas de ayuda al desarrollo deben surgir de la interacción entre los principales actores de la cooperación como única vía para garantizar la apropiación de los procesos de desarrollo. El análisis de redes puede centrarse en las relaciones entre los miembros de la organización (normalmente de carácter contractual laboral). entre los recursos. por medio de normas que instrumenten la participación de instituciones políticas. que debe favorecer el crecimiento económico. R. independiente y responsable. citado en González Laxe 2006). Frente a la existencia de una única relación lineal. En este tipo de red se trata de descubrir. Por tanto. Aquí las relaciones entre los actores es más compleja y no siempre es explícita. no existe en la actualidad un único método o aproximación que haya podido superar la supremacía del Enfoque del Marco Lógico. gobernanza administrativa. y gobernanza sistémica. Como afirma Davies. entre otras cuestiones. Davies propone la existencia de al menos tres perspectivas relacionadas de redes. centradas cada una en un conjunto diferente de relaciones que tienen lugar a escala distinta: En la organización encargada de implementar el programa. 26 Este autor recoge las cuatro dimensiones que para C. garantizan la libertad y la seguridad. actividades. von Haldenwang que caracterizan a este nuevo concepto de gobernanza: gobernanza económica.

M. sino institucional relacionados con el fortalecimiento de las capacidades de desarrollo de los países receptores de la ayuda y el desarrollo de nuevos mecanismos institucionales de gestión. por otro. Madrid. Bemelmans-Videc. Se debe buscar una mayor participación en el proceso de evaluación. Goldenberg (1994).C. Anuario multidisciplinar para la modernización de las Administraciones Públicas EVALUACIÓN DE POLÍTICAS PÚBLICAS En línea con el modelo de Marsh y Rhodes sobre las redes de políticas. Boyle R. entre los actores y entre los programas y políticas y. (Marsh y Rhodes. Leeuw. Ballar. que las redes no son estables sino dinámicas. Ministerio para las Administraciones Públicas. En Revista Española de Desarrrollo y Cooperación nº 4.) (1999). “Facilitating Organizacional Learning: Human Resource Management and Program Evaluation”. y R. En F.L. ¿Cómo evaluar programas y servicios públicos? Aproximación sistemática y estudios de caso. y E. “El desarrollo como proceso abierto al aprendizaje”. como factor necesario para entender la naturaleza de las relaciones entre los actores. R.Transaction Publishers. (1985): La metodología de la economía. M. “Diferencias entre evaluación e investigación: una distinción necesaria para la identidad de la evaluación de programas”.L.N. se debe prestar atención a las peculiaridades de las instituciones políticas. como los diversos organismos del gobierno central o el ejecutivo. fundamentalmente en redes donde la toma de decisiones no está centralizada y existe un alto nivel de negociación sobre prioridades y objetivos. citado en Zurbriggen C. Páginas 145-87. (1999). El seguimiento y la evaluación dependerán de los tipos de red existentes puesto que las cuestiones relevantes serán distintas para cada tipo de red. estas son unas primeras reflexiones sobre los enfoques para la evaluación de la Política de Cooperación. donde la aplicación de una concepción reticular de la política y la aplicación de técnicas que permitan. J.). es decir. seguimiento y evaluación propios. New Brunswick. en The european journal of development research.NUEVAS POLÍTICAS PÚBLICAS. Es necesario considerar que el rol de los actores puede cambiar a lo largo del tiempo. por un lado. Blaug.. Los actores son fuentes de información para detectar las diferencias de opinión y sus efectos. Como anunciábamos en el título del epígrafe. Eriksen. Madrid.A. pueda contribuir al entendimiento de la realidad de las interacciones que se producen entre la política de ayuda al desarrollo y los impactos que provoca. y puede darse un continuo trasiego de actores de un tipo de red a otra. Building Effective Evaluation Capacity. Algunas de las consideraciones principales para el seguimiento y la evaluación son las siguientes: Los objetivos deben ser considerados como acuerdos sobre los objetivos. X (1992). Transaction Publishers. Sonnichsen (eds. 1992. Páginas 9 a 29. ESTUDIOS 168 . Lessons from practice..). y Donald Lemaire (Edit. Alianza Editorial. pasar de recopilar información de los beneficiarios sobre resultados a construir información sobre los procesos vividos. Rist. M. otorgando mayor capacidad de control y refllexión. Bustelo Ruesta. Madrid. B. analizar las relaciones entre las instituciones.C. (2004). New Brunswick. no sólo de carácter económico. Es importante determinar quién tiene y suministra la información y quién tiene conocimiento sobre la estrategia a seguir y los cambios deseados. Can Governments Learn? Comparative Perspectivas on Evaluation and Organizacional Learning. 5 BIBLIOGRAFÍA Alonso.

Qualitative evaluation and research methods. 17-28. Guía para la evaluación de políticas públicas.L. Instituto de Desarrollo Regional. Sage Publications. J. D. Páginas 9 a 29. “El Comité de Ayuda al Desarrollo de la Organización para la Cooperación y el Desarrollo Económicos: Doctrina y Actividades”. En fase de publicación. California. Por una nueva economía. (1999). Newbury Park. En línea: http://www.A. Anagrama. Cirera y C.pdf Cirera. Márquez (Dir. M. A. Complexity and the Representation of Theories of Change” en Evaluation. Vélez (2000). Newbury Park. Viztoria-Gasteiz. Defendida con fecha 2001. (2000).pdf. Fourth Generation Evaluation. P (1995). Gasper. La evaluación de la política regional: propuestas para evaluar las nuevas políticas regionales. y Lincoln. (2001).ucm. “Scale. Towards Learning-oriented Development Evaluation. Universidad de Alicante. González Laxe. Ministerio de Asuntos Exteriores (2006). Madrid. Universidad del País Vasco. Osuna. http://descargas. Secretaría de Estado para la Cooperación Internacional y para Iberoamérica. Revista Vasca de Economía. (2006). ESTUDIOS 169 . “Programación y Evaluación Pública: un triángulo complejo”. Barcelona. Newbury Park. diversificación y construcción de modelos de evaluación: estrategias reflexivas de afrontamiento desde la investigación social aplicada. Rick (2004). De la “performance” a la evaluación de las políticas públicas: primeras notas reflexivas. J. Sevilla. Gasper. nº 60. Public Administration and Development 20 (1). García García. California.G.T. Evaluating the ´Logical Framework Approach´.com/servlet/SirveObr as/01372719777915515312802/011816. F. Utilization-Focused Evaluation. Plan Anual de Cooperación Internacional (PACI 2006).cervantesvirtual.es/BUCM/tesis/cps/ucm-t25225. Madrid. California. Serie Tesis Doctorales. Secretaría de Estado para la Cooperación Internacional y para Iberoamérica. Desarrollo. En fase de publicación.Q. A. Ministerio de Asuntos Exteriores (2005). Y. Sage Publications.L. Cirera y J. Facultad de Ciencias Económicas y Empresariales. y Amaya.R. España. (1993). D. Tesis Doctoral. En Ekonomiaz. Secretaría de Estado para la Cooperación Internacional y para Iberoamérica. Servicio Central de Publicaciones del Gobierno Vaso. Murciano (2006). Tesis de Doctorado. Madrid. 10: 101 – 121. . Díez López. C. California. (2004). Universidad Complutense de Madrid. P (2007). Sage Publications.EL CAMBIO DE PARADIGMA EN EVALUACIÓN DE POLÍTICAS PÚBLICAS: EL CASO DE LA COOPERACIÓN AL DESARROLLO Carmen Vélez Méndez Bustelo Ruesta. Ministerio de Asuntos Exteriores. Enero 2004. E.S. (2000).) y A. (2003). Davies. Sage Publications. En Revista Española de Desarrrollo y Cooperación nº 4. House. M. Segunda edición. Madrid. Páginas 76 a 97. Guba. M. Patton (1997). “Evaluación: la complejidad de su realidad pendular entre la política y la administración”. “El Enfoque del Marco Lógico más allá de los proyectos: el seguimiento y la evaluación de la ayuda humanitaria en emergencias complejas”. E. Professional evaluation: social impact and political consequences. Ormerod. Osuna J. Patton. Tercera edición. (1990). Plan Director de la Cooperación Española 2005-2008. (1989). La evaluación de las políticas públicas de igualdad de género de los gobiernos central y autonómicos en España: 1995-1999. y C.. Vélez. Biblioteca Virtual Miguel de Cervantes. Newbury Park.

Vedung. diciembre. M. En Revista Española de Desarrollo y Cooperación nº 4. California. n e t / d o w n l o a d / c a s e _ s t u d i e s / IOCE_EvalOrgPack_Jan2007. A.B. Páginas 83-101. Sandahl (eds.ve/siare/biblo/ biblo_a. Reforma y Democracia. Anuario multidisciplinar para la modernización de las Administraciones Públicas EVALUACIÓN DE POLÍTICAS PÚBLICAS Pazos. C. Temas de educación. “Las redes de políticas públicas. (1997). “La evaluación de las políticas públicas en Andalucía: una realidad en proceso de gestación”. (Edit. En Cuadernos Económicos de Granada nº 11: Estrategia y tácticas de desarrollo regional y convergencia económica: urbanismo. Zapico-Goñi (2002). Ponencia presentada en el XI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública celebrado en la Ciudad de Guatemala (Guatemala). Rist y R. (1991). 7 . Cook. A. Spain: Sociedad Española de Evaluación (SEE) en Segone. Stufflebeam. Americas. Páginas 201-306. (2006).clad. “El problema de la evaluación en las ONG. Zurbriggen C.D. J. Guía teórica y práctica. Newbury Park. Foundations of Program Evaluation. En Revista del CLAD.E. “Program evaluation in Spain: Taking Off at the Edge of the TwentyFirst Century?”. Theories of Practice. R. Madrid. Transaction Publishers. Creating and developing evaluation organizations: lessons learned from Africa. Revista de la Sociedad Española de Evaluación. y Levinton L. New Brunswick. (2005).10 de noviembre de 2006.pdf Vélez. J. En línea http://iigov. Perú. (2006). 4. Vélez.org/documentos/?p=1_0105 (2 julio 2006 ) Viñas. C. Sage Publications. Barcelona. México. D. DESCO-UNICEF y en línea: h t t p : / / w w w. Investigación evaluativa: métodos parla determinar la eficiencia de los programas de acción.. Colección de documentos. T.J.) (2002). (1991). Australasia and Europe.org. 159-182 ESTUDIOS 170 . i o c e . (2000). Vélez. C. Ministerio de Educación y Ciencia. Evaluación de Políticas Públicas y Programas. M. nº 11/12.). C. Shadish. “El surgimiento. V. Madrid: Ministerio de Trabajo y Asuntos Sociales. (1999). y Ocampo. Evaluación sistemática. W. coyuntura inmobiliaria y sistema financiero. nº 3. Trillas. En Furubo. C. Enero del año 2000. Una revisión teórica”.html Weiss. E. Los enfoques alternativos de sistematización: un caso práctico en Bolivia”. Peters.. International Atlas of Evaluation. “La evaluación: un nuevo yacimiento de empleo” en E-valuación. (1998). Paidós. declive y resurgimiento de la evaluación de políticas públicas en el gobierno americano”. Asia. C. Páginas 53-68. (2006). “Satisfacción del cliente.L.NUEVAS POLÍTICAS PÚBLICAS. Vélez. G. En línea: http://www. y E. calidad y evaluación: un análisis crítico”. páginas 12-28. Rodríguez-Carmona Velasco. y A. Shinkfield (2005). Instituto Nacional de Servicios Sociales. Sevilla. en Gestión y Análisis de Políticas Públicas. 32. Enfoques para la evaluación de la Política de Cooperación: una primera reflexión.

Sign up to vote on this title
UsefulNot useful