Mode Lo

MODELO PARA EL S&E DEL DESARROLLO RURAL: EL SEIPA
Our theories determine what we measure Albert Einstein
El presente captulo pretende ordenar y exponer los aspectos fundamentales para el S&E de un programa de desarrollo a travs de un modelo integrado y participativo basado en el aprendizaje, la gestin del conocimiento e innovacin, y al que hemos denominado SEIPA(Seguimiento y Evaluacin Integrado y Participativo basado en el Aprendizaje). Este modelo es fruto de la experiencia descrita en el captulo anterior, de una reflexin continua realizada a lo largo de aos de trabajo en distintos mbitos del S&E. Supone por tanto una labor de sntesis, ordenada y en forma de modelo, de las experiencias en distintos trabajos de investigacin-accin que han dado lugar a procesos de aprendizaje que se han ido documentando y sistematizando. Unida a la experiencia en el mbito de la UE donde se pretende inicialmente aplicar, el modelo incorpora las nuevas tendencias de las escuelas americanas, pioneras en el campo de conocimiento del S&E. Estas tendencias Participatory and Empowerment Evaluation se han podido analizar directamente de la mano de figuras de reconocido prestigio en universidades americanas, incorporando sus opiniones, enfoques y sugerencias.
. PRESENTACIN DEL SEIPA
De la experiencia recogida en el captulo anterior surgi el diseo de un modelo de S&E adaptado a las necesidades del desarrollo rural europeo. Un modelo que busca la integracin con los programas su planificacin y gestin y su contexto, la participacin activa de todos los implicados, y se fundamenta en el aprendizaje. Es por ello que, haciendo alusin a estos conceptos clave, denominamos al modelo como Modelo para el Seguimiento y Evaluacin Integrado y Participativo basado en el Aprendizaje (SEIPA). A largo plazo, el beneficio ms importante que aportan las actividades de seguimiento y evaluacin son los conocimientos que generan para el futuro 619. El papel central concedido
FIGURA IV-1: La gestin del conocimiento y la innovacin en el S&E. Fuente: Elaboracin propia.
619
BID; 1997. Op. cit.
205
CAPTULO IV

al aprendizaje en este modelo hace necesario cuidar su gestin dentro del S&E. El modelo que se propone destaca as la importancia de la gestin del conocimiento y la innovacin tanto en el seguimiento como en la evaluacin. Antes de desarrollar el modelo en cada una de sus etapas, se expone a continuacin una pequea reflexin sobre sus principales contenidos y caractersticas, que son el resultado de la combinacin de mtodos y herramientas complementarios, la apuesta firme por determinadas prcticas, la organizacin de numerosos elementos y la determinacin firme de buscar soluciones a los problemas que se han venido detectando. Supone la bsqueda de un equilibrio entre la concepcin del aprendizaje como va de adaptacin y como va de creatividad e innovacin.
1.1. CARACTERSTICAS
Como ya se adelant, el modelo diseado recibe el nombre de SEIPA, haciendo referencia a tres de sus principales caractersticas, la Integracin, la Participacin y el Aprendizaje. Ninguna es independiente de las otras y para lograr cualquiera de ellas es imprescindible que las tres alcancen un adecuado desarrollo dentro de las actividades de S&E.
1.1.1. La Integracin
La integracin dentro del modelo, introducida ya en las conclusiones del captulo tercero, es concebida de dos diferentes formas, por un lado supone el nexo de unin interno entre las actividades de seguimiento y evaluacin, y por otro supone el nexo de unin externo entre el sistema de S&E, el programa y su contexto. Nexo de unin interno
G G
S E
La integracin como nexo de unin interno es el vnculo entre las actividades de seguimiento y evaluacin, especialmente a travs de una adecuada gestin del conocimiento e innovacin. Esta integracin est representada por los engranajes de la figura. La actividad principal lo constituye el seguimiento que supone la base de los ejercicios de evaluacin, con la aportacin de informacin y primeras reflexiones. Por su parte, los ejercicios de evaluacin orientan y permiten corregir las deficiencias que pueda estar presentando el sistema de seguimiento. Todo ello a travs de una adecuada gestin del conocimiento e innovacin que se vaya generando.
FIGURA IV-2: La Integracin como nexo de unin interno entre el seguimiento (S) y la evaluacin (E) a travs de la gestin del conocimiento y la innovacin (G). Fuente: Elaboracin propia.
206
CAPTULO IV

Nexo de unin externo Las actividades de S&E (representadas en la figura por los engranajes S y E) han de estar en contacto con la realidad del programa y su contexto (representados por la cascada de agua), para extraer los conocimientos y experiencia existentes y, gracias a una gestin adecuada (engranaje G), convertirlos en conocimiento til incorporable al sistema de S&E.
P r o g r a m a contexto
G G
S E
La integracin como nexo de unin externo es imprescindible para lograr la adecuacin de las actividades de S&E al programa y su contexto, la adaptacin en todo momento a las necesidades que puedan surgir en las tareas de programacin.
FIGURA IV-3: La integracin como nexo de unin externo de S&E con el programa y su contexto. Fuente: Elaboracin propia.
Por otro lado permite la integracin de los resultados de las actividades de S&E en la programacin de forma que le sirvan de orientacin y las intervenciones introduzcan los cambios que se vean necesarios.
La integracin tiene entonces un doble papel. Por un lado, permite el aprendizaje adaptativo para la adecuacin del S&E al programa y su contexto, y por otro lado permite el aprendizaje generativo para la mejora de las intervenciones a travs de cambios e innovaciones. Todo buen plan de seguimiento y evaluacin debe estar concluido antes de que finalice la etapa de diseo de un programa 620. El proceso de integracin como nexo de unin externo lleva consigo, en definitiva, el diseo de un adecuado plan de S&E, un estudio de cada etapa del programa diseo, iniciacin, ejecucin, terminacin y un anlisis detallado de las correspondientes necesidades en cada una de las etapas: En la etapa de diseo, la evaluacin previa ha de encargarse de que el programa diseado pueda ser evaluado ms adelante. En la etapa de iniciacin el seguimiento realiza un control de retrasos. En la etapa de ejecucin del programa, el seguimiento y evaluacin intermedia han de encargarse de que el programa siga siendo pertinente, eficaz y eficiente. En la etapa final, corresponde al seguimiento y evaluacin final la medicin y la valoracin de los resultados del programa, su aplicacin, resultados e impacto y la extraccin de conclusiones que sirvan de experiencia en el futuro.
620
BID; 1997. Op. cit.
207
CAPTULO IV

Asegurar el fundamento, pertinencia, coherencia y futura evaluabilidad y sostenibilidad Funciones de supervisin y evaluacin de la aplicacin y resultados Utilizacin de la experiencia adquirida
Objetivos
Control de los retrasos
Asegurar que el programa siga siendo relevante, eficaz y eficiente
Etapa de diseo Etapa de diseo y aprobacin y aprobacin
Etapa de Etapa de iniciacin iniciacin
Etapa de Etapa de ejecucin ejecucin
Etapa de Etapa de terminacin terminacin
Evaluacin previa Plan apropiado de S&E
Mecanismo para sealar los retrasos en la iniciacin
Evaluacin intermedia Sistema de seguimiento
Evaluacin final Mecanismo de retroalimentacin y aprendizaje
Seguimiento fsico, financiero, de las reacciones de los beneficiarios y autoevaluacin Informacin regular y oportuna para ayudar en la formulacin de decisiones. Informes sobre la marcha del programa
FIGURA IV-4: Diseo de un plan apropiado de S&E de un programa de desarrollo. Fuente: Elaboracin propia.
En definitiva, la integracin supone el proceso mediante el cual el S&E se convierte en parte de la normal planificacin y gestin de un programa, lo que supone su institucionalizacin e internalizacin. Ello permitir realizar una adecuada gestin de los cambios e innovaciones que se consideren necesarios.
E JE R C IC IO S E S P E C IA L E S D E E V A L U A C I N R e c o m e n d a c io n e s I N T E G R A C I N
I n f o r m a c i n S IS T E M A D E S E G U IM IE N T O R e c o m e n d a c io n e s I N T E G R A C I N
I n f o r m a c i n PR O G R A M A D E D ESA R R O LL O
FIGURA IV-5: La integracin interna entre el seguimiento y la evaluacin, y la externa entre el S&E y el programa y su contexto. Fuente: Elaboracin propia.
1.1.2. La Participacin
Como ya se ha visto, los criterios y saber hacer de los grupos afectados deben formar parte integral de la evaluacin 621, mxime cuando se trata del S&E de programas de desarrollo. El modelo introduce la participacin de los grupos afectados en todas las fases del proceso de S&E, se activa en la etapa de diseo y no finaliza mientras continua la intervencin hasta la etapa de terminacin. Esta continuidad la permite el diseo de un sistema de seguimiento que obligue a un continuo contacto con la poblacin local.
621
OCDE; 1991. Op. cit.
208
CAPTULO IV

La participacin aspira a que todos los implicados se beneficien al mximo con los esfuerzos de S&E. Los objetivos de la participacin son tres: Aprovechar las aportaciones de la poblacin afectada (la participacin como fuente de informacin). Aumentar el capital social del territorio (la participacin como fuente de aprendizaje). Lograr una mayor implicacin de la poblacin local (la participacin como fuente de dinamizacin).
II - Fuente de aprendizaje
Reflexin
G
Interpretacin
G S
Utilizacin de los resultados
Conocimientos y
experiencia de la
poblacin y expertos
I - Fuente de informacin
PARTICIPACIN
III - Fuente de dinamizacin
FIGURA IV-6: Mecanismo de participacin en el SEIPA. Fuente: Elaboracin propia.
La participacin como fuente de informacin

EJERCICIOS ESPECIALES DE EVALUACIN (Ejercicios especiales de participacin)
Informacin SISTEMA DE SEGUIMIENTO
Informacin PROGRAMA DE DESARROLLO
A R
I C I Informacin
CONTEXTO SOCIOECONMICO (Poblacin local)
La participacin tiene como primer objetivo el aprovechamiento de la informacin contenida en los conocimientos y experiencias de la poblacin local. Esta informacin es recogida de forma continua por el sistema de seguimiento y, de manera puntual y con mayor profundidad, por los ejercicios especiales de evaluacin.
La informacin recogida por el seguimiento pasa a los ejercicios especiales de evaluacin. Pero stos cuentan adems con ejercicios especiales de participacin: una profundizacin en la
209
FIGURA IV-7: La participacin como fuente de informacin. Fuente: Elaboracin propia.
CAPTULO IV

participacin y en el aprovechamiento del capital intelectual y social del territorio. Un aspecto fundamental para el aprovechamiento de la informacin generada en la participacin est en la medicin y gestin de los activos intangibles, el capital humano, estructural y muy especialmente, el capital social. El objetivo es buscar que el conocimiento de cada individuo, que en un principio es tcito, pueda ser rentabilizado, explotado al mximo e integrado en las rutinas y formas de actuacin del sistema de S&E. La participacin como fuente de aprendizaje Los expertos del S&E se benefician al tener la oportunidad de convertir el conocimiento experimentado de la poblacin local en conocimiento experto 622 y dar un valor aadido a su trabajo. La poblacin local obtiene con su participacin, adems de la mejor implementacin del programa y ms eficaz satisfaccin de sus necesidades, la posibilidad de adquirir cierto grado de conocimiento experto. Se mejoran as la capacidad de S&E y el capital social del territorio, uno de cuyos principales componentes lo constituye el lograr internalizar ciertos principios como son la responsabilidad del individuo 623. La poblacin aprende a hacerse responsable de su propio proceso de desarrollo. Este es el camino para la adaptacin no ya slo al programa sino tambin al contexto que lo rodea. Conocimiento experimentado y conocimiento experto juntos para conseguir la mejor adaptacin posible de las actividades de S&E. Los tcnicos de los programas de desarrollo rural debern prestar por tanto una especial atencin a los conocimientos y a las prcticas tradicionales, as como a la identidad y cultura de las comunidades locales 624. La participacin como fuente de dinamizacin La dinamizacin hace referencia a los esfuerzos por promover la cooperacin e implicacin activa de la poblacin en los procesos de S&E. El S&E puede ser una herramienta muy til si cuenta con un sistema de participacin que sensibilice y dinamice a gran parte de la poblacin local implicada en el proceso de desarrollo. Un evaluador no desarrolla y no puede desarrollar a nadie, la gente se desarrolla a s misma, a menudo con alguna asistencia y preparacin 625. El objetivo es lograr que todos los protagonistas implicados colaboren unos con otros para facilitar la consecucin de los objetivos de desarrollo que se persiguen. La utilizacin de los procedimientos de S&E para mejorar el desempeo de los programas es una labor mancomunada que afecta a todas las partes interesadas en todas las etapas de programacin 626. A travs de la
622 CAZORLA, A.; 2002. Jornadas sobre la innovacin para el desarrollo rural: la Iniciativa LEADER como laboratorio de aprendizaje. Conferencia de clausura. Universidad Politcnica de Madrid. 623 FAO; 2000. Op. cit. Donde se concibe la participacin social como una profundizacin de la democracia. 624 ALIER, J.L., CAZORLA, A. & DE LOS ROS, I.; 1999. Incidencia del medio fsico y de los recursos naturales en el diseo de Programas de Innovacin Rural de la iniciativa LEADER de la Unin Europea. Revista Estudios Geogrficos, volumen n LX, n 236, julio-septiembre 1999. Consejo Superior de Investigaciones Cientficas. Instituto de Economa y Geografa. Madrid. 625 FETTERMAN, D.M.; 2000. Op. cit. 626 BID; 1997. Op. cit.
210
CAPTULO IV

participacin, se ha de buscar un compromiso firme y consciente de todos los implicados, en especial de los lderes o personas ms influyentes, y hacer ver que el aprendizaje es un proceso que debe ser gestionado por todos. Se trata de crear lo que Kaplan y Norton califican como la cultura-climamotivacin para el aprendizaje y la accin 627. Un clima que conduzca al desarrollo y a la autodeterminacin.
1.1.3. El Aprendizaje
La concepcin de las actividades de S&E como un proceso sistemtico de aprendizaje que activa un ciclo de retroalimentacin es visto dentro del modelo como el medio para la consecucin de un verdadero desarrollo. El aprendizaje de la poblacin constituye el medio para la construccin de capacidades locales y la creacin de un capital que genere un verdadero desarrollo 628. Como hemos visto, el mecanismo de participacin activa un proceso de aprendizaje sobre la marcha entre todos los participantes, poblacin local y expertos. Pero el aprendizaje que se Aprendizaje del equipo evaluador propone en el modelo no es un simple aprendizaje pasivo como si se tratara de una smosis sino un aprendizaje activo. Adems del aprendizaje que genera la EJERCICIOS ESPECIALES participacin hay que encauzar y fomentar DE EVALUACIN el aprendizaje mediante una adecuada Aprendizaje del equipo que sigue el programa gestin del conocimiento e innovacin donde deber indicarse cmo se "destilar" y se transmitir la experiencia adquirida 629.
SISTEMA DE SEGUIMIENTO
PROGRAMA DE DESARROLLO
Esta gestin ha de derivar en el mejor aprovechamiento de los resultados obtenidos para la identificacin de las mejores prcticas 630 y lecciones ms interesantes y guiar as el futuro del programa y las futuras programaciones. El aprendizaje activo dentro del modelo se genera mediante dos ciclos que se han de gestionar adecuadamente. Un ciclo continuo dentro del sistema de seguimiento y otro puntual y ms profundo dentro del sistema de evaluacin. Los ejercicios especiales de evaluacin suponen ejercicios especiales de aprendizaje con mayores medios y mayor profundidad en el anlisis.
Aprendizaje de la poblacin CONTEXTO SOCIOECONMICO (Poblacin local)
Aprendizaje de la poblacin
FIGURA IV-8: Ciclos de gestin del conocimiento en el SEIPA. Fuente: Elaboracin propia.
627 KAPLAN, R. & NORTON, D.; 1996. The balanced scorecard: Translating strategy into action. Harvard Business School Press. Boston. 628 La importancia concedida al capital intangible (especialmente al capital social) en el S&E del desarrollo requiere de un modelo que permita realizar una gestin adecuada de los flujos que transforman este capital. 629 BID; 1997. Op. cit. 630 Ver la tcnica Benchmarking en el punto 2.2.4 del Anexo I.
211
CAPTULO IV
1.1.3.2. Gestin del conocimiento

Las ltimas evaluaciones realizadas en la UE y Amrica ponen de manifiesto la importancia de la diseminacin y transferencia del conocimiento adquirido en las actividades que han dado buenos resultados 631. En el momento actual existe un creciente convencimiento de que el conocimiento constituye un activo cada vez ms importante 632. No es de extraar que haya un progresivo inters por su gestin que en la prctica no resulta nada fcil. Para poder gestionar el conocimiento es necesario hacerlo visible, explcito en la medida de lo posible. El conocimiento en el desarrollo de un programa tiene tres fuentes: los conocimientos y saber hacer de los implicados poblacin y expertos , toda la informacin que proporciona el entorno y por ltimo, el conocimiento estructural que se encuentra ya explicitado dentro del engranaje que constituyen el programa y su S&E (conocimiento generado).
Reflexin Interpretacin
Identificacin de las mejores prcticas (benchmarking)
G
Identificacin
Conversin en conocimiento til dentro del sistema (documentacin)
Difusin
Uso Formacin
Transferencia del conocimiento
Conocimiento estructural en el engranaje de S&E
Conocimientos y
(Conocimiento til)
experiencia de la
poblacin y expertos Observacin
Informacin del
contexto
Experiencia adquirida en el trabajo
Puntos de generacin de conocimiento Etapas de la gestin del conocimiento
Introduccin en el sistema y aplicacin del conocimiento til que da lugar a nueva experiencia
FIGURA IV-9: Generacin y gestin del conocimiento en el SEIPA. Fuente: Elaboracin propia.
631 COMISIN DE LA UE; 2001a. Annual Evaluation Review 2000: Overview of the Commissions Evaluation Activities and Main Evaluation Findings. Brussels. 632 GIL GMEZ, H. & DE LOS REYES, E.; 2001. Evaluacin de una herramienta de gestin del conocimiento para la gestin de proyectos competitivos: aplicacin en un instituto de investigacin. Comunicacin presentada en el XVII Congreso Nacional de Ingeniera de Proyectos en Murcia. Universidad Politcnica de Valencia, Dpto. de Organizacin de Empresas. Valencia.
212
CAPTULO IV

El arte de la gestin del conocimiento reside fundamentalmente en convertir, tanto como sea posible, los dos primeros tipos en el tercero que es, en definitiva, el conocimiento til dentro del sistema. Un conocimiento que posibilita el acceso y la recuperacin del mismo y facilita su desarrollo y utilizacin. Estamos ante un punto fundamental del modelo, la base para convertir el aprendizaje individual de cada persona implicada y grupal de cada uno de los equipos en aprendizaje de todos. Se trata de la construccin de una comunidad y una cultura con un enfoque comn 633, unos objetivos compartidos poniendo el nfasis en la creacin de significado local. El programa no tiene sentido sin este tipo de significado. La documentacin es un paso esencial este proceso. Confiere al conocimiento un cierto grado de permanencia que evita que ste solo exista en la mente de las personas o en el entorno. Su objeto es hacer el conocimiento explcito, fcil de entender y accesible a todos los que lo necesitan 634. Para gestionar el conocimiento de manera eficaz y eficiente, primero hay que identificar el conocimiento til en cada programa y en cada circunstancia, para luego difundirlo y favorecer su utilizacin. Estos tres pasos identificacin, difusin y uso constituyen la base para la gestin del conocimiento en nuestro modelo 635. El modelo supone la incorporacin de mtodos para asegurar la adecuada interpretacin de la informacin, la disponibilidad de un sistema eficaz para su contextualizacin y la presencia de la experiencia necesaria. En estas condiciones, la utilizacin sistemtica de un proceso definido y estructurado de reflexin, garantiza el aprendizaje en el S&E. Uno de los objetivos finales de la gestin del conocimiento propuesta est en la construccin de capacidades de S&E local. El fortalecimiento de la capacidad de evaluacin asegura que se disponga de datos sobre evaluacin_636 y el xito del sistema de S&E, ya que ste no puede imponerse efectivamente en donde no se desea su puesta en prctica. El fortalecimiento de la capacidad de evaluacin es una tarea larga y compleja que exige un compromiso importante y sostenido 637 por parte de todos los implicados 638.
FETTERMAN, D.M. & EILER, M.; 2001. Op. cit. Para ello, al conocimiento hay que darle una estructura, un formato en el que se pueda almacenar, compartir, combinar de formas muy diversas. La principal dificultad de este proceso es evitar la prdida de propiedades distintivas que conviertan el conocimiento en informacin poco relevante o en simples datos. 635 La difusin ha de conllevar una socializacin del conocimiento que ha de poder difundirse entre las diversas personas que lo pueden necesitar. El uso ha de suponer una previa deteccin de las oportunidades que d el conocimiento para darle la mejor utilidad posible. 636 MACKAY, K.; 2000. Fortalecimiento de la capacidad de evaluacin. Gua para el diagnstico y marco para la accin. Documento N 6 de la Serie de documentos de trabajo sobre el fortalecimeinto de la capacidad de evaluacin del Departamento de Evaluacin de Operaciones del Banco Mundial. OED. Washington, D.C. 637 MACKAY, K.; 2000. Op. cit. 638 Si el marco y los incentivos son insuficientes, ste es un argumento firme para buscar que el desarrollo de un sistema de S&E forme parte de una iniciativa ms amplia a un nivel superior de anlisis.
633 634
213
CAPTULO IV
1.1.3.3. Gestin de la innovacin

La innovacin puede ser gestionada sistemticamente si se sabe donde y como mirar 639. La gestin del cambio y la innovacin suponen un autntico reto organizativo. Elaborar una autntica estrategia del cambio, donde en primer lugar se identifican las necesidades de cambio y las resistencias a ste junto con las propuestas concretas de innovacin. Posteriormente a travs de un modelo de actuacin que incentiva la innovacin se realiza el desplazamiento deseado y consensuado con la participacin.
Reflexin Interpretacin
Elaboracin de una estrategia de innovacin
Identificacin de la innovacin Identificacin del liderazgo Estructura organizativa Personal con dominio de tcnicas de negociacin y comunicacin Respeto de la autonoma
S
Dilogo Desaprendizaje
Modelo de actuacin que incentiva la innovacin
Clima favorable a la innovacin
Estado de tensin
Desplazamiento
Visin compartida
Implantacin de una cultura que incentiva la innovacin
Puntos clave para la generacin y gestin de la innovacin Etapas de la gestin de la innovacin
FIGURA IV-10: Mecanismo de aprendizaje para la generacin y gestin de la innovacin en el SEIPA. Fuente: Elaboracin propia.
Cinco son los elementos clave para gestin del cambio y la innovacin en el modelo: Identificacin del liderazgo local como proceso interpersonal mediante el cual influir en el comportamiento para que logren metas de innovacin. Sin un lder comprometido con el aprendizaje y la innovacin, difcilmente se lograr el cambio. Implantacin de una cultura que incentive la innovacin, la experimentacin y el riesgo y motive a la poblacin a desarrollar su capacidad de aprendizaje. Hacer a todos los implicados responsables de
639
DRUCKER, P.; 1991. Op. cit.
214
CAPTULO IV

la intervencin que se identifiquen ms intensamente con ella y vean sus posibles beneficios, aumenta su motivacin. Seleccin de personal con un elevado grado de profesionalizacin en cuanto a tcnicas de negociacin y comunicacin, que permita potenciar las actitudes cooperativas de los trabajadores y facilitar la confianza y el trabajo en equipo. Es importante su formacin de cara al xito en la gestin del cambio. Estrategia que articule la orientacin futura de acuerdo con el capital territorial y con una combinacin ptima entre la explotacin de los recursos y capacidades existentes y la exploracin de nuevas alternativas. Estructura organizativa, elemento que da soporte a los anteriores especificando las interacciones entre los individuos y grupos dentro del sistema de S&E 640.
1.1.4. Otras caractersticas implicadas

El modelo presenta otras caractersticas que si bien no caracterizan al modelo de la misma forma que las tres principales, resultan bsicas para abordar los problemas que se intentan resolver. Caractersticas que complementan y en algunos casos orientan las caractersticas ya analizadas: Complementacin: El modelo se fundamenta en la complementacin de enfoques bsicos que han venido orientando las actividades de S&E. Supone una gua para la complementacin de los enfoques cuantitativo y cualitativo, S&E de objetivos y S&E de procesos y de los enfoques ascendente y descendente. Supone adems la complementacin de fuentes de informacin cuantitativas y cualitativas, primarias y secundarias. Continuidad: El modelo parte de los procedimientos clsicos utilizados hasta ahora 641. El modelo no supone una ruptura sino una continuidad con lo que se ha venido haciendo. Es una apuesta por la participacin y el aprendizaje que en muchos trabajos ya se realiza y por la complementacin de enfoques que han orientado muchos de los estudios en el campo del S&E. Sencillez: Es importante que el modelo no precise de unos elevados conocimientos financieros, econmicos, estadsticos o de cualquier tipo. En caso contrario, el proceso de S&E quedara en manos de expertos externos a la comunidad que se pretende desarrollar, no contribuyendo al aprendizaje local 642. Flexibilidad: Aspecto que rompe con la en ocasiones frecuente rigidez de estos procedimientos. Esta caracterstica busca preparar al modelo
El desafo para lograr una gestin eficiente de la innovacin pasa por la combinacin de los conocimientos, las comunicaciones laterales y formas organizativas flexibles y autnomas que permitan la experimentacin y la integracin de nuevos conocimientos. 641 Muchos de los mtodos y herramientas empleados hasta la fecha son vlidos y tienen su utilidad en cada una de las etapas del modelo diseado. 642 Esta caracterstica no est reida con la utilizacin de las nuevas tecnologas que el modelo busca introducir.
640
215
CAPTULO IV

para el elevado grado de incertidumbre que se suele encontrar en el dinmico contexto del S&E del desarrollo. Contar con los mecanismos necesarios para una adecuada adaptacin a las ms diversas situaciones. Estos mecanismos se basan en la combinacin de los enfoques de S&E por objetivos y los enfoques de S&E de procesos vistos en el captulo dos.
Nueva perspectiva del trabajo que incorpora la nueva experiencia adquirida
S&E S&E de objetivos de objetivos
Perspectiva inicial del trabajo
Adquisicin de nueva experiencia en el transcurso de la evaluacin
Flexibilidad y capacidad de respuesta
S&E S&E de procesos de procesos
FIGURA IV-11: Mecanismo para asegurar la flexibilidad en el SEIPA. Fuente: Elaboracin propia.
Enfoque positivo: Superar la visin a veces un poco negativa que centra sus esfuerzos en el anlisis de los problemas que se han solucionado o quedan por resolver. El objetivo es buscar un enfoque ms positivo, ms centrado en el desarrollo de las capacidades que en el anlisis de problemas. No centrarse nicamente en detectar los dficits sino abundar en el estudio de las posibles potencialidades tanto para el desarrollo como para el sistema de S&E. Precisin: Definir con claridad el contenido de las actividades de S&E y especialmente de los ejercicios especiales de evaluacin concretando los objetivos de los esfuerzos que se vayan a realizar. Centralidad de los aspectos especficos: El modelo cuenta con los medios para detectar, seguir y evaluar los aspectos especficos que puedan presentar una intervencin 643.
1.2. CONTENIDO DEL S&E

Como se puede ver en la figura, que se ir explicando a lo largo de este apartado, el SEIPA distingue tres principales aspectos clave a evaluar: el planteamiento y lgica de intervencin, la aplicacin y gestin y los resultados e impacto (ver parte superior de la figura). El conjunto de encadenamientos entre los diferentes objetivos 644, medidas y proyectos constituye la estructura misma de un programa de desarrollo. A partir de esta estructura se procede a evaluar por un lado el programa en s mismo y por otro, sus efectos.
643 Este aspecto permite no centrar siempre todos los esfuerzos en el estudio del impacto, permitiendo cuestionar el frecuente vnculo automtico que se suele hacer entre evaluacin e impacto. Existen criterios alternativos a la hora de evaluar un programa de desarrollo, como es su potencial de replicacin, su capacidad innovadora, el nivel de participacin local o su contribucin al fortalecimiento de la sociedad civil. 644 Ver el trmino rbol de objetivos en el punto 2.2.1. del anexo I.
216
CAPTULO IV
PLANTEAMIENTO Y LGICA DE INTERVENCIN
APLICACIN Y GESTIN
RESULTADOS E IMPACTO
CONTEXTO SOCIO-ECONMICO
PROGRAMA y SISTEMA DE S&E
RESULTADOS
Claridad y Coherencia interna
Sistema S&E
Programa
Impacto (largo plazo)
Seguimiento
Medidas
Resultados (Impacto inicial)
Evaluacin
Proyectos
Realizaciones
BOTTOM-UP
TOP-DOWN TOP-DOWN
Fundamento
Diagnstico
Inputs (recursos humanos y financieros)
Eficiencia
Necesidades Pertinencia
Objetivos (de la programacin y de su S&E) Utilidad y sostenibilidad
Eficacia
EVALUACIN EX-ANTE SEGUIMIENTO EVALUACIN INTERMEDIA
EVALUACIN EX-POST
PROCESO
CONTINUO
DE
APRENDIZAJE
FIGURA IV-12: Contenido del SEIPA: Aspectos clave de S&E. Fuente: Elaboracin propia.
En la evaluacin del programa en s se analizan por un lado el planteamiento y lgica de la intervencin (de color azul en la figura) y por otro, su aplicacin puesta en funcionamiento y gestin analizando si las medidas fijadas han conseguido sus objetivos y si los encadenamientos entre objetivos y medidas se han desarrollado segn las previsiones (de color rojo en la figura). En la evaluacin de los efectos y resultados se analizan stos, especialmente en lo que se refiere a los objetivos que el programa se propona (de color verde en la figura).
1.2.1. El planteamiento y lgica de intervencin

Las actividades de S&E comienzan con el ejercicio de evaluacin previa que ha de centrarse en el primero de los aspectos, el planteamiento y lgica
217
CAPTULO IV

de intervencin (ver parte inferior de la figura). Su misin consiste en asegurar un adecuado planteamiento del programa que se est diseando (cuadros de color azul en la figura). Ha de analizar el fundamento, la pertinencia, la claridad y coherencia y hacer una estimacin sobre la futura utilidad y sostenibilidad de la intervencin 645. Es por ello que esta primera evaluacin ha de mirar hacia el futuro y avanzar algo sobre los otros dos aspectos clave de modo que analice la adecuacin y calidad de los mecanismos de ejecucin y se haga una estimacin de los resultados del programa (flecha roja y verde que acompaa a la evaluacin ex-ante en la parte inferior de la figura). Una evaluacin intermedia o final ha de buscar una perspectiva general de cmo est funcionando o ha funcionado el planteamiento del programa. Por ello el primer paso de estas evaluaciones tambin puede estar dedicado a la lgica del programa 646. En este caso se trata de un ejercicio puntual, muy diferente a los trabajos de la evaluacin previa donde las labores de anlisis de la lgica de intervencin constituyen un trabajo continuo durante toda la etapa de diseo_647. En una evaluacin intermedia, conduce a recomendaciones para mejorar el sistema de control y los mtodos de gestin. En una evaluacin final, este anlisis se utiliza para aclarar los objetivos cuando stos no se han expresado de forma clara 648.
1.2.2. La aplicacin y gestin

Iniciado el programa, comienza el seguimiento con el objetivo fundamental de analizar y reorientar en caso necesario el segundo aspecto clave, la aplicacin y gestin del programa (color rojo en la figura). Un seguimiento fsico, financiero y de los beneficiarios de la intervencin junto con una adecuada autoevaluacin han de ser instrumentos suficientes para asegurar la buena gestin del programa. Un adecuado sistema de seguimiento ha de ir valorando tambin los resultados que se vayan produciendo y facilitar cualquier rectificacin que se vea necesaria en el planteamiento del programa. De ah que partiendo de la aplicacin se dirija hacia los resultados y vuelva al planteamiento inicial de la intervencin con nimo de mejorarla (ciclo que rodea al seguimiento en la parte inferior de la figura). Durante el diseo, la evaluacin previa se ha de hacer un anlisis de la adecuacin y calidad de los instrumentos de gestin. En la etapa de ejecucin encontramos la evaluacin intermedia que se centra en este aspecto de evaluacin. Centrada en la gestin, supone un primer anlisis profundo de la marcha del programa hasta la fecha y una oportunidad de cambiar el rumbo de los posibles planteamientos de la intervencin que no terminen de funcionar correctamente. La evaluacin final ha de sacar
Ver estos trminos en el anexo I. Esto es claramente necesario si la lgica inicial contiene puntos oscuros o escasamente justificados, es decir, si la evaluacin previa no se hizo correctamente o si sus conclusiones no se tomaron en cuenta. Puede ocurrir adems que los objetivos fueran modificados a medio camino. En ese caso es necesario presentar una nueva lgica de programa al principio del informe de evaluacin y comprobar si la coherencia general del programa se ha mantenido a pesar de estas modificaciones. Ms a menudo, las necesidades a satisfacer o los problemas a resolver han cambiado durante la ejecucin del programa. Si es necesario, la evaluacin intermedia y final deben revisar la lgica de programa en vista de este nuevo contexto. 647 A travs de los criterios de evaluacin y seleccin de actuaciones que permiten un juicio continuo sobre la validez y coherencia del programa y su estrategia. 648 Esta aclaracin es necesaria para estructurar la recogida de informacin y analizar los impactos de manera ms efectiva.
645 646
218
CAPTULO IV

conclusiones sobre los resultados de la aplicacin y gestin con vista a la mejora de futuras programaciones.
1.2.3. Resultados e impacto

Ya en la etapa de terminacin nos encontramos con la evaluacin final centrada en el anlisis del tercer aspecto clave: los resultados e impacto del programa (de color verde en la figura). Esta evaluacin ha de permitir descubrir cual ha sido la incidencia real del programa en su mbito de aplicacin. Ha de abordar tambin los otros dos aspectos clave (flecha azul y roja que acompaa a la evaluacin final en la parte inferior de la figura). No slo a modo de recopilacin de todos los datos y conclusiones obtenidas en las actividades de S&E precedentes, sino como un anlisis profundo y final que permita extraer las mejores conclusiones y enseanzas posibles. Si bien el proceso de aprendizaje es continuo desde el inicio de la intervencin (flechas en la parte inferior de la figura), la evaluacin final constituye un punto de referencia fundamental a la hora de extraer el conjunto de enseanzas que pudiesen derivarse del sistema de S&E implementado. En la evaluacin previa se ha de hacer una estimacin de los resultados que se esperan alcanzar, del impacto previsto. En la evaluacin intermedia el estudio del impacto hace referencia al estado en que ste se encuentra en el momento de su realizacin. La evaluacin final se apoya en los resultados y respuestas de la evaluacin intermedia precisndolas si fuese necesario.
1.3. DESARROLLO DEL MODELO EN CADA UNA DE SUS ETAPAS

El modelo est orientado al impulso del desarrollo con la creacin del capital social necesario para complementar los recursos humanos y fsicos del contexto socio-econmico en el que nos encontremos. Esto presupone la construccin de una capacidad de evaluacin local que forme parte de ese capital social. Sobre la base de que el desarrollo no se basa en la sola satisfaccin de las necesidades de un territorio se busca la construccin de capacidades locales y el fortalecimiento institucional. El SEIPA trata de cubrir las necesidades de S&E a lo largo de toda la vida de un programa de desarrollo, desde los primeros preparativos hasta que finaliza. Para ello propone la realizacin de una evaluacin previa, la activacin de un sistema de seguimiento y la elaboracin de ejercicios especiales de evaluacin. Un elemento esencial del modelo es la interaccin de todos sus elementos, que se presentan como un sistema en el que las influencias se producen en todos los sentidos y en cada una de las etapas. En la figura que representa el desarrollo del modelo, estos elementos se organizan en cuatro niveles, de abajo arriba, el desarrollo generado, el contexto socioeconmico, el programa aplicado y el S&E sobre el programa.
219
CAPTULO IV

A A
Eval de procesos Eval por objetivos
N A
Eval de procesos
I
Eval por Eval por objetivos
Z A
Eval de procesos
A
Eval por objetivos
Seguimiento y evaluacin
Evaluacin previa Rm I Diseo del S&E Rm Iniciacin (S&E por objetivos) Rm
Evaluacin intermedia
Evaluacin final Rm I Terminacin del seguimiento Rm Utilizacin de resultados
INTEGRACIN
I
Rm
Ejecucin del seguimiento

Seguimiento de procesos
Seguimiento por objetivos
Rm
Programa
INTEGRACIN
I Diseo (Anlisis) Rs I Iniciacin (Decisin) Rs I Ejecucin del programa Rs I Terminacin (Resultados) Rs
Contexto socio-econmico
PARTICIPACIN
I I Necesidades locales Poblacin local I A Rs I A Beneficiarios Impacto Realizaciones (fsicas y financieras) I Rs I Rs I
Conocimientos y recursos locales
Desarrollo
Ciclo de aprendizaje
Satisfaccin de necesidades locales Construccin de capacidades locales y fortalecimiento institucional
A: Aprendizaje I: Informacin Rm: Recomendaciones Rs: Resultados A
Creacin de capital social para complementar los recursos humanos y fsicos I A P R E N D I Z Rs I A A J E Rs
FIGURA IV-13: Desarrollo del SEIPA en cada una de sus etapas. Fuente: Elaboracin propia.
Las caractersticas de integracin y participacin se representan verticalmente en cada etapa (flechas de ida y vuelta verticales). Su continuidad a lo largo de todas las etapas se representa horizontalmente (flechas horizontales). El aprendizaje es representado de manera cclica en cada una de las etapas del programa con ciclos que cubren los cuatro niveles del esquema. La mayor profundidad de anlisis de los ejercicios de evaluacin respecto al seguimiento trae como consecuencia una mayor profundidad en el aprendizaje. En el esquema que representa el desarrollo del SEIPA , esta idea se representa con una mayor longitud del ciclo de aprendizaje en los ejercicios de evaluacin. En efecto, se trata de dos ocasiones en las que hacer una profunda reflexin sobre el desarrollo que se est generando. Especial relieve adquiere el ciclo final de aprendizaje (con vuelta a la etapa de diseo) donde los resultados de todo el proceso han de servir al aprendizaje de futuras programaciones.
220
CAPTULO IV
1.3.1. Etapas del modelo

En la etapa de diseo adems de disear la intervencin se procede a disear su S&E. Un anlisis minucioso de las necesidades locales y su articulacin con las distintas percepciones y demandas, lleva al diseo del programa y de su sistema de S&E. Durante esta etapa se realiza la evaluacin previa para preparar los programas, asegurar su viabilidad y facilitar su aplicacin. La etapa de iniciacin y la entrada en la etapa de ejecucin supone la activacin de un dispositivo de seguimiento. Desde el primer momento se empieza a aplicar el enfoque por objetivos de modo que se parta de una idea clara de cuales son las pretensiones del sistema de S&E que se empieza a implementar. En la etapa de ejecucin, programa y sistema de S&E van de la mano y se retroalimentan de continuo de forma que un enfoque de procesos resulta necesario para incorporar la nueva experiencia que vaya surgiendo: se trata de ir adaptando con agilidad el sistema de S&E a las nuevas circunstancias que se vayan dando. Una primera ocasin especial para profundizar en el aprendizaje y reorientacin de las actividades la constituye el primer ejercicio especial de evaluacin: la evaluacin intermedia a mitad de la ejecucin. Estos ejercicios suponen el empleo de un nmero elevado de medios humanos y materiales que posibilitan profundizar en el anlisis y hacer una seria reflexin sobre la situacin que est viviendo el programa. Esta mayor profundidad en el anlisis supone una mayor profundidad en el aprendizaje. Esta circunstancia viene representada en el esquema por un alargamiento del ciclo de aprendizaje (con respecto al ciclo del seguimiento) hacia arriba, si hablamos del aprendizaje del equipo evaluador, o hacia abajo si nos fijamos en la poblacin afectada por el programa. En la etapa de terminacin, el programa concluye con una serie de resultados que son recogidos por la evaluacin final. Se trata de una ltima reflexin en profundidad que ha de llevar a un serio aprendizaje.
1.3.2. Relacin entre las distintas etapas

El resto de epgrafes de este tercer captulo est dedicado a describir el modelo en cada una de las etapas de programacin. La descripcin del modelo comienza en la etapa de diseo y las labores de evaluacin previa y finaliza en la etapa de terminacin del programa con la realizacin de la evaluacin final. Por el camino se describen las labores de seguimiento que contempla el modelo. La explicacin de los trabajos de evaluacin intermedia se describen en un ltimo apartado junto con los trabajos de evaluacin final por tratarse de ejercicios muy similares cuyas diferencias se irn matizando. El modelo pretende servir como instrumento para ser utilizado tanto por aquellos que preparan el encargo del seguimiento y evaluacin como por los responsables de llevarla a cabo. Esta es la perspectiva desde la cual se aborda la descripcin del modelo.
221
CAPTULO IV

Este desarrollo en etapas es necesario para una explicacin detenida de la propuesta pero en ningn caso se trata de ejercicios individuales, antes bien, la relacin continuada entre ellas forma parte fundamental de la propuesta. Los elementos resultantes de cada procedimiento de S&E sirven de punto de partida y son incorporados a los ejercicios de S&E posteriores, en caso necesario y si estn disponibles, ya que no siempre son realizados de la manera prevista. Normalmente, el encadenamiento de sucesivas programaciones origina el encadenamiento de sucesivos ciclos de S&E que han de organizarse de manera eficiente para evitar la duplicacin de trabajo. Es fundamental saber combinar los trabajos de S&E durante el programa con el uso de las conclusiones del S&E realizado en el periodo de programacin anterior. La posible comparacin en la programacin de dos periodos consecutivos, hace posible el uso de recientes conclusiones del periodo anterior para juzgar la relevancia de las nuevas medidas propuestas.
La evaluacin en el ciclo de vida del programa Siguiente programacin Nuevo diseo
Diseo Evaluacin anterior
Programa de desarrollo
Terminacin Evaluacin posterior
Ejecucin Seguimiento: Sistema de informacin y Evaluacin continua (autoevaluacin) Evaluacin intermedia

FIGURA IV-14: Encadenamiento de sucesivos ciclos de evaluacin en las sucesivas programaciones. Fuente: Elaboracin propia.
La evaluacin previa saca partido, en caso de existir, de los trabajos de evaluacin precedentes. El diseo de toda poltica exige tanto definir con claridad el modelo al que se pretende llegar como analizar adecuadamente los resultados de polticas anteriores 649. La evaluacin intermedia con su funcin de comprobar si los objetivos siguen siendo relevantes y se estn alcanzando, se basa fundamentalmente en la informacin suministrada por el sistema de seguimiento pero tambin se sirve de la informacin que puedan suministrar los documentos del S&E del periodo de programacin anterior sobre todo en lo referente a las mismas reas de intervencin y en la evaluacin previa del mismo periodo. La evaluacin final, basada principalmente en los trabajos de S&E de su mismo periodo de programacin, debe sacar conclusiones de la experiencia
649 REDER; 1999. Documento con respecto a la futura iniciativa comunitaria de desarrollo rural (20002006). Red Espaola de Desarrollo Rural. Madrid.
222
CAPTULO IV

acumulada en periodos de programacin anteriores para la mejora de los futuros programas. Vemos as como la evaluacin interna (autoevaluacin del seguimiento) y la evaluacin externa (ejercicios especiales de evaluacin) no son excluyentes, sino que por el contrario la evaluacin externa tiene su fundamento en la evaluacin interna. Dicho de otra manera, el seguimiento supone el fundamento de los ejercicios especiales de evaluacin.
1.3.3. Sistema de indicadores

La existencia de un sistema de indicadores fiable y adecuado es un elemento indispensable del modelo. No existe receta sobre como desarrollar un sistema de indicadores. Cada comunidad y regin deben desarrollar un sistema basado en sus propias circunstancias y necesidades 650. El modelo propone el siguiente esquema como base para su elaboracin:
Objetivos
Definicin de la situacin de base que ayude a la definicin de necesidades, diseo y ejecucin
Cuantificacin previa de los objetivos y resultados que se esperan
Cuantificacin de los resultados que se vayan obteniendo mediante el seguimiento
Utilizacin de las cuantificaciones del seguimiento y creacin de nuevas cuantificaciones para la evaluacin final
Inicio del diseo
Desarrollo del diseo
Etapa de ejecucin
Etapa de terminacin
Sistema apropiado de indicadores
Indicadores de contexto
Indicadores de cuantificacin previa
Indicadores de seguimiento
Indicadores para la evaluacin final
FIGURA IV-15: Diseo de un sistema apropiado de indicadores en el SEIPA. Fuente: Elaboracin propia.
1.3.3.1. Tipos de indicadores empleados

El sistema cuenta con varios tipos de indicadores 651: de contexto, de programa, de aspectos concretos de evaluacin y los indicadores clave para efectuar la comparacin entre programas. Indicadores de contexto aplicados a la totalidad de un territorio, poblacin o categora. Utilizados especialmente en la evaluacin previa para situar el programa en perspectiva y describir una situacin bsica antes de la intervencin y una situacin deseada despus de la intervencin
INNES, J.E. & BOOTHER, D.E.; 1999a. Indicators for sustainable communities. A strategy building on complexity theory and distributed intelligence. Forthcoming in Planning Theory and Practice Journal of the Royal Town Planning Institute. University of California, Berkeley. 651 Ver las definiciones de los distintos tipos de indicadores en el punto 1.5.3. del Anexo I.
650
223
CAPTULO IV

Indicadores del programa referidos a aquella parte de una poblacin o un territorio a la que se aplica el mismo. Su finalidad es medir los efectos directos o indirectos del programa, pueden ser indicadores de recursos o financieros, de realizaciones, de resultados o de impacto. Cuando se utilizan para precisar los objetivos de una intervencin reciben el nombre de indicadores de cuantificacin previa. Indicadores de evaluacin para tratar una serie de cuestiones especficas, como son la pertinencia, la eficiencia, la eficacia, la utilidad y la durabilidad. La eficacia y eficiencia permiten comparar los logros alcanzados con los previstos (eficacia) o con los recursos utilizados (eficiencia). En el cuadro siguiente se muestra la complementariedad entre los indicadores de programa y la evaluacin de la eficacia y la eficiencia. Indicadores clave para realizar comparaciones entre programas o medidas similares y presentar una imagen general de los efectos de un programa o de una serie de programas. La diversidad de prcticas y definiciones existentes sugiere que pueden considerarse "clave" distintos tipos de indicadores en funcin de los diferentes grupos usuarios y de los objetivos perseguidos. Pueden hacer referencia a las realizaciones, a los resultados, al impacto... Los indicadores clave pueden elegirse por tener una importancia estratgica, o bien los responsables de los programas pueden estar interesados, en funcin de sus necesidades, en definir indicadores sencillos que puedan calcularse y controlarse fcilmente. La utilizacin de indicadores clave puede contribuir a difundir las buenas prcticas de seguimiento. El nmero de indicadores clave en el modelo debe ser limitado para ser adecuados y manejables en lo que se refiere al seguimiento del programa y al anlisis temtico o comparativo. Los criterios que se proponen para la seleccin de estos indicadores son: Relevancia: para las prioridades. Cuantificacin: capacidad de fijar objetivos y en su caso establecer situaciones de base. Fiabilidad: claridad de definicin y facilidad de agregacin. Disponibilidad: sobre el terreno para su incorporacin al sistema de seguimiento.
1.3.3.2. Utilizacin de indicadores en las distintas etapas del modelo

En cada una de las etapas del modelo los indicadores representan una fuente fundamental de informacin. En la etapa de diseo se emplean indicadores de contexto para el establecimiento de la situacin de base, e indicadores de cuantificacin previa para precisar los objetivos de las intervenciones y facilitar as su posterior S&E. Para el resto de vida del programa contamos con los indicadores utilizados en el sistema de seguimiento y en los ejercicios especiales de evaluacin. Es importante destacar la distincin entre los indicadores de seguimiento y los de evaluacin. Los indicadores de seguimiento se utilizan para la construccin de un sistema de seguimiento que facilite la informacin sobre el consumo de recursos, la tasa de productividad y el nmero de beneficiarios.... Los indicadores de evaluacin son fundamentalmente indicadores de
224
CAPTULO IV

resultados y de repercusiones 652, la evaluacin se concentra en el anlisis de la eficacia y eficiencia. La informacin facilitada por los indicadores de seguimiento puede servir de base para la evaluacin 653.
SEGUIMIENTO EVALUACIN
Medios y recursos
Realizaciones
Resultados
Repercusiones
FIGURA IV-16: Lmites entre el seguimiento y evaluacin. Fuente: Elaboracin propia a partir de Comisin de la UE, 2002a.
Indicadores de seguimiento Los indicadores de seguimiento incluyen indicadores de contexto, programa y evaluacin. Los primeros permiten facilitar la informacin contextual ms reciente sobre las principales caractersticas de la zona cubierta. Los dems suministran informacin sobre la utilizacin fsica y financiera de las medidas para cada uno de los aos del programa y permiten establecer comparaciones entre la utilizacin real y la prevista inicialmente en el diseo. Los datos conviene darlos anualmente tanto en variaciones en comparacin con el ao anterior como en acumulaciones que agreguen todas las cifras de puesta en prctica desde el principio del programa. En todas las medidas habr indicadores generales extensibles a todas ellas como los indicadores financieros, proyectos presentados..., y otros especficos de cada una de ellas. Como se ver el sistema de indicadores de seguimiento organiza todos los indicadores empleados en tres niveles: clave, de gestin y de rpida retroalimentacin. Indicadores de evaluacin El evaluador desempear un papel activo para mejorar la calidad de los sistemas de indicadores. Al mismo tiempo, los indicadores estn sujetos a evaluaciones especficas en diferentes etapas. La evaluacin previa debe analizar La existencia y pertinencia de indicadores de realizacin, resultados e impacto en relacin con cada uno de los niveles de la intervencin 654 Los equipos de seguimiento recibirn evaluaciones intermedias que les permitirn examinar los primeros resultados de las intervenciones, la pertinencia de los objetivos y el grado de consecucin de los mismos. La evaluacin intermedia debe examinar el grado de eficacia alcanzado sobre la base de los indicadores recogidos durante el seguimiento.
652 COMISIN DE LA UE; 2002a. Indicadores comunes para el seguimiento de la programacin de desarrollo rural 2000-2006. Direccin General VI de Agricultura. Bruselas. 653 COMISIN DE LA UE; 2002a. Op. cit. 654 COMISIN DE LA UE; 1999i. La Evaluacin previa de las intervenciones en el perodo 2000-2006, Documento de trabajo n 2. Direccin General XVI de Poltica Regional y Cohesin. Bruselas.
225
CAPTULO IV

Asimismo, evaluar la calidad, pertinencia y nivel de cuantificacin de dichos indicadores. Los indicadores de eficacia se referirn, fundamentalmente, a las realizaciones y los resultados. Tambin podrn estar disponibles algunos indicadores de impacto, pero, por lo general, estos se medirn en una fase posterior de la ejecucin del programa. Se seleccionar un nmero limitado de indicadores de seguimiento (indicadores clave), con el fin de medir la eficacia general del programa. Asimismo, se utilizarn otros indicadores relativos a la ejecucin financiera y a la calidad general de la gestin (incluidos el seguimiento, el control, la seleccin de proyectos y la evaluacin). Finalmente, la evaluacin final, sobre la base de los datos de seguimiento definitivos, compara los objetivos previstos con los realmente alcanzados (incluido el impacto) y realiza un anlisis profundo de la aplicacin y resultados del programa. En caso necesario puede recurrirse a la elaboracin de nuevos indicadores, ms propios de un anlisis detallado como el que supone esta evaluacin, que permita adaptar este ejercicio de evaluacin a los requerimientos de las autoridades que la encargan.
226
CAPTULO IV
DISEO
En la etapa de diseo se realiza la evaluacin previa con el objetivo de asegurar que la intervencin que se va a poner en marcha es adecuada y se puede seguir y evaluar sin dificultad.
. EL SEIPA EN LA EVALUACIN PREVIA: ETAPA DE
2.1. CARACTERSTICAS
Se muestran a continuacin las particularidades que revisten las principales caractersticas del modelo en esta etapa.
La evaluacin previa se alimenta del diseo de la intervencin que se est gestando y de la informacin que surge del estudio del contexto territorial. Se trata de la integracin de los trabajos de S&E en los trabajos de planificacin. Esta integracin ha de dar como resultado una mayor adaptacin de la evaluacin al programa y su contexto, de manera que atienda a sus principales aspectos especficos.
Program acin Evaluacin previa
C o n s titu ir d in m ic a d e re fle x i n
P re p a ra c i n d e la id e a
D ia g n s tic o d e l te rrito rio
S itu a c i n d e b a s e e in d ic a d o re s d e c o n te x to
D e fin ic i n d e la e s tra te g ia y o b je tivo s S u p e rv is a r la id e n tific a c i n d e p rio rid a d e s
A s e g u ra r la l g ic a e n la s e le c c i n d e ln e a s (crite rio s d e e v a lu a c i n ) E s tim a c io n e s e in d ic a d o re s d e c u a n tifica c i n p re v ia
R e d a c c i n d e l d o c u m e n to base
S u p e rvis i n
In ic io d e l p ro g ra m a
C o n tro l d e re tra s o s
A d a p ta c i n d e l m o d e lo a l p ro g ra m a y s u c o n te x to
FIGURA IV-17: La Integracin del SEIPA durante la etapa de diseo y evaluacin previa. Fuente: Elaboracin propia.
227
CAPTULO IV

La evaluacin previa sigue muy de cerca la intervencin durante su diseo teniendo una misin especfica (ver figura) en cada una de las etapas en las que se va perfilando la intervencin. Este primer ejercicio de evaluacin ha de ir realizando una serie de recomendaciones que deben ser asimiladas antes del inicio de la intervencin. Se trata de la integracin de los trabajos de planificacin en los trabajos de evaluacin. Esta integracin ha de dar como resultado un programa adecuado y evaluable.
El objetivo principal de la participacin es conseguir la integracin de la poblacin en la elaboracin del programa de desarrollo. Durante el proceso de planificacin en la etapa de diseo es importante conocer las medidas que la poblacin local relacionada con los diversos sectores de su economa considera de desarrollo preferente. La mayora de estas aportaciones se limitan a ideas de posibles actuaciones para resolver problemas de los diferentes sectores, pero normalmente carecen de la definicin suficiente para poder ser evaluadas o identificadas como actuaciones a seguir. Una labor importante es la de definir y concretar estas aportaciones a nivel de ideas, que muchas veces son tanto o ms interesantes que las realizadas a nivel de proyectos. Adems, el proceso de participacin ha de permitir la identificacin de pioneros y emprendedores entre la poblacin. En cuanto al S&E, la participacin ha de suponer la posibilidad de discutir los aspectos esenciales que han de tratar el S&E, sus objetivos, prioridades, destinatarios, usos y obtener definiciones compartidas. Es necesario estar preparado para el uso de los resultados desde el principio del plan de evaluacin, lo que no es algo natural, automtico o fcil de realizar 655. La evaluacin previa debe supervisar la realizacin de las siguientes fases de participacin:
ETAPAS OBJETIVOS
I - Entrevistas a gestores
II - Entrevistas a informantes clave
Integracin de la poblacin en la elaboracin del programa Identificar a los pioneros y emprendedores Discutir los aspectos esenciales del S&E
III - Reuniones pblicas y mesas redondas
FIGURA IV-18: La Participacin del SEIPA durante la etapa de diseo y evaluacin previa. Fuente: Elaboracin propia. PATTON, M.Q.; 1999. Op. cit.
655
228
CAPTULO IV

Entrevistas a gestores En una primera fase se realizan una serie de entrevistas personales en profundidad con los agentes encargados de la gestin del programa en los diferentes niveles. Las entrevistas han de llevar a: Empezar a discutir los aspectos esenciales del S&E. Recoger las primeras aportaciones sobre la concepcin del programa. Identificar a los pioneros y emprendedores, personas de reconocida experiencia, e integrarlos en la elaboracin del programa con el fin de aumentar su credibilidad 656. Confirmar la adecuacin del modelo de cara a su aplicacin prctica y de las estrategias diseadas. Contar con una visin de la situacin de los sectores objeto de estudio. Entrevistas a informantes clave Una vez identificadas las personas y sus caractersticas se procede a la preparacin de las entrevistas y al diseo de cuestionarios. Actuar de manera inversa llevara a no aprovechar la informacin potencial que tienen o a desorientar ante lneas de actuacin y preguntas poco adecuadas. En una segunda fase, se desarrollan las siguientes actividades: Entrevistas personales con los informantes clave identificados. Reunir la informacin necesaria para el anlisis, obteniendo una visin individualizada de la situacin de los sectores productivos en las distintas zonas. Seguir con la identificacin de los lideres, personas dinmicas y emprendedoras dotadas de gran popularidad entre la poblacin local. Reuniones pblicas y mesas redondas En la tercera fase se mantienen reuniones pblicas de trabajo, entrevistas personales, grupos de discusin y mesas redondas dirigidas a toda la poblacin. Es importante que la participacin facilite un proceso de socializacin haciendo pblicos los resultados y opiniones, dando pie a la discusin y al dilogo entre la propia poblacin. Esta apertura del proceso facilita el intercambio de informacin, el razonamiento de las ideas expuestas y permite llegar a consensos que normalmente constituyen el fruto ms preciado de la participacin. Se ha de prestar especial atencin a las personas identificadas como emprendedoras y lderes, cuidando una serie de cuestiones previas: Informacin previa por canales adecuados (Ayuntamientos). Adecuacin del lenguaje utilizado. Realizacin de intervenciones cortas, utilizando varios ponentes. Participacin del pblico (aportaciones comunes y encuestas personales). Utilizacin de lugares familiares (Ayuntamiento, Casa de Cultura...). Realizacin en horario no laboral (ltima hora de la tarde).
656 Los rasgos que pueden identificar y valorar al pionero y emprendedor pueden ser su iniciativa, capacidad de adaptacin y negociacin, competencia y disponibilidad.
229
CAPTULO IV

En las reuniones de trabajo se debe realizar una presentacin del programa de desarrollo, con mayor profundidad en aquellos lugares donde la informacin previa sobre el programa ha sido menor. A continuacin se realiza una fase de preguntas con el objeto de solucionar las dudas ms genricas que se producen entre los asistentes. Por ltimo, se entra en la fase ms importante: se entrevista en profundidad a los asistentes ms representativos de las reuniones. Durante las entrevistas se sigue un cuestionario diseado para ese fin conforme la informacin recogida en la primera y segunda fase de la participacin social, se tratan todos los aspectos sobre los que se desea obtener informacin pero de manera que sea lo suficientemente abierto para permitir que en la entrevista se puedan tratar con mayor profundidad aquellos aspectos que ms interesaran o inquietan al entrevistado.
Para que los trabajos de evaluacin previa sean de la mayor utilidad posible es importante partir con unos objetivos claros de lo que se espera de ella (evaluacin por objetivos). A la vez, es necesaria cierta flexibilidad y que un enfoque por procesos permita la adaptacin de los trabajos de evaluacin a los nuevos conocimientos y circunstancias que vayan surgiendo. Estos conocimientos han de ser gestionados de modo que se realice: Identificacin del conocimiento existente (la informacin facilitada por el contexto, la experiencia de la poblacin y expertos y los conocimientos que ya se encuentran en el engranaje de S&E o conocimiento til). Conversin del conocimiento identificado en conocimiento til que se pueda difundir y utilizar, mediante la interpretacin del conocimiento inicial identificado y la reflexin a partir de l. Difusin de este conocimiento generado para su posterior utilizacin e inclusin a travs de los mecanismos de integracin y flexibilidad (S&E de objetivos- procesos) del modelo.
I Identificacin del conocimiento existente
II Generacin de conocimiento til
III - Difusin
FIGURA IV-19: El Aprendizaje del SEIPA durante la etapa de diseo y evaluacin previa. Fuente: Elaboracin propia.
Para enriquecer este aprendizaje, adems de buscar la participacin en la zona de intervencin, es conveniente conocer otras experiencias viajando a otras zonas y conocer nuevas ideas y proyectos 657.
657
El desarrollo socioeconmico de una zona es con frecuencia desencadenado por una o varias ideas, lideradas por la poblacin, y en las cuales depositan su confianza y esfuerzo. Por esta razn es aconsejable observar in situ estas iniciativas, hablar con las personas que las llevaron a cabo, conocer las dificultades con que se encontraron, las fuentes de financiacin, los empleos conseguidos, etc. Tambin es importante conocer ideas buenas que no tuvieron xito, as como las razones que las hicieron fracasar.
230
CAPTULO IV
2.2. CONTENIDO DE EVALUACIN

La evaluacin previa examina la lgica del programa propuesto y juzga si es claro, completo y coherente. Este es su objetivo principal. En la segunda fase, la evaluacin previa estima los impactos 658 y la calidad de los mecanismos de ejecucin.
2.2.1. Anlisis continuo de la lgica de intervencin

La evaluacin previa se centra y tiene como principales criterios de evaluacin el fundamento, la pertinencia y la coherencia del programa_659, en definitiva, la lgica de intervencin del programa de desarrollo, de manera que verifica que el programa que se pone en marcha es el adecuado y va a contar con una buena evaluabilidad y una buena sostenibilidad. Tambin se ha de dejar constancia de la viabilidad y utilidad del programa.
PLANTEAMIENTO Y LGICA DE INTERVENCIN APLICACIN RESULTADOS
(presente)

Adecuacin y calidad de los mecanismos de ejecucin
CONTEXTO
(futuro)
Sistema S&E Evaluabilidad
Programa
Seguimiento
Medidas
Coherencia externa
Evaluacin
Proyectos Claridad y Coherencia interna Claridad y Coherencia interna
Estimacin de resultados y anticipacin de problemas
BOTTOM-UP
TOP-DOWN TOP-DOWN
Fundamento
Diagnstico
Objetivos (de la programacin y de su S&E) Utilidad, viabilidad y sostenibilidad
EVALUACIN EX-ANTE
PROCESO
CONTINUO
DE
APRENDIZAJE
FIGURA IV-20: Contenido de evaluacin del SEIPA en la etapa de diseo y evaluacin previa. Fuente: Elaboracin propia.
COMISIN DE LA UE; 1999a. Dejando para una fase posterior del proceso de evaluacin el anlisis exhaustivo de la eficiencia y la eficacia.
658 659
231
CAPTULO IV

Estos criterios de evaluacin constituyen el principal contendido de la evaluacin previa y son analizados de una manera continua durante la etapa de diseo. No se trata de trabajos puntuales. La definicin de los criterios que sirven para la evaluacin y seleccin de las actuaciones propuestas han de basarse y han de incluir estos componentes de la evaluacin previa.
2.2.1.1. Fundamento: Anlisis del contexto

El diagnstico realizado ha de facilitar informacin suficiente para comprobar la necesidad y oportunidad de realizar la inversin que se va a llevar a cabo. Necesaria por existir los problemas que la originan y no poder ser resueltos de otro modo y oportuna por suponer un aprovechamiento de las potencialidades que se detectan. En el diagnstico del territorio han de describirse las ventajas, desventajas y potencial de desarrollo. Es necesario que no falte una descripcin y valoracin de los recursos fsicos, ambientales, culturales, humanos, econmicos y financieros. Para sintetizar esta informacin se recomienda la utilizacin del anlisis DAFO, dejando muy claramente expresadas las necesidades que fundamentan la intervencin que se evala.
2.2.1.2. Pertinencia
Es la adecuacin de los objetivos del programa a las necesidades sectoriales y problemas socioeconmicos a los que se dirige. Expresado de otro modo, se trata de la evaluacin de la coherencia de los objetivos del programa con las caractersticas y necesidades especficas de las zonas en cuestin. Un buen mtodo para ir siguiendo este criterio es la realizacin de una matriz donde se crucen las matrices DAFO con los objetivos del programa que se estn desarrollando. De este modo se supervisan si quedan cubiertas las principales debilidades, amenazas, fortalezas y oportunidades con los objetivos propuestos. Una parte vital del trabajo de un evaluador consiste en determinar si un programa ha tenido xito en resolver la problemtica de desarrollo para la cual fue diseado 660. En muchos programas ello ha sido difcil ya que, a la hora de disear el programa, no se entendi bien la problemtica, y no qued establecida su vinculacin con la solucin proporcionada por el programa.
2.2.1.3. Coherencia interna del programa

A partir de los objetivos establecidos, la evaluacin previa debe cuidar la coherencia interna del programa, la forma en que los recursos financieros y administrativos se transformarn en los resultados apropiados a travs de los mecanismos de aplicacin previstos en el programa. La evaluacin previa examina y estudia las relaciones de causalidad 661 entre las realizaciones financiadas, los resultados y las repercusiones previstas.
660 661
BID; 1997. Op. cit. Bajo la perspectiva de la racionalidad vista en el captulo III.
232
CAPTULO IV
2.2.1.3.1. Claridad y coherencia de los objetivos

El estudio de la coherencia interna comienza con la supervisin de los objetivos del programa. Los contenidos de evaluacin en este caso son: Anlisis de la claridad de los objetivos y prioridades diseadas en relacin con la situacin de partida. La finalidad es la obtencin de unos objetivos claros, medibles, fciles de verificar y cuantificados en la medida de lo posible. Anlisis de la estructuracin de los objetivos del programa comprobando si existe una jerarqua adecuada de los objetivos de forma que las realizaciones (objetivos operativos) puedan transformarse en resultados (objetivos especficos) y stos en impactos (correspondientes a los objetivos globales). Para este anlisis se aconseja la realizacin de una cascada de objetivos que refleje claramente la jerarqua y las relaciones entre los distintos niveles de objetivos. Estudio de la coherencia de los objetivos especficos del programa con los de la poltica en la que se enmarque. Para este estudio se aconseja la realizacin de una matriz que enfrente los objetivos del programa con los objetivos de la poltica que lo enmarca. El estudio ha de permitir dictaminar si los objetivos de la poltica estn siendo cubiertos por los objetivos del programa que evaluamos.
2.2.1.3.2. Coherencia de las medidas aplicadas

Es importante que la evaluacin previa vaya analizando las actuaciones y medidas que se vayan a emplear para la consecucin de los objetivos propuestos por el programa. Se aconseja la realizacin de una matriz que enfrente las medidas que se van a aplicar con los objetivos que se persiguen. Esta matriz permite ir verificando que las medidas cubren todos los objetivos y lo hacen de una manera adecuada. En concreto habra que: Estudiar la adecuacin de los recursos asignados teniendo en cuenta los objetivos definidos. Evaluacin del calendario, programacin adecuada, procedimientos, criterios de seleccin y condiciones financieras, de conformidad con la estrategia propuesta. Comprobacin de las medidas de evaluacin, incluida la definicin de indicadores.
2.2.1.4. Coherencia externa: Coordinacin con otras intervenciones

Un programa no debe contentarse solo con una coherencia interna entre el diagnstico realizado, los objetivos y estrategias diseadas sino que tambin debe buscar una coherencia con las dems polticas e intervenciones que interfieran con l: se trata de la coherencia externa. La evaluacin previa debe cuidar la coordinacin y coherencia del programa con otras intervenciones que se estn desarrollando en la zona de aplicacin. El estudio empieza con la descripcin de las otras polticas regionales, nacionales o comunitarias en el caso de la UE y de los programas
233
CAPTULO IV

aplicados o que vayan a aplicarse en el pas o regin en cuestin, especialmente en los mbitos siguientes: Desarrollo rural. Desarrollo regional. Empleo. Medio ambiente. Cualquier otra poltica, programa o iniciativa susceptible de ejercer una influencia en la aplicacin, los resultados o las repercusiones de nuestra intervencin. El estudio de la estas intervenciones se aborda mediante un anlisis de sus objetivos, ejes de desarrollo y medidas estratgicas. Una vez analizados se escoge entre uno de estos tres elementos para abordar el estudio de la coordinacin. Nuestra experiencia nos indica que lo ms apropiado es acudir a los ejes y medidas de desarrollo de forma que se detecten los campos conflictivos de actuacin y poder determinar los siguientes aspectos: Posible complementariedad con el programa. Posible sinergia o duplicacin de tareas con el programa. Forma en que se tiene en cuenta la interaccin potencial en la elaboracin del programa. Resulta conveniente esquematizar las conclusiones del estudio en una matriz que enfrente nuestro programa con el resto de las intervenciones de manera que quede clara la interaccin con cada uno de ellas. Una vez realizado este estudio se pueden sacar conclusiones sobre la viabilidad de la programacin que se va a iniciar dentro del contexto poltico estudiado.
2.2.1.5. Conclusiones sobre la evaluabilidad, utilidad, viabilidad y sostenibilidad

La evaluabilidad, utilidad, sostenibilidad y viabilidad, adems de constituir cuatro importantes criterios a la hora de la evaluacin previa y seleccin de estrategias, son cuatro aspectos sobre los que, una vez avanzadas las actividades de evaluacin previa, conviene sacar conclusiones de cara al documento final de programacin. La evaluabilidad Es de vital importancia establecer dentro del diseo del programa las condiciones para S&E efectivo durante las restantes etapas del programa. Todos los que participan en el diseo y la aprobacin de programas deben cerciorarse de que cada programa nuevo podr beneficiarse de futuros procesos de S&E. En la etapa de diseo y aprobacin se debe incorporar una tarea de verificacin de la futura "evaluabilidad" del programa, y los documentos presentados para la aprobacin del programa deben incluir la lgica de intervencin y dems elementos que garanticen tal "evaluabilidad". La verificacin de "evaluabilidad" es una tarea que debe realizarse para determinar hasta qu grado el diseo descrito en los documentos del programa permite realizar un S&E adecuados. Dicha verificacin:
234
CAPTULO IV

Ayudar a asegurar que el programa es de la ms alta calidad tcnica. Asegurar que la estrategia de ejecucin del programa proporciona criterios adecuados para su S&E. Indicar hasta qu punto se han incorporado las lecciones y experiencias de otros programas. Asegurar que se est siguiendo una lgica en la intervencin. La utilidad La utilidad supone un anlisis sobre el inters y beneficio del proceso de desarrollo que se va a poner en marcha. El anlisis de la utilidad va unido al del fundamento. Los criterios utilizados para el anlisis del fundamento analizan tambin la sostenibilidad. La reflexin sobre la utilidad ha de dejar constancia sobre el grado en que el trabajo de S&E proporciona informacin prctica a las necesidades de quien va a hacer uso de esa informacin. Sobre el aprendizaje que potencialmente puede generar para la mejora a nivel interno de la intervencin y a nivel externo de cara al desarrollo de la poblacin con la que se trabaja. La viabilidad La viabilidad verifica la confluencia de prioridades e ideologas entre los planificadores y los receptores del programa, la existencia de una capacidad institucional suficiente e investiga el grado de compromiso de las diferentes instituciones y grupos de inters implicados. La viabilidad est relacionada con el propio proceso de desarrollo o por decirlo de otra manera, los factores externos al programa 662. En la evaluacin previa de cualquier intervencin de desarrollo es necesario un examen previo sistemtico de estos factores. Quizs se har evidente la necesidad de cambiar o modificar elementos en la jerarqua de objetivos; quizs se identifiquen nuevos supuestos o factores externos esenciales para el programa. No todos estos factores de desarrollo tendrn la misma importancia en cada uno de los programas, depender de cada caso el papel que stos tengan en las distintas intervenciones. La sostenibilidad Las sostenibilidad analiza capacidad de los efectos esperados de perdurar en el medio o largo plazo. Los efectos son sostenibles si perduran despus de acabarse los fondos dotados por la intervencin. No son sostenibles si una actividad es incapaz de generar sus propios recursos, o si van acompaados de efectos negativos, sobre todo sobre el medio ambiente, y si por ello surgen bloqueos o rechazos.
662 Estos factores fueron analizados en el primer captulo de esta investigacin en base a las experiencias de S&E en el seno de la OCDE: polticas de apoyo, aspectos institucionales, condiciones financieras y econmicas, factores tecnolgicos, socioculturales y medioambientales. Un desarrollo ms extenso de estos factores se encuentra en el anexo IV.
235
CAPTULO IV

La sostenibilidad mantiene una estrecha relacin con los recursos de los territorios, ya que el xito de un modelo de desarrollo rural sostenible depende de la conservacin de los recursos endgenos con los que cuenta 663. Desde el punto de vista ambiental la sostenibilidad ha de preocuparse de la interaccin de los proyectos que se van a realizar con tres funciones indispensables de los territorios: Fuente de recursos naturales y materias primas que utilizarn los proyectos. Tener en cuenta tasas de renovacin de los recursos renovables, el ritmo de utilizacin de los no renovables que se consumen con el uso, y la intensidad de uso de los no renovables que no se consumen con el uso. Soporte de los elementos fsicos que forman los proyectos (ocupaciones/transoformaciones del espacio). Analizar la capacidad de acogida de las actividades y los riesgos naturales que se puedan derivar. Receptor de los efluentes (emisiones, vertidos, residuos) que puedan emitir estos proyectos. Analizar si se respetan las capacidades de asimilacin del aire (capacidad dispersante), del agua (capacidad autodepuradora) y del suelo (capacidad de procesado/filtrado). Pero a la vez, la sostenibilidad es un concepto amplio que supera el mbito territorial y ambiental. La sostenibilidad responde a un planteamiento integral que incluye tambin el estudio del contexto legal e institucional (muy unido a la viabilidad). Es necesario realizar una labor de investigacin sobre la normativa aplicable al programa y poder as verificar su correcto cumplimiento 664. Del anlisis que se realice se han de concretar datos y referencias de obligado cumplimiento que sirvan para el establecimiento de criterios de evaluacin para el equipo evaluador.
2.2.2. Adecuacin y calidad de los mecanismos de ejecucin

El xito de una intervencin en el desarrollo depende en gran medida de la capacidad de gestin y de la actuacin de los rganos ejecutivos. La evaluacin previa ha de asegurar la adecuacin y calidad de los mecanismos de ejecucin, la elaboracin de planes de accin donde 665: Exista una autntica obligacin de rendir cuentas acorde con las exigencias de las normativas pertinentes. Se cuente con una gestin y un seguimiento slido y eficaz. La evaluacin previa ha de asegurarse del funcionamiento de los equipos de gestin y seguimiento y ha de dejar definido un sistema de informacin y autoevaluacin que permita un seguimiento adecuado. Contemos con un procedimiento de seleccin de los proyectos ms competitivos.
2.2.3. Estimacin de resultados y anticipacin de problemas

Para abordar la estimacin de los impactos esperados, es preciso recabar informacin que permita comprender la medida en que la intervencin va a
COMISIN DEL UE; 1996a. Op. cit. Esta normativa se extiende a varios niveles de manera que es frecuente contar con una normativa regional, una normativa nacional y en el caso de Europa, una normativa comunitaria. 665 COMISIN DE LA UE; 1999i. Op. cit.
663 664
236
CAPTULO IV

contribuir a la consecucin de los objetivos generales y especficos 666. La evaluacin previa debe contribuir a determinar los indicadores pertinentes para cuantificar los impactos y los resultados de los planes y de los programas. En ocasiones tambin resulta de inters la posible anticipacin de problemas potenciales que pudieran surgir relativos a la evaluacin y el seguimiento, elaboracin de indicadores, obtencin de datos... de manera que se cuente ya desde el principio con un claro aviso de las dificultades que se podran encontrar en el ejercicio del S&E de un determinado programa.
2.3. DESARROLLO DEL MODELO: LA PUESTA A PUNTO DE UN PROGRAMA ADECUADO Y EVALUABLE

Como en cualquier toma de decisiones, para la implementacin de un programa de desarrollo es imprescindible preparar la idea, motivar y formar a la poblacin, formular una estrategia a partir de la poblacin y elaborar un plan de actuacin. El objeto de la evaluacin previa es supervisar todos estos pasos y asegurar su correcta ejecucin.
Eval por objetivos
A
Eval de procesos
A: Aprendizaje I: Informacin Rm: Recomendaciones Rs: Resultados A J E
Evaluacin previa Rm
I I Diseo del S&E Rm I I Diseo (Anlisis) Rs
Iniciacin (S&E por objetivos)
Programa
N T E G R A C I N
Iniciacin (Decisin)
P A R T I C I P A C I N
Necesidades locales Poblacin local I A Rs A P R E N D
Desarrollo
I Z A J E
FIGURA IV-21: Desarrollo del SEIPA durante la etapa de diseo y evaluacin previa. Fuente: Elaboracin propia.
666
Para ello puede ser til conocer los procedimientos del panel Delphi. Ver punto 2.2.3. del Anexo I.
237
CAPTULO IV

Para aplicar el SEIPA en la etapa de diseo de una intervencin es necesario seguir una serie de pasos que van desde los trabajos preparatorios hasta la puesta en marcha del programa.
2.3.1. Trabajos preparatorios

Para conseguir que los programas sean evaluables en el futuro, es esencial una cuidadosa planificacin del trabajo de S&E 667. Antes de comenzar el S&E han de estar determinados sus objetivos, mbito de aplicacin, cuestiones a tratar, calendarios, equipos encargados de realizarlo, planificacin del trabajo de campo y recogida de informacin. Tambin han de estar realizados los trabajos preparatorios de revisin de documentacin y estudio del programa y su contexto para la correcta adecuacin de las actividades que se vayan a realizar.
2.3.1.1. Adaptacin del modelo al programa y su contexto

Para lograr solventar muchas de las dificultades que resultan de la aplicacin de un modelo de S&E es preciso prestar atencin a los aspectos esenciales de los programas y las circunstancias que rodean su implementacin. Es necesaria una adaptacin a las caractersticas del programa y su contexto territorial. En un marco ya ms global es necesaria esta adaptacin con el contexto legal e institucional en el que se desarrolla el programa 668. La adaptacin a las caractersticas del programa permite el perfecto ajuste entre las actividades de S&E y las caractersticas de la intervencin. Este ajuste se ha de centrar en los objetivos perseguidos, la estrategia y el Contexto Contexto funcionamiento de la gestin y financiacin. Para ello es necesario conocer muy bien el programa a lo que puede contribuir el Enfoque del Marco Lgico (EML). Este enfoque organiza la informacin sobre el programa tal y como est definida en su jerarqua de objetivos, describe sus elementos principales y qu se espera lograr en el corto y largo plazo. Las ventajas de este modelo para lograr el conocimiento y comprensin del programa son:
ma Programa
La utilizacin sistemtica del conocimiento sobre el programa. La agregacin de conocimiento, de forma que se puede realizar un anlisis a un nivel agregado centrado en unos pocos criterios centrales. Se logra evitar as una informacin excesivamente detallada. La adaptacin al contexto territorial conlleva un estudio y anlisis en profundidad que permite a los equipos encargados del S&E partir de una idea clara de las capacidades reales y potenciales para la generacin del desarrollo. El margen de maniobra para poder juzgar en su debida medida los logros que se fueran consiguiendo. Especialmente hay que clarificar el
667 668
NORAD UD; 1997. Op. cit. Ver captulo dos, donde se desarrolla este tema con profundidad.
o o o o o od l ode Mod
238
CAPTULO IV

valor de las posibles mejoras en cuatro dimensiones de la competitividad territorial. Competitividad del entorno: Capacidad de los agentes locales para valorizar su entorno. Competitividad social: Capacidad de actuar juntos. Competitividad econmica: Capacidad de crear vnculos entre sectores de tal modo que se mantenga in situ el mximo de valor aadido Localizacin en el contexto global: Capacidad de establecer relaciones con otros territorios y con el resto del mundo. La adaptacin al contexto legal tiene dos aspectos, el que afecta al programa y el que afecta a las propias actividades de S&E. ste marco normalmente viene expresado a modo de directivas, reglamentos, normativas que en algunos casos son orientativas y en otros son de obligado cumplimiento. Algunos de los criterios de evaluacin han de basarse en el examen detallado de este contexto y las actividades de S&E deben amoldarse al menos a los requisitos mnimos exigidos. Por ltimo est la adaptacin al contexto institucional. Todo programa de desarrollo est sometido a un control externo a l realizado por parte de una serie de instituciones ms o menos implicadas en la inversin. El modelo de S&E ha de adecuarse a este plan de controles de manera que lo facilite y contribuya a hacerlo ms transparente: especialmente en el caso de las comprobaciones iniciales, los controles de aplicacin y la elaboracin de informes. Adems ha de ser capaz de aprovechar e incluir en el aprendizaje el probable apoyo tcnico suministrado por los equipos de control.
2.3.1.2. Constitucin, seleccin y preparacin de equipos

Antes de comenzar cualquier intervencin es necesario distribuir los papeles y responsabilidades para llevar a cabo el S&E y su relacin con la gestin y control de la intervencin. Pautas de conducta claras y Equipo de expertos en S&E acertadas contribuyen a la calidad de los trabajos y evitan obstculos 669. El papel Equipo de control de las personas, el de la intervencin compromiso que stas adquieran y su formacin, es una pieza fundamental en el Equipo de gestin y seguimiento modelo. de la intervencin
FIGURA IV-22: Equipos participantes en el control, gestin, seguimiento y evaluacin de un programa de desarrollo. Fuente: Elaboracin propia.
Han de quedar claras las responsabilidades de los tres equipos que a continuacin se citan:
Equipo de expertos en S&E, equipo contratado para transmitir sus conocimientos en estas materias y servir de facilitadores de todo el proceso. Especial protagonismo adquiere durante los momentos de evaluacin previa, intermedia y final.
COMISIN DE LA UE; 1999a. Op. cit.
669
239
CAPTULO IV

Equipo de gestin y seguimiento de la intervencin, equipo que lleva el peso del S&E al realizar el seguimiento de la intervencin durante toda la ejecucin. Equipo de control formado normalmente por organismos de la administracin y que velan porque todo se realice de forma adecuada segn lo establecido. En lo que a la aplicacin del modelo se refiere, nos interesa la constitucin del equipo de seguimiento y la seleccin de los equipos expertos en S&E. El equipo de seguimiento (y gestin del programa) es la clave para la aplicacin del modelo en sus tres principales caractersticas: Es el que posibilita la integracin con el resto de los equipos, el programa y su contexto. Realiza una participacin continua y se encarga de integrar los resultados de la participacin realizada en la evaluacin. Realiza una gestin del conocimiento e innovacin bsica cuyos resultados se han de difundir entre los dems equipos y usar en la implementacin de la intervencin. Adems de servir de base a la gestin y evaluacin, recoge los resultados de esta. En definitiva, el equipo de seguimiento es la clave para el aprendizaje.
E q u i p o d e expertos en S&E Gestin del conocimiento e innovacin
Evaluacin
Control
Informacin
Evaluacin
Recomendaciones
Evaluacin Gestin
E q u i p o d e gestin y seguimiento Gestin
Seguimiento
Seguimiento
Recomendaciones Informacin
Gestin del conocimiento e innovacin
Programa
El programa y su contexto
FIGURA IV-23: La constitucin de los equipos de S&E y su mutua interrelacin. Fuente: Elaboracin propia.
El equipo de expertos en S&E utiliza la informacin del sistema de seguimiento (adems de otras fuentes de informacin), realiza los ejercicios especiales de participacin y genera una serie de conocimientos y recomendaciones para el seguimiento y la aplicacin del programa. Sus resultados resultan especialmente tiles al equipo encargado del control de la intervencin. Tanto en el equipo de seguimiento como en el equipo de expertos conviene establecer responsabilidades claramente diferenciadas y atribuidas para
240
CAPTULO IV

cada una de las actividades que se han de realizar con especial atencin a la integracin, participacin y aprendizaje.
2.3.1.2.1. Constitucin del equipo de gestin y seguimiento

Dirigir un programa no significa simplemente definirlo y aplicarlo, es un proceso complejo que exige mltiples ajustes 670. Se ha de asegurar que el equipo tcnico encargado de realizarlo cuenta con la capacidad para realizar las siguientes tareas: Planificacin y anticipacin: Continua identificacin y formulacin de prioridades, estrategias y objetivos. Organizacin: Distribucin adecuada de papeles, tareas y recursos necesarios para la puesta en prctica de las estrategias definidas. Toma de decisiones: Proceso que implica la definicin previa de criterios para la seleccin de proyectos, a fin de que siempre se puedan justificar las decisiones tomadas. Coordinacin: Acciones interdependientes e integradas en un plan coherente. Especial inters requiere la coordinacin con el equipo de evaluacin. Distribucin de las responsabilidades: Es de gran inters que exista un reparto de responsabilidades 671 Cada organismo asociado al programa, as como cada miembro del equipo tcnico, debe disponer de una misin definida con precisin. Seguimiento y mejora de resultados: Una labor importante en toda gestin es la de verificar que el programa se desarrolla segn el plan previsto, que se alcanzan los objetivos dentro de las fechas establecidas, que se siguen los mtodos y procedimientos adoptados 672. Es necesario un estado de alerta, de observacin atenta de todo lo que ocurre. La continua relacin y transmisin de la informacin es esencial para el buen funcionamiento de los programas. Esto supone un continuo esfuerzo para establecer programas de entrevistas, reuniones, mesas redondas, grupos de trabajo... donde los intercambios de informacin y negociaciones son continuos 673. No bastan las cualidades personales de los responsables, ya que es indispensable el conocimiento de tcnicas adecuadas que stos podrn adquirir mediante formaciones 674. Los integrantes del equipo de seguimiento han de contar con imprescindibles dosis de profesionalismo. El
AEIDL; 1995. Op. cit. UNIDAD ESPAOLA DEL OBSERVATORIO EUROPEO LEADER; 1999a. Conclusiones a las primeras jornadas de Cooperacin Transnacional. Alcal del Jcar. Albacete. 672 AEIDL; 1999b. Evaluar el valor aadido del enfoque LEADER. Cuaderno n 4 del Observatorio Europeo de Innovacin y Desarrollo Rural. Asociacin Europea de Informacin sobre el Desarrollo Local DG VI de Agricultura de la Comisin UE. Bruselas. 673 Ver la tcnica METAPLAN en el punto 2.2.1. del Anexo I. 674 CAZORLA, A.; 1997. La nueva Planificacin: Hacia una Estrategia de Desarrollo basada en el Aprendizaje Social. En "Experiencias de desarrollo rural en una iniciativa LEADER". Direccin General de Agricultura y Alimentacin. Comunidad de Madrid. Madrid.
670 671
241
CAPTULO IV

planteamiento de las relaciones con los beneficiarios de la intervencin ha de suponer la introduccin de tcnicas de negociacin y comunicacin adaptadas al desarrollo. Aunque se pueda disponer de aptitudes ms o menos para la negociacin, slo se puede ser un buen negociador mediante la adquisicin de determinadas tcnicas. Para que una negociacin de buen resultado, es necesario que nadie pierda prestigio, que todos ganen algo: es un juego de suma positiva. El arte del negociador consiste en conducir a sus interlocutores hacia sus propias posiciones, demostrndoles que es en su propio inters. Por eso resulta conveniente: Conocer las posiciones y los intereses que se confrontan. Distinguir lo esencial, aquello sobre lo que no se ceder en la discusin, y lo accesorio, lo que podr ser sujeto a compromisos, Elaborar construcciones convincentes teniendo en cuenta el interlocutor. Crear un clima, una calidad en la relacin, mantener el deseo de llegar a obtener resultados. Evitar las actitudes agresivas o de desprecio. La comunicacin es otra de las claves del xito en la conduccin de programas de desarrollo. La comunicacin necesita tambin de un enfoque profesional, no es una simple difusin de la informacin sino transmitir un mensaje "fuerte", capaz de contribuir eficazmente al xito de la intervencin. Es necesario saber escuchar y sacar provecho de los mensajes que se reciban. La consecucin de una buena comunicacin interna (entre los miembros del equipo gestor) contribuye a mejorar la gestin y la calidad de las relaciones tanto en el seno del equipo del programa como con los organismos asociados. Esto resulta esencial para mantener un nivel elevado de motivacin. La consecucin de una buena comunicacin externa (entre los gestores y los beneficiados) inspira confianza a los beneficiarios del programa y ms en general a la poblacin; permitiendo tender un puente entre el equipo gestor y otros organismos; facilitando una mejor comprensin de los objetivos que se quieran lograr y de las acciones que se quieran llevar a cabo.
2.3.1.2.2. Seleccin del equipo de expertos en S&E

El equipo de evaluacin formado por expertos en materia de S&E ha de cumplir un simple papel de facilitador del proceso. Ha de ayudar a crear un proceso que ayude al resto de los equipos a realizar su trabajo. El papel de los profesionales ha de ser ms el de colaboradores y facilitadores que el de expertos 675. El saber hacer de los profesionales no es impuesto al resto de los equipos sino que supone un recurso para ellos. Este papel sugiere que la labor de los profesionales depende ms del contexto en el que trabajen que de herramientas comunes que puedan aplicarse de forma predeterminada.
675
FETTERMAN, D.M. & EILER, M.; 2001. Op. cit.
242
CAPTULO IV

Los ejercicios especiales de evaluacin han estado generalmente a cargo de organismos independientes de la gestin de la intervencin evaluada 676. En el caso de la evaluacin previa en cambio no ha habido acuerdo en la prctica internacional sobre quien debe realizarla. Alguna de sus partes pueden ser encargadas a un experto externo 677. En el presente trabajo se considera que toda iniciativa tendente a una evaluacin independiente y objetiva es acogida favorablemente. Una vez respetado este principio, toda posicin que se adopte ulteriormente depender de las necesidades especficas de asesoramiento tcnico en los distintos campos de actividad 678. Nuestra postura es la de una evaluacin previa realizada conjuntamente por el equipo que gestionar el programa y un grupo de expertos que ayude a su correcta realizacin. A la hora de contratar al equipo evaluador, los requisitos que deben ser exigidos a ste son principalmente 679: Independencia: pertenecientes a organismos no involucrados en la aplicacin, gestin y financiacin de los programas. La independencia no supone, en modo alguno, que el evaluador deba evitar cooperar con los gestores del programa. En la evaluacin previa esa cooperacin es considerada esencial para mejorar la intervencin. Capacidad: el evaluador debe estar al da en lo que se refiere a las tcnicas de evaluacin. Otros requisitos pueden ser
680:
La destreza para la obtencin de accesos a la informacin y a los distintos actores protagonistas. Conocimiento y experiencia previa en el rea del programa. Especiales conocimientos en un campo determinado. Exigencias econmicas. Cuando se decide contratar un equipo de evaluacin externo, las posibilidades son varias y muchas son las organizaciones que pueden llevar a cabo una evaluacin externa. Dos de las ms usadas son las consultoras con altos precios y gran eficiencia y las instituciones acadmicas con un alto grado de conocimiento cientfico y gran independencia. El peligro de las primeras est en que siendo un negocio puedan convertir los trabajos de evaluacin en meras auditoras. El peligro de las segundas est en que siendo instituciones para la creacin de nuevos conocimientos, puedan convertir los trabajos de evaluacin en estudios cientficos. Nuestra experiencia nos afirma en la idea de que una buena solucin estriba en la creacin de equipos mixtos de evaluacin en una asociacin empresauniversidad que ha venido dando muy buenos resultados.
676 No se excluyen los organismos pblicos, siempre y cuando renan los requisitos de independencia y capacidad. 677 COMISIN DE LA UE; 2001b. Ex-ante evaluation: a practical guide for preparing proposals for expenditure programmes. Directorate General XVI for Regional Policy and Cohesion. Office for Official Publications of the European Communities. Luxembourg. 678 Una buena reflexin sobre las competencias que deben reunirse en un evaluador se encuentra en KING, J., STEVAHN, L., GHERE, G., & MINNEMA, J.; 2001. Toward a Taxonomy of Essential Evaluator Competences. In American Journal of Evaluation, 22 (2): 229-247. 679 COMISIN DE LA UE; 1999d. Op. cit. 680 COMISIN DE LA UE; 1997a. Op. cit. Para un ejemplo concreto de criterios de adjudicacin en la UE para la seleccin de propuestas (caso del Objetivo 5b) ver COMISIN DE LA UE; 2002e.
243
CAPTULO IV

Una vez seleccionado el equipo, ste puede realizar la evaluacin en las diferentes fases del ciclo de programacin. En muchos casos, esta solucin favorece la continuidad y reduce los costes de evaluacin.
2.3.1.2.3. Formacin profesional de los equipos

Para que un modelo de S&E funcione es necesario formar a todos los implicados para posteriormente incorporar las nuevas herramientas. Esta formacin ha de alcanzar a los equipos de gestin y seguimiento del programa, a los equipos de expertos en S&E y al equipo que realiza el control institucional de la intervencin. Para el desarrollo de esta labor es preciso incidir en una labor de formacin y preparacin personal a la vez que profesional que, junto a una claridad conceptual, permita a los implicados moverse con soltura dentro de un contexto en continua evolucin e innovacin. Esta formacin viene facilitada por dos de las caractersticas del modelo: su sencillez y su continuidad con los procedimientos clsicos que se vienen aplicando, lo que se traduce en la amplia accesibilidad de esta formacin y en el aprovechamiento de los conocimientos que ya se posean. La formacin impartida ha de: Asegurar la comprensin y puesta en prctica de la filosofa del modelo y su integracin, participacin y aprendizaje. Insistir en el resto de caractersticas del modelo: el enfoque positivo que ha de orientar las actividades, la precisin, la deteccin de los aspectos especficos, la flexibilidad, la complementacin de fuentes de informacin y la elaboracin de un sistema adecuado de indicadores. Todo ello en un plano terico (primer punto de este captulo) y prctico (desarrollo del modelo que sigue a continuacin). Esta formacin del modelo se basa en la necesidad de educar a otros para gestionar sus propios asuntos en reas que conocen (o deberan conocer) mejor que un evaluador externo. Se trata de la creacin de un nuevo papel para evaluadores que tratan de ayudar a otros a ayudarse a s mismos. Formar equipos de trabajo que sepan aprender de otros y crear una comunidad dinmica de personas aprendiendo y en continua formacin.
2.3.1.3. Definicin del mbito de seguimiento y evaluacin

Existen tensiones y conflictos entre las necesidades de evaluacin nacionales e internacionales. Gestionar estas tensiones y necesidades a diferentes niveles es uno de los principales retos de nuestros tiempos 681. Antes de dar comienzo a la intervencin, la evaluacin previa ha de dejar perfectamente definido el mbito del S&E, lo que ser seguido y evaluado en el mbito operativo (intervenciones), institucional (autoridades), temporal (periodos a considerar) y geogrfico (territorios). Para ello se han de decidir los objetivos, la profundidad de estudio y el nivel de anlisis inicial y se han de organizar los flujos de informacin.
681
Patton, M.Q., 1999.
244
CAPTULO IV
2.3.1.3.1. Eleccin de objetivos y profundidad del anlisis

Es importante dejar claro desde el comienzo, los objetivos (cuestiones a tratar) y la profundidad de anlisis con que se va a llevar a cabo el S&E. Un anlisis vlido requiere tiempo y dinero. Una evaluacin puede llevarse a cabo a un nivel puramente superficial o puede movilizar una gran cantidad de recursos para hacer estimaciones cuantitativas. En este caso, normalmente es necesario centrarse en unos pocos impactos 682. La eleccin est entre: El tratamiento ms superficial del anlisis, que consiste en una simple descripcin de los cambios observables en la zona de aplicacin 683. Profundizando un poco ms se pueden realizar anlisis comparativos basados en la observacin de territorios no afectados por el programa. Estos anlisis son siempre posibles incluso con unos medios muy limitados. Un nivel mayor de anlisis lo constituye el anlisis de las relaciones de causalidad, necesario para la comprensin y estimacin de los impactos producidos por la intervencin. Este anlisis se puede realizar siempre que se cuente con los medios apropiados y tiempo para los estudios de gabinete y campo que requiere. Los dos primeros niveles de anlisis son ms propios del seguimiento, reservando para los ejercicios especiales de evaluacin, o cuestiones especiales del seguimiento, el nivel ms profundo. En cualquier caso el S&E global de un programa de desarrollo ha de concretar en que aspectos va a centrarse para no perderse y no quedarse en un nivel superficial en sus aspectos ms importantes. No se puede pretender llegar a todos los impactos y con un gran nivel de profundidad sino que es importante centrar bien los esfuerzos desde un principio. Y para ello es bsica la eleccin del nivel de anlisis inicial, lo que se va a abarcar con los trabajos de evaluacin: un pequeo territorio o todo un pas.
2.3.1.3.2. Eleccin del nivel de anlisis inicial

Decidir el nivel de anlisis en muchas ocasiones no es una cuestin de fcil decisin. De cara a establecer criterios para la determinacin de este nivel de anlisis nos remitimos en primer lugar a la buena experiencia de evaluar programas con una aplicacin territorial provincial (nut 3 en la UE) o mejor an aplicaciones territoriales inferiores como comarcas formadas por un conjunto de municipios (nut 4 en la UE). Por otro lado est la cada vez mayor globalizacin de los programas y polticas que se implementan, cada vez con una ms amplia aplicacin territorial, que hace del nivel comarcal un nivel en ocasiones de excesivo desglose. Para encontrar el equilibrio entre un enfoque local u otro ms global y determinar el nivel de anlisis inicial han de definirse los objetivos buscados con las actividades de S&E y evaluar los medios con los que se cuenta. En cualquier caso es adecuada una cierta homogeneidad territorial que
682 683
COMISIN DE la UE; 1999a. Op. cit. Estudios que muchas veces dan una idea errnea de los efectos de la intervencin.
245
CAPTULO IV

consolide y facilite el conocimiento de la identidad del territorio en que se trabaja. Otros criterios los imponen las propias actividades de S&E, de manera que: Ha de ser posible la integracin de estas actividades en el programa de desarrollo. Esto implica un nivel de anlisis lo suficientemente cercano al programa, su diseo y gestin. Ha de poder realizarse una buena participacin, lo que supone tambin una cercana adecuada del nivel de anlisis al programa y su contexto. Los propios mecanismos de participacin imponen la necesidad de esta proximidad: la evaluacin participativa se adapta mejor y adems resulta vital al nivel de las iniciativas locales individuales 684. Han de poder desarrollarse tambin los mecanismos de aprendizaje lo que implica tambin un contacto y una proximidad que no se puede dar en niveles demasiado globales de anlisis. Tambin es importante destacar que, en general, es imposible realizar un anlisis detallado a un nivel muy bajo de la estructura del programa, puesto que los niveles inferiores suelen alcanzar un nivel muy alto de descomposicin. Por consiguiente, se debe elegir un nivel de anlisis adecuado a la intervencin que se est evaluando, con la posibilidad de descender a niveles inferiores escogiendo las acciones o proyectos ms significativos de cada operacin para someterlas tambin a un anlisis detallado (proyectos tipo y estudio de casos 685). El modelo propone como nivel de anlisis inicial el nivel de programa local o regional. Un programa formado por una serie de medidas en las que se incluyen los proyectos de desarrollo dentro de un mbito de aplicacin ms o menos reducido. Este nivel de anlisis no supone un desglose excesivo de cara a la evaluacin a niveles superiores de una poltica global ni supone una agregacin excesiva de actuaciones de desarrollo inabarcable para un equipo de S&E.
2.3.1.3.3. Organizacin de los flujos de informacin

El modelo pretende organizar los flujos de informacin entre los diferentes niveles de anlisis que el programa permita (local, regional, nacional...) 686. Adaptndose a las necesidades del nivel de anlisis inicial, los resultados han de poder sintetizarse a niveles de anlisis superiores y compararse. Hay que tener en cuenta ciertas especificidades que se desprenden del contexto diferente que suponen los diversos niveles de anlisis posibles (local, regional, nacional o niveles superiores). La orientacin de la evaluacin dentro de una perspectiva nacional/regional es un tanto distinta a la orientacin a nivel local. Cada nivel es responsable de una cierta eficacia y eficiencia y tiene sus reglas de juego y su funcionamiento. Las
RAY, R.C.; 2000. Endogenous socio-economic development in the European union issues of evaluation. Journal of Rural Studies16 (2000) 447-458. 685 Ver Anexo I punto 2.1.2. 686 La transmisin de la informacin a travs de estos flujos ha de hacer llegar los resultados de la evaluacin a los responsables de la implementacin de polticas y programas, a los financiadores del programa, a los financiadores de su evaluacin, a los beneficiados por la intervencin, al equipo gestor de la intervencin y a otros grupos de inters como la comunidad acadmica.
684
246
CAPTULO IV

caractersticas especficas de los programas que conviene evaluar son distintas en cada nivel y sugieren la orientacin que podra seguirse en la evaluacin. Cada nivel tiene por tanto sus necesidades de evaluacin. Para responder a estas distintas necesidades debe aportarse informacin sobre los resultados de las intervenciones individuales, de manera que se puedan aadir datos, a partir del nivel local hacia arriba (procedimiento ascendente), comparar las distintas intervenciones e identificar modelos que representen las mejores prcticas. Para poder realizar un S&E a niveles superiores es necesaria la agregacin de los datos. Para ello la clave est en la homogeneidad a la hora de realizar los trabajos de S&E, especialmente en el caso de los ejercicios especiales de evaluacin: herramientas bsicas de estos flujos de informacin entre los diferentes niveles de anlisis. En la mayora de los casos, estos ejercicios constituyen el nico vehculo de informacin de un nivel de anlisis determinado a niveles superiores. Dentro de las labores de S&E constituyen los trabajos con un mayor alcance y protagonismo, mayor cuanto mayor es la distancia con el nivel de anlisis inicial. Esta homogeneidad se consigue con la aplicacin del mismo modelo: los datos son los mismos, su tratamiento e interpretacin tambin, con lo que la agregacin es posible y sencilla. Un papel muy importante en la organizacin de los flujos de informacin lo tiene la seleccin de indicadores clave del modelo en funcin de su relevancia, cuantificacin, disponibilidad y fiabilidad.
2.3.2. Supervisin de la programacin

Una vez realizados los trabajos previos pasamos a la supervisin del diseo de la intervencin, de su programacin y puesta en marcha.
2.3.2.1. Preparacin de la idea

En todos los procesos de desarrollo es necesario que exista un agentepromotor de la idea. Existen tres posibilidades: Que la Administracin defina una actuacin sobre unos territorios concretos y especficos. Que los agentes locales preparen la idea y la integren en un programa marco de la administracin. Que los agentes locales preparen y ejecuten un programa propio y definido con apoyo de la administracin o sin l. En virtud del principio de participacin el mejor agente promotor para preparar la idea y realizar una primera visin de conjunto del territorio lo constituyen los agentes locales: un grupo amplio y que rena a todos los
247
CAPTULO IV

sectores representativos 687. Se han de incluir representantes de todos los intereses pertinentes y significativos 688. La evaluacin previa debe: Asegurar la identificacin y contribucin de agentes y colectivos representativos de los diversos sectores y de lderes cuyo conocimiento permita concretar un anlisis de todos los problemas y soluciones. Asegurar la interesante ayuda de profesionales externos que haciendo la evaluacin puedan dar una visin muy vlida e imparcial. Constituir una dinmica de reflexin generalmente referida a los siguientes aspectos sobre el programa de desarrollo: los recursos locales, las categoras sociales y sectores geogrficos, los problemas que puede generar el programa, los objetivos del programa y las fuerzas de cambio.
2.3.2.2. El diagnstico del territorio

La principal contribucin de la evaluacin previa es la posibilidad de comprobar la prioridad que debe atribuirse a las distintas necesidades socioeconmicas 689 y establecer un entendimiento claro de la problemtica a resolver 690. Para ello es indispensable realizar un diagnstico de todos los sectores que afectan al desarrollo: un anlisis DAFO de las dificultades, amenazas, facilidades y oportunidades 691. Este diagnstico constituye una condicin previa para definir los ejes estratgicos y las prioridades. La evaluacin previa ha de asegurar que se tienen en cuenta las siguientes variables generales, en el marco de un programa de desarrollo: El medio fsico en todos sus aspectos (morfologa, climatologa...). Las incidencias del medio natural y del medio-ambiente. El sector socio-econmico, las tendencias demogrficas y del mercado de trabajo, sus infraestructuras y servicios. Sectores productivos, sus asociaciones y colectividades y su forma de organizacin 692. Marco legal e institucional sobre el territorio, con la aplicacin de los distintos programas por sectores 693.
La evaluacin previa debe supervisar adems que: La informacin recogida se contrasta con la proveniente de la poblacin local en la fase ms avanzada de participacin social.
Para la preparacin de la idea desarrollan un papel importante las entidades colectivas, como asociaciones, cooperativas, organizaciones, etc del territorio e incluso de un mbito territorial superior, lo que supone una ayuda para el conocimiento de otras problemticas en otros territorios. 688 INNES, J.E. & BOOTHER, D.E.; 1999b. Consensus building and complex adaptative systems. A framework for evaluating collaborative planning. APA Journal. Autumn 1999. Vol. 65, N.4. 689 COMISIN DE LA UE; 1999i. Op. cit. 690 BID; 1997. Op. cit. 691 El Reglamento General de los Fondos Estructurales de la UE (CONSEJO DE LA UE; 1999b. Artculo 15 del Reglamento (CE) n 1260/1999) establece que los planes de desarrollo deben incluir una descripcin cuantificada de las disparidades, atrasos y posibilidades de desarrollo. 692 Este diagnstico es capital en la evaluacin y seleccin de proyectos de inversin pues determina en gran medida la viabilidad de los mismos as como la situacin futura de los sectores. 693 Este estudio facilita una herramienta que sirve de apoyo en la toma de decisiones y en la orientacin de la poblacin cuando se constata una falta generalizada de informacin, tanto de la poblacin como en muchas ocasiones de las instituciones.
687
248
CAPTULO IV
Son analizadas las operaciones previas y los resultados de evaluaciones anteriores de manera que sirvan al equipo evaluador de experiencia y no se vuelva a caer en los mismos errores 694. Tras el examen de las enseanzas del pasado, es preciso proceder a un anlisis ms profundo del contexto socioeconmico 695.
2.3.2.3. Situacin de base e indicadores de contexto

La definicin de indicadores de contexto 696 en el marco de la evaluacin previa contribuye a evaluar la pertinencia del programa y sirve como base para todo el proceso de S&E. Forman parte del proceso de programacin y sitan el territorio en el conjunto de la regin o pas en el que se trabaja. Para ello han de recogerse a nivel local y a nivel regional o nacional. Al mismo tiempo, ofrecen una base para 697: Los anlisis socioeconmicos y estratgicos (tales como los anlisis "DAFO"), que constituyen la base de la estrategia del programa. El seguimiento del contexto general. La ejecucin y definicin de objetivos cuantificados. La evaluacin de los impactos socioeconmicos del programa.
La situacin de base hace referencia al valor inicial respecto del cual se mide un indicador de contexto o de impacto. Dichos datos deben establecerse en relacin con los objetivos del programa_698 y son indispensables para que los indicadores del programa sean significativos 699. En algunos casos, podra ser conveniente recoger datos especficos sobre los beneficiarios del programa. Otra serie de indicadores ms detallados por sector de actividad, tamao o sexo facilitarn una descripcin ms completa de los beneficiarios y permitirn establecer comparaciones. Los datos de la situacin de base se obtienen de las estadsticas oficiales, que en algunos casos tendrn que completarse con encuestas o indicadores indirectos.
2.3.2.4. Definicin de la estrategia y objetivos: la clave de la adaptacin

El diseo de la estrategia y objetivos del programa de desarrollo se obtiene del cruce de lneas surgido en el diagnstico y evaluacin de potencialidades y de la participacin social generada durante la etapa de diseo. La labor de la evaluacin previa resulta entonces crucial y puede resumirse en dos tareas fundamentales:
694 No se debe perder nunca la oportunidad de aprender de experiencias anteriores, mxime cuando se trata de actuaciones o evaluaciones de programas del mismo tipo que el que nos ocupa y de la misma zona en la que estamos trabajando. 695 COMISIN DE LA UE; 1999i. Op. cit. 696 Que se aplican a todo un territorio o poblacin. Ver definicin en el punto 1.5.3. del Anexo I. 697 COMISIN DE LA UE; 2000b. Op. cit. 698 De forma que abarquen adecuadamente todos los objetivos incluidos en el programa. 699 As por ejemplo, si el objetivo de una medida especfica es aumentar el nmero de PYME en la regin, el dato de partida ms importante ser el nmero de PYME existentes al comienzo del programa.
249
CAPTULO IV

La supervisin de la lgica de intervencin de la estrategia La supervisin de la identificacin de prioridades y objetivos.
Evaluacin previa
Criterios de evaluacin
Equipo de expertos
Supervisin de la lgica de intervencin
Supervisin de la identificacin de prioridades
Definicin de estrategia y objetivos
Programa
Criterios de programa
Equipo de gestin local
Aplicacin de criterios
Propuestas aceptadas
Seleccin de prioridades
Propuestas desechadas
Estrategia
Objetivos
Contexto
Criterios de contexto
Poblacin local
FIGURA IV-24: El papel de la evaluacin previa en la definicin de la estrategia y objetivos de la intervencin, punto clave para obtener un programa adecuado y evaluable. Fuente: Elaboracin propia.
La supervisin de la lgica de intervencin de la estrategia Normalmente los programas de desarrollo poseen unas lneas especficas que se deben desarrollar, en caso contrario deben definirse en funcin de la potencialidad de cada territorio y sus caractersticas socio-econmicas. La sntesis del diagnstico de los recursos disponibles junto con las lneas de desarrollo preferente aportadas por los expertos y la poblacin local suponen la base para la elaboracin del programa. Un paso obligado de cara a la definicin del programa de desarrollo es la evaluacin de las lneas y proyectos de inversin propuestas de cara a su adaptacin al programa y a su contexto y de cara al cumplimiento de los criterios impuestos por la evaluacin previa. Estos criterios que se han de definir con anterioridad conforme a los resultados del diagnstico, la opinin de los expertos y la participacin social. En el caso de que la propuesta cumpla estos criterios se propone su inclusin en la estrategia del programa. Estos criterios son de tres tipos: Criterios de contexto: derivados del diagnstico realizado y con el objetivo de buscar la adaptacin al contexto territorial, legal e institucional del programa. Criterios de programa: derivados de la filosofa, orientaciones y reglamentaciones del programa manejado. Su principal objetivo es la adaptacin al programa. Criterios de evaluacin: criterios de especial vigilancia en la evaluacin previa como el fundamento, pertinencia, coherencia, evaluabilidad, utilidad, viabilidad y sostenibilidad.
250
CAPTULO IV

Estos criterios servirn de base a la futura gestin del programa durante la etapa de ejecucin donde una de las tareas fundamentales es la seleccin de proyectos de inversin para cada una de las lneas seleccionadas. En esta etapa de diseo, su aplicacin tiene como resultado la clasificacin de cada propuesta como: Rechazable: la propuesta no se adapta al programa. Indiferente: no resulta un proyecto tpicamente desarrollable a travs del programa pero tampoco es contrario. Aceptable: el proyecto rene las caractersticas exigidas por el programa. Especial inters: el proyecto rene las caractersticas y es especialmente novedoso o importante para la estrategia de desarrollo del sector primario. Replanteable: el proyecto puede encajar en caso de realizarse ciertas adaptaciones, o bien no existe suficiente nivel de detalle en la propuesta para la valoracin de su adaptacin al programa.
La supervisin de la identificacin de prioridades y objetivos Posteriormente la evaluacin previa debe supervisar la asignacin de los fondos para la ejecucin del programa en funcin de las necesidades de los diferentes sectores del territorio. Para ello se evalan, en funcin de los criterios anteriormente expuestos las propuestas realizadas y se realiza su agregacin en funcin de las lneas ms amplias de desarrollo. La evaluacin previa debe vigilar la identificacin de prioridades y objetivos de cada una de las medidas. Normalmente no suele existir relacin evidente entre la actividad diaria de los participantes y los objetivos globales de un programa, lo que los convierte en abstractos y poco dinamizadores. Es por ello que la supervisin realizada debe prestar especial atencin en la seleccin de objetivos intermedios en los que los participantes vean la conexin con sus actividades diarias. Estas actividades pueden luego ser relacionadas as con los objetivos globales ms difusos. Por la especial necesidad de informacin sobre fuentes de financiacin y otras posibles ayudas es conveniente indicar qu otras lneas de apoyo podran existir para las propuestas presentadas en su mbito.
2.3.2.5. Establecimiento de indicadores de cuantificacin previa

Una vez definidas las prioridades, la cuantificacin de los objetivos es un cometido importante para determinar los resultados que cabe esperar del programa. Los ejercicios de cuantificacin se aplican tanto a los objetivos de la intervencin como a las prioridades y medidas que se van a aplicar. Los objetivos cuantificados constituyen la base para todo el S&E del programa. Sin esta cuantificacin ser difcil evaluar en qu medida se estn cumpliendo los objetivos originales. La evaluacin previa debe asegurar que se realiza esta cuantificacin e incluir una opinin sobre su fiabilidad. Para realizarla es necesario un elemento de juicio adems del tratamiento de los datos. Estos datos
251
CAPTULO IV

necesarios suelen encontrarse en la situacin de base y los valores de referencia y de comparacin de anteriores ejercicios de S&E 700: Los datos de la situacin de base facilitan informacin sobre la situacin socioeconmica del territorio en cuestin, incluidos los grupos a los que se dirige el programa y su nivel de eficacia o de innovacin. Estos datos permiten la cuantificacin y estimacin de los efectos. Las bases de comparacin ofrecen otra fuente adicional de informacin para cuantificar los objetivos asociados a las medidas y permiten comparar la eficacia y la eficiencia de las acciones en cuestin. El nivel de cuantificacin requerido depende del tipo de intervencin y con frecuencia no es posible medir de forma precisa el objetivo perseguido. En tales casos, que no se prestan a la cuantificacin directa, es ms adecuado establecer una serie de objetivos posibles o basarse en indicadores cualitativos o indirectos, cuyos valores pueden refinarse durante la fase de ejecucin. Es importante ir estableciendo los indicadores de realizacin, de resultado e impacto con arreglo a la estrategia del programa, sus realizaciones esperadas y sus efectos previstos a corto y largo plazo. En funcin del avance del programa, la utilizacin de indicadores de resultados o de repercusiones ser ms o menos pertinente. Algunos efectos solamente pueden ser identificables al cabo de varios aos de aplicacin.
2.3.2.6. Redaccin del documento de programacin y evaluacin previa

Las ltima parte de la programacin es la redaccin y ejecucin del programa. La labor de la evaluacin previa consiste en conseguir que se plasme acertadamente todo lo expuesto anteriormente en el documento base de programacin y evaluacin previa. Todos los elementos del diseo del programa han de adaptarse convenientemente a los resultados de esta evaluacin. No es necesaria la realizacin de un documento de evaluacin previa, si no que sta va incluida en el documento de programacin. Dentro del documento que perfila el futuro programa se constata su realizacin y principales logros. Es misin tambin de esta evaluacin el asegurar que dicho documento alcanza la calidad deseada y contiene una descripcin detallada de las funciones de seguimiento y evaluacin que se vayan a realizar en el transcurso del programa. La redaccin del programa debe incluir: Una descripcin de las actividades de evaluacin que han tenido lugar: - Quin realiz la evaluacin previa. - Recursos que fueron necesarios (especialmente de tiempo). - Actividades de evaluacin especficas efectuadas. Un resumen de los principales resultados de la evaluacin previa. De qu forma las conclusiones y recomendaciones de la evaluacin previa
700
Tales como el coste medio de un empleo creado o conservado en un sector dado.
252
CAPTULO IV

fueron tenidas en cuenta en la programacin y en qu medida condujeron a modificar la propuesta del programa. Conviene extraer conclusiones sobre la evaluabilidad, sostenibilidad y viabilidad de la intervencin propuesta. La redaccin de este documento debe evitar la realizacin de un estudio terico que cumpla unos requisitos administrativos. Se elabora de una manera prioritariamente prctica, emanando de los propios agentes afectados. No se limita a hacer una simple descripcin del programa sino que ahonda en todos los aspectos presentes, de cara a tener una informacin exhaustiva para la futura toma de decisiones. El documento se divide en funcin de las fases elaboradas: preparacin de la idea, diagnstico, participacin social y descripcin del programa (estrategia y objetivos).
2.3.2.7. Inicio del programa y control de retrasos

La ejecucin del programa debe contar con la contratacin de un equipo de gestin que organice y prevea la manera de abordar las actividades de S&E. El equipo de expertos tiene como una de las principales misiones dentro del SEIPA, la de asegurar el buen funcionamiento de los equipos de gestin, especialmente de su equipo de seguimiento, pieza clave para la aplicacin del modelo. La aplicacin del SEIPA en la etapa de diseo de los programas de desarrollo se presenta como una herramienta especialmente til en la fase de gestin, ya que el modelo est diseado para realizar una evaluacin multicriterio 701 de los proyectos conforme a las caractersticas de los programas y sus zonas de aplicacin. Entre las primeras funciones de la gestin est el control de los retrasos. Los retrasos prolongados en la iniciacin de los programas son un indicador bastante exacto de que habr problemas en el futuro. Los retrasos pueden tener su origen en muchos factores: problemas polticos, ambientales, falta de compromiso por parte de los interesados o mala gestin. Ya se trate de problemas que estn bajo el control de los responsables del programa u obedezcan a circunstancias externas, pueden representar una grave amenaza para el xito del programa y el desempeo de la ayuda. Todo buen plan de S&E debe incluir un mecanismo para sealar los retrasos en la iniciacin que no sean razonables. Si es preciso realizar algunos ajustes para que el programa siga adelante, habr que indicar que condiciones se impondrn al respecto, como por ejemplo, una revisin de indicadores, nuevos datos de referencia, el tiempo que se permitir que tarde el programa en cumplir las condiciones...
701
Ver el trmino anlisis multicriterio en el punto 2.1.4. del Anexo I.
253
CAPTULO IV
EJECUCIN
Aunque la evaluacin se est expandiendo globalmente, los evaluadores entienden que el trabajo real y valor de la evaluacin est, casi siempre, en los niveles locales y rurales 702. Y por ello es fundamental el seguimiento. Las actividades de seguimiento son de trascendental importancia para el control de cualquier programa por parte del personal responsable de su ejecucin. Cuenta con dos instrumentos caractersticos principales: el sistema de informacin y la autoevaluacin o evaluacin continua sobre la marcha. La base a travs de la cual se realiza el seguimiento han de ser los proyectos. El sistema de seguimiento ha de quedar definido en la etapa de diseo. La evaluacin previa ha debido de asegurar las disposiciones para la construccin, mantenimiento y uso de un sistema de informacin y un mecanismo de autoevaluacin. El tema se trata aqu dando unas pautas generales de diseo, los diseos precisos para la creacin de sistemas de informacin y autoevaluacin pueden diferir de un programa a otro segn los objetivos, la ndole y el ambiente del programa. No es posible dar un enfoque detallado estandarizado para el desarrollo rural.
EL
SEIPA
EN
EL
SEGUIMIENTO:
ETAPA
DE
3.1. CARACTERSTICAS
La integracin, participacin y aprendizaje iniciados en la etapa de diseo tienen su continuidad en la etapa de ejecucin a travs del sistema de seguimiento. La evaluacin previa ha de tratar de asegurar el correcto funcionamiento del equipo de seguimiento. El modelo apuesta por un diseo del seguimiento amplio y flexible, una vez detallado en la etapa de evaluacin previa puede ser modificado durante la ejecucin y poder reaccionar as ante nuevos problemas y oportunidades_703. Aunque las rectificaciones en la etapa de ejecucin son ms difciles que en a etapa de diseo, el concepto operativo central es el de aprender sobre la marcha. Para ello es indispensable la capacidad de observar el funcionamiento del programa. No obstante se puede puntualizar aquello que consideramos debe caracterizar a todo buen sistema de seguimiento.
La integracin sigue la misma dinmica indicada para la etapa de diseo. Simplemente recalcar su papel entre el seguimiento y la evaluacin
702
703
Patton, M.Q., 1999.
Aunque se inician los trabajos de seguimiento con un enfoque por objetivos, su combinacin con un enfoque por procesos permite esta continua adaptacin.
254
CAPTULO IV

intermedia 704 que se realizan en esta etapa. Esta evaluacin, como la final, tiene como base al sistema de seguimiento del que toma gran parte de la informacin que necesita. La mayor profundidad de anlisis de los ejercicios de evaluacin puede detectar la necesidad de modificar algunos aspectos del sistema de seguimiento. En tal caso stas necesidades se concretan a modo de recomendaciones. As se produce la integracin mutua entre el sistema de seguimiento y los ejercicios especiales de evaluacin.
La participacin tiene su papel al igual que en la etapa de diseo aunque con los matices propios de esta nueva etapa de ejecucin en el sistema de informacin, en la autoevaluacin y aprendizaje y en la dinamizacin de la poblacin. El proceso de participacin permite realizar el seguimiento de los proyectos llevados a cabo, que no pueden ser evaluados si no han sido seguidos a lo largo de su ciclo de vida 705. La Participacin como fuente de informacin La participacin local constituye una fuente de informacin fundamental para la continua mejora del programa y de su sistema de seguimiento. La participacin de la poblacin en el seguimiento ha de quedar reflejada en el sistema de informacin. A travs de sta supone una fuente de aprendizaje de dnde se extraen las recomendaciones y conclusiones que pueden ser contrastadas con otros datos que tambin vayan llegando del sistema de informacin. Es fundamental el seguimiento de los beneficiarios de la intervencin como medio de hacerse una idea completa de los proyectos 706 en los que se basa nuestro seguimiento. Para mantenerse informado de las actitudes de los beneficiarios y de la marcha de los proyectos es necesario: Mantener registros (como los vistos en la recogida de informacin) con respecto a cada participante y analizar stos de manera peridica para seguir la penetracin del servicio y el establecimiento de una clientela.
Establecer un calendario regular de visitas para analizar las reacciones de los beneficiarios Aprovechar el intermedia. proceso de participacin de la evaluacin
704 Su desarrollo se realizar ms tarde junto con el desarrollo de la evaluacin final. Ambas sern tratadas como ejercicios especiales de evaluacin. Aunque veremos que no son dos ejercicios iguales, su gran similitud nos lleva a explicarlos conjuntamente en un ltimo apartado. 705 PNUD; 1997b. Empowering People - A Guide to Participation. By Clayton A., Oakley, P. & Pratt, B. INTRAC. Oxford. 706 FAO; 1990. The community's toolbox: The idea, methods and tools for participatory assessment, monitoring and evaluation in community forestry. Community Forestry Field Manual 2. Prepared by D'Arcy Davis Case. Regional Wood Energy Development Programme in Asia. Food and Agriculture Organization of the United Nations. Rome.
255
CAPTULO IV

La Participacin como fuente de aprendizaje La autoevaluacin supone la principal herramienta de aprendizaje en el seguimiento. En la medida de lo posible, la autoevaluacin ha de hacerse con la participacin de otros agentes representativos de la sociedad local 707, buscando la organizacin progresiva del trabajo que permita abarcar todos los mbitos de la evaluacin y fomentar la participacin de un nmero creciente de agentes locales en un ejercicio colectivo 708. El nmero, la diversidad y la representatividad de las personas que participan en la autoevaluacin, por una parte, y el nivel de profundizacin del anlisis por otra, son los dos principales factores de fiabilidad de los resultados obtenidos del aprendizaje durante la etapa de ejecucin. La Participacin como fuente de dinamizacin Adems, en la etapa de ejecucin de los programas es esencial informar y sensibilizar a la poblacin dando a conocer las iniciativas que se desarrollen, sus posibilidades y crear una imagen comarcal de desarrollo. Es necesaria la dinamizacin tanto de los responsables polticos como de los tcnicos con responsabilidad en el proceso de desarrollo. Estos agentes son esenciales para el buen funcionamiento del proceso y en muchos casos existen deficiencias por no saber hacer participe a los distintos agentes o no implicarse de forma directa. Otros aspectos interesantes a resaltar para mejorar el xito participativo en la ejecucin de los programas de desarrollo son: La realizacin de proyectos colectivos. La identidad territorial o cultural. Constitucin de los grupos de desarrollo. Transparencia en el funcionamiento.
La autoevaluacin es la pieza clave para el aprendizaje durante la etapa de ejecucin. A travs de ella, el modelo diseado impulsa un continuo aprendizaje por parte del equipo planificador y evaluador y por parte de la poblacin local convirtiendo el desarrollo en un proceso continuo que se pone en marcha desde el inicio del programa. Es necesario un proceso sistemtico de evaluacin por parte del personal encargado del seguimiento centrado en los logros y emprendido con arreglo a los indicadores de seguimiento y criterios del xito definidos en la evaluacin previa. La autoevaluacin se basa en la vigilancia sistemtica de esos indicadores y en un examen oficial peridico a diferentes niveles de reflexin: a nivel de los proyectos, medidas, ejes y programa en su conjunto. Es conveniente facilitar en este proceso un apoyo que pueda proporcionar a los gestores del programa, directivas metodolgicas y observaciones sobre las
707 708
THIRION, S.; 2000. Op. cit. THIRION, S.; 2000. Op. cit.
256
CAPTULO IV

valoraciones internas, y aumentar as el valor de los informes que se han de presentar peridicamente. Para garantizar la buena marcha del proceso, la independencia de las opiniones y una participacin ampliada a todos los niveles, se aconseja designar a un coordinador que conozca bien la cuestin y comparta estas preocupaciones 709.
3.2. CONTENIDO DEL SEGUIMIENTO

El contenido del seguimiento de un programa de desarrollo ha de estar centrado en su aplicacin y gestin. Ha de ir comprobando el cumplimiento de la programacin prevista, que los resultados son aceptables y que lo que se previ era lo ms adecuado para el territorio en cuestin.
APLICACIN Y GESTIN
RESULTADOS
Sistema S&E
Programa
Seguimiento
Medidas
Evaluacin
Proyectos
Realizaciones
BOTTOM-UP
TOP-DOWN
Eficiencia
Objetivos (de la programacin y de su S&E)
Eficacia
SEGUIMIENTO
PROCESO
CONTINUO
DE
APRENDIZAJE
FIGURA IV-25: Contenido de seguimiento del SEIPA en la etapa de ejecucin. Fuente: Elaboracin propia.
709
THIRION, S.; 2000. Op. cit.
257
CAPTULO IV

Sin embargo, el estar centrado en este aspecto que conecta la lgica de intervencin del programa con los resultados que se van obteniendo, le obliga a ir analizando estos resultados y volver sobre la lgica de intervencin para analizar las causas de lo que pueda no estar funcionando. Esto supone un continuo aprendizaje que resulta de la puesta en prctica de lo que en un principio se conoca solamente en un plano terico. Aspectos concretos que son analizados de la aplicacin del programa son la eficiencia y la eficacia, comprobando el logro sobre la marcha de unos niveles aceptables de ambos aspectos. Este examen es ms riguroso en la evaluacin intermedia, aunque las conclusiones finales sobre la eficiencia y eficacia del programa no se podrn dar hasta la etapa de terminacin donde contaremos con la evaluacin final. Para el seguimiento de la aplicacin y gestin el seguimiento cuenta con dos contenidos fundamentales: la informacin fsica y financiera y las relaciones con los beneficiarios.
3.2.1. Seguimiento fsico y financiero

El seguimiento coordinado de la informacin fsica y financiera es esencial para la ejecucin y operacin eficiente de todo programa de desarrollo. Esta parte del sistema de informacin y su uso debe reconocerse como la base para el desarrollo de la funcin completa del seguimiento. Los datos fsicos y financieros deben consistir principalmente en cantidades directas fsicas y financieras para cada actividad. Los indicadores representativos apenas tienen lugar en este aspecto del seguimiento, aunque los porcentajes pueden ser tiles, en particular en lo que se refiere a fondos asignados de hecho gastados comparados con los totales presupuestados. Ambos datos fsicos y financieros han de estar relacionados, para asegurar el logro de los objetivos a costos reales aceptables.
3.2.2. Seguimiento del contacto con el beneficiario

Este seguimiento es la clave para que el seguimiento global del programa resulte un xito. El seguimiento fsico y financiero mide en general la provisin y suministro de servicios e insumos del programa. Pero los gestores de programas tambin necesitan saber si estn aceptndose los servicios y cmo estn integrndose en la zona de aplicacin y en los diferentes sectores de poblacin. A medida que se va ejecutando un programa, las percepciones de sus futuros beneficiarios conducen a una creciente demanda de sus servicios o bien a que se vean fuera de propsito. Si los beneficiarios tienen incentivos diferentes de los que sustentan el programa, importa poco cules son los ms sensatos desde el punto de vista financiero. En el personal de seguimiento recae la responsabilidad primaria de iniciar y mantener contactos con los beneficiarios y de mantener bien organizados los registros del programa. Este personal tambin coteja y resume los datos
258
CAPTULO IV

derivados del seguimiento fsico y financiero y ms tarde integra esos datos a la informacin acerca de las reacciones de los beneficiarios. En ambos seguimientos la eleccin de indicadores apropiados que se van a medir es crucial para establecer un seguimiento eficaz de las realizaciones del programa y las reacciones de los beneficiarios. Indicadores impropios pueden predestinar el fracaso a un sistema de informacin. Adems, el fracaso se ratifica cuando los administradores eligen todos los indicadores que se les ocurren o aparecen en las listas de varios principios gua. A medida que se alarga la lista as tambin sucede con el nmero de indicadores impropios.
3.3 DESARROLLO DEL MODELO: El S&E POR PROYECTOS

El desarrollo del modelo en esta etapa se concreta en el diseo y puesta en marcha de un sistema de informacin y autoevaluacin.
Seguimiento
Diseo del S&E Iniciacin (S&E por objetivos) Rm I N T I E Ejecucin del seguimiento
Seguimiento de procesos
Terminacin del seguimiento
Seguimiento por objetivos
R I
Rm A
Programa
I N
Diseo (Anlisis)
Iniciacin (Decisin) Rs
Ejecucin del programa Rs I C I I A P A C
Terminacin (Resultados)
I N
R I
Necesidades locales Poblacin local A: Aprendizaje I: Informacin Rm: Recomendaciones Rs: Resultados
Beneficiarios Realizaciones (fsicas y financieras)
Desarrollo
FIGURA IV-26: Desarrollo del SEIPA durante la etapa de ejecucin con la puesta en prctica del seguimiento. Fuente: Elaboracin propia.
3.1.1. El sistema de informacin

El sistema de informacin se constituye como pieza clave del mecanismo de integracin en la etapa de ejecucin. Ya desde el inicio del programa empieza el intercambio de informacin del programa al sistema de seguimiento. Se da continuidad as a la integracin de las actividades de S&E en el programa. El proyecto constituye la unidad de recogida de informacin del sistema de informacin. Aunque luego haya varios niveles de reflexin a nivel
259
CAPTULO IV

actuacin, medida, eje... es necesario recoger la mxima informacin de utilidad que a nivel proyecto se pueda conseguir. La principal ventaja de este sistema de informacin a nivel proyecto est en la cercana del gestor a ste a la hora de aportar informacin. Cuando se realiza un ejercicio especial de evaluacin es difcil contar con que los expertos evaluadores lleguen a conocer todos los proyectos. El que mejor los conoce es el encargado de gestionarlos y seguirlos. Es importante sistematizar la recogida de los aspectos clave de los proyectos implementados. Las tareas preparatorias para establecer el sistema de seguimiento servirn para detectar las deficiencias del sistema de informacin. Podr ser necesario recurrir a asistencia tcnica o a expertos independientes para solventar las posibles deficiencias y carencias, mejorar las condiciones generales de aplicacin y aumentar la eficacia del seguimiento. A su vez el mecanismo de aprendizaje a travs de la autoevaluacin produce continuas recomendaciones, como resultado de las reflexiones a nivel proyecto, medida, eje...una vez se ha ido agregando la informacin de los proyectos (o aportando nueva informacin en cada uno de estos niveles). Las recomendaciones han de ser asimiladas por el programa y garantizar as su contribucin a un verdadero desarrollo de las potencialidades del territorio sobre el que acta. Este flujo de recomendaciones garantiza la integracin del programa en las actividades de seguimiento. Exponemos a continuacin el desarrollo del sistema de informacin que caracteriza parte de esta integracin. Posteriormente, al hablar del aprendizaje, desarrollamos el segundo elemento clave del sistema de seguimiento: la autoevaluacin.
3.1.1.1. Definicin de las necesidades de informacin

El primer paso para la creacin del sistema de informacin del seguimiento es definir la informacin mnima esencial que se recoger a nivel de cada uno de los proyectos. Como se explicar ms adelante en el apartado sobre el contenido del seguimiento, este sistema de informacin habr de centrarse en el seguimiento fsico y financiero y en el seguimiento del contacto con los beneficiarios. Es difcil determinar estas necesidades de informacin debido, en parte, a que con mucha frecuencia los propios usuarios no han decidido lo que necesitan realmente. La experiencia habida en muchos programas muestra que los administradores describen los temas o cuestiones slo en trminos generales. Por lo tanto, los diseadores del sistema de informacin deben tratar de ayudar a los gestores e identificar partidas especficas de informacin siguiendo los siguientes pasos: Examen del programa y su contexto: El diseo del sistema de informacin debe incluir un examen del programa y de su contexto. Ha de hacerse un anlisis del diagnstico y de la jerarqua de los objetivos del programa con objeto de determinar las poblaciones consideradas como objetivo, las actividades crticas y las tareas que han de seguirse comparadas con los objetivos convenidos.
260
CAPTULO IV

Identificacin de prioridades: Despus de este examen, el primer paso al disear un sistema de informacin consiste en identificar la prioridad de los usuarios. La identificacin de las necesidades de stos requiere un marco para el dilogo que ha de sostenerse entre el usuario y el diseador del sistema. La experiencia tambin indica que no debe utilizarse un marco conceptual elaborado por expertos externos con objeto de identificar necesidades de informacin. Los programas que no han incluido el dilogo necesario con los usuarios para identificar necesidades reales, o que han hecho meramente una estimacin superficial de tales necesidades, han tendido a producir sistemas costosos que en gran parte no tienen conexin con las necesidades de los usuarios. Seleccin de prioridades: Habida cuenta de los limitados recursos de personal, dinero y tiempo, es improbable que el sistema de informacin satisfaga plena y eficazmente las necesidades de todos los usuarios. Esto demanda que se asigne la mxima prioridad a las necesidades de seguimiento del personal del programa, despus vienen las demandas de los organismos que supervisan y controlan. Los responsables del seguimiento deben definir, sobre la base de las prioridades y de la capacidad, la estructura del sistema de seguimiento y el grado de detalle necesario para poder satisfacer las necesidades de los diferentes grupos.
3.1.1.2. Diseo de un sistema de indicadores

El diseo del sistema de informacin ha de concretarse en la identificacin de un sistema de indicadores. Dichos indicadores deben informar a los gestores de los efectos inmediatos o duraderos de las acciones emprendidas y, adems, hacer posible una medicin de los progresos realizados con respecto a los objetivos globales de los programas 710. Varios criterios se pueden emplear para la seleccin de indicadores de calidad 711: Se puede cuantificar a intervalos regulares con una frecuencia adecuada al programa. Teniendo en cuenta que tener un nmero no significa necesariamente el tener un buen indicador 712. El problema no consiste solamente en completar o reducir el nmero de indicadores, sino antes bien en la dificultad de los sistemas de seguimiento para garantizar la cuantificacin peridica de los indicadores acordados y que ya existen en los programas 713. Puede utilizarse poco tiempo despus de la recogida de los datos sobre los cuales se ha construido. Es directo y no da pie a ambigedades. Se puede comprobar su sensibilidad y fiabilidad en relacin con los fenmenos a medir. Permite comparaciones entre las medidas del programa, y con otros programas o grupos de destinatarios.
710 711 712 713
COMISIN DE LA UE; 2000b. Op. cit. Basados en COMISIN DE LA UE; 2000b y BANCO MUNDIAL; 2002. INNES, J.E. & BOOTHER, D.E.; 1999a. Op. cit. TRIBUNAL DE CUENTAS DE LA UE; 1998. Op. cit.
261
CAPTULO IV

Es transparente y no puede ser manipulado para mostrar logros donde no existen. Su obtencin. Los indicadores deben ser identificados por participacin_714. Deben ser desarrollados con la participacin de aquellos que los usarn y aprendern de ellos... Slo tienen influencia cuando se convierten en parte de su modo de pensar 715. Un seguimiento eficaz exige la elaboracin de indicadores de realizaciones en relacin con todas o la mayor parte de las medidas. No obstante, en lo que se refiere a los indicadores de resultados y de impacto puede admitirse un enfoque algo ms selectivo. Los indicadores han de ser escogidos de forma que al final podamos contar con un sistema en el que podamos identificar 716: Indicadores clave o marco: Unos pocos indicadores globales de medidas que reflejen los valores centrales de la intervencin. Han de ser cuidadosamente diseados, claramente visibles, participados y consensuados y deben ayudar a enmarcar la intervencin y a sealar la direccin en la cual se quiere avanzar. Con la idea clara de que los indicadores no son respuestas sino el punto de partida para la discusin_717. Indicadores de gestin: Un nmero mayor de indicadores que reflejen las principales actividades y resultados para los encargados de la gestin y seguimiento. Han de ayudar al diseo y rediseo (en caso de que no avancen en la direccin deseada) de la intervencin, al mantenimiento de la eficacia, a diagnosticar la causa de los problemas, a realizar ajustes, a fijar prioridades y a responder a los cambios que se produzcan. Dada la gran importancia de la distribucin territorial en el desarrollo es conveniente el uso de los sistemas de informacin geogrfica en los indicadores. Indicadores rpidos de retroalimentacin para todos los implicados en la intervencin de forma que supongan una ayuda en su toma de decisiones diaria sobre sus propias acciones y a hacer un mejor uso sobre los recursos disponibles. El acceso individual a mejor y ms puntual informacin es crucial en el proceso de desarrollo 718. Se trata de actuar con la mayor informacin disponible y poder escoger lo ms conveniente. Una de las principales tareas aqu es la exploracin de las oportunidades que ofrecen las nuevas tecnologas de la informacin y tratar de utilizarlas en la medida de lo posible. Una vez escogidos los indicadores, se recomiendan cuatro grandes criterios para comprobar la calidad del sistema de indicadores diseado: 714 715
Una buena cobertura del programa completo.
OCDE; 1997a. Op. cit. INNES, J.E. & BOOTHER, D.E.; 1999a. Op. cit. 716 Estas conclusiones se basan en ANDREWS, J.H., 1996; ANIELSKI, M. & ROWE, J., 1999; BESLEME, H.et al., 1996; COBB, C. et al., 1995; HART, M., 1999; HOLLAND, J., 1998; INNES, J.E., 1990; INNES, J.E. & CONNICK, S., 1999, REDEFINING PROGRESS, 1998 y REDEFINING PROGRESS, 1997. Fueron elaboradas durante una estancia en la universidad de Berkeley (California) en el Institute of Urban and Regional Development (IURD) de esta Universidad. 717 INNES, J.E. & BOOTHER, D.E.; 1999a. Op. cit. 718 INNES, J.E. & BOOTHER, D.E.; 1999a. Op. cit.
262
CAPTULO IV

Un buen equilibrio entre productos, resultados e impactos. Pragmatismo en lo relativo a las cifras. Pertinencia, es decir, una seleccin de indicadores que toman en cuenta la importancia estratgica y operativa de la informacin. El sistema de indicadores debe facilitar informacin dirigida a mejorar la calidad y la eficacia de la intervencin.
3.1.1.3. Elaboracin de una base de datos y recogida de informacin

Para el manejo y organizacin de esta informacin se hace necesaria la realizacin de una base de datos diseada especialmente para cada programa y de fcil manejo para el personal que ha de operar con ella. La recogida de la informacin en la base de datos ha de verse facilitada por la redaccin de documentos: los cuestionarios para la peticin de ayudas, las memorias de los trabajos para la seleccin de las subvenciones, los informes sobre las visitas de campo y la elaboracin de fichas para el seguimiento de cada beneficiario. De una manera ms informal pero no por ello menos importante est el continuo contacto con los beneficiarios en el da a da del programa. Cuestionarios para la peticin de ayudas En el cuestionario para la peticin de ayudas los beneficiarios potenciales del programa deben aportar sus datos personales, datos sobre la localizacin del proyecto, la descripcin del mismo y sus objetivos, distribucin de los gastos segn medidas y el resto de ayudas pblicas que se hubiesen solicitado. Tambin ha de aportar la documentacin y justificantes que sean precisos y el compromiso de cumplir los requisitos del programa para la concesin de una subvencin. Se ha de aprovechar el cuestionario para la obtencin de indicadores iniciales de tipo fsico, econmico y social y todo tipo de observaciones e informacin adicional para complementar la valoracin del proyecto. Memoria explicativa de los trabajos para la seleccin de subvenciones Las herramientas utilizadas para la seleccin de las subvenciones han de evitar, en la medida de lo posible, apreciaciones subjetivas a la hora de conceder las ayudas, racionalizando y sistematizando el procesos de seleccin. Tambin han de facilitar la funcin de control por las Administraciones encargadas del programa y la autoevaluacin del propio grupo. El primer paso es la seleccin de unos criterios de decisin definidos y consensuados por todos los implicados en el programa de acuerdo con los objetivos y filosofa del programa. El segundo paso es la ponderacin de los criterios en funcin de su grado de prioridad adjuntndoles un coeficiente de ponderacin (normalmente tres, uno para prioridad muy alta, otro para la alta y otro para la prioridad normal). Cada proyecto susceptible de recibir ayuda debe ser valorado con cada uno de los criterios establecidos. Esta valoracin es definida segn la repercusin
263
CAPTULO IV

del proyecto sobre cada uno de los criterios. Pueden establecerse cinco niveles de valoracin: muy positivo, positivo, normal, negativo y muy negativo. Es importante que el anlisis de la subvencionabilidad se agilice hacindolo de forma informatizada como puede ser una hoja de clculo (Excel en entorno de Windows por ejemplo). Las nicas celdas a modificar sern las correspondientes a las valoraciones de cada criterio (y al mximo de subvencin con cargo al programa establecido para el proyecto en caso de ser necesario). La hoja ha de estar diseada para el clculo automtico de la valoracin y subvencin final para el proyecto. Cada evaluacin multicriterio 719 realizada debe ser completada con una breve memoria explicativa con objeto de aclarar las valoraciones dadas a cada criterio. Informes de las visitas de seguimiento En las visitas de campo a los proyectos subvencionados se ha de constatar que las condiciones que llevaron a la seleccin del proyecto siguen siendo vigentes. Se ha de comprobar que el proyecto no ha cambiado de localizacin y se han mantenido las inversiones. Datos de inters son las posibles renovaciones, la ampliacin o reduccin de la inversin, horario de funcionamiento, mantenimiento de empleos, principales problemas o potencialidades detectadas y todo tipo de observacin que se considere de inters. Estas visitas han de dar lugar a un informe donde se ha de recoger toda esta informacin, junto con la fecha y lugar de la visita, ttulo del proyecto y promotor junto con el nombre de las personas presentes en la visita. Es recomendable que el informe est tipificado y el informe se realice con facilidad rellenando las casillas en blanco dejadas al efecto. Fichas para el seguimiento de cada beneficiario La sede administrativa del programa ha de contar con una ficha de seguimiento de cada uno de los beneficiarios del programa que vaya recogiendo las principales incidencias con cada uno de ellos. Es importante que esta informacin se informatice y pase a la base de datos del sistema de informacin. Seguimiento informal Aunque no se recoja en ningn tipo de informe de manera oficial, el seguimiento informal de los beneficiarios y del resto de la poblacin afectada por parte del equipo de seguimiento se considerada esencial. Muchas veces constituye la fuente para una ms adecuada valoracin de los proyectos y de los beneficiarios. La fuente para detectar malestares entre la poblacin o por el contrario una actitud de satisfaccin hacia el programa.
719
264
CAPTULO IV
3.1.2. La autoevaluacin
Al introducir la autoevaluacin, hay que tener cuidado y asegurarse de que no redunda en un aumento del volumen de trabajo improductivo. El apoyo logrado debe verificar la calidad del proceso y ha de permitir comprender mejor los aspectos financieros y relacionados con la gestin. Un buen sistema de autoevaluacin debe contar con tres caractersticas 720: Este tipo de evaluacin se refiere a un proceso continuo y no a ejercicios especiales. Proporciona informacin retroactiva constante al administrador a fin de que se puedan adoptar medidas correctivas. Consiste en ejercicios sencillos internos que no suponen mucha recopilacin de datos. Las evaluaciones sobre la marcha se basan invariablemente en los productos del sistema de informacin del seguimiento. La evaluacin acenta principalmente las recomendaciones prcticas que surgen del programa. La autoevaluacin permite hacer balance de las ltimas actividades y preparar mejor el futuro... Por ser prxima al terreno, la autoevaluacin pone de relieve tanto los elementos ms visibles y fcilmente objetivables como aspectos poco visibles que en general son poco reconocidos o puestos de relieve por una evaluacin exterior, en particular, los aspectos cualitativos e inmateriales 721. Las ventajas de efectuar una evaluacin sobre la marcha son obvias 722: En primer lugar proporciona informacin retroactiva sistemtica a los administradores de programas y de este modo facilita la integracin del seguimiento en el programa. En segundo trmino, toda vez que la evaluacin sobre la marcha corre a cargo del propio personal del programa para consideracin interna, el personal tiene un motivo poderoso para estimar objetivamente los puntos dbiles y fuertes del programa; no necesitan mostrarse defensivos ni evasivos acerca de su progreso. En tercer lugar, dado que el personal tiene un convencimiento ntimo de las actividades del programa, las recomendaciones que se derivan del proceso de evaluacin deben ser prcticas y pertinentes. Es ms probable que los administradores las lleven a la prctica que las recomendaciones de gentes de fuera, quienes pueden creer que no comprenden sus problemas ni aprecian sus perspectivas. Ahora bien, una evaluacin sobre la marcha no es un sustituto de las evaluaciones externas llevadas a cabo en las distintas etapas de una intervencin. Es, eso s, un buen complemento y en gran parte, su fundamento.
720 721 722
CASLEY, D. J. & KUMAR, K.; 1990a. Op. cit. THIRION, S.; 2000. Op. cit. CASLEY, D. J. & KUMAR, K.; 1990a. Op. cit.
265
CAPTULO IV
3.1.3. Relacin entre el sistema de informacin y la autoevaluacin

La relacin entre el sistema de informacin y la autoevaluacin constituye un engranaje fundamental dentro del modelo de seguimiento para la consecucin del aprendizaje sobre la marcha durante la etapa de ejecucin. Los datos obtenidos a travs del sistema de informacin pueden convertirse en conocimiento til a travs de la autoevaluacin. La difusin de conclusiones y recomendaciones derivados de esta autoevaluacin posibilita el aprendizaje, tanto de la poblacin como del equipo que gestiona, sigue y evala el programa. El sistema de informacin y la autoevaluacin han de estar diseados uno en funcin del otro, de manera que en el sistema de informacin se incluyen casi todos los campos cubiertos por una evaluacin interna sobre la marcha. En realidad, la lnea divisoria de ambos es muy tenue, no es posible decir dnde se detiene el sistema de informacin y comienza la autoevaluacin. Cualquier diferencia entre estos dos conceptos, muchas veces es meramente de nfasis. El sistema de informacin tiende a enfocarse ms en las cuestiones de ejecucin del programa, en tanto que la evaluacin sobre la marcha aborda los resultados probables de las intervenciones.
Evaluaciones intermedia y final
Evaluacin
Transmisin de informacin al sistema global
Seguimiento
Sistema de informacin
Recogida de informacin Necesidades de informacin
Autoevaluacin
Recomendaciones prcticas
Redaccin de informes de seguimiento
Verificacin y uso
Programa
Intervencin y especificacin de metas a corto plazo
Control
Informes de control
Contexto
Agentes locales
Desarrollo
FIGURA IV-27: Relacin entre el sistema de informacin y la autoevaluacin. Fuente: Elaboracin propia.
3.1.4. Verificacin y utilizacin de las recomendaciones

Las conclusiones que se vayan extrayendo de la autoevaluacin han de ser verificadas y utilizadas. Un problema importante para disear un sistema de seguimiento es que los funcionarios u organizaciones que tienen acceso
266
CAPTULO IV

original a la informacin se muestran reacios a menudo a cotejarla y difundirla. Hay una tendencia consciente e inconsciente a pasar por alto informacin que advierte que hay un desempeo deficiente o bien a exagerar hechos positivos. Tambin est el temor a que la informacin pueda ser utilizada en contra de los trabajadores. En la medida en que el personal del programa suministra informacin al sistema global, se ha de hacer hincapi en que esa informacin debe ser verificable y registrada de manera objetiva. Los datos tendenciosos pueden ser ms perjudiciales para el sistema que un vaco, que se puede llenar ms tarde mediante la recopilacin directa de datos. Por esta razn se hace hincapi en la palabra interno de manera que la informacin tenga un uso interno antes de su difusin. A nivel interno, dentro de la propia administracin del programa se reduce enormemente esta tendencia a pasar por alto informacin. A nivel interno pueden ponerse sobre la mesa todos los problemas para poder buscar una solucin, la realidad tal y como est siendo. No un dar cuentas sino un buscar soluciones. No un demostrar que se hacen bien las cosas sino hacerlas de hecho.
3.1.5. Intervencin y especificacin de metas

Por ltimo se hace necesario definir el modelo de intervencin del seguimiento y especificar metas para un eficaz uso de las recomendaciones de la autoevaluacin por parte del equipo de gestin . En la ejecucin de programas, el progreso hacia el logro de objetivos a corto plazo se mide por la consecucin de metas para la conclusin del programa y por la adopcin de servicios por la poblacin sealada como objetivo a diversos intervalos. Algunas de esas metas se especifican en los documentos de evaluacin previa del programa, pero otras es necesario elaborarlas en la etapa de ejecucin, en particular en el contexto de la preparacin de los planes y presupuestos anuales. En los documentos de evaluacin previa, algunas metas, aunque cuantificadas, puede que no sean fciles de verificar a corto plazo. Una meta cuantificada que se pueda verificar con carcter regular y sin demora como parte del proceso de seguimiento, se denomina una meta verificable. Es importante que estas metas, se expresen con referencia a la poblacin beneficiaria prevista y sus grupos de inters. El sistema de seguimiento se fundamenta en un modelo de intervencin ya sea explcito o no que explica la relacin existente entre ste y el programa, entre las recomendaciones derivadas del seguimiento y el programa. Esta conexin proporciona continua supervisin del programa con la mira puesta en avanzar de las condiciones existentes hacia el estado deseado.
3.1.6. Redaccin de informes: el enlace entre el seguimiento y el control

Es necesario definir en qu forma se transmitir la informacin. El sistema de informacin deber ser un proceso de participacin conjunta en el que intervenga cada nivel de administracin. Su participacin activa no slo estimula a crear un diseo ms representativo y que se ajusta ms a las necesidades reales, sino que tambin establece redes de comunicaciones y relaciones que pueden contribuir ms tarde a la difusin ms amplia y la
267
CAPTULO IV

utilizacin ms provechosa de las comprobaciones y recomendaciones del proceso de seguimiento. El seguimiento realizado ha de finalizar con la redaccin de los informes de seguimiento, recopilacin de toda la supervisin realizada hasta el momento de su redaccin. Estos informes suponen el suministro ms o menos continuo de informacin al sistema global por parte de la administracin del programa. Se trata de informes de redaccin sencilla que han de contener lo esencial de los hallazgos, haciendo uso de anexos y apndices en caso de querer extenderse a mayores detalles. Las administraciones que actan a cada nivel deben enviar informes peridicos a sus superiores. La redaccin de informes durante la etapa de ejecucin supone el enlace formal entre la supervisin realizada por el equipo de seguimiento del programa y el control realizado por las autoridades permanentes. Todos los informes realizados por el equipo de seguimiento sirven de base para la realizacin de los controles y de los informes de control. El objetivo de estos informes es informar sobre la marcha de los dos principales contenidos del seguimiento, los datos fsicos y financieros y las relaciones con los beneficiarios. Principales incidencias, decisiones tomadas, resultados obtenidos... datos que han de ir acompaados de cuadros y tablas que aclaren el mensaje que se desea transmitir e ilustren los puntos sobre los que se desea hacer hincapi. En el caso de todas las intervenciones plurianuales es conveniente la presentacin de informes de seguimiento y control cada ao. En los informes se presentarn de forma pormenorizada los progresos de la ejecucin de la intervencin durante el ao anterior. Estos informes se deben elaborar sobre la base de los siguientes elementos: Datos sobre el contexto de ejecucin de la intervencin. Progresos realizados en la consecucin de las prioridades y objetivos especficos de las medidas y, en su caso, los progresos efectuados en los grandes proyectos, demostrados cuantitativamente mediante los indicadores de seguimiento adoptados al efecto. Ejecucin financiera de la intervencin a nivel de la medida, sobre la base de indicadores cuantificados. Un aspecto importante para facilitar la transmisin de la informacin es su informatizacin. La base de datos creada para el seguimiento ha de permitir emitir los informes de una manera sencilla y rpida en cualquier momento en que se necesiten.
268
CAPTULO IV
EVALUACIN: INTERMEDIA (ETAPA DE EJECUCIN) Y FINAL (ETAPA DE TERMINACIN)

Los ejercicios especiales de evaluacin dentro del modelo son dos, el primero durante la etapa de ejecucin, ms o menos a la mitad normalmente se realiza durante la segunda mitad y el segundo en la etapa de terminacin del programa. Es por ello que reciben los nombres de evaluacin intermedia y final respectivamente. Su desarrollo en el modelo es prcticamente el mismo: sus diferencias las encontramos principalmente en el contenido de evaluacin.
. EL SEIPA EN LOS EJERCICIOS ESPECIALES DE
4.1. CARACTERSTICAS
Los ejercicios de evaluacin han de dar continuidad y aprovechar al mximo la integracin, participacin y aprendizaje del sistema de seguimiento. Han de constituir el punto de partida fundamental de las actividades de evaluacin.
4.1.1. La Integracin: el seguimiento como base de la evaluacin

Una idea elemental dentro del modelo es la importancia de un buen seguimiento para la realizacin de los ejercicios de evaluacin. El seguimiento constituye su fuente ms bsica de informacin y por ello se ha de dar una perfecta integracin entre ambas tareas. Los ejercicios de evaluacin precisan adems de otras fuentes informativas y de esfuerzos adicionales para la recopilacin de datos pues se trata de ejercicios con mayor profundidad de anlisis. Se produce as una completa integracin entre el sistema de seguimiento que aporta su informacin y los ejercicios evaluacin que aportan sus recomendaciones para la mejora del programa y de su sistema de seguimiento. Con estas recomendaciones se produce tambin la integracin entre los ejercicios especiales de evaluacin y el programa, aportando ste ltimo toda su informacin, de forma continua al seguimiento y de forma puntual y ms profunda a estos ejercicios de evaluacin. La integracin de los ejercicios de evaluacin al programa aseguran la adecuacin de la evaluacin a los aspectos ms especficos del programa a la vez que la integracin del programa a los ejercicios de evaluacin asegura su buena marcha. No slo en cuanto a realizaciones fsicas y financieras, o incluso a la buena marcha de las relaciones con los beneficiarios sino que adems garantizan la consecucin de un desarrollo, el logro en la creacin de un adecuado capital territorial.
269
CAPTULO IV
4.1.2. Ejercicios especiales de Participacin

Dentro de los esfuerzos adicionales para la recopilacin de datos se encuentran los ejercicios especiales de participacin: procesos especficos de participacin para cada uno de estos ejercicios. Segn los medios con los que se cuente se realizarn con encuestas, entrevistas con informantes clave, reuniones... Los ejercicios especiales de evaluacin evaluaciones intermedia y final junto con la evaluacin previa suponen ejercicios especiales de participacin, ejercicios donde la participacin es ms amplia y ms profunda. No son ejercicios de un continuo y simple contacto que permite a la poblacin local ofrecer su participacin en cualquier momento. Se trata de ejercicios que buscan la participacin de toda o buena parte de la poblacin implicada y que tratan de extraer el mximo conocimiento de la poblacin. Son ejercicios costosos que no pueden hacerse de manera continua pero que suelen dar muy buenos resultados. La participacin en las evaluaciones intermedia y final sigue unos procedimientos muy similares a los descritos en la etapa de diseo para la evaluacin previa. La participacin abierta en el diseo ha de ser una referencia clara para la realizacin de estos nuevos ejercicios especiales de participacin.
4.1.3. Ejercicios especiales de Aprendizaje

Los esfuerzos adicionales para la recopilacin de informacin y conseguir una buena participacin deben llevar a un aprendizaje ms profundo sobre el desarrollo que se est produciendo, la marcha del programa y del sistema de seguimiento. Los ejercicios especiales de evaluacin han de convertirse en ejercicios especiales de aprendizaje. La mayor profundidad en el anlisis y en el aprendizaje de los ejercicios especiales de evaluacin viene representado en el esquema que representa el desarrollo del SEIPA por una mayor longitud de los ciclos de aprendizaje de la evaluacin intermedia y final: el mayor descenso representa la profundizacin del aprendizaje de la poblacin local y el mayor ascenso de estos ciclos la profundizacin del aprendizaje de los equipos de evaluacin. Este aprendizaje debe llegar a todos los participantes, a los que gestionan el programa, a los que realizan su seguimiento, a la poblacin afectada y a los que estn realizando su evaluacin. Para su incorporacin es importante cuidar la flexibilidad (combinacin enfoque de procesos y de objetivos): al mismo tiempo que se tienen unos objetivos claros, disfrutar de una flexibilidad que incorpora el aprendizaje que vaya surgiendo.
4.2. CONTENIDO DE EVALUACIN

Los ejercicios especiales de evaluacin comprenden los tres principales aspectos de evaluacin, la lgica de intervencin, la aplicacin e impacto del programa. Principalmente el impacto y la aplicacin. En el caso de la evaluacin intermedia el nfasis est en la aplicacin y gestin del programa pues se trata de un momento donde todava se puede cambiar su
270
CAPTULO IV

rumbo. Si se trata de una evaluacin final el nfasis se encuentra en el anlisis de los resultados e impacto. El estudio de la lgica de intervencin es posible gracias a la estructura misma de los programas, una estructuracin en medidas que puede ser asimilada por una estructuracin en objetivos, que se encuentran directamente vinculados al diagnstico que orient la realizacin del programa. La evaluacin de esta primera etapa debe dar respuesta a la pregunta de si la programacin ha sido adecuada y estaba orientada correctamente. Para ello hay que analizar la pertinencia, coherencia y claridad del programa, con el fin de averiguar si la estrategia seguida era en principio oportuna. En definitiva comprobar la lgica de intervencin: el correcto planteamiento de la actuacin.
PLANTEAMIENTO Y LGICA DE INTERVENCIN APLICACIN Y GESTIN RESULTADOS E IMPACTO
RESULTADOS
Claridad y Coherencia interna
Sistema S&E
Programa
Seguimiento
Medidas
Evaluacin
Proyectos
Realizaciones
BOTTOM-UP
TOP-DOWN
Fundamento
Diagnstico
Eficiencia
Objetivos (de la programacin y de su S&E) Utilidad y sostenibilidad
Eficacia
EVALUACIN INTERMEDIA
EVALUACIN EX-POST
PROCESO
CONTINUO
DE
APRENDIZAJE
FIGURA IV-28: Contenido de evaluacin del SEIPA en los ejercicios especiales de evaluacin. Fuente: Elaboracin propia.
El diagnstico realizado en la etapa de diseo lleva a una apreciacin de problemas y necesidades y a la definicin de unos objetivos. Los objetivos
271
CAPTULO IV

definidos de esta manera trataron de alcanzarse con la aplicacin y gestin de una serie de recursos humanos y financieros. La evaluacin debe responder a la pregunta de si se ha cumplido la programacin prevista con una gestin adecuada: pregunta que realmente englobaba dos, por un lado est el estudio de las realizaciones materiales y por otro el anlisis de la gestin. Se trata de verificar si se ha respetado efectivamente el proceso de programacin y de aplicacin del programa. Es necesario recorrer las diferentes cadenas que vinculan los objetivos con los medidas, verificando si lo que se ha realizado corresponde a lo que se pronostic en la programacin. En definitiva una evaluacin de la puesta en funcionamiento y gestin. En un proceso de feedback, la respuesta a la segunda pregunta aporta nuevos datos para responder la primera y reorientar tal vez su respuesta o matizarla de alguna manera. Primeramente se elabora un acercamiento terico para ver si la programacin es adecuada. Una vez el programa ha pasado a su aplicacin se confronta esta visin terica con los resultados prcticos. Las conclusiones de ambas preguntas se han de retroalimentar mutuamente para activar un proceso de aprendizaje. El estudio del impacto se ha de centrar muy bien especificando qu impactos tratamos de descubrir. Unas pocas preguntas bien formuladas han de bastar para centrar el estudio del impacto. Normalmente estas preguntas estn muy relacionados con los aspectos especficos del programa que evaluamos: aquellos aspectos que dan respuesta a los principales objetivos de la intervencin. El anlisis de cada pregunta se centra en primer lugar en el estudio de como ha funcionado ese aspecto concreto del programa para pasar luego al estudio de cmo estos resultados han contribuido a un impacto global. Pues el estudio del impacto se finaliza con un enfoque global cuya pregunta es: Ha conseguido el programa generar un desarrollo sostenible, interno y local gracias a sus propios recursos? La pregunta trata de detectar el desarrollo generado en la zona y analizar si este es sostenible, es decir, capaz de reproducirse por s mismo a nivel econmico, financiero, social y cultural. Tambin se busca analizar si ese desarrollo se basa en los recursos propios de la zona. Estas son las lneas generales, pero el contenido de un ejercicio de evaluacin no es algo fijo. Depende no slo del tipo de evaluacin como hemos visto, tambin depende de la orientacin que se le quiera dar y los objetivos que busquemos con ella (evaluaciones temticas, nivel de anlisis...). Es por ello que el modelo establece las preguntas clave ya comentadas, encaminadas a fijar el contenido de una evaluacin concreta en unas circunstancias determinadas.
4.2.1. Planteamiento y lgica de intervencin

En los ejercicios especiales de evaluacin se ha de estudiar la lgica de intervencin y hacer una reconstruccin de la cadena de relaciones que conduce de las medidas a los resultados ms inmediatos y al impacto ms a largo plazo del programa y esquematizarla de una manera sencilla. No se trata nicamente de describir el programa sino de determinar las relaciones existentes entre los objetivos que se persiguen con la intervencin, las
272
CAPTULO IV

medidas aplicadas para alcanzar dichos objetivos y los resultados obtenidos. Se trata de realizar un anlisis crtico que permita dar respuesta a la pregunta de cmo las medidas contribuyen al logro de los objetivos. Para responder a la primera pregunta sobre lo adecuado de la programacin planteada es necesario reconstruir la estructura del programa. Esta estructura debe existir puesto que ha servido de base para la construccin del programa. Sin embargo, muchas veces no est bien definida y faltan pasos intermedios que conviene clarificar. En estos casos, es necesario precisar los objetivos del programa en sus diferentes niveles. Esto se hace en general identificando los grupos de acciones concretas que persiguen una meta anloga. Se define esta meta y se expresa en trminos de objetivo determinando en que se desea modificar la situacin de referencia. Una vez tenemos la estructura del programa se realiza el anlisis de su lgica de intervencin. Este anlisis debe haber sido realizado en la programacin a la vez que revisado en las primeras etapas de evaluacin (evaluacin previa) y corroborado en etapas posteriores. Por tanto no debe ser necesario ms que un pequeo anlisis crtico que permita dar respuesta a los criterios de evaluacin de pertinencia y coherencia.
4.2.1.1. Pertinencia
En el caso de una evaluacin de fase intermedia, el equipo de evaluacin debe examinar hasta qu punto estn evolucionando las necesidades socio econmicas y los problemas de desarrollo, si empeoran o mejoran, e intentar explicar por qu. El objetivo es examinar si la estrategia establecida mantiene su pertinencia en vista de las nuevas circunstancias que puedan darse. En caso de no ser as la evaluacin intermedia debe permitir adecuar el programa al nuevo contexto territorial. El objeto de este cuestionamiento en la evaluacin final es sobre todo el de conocer si el programa bajo estudio es el medio para resolver los problemas que se estn abordando, o por el contrario debe apostarse por otras vas de solucin. Una buena herramienta para analizar este criterio es la realizacin de una matriz donde se crucen las matrices DAFO con los objetivos del programa que se estn desarrollando. De este modo se evalan si quedan cubiertas las principales debilidades, amenazas, fortalezas y oportunidades con los objetivos propuestos.
4.2.1.2. Claridad y coherencia de los objetivos: Coordinacin con otros programas

Es importante la reconstruccin de los objetivos que realmente se han seguido si stos no coincidieran con los inicialmente planteados. Esto nos debe servir para estudiar su coherencia interna y la claridad con que fueron definidos. En el caso de la coherencia externa, el principal riesgo es la aparicin, a medio camino, de otras intervenciones que duplican o contradicen el programa evaluado. Si fuera necesario, la evaluacin intermedia debe revisar
273
CAPTULO IV

las polticas similares y estudiar si prolongan, complementan, solapan o contradicen el programa en marcha. Este estudio consiste en entrevistas con los gestores y operadores de programas y con cualquier otra persona en situacin de proporcionar informacin fiable. En el caso de la evaluacin intermedia la posible deteccin de estos cambios en las polticas e intervenciones relacionadas con el programa deben llevar a un replanteamiento de la intervencin en caso de que se vea necesario. En el caso de la evaluacin final el objetivo es el de verificar la efectiva coordinacin de la lgica de intervencin con el resto de intervenciones a lo largo del programa. Para el estudio de la coherencia externa se recomienda seguir los mismos pasos y utilizar las mismas herramientas que los sealados en la evaluacin previa.
4.2.1.3. Coherencia entre los objetivos y medidas

La bsqueda de la coherencia interna entre las medidas y los objetivos del programa tendr una gran importancia en el caso de la evaluacin de fase intermedia, cuando el programa an puede mejorarse. En ese caso, la evaluacin debe contribuir al reorientacin de las medidas hacia los objetivos en caso de que sea necesario: bien porque los objetivos hayan cambiado, bien porque las medidas no hayan sido correctamente orientadas. En la evaluacin final el estudio de esta coherencia busca la comprobacin de que sta se haya dado a lo largo de la aplicacin del programa. En caso negativo, el estudio debe llevar a comprender las razones de la falta de coherencia detectada y as contribuir al aprendizaje para prximas programaciones. La herramienta que se aconseja es la realizacin de una matriz que enfrente las medidas aplicadas con los objetivos que se persiguen. Esta matriz permite verificar que las medidas cubren todos los objetivos y lo hacen de una manera adecuada.
4.2.1.4. Calidad del documento de programacin

As como la evaluacin previa vela por el logro de un documento de programacin con una calidad adecuada, la evaluacin intermedia y sobretodo la final, comprueban que efectivamente se da esa calidad. Las perspectivas son distintas, cuando se realizan estas dos ltimas evaluaciones el programa est en marcha o ya ha terminado con lo que ya existe una experiencia prctica del programa. Con ella se detectan posibles desajustes, faltas de claridad, incoherencias... que antes de poner en prctica el programa son difciles de identificar. El objetivo es analizar si los defectos detectados en el documento de programacin son justificables por las circunstancias y medios empleados en su momento, o por el contrario responden a una falta de profesionalidad o
274
CAPTULO IV

de buen hacer. Los ocho criterios de calidad que se proponen son los siguientes 723: Satisfaccin de las necesidades: Aporta la evaluacin la informacin suficiente para preparar un plan y se ajusta a las condiciones establecidas? Alcance: Incluye el fundamento del programa y los resultados e impactos esperados? Concepcin: La concepcin de la evaluacin es apropiada para responder a preguntas clave en el momento preciso? Datos: Son adecuados los datos tiles recabados y se tiene suficientemente en cuenta su fiabilidad? Validez del anlisis: Se somete la informacin disponible a los anlisis oportunos? Credibilidad de los resultados: Se derivan lgicamente del anlisis los resultados y estn justificados por el mismo? Imparcialidad de las conclusiones: Son las conclusiones objetivas y operativas y estn libres de la influencia de las opiniones de los interesados? Claridad: Est el informe escrito de una forma fcil de comprender?
4.2.2. La aplicacin del programa y la gestin

Cuando un programa ofrece incentivos a los agentes econmicos para llevar a cabo determinadas actuaciones, la evaluacin conlleva interesarse por la adecuacin de la difusin (grado de conocimiento, idoneidad de los canales empleados, calidad de la informacin transmitida,...), de los trmites necesarios para acceder a las ayudas, de los requerimientos, de la asistencia tcnica prestada, etc. y en definitiva cmo se ha aplicado y gestionado el programa.
4.2.2.1. Anlisis de la aplicacin del programa

Para responder a la pregunta sobre el cumplimiento de la programacin prevista se han de examinar las medidas y verificar si stas se han desarrollado y segn qu modalidades. Slo a este nivel se puede apreciar la conformidad en trminos de "volumen" -o de objetivos fsicos - de las medidas previstas. Se debe analizar cada medida del programa, por una parte, con relacin al eje en el que se site (anlisis en su contexto) y, por otra, en relacin con un cierto nmero de criterios de desarrollo provenientes de experiencias anteriores y difundidos ampliamente. Con cada una de las medidas se debe proceder de esta manera durante las etapas intermedias y finales de evaluacin (evaluacin intermedia, continua y posterior), una vez comprobada su puesta en prctica. En los ejercicios especiales de evaluacin, se puede ir mucho ms all y examinar los detalles de las medidas administrativas, la distribucin de responsabilidades entre gestores y operadores, los documentos de ejecucin entregados a los operadores, los criterios de seleccin de proyectos, etc.
723
COMISIN DE LA UE; 1999a. Op. cit.
275
CAPTULO IV
4.2.2.1.1. Anlisis econmico y financiero

En el trabajo de evaluacin, son particularmente relevantes tres clases de anlisis econmico y financiero. Estos son la viabilidad financiera, el anlisis coste-eficacia y el anlisis coste-beneficio. La viabilidad financiera es normalmente muy simple, ya nos encontremos en actividades de produccin o de desarrollo social. Se trata de estimar los costes reales en relacin con los recursos financieros que estn o estarn disponibles a lo largo del tiempo. Situarse estrictamente en el nivel financiero permite determinar la factibilidad financiera de las actuaciones, su autonoma en relacin con la factibilidad econmica. La estructura de la financiacin (importancia relativa de la autofinanciacin, de los emprstitos y de las subvenciones) puede dificultar la factibilidad de la accin en el plano financiero, cuando sta es factible en el plano econmico. El coste-eficacia puede estimarse en muchos casos despus de transcurrido cierto tiempo. Se trata de valorar los costes del programa en relacin con el nmero de usuarios, con programas similares en otra parte, etc. Aqu el evaluador debe preguntarse si podran haberse alcanzado resultados similares a un coste menor; por ejemplo, utilizando otros medios o formulando el programa de manera diferente. Debe asimismo considerarse si podran haberse reducido los costes sin un impacto demasiado negativo sobre los resultados. El anlisis coste-beneficio se utiliza principalmente cuando la utilidad de un programa puede medirse en trminos monetarios. Esto puede hacerse en programas con un enfoque puramente productivo; pero es bastante ms complicado, si no imposible, cuando se trate de programas que tienen un enfoque social u otro de carcter no productivo. Con el anlisis costebeneficio la pregunta que hay que responder es si el valor de rentabilidad del programa su beneficio justifica los costes en los que se incurre. Al final de este anlisis econmico-financiero se conoce el nivel de realizacin de cada uno de los objetivos operacionales sealando cual ha sido el funcionamiento de cada una de las medidas aplicadas. Nos permite hacer una primera estimacin de cmo y porqu las operaciones y acciones han permitido o no alcanzar los objetivos propuestos.
4.2.2.1.2. Realizaciones
Los ejercicios especiales de evaluacin comprueban la realizacin efectiva de la actividad determinando el grado de cumplimiento del programa (retrasos sobre la programacin). Tambin estudian el grado de acogida o aceptacin y las razones que explican su xito o fracaso de acogida. Estas evaluaciones realizan un anlisis de porcentajes de realizacin segn volumen de medios utilizados, del alcance (beneficiarios), plazos y duracin prevista con la ayuda de indicadores. Esto permite medir la eficacia del programa en este mbito ms inmediato (efectos directos o inmediatos), examinando, a travs del anlisis de los indicadores, el grado de consecucin de los objetivos ms inmediatos propuestos. Este anlisis determina la aportacin de cada medida aplicada permitiendo formar un juicio sobre la calidad y rendimiento de cada una de ellas.
276
CAPTULO IV

Para formular un juicio en relacin a estos primeros aspectos especficos y bien delimitados de un programa puede recurrirse al anlisis coste-eficacia.
4.2.2.1.3. Desviaciones encontradas

Se ha de terminar con el anlisis de las desviaciones encontradas. Se trata de identificar las desviaciones observadas entre los objetivos, por un lado y las medidas por otro, con el fin de determinar las relaciones entre los dos. Toma un papel importante en este caso la participacin social para valorar qu agentes han causado la desviacin, externos o internos, y de que manera lo han hecho. Se hace necesario responder a la razn de estas desviaciones: las medidas pueden no ser eficientes, pueden no ser pertinentes o coherentes con los objetivos, los objetivos operacionales pueden no ser suficientes para poner en prctica el eje en cuestin... Tambin es importante considerar si las capacidades humanas y materiales movilizadas son las adecuadas y si existe suficiente coordinacin institucional para asegurar el buen funcionamiento. Habra que determinar si para la solucin de estas desviaciones bastara con las financiaciones obtenidas o, si al contrario, habra que emprender acciones a una escala mucho ms grande.
4.2.2.2. Valoracin de la gestin y seguimiento

En la valoracin de la gestin y seguimiento se valoran numerosos aspectos tales como la correcta gestin interna del equipo administrador del programa en cuanto a procedimientos establecidos, criterios de valorizacin y seleccin, y requisitos exigidos el adecuado control por parte de las instancias superiores al programa verificaciones iniciales, apoyo tcnico, plan de controles e informes realizados la existencia de una correcta coordinacin entre las diferentes instituciones implicadas en la gestin a nivel local, regional y dems niveles superiores, as como el grado de autonoma y flexibilidad alcanzados.
4.2.2.2.1. Resultados de los controles de aplicacin

Como primer paso conviene analizar los resultados de las verificaciones iniciales y controles realizados por las instituciones implicadas en el programa. En los informes de control deben haberse recogido los resultados sobre el cumplimiento de los procedimientos establecidos, de las normas legales y principios que rigen el programa. Una vez comprobado que estos controles fueron bien realizados, que las comprobaciones se hicieron de la manera idnea y que, en definitiva, su informacin es fiable, esta informacin puede utilizarse como punto de partida para la evaluacin de la gestin del programa.
4.2.2.2.2. Organizacin interna y toma de decisiones

Estos resultados han de complementarse con el estudio de la gestin interna y el sistema de seguimiento (realizaciones y beneficiarios) implementado. Se analiza la comunicacin con los beneficiarios potenciales de forma que stos
277
CAPTULO IV

conozcan los procedimientos para la concesin de las ayudas, los criterios de subvencionabilidad, los requisitos exigibles y la documentacin a aportar as como las caractersticas generales del programa. Se aborda tambin el estudio del modelo de toma de decisiones su estructura y adecuacin los requisitos exigidos a los beneficiarios y los criterios de subvencionabilidad. Los ejercicios especiales de evaluacin estudian el vnculo entre los criterios de seleccin de proyectos y los objetivos del programa En ese caso de deteccin de anomalas, la evaluacin debe contribuir a la eleccin de criterios que sean ms acertados a los objetivos que se plantean (sobre todo en el caso de evaluacin intermedia). Estos criterios constituyen un factor clave para el xito del programa, por el tipo de proyecto que se selecciona o por la asignacin de prioridades.
4.2.2.2.3. Coordinacin y retrasos

La administracin interna de un programa nunca es un ente aislado, sino que forma parte de un engranaje administrativo diferente segn el pas donde nos encontremos. Por ello es importante analizar la coordinacin existente entre la administracin del programa y el resto de instituciones que de alguna manera estn implicadas en el programa, bien en su control, bien en su financiacin, bien en su apoyo tcnico. Es posible que el estudio de esta coordinacin detecte fallos que hayan llevado a numerosos retrasos en la aplicacin del programa, en la llegada de las ayudas, en la realizacin de los controles... En estos casos es necesario analizar las causas e intentar facilitar vas de solucin para mejorar la coordinacin del programa (evaluacin intermedia) o bien pensando en futuras programaciones (evaluacin final). Es importante tambin en el estudio de la aspectos como la flexibilidad (aparicin de rigideces) y el grado de autonoma alcanzado por la administracin interna del programa. En ambos casos valorar si se trata de una flexibilidad y autonoma adecuadas a las circunstancias que se presentan. Otro aspecto a estudiar es la existencia en la modulacin de gastos, sueldos, viajes, alquiler de locales, telfono, fax, internet... de forma que no aparezcan gastos y sueldos de programas similares con diferencias difciles de justificar.
4.2.2.2.4. Anlisis coste-eficacia

Para realizar un anlisis coste-eficacia de cualquier programa es necesario enfrentar los recursos empleados (costes) con los resultados obtenidos (beneficios) y analizar a posterori si stos son aceptables para la inversin realizada. Para obtener los costes basta recurrir a los gastos de las medidas encaminadas al mantenimiento de la administracin del programa, su gestin, seguimiento y evaluacin. La suma de estos gastos nos da el coste total del programa.
278
CAPTULO IV

El estudio de los beneficios es ms complicado. Es necesario recurrir al estudio del impacto y hacer un anlisis global que nos lleve a los principales logros del programa. Solucin de problemas como el empleo, la contaminacin ambiental, la desigualdad entre hombres y mujeres, la dificultad al acceso laboral de los jvenes, la falta de capital territorial, la falta de iniciativa local... u otros problemas coyunturales formarn parte de estos principales logros. Es importante ilustrar este anlisis con indicadores cuantitativos como el coste de gestin por proyecto, o por nuevo puesto de trabajo fijo creado... Indicadores que ilustran las magnitudes que se manejan y que constituyen tan slo un apoyo a todo el anlisis realizado.
4.2.3. Resultados e impacto

En la evaluacin previa se realiza un diagnstico sobre los resultados que se esperan alcanzar con el programa que se implementa. En el sistema de seguimiento se constatan resultados e impactos que se van detectando aunque el primer estudio serio del impacto se realiza con la evaluacin intermedia. Pero el nico documento donde queda reflejado el impacto del programa a lo largo de su aplicacin es el de la evaluacin final. Este es el aspecto clave en la realizacin de la evaluacin final. Conocer los resultados (efectos directos) de un programa supone conocer bien las caractersticas de la accin o acciones en las que se ha materializado el programa. Interesan especialmente aquellas caractersticas relacionadas con los objetivos del programa, por ejemplo, empleos creados, poblacin formada, alojamientos creados, ... El impacto de una actuacin o programa es una de las cuestiones que ms interesan de un ejercicio de evaluacin. Se ha de establecer de forma relativizada relacionndolo con cifras de poblacin o superficie afectadas por el programa, con objeto de que se pueda comparar con otras comarcas. En este tercer aspecto de evaluacin, adems de llevar el anlisis de la eficacia y eficiencia ms all de las realizaciones puramente materiales, aborda el estudio de la utilidad y sostenibilidad de los impactos producidos con la intervencin. Con los que se terminan de abordar los aspectos clave que se deben analizar en toda evaluacin.
4.2.3.1. Reconstruccin de la situacin de referencia: la situacin sin programa

El anlisis de los datos obtenidos se realiza de modo que sea posible efectuar comparaciones y llegar a conclusiones, de tal manera que la evaluacin sirva para determinar si los efectos que el programa ha producido son suficientes frente a los objetivos marcados. El primer paso para ello es la reconstruccin de la situacin de referencia, el punto de partida antes de la aplicacin del programa. A partir de ah el anlisis de los datos nos muestra lo que ha ido ocurriendo, pero cabe siempre la pregunta de qu es lo que se debe realmente al programa evaluado: para ello se puede realizar la hiptesis de lo que hubiese ocurrido si el programa no se hubiese llevado a cabo 724.
724
Ver anlisis shif share y los modelos macroeconmicos en el punto 2.1.3. del Anexo I.
279
CAPTULO IV

Esta hiptesis se realiza partiendo de la situacin de referencia o hipottica a menudo es necesario reconstruir la situacin de referencia a partir del pasado y se analiza qu hubiese sucedido sin la intervencin, definindose habitualmente como "la situacin sin programa". No se trata de la situacin inicial sino de la situacin que vivira el territorio si el programa no hubiera existido. En el caso de que cierto nmero de operaciones sean complementarias a otros programas existentes se hace especialmente importante tener esto en cuenta. Esto se hace excepcionalmente, pues es un trabajo costoso y laborioso.
2000000 1500000 1000000 500000 0
Aplicacin del POSEICAN
Carne de gallina
10000 8000 6000 4000 2000
0 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 Valor de la produccin de gallinas (miles de ptas.)con el POSEICAN Produccin de gallinas total (Tm. de peso vivo)con el POSEICAN Valor de la produccin SIN EL POSEICAN Produccin SIN EL POSEICAN
Carne de ganado ovino

300000 250000
800 700 600 200000 500 150000 400 300 100000 200 50000 100 0 0 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 Valo r d e la p ro d ucci n o vina (miles d e p tas .)co n el POSEICAN Pro d ucci n o vina to tal (Tm d e p es o vivo )co n el POSEICAN Ap licaci n d el POSEICAN Valo r d e la p ro d ucci n SIN EL POSEICAN Pro d ucci n SIN EL POSEICAN
Esta situacin puede clarificarse mediante indagaciones sobre el valor aadido de la ayuda, si los promotores hubiesen invertido sin la ayuda. La comparacin entre grupos puede tambin servir para determinar los efectos netos de la ayuda, es decir, lo que cabe atribuir directamente a la ayuda. Para ello, un grupo de beneficiarios se compara con otro grupo similar que no goce de ayuda, tal vez antes y despus de la intervencin. La comparacin de grupos puede servir tambin para determinar los efectos ajenos a la intervencin. A este respecto, la realizacin de una encuesta entre no beneficiarios puede servir para analizar si determinados proyectos se habran llevado a cabo aun sin ayuda. Cualquiera que sea el fenmeno a analizar, siempre conviene elaborar un indicador que permita caracterizar tanto la situacin de referencia como el objetivo, an cuando este ltimo sea decididamente de naturaleza cualitativa.
FIGURA IV-29: Ejemplos del estudio de la situacin sin programa en la evaluacin del POSEICAN Canario realizada desde el Dto. de Proyectos en 1999. En ellos se ve la evolucin de las producciones de carne de gallina y ganado ovino de 1985 a 1996 y una estimacin (lneas punteadas) de lo que hubiera sucedido si el programa no se hubiese aplicado. Fuente : Elaboracin propia a partir de los Datos Estadsticos Agrcolas, Ganaderos y Forestales canarios del Servicio de Estadstica de la Consejera de Agricultura, Pesca y Alimentacin del Gobierno de Canarias.
El mtodo que se emplea ms corrientemente es aquel que consiste en elaborar tendencias a partir del anlisis del perodo anterior a la aplicacin del programa. Por supuesto, esto supone que se disponga de indicadores pertinentes, "variables", es decir un fenmeno que evoluciona en el tiempo y en el espacio. Son los mismos indicadores que permiten caracterizar los objetivos operacionales, pues no son ms que una modificacin de la situacin de referencia (modificacin de la tendencia). Por lo tanto, se les caracteriza utilizando las mismas herramientas.
280
CAPTULO IV
4.2.3.2. Aspectos globales y especficos

La definicin y anlisis de los objetivos globales y especficos (aspectos especficos) del programa constituye un punto de referencia fundamental a la hora de analizar el impacto del programa. El estudio del impacto se aborda en primer lugar a travs de los aspectos especficos del programa y su impacto en la zona de aplicacin. El estudio se termina con un enfoque ms global que trata de detectar los impactos ya a un nivel ms general del programa en su conjunto. Se desarrollan por tanto dos tipos de preguntas de evaluacin. Por un lado, preguntas especficas para cada uno de los objetivos especficos del programa (especificidades), por otro, algunas preguntas globales para cada uno de los objetivos globales, y que han de cubrir todo el programa en su conjunto. Las primeras tratarn de detectar cual es el valor aadido que aportan las especificidades del programa, mientras que las ltimas analizan el impacto global, la relacin existente entre cada una de las especificidades y medidas, as como su aportacin al impacto global detectado.
4.2.3.2.1. Aspectos especficos

En un primer paso el estudio del impacto se centra en los impactos especficos, propios de un programa concreto, fundamentados en los aspectos especficos que presenta la intervencin. En un segundo paso el estudio se centra en el impacto a un nivel ya ms global que nos permita valorar en su conjunto el resultado e impacto del programa. Orientadas a analizar el impacto global, las preguntas especficas para la deteccin de aspectos especficos del programa, aun siendo importantes en s mismas, hay que responderlas teniendo en cuenta el contexto global. De esta forma responden no slo al funcionamiento de esa especificidad sino que adems ayudan a responder las preguntas sobre el impacto global del programa.
4.2.3.2.2. Aspectos globales: Combinacin de resultados

El estudio del impacto global del programa responde a preguntas relacionadas con los logros para la generacin de un desarrollo sostenible fundamentado en los propios recursos del territorio, en su capital territorial. Conocer el nivel de desarrollo alcanzado como consecuencia programa y si ste es de carcter sostenible, analizando el apoyo en los recursos propios de la zona y su capacidad para reproducirse por s mismo a nivel econmico, financiero, social y cultural una vez desaparezcan las ayudas. Comprobar si se ha logrado una participacin de los agentes sociales y econmicos. Analizar la influencia de las caractersticas especficas del programa en la consecucin de los objetivos fijados inicialmente. Tambin es importante valorar la consecucin de un impacto global positivo en temas como los problemas medioambientales, la desigualdad de mujeres y jvenes, la contribucin a la creacin de empleo o su conservacin, el despoblamiento y envejecimiento de la poblacin... o cualesquiera que sean los problemas ms acuciantes del territorio con el que se trabaje.
281
CAPTULO IV

La respuesta a estas preguntas globales no slo deben ofrecer una imagen global del impacto. Debe complementar esta imagen con una visin de la relacin entre las diferentes caractersticas especficas del programa y entre las diferentes medidas implementadas y la influencia de estos aspectos internos en el impacto generado. Tambin es importante que reflejen el anlisis sobre la influencia de los factores externos (incluidas las diligencias administrativas) en el impacto generado.
4.2.3.3. Examen de las relaciones causa-efecto

Durante el anlisis del impacto se ha de dar importancia al examen de las relaciones causa-efecto entre las acciones y los resultados (efectos inmediatos) y entre stos y el impacto (efectos a largo plazo) sobre los objetivos. Se hace especialmente importante la participacin social en la reconstruccin de las cadenas de causalidad 725.
Diseo Ejecucin Evaluacin intermedia Terminacin Evaluacin ex-post APRENDIZAJE (Mejora de la experiencia evaluadora)
RESULTADOS E IMPACTO
ANLISIS DE LOS RESULTADOS E IMPACTO

Equipo de evaluacin Criterios y resultados
PROGRAMA
Programa
CONTEXTO
Impacto (largo plazo) PARTICIPACIN SOCIAL Contraste de la informacin global del enfoque descendente con la deducida del enfoque ascendente por agregacin
BOTTOM-UP
Medidas
Proyectos
Realizaciones
Aproximaciones sucesivas (reconstruccin de las cadenas de causalidad) Contraste de la informacin detallada del enfoque ascendente con la deducida del enfoque descendente por desagregacin
U T I L I Z A C I N D E R E S U L T A D O S
PARTICIPACIN SOCIAL PARTICIPACIN SOCIAL
TOP-DOWN TOP-DOWN
Objetivos (programacin)
Necesidades
PARTICIPACIN SOCIAL
APRENDIZAJE (Mejora de la experiencia planificadora)
FIGURA IV-30: Evaluacin de los resultados e impacto en los ejercicios especiales de evaluacin del SEIPA. Fuente: Elaboracin propia.
Durante el anlisis del impacto aplicamos la combinacin de enfoques topdown y bottom-up de forma que se vayan realizando aproximaciones sucesivas a lo que realmente constituye el impacto del programa. Estas
725
Ver la tcnica de anlisis de regresin en el punto 2.2.3 del Anexo I.
282
CAPTULO IV

aproximaciones surgen del contraste de informaciones. Contraste de la informacin agregada obtenida con una perspectiva global por el enfoque descendente con la informacin deducida del enfoque ascendente por agregacin. Contraste de la informacin detallada del enfoque ascendente con la deducida del enfoque descendente por desagregacin. Para la agregacin y desagregacin de informacin se hace necesaria la participacin social de forma que stas se hagan con el mayor grado de correccin posible. Cuando del contraste de informacin surgen desavenencias que hay que interpretar, corregir, reorientar... tambin se debe contar con la participacin social puesto que la poblacin local es muchas veces la que mejor puede interpretar y buscar una solucin a estos resultados.
4.3. DESARROLLO PROFUNDIDAD
DEL
MODELO:
LOS
ANLISIS
EN
A: Aprendizaje I: Informacin Rm: Recomendaciones Rs: Resultados A P R E N
A
Eval de procesos Eval por objetivos
A
Eval de procesos
Eval por objetivos
Evaluacin intermedia R I Rm A
Evaluacin final I I Terminacin del seguimiento Rm Rm
Z A J
N Utilizacin de resultados
Ejecucin del seguimiento
R I
Rm A
Programa
N
I I
Ejecucin del programa Rs P A R T I C I I P A C
Terminacin (Resultados) Rs Contexto I I N

Introduccin de la capacidad de evaluacin local en el ciclo de aprendizaje
socio-econmico
Necesidades locales Poblacin local
Beneficiarios Impacto Realizaciones (fsicas y financieras) I Rs I Rs
Conocimientos y recursos locales
Desarrollo
Ciclo de aprendizaje
Satisfaccin de necesidades locales Construccin de capacidades locales y fortalecimiento institucional
Creacin de capital social para complementar los recursos humanos y fsicos I A P R E N A Rs D I Z I A Rs A J E
FIGURA IV-31: Desarrollo del SEIPA durante los ejercicios especiales de evaluacin (evaluacin intermedia y final). Fuente: Elaboracin propia.
283
CAPTULO IV

En el desarrollo de los anlisis en profundidad comenzamos con la necesidad de determinar el nivel de anlisis con que se van a abordar junto con el cuidado de la homogeneidad para la comparacin de resultados y organizacin de los flujos de informacin y terminamos con la elaboracin del documento final. Por el camino veremos el modo de aprovechar y dar continuidad a la integracin, participacin y aprendizaje puestos en marcha desde el diseo, la definicin del contenido de la evaluacin a travs de preguntas clave y el tratamiento de cada una de ellas.
4.3.1. Decidir el nivel de anlisis: Homogeneidad y comparacin de resultados

Todo ejercicio especial de evaluacin comienza con el estudio del programa que se va a evaluar, de su contexto y poltica que lo enmarca que adems llevar a decidirse por un determinado nivel de anlisis. Este estudio permite comprender lo que se puede esperar del trabajo de evaluacin que se va a llevar a cabo. A partir de entonces, se pueden definir las necesidades de informacin y comenzar a trabajar. Decidido el nivel de anlisis es necesario realizar las evaluaciones de forma que pueda agregarse su informacin con otros trabajos de evaluacin realizados bajo el mismo modelo. Un modo sencillo de conseguirlo lo constituyen las preguntas clave en que se basa nuestro modelo en la realizacin de ejercicios especiales de evaluacin. Junto a ellas se encuentra un conjunto de indicadores clave que se ha de definir representando parte de las respuestas y conclusiones a las que llega la evaluacin. El tratamiento de cada una de las preguntas clave y en especial la respuesta, conclusiones y recomendaciones ha de dar respuestas cualitativas concisas acompaadas de indicadores clave que permiten una agregacin cmoda y sencilla. Es claro que la agregacin a niveles superiores necesita de datos y mtodos cuantitativos que faciliten esta agregacin: la evaluacin del uso del dinero pblico a un nivel global (regional, nacional o europeo) necesita de mtodos cuantitativos_726. Sin embargo no son suficientes y han de ir acompaados de datos y comentarios cualitativos que impidan que la informacin cuantitativa se desvirte en su flujo hacia niveles superiores.
4.3.2. Definicin del contenido: Preguntas clave de evaluacin

Quienes preparan los trminos de referencia de una evaluacin deben tener una idea clara de a qu propsito pretende servir la evaluacin 727. La experiencia adquirida nos muestra que el frecuente fracaso que se obtiene en el campo de la evaluacin es consecuencia, a nuestro modo de ver, de no comprender y definir adecuadamente que se busca con una determinada evaluacin. Para evitar esta primera desorientacin, nuestro modelo tiene como gua la formulacin de una serie de preguntas clave de evaluacin, elaboradas especficamente para cada actuacin de manera que permitan
726 727
RAY, C.; 2000. Op. cit. NORAD UD; 1997. Op. cit.
284
CAPTULO IV

determinar cual es el objetivo de la evaluacin que se emprende. Ayudar a conocer dnde queremos ir y cmo llegar hasta all 728. La definicin de estas preguntas presupone un proceso previo de estructuracin que permita determinar qu impacto cabe esperar de un cierto programa, de modo que sea posible elaborar preguntas de evaluacin apropiadas 729. Estas preguntas pueden venir dadas en los trminos de referencia de la evaluacin, con lo que desde el principio el cliente que encarga la evaluacin deja claro que es lo que desea saber de la actuacin que se puso en marcha. Si es as, han de venir definidas de tal manera que al evaluador le ha de quedar claro que se espera de la evaluacin y que aspectos son los que se han de tratar, pues como venimos viendo son muchos los aspectos que de un mismo programa podemos evaluar. Pero en la mayora de los casos estas preguntas no vienen definidas y es el mismo evaluador el que ha de determinar un conjunto de preguntas clave que le permitan, a travs de una metodologa de respuesta, recoger adecuadamente la realidad del programa. Las preguntas han de centrarse en los aspectos esenciales del programa sin descuidar con ello aspectos tradicionales como la importancia de las diferentes medidas previstas en el programa, el volumen de la financiacin... Esto supone que, salvo en casos excepcionales, el modelo puede concentrarse en aquellas preguntas que respondan realmente a los aspectos clave y especficos del programa sin olvidar de tratar aspectos ms generales. Esa especial dedicacin no debe, de ningn modo, mermar el alcance y calidad de la evaluacin. Al definir el sistema de evaluacin, ser preciso garantizar que las especificidades de la intervencin se tengan en cuenta en todos los planos durante el proceso de ejecucin, y atender a la contribucin que se espera de esas especificidades a los resultados del programa 730. En el caso de programas con un amplio mbito de aplicacin es especialmente delicado delimitar el inters de las preguntas. Por regla general, consideramos que se ha de hacer lo posible por no limitarlo a los beneficiarios del programa, sino que se ha de extender a los diferentes mbitos administrativos que impliquen al programa (sectorial, regional, nacional, ...). De este modo se garantiza la determinacin de los resultados del programa en los diferentes niveles de intervencin, aunque todo depende de cuales sean los objetivos de la evaluacin que se est llevando a cabo. En definitiva se trata de establecer qu puedo evaluar para luego determinar que quiero evaluar.
4.3.3. Tratamiento de cada pregunta: metodologa de respuesta

En un modelo de evaluacin basado en un conjunto de preguntas clave, es fundamental contar con una buena metodologa de respuesta que permita tratar adecuadamente las cuestiones planteadas y sacar todo el provecho posible de cada una de ellas. El manual de evaluacin de la USAID seala que los mtodos requeridos deben ser consistentes con las preguntas que se
728 729 730
MITCHELL, B.; 1999. Op. cit. COMISIN DE LA UE; 2002a. Op. cit. COMISIN DE LA UE; 2002a. Op. cit.
285
CAPTULO IV

plantea la evaluacin y deben ser factibles considerando la financiacin disponible 731. Se establecen as para cada pregunta un conjunto de criterios e indicadores en perfecta adaptacin con el programa, que permiten recopilar de forma coherente la informacin obtenida y evaluar los resultados conseguidos. Tambin facilitan la agregacin y comparacin de los resultados. Es recomendable aportar, en la medida de lo posible respuestas cuantitativas a las preguntas de evaluacin, usando los indicadores apropiados. En cualquier caso siempre es necesario proporcionar una respuesta cualitativa bien justificada. Los pasos a seguir para el tratamiento de cada pregunta una vez formulada se sealan a continuacin.
4.3.3.1. Finalidad y comprensin de la pregunta

Explicacin de la pregunta haciendo una pequea descripcin de lo que se busca con ella. Es un punto donde se matiza, dentro de la amplitud de cada pregunta, lo que se va a estudiar en concreto y los aspectos en que se har ms hincapi. Tambin se centra la aportacin de la respuesta al contexto global de la evaluacin y se da razn de su importancia para la evaluacin.
4.3.3.2. Criterios para la evaluacin

En este punto se especifican los criterios que ayudan a formular un juicio de valor sobre el xito de los objetivos planteados a la vista de los resultados arrojados por los indicadores y dems informacin obtenida. Se trata de constatar los aspectos en los que nos vamos a fijar y el grado de exigencia con el que vamos a medirlos, para dar una respuesta a la pregunta. El criterio sirve para evaluar el xito de la ayuda examinada, al poner en relacin el indicador con el resultado o impacto previsto. Dentro del criterio podemos distinguir lo que propiamente se llama criterio (aumento, disminucin...) y el llamado nivel de objetivo, esto es, el nivel que ha de alcanzarse para satisfacer el criterio y concluir que la ayuda ha tenido xito. Habitualmente, ese nivel se corresponder con un objetivo cuantificado. Esta divisin es conveniente desde el momento en que los programas de desarrollo se crean en muchos casos para el logro de objetivos especficos de carcter regional, local o sectorial, en el marco de los objetivos fijados en una legislacin ms amplia. Por ello, para un determinado criterio puede ser necesario fijar diferentes niveles de objetivo en diversos programas. El nivel de objetivo buscado (los niveles que a los que el programa aspira) puede definirse en relacin con un punto o lnea bsica de referencia, que normalmente ser la situacin de los beneficiarios al iniciarse el programa aunque puede venir dado por normas existentes o por el conocimiento de cul es la mejor prctica en el sector, lo que se habr determinado, por ejemplo, en la evaluacin posterior de un programa anterior. En la medida de lo posible es importante huir de una formulacin genrica del nivel de objetivo dando simplemente una lnea bsica con un punto de
731
USAID; 1997. Op. cit.
286
CAPTULO IV

referencia. Atendiendo a las caractersticas del programa circunstancias locales hay que delimitarlo con mayor precisin. y a las
Los niveles de objetivo buscados tendran que venir expresados en el documento de programacin a travs de la evaluacin previa. Pero no siempre el equipo evaluador se encuentra en esta situacin. En muchas ocasiones no estn definidos y es necesario hacerlo. Para ello se puede acudir a un nivel de objetivo expresado en forma ms bien genrica dando una lnea bsica con un punto de referencia. En estos casos, corresponde al equipo evaluador, cuando proceda y atendiendo a las caractersticas del programa o a las circunstancias locales, delimitar el objetivo con mayor precisin.
4.3.3.3. Anlisis para la respuesta

Se realiza aqu el anlisis de toda la informacin obtenida para lograr una respuesta a la pregunta planteada lo ms precisa posible. Son varias las tareas a realizar dependiendo de cada caso. Tras la recopilacin y anlisis de los datos y la posible necesidad de tener que reconstruir la situacin de referencia es necesario tratar de definir algunos indicadores que permitan extraer algunas conclusiones y as responder a la pregunta. Las preguntas pueden referirse a la eficacia, la eficiencia, la utilidad, etc., lo que hay que tener presente a la hora de recopilar informacin. Al mismo tiempo, para evaluar los efectos netos y lograr as que los resultados de la evaluacin sean ms fiables es necesario tener en cuenta factores exgenos, el efecto de desplazamiento, etc. Una vez recopilados los datos, se efecta la evaluacin, analizndolos y determinando los efectos del programa concernientes a la pregunta que se est respondiendo. Para analizar los datos y llegar a conclusiones que permitan formular un juicio, se pueden utilizar diversos instrumentos. La eleccin del instrumento depende del tipo de programa evaluado, su complejidad o el tipo de informacin que se busque. As, por ejemplo, para formular un juicio en relacin con aspectos especficos y bien delimitados del programa como son las realizaciones materiales, se puede recurrir al anlisis coste-eficacia. En el caso de aspectos ms complejos es ms apropiada una tcnica multicriterio 732. Anlisis de efectos En algunos casos, deben analizarse los efectos de sustitucin y de desplazamiento, por ejemplo, cuando se trate de ayuda al empleo. Las entrevistas son tiles para determinar estos efectos. Posteriormente, puede determinarse el efecto neto del programa deduciendo del efecto bruto los efectos ajenos a la intervencin, el efecto de sustitucin y el de desplazamiento. Cuando proceda, deben analizarse tambin los efectos imprevistos, incluidos los negativos, y la influencia de factores exgenos significativos.
732
287
CAPTULO IV

Con el fin de apreciar los efectos de complementariedad y de sinergia, hay que analizar la relacin con otros programas y/o entre diversas medidas de un mismo programa. Distintas medidas o programas pueden generar un mismo impacto o reforzarse mutuamente. Tambin ha de plantearse el problema de los objetivos explcitos y de los objetivos implcitos, los primeros representan lo que se ha programado, anunciado y por ende, lo que debera llevarse a cabo normalmente. Los objetivos implcitos, por el contrario, corresponden a aquello que los agentes esperan del programa. Los agentes dominantes procuran, necesariamente, reorientar - implcitamente - el programa, en el sentido de sus propios intereses. Obtencin de indicadores Es importante concluir el anlisis con la bsqueda de indicadores que mejor recojan el anlisis de la informacin realizado y preparen la respuesta a la pregunta. Como norma general, se eligen indicadores que puedan medir los progresos en la consecucin de los objetivos del programa. Los indicadores relacionan las medidas implementadas con los resultados e impactos del programa. Sea cul sea la fase de aplicacin del programa, los indicadores se refieren a una realizacin, un resultado o un determinado impacto. As como una misma pregunta puede contener varios criterios, tambin puede tener varios indicadores. Los indicadores se cuantifican a travs de los sistemas de seguimiento o basndose en los datos recogidos ex profeso para la evaluacin. En principio deben referirse al mismo mbito geogrfico que el programa de desarrollo. Sin embargo se debe contemplar la posibilidad de que algunas medidas no sean aplicadas en la totalidad de la zona abarcada por el programa, o que persigan objetivos especficos adaptados a la zona cubierta. Los indicadores son importantes para llegar a conocer los hechos, pero, a menudo, ni abarcan en su totalidad ni explican las causas que motivan esos hechos. Por tanto, deben ser considerados instrumentos que ayudan a responder a las preguntas de evaluacin, pero no constituyen la respuesta completa. En la bsqueda de la respuesta se recomienda acudir a otras fuentes de informacin diferentes de los indicadores, tales como evaluaciones anteriores, estudios o investigaciones y en general cualquier tipo de informacin cualitativa. Se deben elegir indicadores que puedan ofrecer informacin til con relacin a la lgica de intervencin del programa, de manera que puedan utilizarse en las diferentes fases de la lgica de intervencin. Dependiendo de cul sea el nivel de evaluacin tendremos: indicadores de realizaciones cuando se evalan las realizaciones, de resultados cuando se evalan los resultados y de impacto cuando se evale el impacto. Es importante apreciar tambin la interrelacin existente entre los elementos de la lgica de intervencin y detectar cuando una determinada realizacin puede producir varios impactos a la vez. Es importante no perderse en interminables bateras de indicadores y concentrarse en los indicadores ms significativos potencialmente. No es
288
CAPTULO IV

necesario definir demasiados indicadores, un sistema de indicadores deber limitarse a los ms pertinentes.
4.3.3.4. Respuesta: Conclusiones y recomendaciones

Basndose en toda la informacin recogida y analizada, tanto cuantitativa como cualitativa, se da una respuesta concisa fundamentada en los apartados anteriores. Como la evaluacin es considerada esencialmente un anlisis de lo que se ha hecho, estas respuestas deben permitir saber como ocurrieron las cosas y por qu. Por otro lado se considera que la evaluacin ha de estudiar especialmente los impactos logrados tanto a corto como a largo plazo, detenindose en los aspectos sociales, culturales, medioambientales... segn corresponda a la pregunta en cuestin. Adems se han de considerar aspectos como la utilidad y sostenibilidad de los impactos conseguidos, para sacar finalmente unas conclusiones y recomendaciones. Evaluar para reprogramar de otra manera, este es considerado el objetivo final de la evaluacin. De aqu la idea de sustituir una programacin que se ocupa de los programas uno tras otro, teniendo cuidado de comenzar el siguiente slo cuando se ha terminado con el anterior, por una programacin denominada "deslizable", "continua" o an "en circuito". Esta procede por evaluaciones continuas, lo que le permite modificar permanentemente las intervenciones y la estructuracin de las mismos. De esta manera se crea un proceso que pasara por las siguiente secuencias: evaluacin en curso, nueva elaboracin, nueva programacin, ejecucin, evaluacin, etc. Se considera que esta forma de programacin se adapta bastante bien a los programas de desarrollo y a su organizacin. Adems tiene la ventaja de proporcionar al equipo gestor los medios para dominar el proceso de desarrollo iniciado a travs del aprendizaje. Esto constituye, sin duda, la condicin imprescindible para que este sea un proceso sostenible. En la bsqueda de la respuesta se recomienda acudir a indicadores y contrastar su informacin con comentarios de tipo cualitativo. Todas las recomendaciones y conclusiones que se hagan han de venir justificadas por esta informacin y han de expresarse de manera clara y sencilla.
4.3.3.5. Limitaciones de la respuesta

Indicar aqu las posibles limitaciones de la respuesta dada en el apartado anterior, de manera que sta se pueda valorar adecuadamente. Como limitaciones se pueden entender informaciones que hubieran sido valiosas pero no pudieron conseguirse, la relativa fiabilidad de algunos datos, la imposibilidad de resolver determinadas situaciones, la poca colaboracin obtenida, la mala programacin realizada con anterioridad... y en definitiva todo lo que constituya un obstculo a la buena realizacin de la evaluacin.
289
CAPTULO IV
4.3.4. Redaccin de documentos de evaluacin: un resultado de todos los trabajos de S&E realizados
Los informes de evaluacin constituyen el principal flujo de informacin del programa hacia su exterior. Es cierto que estn los informes de seguimiento y control pero ninguno de ellos tiene la profundidad y alcance de un ejercicio especial de evaluacin. Es por ello que, junto con el informe de programacin, son los documentos de elaboracin ms cuidada. Los resultados de la evaluacin deben ser presentados de modo que puedan ser entendidos y utilizados 733. Los ejercicios especiales de evaluacin trascienden el nivel de anlisis del programa y pasan a formar parte normalmente de ejercicios de evaluacin realizados a otros niveles regionales, nacionales... y por ello es necesaria su homogeneidad. Homogeneidad que no es slo de metodologa y anlisis sino que tambin de redaccin, contenido y estructura de los informes. La estructura de los informes de evaluacin debe ser tal que garantice el tratamiento de todos los aspectos esenciales y unos resultados comparables que permita su sntesis. La estructura puede consistir en un resumen, un informe principal y unos anejos. El conjunto, y desglosando el contenido del informe principal se debe contar con: Resumen (mx. 10 pginas, con una breve descripcin del trabajo realizado, la metodologa aplicada y una sntesis de las conclusiones y recomendaciones del estudio, en forma de respuestas a las preguntas de evaluacin). Introduccin (contexto del programa, caractersticas de la aplicacin, finalidad de la evaluacin) Explicacin del enfoque metodolgico (concepcin y anlisis, recopilacin de datos y fuentes utilizadas, fiabilidad de los datos y las conclusiones) Presentacin y anlisis de la informacin recopilada (informacin financiera y realizaciones, informacin sobre los beneficiarios utilizada, respuestas a las preguntas comunes, constataciones en relacin con las preguntas especficas del programa) Conclusiones (en relacin con los objetivos de las polticas implementadas, los objetivos especficos del programa, la eficacia, eficiencia, utilidad y sostenibilidad de los resultados, ...) y recomendaciones. Anexos. Los informes de evaluacin deben tener una calidad adecuada. Para ello podemos analizar el cumplimiento de los siguientes criterios extrados del volumen I de la coleccin MEANS 734: Satisfaccin de necesidades: Satisface apropiadamente la evaluacin las necesidades de informacin? se ajusta al pliego de condiciones? Alcance pertinente: Se analiza plenamente la motivacin del programa, sus realizaciones, resultados e impacto, incluida la interaccin entre las diversas medidas y sus consecuencias, previstas o imprevistas? Concepcin adecuada: Est concebida la evaluacin de forma apropiada para garantizar que queden recogidas la totalidad de las constataciones,
733 734
PATTON, M.Q.; 1999. Op. cit. COMISIN DE LA UE; 1999a. Op. cit.
290
CAPTULO IV

as como las limitaciones metodolgicas, para responder a las preguntas de evaluacin? Datos fiables: En qu medida los datos primarios y secundarios recopilados o seleccionados son apropiados, esto es, ofrecen un grado de fiabilidad adecuado para el uso a que se destinan? Anlisis slido: Se analiza la informacin cuantitativa y cualitativa apropiada y sistemticamente, conforme a las tcnicas ms avanzadas, de modo que sea posible responder a las preguntas de evaluacin de forma vlida? Constataciones fiables: Las constataciones hechas son la consecuencia lgica de un anlisis de datos y una interpretacin, basados en hiptesis racionales y cuidadosamente descritas, que constituyen su justificacin? Conclusiones imparciales: Son las recomendaciones justas, sin que en ellas se interfieran opiniones personales o intereses particulares, y lo suficientemente detalladas, de manera que puedan ponerse en prctica? Informe claro: Se describe claramente el programa evaluado, incluidos el contexto y finalidad del mismo, as como los procedimientos y constataciones de la evaluacin, de modo que la informacin aportada pueda comprenderse fcilmente?
4.3.4.1. Informe principal: Conclusiones y recomendaciones

El informe principal ha de contener los aspectos esenciales que describen el programa que se evala, la metodologa empleada y los resultados de la evaluacin realizada: sus conclusiones y recomendaciones. La descripcin del programa ha de abarcar de modo breve la descripcin del programa estrategias, medidas, objetivos, modos de gestin y financiacin y su contexto. Dentro de este contexto, hacer un escueto repaso del contexto territorial el capital con el que cuenta el territorio - , del contexto legal e institucional. Esta descripcin enmarca la evaluacin y facilita la interpretacin de los resultados en el caso de una persona ajena al territorio. Se proporciona as una herramienta para comprender mejor las circunstancias que rodean la intervencin. La descripcin de la metodologa empleada debe ceirse a lo escuetamente necesario para comprender los pasos seguidos con la evaluacin. Marco legal de referencia, aspectos principales que se evalan, definicin de preguntas clave de evaluacin, metodologa de respuesta, nivel de anlisis escogido y fuentes de informacin. Se trata de introducir lo que constituye el grueso del documento: los resultados de la evaluacin llevada a cabo. Una vez familiarizado con la metodologa empleada la lectura de este tercer bloque ha de resultar ms fcil y comprensible. Los resultados de la evaluacin realizada pueden comenzar con un repaso de las actividades de control, seguimiento y evaluacin desarrolladas hasta la fecha. Las conclusiones de este repaso nos llevan a la descripcin de los resultados obtenidos. Primero con respecto al planteamiento y lgica de intervencin respondiendo a la pregunta sobre si la programacin ha sido la adecuada: finalidad, criterio, anlisis, respuesta y limitaciones a la respuesta. El segundo bloque los constituye la aplicacin del programa y su gestin respondiendo a la pregunta de si se ha seguido la programacin prevista y
291
CAPTULO IV

de si esto se consigui con una gestin adecuada: finalidad, criterio, anlisis, respuesta y limitaciones a la respuesta. El tercer bloque resume las respuestas a las preguntas sobre los resultados e impacto del programa. Comenzando con las preguntas especficas el bloque termina con el anlisis de las preguntas globales. Todas las preguntas estructuradas por su finalidad, criterio, anlisis, respuesta y limitaciones encontradas. El documento debe finalizar con una serie de conclusiones y recomendaciones que extraigan todo el aprendizaje que se pueda concluir tras la realizacin de la evaluacin. Esto facilita el aprendizaje de quin se propone la mejora del programa evaluado (evaluacin intermedia) o la mejora de una posterior programacin (evaluacin final).
4.3.4.2. Resumen
El informe principal ha de estar acompaado por un breve resumen con los datos bsicos sobre el programa, la metodologa de evaluacin y sobre todo, sobre los resultados de la evaluacin: conclusiones y resultados. El resumen facilitar la difusin de estas conclusiones y recomendaciones y posibilitar su puesta en prctica as como su difusin a todas las instituciones implicadas en el programa. Tambin resulta fundamental para la agregacin de resultados en posibles evaluaciones a niveles superiores de anlisis.
4.3.4.3. Anejos
El informe principal tambin ha de ir acompaado de una serie de anejos. La funcin de estos anejos es la de descargar al informe principal de informacin que no es bsica y se facilite as su lectura. Tablas de datos, informacin excesivamente desagregada o especializada, encuestas realizadas, datos financieros, explicaciones ms detalladas de algunos aspectos... Es informacin valiosa pero su inclusin en el informe principal dificultara su lectura ms que ilustrar los resultados obtenidos. Cualquier persona interesada en profundizar en algn aspecto concreto de la evaluacin puede acudir a los anejos y encontrarla all. Pueden incluirse anejos que describan con mayor precisin y especializacin la metodologa empleada, la participacin social realizada o la gestin interna de los programas. Otros anejos pueden condensar toda la informacin obtenida, fuentes y datos estadsticos, datos financieros del programa, fuentes documentales e informticas consultadas. Otros pueden tratar con ms extensin los informes y controles realizados con anterioridad al programa o desarrollar con ms extensin toda la normativa aplicable.
292
CAPTULO IV
. CONCLUSIONES PARA LA APLICACIN
Terminamos el captulo con la elaboracin de una gua resumida para la aplicacin del modelo y un anlisis prctico de las dificultades que en el contexto actual del desarrollo, podemos encontrar para aplicar el SEIPA en sus diferentes etapas.
5.1. GUA RESUMIDA PARA LA APLICACIN DEL SEIPA

Aunque la mejor gua para la aplicacin del modelo es la lectura atenta del presente captulo, se expone a continuacin a modo de resumen una gua esquematizada para la aplicacin del modelo. Como se ha podido comprobar, la descripcin del modelo est estructurada en tres grandes bloques correspondientes a la puesta en marcha de las caractersticas del modelo, el establecimiento y organizacin de los contenidos de S&E y desarrollo del SEIPA en cada una de sus etapas: la evaluacin previa en la etapa de diseo, el seguimiento en la etapa de ejecucin y los ejercicios especiales de evaluacin (intermedia y final). En cada una de estas etapas es necesaria una adecuada puesta en marcha de las caractersticas del modelo y un apropiado establecimiento de los contenidos de S&E.
5.1.1. Etapa de diseo

En el caso de la evaluacin previa distinguimos unos trabajos iniciales para la puesta en marcha de las caractersticas del modelo y el establecimiento y organizacin de los contenidos de S&E a travs de: la adaptacin del modelo al programa y contexto que se van a manejar, la constitucin y formacin de los equipos de gestin y evaluacin, y la definicin del mbito del S&E con el establecimiento del nivel de anlisis de stas actividades y la organizacin de los flujos de informacin. Desde los primeros pasos es importante tener en cuenta la necesidad de revisar de forma continua la lgica de intervencin, el asegurar la adecuacin y calidad de los mecanismos de ejecucin y realizar una anticipacin de los resultados y problemas de las estrategias que se vayan desarrollando. En definitiva, tener muy presente el contenido de evaluacin definido para esta etapa.
293
CAPTULO IV

I. EVALUACIN PREVIA
Puesta en marcha de la Integracin, la Participacin y el Aprendizaje Adaptacin del modelo al programa y su contexto (Integracin como nexo de unin externo) Trabajos preparatorios Constitucin, seleccin y preparacin de equipos Constitucin del equipo de gestin y seguimiento (Integracin como nexo de unin interno) Seleccin del equipo de expertos en S&E Formacin profesional de los equipos (Organizacin de los mecanismos de participacin y aprendizaje) Establecimiento y organizacin de los contenidos de Seguimiento y Evaluacin Eleccin de objetivos y profundidad de anlisis Eleccin del nivel de anlisis inicial Organizacin de flujos de informacin Desarrollo del SEIPA : La puesta a punto de un programa adecuado y evaluable Participacin Supervisin de la programacin Establecimiento de la situacin de base e indicadores de contexto Anlisis continuo de la lgica de intervencin en la definicin de la estrategia (criterios de evaluacin) Supervisin de la identificacin de prioridades Clculo de estimaciones (indicadores de cuantificacin previa) Control de los retrasos en el inicio del programa Supervisin de la redaccin del documento de programacin y evaluacin previa Tercera fase de participacin (reuniones y mesas redondas) Primera y segunda fase de participacin (entrevistas a gestores e informantes clave) Integracin, participacin y aprendizaje continuos Supervisin de la idea inicial del programa
FIGURA IV-32: Gua para la aplicacin del SEIPA en la evaluacin previa durante la etapa de diseo. Fuente: Elaboracin propia.
5.1.2. Etapa de ejecucin

En el caso de la aplicacin del SEIPA al seguimiento, distinguimos tres pasos fundamentales: el establecimiento del sistema de informacin, del sistema de autoevaluacin y el comienzo de las actividades de seguimiento con la verificacin y utilizacin de las recomendaciones de la autoevaluacin, la intervencin y especificacin de metas y la redaccin de los informes de seguimiento que servirn de base al control y evaluacin de la intervencin. La participacin, reflejada en el seguimiento mediante un continuo contacto con los beneficiarios y con la poblacin en general, es fuente de informacin en el establecimiento del sistema de informacin y fuente de aprendizaje en el sistema de autoevaluacin.
294
CAPTULO IV
II. SEGUIMIENTO
Continuidad de la Integracin, la Participacin y el Aprendizaje 1. Establecimiento del sistema de informacin Aplicacin de los contenidos del Seguimiento Definicin de las necesidades de informacin Diseo del sistema de indicadores Elaboracin de la base de datos Integracin Participacin 3. Inicio del seguimiento (fsico, financiero y del contacto con el beneficiario) Desarrollo del SEIPA: El Seguimiento por proyectos Recogida de informacin Elaboracin de recomendaciones Integracin, participacin y aprendizaje continuos Definicin del contenido de la autoevaluacin 2. Establecimiento del sistema de autoevaluacin
Verificacin y utilizacin de recomendaciones Aprendizaje Intervencin y especificacin de metas Redaccin de informes de seguimiento
FIGURA IV-33: Gua para la aplicacin del SEIPA en el seguimiento durante la etapa de ejecucin. Fuente: Elaboracin propia.
5.1.1. Ejercicios especiales de evaluacin

Puestas en marcha las caractersticas del modelo, el primer paso en los ejercicios especiales de evaluacin es definir el nivel de anlisis inicial y el contenido de evaluacin mediante las preguntas clave. Posteriormente se trata cada pregunta segn la metodologa de respuesta diseada. Especial inters requiere el anlisis donde un trabajo de gabinete inicial analiza la informacin secundaria recogida y un trabajo de gabinete final analiza y contrasta la informacin secundaria recogida al inicio y la obtenida en el trabajo de campo. Tras este anlisis se procede a dar respuesta a cada una de las preguntas de evaluacin, sacando conclusiones y recomendaciones precisas y claras. El ltimo paso consiste en plasmar los resultados obtenidos en el documento de evaluacin intermedia o final, segn el caso. Especial relieve ha de tener en ellos el conjunto de conclusiones y recomendaciones que sirvan al mecanismo de aprendizaje.
295
CAPTULO IV
III. EJERCICIOS ESPECIALES DE EVALUACIN Continuidad de la Integracin, la Participacin y el Aprendizaje Aplicacin de los contenidos de Evaluacin definidos Decidir el nivel de anlisis inicial Definicin del contenido de evaluacin (preguntas clave) Desarrollo del SEIPA : Los anlisis en profundidad Tratamiento de cada una de las preguntas establecidas aplicando la metodologa de respuesta Establecimiento de finalidades y criterios de evaluacin Anlisis para las respuestas Recogida de la informacin secundaria Trabajo de gabinete inicial (anlisis de la informacin secundaria) Trabajo de campo con la recogida de informacin primaria (participacin, observacin y medicin directa) Trabajo de gabinete final (anlisis y confrontacin de todas las informaciones recogidas) Elaboracin de respuestas a las preguntas clave Establecimiento de las limitaciones de las respuestas dadas Redaccin de documentos de evaluacin (Conclusiones y recomendaciones) Aprendizaje Integracin
FIGURA IV-34: Gua para la aplicacin del SEIPA en los ejercicios especiales de evaluacin: intermedia (etapa de ejecucin) y final (etapa de terminacin). Fuente: Elaboracin propia.
5.2. ASPECTOS DECISIVOS PARA LA CORRECTA APLICACIN DEL SEIPA

El modelo diseado responde a las dificultades encontradas a la hora de establecer un buen sistema de S&E para el desarrollo que tenga utilidad, es decir, con capacidad de mejorar las intervenciones a travs del aprendizaje. Algunas de estas dificultades han sido fruto de concepciones errneas o modelos y modos de hacer equivocados. Otras han sido fruto de las circunstancias en las que se desarrollaron estas actividades y que de alguna manera han obstaculizado su realizacin. Nuestro modelo ha buscado solucionar tanto unas como otras. Pero as como las primeras tienen una solucin conceptual y terica, las segundas tienen una solucin prctica que depende de la implementacin del modelo en unas circunstancias concretas con unos protagonistas determinados. Antes de entrar con la descripcin de la aplicacin prctica del modelo adelantamos algunos de los peligros que en base a la experiencia adquirida consideramos pueden encontrarse durante la aplicacin prctica del SEIPA en cada una de sus etapas. Aspectos donde ha de centrarse la atencin pues estn poco asimilados por los implicados en el desarrollo y en su S&E, pueden resultar algo innovadores o requieren un esfuerzo que los implicados han de estar dispuestos a realizar.
296
CAPTULO IV
Integracin, participacin y aprendizaje continuos
5.2.1. Etapa de diseo

En primer lugar destacar la dificultad de lograr una buena adecuacin al programa y su contexto. Los mltiples aspectos en que nos podramos fijar hacen utpico el intentar analizar y tener en cuenta todas las circunstancias y perspectivas. Para ello el modelo propone un anlisis profundo de los objetivos, estrategia y funcionamiento del programa y un estudio de su contexto que fija la atencin en los aspectos territoriales, legales e institucionales. Para realizar este estudio es necesario contar con unas fuentes adecuadas de informacin. La adecuacin no se realiza con una simple labor de gabinete: hay que contar con el llamado trabajo de campo, visitar el territorio y conocer a los diversos protagonistas que se vern implicados en la intervencin que se est diseando. Dentro del diseo del programa tambin destaca la dificultad de arrancar desde un principio los mecanismos de participacin y aprendizaje. Para conseguirlo hace falta aunar voluntades y esfuerzos de cara a lograr una perfecta integracin de las actividades de seguimiento y evaluacin con las actividades de programacin y con la poblacin implicada. Una movilizacin de esfuerzos que ha de cuidarse desde el momento mismo en que se empieza con el diseo del programa de desarrollo. A todo esto hay que sumar las pocas ocasiones en las que nos hemos encontrado con ejercicios serios de evaluacin previa, tan importante en el modelo diseado. Todas las dificultades que pueden derivarse de la etapa de diseo pueden solventarse con una buena evaluacin previa. El problema es que muchas programaciones no la incluyen y cuando lo hacen lo hacen de una forma muy superficial. Por tanto, la verdadera y gran dificultad que podemos encontrar en la aplicacin de nuestro modelo en la etapa de diseo no es otra que la falta de concienciacin sobre la necesidad de realizar seriamente este primer ejercicio de evaluacin.
5.2.2. Etapa de ejecucin

La mayor dificultad con la que se puede encontrar nuestro modelo en la etapa de ejecucin es la implementacin efectiva de un buen sistema de seguimiento: una actividad que la experiencia constata como una de las que ha tenido una prctica ms deficiente. En unos casos se arrastra de la etapa de diseo una falta de definicin del sistema, en otros encontramos una falta de apoyo tcnico y una desorientacin generalizada de las actividades a realizar, en otros una falta de control de las actividades que se estn llevando a cabo, en otros una falta de organizacin... El resultado en todos ellos es un sistema de seguimiento o bien casi inexistente o bien muy deficiente sin capacidad de aportar una buena informacin a los ejercicios especiales de evaluacin. La implementacin de las actividades de seguimiento corre a cargo de los encargados de la gestin del programa. Es necesaria una confianza en ellos pero tambin se hace necesaria una labor de control y apoyo tcnico por parte de las instituciones pertinentes.
297
CAPTULO IV

Nuestro modelo cuyos ejercicios especiales de evaluacin se basan en la experiencia e informacin facilitada por el sistema de seguimiento se juega mucho en la superacin de esta dificultad. Como en el caso de la evaluacin previa, es necesaria una labor de concienciacin sobre la necesidad del seguimiento como sistema de informacin y como sistema de autoevaluacin: de evaluacin continua sobre la marcha.
5.2.3. Ejercicios especiales de evaluacin

La realizacin de los ejercicios especiales de evaluacin intermedia y final siguiendo nuestro modelo, tropieza con las dos grandes dificultades citadas anteriormente: la falta de concienciacin de la necesidad de un buen ejercicio de evaluacin previa y un buen sistema de seguimiento. En muchos casos se trata ms que de una verdadera falta de concienciacin pues su aceptacin es ms o menos generalizada de la falta de una correcta implementacin, de un modelo adecuado para realizarlas. Esto ha llevado a una situacin en la que para realizar un ejercicio de evaluacin de estas caractersticas se parte prcticamente de cero. El resultado son evaluaciones que necesitan grandes cantidades de inversin o evaluaciones que no llegan a ahondar en los aspectos que tratan por una clara falta de antecedentes provenientes de la evaluacin previa y el seguimiento. A modo de conclusin, podemos establecer como principal dificultad para la aplicacin prctica de nuestro modelo el conseguir una efectiva continuidad de todas las etapas de seguimiento y evaluacin. El conseguir que no se trate de ejercicios individuales, especialmente en el caso de los ejercicios especiales de evaluacin a mitad y final del periodo de programacin.
298
CAPTULO IV
CAPTULO IV: MODELO PARA EL S&E DEL DESARROLLO RURAL: EL SEIPA
. PRESENTACIN DEL SEIPA.......................................................................................205
1.1. CARACTERSTICAS ......................................................................................................206 1.1.1. La Integracin .............................................................................................................206 1.1.2. La Participacin ..........................................................................................................208 1.1.3. El Aprendizaje ............................................................................................................211 1.1.4.. Otras caractersticas implicadas ................................................................................215
1.1.3.2. Gestin del conocimiento................................................................................................ 212 1.1.3.3. Gestin de la innovacin................................................................................................. 214
1.2. CONTENIDO DEL S&E..................................................................................................216 1.2.1. El planteamiento y lgica de intervencin ..................................................................217 1.2.2. La aplicacin y gestin................................................................................................218 1.2.3. Resultados e impacto...................................................................................................219 1.3. DESARROLLO DEL MODELO EN CADA UNA DE SUS ETAPAS.........................219 1.3.1. Etapas del modelo........................................................................................................221 1.3.2. Relacin entre las distintas etapas ..............................................................................221 1.3.3. Sistema de indicadores ................................................................................................223
1.3.3.1. Tipos de indicadores empleados.................................................................................... 223 1.3.3.2. Utilizacin de indicadores en las distintas etapas del modelo................................... 224
. EL SEIPA EN LA EVALUACIN PREVIA: ETAPA DE DISEO .........................227
2.1. CARACTERSTICAS ......................................................................................................227 2.1.1. La Integracin .............................................................................................................227 2.1.2. La Participacin ..........................................................................................................228 2.1.3. El Aprendizaje ............................................................................................................230 2.2. CONTENIDO DE EVALUACIN ................................................................................231 2.2.1. Anlisis continuo de la lgica de intervencin............................................................231
2.2.1.1. Fundamento: Anlisis del contexto ............................................................................... 232 299
CAPTULO IV

2.2.1.2. Pertinencia.........................................................................................................................232 2.2.1.3. Coherencia interna del programa...................................................................................232
2.2.1.3.1. Claridad y coherencia de los objetivos ........................................................................................233 2.2.1.3.2. Coherencia de las medidas aplicadas ..........................................................................................233
2.2.2. Adecuacin y calidad de los mecanismos de ejecucin ................................................236 2.2.3. Estimacin de resultados y anticipacin de problemas................................................236 2.3. DESARROLLO DEL MODELO: LA PUESTA A PUNTO DE UN PROGRAMA ADECUADO Y EVALUABLE ..............................................................................................237 2.3.1. Trabajos preparatorios.................................................................................................238
2.3.1.1. Adaptacin del modelo al programa y su contexto .....................................................238 2.3.1.2. Constitucin, seleccin y preparacin de equipos .......................................................239
2.3.1.2.1. Constitucin del equipo de gestin y seguimiento....................................................................241 2.3.1.2.2. Seleccin del equipo de expertos en S&E ....................................................................................242 2.3.1.2.3. Formacin profesional de los equipos .........................................................................................244
2.2.1.4. Coherencia externa: Coordinacin con otras intervenciones......................................233 2.2.1.5. Conclusiones sobre la evaluabilidad, utilidad, viabilidad y sostenibilidad .............234
2.3.1.3. Definicin del mbito de seguimiento y evaluacin....................................................244

2.3.1.3.1. Eleccin de objetivos y profundidad del anlisis.......................................................................245 2.3.1.3.2. Eleccin del nivel de anlisis inicial .............................................................................................245 2.3.1.3.3. Organizacin de los flujos de informacin .................................................................................246
2.3.2. Supervisin de la programacin..................................................................................247

2.3.2.1. Preparacin de la idea......................................................................................................247 2.3.2.2. El diagnstico del territorio.............................................................................................248 2.3.2.3. Situacin de base e indicadores de contexto .................................................................249 2.3.2.4. Definicin de la estrategia y objetivos: la clave de la adaptacin ..............................249 2.3.2.5. Establecimiento de indicadores de cuantificacin previa ...........................................251 2.3.2.6. Redaccin del documento de programacin y evaluacin previa .............................252 2.3.2.7. Inicio del programa y control de retrasos .....................................................................253
. EL SEIPA EN EL SEGUIMIENTO: ETAPA DE EJECUCIN..................................254
3.1. CARACTERSTICAS.......................................................................................................254 3.1.1. La Integracin .............................................................................................................254 3.1.2. La Participacin ..........................................................................................................255 3.1.3. El Aprendizaje.............................................................................................................256 3.2. CONTENIDO DEL SEGUIMIENTO .............................................................................257 3.2.1. Seguimiento fsico y financiero ...................................................................................258 3.2.2. Seguimiento del contacto con el beneficiario ...............................................................258 3.3 DESARROLLO DEL MODELO: EL S&E POR PROYECTOS ......................................259 3.1.1. El sistema de informacin ...........................................................................................259
3.1.1.1. Definicin de las necesidades de informacin..............................................................260 3.1.1.2. Diseo de un sistema de indicadores.............................................................................261 3.1.1.3. Elaboracin de una base de datos y recogida de informacin....................................263
3.1.2. La autoevaluacin .......................................................................................................265 3.1.3. Relacin entre el sistema de informacin y la autoevaluacin ....................................266
300
CAPTULO IV

3.1.4. Verificacin y utilizacin de las recomendaciones ......................................................266 3.1.5. Intervencin y especificacin de metas........................................................................267 3.1.6. Redaccin de informes: el enlace entre el seguimiento y el control .............................267
. EL SEIPA EN LOS EJERCICIOS ESPECIALES DE EVALUACIN:
INTERMEDIA (ETAPA DE EJECUCIN) Y FINAL (ETAPA DE TERMINACIN) ..269 4.1. CARACTERSTICAS ......................................................................................................269 4.1.1. La Integracin: el seguimiento como base de la evaluacin.........................................269 4.1.2. Ejercicios especiales de Participacin..........................................................................270 4.1.3. Ejercicios especiales de Aprendizaje............................................................................270 4.2. CONTENIDO DE EVALUACIN ................................................................................270 4.2.1. Planteamiento y lgica de intervencin ......................................................................272
4.2.1.1. Pertinencia ........................................................................................................................ 273 4.2.1.2. Claridad y coherencia de los objetivos: Coordinacin con otros programas ........... 273 4.2.1.3. Coherencia entre los objetivos y medidas..................................................................... 274 4.2.1.4. Calidad del documento de programacin .................................................................... 274 4.2.2.1. Anlisis de la aplicacin del programa ......................................................................... 275
4.2.2.1.1. Anlisis econmico y financiero ...................................................................................................276 4.2.2.1.2. Realizaciones....................................................................................................................................276 4.2.2.1.3. Desviaciones encontradas..............................................................................................................277
4.2.2. La aplicacin del programa y la gestin ......................................................................275
4.2.2.2. Valoracin de la gestin y seguimiento ........................................................................ 277

4.2.2.2.1. Resultados de los controles de aplicacin...................................................................................277 4.2.2.2.2. Organizacin interna y toma de decisiones................................................................................277 4.2.2.2.3. Coordinacin y retrasos .................................................................................................................278 4.2.2.2.4. Anlisis coste-eficacia.....................................................................................................................278
4.2.3. Resultados e impacto...................................................................................................279

4.2.3.1. Reconstruccin de la situacin de referencia: la situacin sin programa ................. 279 4.2.3.2. Aspectos globales y especficos ...................................................................................... 281
4.2.3.2.1. Aspectos especficos .......................................................................................................................281 4.2.3.2.2. Aspectos globales: Combinacin de resultados .........................................................................281
4.2.3.3. Examen de las relaciones causa-efecto .......................................................................... 282
4.3. DESARROLLO DEL MODELO: LOS ANLISIS EN PROFUNDIDAD ..................283 4.3.1. Decidir el nivel de anlisis: Homogeneidad y comparacin de resultados ..................284 4.3.2. Definicin del contenido: Preguntas clave de evaluacin ...........................................284 4.3.3. Tratamiento de cada pregunta: metodologa de respuesta..........................................285
4.3.3.1. Finalidad y comprensin de la pregunta ...................................................................... 286 4.3.3.2. Criterios para la evaluacin ............................................................................................ 286 4.3.3.3. Anlisis para la respuesta ............................................................................................... 287 4.3.3.4. Respuesta: Conclusiones y recomendaciones .............................................................. 289 4.3.3.5. Limitaciones de la respuesta........................................................................................... 289
4.3.4. Redaccin de documentos de evaluacin: un resultado de todos los trabajos de S&E realizados ..............................................................................................................................290
4.3.4.1. Informe principal: Conclusiones y recomendaciones ................................................. 291 4.3.4.2. Resumen............................................................................................................................ 292 4.3.4.3. Anejos ................................................................................................................................ 292 301
CAPTULO IV
. CONCLUSIONES PARA LA APLICACIN ..............................................................293
5.1. GUA RESUMIDA PARA LA APLICACIN DEL SEIPA .........................................293 5.1.1. Etapa de diseo............................................................................................................293 5.1.2. Etapa de ejecucin .......................................................................................................294 5.1.1. Ejercicios especiales de evaluacin ..............................................................................295 5.2. ASPECTOS DECISIVOS PARA LA CORRECTA APLICACIN DEL SEIPA .........296 5.2.1. Etapa de diseo............................................................................................................297 5.2.2. Etapa de ejecucin .......................................................................................................297 5.2.3. Ejercicios especiales de evaluacin ..............................................................................298
302
CAPTULO IV
303
CAPTULO IV
FIGURA IV-4: Diseo de un plan apropiado de S&E de un programa de desarrollo. .........208 FIGURA IV-6: Mecanismo de participacin en el SEIPA....................................................209 FIGURA IV-9: Generacin y gestin del conocimiento en el SEIPA. ..................................212 FIGURA IV-10: Mecanismo de aprendizaje para la generacin y gestin de la innovacin en el SEIPA................................................................................................................................214 FIGURA IV-11: Mecanismo para asegurar la flexibilidad en el SEIPA...............................216 FIGURA IV-12: Contenido del SEIPA: Aspectos clave de S&E. .........................................217 FIGURA IV-13: Desarrollo del SEIPA en cada una de sus etapas.......................................220 Fuente: Elaboracin propia. ..................................................................................................220 FIGURA IV-14: Encadenamiento de sucesivos ciclos de evaluacin en las sucesivas programaciones. ....................................................................................................................222 FIGURA IV-15: Diseo de un sistema apropiado de indicadores en el SEIPA. ...................223 FIGURA IV-16: Lmites entre el seguimiento y evaluacin.................................................225 FIGURA IV-17: La Integracin del SEIPA durante la etapa de diseo y evaluacin previa. ..............................................................................................................................................227 FIGURA IV-18: La Participacin del SEIPA durante la etapa de diseo y evaluacin previa. ..............................................................................................................................................228 FIGURA IV-20: Contenido de evaluacin del SEIPA en la etapa de diseo y evaluacin previa.....................................................................................................................................231 FIGURA IV-21: Desarrollo del SEIPA durante la etapa de diseo y evaluacin previa. ....237 Fuente: Elaboracin propia. ..................................................................................................237 FIGURA IV-23: La constitucin de los equipos de S&E y su mutua interrelacin. ............240 FIGURA IV-24: El papel de la evaluacin previa en la definicin de la estrategia y objetivos de la intervencin, punto clave para obtener un programa adecuado y evaluable. ...............250 FIGURA IV-25: Contenido de seguimiento del SEIPA en la etapa de ejecucin..................257 FIGURA IV-26: Desarrollo del SEIPA durante la etapa de ejecucin con la puesta en prctica del seguimiento........................................................................................................259 FIGURA IV-27: Relacin entre el sistema de informacin y la autoevaluacin..................266 FIGURA IV-28: Contenido de evaluacin del SEIPA en los ejercicios especiales de evaluacin. ............................................................................................................................271 FIGURA IV-30: Evaluacin de los resultados e impacto en los ejercicios especiales de evaluacin del SEIPA............................................................................................................282 FIGURA IV-31: Desarrollo del SEIPA durante los ejercicios especiales de evaluacin (evaluacin intermedia y final). ............................................................................................283 FIGURA IV-32: Gua para la aplicacin del SEIPA en la evaluacin previa durante la etapa de diseo................................................................................................................................294 FIGURA IV-33: Gua para la aplicacin del SEIPA en el seguimiento durante la etapa de ejecucin................................................................................................................................295 FIGURA IV-34: Gua para la aplicacin del SEIPA en los ejercicios especiales de evaluacin: intermedia (etapa de ejecucin) y final (etapa de terminacin). ............................................296
304
CAPTULO IV

Mode Lo

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Mode Lo

Uploaded by

Copyright:

Available Formats

MODELO PARA EL S&E DEL DESARROLLO RURAL: EL SEIPA

Our theories determine what we measure Albert Einstein

. PRESENTACIN DEL SEIPA

BID; 1997. Op. cit.

MODELO PARA EL S&E DEL DESARROLLO RURAL: EL SEIPA

MODELO PARA EL S&E DEL DESARROLLO RURAL: EL SEIPA

BID; 1997. Op. cit.

MODELO PARA EL S&E DEL DESARROLLO RURAL: EL SEIPA

Control de los retrasos

Asegurar que el programa siga siendo relevante, eficaz y eficiente

Etapa de diseo Etapa de diseo y aprobacin y aprobacin

Etapa de Etapa de iniciacin iniciacin

Etapa de Etapa de ejecucin ejecucin

Etapa de Etapa de terminacin terminacin

Evaluacin previa Plan apropiado de S&E

Mecanismo para sealar los retrasos en la iniciacin

Evaluacin intermedia Sistema de seguimiento

Evaluacin final Mecanismo de retroalimentacin y aprendizaje

OCDE; 1991. Op. cit.

MODELO PARA EL S&E DEL DESARROLLO RURAL: EL SEIPA

Utilizacin de los resultados

III - Fuente de dinamizacin

FIGURA IV-6: Mecanismo de participacin en el SEIPA. Fuente: Elaboracin propia.

La participacin como fuente de informacin

Informacin SISTEMA DE SEGUIMIENTO

Informacin PROGRAMA DE DESARROLLO

CONTEXTO SOCIOECONMICO (Poblacin local)

FIGURA IV-7: La participacin como fuente de informacin. Fuente: Elaboracin propia.

MODELO PARA EL S&E DEL DESARROLLO RURAL: EL SEIPA

MODELO PARA EL S&E DEL DESARROLLO RURAL: EL SEIPA

Aprendizaje de la poblacin CONTEXTO SOCIOECONMICO (Poblacin local)

MODELO PARA EL S&E DEL DESARROLLO RURAL: EL SEIPA

1.1.3.2. Gestin del conocimiento

Conversin en conocimiento til dentro del sistema (documentacin)

Transferencia del conocimiento

Conocimiento estructural en el engranaje de S&E

Experiencia adquirida en el trabajo

Puntos de generacin de conocimiento Etapas de la gestin del conocimiento

MODELO PARA EL S&E DEL DESARROLLO RURAL: EL SEIPA

MODELO PARA EL S&E DEL DESARROLLO RURAL: EL SEIPA

1.1.3.3. Gestin de la innovacin

Elaboracin de una estrategia de innovacin

Modelo de actuacin que incentiva la innovacin

Clima favorable a la innovacin

Implantacin de una cultura que incentiva la innovacin

Puntos clave para la generacin y gestin de la innovacin Etapas de la gestin de la innovacin

DRUCKER, P.; 1991. Op. cit.

MODELO PARA EL S&E DEL DESARROLLO RURAL: EL SEIPA

1.1.4. Otras caractersticas implicadas

MODELO PARA EL S&E DEL DESARROLLO RURAL: EL SEIPA

S&E S&E de objetivos de objetivos

Perspectiva inicial del trabajo

Adquisicin de nueva experiencia en el transcurso de la evaluacin

Flexibilidad y capacidad de respuesta

S&E S&E de procesos de procesos

1.2. CONTENIDO DEL S&E

MODELO PARA EL S&E DEL DESARROLLO RURAL: EL SEIPA

PLANTEAMIENTO Y LGICA DE INTERVENCIN

PROGRAMA y SISTEMA DE S&E

Claridad y Coherencia interna

Impacto (largo plazo)

Resultados (Impacto inicial)

Inputs (recursos humanos y financieros)

Objetivos (de la programacin y de su S&E) Utilidad y sostenibilidad