Mapa de metodologas de monitoreo y evaluacin de impacto social

Es comn encontrar que las evaluaciones de proyectos sociales se enfoquen ms en los

insumos y productos generados que en los resultados e impacto. En este sentido, las
evaluaciones que llevan adelante organizaciones del sector pblico y privado, dan cuenta
por lo general de qu se ha hecho con la ejecucin de un proyecto o programa sin hacer
especial hincapi en qu ha cambiado como consecuencia de la implementacin.
Sin embargo, existe la necesidad cada vez ms extendida de centrarse no slo en la
evaluacin de resultados sino en su impacto para poder conocer cules han sido los
efectos concretos de una intervencin a travs de un proyecto.
Para poder colaborar con distintas organizaciones en el desarrollo de evaluacin de
impacto, ZIGLA Consultores ha desarrollado el Mapa de Metodologas de Medicin
y Evaluacin de Impacto Social.
Tambin puedes disear tu propio Mapas de Monitoreo y Evaluacin. A travs del
Mapa las organizaciones pueden contar con un sistema de M&E especialmente formulado
para sus objetivos y alineado con su misin.

Algunos ejemplos de Mapas Diseados especficamente para Organizaciones.


Cmo utilizar el Mapa de M&E?
Es muy simple! Tienes que ir al Mapa de M&E y seleccionar la metodologa que quieres
conocer y analizar cules son sus usos y costos de aplicacin. Al seleccionarla, podrs
ver en detalle y compararla con otras metodologas.
Tambin podrs comentar si has utilizado esa metodologa o herramienta y permitirnos
aprender de tu experiencia.
Qu Metodologa de Evaluacin utilizan en tu organizacin?
Cuntanos aqu cmo evalan y miden el impacto de los proyectos de tu organizacin.
Haga click en cada una de las metodologas y herramientas que presenta el mapa y conozca sus caractersticas.
Mapa de Monitoreo y Evaluacin de Impacto Social
El Mapa de M&E de impacto social es una iniciativa de ZIGLA Consultores que
organiza y describe y concentra en un mismo espacio, las principales etapas,
herramientas y metodologas de evaluacin y medicin de impacto.
Para conocer un poco ms por donde empezar a la hora de definir cmo medir el impacto,
se puede ingresar a cada una de las metodologas que presenta el mapa y conocer
para qu son utilizadas.
Lnea de Base

La lnea de base es la medicin inicial de todos los indicadores contemplados en el
diseo de un proyecto de desarrollo social, permitiendo conocer el valor de los
indicadores al momento de iniciarse las acciones planificadas, es decir, toma lo foto
inicial del proyecto facilitando la comparacin tanto en el monitoreo como en la
evaluacin.
Si bien la lnea de base es parte de la etapa de Identificacin y Diseo, ZIGLA Consultores
considera que es un componente transversal ya que su construccin al inicio del proyecto
es fundamental para hacer un adecuado monitoreo y evaluacin.
Cambio ms significativo

El Cambio Ms
Significativo (MSC -The most significant change) es una metodologa cualitativa que
sirve para evaluar y monitorear de manera participativa el avance de un proyecto sin
la necesidad de indicadores.
El CMS consiste en recoger los testimonios de cambio, ocurridos en un periodo
determinado, ocasionados por la intervencin de un proyecto. Por lo tanto, permite
complementar los sistemas formales de monitoreo y evaluacin
Anlisis costo beneficio

El anlisis de costo-beneficio y el de la eficacia en funcin de los costos son
instrumentos para determinar si los costos de una actividad pueden estar o no
justificados por los resultados y los efectos. El anlisis de costo-beneficio mide los
insumos y resultados en trminos monetarios.
La tcnica de anlisis de costo-beneficio tiene como objetivo fundamental
proporcionar una medida de la rentabilidad de un proyecto, mediante la
comparacin de los costos con los beneficios logrados en la realizacin del mismo.
Se debe utilizar al comparar proyectos para la toma de decisiones
La diferencia esencial entre el anlisis de costo-beneficio y los mtodos ordinarios de
evaluacin de inversiones que emplean las empresas, es el nfasis en los costos y
beneficios sociales. El objetivo consiste en identificar y medir las prdidas y las ganancias
en el bienestar econmico que recibe la sociedad en su conjunto.
Anlisis costo eficiencia
El anlisis de
costo-eficiencia es un instrumento para determinar si los costos de una actividad
pueden estar o no justificados por los resultados de un proyecto o programa en
trminos de eficiencia.
La principal diferencia con el anlisis costo-beneficio es que el anlisis de la eficiencia
en funcin de los costos estima los insumos en trminos monetarios y los resultados en
trminos cuantitativos no monetarios (por ejemplo, mejores calificaciones de lectura para
los alumnos).
Teora del cambio


La teora del cambio es una herramienta de planificacin.
Construido alrededor de la ruta del cambio (Mapa de la Teora del Cambio) se describen
los tipos de intervenciones (un solo programa o una iniciativa integral de la comunidad)
que producen los resultados descritos en el camino de un mapa de cambio. Cada resultado
en la ruta del cambio est vinculado a una intervencin, revelando la red a menudo
compleja de la actividad que se requiere para lograr el cambio.
Marco lgico

El marco lgico es una metodologa desarrollada para la planificacin de la gestin
de proyectos orientado por objetivos que facilita el proceso de conceptualizacin,
diseo y evaluacin de proyectos, permitiendo describir de manera operativa y matricial
los aspectos ms importantes de un proyecto.
En el marco lgico la ejecucin de un proyecto es consecuencia de un conjunto de
acontecimientos con una relacin causal interna, la lgica del proyecto. Es decir,
facilita la identificacin de las relaciones de causalidad previstas en la cadena
formada por los siguientes componentes: insumos, procesos, productos (incluida la
cobertura o alcance entre los distintos grupos beneficiarios), resultados y efectos.
Asimismo, permite determinar los indicadores de desempeo en cada fase de esta cadena,
as como los riesgos que podran impedir el logro de los objetivos.
Es un instrumento til para que el equipo involucrado en un proyecto de desarrollo llegue
a un consenso sobre la concepcin general del mismo. Durante la implementacin del
proyecto, el marco lgico sirve tambin como instrumento til para examinar los
progresos y tomar medidas correctivas.
Indicadores cualitativos y cuantitativos
El indicador de
desempeo o de seguimiento, es un instrumento de medicin de las principales
variables asociadas al cumplimiento de los objetivos y que a su vez constituyen una
expresin cuantitativa y/o cualitativa de lo que se pretende alcanzar con un objetivo
especfico establecido.
Los indicadores de desempeo son instrumentos que permiten medir los insumos,
procesos, productos, resultados y efectos de los proyectos, programas o estrategias
de desarrollo. Cuando estn respaldados por sistemas acertados de recopilacin de datos,
anlisis e informacin, los indicadores permiten a los administradores seguir los
progresos, demostrar los resultados y adoptar medidas correctivas para mejorar la
prestacin de servicios.
Lo que se busca con los indicadores de desempeo es ayudar o colaborar con los tipos de
evaluacin, a responder interrogantes claves sobre cmo se ha realizado una determinada
intervencin, si se han cumplido los objetivos, el nivel de satisfaccin de la poblacin
objetivo, etc.
Mtodos de evaluacin rpida

Son mtodos rpidos y de bajo costo para obtener las opiniones y comentarios de los
beneficiarios y otras partes interesadas, con el fin de atender las necesidades de
informacin de los responsables de la toma de decisiones.
La experiencia muestra que los recursos disponibles y los resultados deseables obligan a
utilizar mtodos de muy distinta ndole, desde encuestas de poblacin y en grupos
especiales y sistemas de registro de informacin, hasta aproximaciones cualitativas a
poblaciones de difcil acceso. Es por esto que los mtodos de evaluacin rpida han
adquirido relevancia como primera aproximacin en la valoracin del problema,
con el objetivo de iniciar intervenciones en funcin de la utilidad que muestran en
tiempos mnimos y con recursos escasos.
Este tipo de mtodos tiene como principal objetivo hacer estimaciones sobre la magnitud,
extensin y caractersticas del problema en forma confiable y oportuna para
complementar informacin procedente de otras fuentes. Su importancia radica en el hecho
de que son capaces de aportar informacin contextual, aspecto que los mtodos
cuantitativos no pueden brindar.
Mtodo de identificacin y diseo

Por qu incluimos el diseo de proyectos en el Mapa de M&E?
La identificacin y diseo de proyectos y programas sociales consta de una serie de pasos
que no siempre son llevados a cabo en su totalidad.
Ms all de la rigurosidad metodolgica, las circunstancias especificas en las que nace
una gran cantidad de proyectos, hace que se omitan algunos de los pasos fundamentales
para esta etapa, y que deberan actuar como cimientos del xito en la implementacin,
monitoreo y evaluacin de los proyectos.
Seguimiento de los resultados
Esta metodologa
es complementaria al seguimiento de la implementacin. El seguimiento de los
resultados representa un cambio distintivo con respecto al seguimiento netamente de los
productos de los proyectos.
El seguimiento de los resultados es un proceso sistemtico y continuo de recoleccin y
anlisis de datos para medir el desempeo de las actividades de los proyectos dirigidas
al logro de resultados.
El responsable de seguimiento debe relevar informacin de manera permanente sobre los
progresos conseguidos en funcin del logro de un resultado, y as estar en condiciones de
comparar peridicamente la situacin actual con respecto a la lnea de base de los
indicadores de resultados y evaluar y analizar la situacin.
Gestin basada en resultados - GBR

La gestin basada en resultados (GBR) es un enfoque de gestin a travs del cual una
organizacin se asegura de que sus procesos, productos y servicios contribuyan al logro
de resultados definidos. Esta metodologa ofrece un marco coherente para la planificacin
y la gestin estratgicas, ya que permite mejorar los aspectos de aprendizaje y de
responsabilidad.
La gestin basada en resultados es tambin una estrategia amplia de gestin dirigida a
lograr cambios importantes en el funcionamiento de las organizaciones, siendo
importante la mejora del desempeo y el logro de resultados.
La clave de xito de este enfoque es definir de manera realista los resultados que se espera
obtener, y posteriormente seguir el progreso hacia el logro de los resultados esperados,
integrando las lecciones aprendidas en las decisiones de gerencia y presentando informes
sobre el desempeo.
Identificacin / diseo
Por qu
incluimos el diseo de los proyectos en el Mapa de M&E?
La etapa de identificacin y diseo de proyectos es una etapa fundamental en el ciclo de
vida de un proyecto social y condiciona el xito de la evaluacin posterior.
Por este motivo, el mapa de M&E resalta la importancia de hacer un buen diseo de los
proyectos, alineados con una estrategia integral de Evaluacin de resultado e impacto.

DISEO DE PROYECTOS
Esta es una etapa de anlisis en la cual se identifica el problema a resolver a travs del
uso de informacin primaria y secundaria. La clara identificacin y medicin del un
problema social permite conocer la magnitud de la brecha entre la situacin actual y la
situacin esperada lo cual facilita plantear los objetivos que procuran disminuirla o
eliminarla.
En el proceso de identificacin es importante determinar la magnitud del problema, los
factores que inciden sobre una cantidad de personas en una localidad, la importancia
otorgada al problema por las polticas y los programas sociales, la perspectiva conceptual
y cuantitativa de las instituciones que atienden el problema, entre otros.

IDENTIFICACIN DE PROYECTOS
En esta etapa se formulan las alternativas del programa o proyecto, las opciones
adecuadas y viables para alcanzar los objetivos, los resultados e impacto deseados y con
base en ellos se disea el programa o proyecto. Las alternativas surgen de la teora
disponible, de la experiencia de los especialistas en el rea, de evaluaciones ex-post
llevadas a cabo en proyectos similares o de el rbol de objetivos en caso de ser utilizado
como herramienta en esta instancia.
Un adecuado diseo de los proyectos permite un mejor seguimiento y evaluacin ex post
de los resultados e impactos obtenidos por parte de los ejecutores de los proyectos y, de
quienes monitorean las acciones a nivel central. Una buena definicin de objetivos,
productos y actividades permite definir los indicadores de logro para verificar los
resultados y el impacto que producen los distintos proyectos en los distintos actores
involucrados.
Monitoreo

La etapa de monitoreo consiste en el seguimiento sistemtico de desempeo y progreso
de proyectos y programas sociales en relacin con los objetivos planteados en un
contexto de desarrollo.

El alcance del monitoreo de proyectos y programas sociales va mucho ms all del
cumplimiento de actividades y tareas en tiempo y forma durante su implementacin.

El monitoreo se realiza con dos objetivos:
(i) hacer un seguimiento del desarrollo de las actividades planteadas para optimizar
procesos.
Para lograr el primer objetivo, es necesario hacer un examen peridico de las actividades
y gestin administrativa para evaluar la gestin e identificar aspectos del proceso
susceptibles de mejora. Ac el foco del anlisis est en la eficiencia, eficacia y la
focalizacin.
(ii) medir los resultados de la implementacin.
Para lograr el segundo, es necesario analizar los xitos y fracasos detectados al comparar
lo realizado con lo programado, algn estndar (promedio u ptimo) y/u otros programas
o proyectos y de acuerdo con ello identificar los cambios que puedan generar mejores
resultados.
Evaluacin de resultados

La evaluacin es fundamental dentro del ciclo de vida del proyecto ya que genera
evidencias e informacin objetiva que le permiten a los gestores tomar decisiones
fundamentadas y planear de forma estratgica.
La evaluacin de resultados se refiere al anlisis de los resultados netos del proyecto, es
decir, corresponde a las alteraciones en el grupo de beneficiarios que son atribuidas nica
y exclusivamente al proyecto, por lo que, de otra manera, los resultados no se hubieran
producido sin el proyecto.
IMPORTANTE: La evaluacin de resultados se centra especficamente en los resultados
de un programa o proyecto y no aporta informacin sobre el porqu de los resultados
obtenidos.
Evaluacin de impacto

Evaluacin de impacto es la identificacin sistemtica de los impactos - positivos o
negativos, intencionales o no - en los hogares, las instituciones y el medio ambiente,
causados por una actividad de desarrollo determinado, como un programa o proyecto.
Esta etapa ayuda a comprender mejor la medida en que las actividades lleguen a los
destinatarios y la magnitud de sus repercusiones sobre el bienestar de las personas.
Las evaluaciones de impacto pueden variar de tcnicas, desde encuestas por muestreo a
gran escala en las que las poblaciones de proyectos y grupos de control se comparan antes
y despus, y posiblemente en varios puntos durante la intervencin del programa, a otras
como las evaluaciones participativas.
La evaluacin de impacto proporciona respuestas a algunas de las cuestiones de desarrollo
ms central Hasta qu punto estamos haciendo una diferencia? Cules son los
resultados sobre el terreno? Cmo podemos hacerlo mejor?
Herramientas cuantitativas
01 / ENCUESTAS FORMALES
Una encuesta es un conjunto de preguntas normalizadas dirigidas a una muestra
representativa de la poblacin, con el fin de conocer hechos especficos. Las encuestas
formales pueden utilizarse para recopilar informacin estandarizada de una muestra
cuidadosamente seleccionada de personas y hogares. Las encuestas recopilan con
frecuencia informacin comparable sobre un nmero relativamente grande de personas
de grupos destinatarios concretos.
02 / MUESTREO ALEATORIO
El muestreo es una herramienta de investigacin cientfica. Su funcin bsica es
determinar qu parte de una realidad en estudio (llmese poblacin o universo) debe
estudiarse con la finalidad de hacer inferencias sobre dicha poblacin. Contar con una
muestra adecuada significa lograr una versin simplificada de la poblacin, que
reproduzca de algn modo sus rasgos bsicos. Una muestra representativa es aquella que
rene aproximadamente las caractersticas de la poblacin que son importantes para la
investigacin.
Existen diferentes tipos de muestreo aleatorio:
Muestreo aleatorio simple
Muestreo aleatorio sistemtico
Muestreo aleatorio estratificado
Muestreo aleatorio por conglomerados
03/ ENTREVISTAS BASADAS EN CUESTIONARIO
Estas entrevistas son tambin conocidas como Entrevistas estructuradas. Se
caracterizan por estar estandarizadas, estn basadas en cuestionarios y preguntas y en el
mismo orden a cada uno de los entrevistados. Al utilizar este tipo de entrevista el
investigador tiene poca libertad de formular preguntas independientes generadas por la
interaccin durante la entrevista.
La diferencia entre este tipo de entrevistas y las denominadas en profundidad es que la
informacin es ms fcil de procesar, ya que hay uniformidad en la informacin obtenida,
simplificando as el anlisis comparativo. Por otro lado, diferencia entre esta entrevista y
las encuestas formales, es que a travs de esta herramienta se le permite al entrevistado
dar mayor nivel de detalle en sus respuestas.
Herramientas cualitativas
01/ ENTREVISTA A INFORMANTES CLAVES
La entrevista a informantes claves es una herramienta ampliamente usada en las
investigaciones. El trmino informante clave se aplica a cualquier persona que pueda
brindar informacin detallada debido a su experiencia o conocimiento de un tema
especfico. El informante clave se elige dependiendo del tema que le interesa en ese
momento. El investigador sencillamente elegir un tema de conversacin con el
entrevistado y luego dejar que el entrevistado hable sobre el tema de manera abierta. Si
la persona entrevistada conoce el tema que se discute puede convertirse en un informante
clave.
02/ FOCUS GROUPS
El focus group o grupo focal es una herramienta de investigacin colectivista que se
desarrolla de manera grupal y se centra en la pluralidad y variedad de las actitudes,
experiencias y creencias de los participantes, y lo hace en un espacio de tiempo
relativamente corto. Se denomina focal porque centra su atencin e inters en un tema
especfico con el que tiene relacin, por estar cercano a su pensar y sentir. Esta
herramienta realiza su principal trabajo de bsqueda por medio de la
interaccin discursiva y la contrastacin de las opiniones de sus miembros.
03/ OBSERVACIN DIRECTA
Esta tcnica consiste en observar atentamente una situacin especfica, tomar informacin
y registrarla para su posterior anlisis. La observacin es un elemento fundamental de
todo proceso investigativo, en ella se apoya el investigador para obtener el mayor numero
de datos.
Existen dos clases de observacin: la Observacin no cientfica y la observacin
cientfica. La diferencia entre una y otra est basada en la intencionalidad: observar
cientficamente significa observar con un objetivo claro, definido y preciso, en donde el
investigador sabe qu es lo que desea observar y con qu objetivo quiere hacerlo, lo cual
implica que debe preparar cuidadosamente la observacin. Observar no cientficamente
significa observar sin intencin, sin objetivo claro y por tanto, sin preparacin previa.
04/ ENTREVISTAS EN PROFUNDIDAD
Las entrevistas en profundidad se realizan con una sola persona a la vez y son una forma
no estructurada e indirecta de obtener informacin. Esta tcnica en la investigacin puede
tener una duracin de 30' y hasta ms de una hora, dependiendo del tema y la dinmica
de entrevista. Para ello se requiere la habilidad de un entrevistador que provoque un
ambiente de confianza con el entrevistado a fin de que hable con libertad de sus
expectativas, percepciones y conocimientos.
Dentro de una entrevista en profundidad es posible combinar tcnicas proyectivas a fin
de profundizar en algn tema o de obtener respuestas que muchas veces el entrevistado
no est dispuesto en forma racional y espontnea a proporcionar. Como tcnica de
investigacin, la entrevista, abarca diversas dimensiones: ampla y verifica el
conocimiento cientfico; obtiene o posibilita llevar experiencias de la vida diaria del ser
humano al nivel del conocimiento y elaboracin cientfica.
05/ ANALISIS DE MEJORES PRCTICAS
Las mejores prcticas son aquellas experiencias de proyectos que han rendido buen o
incluso excelente servicio en un determinado contexto y que pueden ser estudiadas para
conocer sus lecciones aprendidas o para evaluar su posible replicabilidad en otros
contextos. Cuando hablamos del anlisis de mejores prcticas, nos referimos en primer
lugar a la identificacin de proyectos similares al que se est diseando, implementando
o monitoreando, para posteriormente analizar sus factores de xito.
De los resultados al impacto
Qu significa pasar de los resultados al impacto?
Antes de responder esta pregunta, vamos a repasar algunas definiciones.
Insumos: los recursos humanos y equipamiento necesarios para las actividades del
proyecto o programa social.
Productos: los conocimientos, habilidades, actitudes, equipos, productos y servicios que
resultan de la terminacin de las actividades realizadas en el corto plazo.
Resultados: cambios que se logranen los marcos institucionales, las organizaciones, las
comunidades y los comportamientos sociales, en el mediano plazo.
Impacto: cambios que se logran en la situacin en que se encuentra la gente, a largo plazo
y de manera sostenida.
Impacto vs Resultados
Es muy comn que las organizaciones cuenten con instancias de evaluacin de resultados
en la mitad y al final de un proyecto. Estas evaluaciones se centran en conocer los efectos
en el corto y mediano plazo de las actividades que se realizaron en el proyecto.
Sin embargo, este tipo de evaluaciones no dan cuenta "de qu ha cambiado" (en una
comunidad determinada por ejemplo) luego de la implementacin de un proyecto. Para
conocer eso, debe realizarse una evaluacin de impacto. Como el impacto son cambios
en el largo plazo y de manera sostenida, este tipo de evaluaciones deben hacerse unos
aos posteriores al finalizarse un proyecto.
En suma, pasar de los resultados al impacto es empezar a respondernos la pregunta
qu cambio con la aplicacin del proyecto? en vez de respondernos qu se hizo en
el proyecto?