Mapa de metodologas de monitoreo y evaluacin de impacto social
Es comn encontrar que las evaluaciones de proyectos sociales se enfoquen ms en los
insumos y productos generados que en los resultados e impacto. En este sentido, las evaluaciones que llevan adelante organizaciones del sector pblico y privado, dan cuenta por lo general de qu se ha hecho con la ejecucin de un proyecto o programa sin hacer especial hincapi en qu ha cambiado como consecuencia de la implementacin. Sin embargo, existe la necesidad cada vez ms extendida de centrarse no slo en la evaluacin de resultados sino en su impacto para poder conocer cules han sido los efectos concretos de una intervencin a travs de un proyecto. Para poder colaborar con distintas organizaciones en el desarrollo de evaluacin de impacto, ZIGLA Consultores ha desarrollado el Mapa de Metodologas de Medicin y Evaluacin de Impacto Social. Tambin puedes disear tu propio Mapas de Monitoreo y Evaluacin. A travs del Mapa las organizaciones pueden contar con un sistema de M&E especialmente formulado para sus objetivos y alineado con su misin.
Algunos ejemplos de Mapas Diseados especficamente para Organizaciones.
Cmo utilizar el Mapa de M&E? Es muy simple! Tienes que ir al Mapa de M&E y seleccionar la metodologa que quieres conocer y analizar cules son sus usos y costos de aplicacin. Al seleccionarla, podrs ver en detalle y compararla con otras metodologas. Tambin podrs comentar si has utilizado esa metodologa o herramienta y permitirnos aprender de tu experiencia. Qu Metodologa de Evaluacin utilizan en tu organizacin? Cuntanos aqu cmo evalan y miden el impacto de los proyectos de tu organizacin. Haga click en cada una de las metodologas y herramientas que presenta el mapa y conozca sus caractersticas. Mapa de Monitoreo y Evaluacin de Impacto Social El Mapa de M&E de impacto social es una iniciativa de ZIGLA Consultores que organiza y describe y concentra en un mismo espacio, las principales etapas, herramientas y metodologas de evaluacin y medicin de impacto. Para conocer un poco ms por donde empezar a la hora de definir cmo medir el impacto, se puede ingresar a cada una de las metodologas que presenta el mapa y conocer para qu son utilizadas. Lnea de Base
La lnea de base es la medicin inicial de todos los indicadores contemplados en el diseo de un proyecto de desarrollo social, permitiendo conocer el valor de los indicadores al momento de iniciarse las acciones planificadas, es decir, toma lo foto inicial del proyecto facilitando la comparacin tanto en el monitoreo como en la evaluacin. Si bien la lnea de base es parte de la etapa de Identificacin y Diseo, ZIGLA Consultores considera que es un componente transversal ya que su construccin al inicio del proyecto es fundamental para hacer un adecuado monitoreo y evaluacin. Cambio ms significativo
El Cambio Ms Significativo (MSC -The most significant change) es una metodologa cualitativa que sirve para evaluar y monitorear de manera participativa el avance de un proyecto sin la necesidad de indicadores. El CMS consiste en recoger los testimonios de cambio, ocurridos en un periodo determinado, ocasionados por la intervencin de un proyecto. Por lo tanto, permite complementar los sistemas formales de monitoreo y evaluacin Anlisis costo beneficio
El anlisis de costo-beneficio y el de la eficacia en funcin de los costos son instrumentos para determinar si los costos de una actividad pueden estar o no justificados por los resultados y los efectos. El anlisis de costo-beneficio mide los insumos y resultados en trminos monetarios. La tcnica de anlisis de costo-beneficio tiene como objetivo fundamental proporcionar una medida de la rentabilidad de un proyecto, mediante la comparacin de los costos con los beneficios logrados en la realizacin del mismo. Se debe utilizar al comparar proyectos para la toma de decisiones La diferencia esencial entre el anlisis de costo-beneficio y los mtodos ordinarios de evaluacin de inversiones que emplean las empresas, es el nfasis en los costos y beneficios sociales. El objetivo consiste en identificar y medir las prdidas y las ganancias en el bienestar econmico que recibe la sociedad en su conjunto. Anlisis costo eficiencia El anlisis de costo-eficiencia es un instrumento para determinar si los costos de una actividad pueden estar o no justificados por los resultados de un proyecto o programa en trminos de eficiencia. La principal diferencia con el anlisis costo-beneficio es que el anlisis de la eficiencia en funcin de los costos estima los insumos en trminos monetarios y los resultados en trminos cuantitativos no monetarios (por ejemplo, mejores calificaciones de lectura para los alumnos). Teora del cambio
La teora del cambio es una herramienta de planificacin. Construido alrededor de la ruta del cambio (Mapa de la Teora del Cambio) se describen los tipos de intervenciones (un solo programa o una iniciativa integral de la comunidad) que producen los resultados descritos en el camino de un mapa de cambio. Cada resultado en la ruta del cambio est vinculado a una intervencin, revelando la red a menudo compleja de la actividad que se requiere para lograr el cambio. Marco lgico
El marco lgico es una metodologa desarrollada para la planificacin de la gestin de proyectos orientado por objetivos que facilita el proceso de conceptualizacin, diseo y evaluacin de proyectos, permitiendo describir de manera operativa y matricial los aspectos ms importantes de un proyecto. En el marco lgico la ejecucin de un proyecto es consecuencia de un conjunto de acontecimientos con una relacin causal interna, la lgica del proyecto. Es decir, facilita la identificacin de las relaciones de causalidad previstas en la cadena formada por los siguientes componentes: insumos, procesos, productos (incluida la cobertura o alcance entre los distintos grupos beneficiarios), resultados y efectos. Asimismo, permite determinar los indicadores de desempeo en cada fase de esta cadena, as como los riesgos que podran impedir el logro de los objetivos. Es un instrumento til para que el equipo involucrado en un proyecto de desarrollo llegue a un consenso sobre la concepcin general del mismo. Durante la implementacin del proyecto, el marco lgico sirve tambin como instrumento til para examinar los progresos y tomar medidas correctivas. Indicadores cualitativos y cuantitativos El indicador de desempeo o de seguimiento, es un instrumento de medicin de las principales variables asociadas al cumplimiento de los objetivos y que a su vez constituyen una expresin cuantitativa y/o cualitativa de lo que se pretende alcanzar con un objetivo especfico establecido. Los indicadores de desempeo son instrumentos que permiten medir los insumos, procesos, productos, resultados y efectos de los proyectos, programas o estrategias de desarrollo. Cuando estn respaldados por sistemas acertados de recopilacin de datos, anlisis e informacin, los indicadores permiten a los administradores seguir los progresos, demostrar los resultados y adoptar medidas correctivas para mejorar la prestacin de servicios. Lo que se busca con los indicadores de desempeo es ayudar o colaborar con los tipos de evaluacin, a responder interrogantes claves sobre cmo se ha realizado una determinada intervencin, si se han cumplido los objetivos, el nivel de satisfaccin de la poblacin objetivo, etc. Mtodos de evaluacin rpida
Son mtodos rpidos y de bajo costo para obtener las opiniones y comentarios de los beneficiarios y otras partes interesadas, con el fin de atender las necesidades de informacin de los responsables de la toma de decisiones. La experiencia muestra que los recursos disponibles y los resultados deseables obligan a utilizar mtodos de muy distinta ndole, desde encuestas de poblacin y en grupos especiales y sistemas de registro de informacin, hasta aproximaciones cualitativas a poblaciones de difcil acceso. Es por esto que los mtodos de evaluacin rpida han adquirido relevancia como primera aproximacin en la valoracin del problema, con el objetivo de iniciar intervenciones en funcin de la utilidad que muestran en tiempos mnimos y con recursos escasos. Este tipo de mtodos tiene como principal objetivo hacer estimaciones sobre la magnitud, extensin y caractersticas del problema en forma confiable y oportuna para complementar informacin procedente de otras fuentes. Su importancia radica en el hecho de que son capaces de aportar informacin contextual, aspecto que los mtodos cuantitativos no pueden brindar. Mtodo de identificacin y diseo
Por qu incluimos el diseo de proyectos en el Mapa de M&E? La identificacin y diseo de proyectos y programas sociales consta de una serie de pasos que no siempre son llevados a cabo en su totalidad. Ms all de la rigurosidad metodolgica, las circunstancias especificas en las que nace una gran cantidad de proyectos, hace que se omitan algunos de los pasos fundamentales para esta etapa, y que deberan actuar como cimientos del xito en la implementacin, monitoreo y evaluacin de los proyectos. Seguimiento de los resultados Esta metodologa es complementaria al seguimiento de la implementacin. El seguimiento de los resultados representa un cambio distintivo con respecto al seguimiento netamente de los productos de los proyectos. El seguimiento de los resultados es un proceso sistemtico y continuo de recoleccin y anlisis de datos para medir el desempeo de las actividades de los proyectos dirigidas al logro de resultados. El responsable de seguimiento debe relevar informacin de manera permanente sobre los progresos conseguidos en funcin del logro de un resultado, y as estar en condiciones de comparar peridicamente la situacin actual con respecto a la lnea de base de los indicadores de resultados y evaluar y analizar la situacin. Gestin basada en resultados - GBR
La gestin basada en resultados (GBR) es un enfoque de gestin a travs del cual una organizacin se asegura de que sus procesos, productos y servicios contribuyan al logro de resultados definidos. Esta metodologa ofrece un marco coherente para la planificacin y la gestin estratgicas, ya que permite mejorar los aspectos de aprendizaje y de responsabilidad. La gestin basada en resultados es tambin una estrategia amplia de gestin dirigida a lograr cambios importantes en el funcionamiento de las organizaciones, siendo importante la mejora del desempeo y el logro de resultados. La clave de xito de este enfoque es definir de manera realista los resultados que se espera obtener, y posteriormente seguir el progreso hacia el logro de los resultados esperados, integrando las lecciones aprendidas en las decisiones de gerencia y presentando informes sobre el desempeo. Identificacin / diseo Por qu incluimos el diseo de los proyectos en el Mapa de M&E? La etapa de identificacin y diseo de proyectos es una etapa fundamental en el ciclo de vida de un proyecto social y condiciona el xito de la evaluacin posterior. Por este motivo, el mapa de M&E resalta la importancia de hacer un buen diseo de los proyectos, alineados con una estrategia integral de Evaluacin de resultado e impacto.
DISEO DE PROYECTOS Esta es una etapa de anlisis en la cual se identifica el problema a resolver a travs del uso de informacin primaria y secundaria. La clara identificacin y medicin del un problema social permite conocer la magnitud de la brecha entre la situacin actual y la situacin esperada lo cual facilita plantear los objetivos que procuran disminuirla o eliminarla. En el proceso de identificacin es importante determinar la magnitud del problema, los factores que inciden sobre una cantidad de personas en una localidad, la importancia otorgada al problema por las polticas y los programas sociales, la perspectiva conceptual y cuantitativa de las instituciones que atienden el problema, entre otros.
IDENTIFICACIN DE PROYECTOS En esta etapa se formulan las alternativas del programa o proyecto, las opciones adecuadas y viables para alcanzar los objetivos, los resultados e impacto deseados y con base en ellos se disea el programa o proyecto. Las alternativas surgen de la teora disponible, de la experiencia de los especialistas en el rea, de evaluaciones ex-post llevadas a cabo en proyectos similares o de el rbol de objetivos en caso de ser utilizado como herramienta en esta instancia. Un adecuado diseo de los proyectos permite un mejor seguimiento y evaluacin ex post de los resultados e impactos obtenidos por parte de los ejecutores de los proyectos y, de quienes monitorean las acciones a nivel central. Una buena definicin de objetivos, productos y actividades permite definir los indicadores de logro para verificar los resultados y el impacto que producen los distintos proyectos en los distintos actores involucrados. Monitoreo
La etapa de monitoreo consiste en el seguimiento sistemtico de desempeo y progreso de proyectos y programas sociales en relacin con los objetivos planteados en un contexto de desarrollo.
El alcance del monitoreo de proyectos y programas sociales va mucho ms all del cumplimiento de actividades y tareas en tiempo y forma durante su implementacin.
El monitoreo se realiza con dos objetivos: (i) hacer un seguimiento del desarrollo de las actividades planteadas para optimizar procesos. Para lograr el primer objetivo, es necesario hacer un examen peridico de las actividades y gestin administrativa para evaluar la gestin e identificar aspectos del proceso susceptibles de mejora. Ac el foco del anlisis est en la eficiencia, eficacia y la focalizacin. (ii) medir los resultados de la implementacin. Para lograr el segundo, es necesario analizar los xitos y fracasos detectados al comparar lo realizado con lo programado, algn estndar (promedio u ptimo) y/u otros programas o proyectos y de acuerdo con ello identificar los cambios que puedan generar mejores resultados. Evaluacin de resultados
La evaluacin es fundamental dentro del ciclo de vida del proyecto ya que genera evidencias e informacin objetiva que le permiten a los gestores tomar decisiones fundamentadas y planear de forma estratgica. La evaluacin de resultados se refiere al anlisis de los resultados netos del proyecto, es decir, corresponde a las alteraciones en el grupo de beneficiarios que son atribuidas nica y exclusivamente al proyecto, por lo que, de otra manera, los resultados no se hubieran producido sin el proyecto. IMPORTANTE: La evaluacin de resultados se centra especficamente en los resultados de un programa o proyecto y no aporta informacin sobre el porqu de los resultados obtenidos. Evaluacin de impacto
Evaluacin de impacto es la identificacin sistemtica de los impactos - positivos o negativos, intencionales o no - en los hogares, las instituciones y el medio ambiente, causados por una actividad de desarrollo determinado, como un programa o proyecto. Esta etapa ayuda a comprender mejor la medida en que las actividades lleguen a los destinatarios y la magnitud de sus repercusiones sobre el bienestar de las personas. Las evaluaciones de impacto pueden variar de tcnicas, desde encuestas por muestreo a gran escala en las que las poblaciones de proyectos y grupos de control se comparan antes y despus, y posiblemente en varios puntos durante la intervencin del programa, a otras como las evaluaciones participativas. La evaluacin de impacto proporciona respuestas a algunas de las cuestiones de desarrollo ms central Hasta qu punto estamos haciendo una diferencia? Cules son los resultados sobre el terreno? Cmo podemos hacerlo mejor? Herramientas cuantitativas 01 / ENCUESTAS FORMALES Una encuesta es un conjunto de preguntas normalizadas dirigidas a una muestra representativa de la poblacin, con el fin de conocer hechos especficos. Las encuestas formales pueden utilizarse para recopilar informacin estandarizada de una muestra cuidadosamente seleccionada de personas y hogares. Las encuestas recopilan con frecuencia informacin comparable sobre un nmero relativamente grande de personas de grupos destinatarios concretos. 02 / MUESTREO ALEATORIO El muestreo es una herramienta de investigacin cientfica. Su funcin bsica es determinar qu parte de una realidad en estudio (llmese poblacin o universo) debe estudiarse con la finalidad de hacer inferencias sobre dicha poblacin. Contar con una muestra adecuada significa lograr una versin simplificada de la poblacin, que reproduzca de algn modo sus rasgos bsicos. Una muestra representativa es aquella que rene aproximadamente las caractersticas de la poblacin que son importantes para la investigacin. Existen diferentes tipos de muestreo aleatorio: Muestreo aleatorio simple Muestreo aleatorio sistemtico Muestreo aleatorio estratificado Muestreo aleatorio por conglomerados 03/ ENTREVISTAS BASADAS EN CUESTIONARIO Estas entrevistas son tambin conocidas como Entrevistas estructuradas. Se caracterizan por estar estandarizadas, estn basadas en cuestionarios y preguntas y en el mismo orden a cada uno de los entrevistados. Al utilizar este tipo de entrevista el investigador tiene poca libertad de formular preguntas independientes generadas por la interaccin durante la entrevista. La diferencia entre este tipo de entrevistas y las denominadas en profundidad es que la informacin es ms fcil de procesar, ya que hay uniformidad en la informacin obtenida, simplificando as el anlisis comparativo. Por otro lado, diferencia entre esta entrevista y las encuestas formales, es que a travs de esta herramienta se le permite al entrevistado dar mayor nivel de detalle en sus respuestas. Herramientas cualitativas 01/ ENTREVISTA A INFORMANTES CLAVES La entrevista a informantes claves es una herramienta ampliamente usada en las investigaciones. El trmino informante clave se aplica a cualquier persona que pueda brindar informacin detallada debido a su experiencia o conocimiento de un tema especfico. El informante clave se elige dependiendo del tema que le interesa en ese momento. El investigador sencillamente elegir un tema de conversacin con el entrevistado y luego dejar que el entrevistado hable sobre el tema de manera abierta. Si la persona entrevistada conoce el tema que se discute puede convertirse en un informante clave. 02/ FOCUS GROUPS El focus group o grupo focal es una herramienta de investigacin colectivista que se desarrolla de manera grupal y se centra en la pluralidad y variedad de las actitudes, experiencias y creencias de los participantes, y lo hace en un espacio de tiempo relativamente corto. Se denomina focal porque centra su atencin e inters en un tema especfico con el que tiene relacin, por estar cercano a su pensar y sentir. Esta herramienta realiza su principal trabajo de bsqueda por medio de la interaccin discursiva y la contrastacin de las opiniones de sus miembros. 03/ OBSERVACIN DIRECTA Esta tcnica consiste en observar atentamente una situacin especfica, tomar informacin y registrarla para su posterior anlisis. La observacin es un elemento fundamental de todo proceso investigativo, en ella se apoya el investigador para obtener el mayor numero de datos. Existen dos clases de observacin: la Observacin no cientfica y la observacin cientfica. La diferencia entre una y otra est basada en la intencionalidad: observar cientficamente significa observar con un objetivo claro, definido y preciso, en donde el investigador sabe qu es lo que desea observar y con qu objetivo quiere hacerlo, lo cual implica que debe preparar cuidadosamente la observacin. Observar no cientficamente significa observar sin intencin, sin objetivo claro y por tanto, sin preparacin previa. 04/ ENTREVISTAS EN PROFUNDIDAD Las entrevistas en profundidad se realizan con una sola persona a la vez y son una forma no estructurada e indirecta de obtener informacin. Esta tcnica en la investigacin puede tener una duracin de 30' y hasta ms de una hora, dependiendo del tema y la dinmica de entrevista. Para ello se requiere la habilidad de un entrevistador que provoque un ambiente de confianza con el entrevistado a fin de que hable con libertad de sus expectativas, percepciones y conocimientos. Dentro de una entrevista en profundidad es posible combinar tcnicas proyectivas a fin de profundizar en algn tema o de obtener respuestas que muchas veces el entrevistado no est dispuesto en forma racional y espontnea a proporcionar. Como tcnica de investigacin, la entrevista, abarca diversas dimensiones: ampla y verifica el conocimiento cientfico; obtiene o posibilita llevar experiencias de la vida diaria del ser humano al nivel del conocimiento y elaboracin cientfica. 05/ ANALISIS DE MEJORES PRCTICAS Las mejores prcticas son aquellas experiencias de proyectos que han rendido buen o incluso excelente servicio en un determinado contexto y que pueden ser estudiadas para conocer sus lecciones aprendidas o para evaluar su posible replicabilidad en otros contextos. Cuando hablamos del anlisis de mejores prcticas, nos referimos en primer lugar a la identificacin de proyectos similares al que se est diseando, implementando o monitoreando, para posteriormente analizar sus factores de xito. De los resultados al impacto Qu significa pasar de los resultados al impacto? Antes de responder esta pregunta, vamos a repasar algunas definiciones. Insumos: los recursos humanos y equipamiento necesarios para las actividades del proyecto o programa social. Productos: los conocimientos, habilidades, actitudes, equipos, productos y servicios que resultan de la terminacin de las actividades realizadas en el corto plazo. Resultados: cambios que se logranen los marcos institucionales, las organizaciones, las comunidades y los comportamientos sociales, en el mediano plazo. Impacto: cambios que se logran en la situacin en que se encuentra la gente, a largo plazo y de manera sostenida. Impacto vs Resultados Es muy comn que las organizaciones cuenten con instancias de evaluacin de resultados en la mitad y al final de un proyecto. Estas evaluaciones se centran en conocer los efectos en el corto y mediano plazo de las actividades que se realizaron en el proyecto. Sin embargo, este tipo de evaluaciones no dan cuenta "de qu ha cambiado" (en una comunidad determinada por ejemplo) luego de la implementacin de un proyecto. Para conocer eso, debe realizarse una evaluacin de impacto. Como el impacto son cambios en el largo plazo y de manera sostenida, este tipo de evaluaciones deben hacerse unos aos posteriores al finalizarse un proyecto. En suma, pasar de los resultados al impacto es empezar a respondernos la pregunta qu cambio con la aplicacin del proyecto? en vez de respondernos qu se hizo en el proyecto?