Professional Documents
Culture Documents
E.A.P. de Nutricin
Noviembre, 2010
ernestonut2001@yahoo.es
Contenido de la clase clase: Objetivo de la clase Evaluacin Significado de evaluacin Evaluacin cuantitativa y cualitativa Tipos de evaluacin Componentes de la evaluacin Sugerencias para realizar la evaluacin Evaluacin de costo efectividad Ejemplos de evaluacin Resultados inesperados Experiencias de evaluacin de Programas Sociales Bibliografa
Objetivo de la clase
Reconocer la necesidad de evaluar los proyectos de alimentacin y nutricin en comunidades. Identificar los procedimientos para evaluar el cumplimiento de los objetivos, el desarrollo del proceso y el costo efectividad de un proyecto. Analizar la influencia de factores ajenos al proyecto sobre los resultados esperados de este.
INTRODUCCIN
En el Per los programas sociales y las acciones e intervenciones del Estado en general, revelan la inexistencia de sistemas de monitoreo y evaluacin lo cual se debe a la idea o percepcin errnea que los gestores u operadores tienen de la poca utilidad de este sistema en los procesos gerenciales o de toma de decisin y por otro lado se ve como una tarea que es necesario realizar por alguna exigencia normativa, disposicin del gobierno central o de agencias cooperantes. Monitorear y Evaluar no son prcticas permanentes en las instituciones y las pocas que se realizan se aplican a los procesos, sin tomar en cuenta las evaluaciones de impacto.
Qu significa EVALUAR?
Evaluar un proyecto significa realizar un anlisis crtico, objetivo y sistemtico, de las realizaciones y resultados de ste, en relacin con los objetivos propuestos, las estrategias utilizadas y los recursos asignados. A travs de la evaluacin se espera identificar las razones del rendimiento satisfactorio o insatisfactorio y los resultados de un proyecto. En este proceso se compara lo que se quera hacer, cmo, por qu y con quin; con lo que fue efectivamente realizado.
Por qu se evala?
Porque permite medir lo realizado y apreciar si todos los esfuerzos fueron efectivos, mostrar los fracasos o debilidades y como superarlos; Porque provee informacin cuyo anlisis permite orientar la toma de decisiones futuras para hacer un trabajo ms efectivo; Porque permite apreciar si el costo de las actividades est en relacin a los resultados que se estn alcanzando; Porque permite informar a la gente sobre los resultados y compartir la experiencia obtenida; Porque permite comparar los resultados del programa con los obtenidos por otros semejantes; Porque permite realizar un anlisis crtico del trabajo desarrollado, ayudando a los involucrados a apreciar la amplitud del contexto y las implicaciones de su propio trabajo.
Sin embargo, es frecuente que la verdadera razn para evaluar sea alguna de las siguientes: Porque es un requisito solicitado por el gobierno o la organizacin no gubernamental. Porque la agencia que financia el proyecto necesita los informes tcnicos y financieros para apoyar la continuidad o trmino de ste. Porque los investigadores de la universidad desean probar nuevas tcnicas de evaluacin, con fines docentes o para publicar la experiencia obtenida. Porque la institucin ejecutora del proyecto necesita informacin para fines publicitarios del gobierno.
Qu se evala?
La evaluacin bsicamente mide: El logro de los objetivos del proyecto. Este se expresa en indicadores, principalmente nmeros o porcentajes. Por ejemplo: nmero de hogares participantes en el proyecto que aumentaron la seguridad alimentara familiar; nmero o porcentaje de nios menores de 2 aos que alcanzaron el peso normal para su talla; cantidad de alimentos producidos por familia, etc. Esta es la evaluacin sumativa o acumulativa.
Qu se evala?
El desarrollo de las actividades programadas. La forma y fecha en que se realizaron las actividades y la identificacin de los factores que favorecieron o limitaron el logro de los objetivos del proyecto. Este tipo de informacin tambin se expresa a travs de indicadores, por ejemplo: nmero de participantes en un programa de capacitacin; cantidad de semillas entregadas, etc. Esta informacin se puede obtener a travs del seguimiento del proyecto. Esta es la evaluacin formativa o de proceso.
Qu se evala?
El costo efectividad del proyecto. Interesa especialmente que la alternativa escogida para lograr los objetivos sea la ms econmica y que los cambios justifiquen la cantidad de recursos econmicos invertidos. El costo de los recursos trabajo, tiempo e insumos utilizados debe ser registrado desde el inicio del proyecto. Esta es la evaluacin de costo efectividad.
ES PRECISO QUE LOS AGENTES DE CAMPO COMPRENDAN QUE CONOCER LAS RAZONES POR LAS QUE UN PROYECTO TIENE XITO O FRACASA PUEDEN SER TAN IMPORTANTE COMO SUS RESULTADOS
I. EVALUACION DE NECESIDADES Necesidad: Necesidad: Discrepancia mensurable resultados deseados y los observados entre los
Evaluacin de Necesidades: Estudio sistemtico de un Necesidades: problema , que se realiza incorporando informaciones y opiniones de diversas fuentes para tomar decisiones ( mejoramiento, desarrollo fortalecimiento)
CONTEXTO
FUNDAMENTACION
Elaboracin de programa
POBLACION OBJETIVO
Lo que saben Lo que pueden Lo que quieren hacer
PROCESO
Gestin
INNOVACIN
RESULTADOS
Competencias
1. Modelos de aproximacin
Quin quiere evaluar las Ns? Por que se desea evaluar las Ns ? Cal ser el alcance de la evaluacin ? En qu Ns nos centraremos y en qu nivel ? Qu datos podemos recoger ? Qu mtodos podemos usar para la recogida de datos ? Qu podemos hacer con los datos ? Cales son los recursos de que disponemos ? Qu problemas esperamos resolver con la evaluacin ?
2. Modelo Diferencias entre la evaluacin externa e interna entre: MISIN - Esfuerzos resultados impactos - Medios - objetivos 3. Modelo comunitario INFORMACIN DISPONIBLE PRIORIDADES - Evala la relacin entre la situacin actual y las Ns de la comunidad POLTICAS DE DESARROLLO
ESTUDIOS ESTRATEGIAS EXPERIENCIAS ALTERNATIVAS 4. Modelo cclicoFORMULACIN DE LAS ESTRATEGIAS ESTADO ACTUAL Incorpora PROYECTO E. I.los resultados que se obtienen al propio proceso
EVALUACIN 5. Modelo de discrepancia DE LAS FACTORES INFLUYENTES ALTERNATIVAS FORTALEZAS - Determinar fines y objetivos (expertos) (lo que debera ser) - Evaluacin del nivel de funcionamiento (loCRITERIOS E INDICADORES que es) - Identificar las discrepancias ( lo que debera ser y lo que es)
SONDEO RRHH DECISIONES
6. Modelo de toma de decisiones - En la evaluacin se introducen los valores de los usuarios, investigadores y grupos afectados.
II.
OBJETIVOS 1.
2.
METODOLOGIA
Muestra
Dos tipos de muestra: Una de tipo independiente y la otra de tipo panel.
Periodo de estudio:
Trabajo de campo (ejecucin directa): Abril mayo y octubre diciembre del ao 2000. Revisin y anlisis de informacin recogida en el periodo abril - mayo de 1998.
Muestra de (antropometra)
N=2,638
escolares
N=424
Escolares
295 escolares
Criterios:
Escolares que ingresaron al primer grado Que integraron la muestra PSDDE 1998. Con datos de Hb., antropometra
148 escolares
Criterios:
Permanencia en el PSDDE el ao 1998, 1999 y 2000. (expuestos al PSDDE por 3 aos consecutivos)
COMPONENTES DE LA EVALUACION Pertinencia: Los objetivos del proyecto sean acordes con los problemas identificados y los intereses manifiestos de la poblacin. Eficacia: Capacidad de alcanzar los objetivos (resultados y propsito) del proyecto. Eficiencia: ndice de productividad del proyecto, es decir mejor asignacin de costos o recursos. Sostenibilidad: Proceso o programa logra mantenerse por si mismo, sin ayuda exterior o perjuicio de los recursos existente.
ES IMPORTANTE QUE TODAS LAS ETAPAS DE LA EVALUACION SE REALICEN EN LA LOCALIDAD DONDE SE DESARROLLO EL PROYECTO, PARA PERMITIR LA PARTICIPACION DE LOS INVOLUCRADOS
El equipo de trabajo habitualmente tiene calendarios particularmente ocupados. Para decidir el mejor momento ser preciso calcular el tiempo probable que durar cada actividad antes de delegar las responsabilidades. Los habitantes de la comunidad tambin necesitan tiempo para participar en la evaluacin. En los perodos de siembra, cosecha o de escasez de alimentos es difcil que puedan destinar suficiente tiempo a colaborar en sta. La disponibilidad oportuna de los fondos o de los instrumentos (como encuestas o cuestionarios), cuya validacin debi realizarse durante la fase de diagnstico, es fundamental para no atrasar el trabajo de los evaluadores.
La fecha en la cual ministerios, organizaciones y agencias necesitan conocer los resultados de la evaluacin. Ellos pueden contar con los resultados de la evaluacin para ayudarlos a decidir polticas y planes.
LOS RESPONSABLES DEL PROYECTO DEBEN HACER LOS MAXIMOS ESFUERZOS PARA ESTIMULAR LA PARTICIPACION DE LA COMUNIDAD INVOLUCRADA EN TODAS LAS FASES DE LA EVLUACION
Especificar el tipo de anlisis que se realizar con la informacin obtenida establece ciertos requisitos a la cantidad y calidad de la informacin a recolectar. Es importante decidir e incorporar estos aspectos en la fase de diagnstico, antes de comenzar la ejecucin del proyecto. De esa manera la informacin inicial se podr comparar con la informacin final. Una vez que se dispone de los recursos humanos y materiales para realizar la evaluacin, una etapa importante es el entrenamiento del equipo participante. Este analizar la informacin recolectada durante el seguimiento del proyecto y recoger los nuevos datos requeridos para la evaluacin. Es recomendable uniformar criterios respecto a la aplicacin de instrumentos y tcnicas, lo mismo que en la fase de diagnstico. Esto es esencial para asegurar la validez y objetividad de la informacin recolectada.
Obtener, analizar e interpretar la informacin significa destinar tiempo, recursos y un trabajo de alta calidad tcnica para que los resultados obtenidos tengan la seriedad que se espera. Presentar los resultados de la evaluacin es esencial para permitir a la comunidad y a las organizaciones participantes conocer si sus esfuerzos se justificaron y apreciar la magnitud e impacto de los cambios obtenidos.
La evaluacin de costo efectividad: Permite saber si el costo de las actividades del proyecto y especficamente del agente de campo se ha justificado, teniendo en cuenta el efecto sobre la situacin de la poblacin objetivo. Estos mtodos de evaluacin deben usarse conjuntamente.
Datos de base Los agricultores de la zona X estn perdiendo el 40% de los granos almacenados debido a las ratas, insectos y humedad. Objetivo de desarrollo: Evitar la prdida de granos almacenados. Objetivo inmediato del proyecto: Reducir de un 40 a un 20% la prdida de granos almacenados por los agricultores de la zona X, dentro de un ao. Objetivo especfico del agente de campo: Lograr convencer al 50% de los agricultores para que construyan bodegas tipo A* antes de la prxima cosecha, mediante un programa de capacitacin. * Bodega tipo A: aquella que rene las condiciones necesarias para impedir la accin de ratas, insectos y humedad.
Cmo pueden saber el agente de campo y su supervisor si el objetivo inmediato de este proyecto ha sido alcanzado? Calculando la cantidad de agricultores que construyeron bodegas tipos A. Calculando la cantidad de grano perdido por los agricultores que construyeron bodegas tipo A. Comparando estas prdidas con las sufridas en las bodegas antiguas, y calculando si se ha logrado reducir las prdidas desde un 40 a un 20%. Cmo puede saber el agente de campo si su objetivo especfico ha sido alcanzado? Verificando si se realiz el nmero de reuniones y demostraciones programadas en la capacitacin. Comprobando la participacin de los agricultores de la zona X en las reuniones y demostraciones programadas. Contando cuantos agricultores han construido las bodegas tipo A con las especificaciones del proyecto. Comparando este nmero con el total de agricultores, y verificando si es el 50% del total de agricultores.
Si en una zona hay 50 agricultores y 25 de ellos tienen bodegas tipo A, el agente de campo puede considerar que ha alcanzado el objetivo. Si slo 20 agricultores construyeron bodegas tipo A, se considera que el proyecto ha fracasado? El proyecto no fue un completo fracaso, pero los objetivos no se alcanzaron totalmente. Es necesario conocer las razones de este resultado para reorientar las actividades y lograr que el prximo proyecto tenga un xito total.
Qu razones impidieron a algunos agricultores mejorar sus bodegas? No tuvieron la posibilidad de adquirir los materiales necesarios. No dispusieron de tiempo para trabajar en la construccin de las nuevas bodegas. Los materiales no llegaron a tiempo, o fueron insuficientes. No se explicaron bien los beneficios de las nuevas bodegas. No se realizaron todas las reuniones organizadas. La participacin fue mnima. Las reuniones fueron realizadas en momentos inoportunos. El agente de campo no ayud a los agricultores que construan sus bodegas. En los proyectos futuros debern tenerse en cuenta los problemas identificados en la evaluacin, para mejorar el trabajo de los agentes de campo.
Evaluacin de Costo/Efectividad
A fin de evaluar la relacin costo/efectividad de un proyecto, se debe comparar el costo total de dos o ms alternativas de proyectos que han logrado los mismos resultados. Esta comparacin ayuda al agente de campo y al supervisor a decidir la alternativa ms eficiente y econmica para mejorar la situacin alimentara y nutricional. Qu registros suministran informacin sobre el costo total del proyecto? Los registros de cuentas del proyecto dan el costo de los materiales, transporte y mano de obra. En los registros del proyecto figura el tiempo empleado en cada actividad por el agente de campo y dems personal. Este tiempo debe ser incluido en el clculo del costo total.
Ejemplo de una situacin en la cual se necesita evaluar el costo/efectividad del cambio de comportamiento de los agricultores. Objetivo En un perodo de dos meses, convencer a 20 agricultores para que construyan bodegas tipo A. Mtodo 10 agricultores sern invitados a participar en tres demostraciones en grupo. 10 agricultores sern visitados en su casa. El costo efectividad de las medidas adoptadas para lograr estos cambios se puede establecer de la siguiente manera:
Costo efectividad del cambio de comportamiento Establecer cuantos agricultores asistieron a las demostraciones de grupo y construyeron bodegas nuevas, dato que figura en el archivo del proyecto. En el mismo archivo aparece el nmero de agricultores que fueron visitados y que construyeron bodegas nuevas. El costo de las demostraciones y de las visitas domiciliarias se calcula en base a los datos del registro de cuentas del proyecto. Calcular y comparar el costo que representa cada bodega nueva para el agente de campo, por concepto de visitas domiciliarias y demostraciones.
Mtodo de clculo
El costo/efectividad de las nuevas bodegas se determina como sigue: Calcular la cantidad de grano conservado en las bodegas construidas despus de las demostraciones, en base a los datos del registro del proyecto. Calcular la cantidad de grano conservado en las bodegas construidas por cada agricultor despus de las visitas a domicilio, en base a los datos del registro del proyecto. Calcular el costo de cada actividad para promover la construccin de bodegas tipo A, en base al registro de cuentas del proyecto. Calcular el costo de cada quintal de grano conservado en las bodegas de la siguiente manera:
Cuando se habla del costo efectividad de un proyecto desde el punto de vista del agente de campo, es importante tener en cuenta que el xito de un proyecto ser el resultado de un cambio de comportamiento de los participantes en el mismo. El ejemplo anterior demuestra a los agentes de campo la importancia de comparar el ingreso extra que representa el grano economizado, con el costo de la construccin de bodegas tipo A. De nada servir que el agente de campo haga muy bien su trabajo, o lo bien que hayan sido escritos los objetivos; si los beneficios no son efectivos en relacin al costo, la comunidad no los apoyar. En la etapa de formulacin de los objetivos de un proyecto, lo ms importante es ser realista en cuanto a su costo/efectividad.
Ejemplo de evaluacin del costo efectividad de dos mtodos educativos A continuacin se presenta un ejemplo del clculo del costo efectividad de dos mtodos educativos en alimentacin y nutricin en el sector salud (Cuadro 1). GRUPO A: Madres de nios en riesgo de desnutricin participantes en un programa de educacin interpersonal en el servicio de salud. GRUPO B: Madres de nios en riesgo de desnutricin participantes en un programa de educacin grupal.
Los grupos tienen caractersticas similares. Los contenidos del programa educativo son semejantes. La diferencia radica en la estrategia metodolgica: interpersonal o grupal. En el grupo A, la educacin sobre alimentacin y nutricin es la que el equipo de salud imparte regularmente a las madres durante los controles de salud del nio. En el grupo B, se estructur un programa educativo participativo, de carcter grupal, el que es dictado tambin por integrantes del equipo de salud.
Cuadro 1 Ejemplo simplificado de clculo del costo efectividad de dos mtodos educativos
RESULTADOS INESPERADOS
Cualquier proyecto puede tener resultados inesperados. Por ejemplo, una vez identificado un problema y establecidos los objetivos que se deben alcanzar para solucionarlo, se elabora y ejecuta un plan adecuado. Sin embargo, los hechos demuestran posteriormente que el problema sigue subsistiendo.
En un pueblito con un alto porcentaje de nios desnutridos, se planific un proyecto de construccin de estanques para criar peces. La comunidad construy los estanques y la produccin fue ptima. Sin embargo, el pescado fue vendido y ninguna madre lo dio a sus nios, por temor a que se tragaran las espinas.
En este ejemplo, el objetivo - construir estanques para peces fue alcanzado, pero no solucion el problema de la desnutricin: los nios siguieron estando desnutridos. Cul fue el error del agente de campo? El agente de campo no conoca ni trat de conocer la opinin de las madres sobre el uso del pescado para alimentar a sus nios. El agente de campo no realiz demostraciones para ensear a las madres cmo preparar el pescado. En este caso, el agente de campo pudo evitar este resultado con un adecuado diagnstico de los conocimientos, actitudes y creencias de las madres participantes en el proyecto.
Por ejemplo, una vez identificado un problema y establecidos los objetivos que se deben alcanzar para solucionarlo, se elabora y ejecuta un plan adecuado. Sin embargo, los hechos demuestran posteriormente que el problema sigue subsistiendo.
En un pueblito con un alto porcentaje de nios desnutridos, se planific un proyecto de construccin de estanques para criar peces. peces. La comunidad construy los estanques en una localidad con escasa disponibilidad y consumo de hortalizas, el agente de campo desarroll un proyecto para la creacin de huertos y un programa educativo para fomentar el consumo de verduras con alto contenido de vitaminas. vitaminas. La produccin fue un xito y los campesinos se incorporaron a una cooperativa para la comercializacin de los excedentes en la ciudad ms cercana. cercana. Cuando la produccin estaba lista para ir al mercado, en el pas comenz una epidemia de clera. Se realiz una clera. intensa campaa publicitaria para evitar el consumo de verduras y frutas crudas. El temor de la poblacin hizo crudas. disminuir las ventas de hortalizas prcticamente a cero y el proyecto fracas
En esta situacin, el agente de campo slo poda tratar de buscar soluciones paliativas en conjunto con los afectados y las autoridades locales. He aqu otro ejemplo de resultado inesperado, esta vez positivo:
En un pueblo donde la tasa de desnutricin infantil era muy alta, se desarroll con xito un proyecto de construccin de estanques para peces en la mayora de las granjas. El agente de campo descubri que la poblacin tambin utilizaba los estanques para criar patos, y mientras los nios obtenan ms protenas al consumir pescado y huevos, el pueblo se benefici con los ingresos adicionales derivados de la venta de patos.
de informacin denominado Wawa Net, se a mediados del ao 2003, con la finalidad de informacin actual, veraz y pertinente para el Evaluacin de sus acciones y toma oportuna de
El flujo de la informacin con que se alimenta el sistema involucra a cada actor que interviene en el programa. Basado en su marco lgico y la disposicin de un conjunto de indicadores a nivel de monitoreo de actividades, evaluacin de resultados y evaluacin de impacto, el sistema se sustenta en los procesos estandarizados del programa.
SISTEMA REBECA
El sistema de Registro de Beneficiarios y Control de Alimentos (REBECA) permite controlar de forma automtica la informacin que manejan aquellas municipalidades que tienen a su cargo el PVL. REBECA responde a las siguientes necesidades de informacin que se presentan en la gestin del programa:
Una herramienta que organice la informacin distribuida en documentos y hojas de calculo hacia una nica fuente. Reportar informacin a distintas entidades externas e internas. Mantener la informacin de beneficiarios actualizada y completa. Alimentar oros sistemas de la municipalidad con informacin proveniente del programa. Cumplir los procesos del programa en forma rpida y fcil. Tener un sistema fcil de usar y flexible de acuerdo a nuevos requerimientos.
El sistema de informacin REBECA es una herramienta importante que permite hacer seguimiento y control de los procesos operativos del PVL de forma tal que se puede:
Organizar la informacin distribuida en documentos. Alertar al encargado del programa sobre posibles puntos crticos. Permitir el registro de compras por proveedor y sus valorizacin. Controlar las raciones entregadas por cada beneficiario y las descuentas del monto total asignado para cada entrega. Brindar herramientas adicionales para compartir y comparar informacin con otras municipalidades y para asegurar la informacin ingresada Entender y manejar fcilmente los procesos estandarizados del programa.
Acordar en la asamblea del CODECO la implementacin del SIVICO. Elaborar del diagnstico de la comunidad: se realiza a partir de la aplicacin de un instrumento (ficha censal de hogares) Elaboracin de la lnea de base de la comunidad: se procesa la informacin obtenida a travs de la ficha censal de hogares. Capacitacin a los promotores de desarrollo y al CODECO en la gestin del SIVICO: de modo que sus gestin se desarrolle de forma adecuada. Articulacin del SIVICO al SIVIDEL y formalizacin del flujo de informacin.
B IBLIOGRAFIA
FAO (2001) Gua para la gestin municipal de programas de seguridad alimentaria y nutricional. Direccin de alimentacin y nutricin. Santiago de Chile. Bobadilla, P, L. Del guila; ML. Morgan (1998) Diseo y evaluacin de proyectos. Proyecto de apoyo a ONGs. PACT/ Per. FAO (1984). Material didctico. Capacitacin y gestin de programas de campo. Alimentacin y nutricin. Roma. Italia. FAO (1995) Manejo de proyectos de alimentacin y nutricin en comunidades. Gua didctica. Roma. Vsquez, E., C. Aramburu, C. Figueroa y C. Parodi (2000). Gerencia Social: Diseo, monitoreo y evaluacin de proyectos sociales. Universidad del Pacfico, International Development Researh Centre (IDRC), Canad. Lima, Per. Goodstein, L. D, Nolan T. M. y Pfeiffer J.W. (1998). Planeacin Estratgica Aplicada.: Como desarrollar un plan que realmente funcione. Editado McGRAW-HILL. Interamericana SA. Santaf de Bogot, Colombia.