Professional Documents
Culture Documents
EVALUACION
DE
PROYECTOS SOCIALES
APUNTES DE CLASE
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 1
INDICE
Página
RESUMEN 3
PRESENTACIÓN 4
I. MARCO GENERAL 6
I.1. Programas y proyectos 6
I.2. El ciclo de proyectos 8
II. ANTECEDENTES Y SITUACIÓN PROBLEMA 11
II.1. Información en base a estadísticas sociales 11
II.3. Diagnostico y Árbol de Problemas 16
II.4. Cobertura de beneficiarios 18
II.5. Selección de beneficiarios 19
II.6. Localización 20
III. MARCO INTERPRETATIVO Y PROPUESTA 21
III.1. Marco analítico y alternativas de solución 21
III.2. Análisis de prefactibilidad de alternativas de solución 24
III.3. Objetivos y metas 25
III.4. El uso del marco lógico 26
IV. PRESUPUESTO, ADMINISTRACION Y GESTION 28
IV.1. Productos, requerimientos y presupuesto 28
IV.1.1. Cuantificación de los productos 28
IV.1.2. Cuantificación de los requerimientos 29
IV.1.3. Tipos de presupuesto 30
IV.1.4. Flujo de caja 31
IV.2 Etapas y actividades 31
IV.3. Modelo de gestión 33
V. SUPERVISIÓN DE PROYECTOS 35
V.1. Control financiero 35
V.2. Control técnico 35
VI. EVALUACION EN PROYECTOS SOCIALES 38
VI.1. Los grandes modelos de evaluación 38
VI.2. Características de los diseños evaluativos……………………………………….38
VI.3. Los datos e instrumentos para la evaluación de un proyecto…………………… 39
VI.4. Evaluación en los sectores sociales……………………………………………… 42
VI.5. Evaluación ex ante………………………………………………………….. …… 45
VI.6. Evaluación de procesos o monitoreo ...………………………………………….. 45
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 1
VI.7 Necesidades y exigencias de la supervisión y monitoreo de proyectos. 47
VI.8. Evaluación del impacto o ex post. 48
VI.9. Evaluación de eficiencia 49
VI.9.1. El modelo costo-beneficio ………………………………………………...49
VI.9.2. El modelo costo-efectividad ………………………………………………52
VI.10. Evaluación de eficacia …………………………………………………………...54
VI.10.1. El diseño experimental 54
VI.10.2. El diseño cuasi experimental .. ……...…………………………………...55
VI.10.3. Modelos de regresión.……………………………………………………57
VI.11. Diseños semiformalizados 57
VI.11.1. Serie temporal ………………… ………………………………………..57
VI.11.2. Diseño no experimental antes-después ………….………………………58
VI.11.3. Diseño después con grupo de comparación ……….…………………… 59
VI.11.4. Diseño después…….…………………………………………………….59
VI.12. Diseños cualitativos………...……………………………………………………61
El uso de expertos en la evaluación de acreditación 62
BIBLIOGRAFÍA 64
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 2
RESUMEN
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 3
PRESENTACIÓN
Tanto las políticas públicas como las iniciativas de la sociedad civil tienen como
herramientas operacionales a programas o proyectos. Los problemas o necesidades sociales
se traducen en estas herramientas operativas, especialmente agrupadas por sectores sociales.
El documento se inicia con los componentes del diagnóstico de la situación problema y las
metodologías en uso para la detección de necesidades. Posteriormente se extiende en las
características de la estrategia de intervención, su operacionalización y marco lógico. Detalla
además los elementos constitutivos del presupuesto y cronograma de trabajo.
Se releva la gestión participativa en los proyectos, recogiendo el acento puesto por diversos
organismos multilaterales en incorporar a beneficiarios/as, y en general a actores de la
sociedad civil, en la formulación, gestión y evaluación de proyectos de desarrollo.
Por último, los apuntes precisan la aplicabilidad de los diseños evaluativos en los sectores
sociales más usualmente asociados a respuestas estatales a necesidades básicas de la
población.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 4
INTRODUCCIÓN
Estos apuntes han sido diseñados como material de apoyo a las clases lectivas y talleres de
cursos de Formulación como de Evaluación de proyectos sociales, dictados en diversos
centros académicos y organismos públicos.
Los apuntes se ordenan en un Capítulo introductorio sobre marco general y los Capítulos
subsiguientes en secciones correlativas según el ciclo del proyecto (Capítulo II):
antecedentes y situación problema en el Capítulo III, la estrategia de intervención en el
Capítulo IV; presupuesto, administración y gestión de proyectos en el Capítulo V; el
Capítulo VI se refiere a supervisión de proyectos y el Capítulo VI a evaluación de proyectos
sociales.
Los apuntes recogen valiosas observaciones y críticas formuladas por alumnos de diversos
cursos, pero las opiniones emitidas sobre las intervenciones sociales analizadas sólo
comprometen a los autores.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 5
I. MARCO GENERAL
Diagrama 1.
POLÍTICA SOCIAL
PROGRAMA 1 PROGRAMA 2
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 6
Cuadro 1
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 7
resolución de problemas sociales, invirtiendo en la generación de capacidades de la
población para mejorar sus condiciones de vida.
Sería incongruente reemplazar los programas por proyectos como instrumento de planeación,
en cuanto son herramientas con diferentes propósitos y niveles. Sin embargo, para los fines
de diseño y evaluación de intervenciones sociales, es importante destacar las diferencias
metodológicas presentes en ambas herramientas. Entonces, los programas están más
asociados al análisis general de políticas públicas, en cambio los proyectos a fondos de
inversión, que cuentan con técnicas de evaluación ex ante para sus intervenciones.
Diagrama 2.
Evaluación Diseño
de
impacto
NECESIDADES
Evaluación
Ex ante
Resultados
APRENDIZAJES
Ejecución
Evaluación
de
procesos
Seguimiento
En América Latina los proyectos se enmarcan, en forma creciente, en un ciclo decisional que
establece criterios formales para la asignación de recursos hacia los sectores sociales. Este
ciclo se inicia usualmente en los niveles más desagregados del aparato público, o sea, en el
gobierno local o en el regional. Eventualmente, las organizaciones comunitarias pueden ser
generadoras de ideas o perfiles de proyectos, con el respaldo de los gobiernos locales.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 8
demanda, la solución propuesta y los objetivos, sus posibles impactos, requerimientos,
presupuesto, etapas y actividades, el modelo de gestión y el marco institucional.
Este ciclo de proyectos presenta el gran mérito de ordenar el flujo de ideas, perfiles y diseños
de proyectos y de inhibir el uso caprichoso o discrecional de los recursos públicos. Introduce
un margen de objetividad en la jerarquización de las necesidades sociales y evita dejar la
ejecución de los proyectos al libre juego de los actores sociales demandantes de necesidades
básicas.
Para corregir esta anomalía, los gobiernos estipulan una serie de salvaguardias para la
asignación social y espacial equitativa de los recursos públicos, como cuotas regionales,
niveles de pobreza prioritarios para proyectos focalizados, líneas de acción para grupos
objetivos de riesgo y otras formas de determinar anticipadamente los proyectos más
redistributivos y de alto impacto social. Crecientemente, en los proyectos financiados con la
cooperación internacional se estipula una sujeción al marco del contexto nacional, la
explicitación de factores socio-económicos y la incorporación de los intereses de la mujer.
Una expresión de esta tendencia son los fondos de inversión focalizados (Wurgaft, 1993) y el
incremento de los recursos financieros a los gobiernos locales, lo que facilita la inserción
comunitaria en la generación de proyectos. El ciclo de gestión de proyectos públicos se
simplifica y la capacitación se extiende a funcionarios medios o a dirigentes sociales. Se
introduce un criterio de competitividad intralocal y regional que mejora la originalidad de los
proyectos, aunque debe reconocerse que este proceso está en sus inicios y para un juicio
definitivo es temprano aún.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 9
La evaluación preliminar de los proyectos locales plantea desafíos, como la necesidad de
asegurar un alto impacto en proyectos con alta demanda por beneficiarios y además con
presupuestos reducidos. Se agrega a ello, la corta duración de la intervención y el
requerimiento de sustentabilidad a mediano plazo.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 10
II. ANTECEDENTES Y SITUACIÓN PROBLEMA
Se ha discutido extensamente sobre las formas más adecuadas de registrar las necesidades
básicas, aceptando que las estadísticas sociales son un reflejo parcial de la magnitud y
complejidad de las carencias sociales. Sin embargo, la experiencia indica que es más certero
el uso creativo de las estadísticas y datos disponibles que la espera de metodologías de
diagnóstico excesivamente costosas o complejas.
Para definir la magnitud del problema es necesaria una previa estimación de la población
carenciada y conocer las características del grupo al cual se orientaría el programa y de su
distribución espacial. En los programas y proyectos sociales, es particularmente útil la
distinción por grupos de edad, en la medida en que ello permite categorizar programas y
proyectos sociales de acuerdo al ciclo vital. Eventualmente, es adecuado diferenciar los
grupos de edad por sexo, para atender a la equidad de género en el acceso a políticas
públicas.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 11
elaboración de diagnósticos ad hoc, los que son poco frecuentes por el costo y la
complejidad de los instrumentos de recolección de la información requerida.
Los datos secundarios permiten la delimitación de los grupos objetivos y de los beneficiarios
del proyecto y, en algunos casos particulares, deben complementarse con estudios de
carencias o diagnósticos ad hoc. En estos últimos se utilizan cuestionarios estructurados o
datos secundarios de origen administrativo, en particular estadísticas vitales.
Un caso particular lo representan los diagnósticos sobre la estructura productiva y del empleo
sectorial. Los datos se extraen de los Censos nacionales de Población y Vivienda y Encuestas
continuas de ocupación. Más allá de los datos descriptivos sobre los sectores productivos y
de empleo predominantes, el desafío de las estadísticas de empleo es su calidad de
predictores adecuados de la demanda de oficios para formular proyectos de capacitación y de
microempresas. De antemano se puede establecer que se trata de estadísticas demasiado
estáticas y agregadas —sectorial y geográficamente— que no permiten su uso óptimo a nivel
local y comunitario.
Sin embargo, estas fuentes administrativas permiten mejorar la calidad de los diagnósticos
para proyectos y programas sociales (ver Cuadro 2).
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 12
Cuadro 2
CARACTERÍSTICAS DE LAS FUENTES DE INFORMACIÓN SECUNDARIA
Encuestas de • Población
hogares • Educación
• Empleo • Periodicidad • Restricción por
Encuestas de • Familia • Flexibilidad muestra
ocupación • Metropolitana • Vivienda • Acceso limitado
• Calidad a la base de
Encuesta de • Saneamiento datos
presupuestos
familiares
• Equipamiento
comunitario o
• Ciudades medias acceso a bienes y
servicios
Sectores: • Controles
• Salud, • Consultas, • Series temporales • Inexistencia
Estadísticas • Educación • Población • Factibilidad de como base de
sectoriales • Vivienda, escolarizada índices datos.
• Comunicaciones. • Número de • Desagregación
viviendas social y
• Flujos telefónicos territorial
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 13
a) la entrevista semi-estructurada
b) entrevistas grupales
También las entrevistas grupales sirven para identificar, ordenar y jerarquizar necesidades
básicas de orden cualitativo. Las entrevistas grupales son técnicas basadas en informantes
claves, como las entrevistas grupales. Las entrevistas grupales1 han demostrado su utilidad
como técnica de recolección de información. Ellas entregan un gran caudal de información
interpretativa, dimensionamiento de carencias, para proyectos de difícil cuantificación en sus
resultados.
Una variante pero en base a entrevistas paralelas para constituir un grupo virtual, son las
técnicas Delphi (ILPES, 1994) en base a grupo de expertos o informantes claves. 2
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 14
Cuadro 3
TECNICA DELPHI
Aplicabilidad:
Jerarquización de problemas
Identificación de soluciones
Jerarquización de soluciones
Las ONG han aportado una provechosa experiencia en técnicas cualitativas de recolección
de información, en base a material de fácil comprensión y con técnicas de animación social.
Ello producto de la especialización en la investigación, sistematización y difusión de material
de educación popular.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 15
II.3. Diagnostico y Árbol de Problemas
Son frecuentes los diagnósticos realizados con diferentes datos sociales y que se basan en
encuestas o estudios no continuos en el tiempo y preparados con otros fines, como también
con información primaria. Ambos tipos de información deben entenderse como
complementarios y necesarios para configurar un marco analítico para ordenar y sistematizar
la información.
Cabe citar, por ejemplo, diagnósticos realizados por equipos sanitarios en áreas de salud,
diagnósticos en asentamientos precarios ejecutados por municipios, organizaciones no
gubernamentales (ONGs) o entidades académicas, monografías sobre empleo, tesis de grado
sobre pobreza en áreas o sectores delimitados, etc. Estos diagnósticos, aunque carecen de la
cobertura y periodicidad de las estadísticas sociales, entregan antecedentes valiosos -
guardando los márgenes de error o inferencia- para diagnósticos en áreas de difícil detección,
como valores y conductas sexuales, relaciones intrafamiliares, expectativas migratorias, etc.
El paso siguiente es formalizarlos en una expresión metodológica secuencia y analítica cuya
menor operacionalización es el Árbol de Problemas.
Esta técnica permite que los datos que permiten la identificación del problema pueden ser
continuada con un proceso de análisis de las causas que lo generan y los efectos que
produce el mismo problema
El árbol del problema es una técnica que permite analizar y ordenar los diversos
factores que inciden en la gestación de un problema.
Todo problema social tiene causas históricas o estructurales que lo generan en su origen,
como también causas o variables más intermedias o contingentes, que son las
consecuencias de las causas históricas. A su vez, el propio problema suscita otras
consecuencias o efectos en el entorno social o geográfico.3
Para la descripción de un problema, el árbol ordena los factores que originan el problema
en una secuencia de relaciones de causas y efectos, que se presentan gráficamente
identificando las causas estructurales en la base o abajo (“las raíces”) del Árbol hasta
rematar en las consecuencias o arriba del Árbol (“las ramas”), como se presenta en el
siguiente esquema:
3 En la situación de ampliar el árbol de causas a las consecuencias derivadas del problema se puede hablar del
árbol de causas y efectos
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 16
Diagrama 3
VARIABLE
DEPENDIENTE O
PROBLEMA CENTRAL
En síntesis, el árbol permite establecer la secuencia de causas, partiendo abajo con las más
estructurales, pasando a otras derivadas de carácter intermedio, hasta rematar arriba en el
problema e identificando la secuencia de efectos que genera el propio problema.
Para la construcción del árbol se pueden utilizar fuentes de información cuantitativa como
cualitativa y ser desarrollado por el propio proponente de la iniciativa. Sin embargo, es
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 17
altamente recomendable para su desarrollo utilizar la técnica cualitativa de la entrevista
focal o de grupo focal4. La técnica del grupo núcleo o focal consiste en una entrevista
colectiva en grupos pre-seleccionados, los cuales usualmente entregan información de
calidad. En este caso válida para el análisis del problema.
Hay que considerar que el Árbol del Problema con su capacidad de identificación de causas,
ya sea expresada en variables estructurales o intermedias, no significa necesariamente una
posibilidad de intervención sobre las mismas. Una adecuada identificación de causas no
equivale mecánicamente a lograr una intervención inmediata y exitosa por parte de
programas u proyectos sociales. Para ello se debe elaborar una derivación del Árbol de
Causas que es el paso precedente al Árbol de Objetivos, que se describe mas adelante.
La cobertura se refiere a la capacidad del proyecto de cubrir el tipo de universo al cual está
dirigida la intervención. La mayoría de los programas universales o de cobertura total se han
demostrado como regresivos al invisibilizar desigualdades sociales internas de la población.
En los proyectos, por su mismo carácter discontinuo, una cobertura amplia es difícil de
lograr, ya sea por escasez de recursos económicos del proyecto, automarginación, exceso de
dispersión de la población, o por barreras culturales o psicológicas que dificultan el acceso
del usuario.
Según las líneas programáticas de una política social puede interesar fijar una discriminación
positiva para un tipo particular de beneficiarios como mujeres, etnias, adultos mayores, etc.;
condición que debe ser considerada para flexibilizar modalidades de acceso al programa o
proyecto.
4 Con algunas variaciones los grupos focales, son asimilables a las entrevistas grupales, grupos de
discusión o focus groups.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 18
II.5. Selección de beneficiarios
El acceso puede incluso estar mediado por una coacción e incluso por sanciones legales, y
medidas coercitivas, como multas o pérdida de acceso a otros programas o proyectos
sociales. Por ejemplo, en una campaña de inmunizaciones la confianza en una demanda
espontánea con certeza iría en desmedro de la salud de la población. Eventualmente, el
acceso puede producirse por derivación o transferencias entre programas, como en el caso
del sector salud, donde se asignan pacientes del nivel primario al secundario
Una forma de mejorar el acceso de posibles usuarios consiste en el uso de sistemas móviles
de oferta de servicios, debido a que los beneficiarios tienen problemas de acceso al programa
y entonces deben ser localizados en sus residencias o lugares de trabajo. Esa es la situación
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 19
característica de los proyectos dirigidos a sectores rurales o focalizados en enfermos o
adultos mayores postrados.
Es recomendable utilizar para el ingreso al proyecto una ficha de registro que contiene datos
del diagnóstico o antecedentes del usuario. Estos datos permiten utilizar la instancia del
ingreso del programa para establecer una línea base o medición pre-test, que sirvan de
contraste con los indicadores de impacto en la evaluación ex post.
II.6. Localización
Todo programa o proyecto social está localizado espacialmente. Esa localización responde a
dos lógicas espaciales que son contradictorias. Por una parte, los programas sociales tienen
las ventajas de las mismas economías de escala porque los servicios sociales tienen fuertes
economías a medida que aumenta su volumen de entrega. Y externas porque se localizan en
un punto del espacio que es equidistante de sus insumos fundamentales y del mercado.
Luego, la localización de estos servicios es en puntos centrales que concentren una demanda
masiva y heterogénea.
5 En algunos casos, los usuarios pueden convertirse en demandantes permanentes, marginando a otros posibles interesados.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 20
III. MARCO INTERPRETATIVO Y PROPUESTA
Diagrama 4.
APLICACIÓN DE ÁRBOL DE CAUSAS
PERDIDA DE
IDENTIDAD
CULTURAL
REGIONAL
CAUSAS
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 21
Sin embargo, hay muchos problemas sociales en que aún no logra generar marcos
interpretativos validos sobre ciertos tipos de intervención, como es el caso del SIDA, la salud
mental, adicciones, etc.6. Pero con una revisión y sistematización de experiencias anteriores
es posible deducir un nivel mínimo de acumulación teórica, que sirvan para identificar
alternativas de solución. Este marco interpretativo debe permitir, además, desprender
posibles alternativas de intervención efectivas y eficientes.
6 En algunos proyecto de carácter piloto, no es necesario que una intervención tenga anticipadamente un
marco teórico;
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 22
Diagrama 5
Árbol de objetivos
Incremento de
identidad
cultural
regional
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 23
Situaciones similares se advierten en proyectos abocados a la salud mental, las adicciones, el
embarazo precoz o los procesos migratorios, en los cuales hay un marcado desequilibrio
entre la magnitud del diagnóstico y lo limitado de la intervención.
Los paradigmas profesionales y destrezas operacionales del grupo técnico influyen en las
variables seleccionadas como alternativas de solución. Por ejemplo, la alternativa de solución
en un problema de drogadicción de un psicólogo clínico pueden ser significativamente
diferentes a las de un psicólogo comunitario o sistémico y tal diferencia se reflejara en la
intervención seleccionada dentro del Árbol de Objetivos
Las soluciones estimadas deben satisfacer requisitos de factibilidad para garantizar el éxito
de la alternativa de solución seleccionada. Una mala elección de alternativa de solución
puede conducir a resultados que pueden ser precarios o efímeros. Los criterios de decisión
son generalmente los siguientes
Por ejemplo, una alternativa de solución basada en pocas charlas informativas no superaría
un análisis de prefactibilidad técnica por ser una estrategia no pertinente para modificar
conductas asociadas a la prevención de enfermedades de transmisión sexual. Una alternativa
basada en monitores juveniles podría superar el análisis de prefactibilidad técnica, pero
podría tener como ejecutor una ONG de escasa fortaleza institucional, luego no superaría un
análisis de prefactibilidad administrativa Luego el desafío para un proyecto social es lograr
el máximo posible de análisis de prefactibilidad positivos para lograr un resultado eficaz en
un período reducido de tiempo,
El proceso de análisis de prefactibilidad tiene cierta similitud con los análisis de riesgo en los
que se determinan las probabilidades de éxito de una combinación de alternativas.
Cabe recordar la importancia que tiene, en las distintas prefactibilidades, una subdimensión
de la prefactibilidad social que es el empoderamiento o de capacidad de autonomía de
beneficiarios, evitando una solución asistencial o dependiente de subsidios en la fase
posterior al proyecto.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 24
III.3. Objetivos y metas
Los programas tienen objetivos generales basados en la estrategia o política social vigentes y
orientados a mejorar los déficit o carencias detectadas. Muchas veces hay falta de precisión
en los objetivos programáticos, lo que dificulta su evaluación posterior, y obliga al
programador a deducir ex post criterios de evaluación de programas, generalmente basados
en indicadores nacionales y regionales de equidad, redistribución y fortalecimiento
institucional.
Todo proyecto o programa tiene objetivos, ya sea implícito o explícito. La naturaleza del
objetivo puede ser de carácter fisiológico (preservación de la vida), cognoscitivo (entregar
conocimiento), afectivo (expresión emocional), conductual (cambio o logro de rutinas
conductuales, hábitos, etc.), organizacional y grupal.
Los medios para lograr estos objetivos consisten en bienes (vivienda, paquetes alimentarios,
vacunas, etc.) o en servicios (horas de capacitación, prestaciones médicas, etc.).
En relación al grupo objetivo, es más sencillo programar objetivos con unidades más
identificables (generalmente el individuo, como es el caso de indicadores de rendimiento
individual en educación). Los objetivos grupales u organizacionales se pueden considerar
como impactos u objetivos de desarrollo pero, dado que las técnicas de investigación social
registran generalmente respuestas a nivel individual, la evaluación de esos objetivos es
compleja. Como alternativa se ha intentado utilizar técnicas de investigación organizacional
registradas externamente como observación o entrevistas grupales. Aun así, estas técnicas no
garantizan que efectivamente se estén registrando válidamente objetivos basados en cambios
organizacionales.
- ser mensurables; o sea que se expresen en Metas que identifican mediante cifras o números
absolutos, en unidades físicas o de servicios, aunque en lo posible los objetivos específicos
deberían apuntar a fijar porcentajes de variación (incremento o disminución) en relación a
un porcentaje que sirva de línea base. Si no es factible la cuantificación del objetivo, al
menos mencionar el listado empíricamente verificable de Metas o logros esperados del
proyecto.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 25
III.4. El uso del marco lógico
Cuadro 4
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 26
La gran ventaja del Marco Lógico es que ordena jerárquicamente los diversos componentes
del proyecto desde su aporte a los niveles superiores del programa o proyecto, como los
objetivos de desarrollo (o fin en la terminología de otros marcos lógicos) a los objetivos
inmediatos de los proyectos (o propósito en otras terminologías) como los resultados que son
sub-áreas internas a los proyectos (o componentes según otra nomenclatura. Otra ventaja es
que direcciona el diseño del proyecto a indicadores verificables, más que afirmaciones vagas
o escasamente operacionales.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 27
IV. PRESUPUESTO, ADMINISTRACION Y GESTION
El proyecto entrega un cantidad total de productos y cada uno de estos productos implica
requerimientos o insumos, que a su vez servirán de base para diseñar el presupuesto del
proyecto, como se aprecia en el siguiente esquema:
Diagrama 6.
En los programas o proyectos hay diversos tipos de productos, entre los que cabe mencionar:
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 28
- Bienes fungibles o de consumo inmediato (paquetes alimentarios, desayunos escolares)
- Bienes fungibles de impacto duradero (vacunas, preservativos)
- Servicios de impacto duradero (educación formal o sanitaria)
- Servicios de corto impacto (recreación, información turística)
- Servicios de impacto difuso universal (comunicaciones).
Los requerimientos se pueden dividir en seis ítems, que tienen su contraparte en el desglose
del presupuesto (Ver diagrama 7):
Cuadro 5
REQUERIMIENTOS PRESUPUESTO
Insumos Costo de los insumos
Equipamiento Costo del equipamiento
Infraestructura Costo de infraestructura
Personal Sueldos del personal
Administración Costos administración
Otros Otros gastos
Se evidencia una correspondencia directa entre los productos, los requerimientos y los
correspondientes rubros del presupuesto.
- Insumos: se refieren a los bienes y servicios que son adquiridos para ser transformados en
otros productos a lo largo del proyecto; por ejemplo, leche, horas-instructor, y otros.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 29
- Infraestructura: construcciones o instalaciones físicas necesarias para el funcionamiento
del proyecto. Se les imputa una larga duración, que es cercana a los treinta años.
- Personal: recursos humanos necesarios para la generación de los productos. Esos recursos
pueden o no ser calificados.
Los proyectos productivos tienen como finalidad producir bienes o servicios y generan
ganancias monetarias a sus beneficiarios. En pequeña escala (por ejemplo, microempresas)
se puede incentivar una dimensión solidaria, aunque en definitiva su finalidad es la de transar
bienes o servicios en el mercado.
Usualmente son financiados por créditos o fondos rotativos, y por tanto los ingresos iniciales
deben dirigirse a la amortización del crédito.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 30
IV.1.4. Flujo de caja
Para la construcción del flujo de caja debe tomarse en cuenta el calendario de desembolsos
solicitados a la agencia financista. En el caso específico de proyectos productivos se
identifican, los momentos en que la agencia financiera recuperará los aportes prestados. Al
terminar el período de financiamiento de la agencia el monto del préstamo debe ser igual al
de su devolución. Dada la exigencia de sustentabilidad económica que implican los
proyectos productivos, el presupuesto de caja debe ser construido con mucho realismo,
evitando convertir un crédito en una donación encubierta. Al respecto, la experiencia de los
fondos rotativos en desarrollo rural y autoconstrucción es muy promisoria como forma de
retorno y de uso óptimo del crédito.
Las etapas se derivan de los objetivos y metas y definen la duración del proyecto. Con
relación a la duración de la intervención hay que tener presente que la motivación disminuye
a medida que se prolonga la intervención, aumentando el número de desertores.
Para evitar estas deserciones habría que hacer un estudio de las causales y distinguir cuáles
de estas son manejables, para así fijar en futuros proyectos niveles razonables de deserción.
Para el control de las actividades del proyecto, la forma usual es su descripción en un lapso
de tiempo. Una manera de preparar este calendario es utilizar un diagrama, carta o gráfica de
Gantt, como se ilustra en el ejemplo siguiente:
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 31
Cuadro 6
CRONOGRAMA
Etapas y actividades (semanas)
Motivación
Actividad 1 X
Actividad 2 X
Actividad 3 X
Etapa II
Organización
Actividad 1 X X
Actividad 2 X
Actividad 3 X X X
Etapa
…..
Actividad 1
Actividad ..
Etapa I 1 2 3 …… 12
La carta Gantt es útil para detectar superposición de actividades que tienen una secuencia
lógica, o bien para coordinar actividades distintas que se implementan en un mismo período
de tiempo. En la fase de ejecución, cada actividad puede subdividirse en tareas con fecha de
iniciación y término, para definir plazos de cumplimiento. Se contemplan usualmente plazos
holgados, para evitar ajustes apresurados o de última hora.
Hay varios software de computación que pueden ser herramientas de apoyo a una
programación y que tienen la virtud de una visualización de la descripción de tareas,
vinculación de actividades, plazos de cumplimiento. Uno de ellos es el Microsoft Project,
que nos proporciona diagramas como el siguiente:
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 32
IV.3. Modelo de gestión
Los modelos de gestión pueden ser altamente institucionalizados hasta otros de índole
comunitaria o no institucional. Esta variabilidad refleja diferentes concepciones de gestión
organizacional, los modelos escasamente institucionales contribuirían a un mayor impacto ya
que potenciarían un clima de espontaneidad. Otros enfoques consideran que una gestión
desinstitucionalizada sería disfuncional para ciertas modificaciones conductuales.
Dentro del modelo de gestión, es importante analizar el rol del la participación de los usuarios
y si los beneficiarios participarán uniformemente en todas las etapas, o si es adecuada que los
niveles de participación varíen por razones tecnológicas, según la etapa de producción (por
ejemplo en la construcción de vivienda) o puntos críticos en la toma de decisiones..
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 33
puede haber una participación conjunta de la población con el grupo técnico en la
implementación.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 34
V. SUPERVISIÓN DE PROYECTOS
El paso siguiente al diseño del proyecto, incluyendo sus aspectos temporales y financieros,
es su aprobación por la agencia financista y su implementación. Actualmente es un lugar
común afirmar que la implementación de un proyecto es bastante más que la proyección en el
tiempo de su diseño o formulación. Para ello se ha planteado la supervisión de proyecto.
El control técnico como evaluación de implementación, apunta a una supervisión de las etapas
y actividades y el proceso de entrega de bienes y servicios.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 35
Cuadro 7
I. INFORMES Y EVALUACIONES
1. Informes técnicos mensuales ONG-Departamento de Atención Primaria % de cumplimiento
(DAP).
4. Actividades intersectoriales
7. Otros materiales
Problemas Obstáculos
V. SUPERVISIÓN MINSAL
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 36
La utilidad de ésta o cualquier ficha de supervisión técnica están en su capacidad para
registrar validamente una serie de problemas recurrentes en el seguimiento de proyectos.
Cuadro 8
INFORME DE SUPERVISIÓN DE PROYECTOS FONDO DE INVERSIÓN SOCIAL
Posiblemente esta estructura escalar (que de hecho es una dicotomía) deje en la penumbra la
evaluación de procesos interactivos en el proyecto, propio de la dinámica de implementación
de proyectos, los cuales se desarrollan en la Sección siguiente.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 37
VI. EVALUACION EN PROYECTOS SOCIALES
E n un sentido estricto, la evaluación iluminativa puede ser categorizada, según sea el tipo de
programa evaluado, en los diferentes diseños mencionados en los puntos anteriores. Por lo
tanto, los programas o proyectos evaluados por este enfoque pueden ser de corte
experimental o no experimental pero tienden, por el uso generalizado de técnicas
cualitativas, a aproximarse a los no experimentales. Más aun, esta evaluación implica
solamente un énfasis cualitativo en el registro e interpretación de la información recogida en
el proceso evaluativo, pero sin diferencias epistemológicas con las modalidades usuales de
evaluación de eficacia, como se puede apreciar en el Cuadro siguiente.
Cuadro 9
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 38
En los modelos reseñados se encuentran la mayoría de las evaluaciones aplicadas a
programas o proyectos. En la evaluación libre de objetivos se engloban a los diseños
experimentales y de costo-beneficio.
La evaluación debe ser más que el uso de criterios parciales como los mencionados en la
Sección anterior, mediante la elección del diseño evaluativo mas valido según el tipo de
programa y considerando adicionalmente sus costos.
La opción por un instrumento determinado dependerá, entre otros factores de: el grado de
confiabilidad requerida (estabilidad en la medición), la validez deseada (riqueza teórica de la
medición), los fondos financieros y el tiempo disponible, la posibilidad de aplicación (puede
implicar destreza profesional o instrumental), las complejidades de procesamiento, la
necesidad de monetarización de beneficios, etc.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 39
CUADRO 10
DATOS CUANTITATIVOS
Los datos cuantitativos secundarios registran las magnitudes físicas o financieras de insumos
o recursos utilizados en los proyectos. En este caso, entregan información, por ejemplo,
sobre la cantidad de horas de atención médica, número de operarios en un proyecto de
absorción de empleo, metros cuadrados construidos con fines habitacionales, etc. El uso de
estas estadísticas con fines evaluativos tienen el grave defecto de asociar beneficios o
impactos a medios que, siendo una condición necesaria, no son definitorios para lograr
resultados positivos en los proyectos. En otros términos, la abundancia o escasez de los
medios no necesariamente implica un impacto social en las prestaciones o resultados de la
intervención.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 40
CUADRO 11
A nivel de datos cualitativos primarios están las dinámicas o técnicas grupales que describen
los procesos o resultados de un proyecto social. Las técnicas grupales no entregan un patrón
evaluativo estandarizado, permiten intercambios de ideas, que resultan de una síntesis
evaluativa que puede aportar al informe final de proyecto.
Un sesgo similar puede producirse con las entrevistas grupales como técnica evaluativa, ya
que en ellas pueden presenta inicialmente el problema de la identificación del grupo de
beneficiarios con el proyecto, pues este grupo recibe del proyecto beneficios como bienes o
servicios.
Aun así, estas técnicas son indicadores evaluativos en una metodología participativa,
siempre y cuando estas evaluaciones colectivas definan a priori indicadores de resultados
consensuados y se preste atención a la tendencia al pensamiento grupal o a "efectos de
vagón de cola" estimulados por los opinantes más importantes o prestigiados, usualmente
profesionales o líderes influyentes en la población objetivo.
Las mismas precauciones son aplicables a las entrevistas que involucran sólo a los usuarios
o al grupo técnico.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 41
Algunas variantes más formales de la entrevista como indicador evaluativo pueden ser los
grupos nominales, como grupos Delphi u otras variantes grupales de evaluación de
intervenciones sociales.
Por otra parte, los diseños deben considerar la complejidad de evaluar resultados a niveles
conductuales y procesuales. Una evaluación debe registrar cambios conductuales como
hábitos de higiene, rehabilitación de conductas de riesgo, cambios en patrones de consumo,
retención de mensajes, etc.
En estos ejemplos es obvio que los resultados pueden estar afectados por otros factores
intervinientes. La atribución de resultados debe basarse en el conocimiento previo de una
relación entre medios y fines, ya que la eficacia o impacto de un proyecto en la población
objetivo depende de la probabilidad de éxito estimada de la intervención. Muchas veces,
estas probabilidades de éxito son relativamente desconocidas o puede haber perdida de
eficiencia en los efectos de esta cadena medios-fines. Por ejemplo, el incremento de la
inversión en tecnología comunicacional no se traduce necesariamente en incremento en
retención de mensajes o contenidos sociales.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 42
- Como consecuencia de lo anterior, se dispone de datos de grandes programas
nacionales por nivel de enseñanza, localización geográfica, sexo, edad, etc.
- Una mayor capacidad manipulativa del grupo objetivo, que está sujeto a rutinas de
horario, ubicación geográfica y, en la mayoría de los casos, puede adaptarse a las
exigencias de manejo de los diseños evaluativos más rigurosos.
El sector salud tiene como meta principal evitar la muerte en grupos objetivos (mujer, niño,
adultos), disminuir su propensión a enfermarse y mantener su bienestar físico y mental.
Se vislumbra como desafío para el sector salud la definición de indicadores de impacto para
futuros riesgos en salud, hacia las cuales los países de América Latina transitan con rapidez,
como la relación salud-hábitat en el proceso de urbanización y metropolización, la
emergencia del SIDA, las ETS, los riesgos en salud laboral, la accidentalidad, etc.
El sector vivienda es el que plantea mayores dificultades de evaluación. Las razones son:
- La larga duración del bien otorgado que, de hecho, es la intervención del programa (la
vivienda o similares). Ello impide aislar en el tiempo el impacto simultáneo o secuencial de
la misma de otros factores asociados en las conductas beneficiadas por la obtención de la
vivienda.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 43
- La precariedad teórica y metodológica de las investigaciones que ligan causalmente la
vivienda a impactos en higiene ambiental, interacción familiar, salud mental, etc.
Con relación al tema de justicia o de defensa social, el sector se presta, por razones obvias,
para la aplicación de diseños evaluativos, ya que maximiza las ventajas del diseño de
estrategias evaluativas propias del sector educación por la mayor institucionalización del
grupo objetivo (por ejemplo, menores irregulares en hogares de protección y delincuentes
adultos en recintos penitenciarios). Debe reconocerse que la tendencia a sistemas abiertos de
rehabilitación social implica el uso de evaluaciones de tipo cuasi experimental, no
experimental o iluminativas.
Finalmente, cabe señalar que es muy importante aplicar las estrategias evaluativas al nivel
adecuado de institucionalización de una intervención. En la fase de proyectos experimentales
o pilotos, sólo deben aplicarse aquellas estrategias evaluativas que permitan evaluar, más que
ganancias relativas de la intervención, altos niveles de impacto social. En la evaluación de
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 44
programas, se aplican estrategias evaluativas más rigurosas, orientadas a medir impactos
específicos, considerando que hay otros programas ya operando y sometidos a evaluaciones
anteriores o paralelas.
Sin embargo, en la evaluación ex ante pueden haber técnicas cualitativas como los grupos
Delphi. En este caso la evaluación esta orientada a prever los impactos que se generarían por
la ejecución de programas públicos de impacto multisectorial o ambiental, como la
construcción de carreteras o cualquier obra de infraestructura. El procedimiento consiste en
entrevistar a un grupo de personas calificadas en relación a los impactos posibles, asignando
un puntaje a cada impacto. Se utilizo inicialmente en países desarrollados en la evaluación de
carreteras y obras públicas que afectan de manera significativa el ecosistema local y regional
(ILPES, 1993b).
El monitoreo debe supervisar las diferentes alternativas de juego de roles entre el tomador de
decisiones, el grupo técnico y los beneficiarios. Las interacciones entre roles se grafican en el
siguiente diagrama.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 45
Diagrama 8
GRUPO TÉCNICO
(Estilo burocrático o tecnocrático, estereotipos
profesionales, conflicto de roles)
TOMADOR DE DECISIONES
(Toma de decisiones según lógica
administrativa, política o profesional)
BENEFICIARIOS
(Expectativas sobredimensionadas,
clientelismo, apoyo)
Los tomadores de decisiones pueden adoptar diversos tipos de liderazgo: por elección, por
tradición, por imposición. La comunicación es también de distinto tipo: formal, expedita,
abierta, etc. También debe preverse que en algunos proyectos se pueden producir fuertes
conflictos (ideológicos, de estilos de trabajo) entre los tomadores de decisiones Estos
patrones interactivos influyen en la ejecución del proyecto pero su monitoreo, por razones
obvias, no resulta sencillo por la necesidad de tener indicadores confiables de estos
comportamientos.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 46
Los paradigmas o escuelas de pensamiento influyen en el grupo técnico y sus destrezas
operacionales aplicadas a la estrategia de intervención del proyecto. Por, ejemplo, la opción
teórico-metodológica de un psicólogo institucional y la de uno clínico es significativamente
diferente de la de un comunitario o sistémico, y tal diferencia se reflejará en la intervención
dentro del proyecto.
Entre el grupo técnico y los beneficiarios se da el típico conflicto entre la primacía de las
relaciones (primarias o secundarias) con el usuario. Se espera que ellas sean humanas y
afectuosas pero, simultáneamente, la cantidad de demandantes y la formalización de la
intervención implican una interacción impersonal regida por estándares objetivos. En la
relación primaria predomina el contacto cara a cara, casuístico o terapéutico, pero a veces
sesgado por afinidades de "clientela" o de compadrazgo.. En la relación secundaria se
privilegia la masividad, la objetividad y la búsqueda de relaciones objetivas y neutras.
Una dificultad para implementar el monitoreo reside en que los datos administrativos no están
integrados a un sistema de monitoreo, en este caso la información permanece concentrada en
la oficina de estadística o control administrativo, sin ser procesada por una unidad especifica
de evaluación, por lo tanto el sistema de monitoreo no es funcional a la toma de decisiones.
Una segunda limitante proviene del hecho que inicialmente el montaje del sistema de
monitoreo es costoso y obliga a cambiar rutinas de control administrativo, afectando y
recargando costos de administración y tensionando la estructura organizacional. Un tercer
problema se relaciona con la existencia de planes y sistemas administrativos obsoletos que se
traducen en falta de estandarización de la información, recolección discontinua, inexistencia
de manuales de procedimientos, precariedad de los recursos computacionales o a la baja o
inexistente calificación del personal en manejo computacional.
- Oportunidad en el tiempo: los proyectos sociales tienen una secuencia de aplicación que
exige que el monitoreo sea oportuno en relación a la modalidad especifica de intervención.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 47
Por ejemplo, un programa de Televisión educacional necesita sistemas rápidos de monitoreo
para la autocorrección del mismo.
Caso contrario, un programa en el nivel educacional básico tendría una secuencia de
monitoreo mas distanciada y los puntos de registro tendrían una secuencia semestral o anual.
- Información disponible en todos los niveles pertinentes. Lo mas probable es que los
indicadores de monitoreo sean registrados en el nivel inmediato de acceso al usuario, y no
sean derivados a los niveles intermedios o decisorios. Por otra parte, el nivel inmediato
carece de información de retroalimentación en el caso que el monitoreo haya implicado un
cambio en la gestión del programa.
Los problemas de monitoreo son mas comunes en proyectos comunitarios, que en los de
rentabilidad privada, ya que estos últimos disponen de sistemas gerenciales de gestión, con
soportes informáticos e indicadores de desempeño.
Todo proyecto social busca modificar exitosamente la situación problema que motivó la
intervención. En la evaluación ex post, se hace una distinción típica entre resultado e
impacto. El primer término apunta a las modificaciones tangibles, medibles o registrables,
usualmente con un instrumento de medición empírica; el segundo, o sea el impacto, agrega
los efectos secundarios o colaterales de la intervención, englobando externalidades positivas
del proyecto y efectos de tipo diferido en el tiempo.
Aceptando la validez de esta distinción, diferentes factores (la presión del tiempo, el ciclo de
inversión pública, el juego político o las restricciones metodológicas) han validado, en los
hechos, evaluaciones que son de resultados más que de impactos. En la práctica, la medición
de resultados resulta equivalente a la de eficacia o impacto de un proyecto. Las evaluaciones
de impacto ambiental, en la medida en que registran externalidades, constituyen el concepto
más cercano al de evaluación de impacto.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 48
En caso que en la formulación no se explicite ningún diseño evaluativo, este deberá
obtenerse mediante consenso o negociación con los ejecutores del proyecto, definiendo
operacionalmente los indicadores de resultados. Este proceso podría resultar viciado por una
autoselección, por parte de los ejecutores, de indicadores favorables de impacto del proyecto,
al conocerse en forma práctica su desempeño.
Algunos proyectos constan de segundas etapas, en donde los beneficiarios del proyecto
original pasan a un estadio superior, o bien el proyecto es parte de una red integrada de
programas, que permite que los beneficiarios sean derivados a otros proyectos o programas a
lo largo de una secuencia temporal. Esta secuencia es propia de programas
institucionalizados asociados a grupos etarios, y ese es el caso de los diversos niveles en la
educación formal. En estos proyectos, si hay resultados intermedios, ellos deberían ser
evaluados como ex post.
Tipos de evaluación
Los tres tipos de evaluación responden a grosso modo a campos de diferentes disciplinas. Los
exponentes de los diseños de eficacia y cualitativo provienen del área de las ciencias de la
conducta, pedagogos, sicólogos, sociólogos, etc. en tanto que los exponentes de los diseños de
eficiencia son característicos del área de administración de recursos físicos, como ingenieros,
economistas, matemáticos y agrónomos
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 49
El análisis de costos puede ser realizado tanto después de la ejecución de un programa como
durante la etapa de diseño. En este último caso, los costos se estiman en función de
evaluaciones previas de programas similares. La estructura de costo sigue una estructura
como la que se presenta a continuación
Cuadro 12
A. Costos de inversión %
$
Terreno 9.192 14.1%
- Edificio 31.904 48.1%
- Equipamiento 3.536 5.4%
- Puesta en marcha 1.488 2.3%
Total costos de inversión 46.120 70.7%
B. Costos de operación
Identificados los costos de inversión y operación del proyecto, resulta necesario conocer su
equivalencia anual, para compararla con los beneficios anuales derivados del proyecto. Se
considera una tasa social de descuento de 12% y la vida útil de cada componente de la
inversión.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 50
En los proyectos sociales, los costos son altos en la fase inicial de ejecución del programa,
dada la inversión que se debe realizar en infraestructura y equipos. Posteriormente
disminuyen y se concentran en los costos asociados a las remuneraciones del equipo técnico
y administrativo.
Cuadro 13
A. Beneficios inmediatos $
Alimentación 6.299
Salud asistencial 249
Terapia ocupacional 2.825
Subtotal satisfacción necesidades básicas 9.373
Guardería frágiles 7.887
Asistencia a convalecientes 2.832
Ahorro consultas innecesarias 115
Subtotal liberación de recursos 10.834
Producción de talleres 682
Colocación laboral 1.564
Subtotal beneficios inmediatos 2.246.
Beneficios diferidos
Ahorros por salud preventiva 1.091
Subtotal beneficios diferidos 1.091
Total beneficios 23.544
% del costo total: 93.7
Adaptado de CIAPEP. Instituto de Economía U.C.
Con respecto a los costos y beneficios futuros, cabe plantear que todo análisis detallado de
costos y beneficios debe contemplar que las intervenciones sociales exitosas tienen
repercusiones positivas en el futuro y efectos colaterales en otras actividades humanas.
La monetarización de los beneficios se hace mediante el cálculo del valor actualizado neto
(VAN) de los ingresos y costos de programas o proyectos. Si este VAN es superior a cero,
sería conveniente aprobar el proyecto.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 51
Otro criterio de evaluación es la Tasa Interna de Retorno (TIR), que es aquella tasa que hace
que el VAN sea igual a cero; luego, mientras más alta es esta tasa (usualmente superior a la
tasa de costo de oportunidad del capital o un 12% por convención) más rentable es el
programa o proyecto (Sanín, 1995).
El VAN de programas o proyectos y los beneficios estimados puede estar afectado por
diferentes ámbitos temporales de maduración de los efectos. De allí nace el error de tener
preferencias apresuradas por implementar programas que generen beneficios inmediatos.
En cuanto a los problemas en el análisis de costos, debe decirse que las unidades de costo
deben ser compatibles con las metas del programa. Por ejemplo, en el sector salud, una
alternativa de medición de costos puede ser el costo por paciente-día; otra podría ser el costo
por paciente dado de alta. En el primer caso hay un estímulo indirecto a la
institucionalización, y en el segundo, a la alta o mejoría integral del paciente. En este último
caso puede haber un incremento del costo por paciente-día, pero disminuye el costo por
paciente dado de alta. En el caso de un programa de inserción laboral, los indicadores
factibles serían:
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 52
Número de personas recibiendo capacitación
Número que obtienen trabajo
Número de los que mantienen trabajo después de un año
Promedio de incremento de ingreso
De los ejemplos anteriores, se puede apreciar que la unidad de análisis de costo puede estar
afectada por el tipo y comportamiento de la variable que se define como objetivo de
programa. Por ejemplo, cambiar el status de una persona de una situación de cesantía a una
de empleo mínimo es relativamente fácil, pero hacerla ascender del empleo mínimo a un
estrato de ingreso superior es más difícil, y más lo será en las etapas sucesivas de su
movilidad ocupacional ascendente.
De allí la importancia de establecer los costos indirectos en los proyectos sociales, ya que
estos pueden anular o limitar las ventajas directas de estas intervenciones (CIAPEP, 1985).
Hay que considerar que no siempre el programa de menor costo es el mejor. Por ejemplo, el
control biomédico de embarazadas es oneroso, si se le compara con folletos de autocuidado
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 53
del embarazo, pero este último tiene evidentemente una menor probabilidad de éxito en salud
reproductiva.
Cabe destacar que sólo recientemente los programadores sociales han tomado conciencia de
la importancia de los costos, directos e indirectos, en la formulación y evaluación de sus
programas.
Cuadro 14
MEDICIÓN 1 MEDICIÓN 2
- Es complejo el control de aquellos factores externos que podrían afectar el programa y que
no son imputables al mismo. Por otra parte, en los proyectos sociales es difícil el control de
las interacciones entre el grupo de control y el experimental.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 54
- El tamaño de los grupos debería garantizar una significación estadística de las diferencias
entre el grupo experimental y el de control.
- Las mediciones pre y post-test deberán hacerse con un instrumento estandarizado y que no
experimente variaciones en el tiempo. Esta misma exigencia de estandarización resta validez
a una comprensión global de la eficacia del programa. Se sacrifica validez en función de la
confiabilidad de la medición. Por ello, el diseño se concentra en programas muy rutinizados,
con grupos de beneficiarios cautivos (cárceles, salas de clases, etc.) más que en programas
para adultos no institucionalizados o en intervenciones no convencionales.
- El uso del diseño experimental tiene sentido cuando se sospecha que el efecto es de
magnitud, lo que restringe este diseño sólo a intervenciones específicas y susceptibles de ser
formalizadas en este tipo de diseño.
- El impacto del programa está distorsionado por el hecho de que los grupos siempre
cambian cuando son objeto de un programa, independientemente del tipo de intervención.
Esto se soluciona implementando un programa placebo como grupo de control. Se pueden
establecer dos grupos de control, uno placebo y otro no, pero el diseño se hace complejo y,
naturalmente, aumentan los costos de aplicación del diseño experimental.
- Este diseño puede verse afectado cuando el grupo objetivo que será aleatorizado proviene
de proyectos con demanda espontánea, ya que, dado el acceso voluntario de los beneficiarios
al programa, ambos grupos no se corresponden con toda la población en déficit, lo que
excluye a los eventuales beneficiarios que se automarginan del programa.
Estas limitantes explican en buena medida el hecho de que, con el tiempo, el diseño
experimental vaya disminuyendo su influencia como alternativa evaluativa de proyectos
sociales.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 55
Por ejemplo, se comparan grupos en programas o contextos relativamente similares:
programas de planificación familiar en clínicas similares, cursos en colegios, rehabilitación
en cárceles, tipos de entidades productivas (minifundios, microempresas) jardines infantiles,
salas de hospital, barrios marginales y otros.
En el sector salud se han aplicado diseños cuasi experimentales en áreas como estimulación
precoz, higiene ambiental, salud mental, con resultados variables, dada la dificultad de ligar
la intervención como indicador válido y confiable de impacto, en tanto sigan actuando otras
variables exógenas no controlables durante la intervención.
En los programas de vivienda se han aplicado diseños cuasi experimentales para evaluar la
construcción de casetas sanitarias y viviendas. Se evalúan como impacto de la caseta:
mejoría en la higiene familiar, uso del agua potable, incidencia en enfermedades
gastrointestinales. Los resultados de estos estudios son poco concluyentes, ya que hay
interferencia en la recolección de datos y, en general, por que hay escasa confiabilidad en las
mediciones (en los grupos experimental y de comparación).
Según evaluaciones del Banco Mundial (Bamberger, 1982), los diseños evaluativos de tipo
cuasi experimental en relación a lotes y servicios evidencian los siguientes resultados:
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 56
Los diseños cuasi experimentales han resultado poco determinantes en el registro de
impactos en sectores productivos, que utiliza indicadores como empleo, ingreso o
comercialización.
En el sector justicia (o de rehabilitación social), las características del grupo objetivo facilitan
la aplicación de diseños cuasi experimentales; este tipo de evaluación se ha aplicado a
programas de estimulación y tratamiento en ambiente libre, a intervenciones rehabilitadoras
en base a meditación trascendental, etc. En general, este es el diseño evaluativo por
excelencia para programas pilotos de rehabilitación conductual.
Estos modelos son una variación de los diseños cuasi experimentales. Necesitan un alto
grado de manipulación de las variables e implican la simulación de control de variables para
incrementar la potencia explicativa de algunas variables independientes, pero presuponen
una serie de requisitos:
a) Necesitan una muy completa base de datos. Los programas reducidos —de índole
no gubernamental o proyectos— tienen limitaciones en sus datos para la aplicación de
modelos estadísticos.
b) Implican un sólido desarrollo teórico previo de la estrategia de intervención, para
conceptualizar el modelo interrelacionado de variables independientes e intervinientes y su
nexo con la dependiente.
(c) Este manejo estadístico debe tener un correlato con el manejo real. En caso
contrario, el modelo de regresión es meramente un ejercicio formal sin posibilidades
prácticas de ser utilizado como retroalimentación en programas sociales.
La serie temporal es un tipo de diseño cuasi experimental que tiene como objetivo describir
las tendencias seculares de un programa para poder compararlas con el comportamiento
tradicional o prognosis de las variables dependientes objeto de la intervención programática.
En este diseño debe tenerse evidencia empírica previa del comportamiento histórico de la o
las variables dependientes, para su comparación con la diseñada por la acción programática.
Veamos un ejemplo: el comportamiento histórico de una tasa de mortalidad está afectado por
una serie de factores, que deben ser tomados en cuenta para juzgar el impacto de programas
de prevención o control de la mortalidad infantil. Paradojalmente, resultaría más fácil bajar
significativamente —en base a programas maternoinfantiles— la tasa de mortalidad en
Africa Central que en los países de Europa del Norte, dados los diferentes estadios de su
transición demográfica.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 57
Un procedimiento similar se puede aplicar en el sector vivienda, en el cual es factible
describir una curva de demanda de soluciones habitacionales, constituida por el crecimiento
vegetativo de familias, a lo que se puede agregar la obsolescencia habitacional y el déficit de
arrastre de la demanda histórica no satisfecha. Frente a esta prognosis de la variable
dependiente (o curva de demanda) se contrasta la oferta habitacional y su grado de éxito para
cubrir o reducir parcialmente el déficit.
Otro problema de las series temporales es que no siempre es posible el seguimiento de los
resultados de un programa cuasi experimental después del post-test. Por esto, la metodología
sugerida es el trabajo con predictores confiables de la conducta futura como, por ejemplo,
predictores de reincidencia en reclusos que se encuentran en el medio libre. Aun así, el
impacto definitivo de la rehabilitación derivada de programas de intervención sólo es
verificable con la disminución de las tasas de reincidencia.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 58
Este tipo de diseño es, posiblemente, el más factible para aplicar en programas y proyectos
que incorporen estrategias de intervención estandarizadas, especialmente en la entrega de
conocimientos; por ejemplo, programas y proyectos de educación sexual o salud familiar.
La dificultad que plantea este diseño es su carencia de una medición "antes", la que puede ser
suplida por la comparación de la celdilla "después", o sea, por el impacto del programa con
el de otro programa o intervención paralela. Por ejemplo, la comparación de un programa
alternativo de reconstrucción de viviendas después un desastre natural, debería hacerse en
relación a un programa estatal, cuidando que esta comparación se refiera a una población con
déficit relativamente similar.
Otros grupos de contrastación pueden ser una comuna vecina, los estándares internacionales,
o algunos niveles determinados por informantes claves o expertos.
Una forma de mejorar la relevancia de los diseños "después con grupo de comparación" es el
uso de estudios transversales, donde las comparaciones son realizadas una vez terminada la
intervención. Se contrastan muestras tanto de participantes como no participantes de un
programa, y en la muestra se registra información sobre el mayor número de variables
independientes posibles. Las variables intervinientes se pueden mantener constantes
mediante un control estadístico. Si el programa tiene bastante tiempo funcionando y es de
cobertura relativamente amplia, el ajuste estadístico resulta bastante adecuado.
Una limitante del control estadístico reside en que no aísla el efecto de autoselección que
podría subyacer en el grupo de beneficiarios. La aplicación de esta modalidad de diseño
evaluativo se ha popularizado bastante, ya que ha revelado —por los avances de la
informática— una buena relación costo-efectividad y gran rapidez en el tiempo. Son
adaptables a programas institucionalizados, que disponen de datos regulares y estables en el
tiempo.
Este diseño no se puede contrastar con un diseño "antes". Un ejemplo de ello está en la
evaluación de un programa de tratamiento del alcoholismo en que se rehabilita un porcentaje
de la población atendida, pero desconociendo el porcentaje de incidencia del grupo en riesgo
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 59
en el período "antes". Al desconocer la línea base de inicio del programa, el porcentaje de
logro puede ser tanto espectacular como magro.
Es posible diseñar una serie temporal para graficar la tendencia secular y de allí evaluar los
resultados obtenidos sólo con el "después". Esta alternativa sólo es factible después del
transcurso de varios años, y como producto de la implementación de una serie de programas,
lo que permitiría definir una curva de impacto en relación a la curva histórica de demanda
(línea base).
Este diseño es útil en áreas en que no se conoce mucho la problemática y sin información
confiable, lo que no hace posible fijar líneas base de comparación del impacto. Es el caso de
muchos programas ejecutados por gobiernos locales, por organizaciones de base social o de
carácter no gubernamental.
También serían asimilables a este diseño los programas de capacitación que apuntan al
desarrollo organizacional o comunitario.
Mas allá de sus limitaciones, el diseño "después" presenta una promisoria línea de desarrollo
en la medida en que se logren diseñar pautas de evaluación de impactos validadas por jueces
independientes. Si los ítems de estas pautas de evaluación ex post resultan válidos y
confiables, podrían ser utilizados como una forma operacional de evaluación que obvia las
limitaciones de discrecionalidad o subjetividad derivadas de los informes de actividades o
relatos de experiencias de proyectos.
10 Aunque en América Latina solo se están desarrollando recientemente, son de uso creciente en proyectos
del Banco Mundial (World Bank 1998)
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 60
Los indicadores de calidad para tener sentido en la toma de decisiones necesitan de una
disponibilidad continua para registrar variaciones porcentuales en niveles de calidad según
usuarios.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 61
El uso de expertos en la evaluación de acreditación
Las pautas de evaluación de los Fondos de Inversión, Emergencia o Solidaridad Social, por
el escaso presupuesto asignado a algunas líneas de proyectos, constriñen al evaluador a
aplicar, de hecho, un criterio costo-efectividad, en la medida en que frente a la disyuntiva de
elegir entre varios proyectos de buena calidad, se tiende a optar por los de menor costo
unitario.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 62
La utilidad de la evaluación cualitativa se refuerza cuando es usada como complemento de
evaluaciones basadas en técnicas costo-beneficio o de impacto, o centradas en cuestionarios
o resultados expresados en bienes o servicios provenientes de fuentes estadísticas.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 63
BIBLIOGRAFÍA
Bamberger, Michael (1982), Evaluation of sites and services projects. World Bank Staff
Working Papers Nº 549. IBRD, Washington D.C.
Wurgaft, José (1993), Fondos de inversión social en América Latina. PREALC, Santiago.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 64