You are on page 1of 65

FORMULACION Y

EVALUACION
DE
PROYECTOS SOCIALES

APUNTES DE CLASE

FERNANDO SALAMANCA O. – JOSE REINALDO SAEZ M.

Santiago de Chile, Marzo 2004

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 1
INDICE

Página
RESUMEN 3

PRESENTACIÓN 4

I. MARCO GENERAL 6
I.1. Programas y proyectos 6
I.2. El ciclo de proyectos 8
II. ANTECEDENTES Y SITUACIÓN PROBLEMA 11
II.1. Información en base a estadísticas sociales 11
II.3. Diagnostico y Árbol de Problemas 16
II.4. Cobertura de beneficiarios 18
II.5. Selección de beneficiarios 19
II.6. Localización 20
III. MARCO INTERPRETATIVO Y PROPUESTA 21
III.1. Marco analítico y alternativas de solución 21
III.2. Análisis de prefactibilidad de alternativas de solución 24
III.3. Objetivos y metas 25
III.4. El uso del marco lógico 26
IV. PRESUPUESTO, ADMINISTRACION Y GESTION 28
IV.1. Productos, requerimientos y presupuesto 28
IV.1.1. Cuantificación de los productos 28
IV.1.2. Cuantificación de los requerimientos 29
IV.1.3. Tipos de presupuesto 30
IV.1.4. Flujo de caja 31
IV.2 Etapas y actividades 31
IV.3. Modelo de gestión 33
V. SUPERVISIÓN DE PROYECTOS 35
V.1. Control financiero 35
V.2. Control técnico 35
VI. EVALUACION EN PROYECTOS SOCIALES 38
VI.1. Los grandes modelos de evaluación 38
VI.2. Características de los diseños evaluativos……………………………………….38
VI.3. Los datos e instrumentos para la evaluación de un proyecto…………………… 39
VI.4. Evaluación en los sectores sociales……………………………………………… 42
VI.5. Evaluación ex ante………………………………………………………….. …… 45
VI.6. Evaluación de procesos o monitoreo ...………………………………………….. 45

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 1
VI.7 Necesidades y exigencias de la supervisión y monitoreo de proyectos. 47
VI.8. Evaluación del impacto o ex post. 48
VI.9. Evaluación de eficiencia 49
VI.9.1. El modelo costo-beneficio ………………………………………………...49
VI.9.2. El modelo costo-efectividad ………………………………………………52
VI.10. Evaluación de eficacia …………………………………………………………...54
VI.10.1. El diseño experimental 54
VI.10.2. El diseño cuasi experimental .. ……...…………………………………...55
VI.10.3. Modelos de regresión.……………………………………………………57
VI.11. Diseños semiformalizados 57
VI.11.1. Serie temporal ………………… ………………………………………..57
VI.11.2. Diseño no experimental antes-después ………….………………………58
VI.11.3. Diseño después con grupo de comparación ……….…………………… 59
VI.11.4. Diseño después…….…………………………………………………….59
VI.12. Diseños cualitativos………...……………………………………………………61
El uso de expertos en la evaluación de acreditación 62
BIBLIOGRAFÍA 64

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 2
RESUMEN

La formulación y evaluación de programas y proyecto se contextualiza inicialmente


en el marco de las políticas públicas y en particular de las relacionadas con
problemas o necesidades sociales.

Se describe el proceso de formulación y evaluación de proyectos dentro del ciclo de


inversión pública dentro del cual se establecen pautas o formatos básicos a los
proyectos sociales.

Dentro de la formulación del proyecto se describen los antecedentes cualitativos y


cuantitativos que diagnostican la situación problema y determinan la cobertura, tipo
de acceso y localización del proyecto.

Una vez diagnosticada la carencia, se propone una estrategia de intervención


fundamentada en un marco interpretativo y en el análisis de otras alternativas de
acción. La alternativa propuesta se operacionaliza en objetivos, metas y en un marco
lógico de programación.

En tanto el proyecto demanda recursos físicos, humanos y financieros, se añade a la


formulación del mismo la elaboración del presupuesto, el cronograma y el modelo de
gestión. Particular atención se presta a modelos de gestión participativos.

Secuencialmente a la formulación de programas o proyectos se presentan la


evaluación de los mismos en dos modalidades: evaluación de costo-impacto y
evaluación de resultados. En la primera modalidad se describen las técnicas costo-
beneficio y costo-efectividad y en la segunda las variantes del diseño experimental y
la evaluación cualitativa.

Por último, se caracteriza el desempeño de los modelos evaluativos en los sectores


sociales, con referencia a sus particularidades para una adecuada evaluación.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 3
PRESENTACIÓN

Tanto las políticas públicas como las iniciativas de la sociedad civil tienen como
herramientas operacionales a programas o proyectos. Los problemas o necesidades sociales
se traducen en estas herramientas operativas, especialmente agrupadas por sectores sociales.

La formación de profesionales en programación y evaluación social implica la capacidad de


formular y evaluar proyectos, en el marco de la necesidad de optimizar, mediante programas
y proyectos, los recursos públicos en una óptica de eficacia, eficiencia, equidad y
participación social.

Estos apuntes se enmarcan en la necesidad más general de formación de recursos humanos


en políticas, programas y proyectos en la amplia gama de necesidades sociales. Su utilidad
reside en constituir un apoyo a la docencia, así como un instrumento permanente de
asistencia para los profesionales que trabajan en proyectos tan variados como promoción de
la salud, educación, desarrollo comunitario, comunicación, capacitación y empleo y
construcción y mantención de infraestructura social. Su utilidad es extensiva a programas y
proyectos en el ámbito comunal y regional en el sector público, así como organismos
gubernamentales relacionados con la agenda social.

El documento se inicia con los componentes del diagnóstico de la situación problema y las
metodologías en uso para la detección de necesidades. Posteriormente se extiende en las
características de la estrategia de intervención, su operacionalización y marco lógico. Detalla
además los elementos constitutivos del presupuesto y cronograma de trabajo.

Se releva la gestión participativa en los proyectos, recogiendo el acento puesto por diversos
organismos multilaterales en incorporar a beneficiarios/as, y en general a actores de la
sociedad civil, en la formulación, gestión y evaluación de proyectos de desarrollo.

Dentro de la evaluación se distingue entre evaluación de eficiencia y de impacto. En la


primera opción se destacan las técnicas costo-beneficio y costo-efectividad y en la segunda,
las variantes del diseño experimental y las estrategias cualitativas.

Por último, los apuntes precisan la aplicabilidad de los diseños evaluativos en los sectores
sociales más usualmente asociados a respuestas estatales a necesidades básicas de la
población.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 4
INTRODUCCIÓN

Estos apuntes han sido diseñados como material de apoyo a las clases lectivas y talleres de
cursos de Formulación como de Evaluación de proyectos sociales, dictados en diversos
centros académicos y organismos públicos.

En ellos se enfatizan en los conceptos asociados a las herramientas operativas en


planificación, y se remarca la noción de proyecto asociado tanto a la formulación e
implementación de proyectos como de los programas, calificando la diferencia entre ambos
niveles cuando sea pertinente.

Los apuntes se ordenan en un Capítulo introductorio sobre marco general y los Capítulos
subsiguientes en secciones correlativas según el ciclo del proyecto (Capítulo II):
antecedentes y situación problema en el Capítulo III, la estrategia de intervención en el
Capítulo IV; presupuesto, administración y gestión de proyectos en el Capítulo V; el
Capítulo VI se refiere a supervisión de proyectos y el Capítulo VI a evaluación de proyectos
sociales.

Se sintetizan los conceptos usuales en el diseño, implementación y evaluación de proyectos


sociales y se agregan referencias a proyectos productivos de carácter local y con
externalidades sociales. Se hace referencia, como evidencia empírica, tanto a investigaciones
aplicadas como a proyectos evaluados o en desarrollo.

Los apuntes recogen valiosas observaciones y críticas formuladas por alumnos de diversos
cursos, pero las opiniones emitidas sobre las intervenciones sociales analizadas sólo
comprometen a los autores.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 5
I. MARCO GENERAL

I.1. Programas y proyectos

Las herramientas operativas de la planificación son los programas y proyectos. Los


programas tienen su origen ya sea en una respuesta institucional del Estado a movimientos
sociales o en la detección de necesidades básicas, como también en la modernización de las
políticas sociales. Están dotados de una base institucional sólida y de larga data, y su
expresión formal es usualmente un Ministerio o una agencia gubernamental especializada.
Poseen además personal profesional y administrativo que forma parte regular del aparato
público. Sus recursos provienen del presupuesto ordinario de la nación.

Diagrama 1.

POLÍTICA SOCIAL

PROGRAMA 1 PROGRAMA 2

PROYECTO 1.1 PROYECTO 1.2 PROYECTO 2.1 PROYECTO 2.2

Los beneficiarios de los programas son grandes agregados de población, generalmente


categorizados por grupos de edad o por necesidades básicas específicas. Los programas
tienen cobertura de carácter nacional y su intervención es llevada a cabo mediante bienes o
servicios estandarizados. En ello generalmente no se contempla la participación directa de
los beneficiarios. Son precisamente estas características las que colocan a los programas bajo
el juicio crítico acerca de su capacidad para garantizar niveles adecuados de equidad, de
redistribución o participación social.

Dentro del nuevo marco de la planificación, ambas herramientas (programas o proyectos)


deben enmarcarse en ciertos ejes recurrentes de planificación que pretender dar respuestas a
ciertos problemas o tópicos, que se sintetizan en el siguiente cuadro:

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 6
Cuadro 1

EJES PARA EL DISEÑO Y EVALUACIÓN DE POLÍTICAS PROGRAMAS Y


PROYECTOS

EJES PROBLEMAS O TÓPICOS


Capacidad intersectorial.
Integralidad
Niveles de integralidad (nacional, regional, local)
Focalización.
Equidad
Territorialización.
Sectores vulnerables
Magnitud de déficit.
Cobertura
Priorización.
Selección de usuarios
Implementación y sus obstáculos.
Participación
Escala.
Replicabilidad.
Inferencia.
Inserción en la institucionalidad estatal
Dificultad de cuantificación.
Transferencia monetaria
Estimación de niveles mínimos.
Accesibilidad a subsidios
Directo.
Financiamiento
Tributación o indirecto
Tarifas.
Autofinanciamiento
Costos administrativos.
Eficiencia
Uso de Infraestructura y equipamiento. Retención de
beneficiarios o clientes
Medición en base a insumos o resultados.
Eficacia
Externalidades.
Sustentabilidad.
Metodologías efectivamente aplicables

TEMAS EMERGENTES PROBLEMAS O TÓPICOS

Evaluación multidisciplinaria. Auditoría y monitoreo. Impacto


Medio ambiente
Incorporación a políticas. Sectorización
Genero
Escala de la política. Estructuras jurídico-institucionales.
Identidad cultural
Subsidios

Como complemento a los programas —y en algunos casos como alternativa— en la última


década se ha enfatizado en el papel de los proyectos sociales como herramienta
complementaria y eventualmente substitutiva de los programas. Los proyectos sociales
tienen el propósito de enfrentar carencias sociales mediante acciones específicas
complementarias al Estado, dentro de una concepción solidaria innovativa y promocional de

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 7
resolución de problemas sociales, invirtiendo en la generación de capacidades de la
población para mejorar sus condiciones de vida.

Sería incongruente reemplazar los programas por proyectos como instrumento de planeación,
en cuanto son herramientas con diferentes propósitos y niveles. Sin embargo, para los fines
de diseño y evaluación de intervenciones sociales, es importante destacar las diferencias
metodológicas presentes en ambas herramientas. Entonces, los programas están más
asociados al análisis general de políticas públicas, en cambio los proyectos a fondos de
inversión, que cuentan con técnicas de evaluación ex ante para sus intervenciones.

I.2. El ciclo de proyectos

Diagrama 2.

CICLO DE VIDA DE LOS PROYECTOS

Evaluación Diseño
de
impacto

NECESIDADES
Evaluación
Ex ante

Resultados
APRENDIZAJES

Ejecución

Evaluación
de
procesos

Seguimiento

En América Latina los proyectos se enmarcan, en forma creciente, en un ciclo decisional que
establece criterios formales para la asignación de recursos hacia los sectores sociales. Este
ciclo se inicia usualmente en los niveles más desagregados del aparato público, o sea, en el
gobierno local o en el regional. Eventualmente, las organizaciones comunitarias pueden ser
generadoras de ideas o perfiles de proyectos, con el respaldo de los gobiernos locales.

De esta manera, el proyecto social inicia un proceso progresivo de jerarquización y


compatibilización con líneas programáticas preexistentes, salvo cuando cumple la función de
innovar dentro de programas sectoriales tradicionales.

Independientemente de los rasgos específicos de cada sector social (salud, vivienda,


educación, etc.), los proyectos responden a un formato común de diseño en su formulación,
en que destacan como elementos centrales la detección del problema y la magnitud de la

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 8
demanda, la solución propuesta y los objetivos, sus posibles impactos, requerimientos,
presupuesto, etapas y actividades, el modelo de gestión y el marco institucional.

El proceso final de este ciclo termina con la aprobación técnico-financiera de un ente


regional, sectorial o nacional de planeación y finalmente con la sanción positiva de las
oficinas de presupuesto y su adecuación a las normas de contraloría o auditoría vigentes en el
Estado. Por otro lado, algunos proyectos deben atenerse a los criterios de aprobación y
supervisión de la cooperación internacional u organismos multilaterales (Banco Mundial,
BID).

Este ciclo de proyectos presenta el gran mérito de ordenar el flujo de ideas, perfiles y diseños
de proyectos y de inhibir el uso caprichoso o discrecional de los recursos públicos. Introduce
un margen de objetividad en la jerarquización de las necesidades sociales y evita dejar la
ejecución de los proyectos al libre juego de los actores sociales demandantes de necesidades
básicas.

Como contrapartida, implica la necesidad de una gestión idónea de proyectos por


organizaciones muy heterogéneas en cuanto a su capacidad programadora. Ese es el caso de
las organizaciones de base, gobiernos locales e incluso de una cantidad apreciable de
gobiernos regionales y agencias sectoriales.

En la práctica, aquellos gobiernos locales o regionales con mejor acceso a la información,


con buenos equipos técnicos, grupos y movimientos sociales organizados, son los más
beneficiados, por su mejor capacidad para generar y ejecutar proyectos sociales.

Para corregir esta anomalía, los gobiernos estipulan una serie de salvaguardias para la
asignación social y espacial equitativa de los recursos públicos, como cuotas regionales,
niveles de pobreza prioritarios para proyectos focalizados, líneas de acción para grupos
objetivos de riesgo y otras formas de determinar anticipadamente los proyectos más
redistributivos y de alto impacto social. Crecientemente, en los proyectos financiados con la
cooperación internacional se estipula una sujeción al marco del contexto nacional, la
explicitación de factores socio-económicos y la incorporación de los intereses de la mujer.

Como resultante de una tendencia creciente en América Latina hacia la desconcentración y


descentralización de los fondos sociales se han producido interesantes modificaciones en la
modalidad de asignación de proyectos sociales, lo que afecta positivamente el tipo de
formato o diseño de proyectos (ILPES, 1993a).

Una expresión de esta tendencia son los fondos de inversión focalizados (Wurgaft, 1993) y el
incremento de los recursos financieros a los gobiernos locales, lo que facilita la inserción
comunitaria en la generación de proyectos. El ciclo de gestión de proyectos públicos se
simplifica y la capacitación se extiende a funcionarios medios o a dirigentes sociales. Se
introduce un criterio de competitividad intralocal y regional que mejora la originalidad de los
proyectos, aunque debe reconocerse que este proceso está en sus inicios y para un juicio
definitivo es temprano aún.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 9
La evaluación preliminar de los proyectos locales plantea desafíos, como la necesidad de
asegurar un alto impacto en proyectos con alta demanda por beneficiarios y además con
presupuestos reducidos. Se agrega a ello, la corta duración de la intervención y el
requerimiento de sustentabilidad a mediano plazo.

En general, el ciclo de proyectos sociales gubernamentales deja como lección la necesidad de


socializar y capacitar a las organizaciones sociales en las características técnicas de
formulación de proyectos. Las carencias formativas se evidencian principalmente en la
sociedad civil y en las comunas o distritos pobres de un país lo que, por el carácter
competitivo de los fondos de inversión, produce un círculo vicioso de menor dotación de
recursos para esas zonas.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 10
II. ANTECEDENTES Y SITUACIÓN PROBLEMA

El primer paso en la formulación de proyectos es la recolección de antecedentes que


identifiquen una situación problema. Una situación problema en los sectores sociales
proviene de desequilibrios, demandas o insatisfacción de necesidades básicas. La definición
del problema a su vez puede provenir de variadas fuentes, desde movimientos de masas,
demanda de clientes potenciales hasta estándares mínimos de bienes o servicios sociales
definidos técnicamente o por organismos internacionales.

Para identificar, describir y dimensionar la situación problema es necesario registrar distintos


tipos de información, que se reseñan en las siguientes secciones.

II.1. Información en base a estadísticas sociales

En la determinación del diagnóstico se trata de establecer la magnitud de la carencia que el


proyecto social pretende modificar y se recurre a un conjunto de indicadores sociales, a los
que se confiere validez y confiabilidad para determinar brechas o déficit en cobertura en
niveles de atención u otra forma de carencias.

Se ha discutido extensamente sobre las formas más adecuadas de registrar las necesidades
básicas, aceptando que las estadísticas sociales son un reflejo parcial de la magnitud y
complejidad de las carencias sociales. Sin embargo, la experiencia indica que es más certero
el uso creativo de las estadísticas y datos disponibles que la espera de metodologías de
diagnóstico excesivamente costosas o complejas.

Para definir la magnitud del problema es necesaria una previa estimación de la población
carenciada y conocer las características del grupo al cual se orientaría el programa y de su
distribución espacial. En los programas y proyectos sociales, es particularmente útil la
distinción por grupos de edad, en la medida en que ello permite categorizar programas y
proyectos sociales de acuerdo al ciclo vital. Eventualmente, es adecuado diferenciar los
grupos de edad por sexo, para atender a la equidad de género en el acceso a políticas
públicas.

El concepto de población blanco, grupo objetivo o demanda potencial se refiere a la


distinción de subgrupos al interior de la población carenciada, y cabe utilizar al respecto dos
distinciones: grupo en déficit y grupo en riesgo.

En el primer caso (grupo en déficit) la disponibilidad de datos es más factible, ya que es


posible dimensionar "stocks" de deficitarios o carenciados por medio de datos provenientes
de censos o encuestas de hogares, como sexo, edad, tipo y calidad de la vivienda, tamaño de
la familia (expresados en mapas de extrema pobreza, de grupos vulnerables, etc.).
El grupo en riesgo presupone mayor vulnerabilidad que se deducen del conocimiento de un
modelo causal y de su dinámica en el tiempo para la constitución del riesgo. Para establecer
las variables de riesgo; los datos son más difíciles de obtener y generalmente exigen la

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 11
elaboración de diagnósticos ad hoc, los que son poco frecuentes por el costo y la
complejidad de los instrumentos de recolección de la información requerida.

El concepto de grupo en riesgo se deriva del enfoque de la intervención temprana en salud


pública, y que adquiere creciente importancia en la programación social (OPS, 1986). En
este caso, los programas y proyectos se orientan principalmente hacia grupos vulnerables,
como los menores de seis años y las madres embarazadas. El concepto de grupo de riesgo
busca incentivar programas preventivos dirigidos a población vulnerable, como en
problemas de conducta irregular y drogadicción juvenil.

Un uso de estadísticas sociales es la medición de necesidades básicas insatisfechas (NBI)


con fines de focalización. La medición de NBI se apoya en indicadores estadístico
compuestos de nivel socioeconómico que se derivan de una reelaboración de los datos
censales y de encuestas de hogares y se basas en indicadores habitacionales. En América
Latina se desarrollan registros de NBI, desagregables para el nivel nacional, regional y,
eventualmente en el ámbito local. Algunos países disponen de instrumentos específicos de
medición de carencias que permiten una mejor focalización dentro de las personas o familias
pobres.

La focalización es útil para comparar la secuencia temporal de programas, cuando entre


ellos hay una baja cobertura de bienes y servicios sociales a grupos en riesgo. En Chile, por
ejemplo, dentro de los grupos pobres, parte significativa de las demandas del grupo de edad
de 0-24 meses es atendida casi en su totalidad por el Programa Nacional de Alimentación
Complementaria (PNAC). Lo mismo sucede con las del grupo de edad 7-14 años, que son
atendidas por el programa de alimentación escolar (PAE). Sin embargo, en el grupo entre 2 y
6 años existe una brecha de baja cobertura en la educación preescolar. Estas anomalías
ilustran la necesidad de establecer programas secuenciales con propósitos múltiples según el
ciclo vital.

Los datos secundarios permiten la delimitación de los grupos objetivos y de los beneficiarios
del proyecto y, en algunos casos particulares, deben complementarse con estudios de
carencias o diagnósticos ad hoc. En estos últimos se utilizan cuestionarios estructurados o
datos secundarios de origen administrativo, en particular estadísticas vitales.

Un caso particular lo representan los diagnósticos sobre la estructura productiva y del empleo
sectorial. Los datos se extraen de los Censos nacionales de Población y Vivienda y Encuestas
continuas de ocupación. Más allá de los datos descriptivos sobre los sectores productivos y
de empleo predominantes, el desafío de las estadísticas de empleo es su calidad de
predictores adecuados de la demanda de oficios para formular proyectos de capacitación y de
microempresas. De antemano se puede establecer que se trata de estadísticas demasiado
estáticas y agregadas —sectorial y geográficamente— que no permiten su uso óptimo a nivel
local y comunitario.

Sin embargo, estas fuentes administrativas permiten mejorar la calidad de los diagnósticos
para proyectos y programas sociales (ver Cuadro 2).

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 12
Cuadro 2
CARACTERÍSTICAS DE LAS FUENTES DE INFORMACIÓN SECUNDARIA

TIPO COBERTURA VARIABLES VENTAJAS DESVENTAJAS


• Población • Desagregación • Período de
• Educación Intracomunal tiempo
Censos • Nacional • Empleo • Existencia como • Secreto
• Familia base de datos estadístico
• Necenal • Vivienda • Expedición de • Ausencia de
• Calidad acceso variables
• Saneamiento psicosociales
• Equipamiento
comunitario

Encuestas de • Población
hogares • Educación
• Empleo • Periodicidad • Restricción por
Encuestas de • Familia • Flexibilidad muestra
ocupación • Metropolitana • Vivienda • Acceso limitado
• Calidad a la base de
Encuesta de • Saneamiento datos
presupuestos
familiares
• Equipamiento
comunitario o
• Ciudades medias acceso a bienes y
servicios
Sectores: • Controles
• Salud, • Consultas, • Series temporales • Inexistencia
Estadísticas • Educación • Población • Factibilidad de como base de
sectoriales • Vivienda, escolarizada índices datos.
• Comunicaciones. • Número de • Desagregación
viviendas social y
• Flujos telefónicos territorial

Es importante destacar el conjunto de entidades gubernamentales que producen información


regular, como el Servicio de Impuestos Internos, el Registro Civil, el Instituto Nacional de
Estadísticas y otras.

II. 2. Datos primarios

Otras fuentes de información provienen de datos primarios para diagnosticas necesidades


básicas. Ellas son generalmente de orden cualitativo, especialmente técnicas basadas en
entrevistas semi-estructuradas a informantes claves y en entrevistas grupales.

La información primaria es necesaria para dimensionar carencias en áreas de difícil


detección estadística, como salud mental, adicciones, comportamiento reproductivo,
conducta irregular, minorías étnicas, necesidades de capacitación, etc. Sin embargo, estos
datos no siempre cuentan con la difusión adecuada para ser aprovechados por las
organizaciones comunitarias o por entes descentralizados del Estado. Sus limitantes residen
en la falta de periodicidad y cobertura territorial de la información.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 13
a) la entrevista semi-estructurada

La entrevista semi-estructurada es una técnica adecuada para estimar la demanda cualitativa


cuando esta demanda se refiere a tópicos sociales complejos. La entrevista semi-estructurada
se dirige a informantes claves y es adecuada para estimar demanda en proyecto de pequeña
escala y con referencia a valores, actitudes o comportamientos locales.

Las entrevistas semi-estructuradas pueden tener como informantes claves a Directores de


Escuelas, de Centros de Salud, dirigentes de organizaciones sociales, a los que se les solicita
información sobre antecedentes que configuran un problema social. Posteriormente se
analizan y sintetizan los distintos tipos de información, para establecer un patrón común en
sus categorías de detección de necesidades.

b) entrevistas grupales

También las entrevistas grupales sirven para identificar, ordenar y jerarquizar necesidades
básicas de orden cualitativo. Las entrevistas grupales son técnicas basadas en informantes
claves, como las entrevistas grupales. Las entrevistas grupales1 han demostrado su utilidad
como técnica de recolección de información. Ellas entregan un gran caudal de información
interpretativa, dimensionamiento de carencias, para proyectos de difícil cuantificación en sus
resultados.

Una variante pero en base a entrevistas paralelas para constituir un grupo virtual, son las
técnicas Delphi (ILPES, 1994) en base a grupo de expertos o informantes claves. 2

2 O su variante mas predeterminada como los Focus groups

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 14
Cuadro 3
TECNICA DELPHI

Características y pasos de la Técnica Delphi

Cuestionarios secuenciales aplicados a expertos

Recolección de información progresivamente específica

Útil para obtener juicios subjetivos

Aplicabilidad:

Restricciones de costo, tiempo y recursos

Imposibilidad de interacción cara a cara

Alto desacuerdo probable en los expertos

Pasos de aplicación de la Técnica Delphi

Detección y listado extenso de problemas

Jerarquización de problemas

Identificación de soluciones

Jerarquización de soluciones

Las ONG han aportado una provechosa experiencia en técnicas cualitativas de recolección
de información, en base a material de fácil comprensión y con técnicas de animación social.
Ello producto de la especialización en la investigación, sistematización y difusión de material
de educación popular.

El diagnostico o recopilación de antecedentes no puede ignorar que un proyecto responde a


criterios de elegibilidad fijados de antemano, de allí que una preselección inicial de proyectos
será la mera sujeción del proyecto a las líneas de prioridad gubernamentales o bases de
concurso de los fondos de inversión. Usualmente estas bases son: focalización de niveles
socioeconómicos, orientación a grupos vulnerables o prioridades regionales. El diagnostico
debe contemplar además la existencia de otras organizaciones que realizan proyectos
similares en el área para lograr optimizar complementariedades, o al contrario, evitar
yuxtaposiciones de población objetivo.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 15
II.3. Diagnostico y Árbol de Problemas

Son frecuentes los diagnósticos realizados con diferentes datos sociales y que se basan en
encuestas o estudios no continuos en el tiempo y preparados con otros fines, como también
con información primaria. Ambos tipos de información deben entenderse como
complementarios y necesarios para configurar un marco analítico para ordenar y sistematizar
la información.

Cabe citar, por ejemplo, diagnósticos realizados por equipos sanitarios en áreas de salud,
diagnósticos en asentamientos precarios ejecutados por municipios, organizaciones no
gubernamentales (ONGs) o entidades académicas, monografías sobre empleo, tesis de grado
sobre pobreza en áreas o sectores delimitados, etc. Estos diagnósticos, aunque carecen de la
cobertura y periodicidad de las estadísticas sociales, entregan antecedentes valiosos -
guardando los márgenes de error o inferencia- para diagnósticos en áreas de difícil detección,
como valores y conductas sexuales, relaciones intrafamiliares, expectativas migratorias, etc.
El paso siguiente es formalizarlos en una expresión metodológica secuencia y analítica cuya
menor operacionalización es el Árbol de Problemas.

Esta técnica permite que los datos que permiten la identificación del problema pueden ser
continuada con un proceso de análisis de las causas que lo generan y los efectos que
produce el mismo problema

El árbol del problema es una técnica que permite analizar y ordenar los diversos
factores que inciden en la gestación de un problema.

Todo problema social tiene causas históricas o estructurales que lo generan en su origen,
como también causas o variables más intermedias o contingentes, que son las
consecuencias de las causas históricas. A su vez, el propio problema suscita otras
consecuencias o efectos en el entorno social o geográfico.3

Para la descripción de un problema, el árbol ordena los factores que originan el problema
en una secuencia de relaciones de causas y efectos, que se presentan gráficamente
identificando las causas estructurales en la base o abajo (“las raíces”) del Árbol hasta
rematar en las consecuencias o arriba del Árbol (“las ramas”), como se presenta en el
siguiente esquema:

3 En la situación de ampliar el árbol de causas a las consecuencias derivadas del problema se puede hablar del
árbol de causas y efectos

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 16
Diagrama 3

ÁRBOL DE PROBLEMAS O DE CAUSAS Y EFECTOS

Efectos Efectos Efectos

VARIABLE
DEPENDIENTE O
PROBLEMA CENTRAL

Variables o Variables o Variables o


causas causas causas
intermedias intermedias intermedias

Variables o Variables o Variables o


causas causas causas
estructurales estructurales estructurales

En síntesis, el árbol permite establecer la secuencia de causas, partiendo abajo con las más
estructurales, pasando a otras derivadas de carácter intermedio, hasta rematar arriba en el
problema e identificando la secuencia de efectos que genera el propio problema.

Para la construcción del árbol se pueden utilizar fuentes de información cuantitativa como
cualitativa y ser desarrollado por el propio proponente de la iniciativa. Sin embargo, es

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 17
altamente recomendable para su desarrollo utilizar la técnica cualitativa de la entrevista
focal o de grupo focal4. La técnica del grupo núcleo o focal consiste en una entrevista
colectiva en grupos pre-seleccionados, los cuales usualmente entregan información de
calidad. En este caso válida para el análisis del problema.

Hay que considerar que el Árbol del Problema con su capacidad de identificación de causas,
ya sea expresada en variables estructurales o intermedias, no significa necesariamente una
posibilidad de intervención sobre las mismas. Una adecuada identificación de causas no
equivale mecánicamente a lograr una intervención inmediata y exitosa por parte de
programas u proyectos sociales. Para ello se debe elaborar una derivación del Árbol de
Causas que es el paso precedente al Árbol de Objetivos, que se describe mas adelante.

II.4. Cobertura de beneficiarios

La cobertura se refiere a la capacidad del proyecto de cubrir el tipo de universo al cual está
dirigida la intervención. La mayoría de los programas universales o de cobertura total se han
demostrado como regresivos al invisibilizar desigualdades sociales internas de la población.
En los proyectos, por su mismo carácter discontinuo, una cobertura amplia es difícil de
lograr, ya sea por escasez de recursos económicos del proyecto, automarginación, exceso de
dispersión de la población, o por barreras culturales o psicológicas que dificultan el acceso
del usuario.

En la formulación de un proyecto existe la disyuntiva entre optimizar su cobertura (la mayor


cantidad posible de beneficiarios) o incrementar la calidad de la intervención con un bajo
número de beneficiarios. La opción más generalizada es optar por una cobertura amplia, pero
en grupos focalizados de acuerdo a los criterios de extrema pobreza.

Si la falta de recursos imposibilita esta opción, cabe seleccionar a un grupo de beneficiarios


pobres que presenten mayor vulnerabilidad o que tengan un buen pronóstico en los
resultados de la intervención.

A los beneficiarios directos se agregan comúnmente beneficiarios indirectos, personas o


grupos que reciben parte de los beneficios o efectos del proyecto. Estos beneficiarios
indirectos, muchas veces son familias u organizaciones ligadas al proyecto. No es adecuado
sobre-estimar la relación beneficiario directo-indirecto mas allá de lo que indica la experiencia
previa en proyectos similares, ni menos aun utilizarla como recurso para aumentar
artificialmente el numero de beneficiarios de un proyecto.

Según las líneas programáticas de una política social puede interesar fijar una discriminación
positiva para un tipo particular de beneficiarios como mujeres, etnias, adultos mayores, etc.;
condición que debe ser considerada para flexibilizar modalidades de acceso al programa o
proyecto.

4 Con algunas variaciones los grupos focales, son asimilables a las entrevistas grupales, grupos de
discusión o focus groups.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 18
II.5. Selección de beneficiarios

La selección a un proyecto implica una modalidad de acercamiento al grupo objetivo y se


relaciona indirectamente con la cobertura del proyecto. La selección rigurosa en está en
relación directa a la cobertura del proyecto. En algunos casos, se impone una selección
interna tanto del bien o servicio ofrecido como de la diferenciación por nivel de déficit de los
demandantes.

Muchos programas inducen o estimulan el acceso de los grupos objetivos. El atractivo o


magnitud de la inducción facilita la captación de usuarios. Así un Programa de cuidado
infantil que entrega alimentación complementaria o leche, lo que permite adicionalmente la
vacuna y control periódico del bebé, o un Programa de Alimentación Escolar, incentiva la
asistencia a la escuela por la factibilidad de alimentación gratuita para los hijos. En resumen,
se usa un recurso de otro Programa para captar a la población objetivo. En algunas
circunstancias este incentivo es monetario, como becas de mantención. Esta modalidad está
sujeta a debate, por cuanto muchos se cuestionan un eventual estímulo a una relación
utilitaria y dependiente con programas sociales.

El acceso puede incluso estar mediado por una coacción e incluso por sanciones legales, y
medidas coercitivas, como multas o pérdida de acceso a otros programas o proyectos
sociales. Por ejemplo, en una campaña de inmunizaciones la confianza en una demanda
espontánea con certeza iría en desmedro de la salud de la población. Eventualmente, el
acceso puede producirse por derivación o transferencias entre programas, como en el caso
del sector salud, donde se asignan pacientes del nivel primario al secundario

También existen en selectividad o autoselección por motivación o interés de los


beneficiarios. La voluntariedad es propia de intervenciones de escasa demanda, ya que en el
caso de un déficit agudo de una necesidad básica toda la población carenciada intentará
acceder al proyecto.

La selectividad en el acceso y altas exigencias en la elección del usuario, influyen en las


posibilidades de éxito de un programa, ya que esta selección apunta a lo mejor del universo
escogido. Un ejemplo está en la elección de menores irregulares con mejores calificaciones,
sin adicción a drogas o antecedentes penales. Esto puede prestarse para usos inadecuados de
los criterios de selección y produce desequilibrios, desde el inicio, en el desempeño de
proyectos cuando estos actúan bajo criterios restrictivos.

En la determinación de las reglas que fijarán el ingreso deben excluirse criterios


marginalizantes que puedan estar asociados a la capacidad de pago de la persona y que
implican una exclusión socioeconómica indirecta (pago por servicios o actividades conexas).
Es la situación, por ejemplo, del sector universitario, donde el ingreso está limitado por altos
aranceles de matrícula, o, en el caso de los programas habitacionales, con la exigencia de
ahorro previo para acceder a viviendas sociales.

Una forma de mejorar el acceso de posibles usuarios consiste en el uso de sistemas móviles
de oferta de servicios, debido a que los beneficiarios tienen problemas de acceso al programa
y entonces deben ser localizados en sus residencias o lugares de trabajo. Esa es la situación

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 19
característica de los proyectos dirigidos a sectores rurales o focalizados en enfermos o
adultos mayores postrados.

La motivación con que ingresa un usuario es un predictor de éxito de un programa. Esta


motivación es mayor en las intervenciones voluntarias, ya que en las obligatorias los clientes
son heterogéneos y con diferentes grados de motivación y percepción de sus necesidades. Es
explicable entonces el impacto positivo que tienen los proyectos de las ONGs que trabajan
con demanda espontánea.

En proyectos con demanda espontánea se facilitan los cambios conductuales o actitudinales.


Es así como en programas gubernamentales de educación popular los usuarios llegan por
motivación o por contacto previos con la institución. 5

Es recomendable utilizar para el ingreso al proyecto una ficha de registro que contiene datos
del diagnóstico o antecedentes del usuario. Estos datos permiten utilizar la instancia del
ingreso del programa para establecer una línea base o medición pre-test, que sirvan de
contraste con los indicadores de impacto en la evaluación ex post.

II.6. Localización

Todo programa o proyecto social está localizado espacialmente. Esa localización responde a
dos lógicas espaciales que son contradictorias. Por una parte, los programas sociales tienen
las ventajas de las mismas economías de escala porque los servicios sociales tienen fuertes
economías a medida que aumenta su volumen de entrega. Y externas porque se localizan en
un punto del espacio que es equidistante de sus insumos fundamentales y del mercado.
Luego, la localización de estos servicios es en puntos centrales que concentren una demanda
masiva y heterogénea.

Un buen ejemplo de esta lógica sería la localización de un hospital de especialidades que


cubra una demanda nacional. Por el alto monto de la inversión, estos establecimientos se
localizan en un punto fijo, usualmente una metrópoli.

En un sentido contrario, el grupo objetivo o el usuario está interesado en obtener el servicio


con un costo mínimo de accesibilidad y en un punto óptimo, como el lugar donde desarrolla
sus actividades cotidianas, ya sea su vivienda o su lugar de trabajo.

Naturalmente, la localización real de un programa social es un compromiso entre ambas


lógicas, aunque en ciertas ocasiones el Estado subsidia algunos costos para lograr una mejor
accesibilidad geográfica del proyecto. Algunos ejemplos están en los proyectos rurales de
atención primaria, educativos o de capacitación.

5 En algunos casos, los usuarios pueden convertirse en demandantes permanentes, marginando a otros posibles interesados.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 20
III. MARCO INTERPRETATIVO Y PROPUESTA

III.1. Marco analítico y alternativas de solución

El diagnóstico de todo programa social debería conducir a una alternativa de solución


sustentada en marcos analíticos de tipo interpretativo, derivados de la acumulación básica de
conocimiento en el área. El marco analítico está asociado a la investigación básica referida a
programas sociales. En los hechos, en algunas circunstancias se carece de tal marco, con lo
que pierden gran parte de su futura eficacia por carecer de referentes teóricos, o por que estos
están basados en antecedentes no válidos y confiables,. Un buen antecedente para el marco
analítico es el ya mencionado Árbol de Problemas o de Causas.

El ejemplo siguiente muestra su aplicación a un caso concreto

Diagrama 4.
APLICACIÓN DE ÁRBOL DE CAUSAS

PERDIDA DE
IDENTIDAD
CULTURAL
REGIONAL

Baja Escaso Consumismo Baja inversión


escolaridad asociacionismo cultural pública

Pobreza Migraciones Escaso rol Concentración


del Estado urbana

CAUSAS

En este Árbol de problema se advierte que en relación a las variables estructurales o


intermedias, no existe necesariamente una posibilidad de intervención sobre las mismas.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 21
Sin embargo, hay muchos problemas sociales en que aún no logra generar marcos
interpretativos validos sobre ciertos tipos de intervención, como es el caso del SIDA, la salud
mental, adicciones, etc.6. Pero con una revisión y sistematización de experiencias anteriores
es posible deducir un nivel mínimo de acumulación teórica, que sirvan para identificar
alternativas de solución. Este marco interpretativo debe permitir, además, desprender
posibles alternativas de intervención efectivas y eficientes.

La debilidad de marcos interpretativos explica la falta de correspondencia entre la situación


problema y la solución propuesta. Esta desproporción es frecuente. en proyectos a pequeña
escala entre la magnitud o complejidad de la situación problema y la especificidad o
concreción de la solución propuesta.

III.2. Alternativas de Solución

El marco interpretativo se puede traducir en alternativas de solución, la que se pueden


derivar de la aplicación del Árbol de Objetivos.

6 En algunos proyecto de carácter piloto, no es necesario que una intervención tenga anticipadamente un
marco teórico;

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 22
Diagrama 5
Árbol de objetivos

Incremento de
identidad
cultural
regional

Seminario de gestión Asistencia Técnica para


Festival de música monitores de rescate de
cultural con actores y canto
regionales cultura popular

Eventuales alternativas de solución

Conciencia de Interés por recopilar Actitud favorable a la


deterioro de identidad antecedentes de manutención de la cultura
por actores desarrollo histórico

Medios fundamentales para la acción o el cambio


del Problema Falta de identidad cultural

En este Árbol de objetivos se advierte que en relación a las variables estructurales o


intermedias, no existe necesariamente una posibilidad de intervención sobre las mismas de
parte de los ejecutores del proyecto.

Muchas intervenciones sociales carecieron en su momento de un Árbol de Objetivos, lo


que particularmente patente en proyectos de capacitación en que la fase de antecedentes y
diagnostico se describen altos niveles de desempleo y trabajo informal, y la propuesta solo
alude a proyectos de capacitación o micro-empresas, las cuales, por mas exitosos que se
postulen sus intervenciones, difícilmente modifican la magnitud de los déficit detectados en la
fase de diagnóstico.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 23
Situaciones similares se advierten en proyectos abocados a la salud mental, las adicciones, el
embarazo precoz o los procesos migratorios, en los cuales hay un marcado desequilibrio
entre la magnitud del diagnóstico y lo limitado de la intervención.

Los paradigmas profesionales y destrezas operacionales del grupo técnico influyen en las
variables seleccionadas como alternativas de solución. Por ejemplo, la alternativa de solución
en un problema de drogadicción de un psicólogo clínico pueden ser significativamente
diferentes a las de un psicólogo comunitario o sistémico y tal diferencia se reflejara en la
intervención seleccionada dentro del Árbol de Objetivos

III.2 Análisis de prefactibilidad de alternativas de solución

Las soluciones estimadas deben satisfacer requisitos de factibilidad para garantizar el éxito
de la alternativa de solución seleccionada. Una mala elección de alternativa de solución
puede conducir a resultados que pueden ser precarios o efímeros. Los criterios de decisión
son generalmente los siguientes

• Prefactibilidad técnica: diseños, estrategias y metodologías pertinentes.


• Prefactibilidad financiera: disponibilidad y fuentes de fondos para inversión y
operación.
• Prefactibilidad económica: valorización de recursos y recuperación de costos.
• Prefactibilidad administrativa: fortaleza del organismo ejecutor
• Prefactibilidad social: incremento del bienestar equidad y empoderamiento de los
beneficiarios.

Por ejemplo, una alternativa de solución basada en pocas charlas informativas no superaría
un análisis de prefactibilidad técnica por ser una estrategia no pertinente para modificar
conductas asociadas a la prevención de enfermedades de transmisión sexual. Una alternativa
basada en monitores juveniles podría superar el análisis de prefactibilidad técnica, pero
podría tener como ejecutor una ONG de escasa fortaleza institucional, luego no superaría un
análisis de prefactibilidad administrativa Luego el desafío para un proyecto social es lograr
el máximo posible de análisis de prefactibilidad positivos para lograr un resultado eficaz en
un período reducido de tiempo,

El proceso de análisis de prefactibilidad tiene cierta similitud con los análisis de riesgo en los
que se determinan las probabilidades de éxito de una combinación de alternativas.

Cabe recordar la importancia que tiene, en las distintas prefactibilidades, una subdimensión
de la prefactibilidad social que es el empoderamiento o de capacidad de autonomía de
beneficiarios, evitando una solución asistencial o dependiente de subsidios en la fase
posterior al proyecto.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 24
III.3. Objetivos y metas

Los programas tienen objetivos generales basados en la estrategia o política social vigentes y
orientados a mejorar los déficit o carencias detectadas. Muchas veces hay falta de precisión
en los objetivos programáticos, lo que dificulta su evaluación posterior, y obliga al
programador a deducir ex post criterios de evaluación de programas, generalmente basados
en indicadores nacionales y regionales de equidad, redistribución y fortalecimiento
institucional.

Todo proyecto o programa tiene objetivos, ya sea implícito o explícito. La naturaleza del
objetivo puede ser de carácter fisiológico (preservación de la vida), cognoscitivo (entregar
conocimiento), afectivo (expresión emocional), conductual (cambio o logro de rutinas
conductuales, hábitos, etc.), organizacional y grupal.

Los medios para lograr estos objetivos consisten en bienes (vivienda, paquetes alimentarios,
vacunas, etc.) o en servicios (horas de capacitación, prestaciones médicas, etc.).

En relación al grupo objetivo, es más sencillo programar objetivos con unidades más
identificables (generalmente el individuo, como es el caso de indicadores de rendimiento
individual en educación). Los objetivos grupales u organizacionales se pueden considerar
como impactos u objetivos de desarrollo pero, dado que las técnicas de investigación social
registran generalmente respuestas a nivel individual, la evaluación de esos objetivos es
compleja. Como alternativa se ha intentado utilizar técnicas de investigación organizacional
registradas externamente como observación o entrevistas grupales. Aun así, estas técnicas no
garantizan que efectivamente se estén registrando válidamente objetivos basados en cambios
organizacionales.

Los objetivos deben cumplir una serie de requisitos como:

- ser secuenciales, estipulando los objetivos generales o de desarrollo, generalmente a largo


plazo, y luego los objetivos específicos o de corto plazo destacando dentro de ellos una
secuencia temporal de relación causa-efecto.

- ser mensurables; o sea que se expresen en Metas que identifican mediante cifras o números
absolutos, en unidades físicas o de servicios, aunque en lo posible los objetivos específicos
deberían apuntar a fijar porcentajes de variación (incremento o disminución) en relación a
un porcentaje que sirva de línea base. Si no es factible la cuantificación del objetivo, al
menos mencionar el listado empíricamente verificable de Metas o logros esperados del
proyecto.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 25
III.4. El uso del marco lógico

Una forma de jerarquizar y dar secuencia a la operacionalización de un programa o proyecto


es utilizar el marco lógico, que no es más que un esquema ordenador de la formulación e
implementación de un proyecto. El marco lógico es de uso generalizado en proyectos de
cooperación internacional, y una reseña de su organización se aprecia en el siguiente
diagrama.

Cuadro 4

MARCO LÓGICO DEL PROYECTO

Síntesis Indicadores Medios de Supuestos


objetivamente verificación
verificables
Objetivo de Participación Estabilidad
desarrollo o Registros administrativos macroeconómica
Acceso a mercados Información de la Accesibilidad a la
FIN organización información
Grado de desnutrición
Objetivos Registros sectoriales Aceptación de usuarios
inmediatos o Números de bienes y
servicios Datos municipales Organización
Propósito.
• Metas Porcentajes Entrevistas comunitaria
• Mejorar
• Aumentar
• Disminuir
Resultados o Números de bienes y Registros sectoriales Estabilidad de la
Productos servicios otorgados intervención
Datos municipales
• Capacitación Variaciones en línea base Viabilidad de la evaluación
• Alimentación porcentual Entrevistas
• Asistencia
Informantes claves
técnica
Actividades. Insumos Centro comunitario Disponibilidad de
Infraestructura infraestructura,
Insumos Existencia de registros
Recursos humanos recursos humanos y
Acuerdos institucionales Existencia de financieros
Currículos
Equipos organizaciones de apoyo
Instrumentos de
registro
Organigrama
Fuente: adaptado de CEPAL, Mujer y desarrollo: guía para la planificación de programas y proyectos, 1984.
Santiago.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 26
La gran ventaja del Marco Lógico es que ordena jerárquicamente los diversos componentes
del proyecto desde su aporte a los niveles superiores del programa o proyecto, como los
objetivos de desarrollo (o fin en la terminología de otros marcos lógicos) a los objetivos
inmediatos de los proyectos (o propósito en otras terminologías) como los resultados que son
sub-áreas internas a los proyectos (o componentes según otra nomenclatura. Otra ventaja es
que direcciona el diseño del proyecto a indicadores verificables, más que afirmaciones vagas
o escasamente operacionales.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 27
IV. PRESUPUESTO, ADMINISTRACION Y GESTION

IV.1. Productos, requerimientos y presupuesto

Los objetivos específicos o Metas son traducibles en la generalidad de los casos en


productos, que cuantifican bienes y servicios otorgados por el proyecto. Para muchos
programadores resulta parcial y limitante reducir la Metas a productos cuantificados,
especialmente cuando existen otras externalidades e impactos de difícil medición. Aun así, el
esfuerzo de traducir los objetivos específicos de un proyecto a productos es fructífero, pues
limita la vaguedad de que adolecen muchos proyectos sociales.

El proyecto entrega un cantidad total de productos y cada uno de estos productos implica
requerimientos o insumos, que a su vez servirán de base para diseñar el presupuesto del
proyecto, como se aprecia en el siguiente esquema:

Diagrama 6.

PRODUCTO---------- REQUERIMIENTO------ PRESUPUESTO


(Cuantificador) (Cuantificar insumos) (Monetarizar)

IV.1.1. Cuantificación de los productos

La cuantificación del producto comprende cuatro elementos:

- La unidad física o de servicios (por ejemplo, desayunos escolares o atenciones médicas).

- Duración de la entrega: fecha de inicio y de término (por ejemplo, un año, desde el 1 de


julio 1994 al 30 de junio de 1995)

- Número total de unidades que se entregarán según tiempo:


*) 4 sesiones mensuales, de dos horas cada una, durante seis meses (en total 48 horas),
o
*) 300 desayunos por día durante un año; en total 109 500 desayunos

- Descripción de la unidad; por ejemplo, en el caso de desayunos escolares: tazón de leche,


cereales y azúcar, pan con mantequilla y dulce (1 150 calorías)

En los programas o proyectos hay diversos tipos de productos, entre los que cabe mencionar:

- Bienes de consumo duradero (vivienda)

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 28
- Bienes fungibles o de consumo inmediato (paquetes alimentarios, desayunos escolares)
- Bienes fungibles de impacto duradero (vacunas, preservativos)
- Servicios de impacto duradero (educación formal o sanitaria)
- Servicios de corto impacto (recreación, información turística)
- Servicios de impacto difuso universal (comunicaciones).

Cada uno de estos productos (o su combinación) contribuye al impacto del proyecto. En


algunas circunstancias son utilizados como substituto de indicadores de impacto del proyecto
o programa.

IV.1.2. Cuantificación de los requerimientos

La cuantificación de los requerimientos permite dimensionar recursos que se necesitan


adquirir, contratar o comprar, para entregar los productos del proyecto.

Los requerimientos se pueden dividir en seis ítems, que tienen su contraparte en el desglose
del presupuesto (Ver diagrama 7):

Cuadro 5

REQUERIMIENTOS PRESUPUESTO
Insumos Costo de los insumos
Equipamiento Costo del equipamiento
Infraestructura Costo de infraestructura
Personal Sueldos del personal
Administración Costos administración
Otros Otros gastos

Se evidencia una correspondencia directa entre los productos, los requerimientos y los
correspondientes rubros del presupuesto.

En programación social se utilizan diferentes nomenclaturas para referirse a los


requerimientos. Considerando los términos de uso frecuente, se pueden establecer las
siguientes distinciones:

- Insumos: se refieren a los bienes y servicios que son adquiridos para ser transformados en
otros productos a lo largo del proyecto; por ejemplo, leche, horas-instructor, y otros.

- Equipamiento: se refiere a los bienes que se adquieren para desarrollar el proyecto:


mobiliario, herramientas. Esos bienes experimentan desgaste y la consiguiente depreciación,
con una duración estimada en aproximadamente en ocho años.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 29
- Infraestructura: construcciones o instalaciones físicas necesarias para el funcionamiento
del proyecto. Se les imputa una larga duración, que es cercana a los treinta años.

- Personal: recursos humanos necesarios para la generación de los productos. Esos recursos
pueden o no ser calificados.

- Administración: actividades que apoyan la ejecución de un proyecto, es decir, contabilidad,


comunicaciones, etc.

- Otros requerimientos: becas, viáticos, movilización y otros.

- Préstamos: créditos de una institución financiera en el caso de los proyectos productivos.

En una presentación simplificada de presupuesto, el FNUAP identifica los siguientes


componentes: personal, subcontratos, capacitación, equipo y gastos diversos (FNUAP,
1988).

Los requerimientos que se solicitan a la agencia financiera pueden corresponder a


donaciones o a préstamos. Se agregan aquellos aportes de los interesados.

Estas diferentes fuentes de recursos son graficadas en un cuadro de fuentes de


financiamiento, el que puede anexarse al presupuesto.

IV.1.3. Tipos de presupuesto

La estructura presupuestaria varía radicalmente según se trate de proyectos sociales o


productivos. Dentro de la escala local y comunitaria ambos tipos de proyectos comparten
elementos comunes, como su especificidad territorial, la orientación a los sectores más
carenciados, o su índole participativa y promocional.

Los proyectos productivos tienen como finalidad producir bienes o servicios y generan
ganancias monetarias a sus beneficiarios. En pequeña escala (por ejemplo, microempresas)
se puede incentivar una dimensión solidaria, aunque en definitiva su finalidad es la de transar
bienes o servicios en el mercado.

Usualmente son financiados por créditos o fondos rotativos, y por tanto los ingresos iniciales
deben dirigirse a la amortización del crédito.

Los proyectos sociales potencian a grupos de beneficiarios mediante la generación o


formación de una capacidad, producto o servicio, que quedan incorporados en el capital
humano y organizacional de personas o grupos. Sus gastos se entienden como financiados
mediante una donación7, y no implican devolución al ente financista.

7 En el caso de un financiamiento mas permanente, tienen el carácter de subsidio

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 30
IV.1.4. Flujo de caja

El flujo de caja es un cronograma financiero relacionado con la programación de las etapas


del proyecto y con las actividades de cada etapa. Es otra forma de la programación temporal
del proyecto, ya que en este flujo de caja quedan contenidos los ingresos y egresos. Ellos
reflejan la valorización de todas las actividades del proyecto, incluyendo el seguimiento y la
evaluación.

Para la construcción del flujo de caja debe tomarse en cuenta el calendario de desembolsos
solicitados a la agencia financista. En el caso específico de proyectos productivos se
identifican, los momentos en que la agencia financiera recuperará los aportes prestados. Al
terminar el período de financiamiento de la agencia el monto del préstamo debe ser igual al
de su devolución. Dada la exigencia de sustentabilidad económica que implican los
proyectos productivos, el presupuesto de caja debe ser construido con mucho realismo,
evitando convertir un crédito en una donación encubierta. Al respecto, la experiencia de los
fondos rotativos en desarrollo rural y autoconstrucción es muy promisoria como forma de
retorno y de uso óptimo del crédito.

IV.2 Etapas y actividades

Las etapas se derivan de los objetivos y metas y definen la duración del proyecto. Con
relación a la duración de la intervención hay que tener presente que la motivación disminuye
a medida que se prolonga la intervención, aumentando el número de desertores.

Para evitar estas deserciones habría que hacer un estudio de las causales y distinguir cuáles
de estas son manejables, para así fijar en futuros proyectos niveles razonables de deserción.

Una prolongada duración de la intervención puede llevar a intervenciones de menor calidad


por escasez de recursos. El nivel decisorio o político puede identificar erradamente los
proyectos de corta duración con los de mayor impacto y marginar programas o
intervenciones que inevitablemente deben ser de larga duración.

Para el control de las actividades del proyecto, la forma usual es su descripción en un lapso
de tiempo. Una manera de preparar este calendario es utilizar un diagrama, carta o gráfica de
Gantt, como se ilustra en el ejemplo siguiente:

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 31
Cuadro 6

CRONOGRAMA
Etapas y actividades (semanas)
Motivación
Actividad 1 X
Actividad 2 X
Actividad 3 X
Etapa II
Organización
Actividad 1 X X
Actividad 2 X
Actividad 3 X X X
Etapa
…..
Actividad 1
Actividad ..

Etapa I 1 2 3 …… 12

La carta Gantt es útil para detectar superposición de actividades que tienen una secuencia
lógica, o bien para coordinar actividades distintas que se implementan en un mismo período
de tiempo. En la fase de ejecución, cada actividad puede subdividirse en tareas con fecha de
iniciación y término, para definir plazos de cumplimiento. Se contemplan usualmente plazos
holgados, para evitar ajustes apresurados o de última hora.

Hay varios software de computación que pueden ser herramientas de apoyo a una
programación y que tienen la virtud de una visualización de la descripción de tareas,
vinculación de actividades, plazos de cumplimiento. Uno de ellos es el Microsoft Project,
que nos proporciona diagramas como el siguiente:

Diagrama 7 Carta Gantt

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 32
IV.3. Modelo de gestión

El modelo de gestión o marco institucional de un proyecto proporciona información sobre el


organismo ejecutor u otros actores involucrados en el proyecto. Describe la estructura
organizativa en el proyecto de los beneficiarios, grupo técnico, y otros actores involucrados en
el proyecto. La tendencia actual es formular modelos de gestión participativos en los
proyectos sociales. 8

Los modelos de gestión pueden ser altamente institucionalizados hasta otros de índole
comunitaria o no institucional. Esta variabilidad refleja diferentes concepciones de gestión
organizacional, los modelos escasamente institucionales contribuirían a un mayor impacto ya
que potenciarían un clima de espontaneidad. Otros enfoques consideran que una gestión
desinstitucionalizada sería disfuncional para ciertas modificaciones conductuales.

Aunque es complejo implementar modelos de gestión no institucionalizados, la evidencia


empírica avala el éxito de algunos de ellos, como programas de de comunicación en
planificación familiar.

El modelo de gestión institucionalizado es propio de programas o proyectos en que el sistema


de entrega de bienes o servicios implica necesariamente una permanencia de las personas en
un lugar (uso de bibliotecas, herramientas, etc.) y donde generalmente se controlan o inhiben
las transferencias a otras personas. El control de filtraciones puede incrementar los costos
económicos o administrativos del sistema de entrega. 9

Modelos de gestión participativos

Dentro del modelo de gestión, es importante analizar el rol del la participación de los usuarios
y si los beneficiarios participarán uniformemente en todas las etapas, o si es adecuada que los
niveles de participación varíen por razones tecnológicas, según la etapa de producción (por
ejemplo en la construcción de vivienda) o puntos críticos en la toma de decisiones..

Los modelos de gestión participativos, bajo la perspectiva de la eficiencia se perciben como


más lentos. Sin embargo, por el éxito de técnicas participativas derivadas de la planificación
estratégica, esta aprensión esta cambiando con rapidez. A esto debe añadirse la tendencia a
que el Estado tiende a derivar la ejecución de proyectos a un entidad externa (ONGs,
gobierno local u otros) estableciendo al interior del proyecto mecanismos de participación
como Comités o Consejos consultivos.

Los modelos de gestión participativos surgen como componente clave en el diseño de


proyectos sociales cuando hay limitaciones severas en el incremento del gasto social, ya que
permite disminuir los costos crecientes de los servicios por persona atendida, como
producción de material gráfico o audiovisual. En los proyectos de educación sanitaria también

8 En parte debido a la incorporación de esquemas propios de la planificación estratégica


9 El modelo de gestión no puede evitar filtraciones en el caso de servicios públicos, como programas de TV
abierta o radio.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 33
puede haber una participación conjunta de la población con el grupo técnico en la
implementación.

En los programas o proyectos institucionalizados es limitada la participación comunitaria,


como por ejemplo en la educación forma donde casi todas las actividades están estructuradas
de antemano. Una hipótesis que se puede formular es que la estandarización y el
requerimiento de elementos técnicos y complejos frenarían la participación. Eventualmente
un modelo de gestión participativo puede ser nocivo o disfuncional por la falta de
conocimiento de los beneficiarios en la ejecución técnica y organizacional del proyecto.

Entre los elementos limitantes de la participación se destaca: el cacicazgo, la manipulación, el


clientelismo y la selectividad en el ingreso de los beneficiarios, desigualdades de género, la
duración y horario del proyecto. Las limitantes y potencialidades de la participación debe
contemplarse con realismo en la identificación del modelo de gestión, explicitando los
supuestos o restricciones a la participación.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 34
V. SUPERVISIÓN DE PROYECTOS

El paso siguiente al diseño del proyecto, incluyendo sus aspectos temporales y financieros,
es su aprobación por la agencia financista y su implementación. Actualmente es un lugar
común afirmar que la implementación de un proyecto es bastante más que la proyección en el
tiempo de su diseño o formulación. Para ello se ha planteado la supervisión de proyecto.

El proceso de supervisión tiene tres niveles cualitativamente diferentes: el control y financiero


y el monitoreo técnico y de procesos interactivos vigentes en la ejecución de la intervención.

V.1. Control financiero

La práctica de un control financiero es común en todo tipo de programa o proyecto social.


Precisamente por la escasez de recursos, el Estado y otro agente financista se reserva una
supervisión rigurosa de la rendición de cuentas por parte del ejecutor. Son comunes las
rendiciones mensuales de egresos, o las autorizaciones de giros en función de aprobación de
informes técnicos. Esta supervisión financiera se apoya en el presupuesto de caja y de fuentes
de financiamiento originalmente estipulada en el diseño del proyecto.

V.2. Control técnico

El control técnico como evaluación de implementación, apunta a una supervisión de las etapas
y actividades y el proceso de entrega de bienes y servicios.

En proyectos sociales de escala local se utiliza generalmente una combinación de controles


técnico-financieros mediante listas de verificación, que incluyen eventualmente factores más
dinámicos dentro de la implementación del proyecto. Esta modalidad resulta evidente en la
pauta de seguimiento de proyectos no-gubernamentales por un Ministerio de Salud de
América Latina (ver cuadro adjunto)

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 35
Cuadro 7

FICHA DE SEGUIMIENTO PROYECTOS (Ej. MINSAL-ONGs)

I. INFORMES Y EVALUACIONES
1. Informes técnicos mensuales ONG-Departamento de Atención Primaria % de cumplimiento
(DAP).

2. Informes financieros mensuales ONG-DAP % de cumplimiento

3. Evaluaciones técnicas trimestrales DAP-MINSAL

4. Evaluaciones financieras trimestrales DAP-MINSAL


II. DESCRIPCIÓN DE ACTIVIDADES Y MATERIALES
1. Actividades de atención de salud Tipo de Destinatario Recursos humanos
actividad

2. Actividades educativas Tipo de Destinatario Nº Nº Nº de


actividad sesiones participantes asistentes

3. Actividades de coordinación local Tipo de actividad Coordinado con

4. Actividades intersectoriales

5. Otras actividades: comunicación,


participación, etc.

6. Producción de material didáctico

7. Otros materiales

III. EVALUACIÓN CUALITATIVA


Grado de cumplimiento según Cronograma

Problemas Obstáculos

IV. FACILITADORES LOGROS

V. SUPERVISIÓN MINSAL

Fecha Nombre Observaciones

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 36
La utilidad de ésta o cualquier ficha de supervisión técnica están en su capacidad para
registrar validamente una serie de problemas recurrentes en el seguimiento de proyectos.

Una alternativa de solución consiste en diseñar pautas de supervisión con estructura de


escalas, con listado o inventarios de situación en un rango de calificación, como se advierte en
algunas pautas de supervisión de un Fondo de Inversión Social, de la cual se presenta una
versión abreviada

Cuadro 8
INFORME DE SUPERVISIÓN DE PROYECTOS FONDO DE INVERSIÓN SOCIAL

OBJETIVOS DEL PROYECTO EN RELACIÓN A LOGROS


OBTENIDOS A LA FECHA

Ejecución del proyecto


Etapa o actividad Fecha real Financiamiento Fondo
Inicio/ Termino Previsto/ Recibido

Listado de verificación Si No No aplicable Comentarios


Planificación y coordinación
Avance del proyecto
Financiamiento
Ejecutor
Beneficiarios
Conclusión

PRINCIPALES CONCLUSIONES Y RECOMENDACIONES

Medidas a ser tomadas Por el ejecutor Por el Fondo Por otros

Uso Secretaría CONTINUACIÓN TÉRMINO DE PROYECTO


de
Planificación

Posiblemente esta estructura escalar (que de hecho es una dicotomía) deje en la penumbra la
evaluación de procesos interactivos en el proyecto, propio de la dinámica de implementación
de proyectos, los cuales se desarrollan en la Sección siguiente.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 37
VI. EVALUACION EN PROYECTOS SOCIALES

VI.1. Los grandes modelos de evaluación

E n un sentido estricto, la evaluación iluminativa puede ser categorizada, según sea el tipo de
programa evaluado, en los diferentes diseños mencionados en los puntos anteriores. Por lo
tanto, los programas o proyectos evaluados por este enfoque pueden ser de corte
experimental o no experimental pero tienden, por el uso generalizado de técnicas
cualitativas, a aproximarse a los no experimentales. Más aun, esta evaluación implica
solamente un énfasis cualitativo en el registro e interpretación de la información recogida en
el proceso evaluativo, pero sin diferencias epistemológicas con las modalidades usuales de
evaluación de eficacia, como se puede apreciar en el Cuadro siguiente.

Cuadro 9

CLASIFICACIÓN DE LOS MAYORES MODELOS EVALUATIVOS


CUALITATIVOS

MODELO AUDIENCIAS METODOLO- RESULTADO PREGUNTAS


GIA TIPICAS

LIBRE DE CONSUMIDORES ANALISIS UTILIDAD EFECTOS


OBJETIVOS LOGICO SOCIAL GENERALES DEL
SISTEMATICO GLOBAL PROGRAMA,
INCLUYE
EFECTOS
SECUNDARIOS

CRITICA ESPECIALISTAS REVISION MEJORIA DE APROBACION


ARTISTICA CONSUMIDORES CRITICA ESTANDARES POR CRITICOS
ESPECIALIZADOS

ACREDITACION PROFESORES, PANELES ACEPTACION RANKING POR


PUBLICO PROFESIONALES

ADVERSARIO JURADOS SIMULACION FALLO DEL ARGUMENTOS EN


DE JUICIOS PROGRAMA PRO Y CONTRA

TRANSACCIONAL CLIENTES, ESTUDIO DE INTERPRETA- PERCEPCIONES


PROFESIONALES CASOS, CION, DIFERENTES DE
ENTREVISTAS. DIVERSIDAD
OBSERVACION UN PROGRAMA

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 38
En los modelos reseñados se encuentran la mayoría de las evaluaciones aplicadas a
programas o proyectos. En la evaluación libre de objetivos se engloban a los diseños
experimentales y de costo-beneficio.

VI.2. Características de los diseños evaluativos

La evaluación debe ser más que el uso de criterios parciales como los mencionados en la
Sección anterior, mediante la elección del diseño evaluativo mas valido según el tipo de
programa y considerando adicionalmente sus costos.

En caso de una evaluación participativa debe considerar una eventual identificación o


parcialización del grupo de beneficiarios con el proyecto, que podría limitar su objetividad
sobre los diversos resultados del proyecto. Por ejemplo, se podría estimar que una evaluación
negativa del proyecto puede conducir a la cancelación del mismo, con las perdidas respectivas
para la población.

Usualmente, los diseños evaluativos se basan en indicadores de bienes físicos, entrega de


servicios, monetarización de beneficios o patrones conductuales. Se pretende evaluar el
cambio estableciendo uno o mas variables independientes como variable de intervención y
actuando con efectos positivos en el grupo beneficiario.

VI. 3. Los datos e instrumentos para la evaluación de un proyecto.

La opción por un instrumento determinado dependerá, entre otros factores de: el grado de
confiabilidad requerida (estabilidad en la medición), la validez deseada (riqueza teórica de la
medición), los fondos financieros y el tiempo disponible, la posibilidad de aplicación (puede
implicar destreza profesional o instrumental), las complejidades de procesamiento, la
necesidad de monetarización de beneficios, etc.

Los datos e instrumentos anteriores recogen información ya sea de medios o resultados de


programas. Para cada diseño evaluativo se necesitan datos diferentes, así por ejemplo, para la
evaluación de una campaña de vacunación se necesitan datos secundarios de tipo cuantitativo,
en tanto para evaluar un proyecto de desarrollo de imagen institucional, se requiere
información primaria cualitativa. Al respecto se puede diseñar la siguiente matriz de la
relación entre datos, tipos de instrumento y tipo de diseño

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 39
CUADRO 10

DATOS CUANTITATIVOS, INSTRUMENTOS Y DISEÑO DE EVALUACION.

DATOS CUANTITATIVOS

DATOS INSTRUMENTO TIPO DE DISEÑO


Primarios: Test Diseños experimentales
Escalas Diseños experimentales
Cuestionarios Diseños cuasi experimentales

Secundarios: Censos Modelos de Series


Encuestas de hogares Regresión Temporales

Estadísticas sectoriales Modelos De Series


Regresión Temporales
Flujos de caja Costo- efectividad Costo-beneficio

Los datos cuantitativos provienen de instrumentos de alta estandarización y son propios de la


familia de la evaluación en base al diseño experimental.

Los datos cuantitativos secundarios registran las magnitudes físicas o financieras de insumos
o recursos utilizados en los proyectos. En este caso, entregan información, por ejemplo,
sobre la cantidad de horas de atención médica, número de operarios en un proyecto de
absorción de empleo, metros cuadrados construidos con fines habitacionales, etc. El uso de
estas estadísticas con fines evaluativos tienen el grave defecto de asociar beneficios o
impactos a medios que, siendo una condición necesaria, no son definitorios para lograr
resultados positivos en los proyectos. En otros términos, la abundancia o escasez de los
medios no necesariamente implica un impacto social en las prestaciones o resultados de la
intervención.

El sistema administrativo de recolección de datos habitualmente recoge estadísticas de


medios (número de camas, postas, viviendas, salas de clases, profesores, etc.) lo que lleva a
que, por lo general, se evalúe sobre la base de medios, limitando el alcance de la evaluación.
Un ejemplo de estas evaluaciones en el sector habitacional es la que se hace por el número
de viviendas, de saneamientos básicos construidos, de lotes y servicios habilitados, de
conexiones de alcantarillado, etc.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 40
CUADRO 11

DATOS CUALITATIVOS, TIPOS DE INSTRUMENTOS Y DISEÑO DE


EVALUACION

DATOS INSTRUMENTO TIPO DE DISEÑO

PRIMARIOS: Entrevista Evaluación Cualitativa

Observación Participante Evaluación Cualitativa

Dinámica Grupal Evaluación Cualitativa

SECUNDARIOS: Análisis de Contenido Evaluación Cualitativa

Biografías Evaluación Cualitativa

Documentos Evaluación Cualitativa

A nivel de datos cualitativos primarios están las dinámicas o técnicas grupales que describen
los procesos o resultados de un proyecto social. Las técnicas grupales no entregan un patrón
evaluativo estandarizado, permiten intercambios de ideas, que resultan de una síntesis
evaluativa que puede aportar al informe final de proyecto.

También datos cualitativos son aportados por entrevistas a beneficiarios, o a personas


particularmente interesadas en el proyecto. Ellas son los líderes locales que podrían ser
beneficiarios desde el punto de vista de su status, poder o beneficio material. Estas
entrevistas a informantes comunitarios pueden tener el sesgo del rol de intermediación que
ellos cumplen entre el grupo técnico y los beneficiarios.

Un sesgo similar puede producirse con las entrevistas grupales como técnica evaluativa, ya
que en ellas pueden presenta inicialmente el problema de la identificación del grupo de
beneficiarios con el proyecto, pues este grupo recibe del proyecto beneficios como bienes o
servicios.

Aun así, estas técnicas son indicadores evaluativos en una metodología participativa,
siempre y cuando estas evaluaciones colectivas definan a priori indicadores de resultados
consensuados y se preste atención a la tendencia al pensamiento grupal o a "efectos de
vagón de cola" estimulados por los opinantes más importantes o prestigiados, usualmente
profesionales o líderes influyentes en la población objetivo.

Las mismas precauciones son aplicables a las entrevistas que involucran sólo a los usuarios
o al grupo técnico.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 41
Algunas variantes más formales de la entrevista como indicador evaluativo pueden ser los
grupos nominales, como grupos Delphi u otras variantes grupales de evaluación de
intervenciones sociales.

Por otra parte, los diseños deben considerar la complejidad de evaluar resultados a niveles
conductuales y procesuales. Una evaluación debe registrar cambios conductuales como
hábitos de higiene, rehabilitación de conductas de riesgo, cambios en patrones de consumo,
retención de mensajes, etc.

En estos ejemplos es obvio que los resultados pueden estar afectados por otros factores
intervinientes. La atribución de resultados debe basarse en el conocimiento previo de una
relación entre medios y fines, ya que la eficacia o impacto de un proyecto en la población
objetivo depende de la probabilidad de éxito estimada de la intervención. Muchas veces,
estas probabilidades de éxito son relativamente desconocidas o puede haber perdida de
eficiencia en los efectos de esta cadena medios-fines. Por ejemplo, el incremento de la
inversión en tecnología comunicacional no se traduce necesariamente en incremento en
retención de mensajes o contenidos sociales.

La evaluación necesita asociarse también a la maduración de resultados del corto plazo y a


impactos del mediano y largo plazo. Para ello se puede recurrir a indicadores con la calidad
de predictores conductuales por ejemplo, en el área de extensión rural, tales predictores de
la conducta de los beneficiarios sería el uso de semillas seleccionadas en la cosecha
inmediata. En este sentido, es importante la necesidad de identificar estos indicadores
predictores, para evitar el alto costo o necesidad de evaluaciones de seguimiento de los
beneficiarios.

La identificación de estos predictores es particularmente difícil en programas de salud


mental, rehabilitación conductual, educación popular, capacitación, microempresas y, en
general, en todos aquellos en que la investigación básica aún no permite una identificación
precisa de impactos del largo plazo.

VI.4. Evaluación en los sectores sociales.

Complementariamente a los diseños evaluativos ya descritos, es necesario destacar que la


evaluación se aplica a intervenciones que, en la generalidad de los casos, están insertas en
programas sectoriales. Luego, es importante hacer referencia a las exigencias específicas de
la evaluación en relación a diferentes sectores sociales.

La evaluación en el sector educación es la que posee la mayor cantidad y calidad de los


diseños evaluativos (Briones, 1991). El sector tiene una serie de ventajas para un mejor
desarrollo relativo de diseños evaluativos:

- Una gran cantidad de beneficiarios con una base de datos demográficos,


psicológicos, sociales y económicos que permite extraer muestras de las diferentes
variables que componen los programas sociales y utilizar estudios de impactos de carácter
multidimensional.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 42
- Como consecuencia de lo anterior, se dispone de datos de grandes programas
nacionales por nivel de enseñanza, localización geográfica, sexo, edad, etc.

- Una mayor capacidad manipulativa del grupo objetivo, que está sujeto a rutinas de
horario, ubicación geográfica y, en la mayoría de los casos, puede adaptarse a las
exigencias de manejo de los diseños evaluativos más rigurosos.

A su vez, el sector educación dispone de abundantes estadísticas para evaluar,


simultánea o secuencialmente, indicadores de medios (horas docentes, cantidad de
matrículas, metros cuadrados en edificios escolares, etc.) con indicadores de resultados
(tasas de aprobación, repitencias, deserción, etc.) e incluso con tasas de retorno económico
de los diferentes niveles de enseñanza. Recientemente se han estandarizado instrumentos
evaluativos de factores como relación profesor-alumno, autoestima, afectividad y
relaciones interpersonales.

El sector salud tiene como meta principal evitar la muerte en grupos objetivos (mujer, niño,
adultos), disminuir su propensión a enfermarse y mantener su bienestar físico y mental.

En la práctica, la intención de muchos programas de salud es evitar la mortalidad en los


grupos de alto riesgo (el caso de las madres embarazadas y los niños pequeños), controlar o
prevenir embarazos, desnutrición o enfermedades infecciosas en menores (OPS, 1986). Esto
significa que el Estado atiende preferencialmente a estos sectores. Los criterios de evaluación
se concentran en :

- Indicadores de medios o insumos que expresan la disponibilidad e intensidad de uso de


insumos o recursos humanos en las prestaciones de salud. Los indicadores de medios son
útiles para evaluaciones en el corto plazo.

- Indicadores de resultados por programas de salud: los indicadores de resultados apuntan


generalmente a la mejoría de los indicadores maternos infantiles y de esperanza de vida.

Se vislumbra como desafío para el sector salud la definición de indicadores de impacto para
futuros riesgos en salud, hacia las cuales los países de América Latina transitan con rapidez,
como la relación salud-hábitat en el proceso de urbanización y metropolización, la
emergencia del SIDA, las ETS, los riesgos en salud laboral, la accidentalidad, etc.

El sector vivienda es el que plantea mayores dificultades de evaluación. Las razones son:

- La dificultad de disponer de beneficiarios en el grupo objetivo y asignarlos a un grupo


experimental y de control, ya que muchas veces se trata de demandantes heterogéneos,
atomizados espacialmente, etc.

- La larga duración del bien otorgado que, de hecho, es la intervención del programa (la
vivienda o similares). Ello impide aislar en el tiempo el impacto simultáneo o secuencial de
la misma de otros factores asociados en las conductas beneficiadas por la obtención de la
vivienda.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 43
- La precariedad teórica y metodológica de las investigaciones que ligan causalmente la
vivienda a impactos en higiene ambiental, interacción familiar, salud mental, etc.

En la práctica, la evaluación en el sector vivienda es una evaluación de medios a los que se


imputa apriorísticamente resultados en distintas subdimensiones de la calidad de vida. Si se
considera la vivienda como un medio de satisfacción de necesidades básicas, el
procedimiento lógico sería determinar la influencia que ejerce la vivienda en la satisfacción
de tales carencias.

El intento se ha concentrado en el impacto positivo de la vivienda en la higiene ambiental,


especialmente en la disminución de las enfermedades infectocontagiosas. La aplicación de
diseños experimentales y cuasi experimentales entrega resultados dudosos, por la dificultad
de aislar variables independientes al margen de la intervención habitacional. Así, en
asentamientos precarios urbanos se aplicaron diseños de tipo cuasi experimental entre
postulantes y no postulantes al programa de loteos y servicios, y la medición del impacto en
la higiene ambiental fue interferida por la cercanía espacial de los grupos experimental y de
control que coexistían en la misma población.

Otra modalidad de medición de impacto de la vivienda reside en la percepción de su impacto


sobre los usuarios. Al respecto, los estudios de percepción o satisfacción habitacional indican
que lo importante no es tanto captar la satisfacción o rechazo global de la vivienda sino
discriminar la percepción de funciones específicas habitacionales (estar, dormir, comer,
higiene, circulación) y la relación y calidad del hábitat inmediato a la vivienda.

Más compleja es la evaluación del impacto de la vivienda en el sistema interactivo de la


familia, en la medida en que el diseño y la localización de la vivienda influyen
diferencialmente en los miembros de la familia, lo que se modifica a medida que transcurre
el ciclo vital.

Con relación al tema de justicia o de defensa social, el sector se presta, por razones obvias,
para la aplicación de diseños evaluativos, ya que maximiza las ventajas del diseño de
estrategias evaluativas propias del sector educación por la mayor institucionalización del
grupo objetivo (por ejemplo, menores irregulares en hogares de protección y delincuentes
adultos en recintos penitenciarios). Debe reconocerse que la tendencia a sistemas abiertos de
rehabilitación social implica el uso de evaluaciones de tipo cuasi experimental, no
experimental o iluminativas.

En el sector de capacitación o en el de formación de microempresas, la evaluación de


impacto se traduce en la medición del incremento del nivel de ingreso, movilidad
ocupacional, incremento de la productividad. Siendo estas mediciones bastante complejas,
muchas veces este tipo de evaluación se substituye por el de retención de conocimientos o de
satisfacción subjetiva de los beneficiarios.

Finalmente, cabe señalar que es muy importante aplicar las estrategias evaluativas al nivel
adecuado de institucionalización de una intervención. En la fase de proyectos experimentales
o pilotos, sólo deben aplicarse aquellas estrategias evaluativas que permitan evaluar, más que
ganancias relativas de la intervención, altos niveles de impacto social. En la evaluación de

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 44
programas, se aplican estrategias evaluativas más rigurosas, orientadas a medir impactos
específicos, considerando que hay otros programas ya operando y sometidos a evaluaciones
anteriores o paralelas.

VI.5. Evaluación ex ante.

La aplicación de la evaluación puede diferenciarse en diferentes momentos del desarrollo del


proyecto. Se denomina evaluación ex ante a aquella que se efectúa antes de la ejecución de la
iniciativa. Generalmente consiste en una evaluación de eficiencia, específicamente de costo-
impacto, que es básicamente la comparación y estimación de los costos presentes y futuros de
las diferentes alternativas y sus posibles impactos

Sin embargo, en la evaluación ex ante pueden haber técnicas cualitativas como los grupos
Delphi. En este caso la evaluación esta orientada a prever los impactos que se generarían por
la ejecución de programas públicos de impacto multisectorial o ambiental, como la
construcción de carreteras o cualquier obra de infraestructura. El procedimiento consiste en
entrevistar a un grupo de personas calificadas en relación a los impactos posibles, asignando
un puntaje a cada impacto. Se utilizo inicialmente en países desarrollados en la evaluación de
carreteras y obras públicas que afectan de manera significativa el ecosistema local y regional
(ILPES, 1993b).

VI.6. Evaluación de procesos o monitoreo.

En los proyectos sociales se activan procesos interactivos cuya dinámica específica no


siempre está prevista en la etapa de diseño. Monitorear los procesos interactivos no es tarea
sencilla, pero hay una creciente conciencia de las interacciones en la implementación de un
proyecto social. El monitoreo debe centrarse en la actuación de actores importantes en un
proyecto: los tomadores de decisiones, el grupo técnico y los usuarios o beneficiarios. El
accionar de estos roles está condicionado por una correcta definición de tareas y una
adecuada estructura organizacional del proyecto.

El monitoreo debe supervisar las diferentes alternativas de juego de roles entre el tomador de
decisiones, el grupo técnico y los beneficiarios. Las interacciones entre roles se grafican en el
siguiente diagrama.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 45
Diagrama 8

INTERACCIONES DE ROLES EN PROYECTOS SOCIALES

GRUPO TÉCNICO
(Estilo burocrático o tecnocrático, estereotipos
profesionales, conflicto de roles)

TOMADOR DE DECISIONES
(Toma de decisiones según lógica
administrativa, política o profesional)

BENEFICIARIOS
(Expectativas sobredimensionadas,
clientelismo, apoyo)

Los tomadores de decisiones pueden adoptar diversos tipos de liderazgo: por elección, por
tradición, por imposición. La comunicación es también de distinto tipo: formal, expedita,
abierta, etc. También debe preverse que en algunos proyectos se pueden producir fuertes
conflictos (ideológicos, de estilos de trabajo) entre los tomadores de decisiones Estos
patrones interactivos influyen en la ejecución del proyecto pero su monitoreo, por razones
obvias, no resulta sencillo por la necesidad de tener indicadores confiables de estos
comportamientos.

Los grupos técnicos definen un subsistema de interacciones sociales dentro de un proyecto.


En tal subsistema son frecuentes los conflictos profesionales, valorativos o simplemente
personales. En esta línea es interesante observar las diferencias notables entre los equipos de
trabajo de proyectos nacionales, locales, gubernamentales, de organizaciones no
gubernamentales o los ejecutados directamente por organizaciones de base.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 46
Los paradigmas o escuelas de pensamiento influyen en el grupo técnico y sus destrezas
operacionales aplicadas a la estrategia de intervención del proyecto. Por, ejemplo, la opción
teórico-metodológica de un psicólogo institucional y la de uno clínico es significativamente
diferente de la de un comunitario o sistémico, y tal diferencia se reflejará en la intervención
dentro del proyecto.

Entre el grupo técnico y los beneficiarios se da el típico conflicto entre la primacía de las
relaciones (primarias o secundarias) con el usuario. Se espera que ellas sean humanas y
afectuosas pero, simultáneamente, la cantidad de demandantes y la formalización de la
intervención implican una interacción impersonal regida por estándares objetivos. En la
relación primaria predomina el contacto cara a cara, casuístico o terapéutico, pero a veces
sesgado por afinidades de "clientela" o de compadrazgo.. En la relación secundaria se
privilegia la masividad, la objetividad y la búsqueda de relaciones objetivas y neutras.

El monitoreo de procesos interactivos necesita de técnicas cualitativas como grupos de


discvuis0n o entrevistas en profundidad, aunque se pueden formalizar escalas de
comportamiento de roles, similares a las presentadas en la Sección referida a supervisión
técnica.

VI.7. Necesidades y exigencias de la supervisión y monitoreo de proyectos.

Una dificultad para implementar el monitoreo reside en que los datos administrativos no están
integrados a un sistema de monitoreo, en este caso la información permanece concentrada en
la oficina de estadística o control administrativo, sin ser procesada por una unidad especifica
de evaluación, por lo tanto el sistema de monitoreo no es funcional a la toma de decisiones.

Una segunda limitante proviene del hecho que inicialmente el montaje del sistema de
monitoreo es costoso y obliga a cambiar rutinas de control administrativo, afectando y
recargando costos de administración y tensionando la estructura organizacional. Un tercer
problema se relaciona con la existencia de planes y sistemas administrativos obsoletos que se
traducen en falta de estandarización de la información, recolección discontinua, inexistencia
de manuales de procedimientos, precariedad de los recursos computacionales o a la baja o
inexistente calificación del personal en manejo computacional.

Adicionalmente, la factibilidad de sistemas de monitoreo esta asociada a una voluntad política


de formular sistemas de generación y control de programas sociales, voluntad no siempre
explícita, como se ha constatado en la creación de sistemas similares en el área de proyectos
de inversión. Para solucionar los problemas anteriores el monitoreo debe ajustarse a una serie
de requisitos para optimizar su utilidad como evaluación de procesos. Los mas centrales son:

- Confiabilidad: la definición de sistemas de monitoreo debería ser estable, de modo que


cualquier gestión administrativa obtenga una información similar.

- Oportunidad en el tiempo: los proyectos sociales tienen una secuencia de aplicación que
exige que el monitoreo sea oportuno en relación a la modalidad especifica de intervención.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 47
Por ejemplo, un programa de Televisión educacional necesita sistemas rápidos de monitoreo
para la autocorrección del mismo.
Caso contrario, un programa en el nivel educacional básico tendría una secuencia de
monitoreo mas distanciada y los puntos de registro tendrían una secuencia semestral o anual.

- Cobertura: es importante que registre todo el ámbito de seguimiento o monitoreo


(financiero, administrativo, interacciones del grupo técnico, relaciones con los beneficiarios)
Dada la multidimensionalidad del monitoreo, para registrar todos estos atributos es necesario
utilizar técnicas tanto cuantitativas como cualitativas.

- Información disponible en todos los niveles pertinentes. Lo mas probable es que los
indicadores de monitoreo sean registrados en el nivel inmediato de acceso al usuario, y no
sean derivados a los niveles intermedios o decisorios. Por otra parte, el nivel inmediato
carece de información de retroalimentación en el caso que el monitoreo haya implicado un
cambio en la gestión del programa.

- Una adecuada relación costo/efectividad, en tanto el funcionamiento del sistema de


monitoreo no implique un uso excesivo de recursos económicos y humanos.

Los problemas de monitoreo son mas comunes en proyectos comunitarios, que en los de
rentabilidad privada, ya que estos últimos disponen de sistemas gerenciales de gestión, con
soportes informáticos e indicadores de desempeño.

VI.8. Evaluación del impacto o ex post.

Todo proyecto social busca modificar exitosamente la situación problema que motivó la
intervención. En la evaluación ex post, se hace una distinción típica entre resultado e
impacto. El primer término apunta a las modificaciones tangibles, medibles o registrables,
usualmente con un instrumento de medición empírica; el segundo, o sea el impacto, agrega
los efectos secundarios o colaterales de la intervención, englobando externalidades positivas
del proyecto y efectos de tipo diferido en el tiempo.

Aceptando la validez de esta distinción, diferentes factores (la presión del tiempo, el ciclo de
inversión pública, el juego político o las restricciones metodológicas) han validado, en los
hechos, evaluaciones que son de resultados más que de impactos. En la práctica, la medición
de resultados resulta equivalente a la de eficacia o impacto de un proyecto. Las evaluaciones
de impacto ambiental, en la medida en que registran externalidades, constituyen el concepto
más cercano al de evaluación de impacto.

El resultado de un proyecto tiene implícito la hipótesis de la satisfacción de la carencia o


necesidad a la que estaba dirigido el proyecto. Sin embargo, se hace necesario verificar esta
hipótesis mediante una evaluación ex post, de término, de resultados de un proyecto. Los
indicadores de evaluación deberían derivarse del marco lógico y especialmente de los
objetivos específicos u operacionales del proyecto. Por lo tanto, el diseño de la evaluación de
resultados esta en buena parte predeterminado en la misma formulación del proyecto.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 48
En caso que en la formulación no se explicite ningún diseño evaluativo, este deberá
obtenerse mediante consenso o negociación con los ejecutores del proyecto, definiendo
operacionalmente los indicadores de resultados. Este proceso podría resultar viciado por una
autoselección, por parte de los ejecutores, de indicadores favorables de impacto del proyecto,
al conocerse en forma práctica su desempeño.

Algunos proyectos constan de segundas etapas, en donde los beneficiarios del proyecto
original pasan a un estadio superior, o bien el proyecto es parte de una red integrada de
programas, que permite que los beneficiarios sean derivados a otros proyectos o programas a
lo largo de una secuencia temporal. Esta secuencia es propia de programas
institucionalizados asociados a grupos etarios, y ese es el caso de los diversos niveles en la
educación formal. En estos proyectos, si hay resultados intermedios, ellos deberían ser
evaluados como ex post.

Tipos de evaluación

Los diseños evaluativos tienen en común ser adaptaciones de metodologías de investigación


social. Sin embargo, algunos de ellos se centran en una evaluación que enfatiza la detección
de impactos en la subjetividad de los participantes con metodologías activas en que se
describe un conjunto de cambios en el plano actitudinal, ideológico u organizacional. Este
tipo de evaluación se denomina evaluación cualitativa, con bases conceptuales diferentes a
otro tipo de evaluación que se centra en la eficacia o impacto del proyecto. En este diseño
interesa la modificación cuantificable de conductas y responde al modelo del diseño
experimental.

Otro tipo de evaluación se focaliza en la eficiencia, referida a la óptima utilización de los


insumos del proyecto. Habitualmente, la eficiencia de un proyecto se evalúa en la etapa de
diseño (como evaluación ex ante) con modelos costo-beneficio y de costo-efectividad, los
cuales eventualmente también se pueden aplicar al termino de una intervención.

Los tres tipos de evaluación responden a grosso modo a campos de diferentes disciplinas. Los
exponentes de los diseños de eficacia y cualitativo provienen del área de las ciencias de la
conducta, pedagogos, sicólogos, sociólogos, etc. en tanto que los exponentes de los diseños de
eficiencia son característicos del área de administración de recursos físicos, como ingenieros,
economistas, matemáticos y agrónomos

VI.9. Evaluación de eficiencia

La evaluación de eficiencia (generalmente evaluación ex ante) consiste, específicamente en


una evaluación de costo-impacto, que es básicamente la comparación y estimación de los
costos presentes y futuros de las diferentes alternativas y sus posibles impactos.

VI.9.1. El modelo costo-beneficio

La evaluación costo-beneficio se basa en la cuantificación (ex ante o ex post) de los costos y


beneficios monetarios actualizados de una intervención social o productiva.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 49
El análisis de costos puede ser realizado tanto después de la ejecución de un programa como
durante la etapa de diseño. En este último caso, los costos se estiman en función de
evaluaciones previas de programas similares. La estructura de costo sigue una estructura
como la que se presenta a continuación

Cuadro 12

COSTOS DE INVERSIÓN Y COSTOS ANUALES DE OPERACIÓN


Círculo comunitario de adultos mayores. (Noviembre 1993)

A. Costos de inversión %
$
Terreno 9.192 14.1%
- Edificio 31.904 48.1%
- Equipamiento 3.536 5.4%
- Puesta en marcha 1.488 2.3%
Total costos de inversión 46.120 70.7%

B. Costos de operación

Remuneraciones 3.153 4.8


Consumos básicos 643 1.0
Mantención y reparación 357 0.6

Subtotal costos generales y de 4.153 6.4


Administración

Alimentación 6.299 9.6


Salud preventiva 1.091 1.7
Salud asistencial 249 0.4
- Guardería para frágiles 1.937 3.0
- Servicio Social 1.085 1.7
- Terapia ocupacional 2.826 4.3
- Asistencia convalecientes 1.516 2.3

Subtotal costos específicos 15.003 23.0


de los servicios

Total costos de operación

Costo social anual equivalente 65.276


Adaptado de CIAPEP. Instituto Economía U.C. 1990.

Identificados los costos de inversión y operación del proyecto, resulta necesario conocer su
equivalencia anual, para compararla con los beneficios anuales derivados del proyecto. Se
considera una tasa social de descuento de 12% y la vida útil de cada componente de la
inversión.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 50
En los proyectos sociales, los costos son altos en la fase inicial de ejecución del programa,
dada la inversión que se debe realizar en infraestructura y equipos. Posteriormente
disminuyen y se concentran en los costos asociados a las remuneraciones del equipo técnico
y administrativo.

En cuanto a la comparación de costos y resultados, cabe señalar que en un proyecto social


los beneficios se asocian a los objetivos logrados. Tales beneficios no se agotan con la mera
satisfacción de las metas como, por ejemplo, la cobertura de usuarios de medios
anticonceptivos; se prolongan en el tiempo por la obtención de retornos económicos
producidos por el menor gasto, como se aprecia en el Cuadro siguiente

Cuadro 13

BENEFICIOS SOCIALES ANUALES DEL PROYECTO


(Circulo Comunitario de Adultos Mayores).

A. Beneficios inmediatos $
Alimentación 6.299
Salud asistencial 249
Terapia ocupacional 2.825
Subtotal satisfacción necesidades básicas 9.373
Guardería frágiles 7.887
Asistencia a convalecientes 2.832
Ahorro consultas innecesarias 115
Subtotal liberación de recursos 10.834
Producción de talleres 682
Colocación laboral 1.564
Subtotal beneficios inmediatos 2.246.
Beneficios diferidos
Ahorros por salud preventiva 1.091
Subtotal beneficios diferidos 1.091
Total beneficios 23.544
% del costo total: 93.7
Adaptado de CIAPEP. Instituto de Economía U.C.

Con respecto a los costos y beneficios futuros, cabe plantear que todo análisis detallado de
costos y beneficios debe contemplar que las intervenciones sociales exitosas tienen
repercusiones positivas en el futuro y efectos colaterales en otras actividades humanas.

La monetarización de los beneficios se hace mediante el cálculo del valor actualizado neto
(VAN) de los ingresos y costos de programas o proyectos. Si este VAN es superior a cero,
sería conveniente aprobar el proyecto.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 51
Otro criterio de evaluación es la Tasa Interna de Retorno (TIR), que es aquella tasa que hace
que el VAN sea igual a cero; luego, mientras más alta es esta tasa (usualmente superior a la
tasa de costo de oportunidad del capital o un 12% por convención) más rentable es el
programa o proyecto (Sanín, 1995).

El VAN de programas o proyectos y los beneficios estimados puede estar afectado por
diferentes ámbitos temporales de maduración de los efectos. De allí nace el error de tener
preferencias apresuradas por implementar programas que generen beneficios inmediatos.

En lo que se refiere a la imputación de costos y beneficios, una gran cantidad de programas


sociales son pagados por personas que no obtienen beneficios del mismo. Por ejemplo, los
costos de la educación primaria pública son aportados —mediante tributación— por toda la
población, mientras que el beneficio en primera instancia podría ser recibido por los
escolares de menores ingresos. En la práctica, muchas organizaciones son subsidiadas por el
Estado y los receptores pueden ser sectores restringidos de la población. Entonces, cabe
adoptar un criterio común para definir a nivel societal un mismo criterio para costos y
beneficios, lo que se denomina precios sociales.

Inicialmente, se hicieron varios intentos de aplicar metodologías costo-beneficio a programas


sociales, pero la dificultad de cuantificar adecuadamente en términos monetarios los
beneficios sociales produjo distorsiones importantes en el cálculo de tales beneficios.

De este modo, se transitó de metodologías costo-beneficio a metodologías costo-efectividad,


en las cuales los beneficios son imputados a priori como favorables, usualmente utilizando
un listado o descripción de los beneficios, calificados por los profesionales involucrados en
el programa o deducidos de la experiencia en programas similares.

VI.9.2. El modelo costo-efectividad.

En la metodología costo-efectividad se imputan los beneficios y se trata de minimizar los


costos de las distintas alternativas programáticas. Sus requerimientos por el lado de la
estimación de resultados o efectividad implican identificar los resultados y beneficios, el
número de indicadores, calidad y contenido de los indicadores, la eventual asignación de
ponderadores a los resultados, la recurrencia a un de panel de expertos y resolver el
problema de la inferencia o escalabilidad de los resultados.

En cuanto a los problemas en el análisis de costos, debe decirse que las unidades de costo
deben ser compatibles con las metas del programa. Por ejemplo, en el sector salud, una
alternativa de medición de costos puede ser el costo por paciente-día; otra podría ser el costo
por paciente dado de alta. En el primer caso hay un estímulo indirecto a la
institucionalización, y en el segundo, a la alta o mejoría integral del paciente. En este último
caso puede haber un incremento del costo por paciente-día, pero disminuye el costo por
paciente dado de alta. En el caso de un programa de inserción laboral, los indicadores
factibles serían:

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 52
‰ Número de personas recibiendo capacitación
‰ Número que obtienen trabajo
‰ Número de los que mantienen trabajo después de un año
‰ Promedio de incremento de ingreso

De los ejemplos anteriores, se puede apreciar que la unidad de análisis de costo puede estar
afectada por el tipo y comportamiento de la variable que se define como objetivo de
programa. Por ejemplo, cambiar el status de una persona de una situación de cesantía a una
de empleo mínimo es relativamente fácil, pero hacerla ascender del empleo mínimo a un
estrato de ingreso superior es más difícil, y más lo será en las etapas sucesivas de su
movilidad ocupacional ascendente.

En cuanto a los usos alternativos de la inversión, el costo de oportunidad refleja el hecho de


que el tiempo de una persona es parte del costo de todos los servicios humanos. Sin embargo,
el tiempo que una dueña de casa espera en un consultorio, generalmente, no es considerado
un costo por el servicio de salud. Concretamente, una atención de salud gratuita puede ser un
costo para el beneficiario(a) por la pérdida de tiempo (dos, tres o más horas) para obtenerla.
Si la persona necesitada de ayuda médica no tiene empleo y dispone de tiempo libre
ilimitado, su costo de oportunidad sería igual a cero pero, en la práctica, habría privación de
tiempo para sus actividades productivas u hogareñas.

La evaluación costo-efectividad implica reconocer que la efectividad va asociada a una


probabilidad de éxito conocida en la intervención; en caso contrario, la evaluación pierde
todo sentido, y ello se ve claramente cuando se reduce el criterio de efectividad sólo a
cobertura o a población atendida, sin atender al impacto definitivo de la intervención en la
población beneficiaria. Un ejemplo característico de una situación de este tipo en
evaluación costo-efectividad es la siguiente:

Programa de detección de cáncer:

Costo por año de vida ganada US$ 6.000


Costo por caso descubierto y tratado US$ 18.000
Costo por vida salvada US$ 22.500
Costo por cura US$ 30.000

Los programas de erradicación de pobladores de zonas centrales metropolitanas se han


medido según una metodología costo-efectividad. Se ha comprobado en estas evaluaciones
la escasa eficiencia de estos programas, revirtiéndose los bajos costos iniciales al añadirse los
costos indirectos de equipamiento básico.

De allí la importancia de establecer los costos indirectos en los proyectos sociales, ya que
estos pueden anular o limitar las ventajas directas de estas intervenciones (CIAPEP, 1985).

Hay que considerar que no siempre el programa de menor costo es el mejor. Por ejemplo, el
control biomédico de embarazadas es oneroso, si se le compara con folletos de autocuidado

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 53
del embarazo, pero este último tiene evidentemente una menor probabilidad de éxito en salud
reproductiva.

Cabe destacar que sólo recientemente los programadores sociales han tomado conciencia de
la importancia de los costos, directos e indirectos, en la formulación y evaluación de sus
programas.

VI.10. Evaluación de eficacia.

VI .10.1. El diseño experimental

El diseño experimental tiene su raíz en el manejo de los fenómenos en el campo de las


ciencias físicas y biológicas. La psicología social y en especial la psicología educacional, han
popularizado su aplicación en el área de las ciencias sociales. Consiste en que el
programador tiene el control sobre el medio en que se implementa el programa o proyecto,
manteniendo constantes los factores ambientales o extraños al proyecto que puedan afectar
su impacto, aparte de la propia intervención. La composición del grupo experimental (los
beneficiarios) es similar a la del grupo de control (beneficiarios potenciales). Esta similitud
se logra mediante la asignación aleatoria de eventuales beneficiarios a ambos grupos, para
así controlar la influencia de factores externos. Gráficamente, el formato típico del diseño
experimental se puede ilustrar de la manera presentada en el cuadro 11.

Cuadro 14

DISEÑO EXPERIMENTAL CLÁSICO

MEDICIÓN 1 MEDICIÓN 2

GRUPO Intervención (programa o GRUPO


EXPERIMENTAL proyecto) EXPERIMENTAL

GRUPO DE CONTROL Sin intervención GRUPO DE


CONTROL

Las exigencias y problemas de este diseño son variadas y eventualmente limitan su


desarrollo en las ciencias sociales:

- Es complejo el control de aquellos factores externos que podrían afectar el programa y que
no son imputables al mismo. Por otra parte, en los proyectos sociales es difícil el control de
las interacciones entre el grupo de control y el experimental.

- La selección de las variables causales que determinan la dependiente y el aislamiento de la


variable que se maneja requiere de un marco teórico-metodológico de alta validez.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 54
- El tamaño de los grupos debería garantizar una significación estadística de las diferencias
entre el grupo experimental y el de control.

- Las mediciones pre y post-test deberán hacerse con un instrumento estandarizado y que no
experimente variaciones en el tiempo. Esta misma exigencia de estandarización resta validez
a una comprensión global de la eficacia del programa. Se sacrifica validez en función de la
confiabilidad de la medición. Por ello, el diseño se concentra en programas muy rutinizados,
con grupos de beneficiarios cautivos (cárceles, salas de clases, etc.) más que en programas
para adultos no institucionalizados o en intervenciones no convencionales.

- El uso del diseño experimental tiene sentido cuando se sospecha que el efecto es de
magnitud, lo que restringe este diseño sólo a intervenciones específicas y susceptibles de ser
formalizadas en este tipo de diseño.

- El impacto del programa está distorsionado por el hecho de que los grupos siempre
cambian cuando son objeto de un programa, independientemente del tipo de intervención.
Esto se soluciona implementando un programa placebo como grupo de control. Se pueden
establecer dos grupos de control, uno placebo y otro no, pero el diseño se hace complejo y,
naturalmente, aumentan los costos de aplicación del diseño experimental.

- La duración de la intervención aumenta la interferencia de elementos externos, lo que


dificulta su aplicación en intervenciones prolongadas. Para un diseño experimental, son
adecuadas las intervenciones no superiores a un año. De esta forma, la duración reduce
notoriamente la aplicación de esta alternativa evaluativa a una amplia gama de
intervenciones sociales.

- Este diseño puede verse afectado cuando el grupo objetivo que será aleatorizado proviene
de proyectos con demanda espontánea, ya que, dado el acceso voluntario de los beneficiarios
al programa, ambos grupos no se corresponden con toda la población en déficit, lo que
excluye a los eventuales beneficiarios que se automarginan del programa.

- Se basa en la cooperación de un gran aparataje administrativo, lo que lleva a interferencias


entre el evaluador y la estructura administrativa por las exigencias metodológicas que el
primero impone al segundo y que, además, generan costos de magnitud en su
implementación.

Estas limitantes explican en buena medida el hecho de que, con el tiempo, el diseño
experimental vaya disminuyendo su influencia como alternativa evaluativa de proyectos
sociales.

VI. 10.2. El diseño cuasi experimental

El diseño cuasi experimental se diferencia del diseño experimental en que,


metodológicamente, tiene menos exigencias, especialmente de selección de los grupos de
control y experimental. Estos diseños incorporan un grupo experimental y un grupo de
control que no proviene del mismo grupo objetivo; en este sentido es más bien un grupo de
contrastación o comparación.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 55
Por ejemplo, se comparan grupos en programas o contextos relativamente similares:
programas de planificación familiar en clínicas similares, cursos en colegios, rehabilitación
en cárceles, tipos de entidades productivas (minifundios, microempresas) jardines infantiles,
salas de hospital, barrios marginales y otros.

En el diseño cuasi experimental se supone a priori que el impacto es significativo, pues se


controlan menos elementos intervinientes; en estos diseños son indeterminables las variables
independientes que se dejan de controlar.

La aplicación de los diseños cuasi experimentales es más factible en el sector educacional.


Por sus características de mayor institucionalización, se han utilizado para evaluar programas
alternativos aplicados al mismo nivel o modalidad de enseñanza.

Se han realizado evaluaciones cuasi experimentales en predios agrícolas, como cooperativas


o minifundios, aplicando intervenciones programáticas en forma de cursos de capacitación o
de innovación tecnológica. En estos casos la utilidad del diseño cuasi experimental se ve
limitada por factores asociados a la historia organizacional previa de ambos grupos (el
experimental y el de comparación). Usualmente, el grupo asignado como experimental tiene
mayor experiencia organizacional previa, y este factor incrementa o contamina los resultados
de la evaluación.

En el sector salud se han aplicado diseños cuasi experimentales en áreas como estimulación
precoz, higiene ambiental, salud mental, con resultados variables, dada la dificultad de ligar
la intervención como indicador válido y confiable de impacto, en tanto sigan actuando otras
variables exógenas no controlables durante la intervención.

En los programas de vivienda se han aplicado diseños cuasi experimentales para evaluar la
construcción de casetas sanitarias y viviendas. Se evalúan como impacto de la caseta:
mejoría en la higiene familiar, uso del agua potable, incidencia en enfermedades
gastrointestinales. Los resultados de estos estudios son poco concluyentes, ya que hay
interferencia en la recolección de datos y, en general, por que hay escasa confiabilidad en las
mediciones (en los grupos experimental y de comparación).

Según evaluaciones del Banco Mundial (Bamberger, 1982), los diseños evaluativos de tipo
cuasi experimental en relación a lotes y servicios evidencian los siguientes resultados:

a) Una mayor eficiencia en el grupo experimental, en tanto se lograría una mayor


reducción de costos.
b) Dificultades en el grupo experimental, por exceso de supervisión en los créditos de
construcción, que impiden la substitución de materiales.
c) Impacto potencial del programa para influenciar sobre las políticas habitacionales a
futuro.
d) Dificultades de operación en el grupo experimental, por rigideces de la forma en
que opera la autoconstrucción. Dos de estas dificultades: no es factible subcontratar y hay
familias no cooperadoras que no pueden (o no desean) construir aportando mano de obra
voluntaria.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 56
Los diseños cuasi experimentales han resultado poco determinantes en el registro de
impactos en sectores productivos, que utiliza indicadores como empleo, ingreso o
comercialización.

En el sector justicia (o de rehabilitación social), las características del grupo objetivo facilitan
la aplicación de diseños cuasi experimentales; este tipo de evaluación se ha aplicado a
programas de estimulación y tratamiento en ambiente libre, a intervenciones rehabilitadoras
en base a meditación trascendental, etc. En general, este es el diseño evaluativo por
excelencia para programas pilotos de rehabilitación conductual.

VI. 10.3. Modelos de regresión.

Estos modelos son una variación de los diseños cuasi experimentales. Necesitan un alto
grado de manipulación de las variables e implican la simulación de control de variables para
incrementar la potencia explicativa de algunas variables independientes, pero presuponen
una serie de requisitos:

a) Necesitan una muy completa base de datos. Los programas reducidos —de índole
no gubernamental o proyectos— tienen limitaciones en sus datos para la aplicación de
modelos estadísticos.
b) Implican un sólido desarrollo teórico previo de la estrategia de intervención, para
conceptualizar el modelo interrelacionado de variables independientes e intervinientes y su
nexo con la dependiente.
(c) Este manejo estadístico debe tener un correlato con el manejo real. En caso
contrario, el modelo de regresión es meramente un ejercicio formal sin posibilidades
prácticas de ser utilizado como retroalimentación en programas sociales.

VI.11. Diseños semiformalizados.

VI. 11. 1. Serie temporal

La serie temporal es un tipo de diseño cuasi experimental que tiene como objetivo describir
las tendencias seculares de un programa para poder compararlas con el comportamiento
tradicional o prognosis de las variables dependientes objeto de la intervención programática.

En este diseño debe tenerse evidencia empírica previa del comportamiento histórico de la o
las variables dependientes, para su comparación con la diseñada por la acción programática.

Veamos un ejemplo: el comportamiento histórico de una tasa de mortalidad está afectado por
una serie de factores, que deben ser tomados en cuenta para juzgar el impacto de programas
de prevención o control de la mortalidad infantil. Paradojalmente, resultaría más fácil bajar
significativamente —en base a programas maternoinfantiles— la tasa de mortalidad en
Africa Central que en los países de Europa del Norte, dados los diferentes estadios de su
transición demográfica.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 57
Un procedimiento similar se puede aplicar en el sector vivienda, en el cual es factible
describir una curva de demanda de soluciones habitacionales, constituida por el crecimiento
vegetativo de familias, a lo que se puede agregar la obsolescencia habitacional y el déficit de
arrastre de la demanda histórica no satisfecha. Frente a esta prognosis de la variable
dependiente (o curva de demanda) se contrasta la oferta habitacional y su grado de éxito para
cubrir o reducir parcialmente el déficit.

Menos sencillo resulta pronosticar el comportamiento de una curva asociada a la variable


dependiente (el problema objeto de programa) en sectores para los cuales se dispone de
menos información, o donde no es factible expresar la magnitud del problema en series
estadísticas; tal es el caso de la salud mental, las conductas irregulares, la identidad cultural,
etc.

Por lo tanto, la función de comportamiento de los problemas sociales y su relación con


insumos (recursos humanos o financieros) o con la oferta de bienes y servicios de los
programas sociales está en la base de las series temporales, pero conceptualmente tal relación
es una interrogante sólo parcialmente resuelta por la investigación aplicada en el área.

Otro problema de las series temporales es que no siempre es posible el seguimiento de los
resultados de un programa cuasi experimental después del post-test. Por esto, la metodología
sugerida es el trabajo con predictores confiables de la conducta futura como, por ejemplo,
predictores de reincidencia en reclusos que se encuentran en el medio libre. Aun así, el
impacto definitivo de la rehabilitación derivada de programas de intervención sólo es
verificable con la disminución de las tasas de reincidencia.

En programas o proyectos de capacitación y empleo, la medición de las tasas de reinserción


laboral es factible mediante estudios de seguimiento. Estos son, generalmente, de alto costo y
debe añadirse que la eventual reinserción puede ser producto no tanto del programa de
capacitación sino de factores situacionales posteriores a la intervención. Es posible que la
reinserción sea influenciada por la persistencia de exclusiones estructurales (estereotipos de
género, expectativas de pobre desempeño) que pueden afectar al joven desocupado o a la
mujer trabajadora.

VI.11. 2. Diseño no experimental antes-después.

Este diseño implica una medición (o pre-test) antes de la aplicación de la intervención. En el


caso de existir sólo una medición "después" se puede reconstituir una celdilla "antes" a partir
de preguntas retrospectivas para reconstituir el mecanismo causal anterior. En la práctica,
muchos estudios evaluativos del impacto de programas sociales se pueden asimilar a la
lógica de un diseño antes-después; por ejemplo, un estudio sobre el impacto de erradicación
de pobladores en el que se detecta la percepción que tiene los pobladores después de la
intervención (erradicación) que se contrasta adicionalmente con la situación y niveles de
satisfacción y acceso a equipamiento comunitario previos al traslado.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 58
Este tipo de diseño es, posiblemente, el más factible para aplicar en programas y proyectos
que incorporen estrategias de intervención estandarizadas, especialmente en la entrega de
conocimientos; por ejemplo, programas y proyectos de educación sexual o salud familiar.

VI.11.3. Diseño después con grupo de comparación.

La dificultad que plantea este diseño es su carencia de una medición "antes", la que puede ser
suplida por la comparación de la celdilla "después", o sea, por el impacto del programa con
el de otro programa o intervención paralela. Por ejemplo, la comparación de un programa
alternativo de reconstrucción de viviendas después un desastre natural, debería hacerse en
relación a un programa estatal, cuidando que esta comparación se refiera a una población con
déficit relativamente similar.

Otros grupos de contrastación pueden ser una comuna vecina, los estándares internacionales,
o algunos niveles determinados por informantes claves o expertos.

Una forma de mejorar la relevancia de los diseños "después con grupo de comparación" es el
uso de estudios transversales, donde las comparaciones son realizadas una vez terminada la
intervención. Se contrastan muestras tanto de participantes como no participantes de un
programa, y en la muestra se registra información sobre el mayor número de variables
independientes posibles. Las variables intervinientes se pueden mantener constantes
mediante un control estadístico. Si el programa tiene bastante tiempo funcionando y es de
cobertura relativamente amplia, el ajuste estadístico resulta bastante adecuado.

Naturalmente, para establecer un control estadístico adecuado de las variables


independientes, el evaluador debe disponer de un bagaje teórico interpretativo sobre el
problema objeto.

Una limitante del control estadístico reside en que no aísla el efecto de autoselección que
podría subyacer en el grupo de beneficiarios. La aplicación de esta modalidad de diseño
evaluativo se ha popularizado bastante, ya que ha revelado —por los avances de la
informática— una buena relación costo-efectividad y gran rapidez en el tiempo. Son
adaptables a programas institucionalizados, que disponen de datos regulares y estables en el
tiempo.

VI.11.4. Diseño después.

El diseño "después" no tiene (o no pretende tener) grupo de comparación. Por extensión, se


pueden incluir en esta modalidad descripciones de resultados de programas, relatos o
memorias que, en la práctica, constituyen apreciaciones asimilables a registros "después" en
el diseño experimental.

Este diseño no se puede contrastar con un diseño "antes". Un ejemplo de ello está en la
evaluación de un programa de tratamiento del alcoholismo en que se rehabilita un porcentaje
de la población atendida, pero desconociendo el porcentaje de incidencia del grupo en riesgo

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 59
en el período "antes". Al desconocer la línea base de inicio del programa, el porcentaje de
logro puede ser tanto espectacular como magro.

Es posible diseñar una serie temporal para graficar la tendencia secular y de allí evaluar los
resultados obtenidos sólo con el "después". Esta alternativa sólo es factible después del
transcurso de varios años, y como producto de la implementación de una serie de programas,
lo que permitiría definir una curva de impacto en relación a la curva histórica de demanda
(línea base).

Además, es factible recurrir a datos nacionales anteriores al programa o tomar como


referencia otras intervenciones de programas similares. Ello significa, de hecho, un diseño
con un grupo de comparación.

Este diseño es útil en áreas en que no se conoce mucho la problemática y sin información
confiable, lo que no hace posible fijar líneas base de comparación del impacto. Es el caso de
muchos programas ejecutados por gobiernos locales, por organizaciones de base social o de
carácter no gubernamental.

También serían asimilables a este diseño los programas de capacitación que apuntan al
desarrollo organizacional o comunitario.

Mas allá de sus limitaciones, el diseño "después" presenta una promisoria línea de desarrollo
en la medida en que se logren diseñar pautas de evaluación de impactos validadas por jueces
independientes. Si los ítems de estas pautas de evaluación ex post resultan válidos y
confiables, podrían ser utilizados como una forma operacional de evaluación que obvia las
limitaciones de discrecionalidad o subjetividad derivadas de los informes de actividades o
relatos de experiencias de proyectos.

La evaluación de calidad según usuarios

Una variante de la evaluación “después” se orienta a evaluar calidad de bienes y servicios


según la percepción de usuarios.. Actualmente se enfatiza la necesidad que los programas
sociales tengan servicios de calidad apropiada, tomando en consideración no sólo indicadores
de evaluación de cobertura y costo, sino incorporar indicadores de facilidades de acceso,
expedición y otros aspectos desde la perspectiva del cliente. Los actores en la determinación
de indicadores de calidad de la atención son beneficiarios/as.

Los indicadores característicos de evaluación de calidad son: Oportunidad de atención,


Continuidad de la prestación, Precisión en la intervención, Comodidad de locales, Trato
cordial. Disminuciones de tramites, en general Indicadores que reflejen satisfacción del
usuario10 y son especialmente pertinentes para detectar diferencias, sesgos o estereotipias de
género o por discriminación social

10 Aunque en América Latina solo se están desarrollando recientemente, son de uso creciente en proyectos
del Banco Mundial (World Bank 1998)

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 60
Los indicadores de calidad para tener sentido en la toma de decisiones necesitan de una
disponibilidad continua para registrar variaciones porcentuales en niveles de calidad según
usuarios.

Considerando el énfasis en variables subjetivas en la evaluación de calidad, se deberían


considerar dos condiciones: ser oportuna para la toma de decisiones del programa o proyecto
y tener costos razonables para su generación y administración. Esto último por el necesario
uso de algunas técnicas cualitativas.

VI. 12. Diseños cualitativos

La evaluación cualitativa -también llamada "iluminativa"- enfatiza la interpretación de


transformaciones subjetivas en los beneficiarios y los procesos interactivos subyacentes en
tales transformaciones. El énfasis está en el proceso de aprendizaje colectivo del grupo de
beneficiarios. (Briones, 1991).

Las evaluaciones iluminativas destacan variables grupales, en contraste a la opción que


prima en los diseños experimentales, que no consideran factores comunitarios sino variables
individuales. Son especialmente aptas para programas no gubernamentales de pequeña escala
y con un fuerte componente participativo.

La evaluación iluminativa o cualitativa tiene variantes internas en función del grado de


complemento o reemplazo con que se sitúan frente a la evaluación tradicional. Todas ellas,
sin embargo, coinciden en ir más allá del diseño experimental y sus variantes o de incorporar
a los beneficiarios en la gestión del proyecto o programa. Enfatizan, mediante el uso de
técnicas de investigación cualitativa, en la detección de cambios en los diferentes planos de
la conducta humana (cognitivo, afectivo, psicomotor, organizacional, etc.). Sus sostenedores
critican el excesivo énfasis en la evaluación clásica de resultados, que deja en la penumbra el
funcionamiento de procesos microsociales de cambio actitudinal y conductual (Richards,
1985).

La evaluación cualitativa esta condicionada por el tipo de programa o proyecto a evaluar, el


cual puede situarse en algún de los modelos reseñados en el Cuadro 9.

La forma más flexible de evaluación cualitativa es la llamada Libre de Objetivos, que


depende de una evaluación comprehensiva, que aparte de objetivos directos se amplía a la
utilidad global (incluyendo efectos o externalidades) del programa o proyecto. La Critica
Artística presume que la evaluación es un proceso tan intuitivo y delicado como la
apreciación artística, luego mas la aplicación de cánones cuantitativos solo cabe un juicio
especializado, opero necesariamente subjetivo, la evaluación de base a Acreditación se basa
en una apreciación subjetiva pero sujeta a criterios preestablecidos, es tipo de evaluación
muy común para la acreditación de instituciones u organizaciones para certificar “sellos” de
calidad ambiental, académica, o similares.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 61
El uso de expertos en la evaluación de acreditación

Dentro de la evaluación de acreditación es frecuente la recurrencia a jueces o expertos que se


apoyan en escalas multidimensionales que ponderen los diferentes componentes del diseño
del proyecto: este es el procedimiento utilizado para los proyectos cuyo financiamiento
proviene de fondos de inversión, proyectos municipales o descentralizados, o de la
cooperación internacional. Específicamente, en la pauta de evaluación de fondos de
inversión se priorizan dimensiones como la calidad de la presentación, la justificación de la
propuesta, la relación producto-demanda, el presupuesto, la experiencia del ejecutor y la
participación de los beneficiarios.

La limitante principal de esta modalidad de evaluación es la validez que merecen las


dimensiones de evaluación, la idoneidad de los jueces y la ponderación relativa de las
subdimensiones que componen la pauta de diseño. A pesar de estas objeciones, esta
modalidad tiende a generalizarse como forma rápida y eficiente de priorización y selección
de proyectos sociales en pequeña escala. También se aplica en la evaluación del impacto
ambiental en proyectos de inversión. (ILPES, 1993b).

Las pautas de evaluación de los Fondos de Inversión, Emergencia o Solidaridad Social, por
el escaso presupuesto asignado a algunas líneas de proyectos, constriñen al evaluador a
aplicar, de hecho, un criterio costo-efectividad, en la medida en que frente a la disyuntiva de
elegir entre varios proyectos de buena calidad, se tiende a optar por los de menor costo
unitario.

La Evaluación Adversaria se basa en la consideración que la evaluación de proyecto es un


debate de opiniones contrapuestas, a favor o en contra de la iniciativa, luego se desarrolla un
método forense para evaluar el proyecto. Por ultimo, la Evaluación Transaccional es una
conciliación de diversos actores y enfoques de evaluación, por lo que se “transa “un esquema
negociado de evaluación entre los diferentes actores involucrados en la gestión e impactos
del proyecto.

Algunas evaluaciones cualitativas se han aplicado a programas no convencionales de


educación preescolar, educación sexual, talleres de aprendizaje o refuerzo escolar en la
enseñanza básica, atención primaria en salud y en general a programas de capacitación y
educación popular. En este campo, las temáticas emergentes son, por ejemplo, el género, la
identidad cultural, la educación ambiental, las ETS o el SIDA; por la escasa formalización de
las estrategias de intervención, es probable que en sus inicios estos temas necesiten enfoques
cualitativos.

Las estrategias evaluativas enfatizan las transformaciones subjetivas de los usuarios de


proyectos y el proceso de aprendizaje y pedagogía grupal que se deriva de la misma
evaluación. Para ello utiliza un variado espectro de técnicas cualitativas que pueden ser
aplicadas en evaluaciones participativas (entrevistas grupales, dinámicas, juegos proyectivos,
etc.). Tales aproximaciones pueden ser aplicadas directamente en proyectos sociales locales.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 62
La utilidad de la evaluación cualitativa se refuerza cuando es usada como complemento de
evaluaciones basadas en técnicas costo-beneficio o de impacto, o centradas en cuestionarios
o resultados expresados en bienes o servicios provenientes de fuentes estadísticas.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 63
BIBLIOGRAFÍA

Bamberger, Michael (1982), Evaluation of sites and services projects. World Bank Staff
Working Papers Nº 549. IBRD, Washington D.C.

Briones, Guillermo (1991), Evaluación de programas sociales. Editorial Trillas, Bogotá.

CEPAL (1984), Proyectos de desarrollo de la mujer. Santiago.

CIAPEP (1985), Costos nacionales diferenciales de localización de viviendas sociales


básicas. Instituto de Economía, Universidad Católica. Santiago.

FNUAP (1988), Directrices del FNUAP relativas a la formulación y la evaluación


preliminar de proyectos. Santiago.

FOSIS (1992), Guía para la formulación de proyectos, Santiago.

ILPES (1993a), Bases metodológicas para la programación y administración eficiente de la


administración pública. LC/IP/L 81, Santiago.

ILPES (1993b), Manual metodológico de identificación, preparación y evaluación de


proyectos ambientales. LC/IP/L88, Santiago.

ILPES (1994), Métodos de análisis prospectivo: reseña y su utilidad en proyectos de


inversión, LC/IP/L91, Santiago.

OPS (1986), Manual sobre el enfoque de riesgo en la atención maternoinfantil. Serie


PALTEX Nº 7. Washington D.C.

Richards, Howard (1985), Evaluation of cultural action. MacMillan, Londres.

Sanín, Héctor (1995), Guía metodológica general para la preparación y evaluación de


proyectos de inversión social. ILPES. LC/IP/L.114, Santiago.

Wurgaft, José (1993), Fondos de inversión social en América Latina. PREALC, Santiago.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net 64

You might also like