You are on page 1of 69

Evaluación, seguimiento, indicadores y negociación de

programas sociales
Claudio Sanhueza Inostroza, Psicólogo, MBA

EVALUACIÓN Y SEGUIMIENTO DE
PROGRAMAS SOCIALES

Contexto Histórico
DECADA

OBJETIVO

INSTRUMENTO

DISCIPLINA

50

Reconstrucción

Asistencia técnica

Ingeniería

60

Crecimiento

Proyectos

Finanzas

70

Necesidades
básicas

Inversión sectorial

Planeación

80

Ajuste estructural

Condicionamiento

Macroeconomía

90

Capacidad
institucional

Programas por país

Multidisciplinas

2000

Resultados

Alianzas con socios

Economía Política
(Jean S. Quesnel 2007)

Desafíos en el contexto latinoamericano • • • • • • Políticas y programas claramente definidos Transparencia en la asignación de recursos Información estadística actualizada Formación y capacitación en evaluación Informes y resultados de evaluación Principios y estándares para la evaluación .

Evaluación • • • • • • • Seguimiento Sistematización Evaluación ex-ante Evaluación económica Evaluación social Evaluación resultados Evaluación impacto .

Otros tipos de evaluación • • • • Evaluación participativa Evaluación democrática Evaluación con enfoque de derechos Evaluación formativa .

en el cual hay lecciones aprendidas y recomendaciones. .
 • Proceso de aprendizaje.Evaluación • Análisis valorativo de la medida y/o forma en que el proyecto logra sus objetivos.

• Su fin es monitorear el rumbo del proyecto para hacer las modificaciones pertinentes. recursos (humanos. .Seguimiento • Análisis continuo orientado a determinar si las actividades. técnicos y organizacionales) y resultados se realizan de acuerdo a lo programado.

.Sistematización • Reflexión crítica que muestra la ejecución. el proceso y los resultados de una experiencia. explicarla y generar nuevos conocimientos. comprenderla. para a partir de ella.

Sistematización .

.Evaluación en el Sector Público • Es necesario evaluar la eficacia. • Es importante evaluar cuáles son las mejores alternativas que existen para abordar cada problema (Evaluación ex ante). • Es necesario analizar si los resultados se ajustan a lo planificado (Evaluación ex post). • Esto implica que se deben evaluar inversiones y Programas Públicos. eficiencia y calidad del gasto público.

cuando partieron?
 • Plan Piloto de Indicadores de Desempeño (1993). . • Indicadores de Desempeño en la Ley de Presupuestos (1996).Indicadores – Indicadores de desempeño.

Ejemplos de Indicadores
 • Nombre: tasa de mortalidad infantil menores de un año • Formula: (Nº de defunciones de menores de un año/ total nacido vivo menores de un año)*1000 • Unidad de medida: casos por 1000 nacidos vivos .

5 fiscalizaciones por fiscalizador .Ejemplos de Indicadores
 • Nombre: promedio de fiscalizaciones (empresas) por fiscalizador (eficiencia) • Formula: Nº de casos fiscalizados (empresas)/ Nº total de fiscalizadores • Unidad de medida: casos • Valor medida = 345/ 10= 34.

Dimensiones del Desempeño • Eficacia: logros de los objetivos planteados
 Población escolar vulnerable cubierta con becas escolares • Eficiencia: relación entre producción de un producto (cantidad de bienes y servicios) y los insumos o recursos que se utilizan para alcanzar ese nivel de producción
 Becas entregadas respecto de dotación de personal del departamento de becas • Economía: capacidad para generar y movilizar recursos
 Aportes privados al financiamiento de becas .

Perspectivas de la Calidad 
 • Valoración subjetiva de atributos o características de los bienes y servicios. Ejemplo: Credibilidad Trato Satisfacción • Valoración objetiva fundada en elementos técnicos Cumplimiento de especificaciones técnica Cumplimiento de un estándar .

etc. • Productos: bienes y servicios producido y/o entregados y sus atributos-calidad • alumnos matriculados • subsidios entregados • asistencias técnicas realizadas • productos con certificación ISO –calidad .Ámbitos de Control
 • Procesos: formas en que el trabajo es realizado 
 procedimientos de compra
 procedimientos de entrega o provisión
 procesos de administración financiera.

Ámbitos de Control • Resultados Intermedios: cambios en el comportamiento de los beneficiarios una vez recibidos los bienes o servicios. – Nivel de competencias e ingresos laborales – Niveles de exportaciones – Nivel de nutrición-desnutrición . • Resultados Finales o Impacto: un mejoramiento en las condiciones vida de la población objetivo. Actitud ante el consumo de drogas (egresados de cursos de sensibilización) Utilización de obras de riego Formación de comités o asociaciones de canalistas.

EVALUACIÓN
 – Programas • Evaluación Programas Gubernamentales (EPG) (1997) • Evaluación de Impacto (EI) (2001) .

TIPOS DE EVALUACIÓN
 Evaluación programática (EPG) • Se basa en la metodología de marco lógico • Se analiza ordenamiento. consistencia y cumplimiento de metas operativas del programa • Evaluación con información secundaria disponible en las instituciones • Evalúa principalmente resultados a nivel de producto (corto plazo) • Realizada por paneles de 3 expertos independientes • Duración: 4 meses .

componente y actividades) del programa. • El enfoque de marco lógico es utilizado por las agencias internacionales (Banco Interamericano de Desarrollo. BID. y otros) • Es una herramienta que permite el análisis del ordenamiento. . BM. consistencia y cumplimiento de los objetivos (fin. propósito.EPG: OBJETIVOS . Banco Mundial.METODOLOGÍA • La metodología utilizada se basa en el enfoque de marco lógico.

• Incluye recopilación de información de base (encuestas.TIPOS DE EVALUACIÓN Evaluación de impacto (EI) • Aplica metodologías estándar de evaluación de impacto: usa distintas variables instrumentales. aislando efectos externos al programa. focus group) • Evalúa principalmente resultados intermedios y finales • Realizadas por consultoras o universidades • Duración: 12 meses .

Lógica de los Proyectos Económicos CRECIMIENTO ECONÓMICO = f (Inversión. Calidad de la Inversión) Inversión Proyectos Privados Públicos Maximizar Rentabilidad Social Maximizar Rentabilidad Privada Evaluación Privada Calidad de la Inversión Evaluación Social .

Proyectos económicos y sociales • Solventes Mercado • (Demanda Efectiva) Proyectos Económicos Los proyectos Satisfacen Necesidades • Insolventes Subsidios del Estado Proyectos Sociales Productos con precios Inferiores a los de mercado Menores a los costos de producción Iguales a cero .

¿Qué pasa en el ámbito público? • No existe un indicador simple para comparar el valor de los bienes y servicios: no hay un “precio de equilibrio” • Tampoco del éxito de la organización que crea valor: no hay un “balance” .

aspiraciones y valoraciones de la ciudadanía .¿Qué es el valor público? • El beneficio generado para los usuarios/ consumidores directos • El beneficio generado al responder a los intereses.

.Objetivo de la Evaluación • ¿Cuál es el objeto de la evaluación en el ámbito público? • Evaluar resultados sin considerar el proceso de creación de valor es un enfoque sumamente limitado en el ámbito de la política pública.

• ¿Qué debe mirar un/a directivo público al momento de evaluar los programas o proyectos? .

¿Qué mirar en una evaluación? • ¿Fue claro el objetivo? • ¿Hubo respaldo político suficiente? • ¿Suficiente coordinación con otros actores? • ¿Hubo respaldo de la ciudadanía? .

el impacto.¿Qué mirar en una evaluación? • Los resultados. • El grado de involucramiento de los usuarios. • ¿Responde a necesidades y expectativas de los/as ciudadanos/as? .

¿Qué mirar en una evaluación? • ¿Cómo fue el proceso de gestión? • ¿Hubo respaldo de ejecutores? • ¿Facilitó el marco institucional a la ejecución del proyecto o programa? .

• Lograr análisis imparcial de la información obtenida. .La evaluación como responsabilidad de directivos/as públicos • Generar información. • Utilizar la información obtenida para retroalimentar la gestión del proyecto/ programa.

Objetivo de la Evaluación y Evaluación Social 2. Diseño de Cuestionarios 6. Diseño de Muestra 7. Aspectos Cualitativos . Ciclo de Vida del Proyecto y Tipos de Evaluación 3. Disponibilidad de Información y Limitaciones de los Procesos Evaluativos 5. Contenidos de la Evaluación 4.Contenido 1.

invertir DISEÑO INVERSION EJECUCION MARCHA BLANCA SITUACIÓN DESEADA OPERACION OPERACION PLENA No .SITUACIÓN ACTUAL ESTADOS ETAPAS IDEA ¿Continúa? No Sí PERFIL ¿Sigue? No Sí PREINVERSION Espera ó Rechazo PREFACTIBILIDAD ¿Aprueba? El Ciclo de Vida del Proyecto No Sí FACTIBILIDAD Sí. operar ¿Aprueba? Sí.

Eficacia .Eficiencia ● Evaluación de Impacto .Focalización Financiero Análisis de la .Ciclo de Vida del Proyecto y Tipos de Evaluación Preinversión Estados Formulación Inversión Operación SA SD Evaluación Ex-Ante Seguimiento Evaluación Ex-Post Físico● Monitoría.

Disponibilidad de Información y Limitaciones de los Procesos Evaluativos 5. Diseño de Cuestionarios 6. Ciclo de Vida del Proyecto y Tipos de Evaluación 3. Objetivo de la Evaluación y Evaluación Social 2. Aspectos Cualitativos . Diseño de Muestra 7.Contenido 1. Contenidos de la Evaluación 4.

CONTENIDOS DE LA EVALUACIÓN Análisis y Evaluación en los ámbitos de: ➢ ➢ ➢ ➢ ➢ ➢ Diseño (uso MML) Organización y Gestión Eficacia/Calidad Recursos Financieros Sostenibilidad Justificación de Continuidad .

CONTENIDOS DE LA EVALUACIÓN DISEÑO DEL PROGRAMA ➢ Diagnóstico Situación Inicial • • ➢ Identificación del Problema / Necesidad Definición Población Potencial / Objetivo Matriz de Marco Lógico • • Lógica Vertical Lógica Horizontal .

CONTENIDOS DE LA EVALUACIÓN ORGANIZACIÓN Y GESTIÓN DEL PROGRAMA ➢ Estructura Organizacional y Mecanismos de Coordinación ➢ Criterios de Asignación de Recursos y Mecanismos de Transferencia de Recursos ➢ Relación Ejecutor e Institución Responsable del Programa ➢ Funciones y Actividades de Seguimiento y Evaluación .

Producto Propósito Fin ➢ Análisis de Cobertura ➢ Focalización del Programa ➢ Grado de Satisfacción Beneficiarios .CONTENIDOS DE LA EVALUACIÓN EFICACIA Y CALIDAD ➢ Desempeño del Programa a Nivel de: • • • Componentes – (Bienes y/o Servicios) .

ASPECTOS DE LA EVALUACIÓN RECURSOS FINANCIEROS ➢ Fuente y Uso de Recursos Financieros ➢ Evaluación de Eficiencia ▪ ▪ ▪ ➢ Productividad Media de los Factores Costos Medios de Producción Estructura de Costos Evaluación de Economía ▪ ▪ ▪ Ejecución del Presupuesto Aporte de Terceros Recuperación de Costos .

etc.) JUSTIFICACIÓN DE CONTINUIDAD DEL PROGRAMA ▪ ▪ ¿Continúa vigente el problema /necesidad que dio origen al programa? ¿Se justifica el programa en su forma de ejecución actual? . credibilidad.CONTENIDOS DE LA EVALUACIÓN SOSTENIBILIDAD ▪ ▪ ▪ Factores Institucionales Capacidad Factores Cualitativos (Legitimidad beneficiarios.

Objetivo de la Evaluación y Evaluación Social 2. Contenidos de la Evaluación 4. Disponibilidad de Información y Limitaciones de los Procesos Evaluativos 5.Contenido 1. Aspectos Cualitativos . Ciclo de Vida del Proyecto y Tipos de Evaluación 3. Diseño de Muestra 7. Diseño de Cuestionarios 6.

impacto o evaluación comprehensiva del gasto) y poder medir resultados es clave contar con información: • Información de línea base • Información de la ejecución actual de los programas • Información que permita cuantificar indicadores de desempeño definidos .Disponibilidad de Información y Limitaciones de los Procesos Evaluativos ▪ Para aplicar la metodología de evaluación escogida (marco lógico.

.

.Disponibilidad de Información y Limitaciones de los Procesos Evaluativos ▪ La metodología de marco lógico debería permitir evaluar un programa considerando las distintas dimensiones del desempeño: ▪ resultados de nivel de producto ▪ resultados intermedios ▪ resultados finales ▪ Sin embargo no se hace debido a problemas en la disponibilidad de información.

Disponibilidad de Información y Limitaciones de los Procesos Evaluativos ▪ La metodología de evaluación de impacto permite medir los resultados finales de un programa. . sin embargo no siempre se logra debido a: ▪ Falta de información apropiada para la construcción de un grupo de control ▪ Universalidad de los programas ▪ Falta de información apropiada para la construcción de línea base ▪ Esto se soluciona con la aplicación de encuestas y el uso de metodologías alternativas.

Diseño de Muestra 7. Diseño de Cuestionarios 6. Objetivo de la Evaluación y Evaluación Social 2. Ciclo de Vida del Proyecto y Tipos de Evaluación 3. Disponibilidad de Información y Limitaciones de los Procesos Evaluativos 5. Contenidos de la Evaluación 4. Aspectos Cualitativos .Contenido 1.

alumnos egresados. cambios en el comportamiento o actitud de los beneficiarios una vez que han recibido los bienes y servicios que entrega el programa (jóvenes con actitud crítica frente a las drogas después de participar en talleres de sensibilización. en cuanto a aspectos tales como oportunidad. entre otros. etc. . accesibilidad. agricultores que están desarrollando nuevos cultivos después de acceder a transferencia tecnológica. calidad de la entrega del servicio. precisión y continuidad en la entrega del servicio. mediaciones laborales exitosas. comodidad y cortesía en la atención. ▪ Resultados intermedios.). innovaciones organizacionales después de un programa de capacitación.Diseño de Cuestionarios ▪ Los cuestionarios se utilizan principalmente para obtener información respecto de resultados de los programas que no se encuentran disponibles en las bases de datos ▪ Los resultados respecto de los cuales se requiere encuestar a los beneficiarios son: ▪ Resultados a nivel de producto.

reducción de la tasa de reincidencia de jóvenes con problemas delictuales. etc. .).Diseño de Cuestionarios ▪ Los resultados respecto de los cuales se requiere encuestar a los beneficiarios y controles son: ▪ Resultados finales beneficio de mediano y largo plazo obtenido por la población atendida (aumento en el nivel de remuneraciones de los jóvenes capacitados.

Un proceso de trabajo de levantamiento de información cualitativa (entrevistas en profundidad.Diseño de Cuestionarios Para lograr un buen diseño de cuestionario se requiere: .La realización de un pre-test aplicando el cuestionario a una muestra reducida de beneficiarios y controles (si corresponde) .Un acabado conocimiento del programa . focus group) .

Disponibilidad de Información y Limitaciones de los Procesos Evaluativos 5. Contenidos de la Evaluación 4. Objetivo de la Evaluación y Evaluación Social 2. Ciclo de Vida del Proyecto y Tipos de Evaluación 3. Diseño de Muestra 7. Aspectos Cualitativos . Diseño de Cuestionarios 6.Contenido 1.

.Diseño de Muestras Una muestra es un subconjunto de la población beneficiaria que. sin la necesidad entrevistar a individuo de este universo. tiene las mismas características de ésta. Mediante la selección aleatoria de una muestra es posible recoger con confiabilidad estadística la información. dado sus propiedades estadísticas.

Diseño de Muestras ¿Qué determina el tamaño muestral? El tamaño de una muestra puede variar considerablemente dependiendo de: i) El tamaño de la población. . iii) La precisión de la información que yo quiero obtener. ii) La cantidad de la información que yo quiero obtener.

Este es el caso de una muestra aleatoria donde cada individuo representa un grupo de la población de igual tamaño. empresa). hogar. .Diseño de Muestras Muestreo Aleatorio Simple El diseño muestral más simple es aquel que asigna igual probabilidad de ocurrencia a cada unidad seleccionada (individuo.

). Permite reducir el número de observaciones necesarias para representar en la muestra las características del universo. etc. según la profesión. La principal desventaja es que requiere contar con información ex-ante sobre las características de la población beneficiaria. el municipio de residencia. por ejemplo. Lo que se pretende con este tipo de muestreo es asegurar que todos los estratos de interés están representados adecuadamente en la muestra.Diseño de Muestras Muestreo Aleatorio por Estratos. Consiste en considerar categorías típicas diferentes entre sí (estratos) que poseen gran homogeneidad respecto a alguna característica (se puede estratificar. . el estado civil. el sexo.

selecciona aleatoriamente las observaciones en el interior de cada uno de ellos. ya que facilita la labor de encuestadores disminuyendo sus costos de traslado. en una primera etapa selecciona aleatoriamente un cierto número de grupos denominados conglomerados. La principal desventaja es que tiene menor confiabilidad estadística que el muestreo aleatorio simple y el por estratos. El muestreo por conglomerados.Diseño de Muestras Muestreo Aleatorio por Conglomerados. . y luego. La principal ventaja de esta técnica es su costo efectividad. en especial cuando la población está geográficamente dispersa. en una segunda etapa.

Contenido
1.

Objetivo de la Evaluación y Evaluación Social

2.

Ciclo de Vida del Proyecto y Tipos de Evaluación

3.

Contenidos de la Evaluación

4.

Disponibilidad de Información y Limitaciones de los Procesos Evaluativos

5.

Diseño de Cuestionarios

6.

Diseño de Muestra

7.

Aspectos Cualitativos

Aspectos Cualitativos
El desempeño de un programa o acción pública, o ciertas características
o estados que lo determinan, puede observarse a través de aspectos
cuantitativos y cualitativos.
Ejemplo: programa de reconversión laboral
Aspectos Cuantitativo:
• % de trabajadores egresados
• Tasa de empleo post – programa
• % de empleo forma e informal
• Duración del primer empleo post –programa
• Nivel de ingreso post programa

Aspectos Cualitativos
Ejemplo: programa de reconversión laboral
Aspectos cualitativos
1.Actitud de trabajadores frente al programa – motivación
2.Expectativas de beneficios
3.Satisfacción con el servicio

Herramientas o Metodologías Cualitativas Los aspectos cualitativos pueden traducirse a números: Ejemplo: la satisfacción con el servicio ofrecido puede ser medida a través de una encuesta a los beneficiarios: Muy satisfecho 32% Satisfecho 38% Poco satisfecho 18% Insatisfecho 9% No responde 3% .

Herramientas o Metodologías Cualitativas Ventajas • Flexibilidad • Rapidez de aplicación • Ayuda a interpretar resultados cuantitativos Desventajas • Subjetividad • No tiene representatividad estadística .

Herramientas o Metodologías Cualitativas Las herramientas o metodologías más comunes son: •Focus group •Entrevistas en profundidad .

. con un foco de interés común.Focus Group Objetivo: Obtener conocimientos sobre un tema escuchando a actores involucrados.

✓Se estimula la conversación para obtener reacciones colectivas o individuales. etc. oficio. edad. conocimiento de un área específica. .Focus Group Características Generales: •Entrevistas o conversaciones en grupos homogéneos. • Sesiones en pequeños grupos de personas (entre 6 a 12) • Sesiones de una a dos horas de duración • Sesiones de acercamiento directo: ✓Se plantean preguntas respecto de un tema definido. profesión.

ninguno debe estar por sobre el otro (poder. • Entrevista no estructurada que sigue un esquema de discusión. .Focus Group Requisitos de las Sesiones • Conducida por un experto entrenado en la técnica. • La relación entre los integrantes debe ser simétrica. autoridad). • Toda intervención es importante.

.Entrevistas en Profundidad Objetivo: Obtener conocimientos sobre un tema escuchando a personas responsables o involucrados relevantes en relación al tema de investigación.

• Las preguntas son abiertas.Entrevistas en Profundidad Características Generales: • Son conversaciones individuales. • Utilizan una pauta referencial. .

Promover un mayor uso de la información existente por parte de parlamentarios/as. Avanzar hacia el desarrollo de evaluaciones integrales que permitan captar el efecto conjunto de varios programas sobre un determinado resultado de política pública. etc. universidades. los sectores presupuestarios y el público en general (centros de estudio. Planificar las evaluaciones con algunos años de anticipación.DESAFÍOS DEL SISTEMA DE EVALUACIÓN Reforzar el análisis ex-ante de los programas.) .