Professional Documents
Culture Documents
bsicos La evaluacin y el seguimiento son insumos bsicos para tomar decisiones y mejorar los resultados de las polticas pblicas La forma ms efectiva de recibir apoyo y recursos para sus proyectos, programas o polticas, es mostrando resultados Para mostrar resultados, se deben hacer mediciones y para hacer para mediciones adecuadas es necesario utilizar buenos indicadores Todo buen indicador debe ser claro, relevante con el objeto de medicin y debe proporcionar informacin peridica para medir si se lograron o no los objetivos propuestos gestin Una gestin orientada a resultados no es posible sin indicadores que permitan la adecuada medicin de dichos resultados
Los indicadores son instrumentos centrales en la gerencia pblica moderna, toda vez que permiten hacer seguimiento y evaluacin1. Con el propsito de fortalecer la capacidad de las entidades pblicas en la elaboracin de indicadores, esta gua explica cmo elaborar indicadores segn la parte del proceso de una poltica, programa o proyecto que se desee evaluar. La gua tiene como objetivo adicional homologar definiciones y procesos en torno a la elaboracin de indicadores en la administracin pblica colombiana. La gua desarrolla tres pasos: i) Qu se quiere medir?, ii) Cmo seleccionar el mejor indicador? y; iii) Que informacin se requiere para medir? El desarrollo de cada paso se ilustra con un ejemplo y se incluye un formato gua para el registro de los resultados. Este documento hace parte de los instrumentos metodolgicos del Sistema Nacional de Evaluacin Sinergia- y fue elaborado por el equipo tcnico de la Direccin de Evaluacin de Polticas Pblicas DEPP- y el Grupo Asesor de la Gestin de Programas y Proyectos de Inversin Pblica GAPI- del Departamento Nacional de Planeacin (antes BPIN).
El seguimiento es la recoleccin y anlisis continuo de informacin til para tomar decisiones durante la implementacin de una poltica, programa o proyecto, con base en una comparacin entre los resultados esperados y el estado de avance de los mismos. La evaluacin es una valoracin exhaustiva y sistemtica de una intervencin del Estado y sus efectos (positivos o negativos, esperados o no) para determinar su relevancia, eficiencia, efectividad, impacto o sostenibilidad. El objetivo fundamental de evaluar, es incorporar las lecciones aprendidas para mejorar las decisiones relacionadas con mantener, ampliar, reorientar, crear o eliminar una poltica, un programa o un arreglo institucional. (The World Bank- IBRD, Designing and Building a Results-Based Monitoring and Evaluation System, 2000).
1
1. Primer paso: Qu se quiere medir y cmo formular indicadores? 2. Segundo paso: Cmo seleccionar el mejor indicador? 3. Tercer paso: Que informacin se requiere para medir? Glosario de trminos bsicos en evaluacin Bibliografa
3 8 9 14 18
INDICADORES?
El propsito de este paso es identificar el objeto de medicin, es decir que es lo que se quiere medir con el indicador? Para esto es necesario tener en cuenta los siguientes aspectos. A. Cul es la poltica, programa o proyecto que desea evaluar?
Ejemplo
Programa para la integracin de infraestructura de zonas apartadas -PIIZA
B. Qu aspecto le interesa evaluar de esa poltica, programa o proyecto? (Use la Figura 1 como orientacin)
Ejemplo
Interesa evaluar los productos inmediatos generados por el programa PIIZA
Insumos
Recursos financieros, humanos y fsicos que se requieren para adelantar las acciones de una poltica, programa o proyecto
Gestin
Desarrollo de todas las intervenciones de una poltica, programa o proyecto que transforman sus insumos en productos
Productos
Productos y servicios consecuencia inmediata de las actividades de una poltica, programa o proyecto
C. Qu es lo que especficamente le interesa evaluar de ese aspecto de la poltica, programa o proyecto seleccionado en la pregunta anterior? (Use la Figura 2 como orientacin)
Ejemplo
Interesa comprobar la construccin real de los 800 kilmetros de carreteras previstos
Formulacin
Realizacin de estudios de factibilidad / prefactibilidad Seleccin de las carreteras a construir Consecucin de recursos financieros para su ejecucin
Impactos
Mejoramiento de las condiciones de vida de la poblacin de los municipios beneficiados Aumento del intercambio comercial de productos Mejoramiento de la infraestructura social del municipio (hospitales y escuelas)
Insumos
Asegurar los recursos financieros Publicar en prensa licitaciones de construccin Firmar los contratos de construccin con participacin de la comunidad
Resultados
Ahorros promedios del 60% en el tiempo de transporte con el municipio ms cercano Iniciacin de proyectos de construccin de hospitales regionales Iniciacin de programas de comercializacin de productos agrcolas de los municipios con nuevas carreteras
Gestin
Informar sobre cada proyecto en sus respectivas zonas de influencia Iniciar contratos de construccin Informar a la comunidad sobre el avance de cada proyecto
Productos
800 nuevos kilmetros de carreteras regionales construidos en municipios de menos de 30 mil habs. Proyectos ejecutados
D. Una vez definido qu se quiere medir, puede proceder a la elaboracin del indicador, estableciendo las variables que conformarn el indicador y la relacin entre ellas para que produzcan la informacin que se necesita. Para esto, revise las definiciones para los distintos indicadores que se presentan en el Cuadro 1 y seleccione la que mejor se adapte al aspecto que quiere evaluar y que seal al final del Primer Paso.
Indicador recomendado
Indicadores de formulacin Indicadores de insumo Indicadores de actividad gestin Indicadores de producto Indicadores de resultados
Indicadores de impacto
Esta es una clasificacin simplificada de indicadores. Para otras clasificaciones ver por ejemplo World Bank (1996),.
Gua general para elaborar INDICADORES Figura 3 Ejemplo de indicadores y sus respectivas frmulas de aspectos evaluables del PIIZAPrograma de Integracin de Infraestructura de Zonas Apartadas PIIZAESTREA = ((ESTREA / ESTPROG)*100)t1-((ESTREA / ESTPROG)*100)to
ESTREA: estudios realizados
ESTPROG: estudios programados t1: perodo final, to: perodo inicial PAIMB = (PAIMB)t1 (PAIMB)t0 PAIMB: Prod. Agri. e Ind. Municipios beneficados t1: periodo final, t0: periodo inicial
Frmulas
Indicadores de Formulacin
Estudios de factibilidad de proyecto adelantados para el PIIZA RPMP = (RPMP) t1((RPMP) to RPMP: recursos del presupuesto del Ministerio asignados al PIIZA t1:perodo final t0:perodo inicial
Indicadores de Impacto
Produccin agrcola e industrial de los municipios beneficiados por el PIIZA TCP = (TCP)t1(TCP)t0 TCP: trafico carreteras construidas PIIZA t1: periodo final, t0: periodo inicial
Indicadores de Insumo
Presupuesto anual del Ministerio de Transporte para el PIIZA
Indicadores de Resultados
Trfico promedio diario en las carreteras construidas por el PIIZA.
Indicadores de gestin
Kilmetros contratados para la construccin de carreteras por el PIIZA CICP = (CICP) t1 (CICP)) to CICP: Contratos elaborados por carretera PIIZA
Indicadores de Producto*
Kilmetros de carreteras construidos por el PIIZA
Frmulas EJEMPLOS
KCP = (KCP) t1 (KCP) to) KCP: kilmetros de carreteras construidas PIZZA t1: perodo final, to: perodo incial
* Nota: Los indicadores de producto pueden estar asociados a productos intermedios o finales. Los primeros se producen al finalizar una actividad importante dentro de una poltica, programa o proyecto en evaluacin. Los finales corresponden a aquellos que se espera tener inmediatamente al finalizar dicha poltica, programa o proyecto.
Gua general para elaborar INDICADORES 2. SEGUNDO PASO: Cmo seleccionar el mejor indicador?
A. A continuacin elabore una lista con los posibles nombres del (de los) indicador(es). Se sugiere proponer ms de uno.
Ejemplo
Opcin 1 Kilmetros construidos a travs del programa PIIZA Opcin 2: Kilmetros contratados de carretera regional 2
B. Realice el primer control de calidad de los indicadores respondiendo las siguientes preguntas para cada indicador: -
escogidos
El indicador expresa qu se quiere medir de forma clara y precisa? El indicador es relevante con lo que se quiere medir? La informacin que provee el indicador es suficiente para explicar el logro de dicho objetivo? La informacin del indicador est disponible? El indicador es monitoreable?
Revise y modifique su lista inicial de indicadores hasta poder responder afirmativamente las cinco preguntas anteriores. En caso de responder negativamente, piense en elaborar indicadores adicionales y someterlos al mismo control de calidad.
Ejemplo
Para la opcin 1 El indicador expresa claramente que el objeto de la medicin es la longitud nueva en kilmetros, de carreteras regionales construida con el programa PIIZA El indicador SI se relaciona directamente con el objetivo que se quiere medir (800 kilmetros en municipios de menos de 30.000 habitantes). No hace falta otro indicador pues su informacin permite saber con precisin si se logr o no el objetivo de construir 800 kilmetros. La informacin estara disponible dado que los contratistas estn obligados a informar sobre el avance fsico de las obras El indicador es monitoreable porque el programa tiene procedimientos de reporte peridico de su informacin
Si el formato en el que se encuentra la informacin es diferente al formato en el que necesita la informacin, debe tener en cuenta qu tan adaptable es la informacin disponible y qu debe hacer para lograr dicha adaptacin. C. Qu mtodo(s) utilizar para recolectar y actualizar la informacin? Utilice la Figura 4 como orientacin. Figura 4 Mtodos de recoleccin de la informacin
Estudios
Encuestas
Trabajo de campo
Ejemplo
La informacin se recolectar a partir de la revisin de los reportes oficiales trimestrales del Ministerio de Transporte en su pgina Web.
10
E. Qu usos especficos tendr del indicador? (p.e., controlar el avance general de una poltica o proyecto, tomar decisiones para ajustar el programa, la poltica o proyecto, reportar avances a un tercero, tomar decisiones presupuestales asociadas a una poltica o proyecto, todos los anteriores, etc)
Ejemplo
Se espera que el Departamento Nacional de Planeacin y el Ministerio de Transporte cuenten con el avance trimestral a tiempo, para: i) hacer seguimiento a la gestin del programa, ii) ajustar el flujo de recursos del programa con base en los resultados realmente obtenidos.
G. Defina o verifique los responsables de: - producir la informacin asociada al indicador - recolectar la informacin - analizar dicha informacin - administrar las bases de datos asociadas a dicha informacin - preparar reportes y presentar informacin relacionada con el indicador
Ejemplo
La informacin ser recolectada por la Direccin de Transporte del Departamento Nacional de Planeacin y el Grupo de Proyectos Especiales del Ministerio de Hacienda. Cada uno podr realizar revisiones sin previo aviso de la actualizacin de sus respectivas bases de datos, as como de la informacin respectiva en la oficina de carreteras regionales del Ministerio de Transporte
11
I. Cuales mecanismos de verificacin de la informacin que garanticen la confiabilidad del indicador se encuentran disponibles?
Ejemplo
Los funcionarios del Departamento Nacional de Planeacin y del Ministerio de Hacienda realizarn visitas de verificacin de informacin en el Ministerio de Transporte cada 4 meses y en campo cada 6 meses. Estas verificaciones sern aleatorias y sin previo aviso. Comparar la informacin del interventor contra la informacin proporcionada por el Ministerio de Transporte y publicada en sus reportes y pginas Web.
Finalmente, el registro adecuado de la informacin de un indicador es esencial para su gil acceso y actualizacin, as como para consolidar la memoria institucional de la entidad. El siguiente formato, diligenciado para el ejemplo desarrollado a lo largo de la gua, se sugiere con dicho propsito.
12
Informacin
Nombre del indicador Poltica, programa o proyecto que se evala a travs del indicador Objetivo que se evala a travs del indicador Frmula de clculo: ecuacin que explica la forma en que las variables involucradas sirven para calcular el valor de indicador Unidad de medicin: unidad mnima de identificacin del valor del indicador Categora
Ejemplo
Kilmetros construidos con a travs del programa PIIZA PIIZA : Programa del Ministerio de Transporte para la integracin de infraestructura de zonas apartadas Construir durante el cuatrienio, 800 kilmetros de carreteras regionales en municipios de menos de 30.000 habitantes ((KC / KP)*100)t1-((KC / KP)*100)t0 KC: Suma de kilmetros construidos por los proyectos que hacen parte del programa. KP: Suma de kilmetros programados por los proyectos que hacen parte del programa. t1: periodo final de medicin, t0: periodo inicial de medicin Kilmetros construidos en un perodo de tiempo (como porcentaje de avance)
Indicador de Producto El indicador mide la longitud de carreteras construidas en un perodo determinado, como porcentaje de la meta total de construccin del programa. No incluye carreteras ya existentes o que hayan sido rehabilitadas, mejoradas o mantenidas a travs del mismo Programa. La medicin la realiza cada interventor inspeccin visual directa. Luego el interventor de cada proyecto elabora y enva el reporte de kilmetros construidos cada mes, a la oficina de carreteras regionales del Ministerio de Transporte. El Ministerio de Transporte reporta la sumatoria de los kilmetros construidos por todos los contratistas del PIIZA y los compara con los kilmetros programados de cada proyecto. Solo incluye los kms que cumplieron con especificaciones tcnicas y el control de calidad segn el reporte de interventora. Teniendo en cuenta las caractersticas del programa PIZZA, est establecido que el interventor debe reportar mensualmente al Ministerio segn condiciones del contrato de interventora. El Ministerio de Transporte debe agregar informacin y reportar trimestralmente a la ciudadana afectada, al Departamento Nacional de Planeacin y al Ministerio de Hacienda para asegurar el flujo de recursos del presupuesto al proyecto. 0% construidos a diciembre de 2002 (el programa inici en enero de 2003) 100% kilmetros a 31 de diciembre de 2006 Interventores de cada proyecto de construccin (fuente primaria) Oficina de carreteras regionales del Ministerio de Transporte (fuente secundaria) La informacin se encuentra en los informes escritos de los interventores, en la oficina de carreteras regionales del Ministerio de Transporte y en la pgina WEB del mismo Ministerio Atrasos de los interventores en reportar mensualmente el avance en metas fsicas al Ministerio Atrasos en el Ministerio en actualizar la informacin respectiva en su pgina WEB
Metodologa de medicin: explicacin de los principales aspectos del proceso de medicin del indicador (cmo se hace la medicin)
Periodicidad: cada cuanto se produce, recolecta o difunde la informacin? Lnea base o valor de referencia: Valor y fecha del indicador al momento de iniciar la ejecucin de la poltica, programa o proyecto Valor final o meta prevista: valor esperado del indicador en un perodo dado Fuentes de informacin: entidad, dependencia o grupo que produce o administra la informacin del indicador
Limitaciones: aspectos claves que puedan generar deficiencias en la informacin del indicador
13
14
15
16
17
18
Sinergia es el Sistema Nacional de Evaluacin de Resultados de la Gestin Pblica, a travs del cual el Gobierno central, en cabeza del Departamento Nacional de Planeacin, lleva a cabo la evaluacin y seguimiento de los resultados e impacto de sus principales polticas, programas y proyectos de inversin. Este sistema aporta un conjunto de instrumentos de gerencia con los cuales se busca: i) lograr una asignacin ms eficiente y transparente de los recursos pblicos; ii) mejorar la eficacia de las polticas, programas e instituciones del Estado; iii) propiciar una cultura de la gestin orientada a resultados; y iv) establecer un marco adecuado de rendicin de cuentas que active el control social de la ciudadana.
El Grupo Asesor de la Gestin de Programas y proyectos de Inversin Pblica, Gapi, es la instancia del Departamento Nacional de Planeacin que conecta la planeacin con la programacin y brinda las herramientas para contar con informacin de seguimiento de programas y proyectos de inversin pblica, as como de evaluacin de resultados. Lo anterior lo lleva a cabo a travs de: i) un componente de sistemas que cuenta con una base de datos sobre programas y proyectos de inversin pblica viables tcnica, financiera, econmica, social, institucional y ambientalmente, financiados o susceptibles de ser financiados o cofinanciados con recursos del Presupuesto General de la Nacin, ii) unas metodologas de formulacin y evaluacin de proyectos, iii) un componente legal y procedimental con su Manual de Procedimientos, y iv) un componente de capacitacin y asistencia tcnica en la cual se tratan temas tales como Teora de Proyectos, Metodologa para la formulacin de Indicadores, Manejo de aplicativos diseados para los bancos de proyectos, entre otros.
Agradecemos sus comentarios o inquietudes sobre el contenido de esta Gua en sinergia-DNP@dnp.gov.co o webbpin@dnp.gov.co
19