Professional Documents
Culture Documents
Secretara Ejecutiva
Revisin tcnica
Manual para el Diseo y la Construccin de Indicadores. Instrumentos principales para el monitoreo de programas sociales de Mxico
Primera edicin: septiembre de 2013
Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social
Boulevard Adolfo Lpez Mateos 160
Colonia San ngel Inn
CP 01060
Delegacin lvaro Obregn
Mxico, Distrito Federal
Impreso y hecho en Mxico
Printed and made in Mexico
ISBN 978-607-95986-6-2
Citacin sugerida:
Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social. Manual para el Diseo y la
Construccin de Indicadores. Instrumentos principales para el monitoreo de programas sociales
de Mxico. Mxico, DF: CONEVAL, 2013.
CONTENIDO
Glosario 6
Introduccin 9
CAPTULO 1
Qu es un indicador? 11
CAPTULO 2
Indicadores 13
1. Datos e indicadores 14
CAPTULO 3
mbitos de desempeo de los indicadores
y sus dimensiones 17
1. mbitos de desempeo del indicador 18
2. Dimensiones y mbitos de desempeo 20
3. Restricciones 26
CAPTULO 4
Pasos para construir un indicador 29
1. Revisar la claridad del resumen narrativo 30
2. Identificar los factores relevantes 33
3. Establecer el objetivo de la medicin 36
4. Plantear el nombre y la frmula de clculo 39
5. Determinar la frecuencia de medicin del indicador 52
6. Seleccionar los medios de verificacin 53
CAPTULO 5
Criterios del CONEVAL para la valoracin
de los indicadores
57
CAPTULO 6
Establecimiento de la lnea base y LAS metas
63
1. Lnea base 64
2. Metas 65
CAPTULO 7
INDICADORES, PRESUPUESTO Y TOMA DE DECISIONES
63
Referencias bibliogrficas 67
GLOSARIO
Actividades:
Adecuado:
Criterio para la eleccin de indicadores que consiste en proveer suficientes bases para medir. Un
indicador no debe ser ni tan indirecto ni tan abstracto que convierta en una tarea complicada y
problemtica la estimacin del desempeo.
mbito de desempeo:
Aportacin marginal:
Criterio para la eleccin de indicadores que consiste en que, en caso de que exista ms de un
indicador para medir el desempeo en determinado nivel de objetivo, el indicador debe proveer
informacin adicional en comparacin con los
otros indicadores propuestos.
Claro:
Componentes:
Bienes y servicios pblicos que produce o entrega el programa para cumplir con su propsito;
deben establecerse como productos terminados
o servicios proporcionados.
Economa:
Dimensin de indicadores que mide la capacidad del programa que lo ejecuta para recuperar los costos erogados, ya sea de inversin o de
operacin.
Econmico:
Eficacia:
Eficiencia:
Fin:
Frecuencia de medicin:
Indicador de gestin:
Indicador de resultado:
Indicador proxy:
Indicador:
Herramienta cuantitativa o cualitativa que permite mostrar indicios o seales de una situacin,
actividad o resultado.
Lnea base:
Valor del indicador que se establece como punto de partida para evaluarlo y darle seguimiento.
Matriz de Indicadores
Construida con base en la Metodologa de Marpara Resultados:
co Lgico, la cual es una herramienta de monitoreo que permite entender y mejorar la lgica
interna y el diseo de los programas presupues7
Medios de verificacin:
Muestran las fuentes de informacin que se utilizarn para medir los indicadores y verificar que
los objetivos del programa (resumen narrativo)
se lograron.
Meta:
Metodologa
de Marco Lgico:
Monitoreable:
Propsito:
Relevante:
Criterio para la eleccin con base en que el indicador provee informacin sobre la esencia del
objetivo que se quiere medir; debe estar definido
sobre lo importante, con sentido prctico.
INTRODUCCIN
La Matriz de Indicadores para Resultados (MIR) se ha constituido en la
base para el diseo de indicadores en Mxico. La Metodologa de Marco Lgico (MML) plataforma para la construccin de la MIR permite
alinear los objetivos de los programas presupuestarios con los objetivos
estratgicos de las dependencias y entidades federales y con el Plan Nacional de Desarrollo. La MIR es un instrumento clave para la planeacin
dado que proporciona informacin para el monitoreo y evaluacin de
resultados.
Para el ejercicio fiscal 2012, los 734 programas del Gobierno Federal contaban con la MIR y con 6,708 indicadores para monitorear los objetivos
de dichos programas. Ello facilit la identificacin de los resultados y la
incorporacin de indicadores para supervisar su desempeo.
Los indicadores mencionados se dividen en dos grupos: de resultados,
que cuantifican la solucin de las problemticas especficas que atiende
un programa, y de servicios y gestin, que dan seguimiento a los productos y a las principales actividades de los programas.
A pesar de que el monitoreo y la evaluacin de los programas ha contribuido, desde 2007, a precisar los objetivos de los programas y establecer
indicadores ms especficos, es indudable que la construccin de estos
ltimos resulta el aspecto que presenta los mayores retos.
El manual que aqu se presenta es un instrumento diseado para aportar
a funcionarios de gobierno y pblico en general, informacin clara y sencilla sobre el diseo y la construccin de indicadores para el monitoreo
de programas sociales.
Captulo 1
Qu es un indicador?
En la vida diaria es comn interactuar con diferentes indicadores sin que necesariamente se les
denomine as: las seales de trnsito, la aguja de
reloj, las flechas de la salida de emergencia, los
sealamientos de algn edificio gubernamental,
entre otros.
Un indicador es una
herramienta que muestra
indicios o seales de
una situacin, actividad o
resultado.
Todos estos indicadores proporcionan informacin de manera simple, precisa y sin ambigedad;
por ejemplo, sabemos en qu momento debemos avanzar o detener el
automvil mediante las luces del semforo; conocemos la hora precisa
por la posicin de las manecillas del reloj; y podemos ubicar la salida de
emergencia de algn lugar gracias a la sealizacin adecuada. Para
entender estos indicadores, en su mayora, no es necesario que una persona nos explique su significado; slo requerimos un poco de informacin para interpretarlos de manera lgica.
Un indicador es una herramienta cuantitativa o cualitativa que muestra
indicios o seales de una situacin, actividad o resultado; brinda una seal relacionada con una nica informacin, lo que no implica que sta
no pueda ser reinterpretada en otro contexto. Imaginemos el caso de un
semforo. Para un automovilista, la luz roja le indica que debe detener el
carro; en cambio, para los peatones es una seal de que puede cruzar
la calle. En este sentido, la informacin que ofrece el indicador resulta
confusa? No. El semforo que detiene a los automviles no da la seal
para que los peatones crucen la calle; stos lo hacen una vez que los
automviles paran. La funcin del semforo no es indicar a la gente que
puede cruzar la calle; de ello se encargan los semforos peatonales.
Cada indicador brinda informacin relevante y nica respecto a algo:
una seal que debe ser interpretada de una nica manera, dado que tiene un solo objetivo. Por ejemplo, la luz roja de un semforo tiene como objetivo indicar cundo un automvil debe detenerse; el algo que se quiere
mostrar. Para entender ese algo, debe comprenderse que los indicadores
tienen un objetivo concreto, y dado que ste es nico, la informacin relacionada con el indicador es nica.
12
Captulo 2
Indicadores
1. Datos e indicadores
Un indicador es un instrumento que provee evidencia de una determinada condicin o el logro de ciertos resultados. Esta informacin puede
cubrir aspectos cuantitativos y cualitativos sobre los objetivos de un programa o proyecto.
Los indicadores cotidianos slo proporcionan informacin con un nico
dato: una direccin, un lugar, una indicacin o alguna otra seal; para el
objetivo al que se encuentran asociados, esta informacin es suficiente.
Sin embargo, los indicadores necesariamente deben representar la relacin entre dos o ms variables.
Por qu? Supongamos que el programa Capacitando tiene la finalidad de capacitar al
Un indicador debe
mayor nmero de personas en un ao y un
representar la relacin entre
peridico local da a conocer los resultados de
dos o ms variables. Un
dicho programa en 2010 y reporta lo siguiente:
nmero no es un indicador.
Hasta la fecha se han capacitado 10,000 personas, lo cual representa una gran avance en
temas de capacitacin. Es adecuada esta
afirmacin? El nmero de personas capacitadas es un elemento suficiente para manifestar que se ha tenido un gran avance? Al volver a
leer y analizar la nota, se advierte que dicha afirmacin no es justa con
el desempeo del programa, puesto que no se muestran los avances
reales ni los resultados. La afirmacin est sujeta al cuestionamiento: qu
14
15
16
Captulo 3
mbitos de desempeo
de los indicadores
y sus dimensiones
Una vez descrito qu es y qu no es un indicador, es momento de clasificarlos de acuerdo con el mbito de su medicin. Los indicadores incluidos en las MIR deben medir diferentes aspectos de los objetivos a los que
estn asociados. Si se desea valorar un programa o proyecto de manera
objetiva, es necesario que los indicadores establecidos para monitorear y
evaluar su desempeo cuantifiquen diferentes aspectos del programa, es
decir, valorarlo con diferente perspectiva.
Por qu es necesario valorar un programa con distintas perspectivas?
Hay programas en los cuales los aspectos del uso de los insumos son
ms importantes que la calidad de los bienes o servicios que entrega.
Asimismo, habr ocasiones en que es ms relevante medir el grado de
cumplimiento de los objetivos del programa que el cmo se han utilizado
los recursos econmicos. Los logros de un programa dependern de la
perspectiva con la que se valore; por lo tanto, es necesario analizar sus
actividades, bienes, servicios y resultados desde diversos ngulos para
tener una valoracin integral.
Los programas deben estructurar sus objetivos de manera similar a las etapas del proceso de produccin, y los objetivos deben
estar encadenados e incrementar su complejidad. Esto implica que los objetivos superiores son ms complejos que los inferiores
y para poder realizar aqullos tuvieron que
cumplirse estos ltimos.
18
Efectos
Resultados
Control directo
Influencia directa
Influencia indirecta
mbito de
desempeo
Objetivo
Fin
Propsito
Productos
Componente
Procesos
Actividades
Insumos
19
20
Cuando se mide:
Se est midiendo:
Impacto
Fin
Resultados
Propsito
Ecacia
Eciencia
Productos
Componente
Ecacia
Eciencia
Calidad
Procesos
Actividades
Ecacia
Eciencia
Economa
Ecacia
Insumos
Aunque lo ideal sera medir todas las dimensiones del logro, en la prctica esto no resulta una tarea sencilla ni econmica. Por tal motivo, en
cada nivel se recomienda medir slo algunas dimensiones, pero no es
limitativo ni debe entenderse como exclusivo. En la figura 2 se muestran
las dimensiones del logro que se sugiere sean cuantificadas en cada
nivel de la MIR y su relacin con el mbito de desempeo. Como se analizar ms adelante, la dimensin de la eficacia es la nica que se sugiere
sea medida en todos los niveles de la MIR; las dimensiones de calidad
y economa se recomiendan en productos y procesos, respectivamente,
mientras que la de eficiencia puede ser utilizada en procesos, productos
y resultados.
Dado que no todos los programas tienen los mismos objetivos, es posible
reasignar una dimensin diferente a la anterior; no obstante, hay ciertas
restricciones que deben mantenerse. Esto se describir con ms detalle
en la ltima seccin de este captulo.
21
Indicador
Objetivo
Indicador
Objetivo
Indicador
Objetivo
Indicador
Observacin
El objetivo se refiere a un problema de acceso
a servicios de drenaje, por lo cual el indicador
es apropiado para medir el grado de cumplimiento
del objetivo, porque se refiere a la proporcin de la
poblacin que dispone del servicio.
El objetivo se refiere a mejorar el ingreso, por lo cual
el indicador es apropiado para medir el grado de
cumplimiento del objetivo, porque se permite verificar
si el ingreso de las mujeres se incrementa
o disminuye.
El objetivo trata de incorporar las polticas pblicas
una perspectiva de gnero, por lo cual el indicador
es apropiado para medir el grado de cumplimiento
del objetivo, ya que se refiere a la proporcin de
polticas que integran dicha perspectiva.
En virtud de que la informacin que proporcionan estos indicadores concierne al cumplimiento de los objetivos, stos pueden ubicarse en cualquiera de los niveles de la MIR. Sin embargo, estos indicadores no brindan
informacin sobre el uso de recursos o las caractersticas de los bienes y
servicios entregados. En cuanto a actividad, componente y propsito, es
necesario, dependiendo del objetivo, complementar la informacin con
algn otro indicador de diferente dimensin.
22
b) Indicadores de eficiencia
Los indicadores de eficiencia miden la relacin entre el logro del programa y los recursos utilizados para su cumplimiento. Estos indicadores cuantifican lo que cuesta alcanzar el objetivo planteado, sin limitarlo a recursos econmicos; tambin abarca los recursos humanos y materiales que
el programa emplea para cumplir el objetivo especfico.
Indicador
Objetivo
Indicador
Objetivo
Indicador
Objetivo
Indicador
Observacin
El objetivo se refiere a la evaluacin en tiempo
y forma de los proyectos, por lo cual el indicador
es apropiado para cuantificar los recursos utilizados
para cumplir el objetivo, dado que tiene que ver con
el tiempo invertido por el programa para evaluar los
proyectos.
El objetivo se refiere a un problema de acceso
a servicios de drenaje, por lo cual el indicador es
apropiado para cuantificar los recursos utilizados para
cumplir el objetivo, ya que alude al costo promedio
por conectar a un hogar al sistema de drenaje.
El objetivo se refiere a dictaminar los proyectos
recibidos por el programa, por lo que el indicador
es adecuado, puesto que trata sobre los recursos
humanos utilizados por el programa para dictaminar
un proyecto.
El objetivo se refiere a los cursos implementados por
el programa; no obstante, el indicador se relaciona
con la percepcin de los participantes respecto al
desempeo del curso y no al uso de recursos para
su realizacin, por lo que no es un indicador de
eficiencia.
23
c) Indicadores de economa
Los indicadores de economa miden la capacidad del programa para
administrar, generar o movilizar de manera adecuada los recursos financieros. Estos indicadores cuantifican el uso adecuado de estos recursos,
entendido como la aptitud del programa para atraer recursos monetarios
ajenos a l que le permitan potenciar su capacidad financiera y recuperar recursos financieros prestados.
Indicador
Objetivo
Indicador
Objetivo
Indicador
Observacin
El objetivo se refiere a la entrega de apoyos,
por lo cual el indicador es apropiado para medir
la capacidad del programa para administrar los
recursos financieros, dado que concierne al monto
de recursos que aportan los estados respecto a los
que proporciona la Federacin.
El objetivo se refiere al seguimiento que realiza
el programa a los apoyos, por lo cual el indicador
es apropiado para medir la capacidad del programa
para administrar los recursos financieros, ya que trata
el porcentaje de recursos que recupera el programa
de los proyectos fallidos.
El objetivo se refiere al costo promedio de los cursos
sin medir la capacidad del programa para administrar
los recursos financieros, por lo que no mide economa,
sino eficiencia.
24
25
Indicador
Objetivo
Indicador
Objetivo
Indicador
Objetivo
Indicador
Objetivo
Indicador
Observacin
El objetivo se refiere a los cursos implementados por
el programa, por lo cual el indicador es apropiado
para medir los atributos de los servicios entregados
por el programa, ya que cuantifica la proporcin
de participantes que califican como satisfactorio
el desempeo del curso.
3. Restricciones
Es claro que no es posible medir todos los aspectos de calidad en un
mismo objetivo, por lo que es recomendable que los responsables del
programa analicen y determinen cul de ellos proporciona la informacin ms importante para los tomadores de decisiones conforme a las
definiciones formuladas.
Como se ha mencionado, no siempre es posible fijar indicadores de alguna dimensin en todos los niveles de la MIR. Puede establecerse cierta flexibilidad en la construccin de los indicadores; sin embargo, se
debe recordar que stos monitorearn y evaluarn el desempeo de los
programas sociales. Ante ello, es preciso aclarar tres cuestiones al momento de sealar las dimensiones que se pretende medir en cada nivel
de la MIR:
26
a) Si los indicadores de cobertura son de eficacia, se pueden colocar indicadores de cobertura como los resultados?
Los indicadores de cobertura, aun cuando son de eficacia, se recomienda que sean medidos en el mbito de los componentes.
Dado que este tipo de indicadores se relaciona con la entrega de
los productos, nicamente muestran los avances en la cobertura,
pero no cuantifican, en la mayora de los casos, la solucin a una
problemtica especfica. Dicha solucin no depende slo de los
bienes y servicios que ofrece un nico programa, sino de diversos
factores ajenos a ste; por ejemplo, no basta que la poblacin reciba becas para poder continuar sus estudios; es necesario que
los beneficiarios tengan inters en concluir su formacin profesional. No es suficiente dar despensas alimenticias para combatir
la desnutricin; tambin es indispensable que la poblacin se
comprometa a no consumir ciertos alimentos o realizar alguna
actividad fsica.
Los indicadores de calidad, en particular los de percepcin, toman en cuenta la opinin de la poblacin beneficiaria o atendida acerca de los bienes o servicios que otorga el programa.
No obstante, puede considerarse una encuesta al beneficiario
un elemento suficiente para determinar el desempeo del programa? La medicin de la percepcin es una dimensin que
mide la calidad de los bienes o servicios que recibe la poblacin; sin embargo, no es fcil comprobar si los cambios en la
percepcin de la poblacin son permanentes o transitorios. Los
primeros deberan ser el tipo de cambio que un programa espera lograr con su intervencin, mientras que los segundos son
27
28
No es de extraar encontrar MIR que no incluyan todas las dimensiones sealadas en cada objetivo. En ocasiones, es suficiente con un par de indicadores por objetivo para medir el
desempeo de los programas, lo que no implica contar con
indicadores de todas las dimensiones. La informacin que se
desprende de los indicadores no slo debe ayudar a mostrar
el desempeo del programa, sino que debe proporcionar informacin para retroalimentar y mejorar sus procesos. Aunque se
generen indicadores de todas las dimensiones, puede suceder
que esta informacin no sea relevante para mejorar los procesos y, por tanto, tampoco arroje informacin importante sobre
su desempeo.
Captulo 4
Pasos para construir
un indicador
1.
2.
3.
4.
5.
6.
30
Los objetivos deben ser precisos en cuanto a lo que pretenden lograr; as,
el disear y establecer un indicador es una tarea sencilla. Por tal motivo,
es recomendable que los objetivos cumplan con la redaccin sugerida
en la MML, ya que permite identificar rpidamente los elementos de mayor relevancia para el objetivo.
Asimismo, al momento de revisar los objetivos, se debe analizar si efectivamente cada uno de ellos se encuentra ubicado en el nivel correcto;
es decir, debe verificarse que los objetivos relacionados con los procesos
se encuentren en el nivel de actividades; los concernientes a los bienes
y servicios, en el nivel de componentes; y los de resultados y de impacto,
en el nivel de propsito y fin, respectivamente. Es importante recordar que
los objetivos estn alineados jerrquicamente, por lo que los indicadores
tambin deberan estarlo.
Un aspecto comn en todos los programas es el uso de trminos tcnicos,
siglas o acrnimos. En el lenguaje de los programas es normal emplear
vocablos tcnicos que, en muchas ocasiones, se plasman en la MIR; no
obstante, stos no necesariamente son de uso comn para la ciudadana, por lo que, al revisar la MIR, se presentan dificultades para comprender lo expresado en los objetivos o en sus indicadores. Es recomendable
que los programas redacten los objetivos evitando trminos tcnicos, siglas y acrnimos, y si se considera necesario utilizarlos, se debe incluir su
significado en una nota tcnica.
En el ejemplo siguiente se presentan dos de los casos ms comunes:
un resumen narrativo largo y sin un objetivo concreto, y un resumen
narrativo sencillo y acotado, pero poco preciso. En el primero no es
sencillo determinar cul es el cambio que se espera lograr o la poblacin a la que se hace referencia. Este es un ejemplo de los mltiples
objetivos que se incluan en los programas federales antes de la implementacin de la MML.
31
Cuadro 5. Claridad
Los objetivos son claros?
Objetivo
Objetivo
Observacin
El objetivo no es claro. Hay mltiples objetivos
enmarcados en una misma frase. Tampoco es fcil
reconocer cul es la poblacin que atiende
el programa.
Este tipo de objetivos son confusos y no permiten
el diseo ni la construccin de indicadores para
su seguimiento.
32
Despus
Objetivo
Objetivo
Objetivo
Objetivo
33
La figura 3 es un ejemplo de un resumen narrativo referente al fin; lo primero es identificar el objetivo que se quiere lograr del medio para alcanzarlo;
hay que considerar que slo el fin puede contener estos dos elementos.1 As, es necesario establecer qu elementos deben ser revisados al
momento de identificar los factores relevantes, puesto que el medio no
puede considerarse como un factor relevante, dado que es la forma en
que el fin se liga con el propsito, esto es, la manera en que se pretende
cumplir el objetivo.
En cuanto al propsito, deben identificarse del objetivo el qu y en quin
de los factores relevantes. El primero se relaciona con el logro que se espera alcanzar con el programa (en el ejemplo de la figura 4 correspondera a crean agroempresas), mientras que el segundo se refiere a los
jvenes. De esta manera, los indicadores asociados deben considerar
estos elementos.
1
En ocasiones, en el resumen narrativo de propsito, componente y actividades se incluye el medio para
alcanzar los objetivos de manera errnea. Es importante sealar que en las revisiones del CONEVAL, el
medio no se considera dentro de los factores relevantes. Por ello, es conveniente que los objetivos de las
matrices se adecuen a la sintaxis de la MML.
34
Para los objetivos establecidos en el componente y la actividad, la identificacin de los actores relevantes es similar al propsito. Con la finalidad
de reconocer con claridad los factores relevantes, es importante tener
objetivos claros y precisos. Una vez que se cuente con ellos, es sencillo
disear y construir los indicadores. A continuacin se presentan algunos
ejemplos adicionales al respecto.
Factores relevantes
Objetivo
Quin: Mujeres
Qu: Se previene y atiende la violencia en su contra
Objetivo
Objetivo
Quin: Cursos
Qu: Impartidos
Objetivo
Quin: Solicitudes
Qu: Se reciben en el portal aplicativo
35
Cmo se disea un indicador con base en factores relevantes? En virtud de que stos son un puado de elementos, hay una amplia gama
de posibles indicadores que pueden ser construidos para monitorear el
objetivo; por ejemplo, para los cursos impartidos se pueden construir indicadores sobre la variacin anual de cursos impartidos, el nmero promedio de asistentes, el grado de satisfaccin, el costo promedio del curso,
entre otros. No obstante, y como se seal, los indicadores deben proveer
informacin que sea til para la operacin del programa. El discriminar
qu informacin es til para el programa depende directamente de los
operadores; en algunas ocasiones, la informacin que generan algunos
indicadores ser de mayor provecho que la de otros.
Existen criterios para determinar cules son los mejores indicadores? No.
Los responsables del programa y los operadores deben decidir qu indicadores les aportan la informacin de mayor beneficio para monitorear
su desempeo.
Una vez que se han identificado los factores relevantes del objetivo, el siguiente paso es determinar
cul es el objetivo de la medicin. En este punto
deben definirse las dimensiones del indicador que
sern incluidas en el monitoreo del programa. Para
ello, es necesario sealar que esta valoracin depende, en gran parte, de las necesidades propias de cada programa.
Los indicadores de eficacia han de ser los primeros en considerarse para
monitorear el desempeo del programa y el cumplimiento de los objetivos. En seguida, es conveniente establecer los indicadores de economa,
calidad y eficiencia necesarios, cuntos y dnde? Los responsables, ms
que nadie, deben disponer los aspectos de mayor relevancia que han de
ser cuantificados para monitorear los logros alcanzados.
36
Aunque no se pueden fijar elementos para decidir qu indicadores deben ser establecidos, o no, s se pueden considerar los siguientes aspectos. El primero consiste en sealar las dimensiones de los indicadores
adicionales que deben ser analizados y determinados por los responsables del programa. Algunos programas de desarrollo social pueden
estar ms interesados en conocer la opinin de la poblacin objetivo
respecto a los bienes y servicios que se les entrega que en monitorear
el costo de stos (el costo podra ser invariable en el tiempo). Asimismo,
habr programas ms preocupados por conocer la tasa de recuperacin de los prstamos otorgados que la opinin de los participantes en
los cursos de actualizacin.
Los indicadores no slo son un medio para que la sociedad tenga conocimiento de los logros; tambin son una herramienta que facilita el
anlisis y la toma de decisiones respecto a la gestin y los resultados.
Los indicadores deben brindar la informacin que se considere relevante sobre la gestin y los procesos que el programa desarrolla. Vale
la pena mencionar que no necesariamente un programa debe establecer indicadores de todas las dimensiones en un mismo objetivo, o
en una misma MIR. En este sentido, el indicador muestra los aspectos
ms importantes del programa? Ayuda a identificar reas de oportunidad? Devuelve informacin que permite mejorar el actual diseo
del programa?
El segundo aspecto se refiere a la forma de presentar los indicadores
y a la posible interpretacin de sus valores. Es recomendable que los
indicadores se muestren de manera positiva, lo que permitir reforzar
la idea de los avances del programa. Por ejemplo, es preferible brindar informacin de los alumnos aprobados en lugar de alumnos reprobados, de poblacin atendida sobre poblacin no atendida, o de
beneficiarios satisfechos sobre beneficiarios no satisfechos. Lo anterior
no implica dejar de transparentar la informacin o manipularla, sino
presentar la informacin de los indicadores como debe entenderse,
como un logro.
En este sentido, se debe cuestionar lo siguiente: el indicador est descrito de manera positiva? Puede ser sujeto a una malinterpretacin? Existe
alguna forma ms sencilla de mostrar la misma informacin con algn
otro indicador?
37
Por ltimo, es necesario evitar lo que se ha denominado trampa de la medicin, la cual consiste en medir como resultado slo aquello que es fcil
de cuantificar. La implementacin de los indicadores con criterios homogneos es relativamente nueva en la administracin pblica federal, por
lo que varios programas de desarrollo social no recopilaban informacin
relevante ni daban un seguimiento apropiado a los recursos que otorgaban. La principal razn por la que fue complicado establecer indicadores
adecuados fue la falta de informacin, de capacidad tcnica o de generacin y recopilacin de informacin.
Sin embargo, la carencia de estos elementos no justific que programas
no implementaran esquemas de seguimiento, recopilacin y sistematizacin de la informacin y capacitacin para crear indicadores que
mostraran resultados importantes en lugar de reportar nicamente informacin sobre el uso y destino de los recursos. De ah que la integracin
de procesos de recopilacin y depuracin de informacin, as como un
seguimiento adecuado, se han convertido en tareas que los programas
deben incorporar para mejorar el diseo y la construccin de herramientas para el monitoreo y la evaluacin de sus objetivos.
Ahora bien, retomando la pregunta es apropiado establecer varios indicadores en un mismo objetivo? Debe asociarse un indicador a un objetivo, como se seal? La respuesta es simple: cada objetivo debe tener
al menos un indicador que permita monitorear los logros del programa
(eficacia); no obstante, en ocasiones ser de suma importancia para el
programa reportar cualidades diferentes al cumplimiento. Los indicadores
de eficiencia, calidad y economa son complementarios a los de eficacia,
pero no son sustitutos.
Los indicadores de eficacia permiten al programa ver el grado de avance que ha tenido respecto al objetivo planteado, y los otros indicadores
hacen posible determinar la forma en que el programa ha alcanzado dichos objetivos. De esta manera, se cuenta con un panorama ms amplio
sobre las acciones que implementa el programa para el logro de los objetivos. Con estos elementos, es necesario definir un nombre y un mtodo
de clculo para los indicadores.
38
Presentar los indicadores como una relacin entre dos o ms variables permite tener el contexto
sobre el cual se desarroll el programa. Una vez
definidos los factores relevantes de la medicin y
las dimensiones del indicador que se requieren
medir en cada uno de los objetivos, es necesario
definir un nombre y un mtodo de clculo para el
indicador. Para establecer el nombre y la frmula
de clculo se debe considerar que:
a) El nombre del indicador debe ser claro y relacionarse con el objetivo de la medicin.
b) El mtodo de clculo debe ser una expresin matemtica definida de manera adecuada y de fcil comprensin, es decir, deben
quedar claras cules son las variables utilizadas.
En el diseo de indicadores, los mtodos de clculo ms comunes son
el porcentaje, la tasa de variacin, la razn y el nmero ndice. Aunque
stos no son las nicas expresiones para los indicadores, s son las ms
frecuentes. Cuando los programas disean indicadores con una estructura ms compleja se recomienda colocar un anexo en el que se
detalle el mtodo de clculo empleado y cmo se interpretan sus valores. En este contexto, a continuacin se presenta una breve descripcin de los mtodos de clculo que ms se utilizan en el seguimiento
de un indicador.
Porcentaje
Un porcentaje es la forma de expresar un nmero como partes de cada
cien. Los porcentajes son el cociente entre dos variables con una misma
unidad de medida en el mismo periodo; representan, en la mayora de
los casos, un conjunto de menor dimensin de otro conjunto. En la figura
5 se presenta un ejemplo para un objetivo en el nivel de actividad y un
posible indicador para monitorear su desempeo.
39
Numerador
Solicitudes respondidas
(recibidas y respondidas)
x 100
Denominador
40
x 100
Mismo periodo
41
Propsito
Porcentaje de asistencia
escolar de la poblacin
indgena de 6 a 14 aos
de edad
Componente
Porcentaje de
beneficiarios que evalan
satisfactoriamente los servicios
otorgados de capacitacin,
asesora y participacin para
negocios establecidos
Factores relevantes
Mtodo de clculo
Quin: Beneficiarios
Qu: Evalan satisfactoriamente
los servicios
Los porcentajes son el mtodo de clculo ms utilizado y permiten conocer el grado de avance o cobertura de alguna variable. Aunque este
mtodo es sencillo, su complejidad tcnica realmente depende de la
definicin de la variable a la que se encuentra asociada.
Tasa de variacin
Una tasa de variacin es la forma de expresar un cambio relativo en el
tiempo; es el cociente de dos observaciones de una misma variable en
diferentes periodos. En la figura 8 se presenta un ejemplo para un objetivo
de componente. En este caso, es de inters del programa medir el incremento o decremento de los apoyos econmicos otorgados cada ao.
42
Componente. Apoyos
econmicos entregados.
Apoyos
entregados
en tiempo t
Apoyos
entregados
en tiempo t-k
-1
Denominador
x100
-1
x100
Diferente periodo
43
Restamos
la unidad
44
-1
x100
Propsito
Componente
Factores relevantes
Mtodo de clculo
Quin: Activos
Qu: Se valan
Quin: Microempresas
Qu: Se crean
[(Nmero de microempresas
creadas con los apoyos del
programa en el ao t / Nmero
de microempresas creadas con
los apoyos del programa en el ao
t - 1)-1]*100
Vale la pena reiterar que para estos mtodos de clculo no deben incluirse juicios de valor en el nombre del indicador, como tasa de crecimiento,
tasa de mejora, tasa de reduccin, etctera.
El sentido del indicador depender de los valores que tome el indicador,
lo que determinar si ste crece, se reduce o mantiene. El nombre del indicador per se no define el sentido del indicador, por lo que deben omitirse
estos juicios.
Razn/promedio
La razn es el cociente entre dos variables cualesquiera en un cierto periodo y es la forma de expresar un tanto de unidades del numerador por cada
unidad del denominador. El promedio es una particularidad de la razn y
se representa como la suma finita de un conjunto de valores dividida entre
el nmero de sumandos. El ejemplo de la figura 11 se refiere a un objetivo
de componente y el indicador propuesto es el promedio de la inversin
destinada a las escuelas beneficiarias del programa.
45
Para las razones o promedios, se deben tener dos variables con diferentes
unidades de medida, pero para un mismo periodo. De nuevo, una vez
identificadas las variables necesarias para el indicador (monto de inversin y escuelas beneficiaras) se construye el indicador como se muestra
en la figura 12. El mtodo de clculo debe describir con claridad cules
son las variables incorporadas y verificar que la temporalidad de medicin de stas es para el mismo periodo.
Inversin
realizada ($)
en periodo t
Distintas
variables
Numerador
Denominador
Escuelas
beneficiadas
en periodo t
46
-1
x100
Mismo periodo
Distintas
variables
Mismo periodo
47
Duracin promedio
de los servicios de asesora
jurdica impartidos.
Horas
en el
trimestre t
Distintas
variables
Numerador
Denominador
Asesoras
jurdicas en
el trimestre t
48
-1
x100
Mismo periodo
Distintas
variables
49
Factores relevantes
Mtodo de clculo
Fin
Componente
Promedio de visitas de
monitoreo a los proyectos en
el trimestre t
Componente
Componente
Promedio mensual
de pacientes atendidos
por el programa
Quin: Pacientes
Qu: Atendidos en centros
ambulantes
Nmeros ndices
Un ndice (nmero ndice) es una medida estadstica diseada para estudiar las variaciones de una magnitud o de ms de una en relacin con
el tiempo o el espacio. Los ndices son medidas construidas que tienen
un consenso metodolgico y son utilizados por instancias nacionales e
internacionales. En el cuadro 11 se presentan algunos ejemplos de indicadores (ndices) para diferentes niveles de la MIR.
50
Fin
El ndice de Desarrollo
Humano (IDH)
Factores relevantes
Quin: Personas
Qu: Mejoran su desarrollo humano
Mtodo de clculo
Es una medida resumen del
desarrollo humano que refleja
los logros medios de un pas en tres
dimensiones bsicas de desarrollo
humano: una vida larga y saludable
(salud), acceso al conocimiento
(educacin) y un nivel de vida digno
(ingresos).
Ver http://bit.ly/twOSRh
Fin
El ndice de Pobreza
Multidimensional (IPM)
Quin: Personas
Qu: Reducen su condicin
de pobreza
Una ventaja de los ndices es que son publicados por fuentes oficiales, lo
que implica que es informacin externa al programa y cuenta con una
metodologa clara. No obstante, para utilizar un ndice como indicador
de un programa o proyecto es necesario revisar que la metodologa
para generar el ndice mida aspectos que tengan que ver con el programa o proyecto.
Hasta este punto, se ha definido un nombre para el indicador y un mtodo de clculo con base en los factores relevantes identificados del objetivo. Asimismo, se han establecido los indicadores ms importantes para el
monitoreo del programa. En las siguientes secciones se complementarn
los indicadores con informacin para su seguimiento. Cul es el periodo
para hacer el seguimiento de los indicadores? Cmo se asegura que la
informacin que proporcionan los indicadores sea fidedigna?
51
Ms utilizadas
Fin
Anual
Trianual
Sexenal
Propsito
Anual
Bianual
Trianual
Componente
Trimestral
Semestral
Anual
Actividades
Mensual
Trimestral
Semestral
Mayor
Cu
l deb
e ser
la fre
cuenc
ia de
medi
cin?
Menor
Como se muestra en la figura 17, los indicadores asociados a las actividades tienen una mayor frecuencia de medicin (mensual, bimestral),
mientras los de fin presentan una menor (bianual, sexenal). Cuanto ms
alto es el nivel de objetivos, menor ser su frecuencia de medicin.
52
Aunque no es una regla, los responsables del programa de desarrollo social pueden establecer o
modificar la frecuencia de medicin de sus indicadores dependiendo de las necesidades de informacin. Lo anterior, dado que a priori no puede
determinarse una frecuencia de medicin debido
a que obedece, entre otras factores, a:
a) La disponibilidad de la informacin
de los datos de las variables que
conforman el indicador. En ocasiones, la generacin de un indicador
depender de manera inevitable de
la frecuencia en la disposicin de los
datos.
Los indicadores de
resultados se miden con
una menor frecuencia.
b) Las necesidades de informacin por parte del programa. El programa de desarrollo social puede determinar que cierta informacin debe ser generada con periodicidad a fin de monitorear los
avances o las reas de oportunidad en los procesos.
Si bien definir una frecuencia de medicin parece ser un tema simple, los
programas deben considerar que al establecerla se comprometen a actualizar la informacin del indicador y de sus variables conforme a lo dispuesto.
En este sentido, es importante sealar que, aun cuando la informacin del
indicador es para el monitoreo de sus objetivos, tambin es un compromiso
de transparencia.
53
La informacin
la genera el programa
o la institucin?
S
Se establece el
medio de verificacin
No
La informacin la
genera otra institucin?
No
Es mayor el beneficio
que el costo de generar
la informacin
No
Se debe replantear el
indicador. Utilizar un
indicador proxy.
54
Como se observa en la figura 18, el primer paso para establecer los medios de verificacin es determinar si el programa (como parte del seguimiento, operacin o gestin) genera o consolida la informacin de las
variables que componen el indicador:
a) Si el programa o la propia institucin generan la informacin necesaria, entonces se establecen los medios de verificacin.
b) Si el programa no genera dicha informacin, es conveniente determinar si alguna otra institucin la produce para construir el indicador. Hay un conjunto de instituciones que origina una amplia
gama de informacin estadstica que los programas pueden reportar en sus indicadores.
c) Si el programa ha dispuesto que ni la institucin ni alguna otra
producen la informacin necesaria para construir su indicador,
entonces debe analizarse el costo de producirla y sus beneficios
(encuesta, entrevistas, etctera). En este aspecto ha de valorarse la importancia que representa la informacin generada tanto
para el programa como para la institucin. Asimismo, cul ser el
costo en relacin con el presupuesto del programa.
d) Si el programa considera que el beneficio es menor al costo de
generar la informacin necesaria, entonces debe plantearse la
posibilidad de descartar el actual indicador y establecer uno proxy relacionado. Los indicadores proxy son indicadores indirectos.
A diferencia de los objetivos y de sus indicadores, los medios de verificacin pueden repetirse en los distintos niveles. Es comn que en un mismo
documento o reporte se pueda encontrar la informacin para generar uno o ms indicadores. De
igual modo, es necesario verificar que la frecuenLos medios de verificacin
cia de medicin de los indicadores coincida con
dan certeza a la ciudadana
la frecuencia de publicacin o reporte de los mesobre la informacin que
dios de verificacin.
reportan.
La importancia en los medios de verificacin reside en que, si no existen o no se construyen, cualquier juicio sobre el desempeo del programa es poco confiable; es decir,
no se puede emitir un juicio respecto al desempeo de un programa sin
55
Base de datos
Encuesta
Informacin interna
56
Es apropiado?
Observaciones
No
No
No
Captulo 5
Criterios del CONEVAL
para la valoracin
de los indicadores
Claro
Aporte
marginal
Relevante
Caractersticas
de un indicador
de desempeo
Econmico
Adecuado
Monitoreable
58
Cundo es relevante?
Se debe verificar que los elementos ms importantes del indicador estn
directamente relacionados con algn aspecto fundamental del objetivo
(factores relevantes). Cuando los indicadores guardan un estrecho vnculo con los objetivos, es posible confirmar el logro del objetivo en un
aspecto sustantivo.
Cundo es econmico?
Cuando al comparar el beneficio de generar la informacin necesaria
para el indicador respecto al costo econmico o humano, si el beneficio
es mayor al costo, se estima que el indicador es econmico. Asimismo,
es apropiado que el programa compare el costo de generar el indicador en relacin con su presupuesto anual. Vale la pena aclarar que si un
indicador no es relevante ni adecuado, tampoco puede considerarse
econmico. Independientemente del costo que origina obtener la informacin del indicador, ste no es apropiado para monitorear el desempeo del programa.
Cundo es monitoreable?
Se analiza la claridad de los medios de verificacin y del mtodo de
clculo del indicador para determinar si ste puede ser sujeto a una
comprobacin independiente. Esto quiere decir que cualquier individuo puede replicar el clculo del indicador, para lo cual es necesario
que el mtodo de clculo del indicador sea claro y que la informacin
para su construccin est definida de manera adecuada en los medios de verificacin.
Los medios de verificacin deben ser lo suficientemente precisos para
que no se tenga lugar a dudas sobre dnde se encuentra la informacin
necesaria para construir o replicar el indicador.
59
Cundo es adecuado?
Se refiere a si el indicador nos da una base suficiente para emitir un juicio
respecto al desempeo del programa y si la informacin que proporciona el indicador es relevante y apropiada para describir los logros del programa en un cierto periodo.
60
Por tal motivo, es necesario que la validacin de estos criterios se realice con objetividad, es decir, reconocer si los indicadores incumplen con
alguno de ellos. El identificar reas de oportunidad permite mejorar el
diseo y la construccin de los indicadores.
Un elemento fundamental para la construccin de los indicadores es la
pertinencia en relacin con sus objetivos. Para verificar estos aspectos, es
recomendable formular las preguntas incluidas en el cuadro 13 en cada
uno de los niveles de la MIR.
Con base en los trminos de referencia para la evaluacin de diseo que emite el CONEVAL.
61
3
Para una mejor descripcin sobre la definicin de objetivos y de la lgica vertical de la MIR, se recomienda revisar el Manual de Metodologa de Marco Lgico del CONEVAL.
62
Captulo 6
Establecimiento de la
lnea base y las metas
Es necesario definir dos aspectos adicionales para los indicadores. Aunque stos deben satisfacer los requisitos descritos con anterioridad, tambin es necesario establecer elementos para su seguimiento: la lnea
base y las metas.
1. Lnea base
Se conoce como lnea base al valor del indicador que se fija como punto
de partida para evaluarlo y darle seguimiento. Una vez definido el indicador, es necesario conocer la situacin actual del programa mediante sus
indicadores. Cul es el valor inicial del indicador en el momento de inicio del programa o proyecto? La lnea base permite que los responsables
del programa establezcan y definan las metas que se pretende alcanzar
en un cierto periodo.
Cmo se define una lnea base? La definicin
consiste en utilizar la informacin disponible
La lnea base y las metas
del programa en el periodo inicial y sustituirson elementos para el
la en el mtodo de clculo; el valor resultante
seguimiento del desempeo
es la denominada lnea base y es el punto de
del programa.
partida del programa. Respecto a este valor,
se determinarn las metas del programa y se
emitirn juicios de valor sobre su desempeo.
Este resultado no corresponde de modo necesario a la primera estimacin que se realiza al indicador, sino al valor inicial que el programa tomar como referencia.
Definir una lnea base es sencillo cuando se tiene la informacin necesaria; sin embargo, en ocasiones los programas de desarrollo social no la
han generado ni recopilado. Si no se dispone de informacin inicial, es
recomendable retomarla de fuentes externas y buscar principalmente:
a) Informacin sobre indicadores similares en algn otro programa, o
b) Consultar un experto tcnico que tenga conocimientos en el
campo.
Aunque todos los programas tienen objetivos particulares, es posible
que recopilen informacin con caractersticas similares a las que se
buscan. Para ello, hay que revisar documentos normativos oficiales para
64
localizar indicadores que necesiten informacin til para generar la lnea base. Esto es vlido? S, pero nicamente para determinar la lnea
base del indicador. El programa no debe reportar avances o logros de
otros programas.
El segundo mecanismo es ms simple. Se refiere a contratar los servicios
de un experto tcnico con conocimientos y experiencia para emitir o
determinar un valor para la lnea base. Al igual que la consulta de indicadores de otros programas, la consulta al experto es vlida slo para
establecer la lnea base; el programa o proyecto es responsable de
recopilar informacin real y verdica para reportar sus indicadores.
La lnea base es el estado inicial del indicador del programa y es necesaria para especificar metas. Estas ltimas son los avances en el cumplimiento de objetivos que el programa se impone alcanzar en un cierto
periodo.
2. Metas
stas permiten acreditar el grado de avance
de los objetivos. Dado que las metas son conocidas y acordadas con los ejecutores de los
programas, es fcil comprobar quin ha cumplido cabalmente con ellas.
La meta es el objetivo
cuantitativo que el programa
o proyecto se compromete
alcanzar en un periodo
determinado.
65
Captulo 7
Indicadores, presupuesto
y toma de decisiones
La MIR es una herramienta de gestin que permite a los tomadores de decisiones contar con informacin concreta respecto al desempeo de un
programa. Los indicadores de un programa contenidos en la MIR deben
asegurar el seguimiento de los logros alcanzados a lo largo del desarrollo
del programa, pero para qu sirve esta informacin?
En un sistema de cuenta pblica orientada a resultados, es necesario disponer de informacin sobre el desempeo de los programas. Dicha informacin debe mostrar la manera en que los programas usan los recursos
pblicos para solucionar la problemtica central por la que fueron creados. Esta informacin debe ser estratgica, esto es, considerar los logros
alcanzados tanto en la gestin del programa (la provisin de insumos, las
actividades o procesos que realiza, bienes y servicios que genera o entrega) como en los resultados intermedios y finales de la intervencin sobre
una poblacin objetivo.
De esta forma, se tiene un panorama claro y transparente de la eficacia
con que se ejecutan los recursos pblicos de cada dependencia gubernamental; asimismo, se crean herramientas para la toma de decisiones
que conduzcan a la mejora del diseo y la operacin de los programas
pblicos. La idea de incorporar indicadores y metas al proceso presupuestario significa disponer de informacin til que enriquezca el anlisis
para la formulacin del presupuesto y su respectiva discusin en el Congreso de la Unin.
Finalmente, en este manual ha quedado expuesto que el establecimiento de los indicadores sienta las bases para un monitoreo adecuado y
contribuye a una toma de decisiones ms oportuna. Los indicadores pertinentes, relevantes, claros, econmicos y monitoreables ayudan a dar seguimiento adecuado a la gestin y a los resultados de los objetivos de
los programas: lo anterior representa una etapa fundamental en la ejecucin y el mejoramiento de las polticas pblicas orientadas a la solucin
de problemticas sociales.
68
Referencias bibliogrficas
Aldunate, E. (2004). Metodologa del Marco Lgico. Chile: Instituto Latinoamericano y del Caribe
de Planificacin Econmica y Social (ILPES).
Banco Interamericano de Desarrollo (BID) (1997). Anexo I. La Matriz de Marco Lgico, en Evaluacin: una herramienta de gestin para mejorar el desempeo de los proyectos. Washington.
Camacho, H. et al. (2001). El enfoque del marco lgico: 10 casos prcticos. Cuaderno para la
identificacin y diseo de proyectos de desarrollo. Madrid: Fundacin CIDEAL.
Cohen, E. y R. Franco (2001). Evaluacin de proyectos sociales. Mxico, DF: Siglo XXI Editores.
_____ (2005). Gestin social. Cmo lograr eficiencia e impacto en las polticas pblicas sociales.
Mxico, DF: Siglo XXI Editores.
Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social (CONEVAL) (2007). ANEXO
02. Nota tcnica con los principales conceptos de la Matriz de Indicadores. Consultado en
http://www.coneval.gob.mx/coneval/
_____ (2008). Informe de Evaluacin de la Poltica de Desarrollo Social en Mxico. Consultado en
http://www.coneval.gob.mx/coneval/
_____ (2007). Normatividad para la Evaluacin de los Programas Federales. Mxico.
Direccin de Presupuestos de Chile (DIPRES) (2001). Metodologa para la elaboracin de la Matriz de Marco Lgico. Documentos de evaluacin de impacto. Santiago de Chile.
Ley General de Desarrollo Social. Diario Oficial de la Federacin, 20 de enero de 2004. Mxico.
Lineamientos Generales para la Evaluacin de los Programas Federales de la Administracin
Pblica Federal. Diario Oficial de la Federacin, 30 de marzo de 2007. Mxico.
Medina Giopp, A. (2007). El Sistema Nacional de Monitoreo y Evaluacin de la Gestin Pblica
en Mxico. Washington: Banco Mundial.
Organizacin de las Naciones Unidas (ONU) (2001). El uso de los indicadores socioeconmicos
en la formulacin y evaluacin de proyectos sociales: aplicacin metodolgica. Chile, Santiago: ILPES-CEPAL.
Secretara de Hacienda y Crdito Pblico/Secretara de la Funcin Pblica/Consejo Nacional
de Evaluacin de la Poltica de Desarrollo Social (2010a). Gua para el Diseo de Indicadores Estratgicos. Mxico.
_____ (2010b). Gua para la Construccin de la Matriz de Indicadores para Resultados. Mxico.
69