EL ABC EN LA ELABORACIN DE INDICADORES DE DESEMPEO

Serie

Evaluacin al Desempeo

AuditoraSuperiordelEstado

EL ABC EN LA ELABORACIN DE INDICADORES DE DESEMPEO

Auditora Superior del Estado Direccin de Auditora al Desempeo.

GUA PREPARADA POR: L.A.E Ricardo Hernndez Mndez. C.P. Rafael Portas Bez. L.E. Vladimir Campos Gallardo.

PARTICIPANTES: L.C.P Mireyle Cabrera Santos. C.P. Ernesto Snchez Gonzlez.

AuditoraSuperiordelEstado

EL ABC EN LA ELABORACIN DE INDICADORES DE DESEMPEO

NDICE
Pags.
JUSTIFICACIN 1.-MEDICIN DEL DESEMPEO 2.-ALGUNOS CONCEPTOS DE LOS INDICADORES. 3.-INDICADORES DE ECONOMA... 4.-INDICADORES DE EFICIENCIA 5.-INDICADORES DE EFICACIA... 6.-INDICADORES DE CALIDAD 7.-INTEGRACIN DE LOS INDICADORES.. 8.-ETAPAS EN LA CONSTRUCCIN DE INDICADORES I.- Identificar y revisar productos y objetivos.. II.- Establecer los factores relevantes a medir III.- Establecer responsabilidades organizacionales. VI.- Establecer referentes.... V.- Construir formulas o algoritmos... VI.- Validar tcnicamente el indicador VII.- Recopilar la informacin necesaria. VIII.- Establecer lnea base y metas. IX.- Establecer frecuencia de medicin. X.- Analizar los resultados obtenidos. XI.- Comunicar e informar.. 10 13 15 17 18 23 25 25 27 28 28 1 2 4 6 7 8 9 9

AuditoraSuperiordelEstado


9.-REQUISITOS DE LOS INDICADORES. 10.-DIFICULTADES EN LA CONSTRUCCIN DE INDICADORES DE DESEMPEO.. 28

29

11.-PREGUNTAS PARA EVALUAR UN SISTEMA DE MEDICIN...

30

12.-MATRIZ DE INDICADORES Y FICHA TCNICA 13.-EJEMPLO DE FICHA TCNICA. 14.-GLOSARIO..

30 31 34

AuditoraSuperiordelEstado

JUSTIFICACIN

En diversos pases del Mundo y recientemente en Amrica Latina, de la que Mxico forma parte, se estn llevando a cabo una serie de reformas a las que se han denominado de segunda generacin, las cuales estn dirigidas a mejorar la gestin pblica del estado, esto con la finalidad de hacerlo mas eficaz y eficiente en los resultados que brinde a la ciudadana. Es por ello que en el mes de mayo de este ao, la LX Legislatura del Estado llevo a cabo la adecuacin y reforma al articulo 137 de la Constitucin Poltica del Estado Libre y Soberano de Oaxaca, con la finalidad de obligar a todas las entidades que administren y manejen recursos pblicos, lo hagan con eficacia, eficiencia y economa en el logro de sus objetivos y metas. Por ese motivo, la Auditora Superior del Estado, pone a disposicin de todos, la serie de Evaluacin al Desempeo, que tiene el propsito de brindar las herramientas necesarias para crear las condiciones al interior de todos los organismos y estos, lleven a cabo las revisiones con las que puedan determinar sus las reas de mejora, y sobre todo, cuenten con herramientas tcnicas modernas que les permitan llevar a cabo una Rendicin de Cuentas mas transparente a los rganos del Estado y a la ciudadana. Por tales razones, se editan las presentes guas al desempeo, la cual ser una serie conformada en dos partes: El presupuesto con enfoque a resultados; y la Auditora al Desempeo. En esta primera parte del presupuesto con enfoque a resultados se emiten cuatro nmeros que se ponen a disposicin de todos, para su gua y consulta: 1. Lineamientos para la elaboracin del Presupuesto con enfoque de Resultados; 2. La Planeacin Estratgica Municipal; 3. Aplicacin de la Matriz del Marco Lgico; y 4. El ABC de los Indicadores de Desempeo.

AuditoriaSuperiordelEstado

Elaboracin de indicadores de Desempeo Medicin del desempeo. Como tendencia en los nuevos modelos de administracin pblica, la medicin del desempeo encuentra una particular incidencia en la gestin gubernamental, cuyo fin nico y final es la prestacin de servicios al ciudadano. El trmino de medicin del Desempeo implica la contabilidad sistemtica y controlada de indicadores que revelan los cumplimientos de las metas de una institucin. Es decir, se mide la efectividad y la eficacia de una gestin administrativa. Traducido a la gestin gubernamental, el concepto es aplicable en la medicin cuantitativa de los productos y servicios de un gobierno local; seguridad pblica, alumbrado, recoleccin de basura, tratamiento de aguas, entre otros. La medicin de los servicios ofrece una herramienta para elevar su calidad. Defendidos ampliamente en la esfera gubernamental, los planes estratgicos se convierten en objetivos mayores que, en algunos casos, no son cumplidos cabalmente. En este sentido, un sistema de medicin de indicadores podr orientar el rumbo hacia la satisfaccin de las metas propuestas. Los indicadores son medidos en unidades reales y cuantificables que permitan observar el cumplimiento de las metas. En trminos comparativos, son el tablero de control que un piloto requiere para maniobrar un aeroplano y conocer si est navegando en la direccin, velocidad y altitud adecuada. En la administracin pblica, la satisfaccin de las metas implica recorrer varios caminos de diferentes magnitudes. En este sentido, los indicadores que miden la efectividad y eficacia del desempeo son diversos y cuantifican un abanico de servicios y productos de la gestin. En trminos llanos, los llamados informes de gobierno pudieran considerarse indicadores de la actividad gubernamental. Una visin de mejoramiento institucional implica establecer unidades de medicin que ofrezcan el conocimiento de la temperatura en el desempeo. Si la meta de un gobierno es brindar servicios de 100 grados, lo mnimo requerido es un termmetro. La medicin del desempeo ofrece esta herramienta. En resumen, los indicadores son productos que permiten conocer el cumplimiento de las metas y el desempeo de una Institucin. Habr que subrayar que la medicin del desempeo es una herramienta til y valiosa para la consecucin de metas, pudiera, por lo que tenemos que evitar que se convierta en un sistema burocrtico, una carga econmica ms para la administracin. Los indicadores para la medicin del desempeo se establecen en toda la cadena de la gestin. Habrn indicadores que midan la satisfaccin cotidiana de servicios (nmero de lmparas, baches reparados, desayunos escolares) y, al mismo
AuditoriaSuperiordelEstado

tiempo, indicadores que midan la eficiencia y la eficacia de los servicios (tiempo de reparacin, quejas de los usuarios). Ms an, habr indicadores que se aproximen a medir la calidad de vida comunitaria de los habitantes. As se constituye un sistema de medicin global. El establecimiento de indicadores involucra a los actores activos de la gestin administrativa e implica, al igual, el establecimiento de parmetros de comparacin con otras entidades. En todos los casos, su formulacin obedecer a las metas que la institucin se ha trazado para su cumplimiento y a valores claramente definidos y compartidos. Los resultados de la medicin del desempeo no representan, por s mismos, un fin. Son herramientas que permiten la toma de decisiones acertada y econmica que impactan la gestin de la institucin. Como termmetro que muestra la temperatura, los indicadores revelan que las acciones conducirn o no, a la meta deseada. Los indicadores no son ms importantes que el producto que miden. Es importante destacar que toda vez que una Institucin ha manifestado una visin compartida y establecido los mecanismos para su cumplimiento, los indicadores del desempeo proporcionarn la temperatura en tiempo y forma que avalarn el rumbo de las acciones. En la elaboracin de su planeacin estratgica, que aglutina las cinco fases bsicas de visin, misin, metas, objetivos y planes de ejecucin, los indicadores actuarn proporcionando la medicin de cumplimiento o reticencia.

AuditoriaSuperiordelEstado

Razones para evaluar el desempeo. Beneficios: Apoya la etapa de planeacin. Posibilita la deteccin de reas y/o procesos problema. Aumenta los niveles de transparencia.

Dificultades: Existe falta de claridad en los objetivos que tienen que cumplir los organismos. Puede haber escasa precisin acerca de quienes deben responder por los resultados. Pueden no establecerse las consecuencias del buen mal desempeo.

Algunos aspectos conceptos de los indicadores. No olvidemos que la evaluacin y el seguimiento son necesarios para tomar decisiones, y mejorar los resultados de las polticas pblicas, proyectos, programas y acciones. La forma ms efectiva de recibir apoyo y recursos para cualquier proyecto, programa o polticas, es mostrando resultados, para esto se deben realizar mediciones y para hacer mediciones adecuadas es necesario utilizar buenos indicadores. Todo buen indicador debe ser claro, relevante con el objeto que se va a medir y debe proporcionar informacin peridica para conocer si se lograron o no los objetivos propuestos. La gestin o presupuestos orientados a resultados no es posible sin indicadores que permitan la adecuada medicin de dichos resultados. Un indicador de desempeo es una medida que describe lo bien que se estn desarrollando los objetivos de un plan, programa o proyecto. Cuando se aplica un sistema de indicadores de evaluacin del desempeo es importante definir el mbito de evaluacin, es decir el universo de la institucin y las reas a las que se dirigen. Que el proceso de evaluacin sea claramente comunicado; fechas, mandatos, procedimientos, informes. Detallar la metodologa, los sistemas de informacin a ser desarrollados y la modalidad de uso y difusin de la evaluacin hacia los actores a quienes va a evaluar.

AuditoriaSuperiordelEstado

Los indicadores tienen dos objetivos: Funcin descriptiva: Aporta la informacin sobre el estado real de una actuacin o programa. Ejemplo: Nmero de calles beneficiadas con alumbrado pblico. Funcin valorativa: Aporte la informacin en comparacin con un total. Ejemplo: Nmero de calles beneficiadas con alumbrado publico / entre el total de calles que lo requieren. Sin embargo aqu existe una funcin valorativa ms importante: % de disminucin del ndice delictivo en relacin con el nmero de calles beneficiadas con alumbrado pblico. En otras palabras por supuesto que importa cuantas calles son beneficiadas con alumbrado, sin embargo resulta de mayor relevancia conocer cuanto disminuye el ndice delictivo, en funcin de la existencia del mayor nmero de calles alumbradas. Es conocido que la delincuencia acta en su generalidad en lugares con menor iluminacin de las poblaciones. Es conveniente sin embargo sealar que la disminucin del ndice delictivo no depender exclusivamente de aumentar el alumbrado publico, influyen en este caso un sin numero de problemas que deben identificarse y proponer programas especficos para cada uno de ellos. La calidad y utilidad de un indicador como instrumento de medicin de las variables asociadas al cumplimiento de objetivos se determinan por la claridad y relevancia de las metas asociadas a l. Un requisito previo es el establecimiento de los objetivos y metas, en otras palabras lo que ser medido. Su medicin proporciona un valor de comparacin el cual esta referido a alguna meta asociada. El indicador debe orientarse a medir aspectos clave, lo que indudablemente implica tener claridad de propsitos. Los indicadores tambin proporcionan informacin de los resultados desde el punto de vista de la actuacin pblica en la generacin de productos: Insumos. (Cuntos recursos invertimos?, Cunto personal trabajo en el proceso? Cunto dinero se dispone?, etc.) Procesos o actividades (Con qu rapidez se hace?, Cunto cuesta?, Cunto se demora?, etc.) Productos (Cuntas unidades se generan?, Cuntos clientes se atendieron?, etc.)

AuditoriaSuperiordelEstado

Resultados (Cmo estn cambiando las condiciones en las que estamos invirtiendo?). Inmediatos, intermedios y de impacto final.

Indicadores de economa. El concepto se refiere a la manera en que se hace uso de los recursos financieros dirigidos al cumplimiento de los objetivos. Ejemplos: Indicador Capacidad de autofinanciamiento. Qu mide Cuando la Institucin tiene atribuciones legales para generar ingresos propios. Cuando la Institucin tiene la capacidad de ejecutar el presupuesto de acuerdo a los planeado Cuando la Institucin tiene la capacidad para recuperar prstamos y otros pasivos. Relacin entre el nivel de recursos financieros utilizados en la provisin de prestaciones y servicios con los gastos administrativos incurridos por la institucin.

Capacidad de ejecucin.

Capacidad de recuperacin.

Nivel de recursos utilizados.

AuditoriaSuperiordelEstado

Indicadores de eficiencia. El concepto se refiere a la relacin que existe entre lo que se produce de algo y el uso de insumos, producir el mximo dado de los insumos o usar el mnimo de insumos o usar el mnimo de insumos para producir algo. Indicadores clsicos de eficiencia son los costos unitarios, los costos medios, la productividad parcial media, etc.

Indicador De eficiencia

Qu mide Costo del Municipio por habitante. Nmero de inspecciones nmero de inspectores. entre

Costo total del programa de becas escolares entre el total de beneficiarios atendidos. Costo de recoleccin de basura por usuario. Promedio de vehculos que fueron recuperados, respecto los recursos humanos implicados en la recuperacin. Hombres y mujeres atendidos en parejas, por municipio, dentro del programa de salud reproductiva, entre el costo promedio de los mdulos de atencin y los spots informativos.

AuditoriaSuperiordelEstado

Indicadores de eficacia. El concepto se refiere al grado de cumplimiento de los objetivos estratgicos planteados. Involucra: Cobertura: Es la expresin numrica del grado en que las actividades son capaces de satisfacer la demanda. El porcentaje de cobertura de un servicio se le compara con el mximo potencial. Se expresa en trminos geogrficos o de universo potencial. Focalizacin: Se relaciona con la precisin con que las prestaciones estn llegando a la poblacin objetivo, tambin se denomina filtraciones de demanda por errores de inclusin o de exclusin.

Capacidad de cubrir la demanda actual. Resultado final.

Ejemplos: Nmero de nios de primero de primaria atendidos con becas / Universo de nios de primaria. Nmero vacunas aplicados a nias/ Universo de nias y nios del municipio. Nmero de personas con discapacidad beneficiadas con algn programa/ Total de personas con discapacidad de municipio Nmero de cuentas publicas entregadas/ el universo de cuentas publicas a entregar. Nmero de estados financieros entregados puntualmente / total de estados financieros a entregar. Observaciones aclaradas / Universo de observaciones. Porcentaje de renuncias.

AuditoriaSuperiordelEstado

Indicadores de calidad. El concepto se refiere a la capacidad especfica de la institucin para responder rpida y directamente a las necesidades de los usuarios.
Oportunidad Accesibilidad Percepcin de los usuarios. % de aprobacin excelente por el pblico usuario. % de agentes municipales satisfechos con la gestin municipal. Numero de usuarios satisfechos/total de usuarios % de aprobacin por parte de ONGS. Precisin

% de respuesta a solicitudes recibidas.

Numero de agencias atendidas con alguna obra pblica. Numero de nios atendidos con becas escolares.

% de informes de gobierno concluidos sin errores. % de estados financieros rechazados por errores de omisin. % informacin proporcionada correctamente. % de rechazados omisin. oficios por

% de respuesta a peticiones de informacin

% de reportes entregados en tiempo y forma % de informes financieros con atraso.

Numero de horas atendiendo al pblico

% personas indgenas atendidas.

Integracin de los indicadores Conviene en este caso a recurrir a la matriz del marco lgico que nos proporcione cuadros de mando integrales en las que se satisfagan todas las dimensiones explcitamente.
mbitos de control Economa Insumos Dimensin en la generacin del producto Proceso o actividades Productos Resultados X X Dimensin de desempeo

Eficiencia X X

Eficacia X X

Calidad X X

X X

X X

X X

X X

AuditoriaSuperiordelEstado

Construccin de indicadores. Etapas en la construccin de indicadores. 1. Identificar y revisar productos y objetivos. 2. Establecer los factores relevantes a medir. 3. Establecer responsabilidades organizacionales. 4. Establecer referentes de comparacin. 5. Construir las frmulas para cada indicador. 6. Validar tcnicamente el indicador. 7. Recopilar la informacin necesaria. 8. Establecer lnea base y metas. 9. Establecer frecuencia de medicin. 10. Analizar los resultados obtenidos. 11. Informar los resultados obtenidos.

AuditoriaSuperiordelEstado

Ejemplo prctico Es importante hacer mencin en referencia al ejemplo utilizado, que cuando hablamos de alumbrado pblico y seguridad publica, no los colocamos como necesidad prioritarias del municipio, son solo para ilustrar el desarrollo paso a paso de la construccin de indicadores y como los objetivos de las reas que componen el municipio estn alineadas entre si. 1.- Identificacin de productos y objetivos. Que se quiere medir. Cul es la poltica, programa o proyecto que se desea evaluar? Basados en el contenido del Plan Municipal de Desarrollo identifiquemos un programa que quisiramos evaluar. Podra ser el Programa de Obra Pblica o de Seguridad Pblica. Unidad Responsable: H. Ayuntamiento. Que aspecto de la poltica, programa o proyecto vamos a evaluar? Existen por supuesto distintos aspectos evaluables de una poltica, programa y/o proyecto.

AuditoriaSuperiordelEstado

FORMULACIN Planes de desarrollo, objetivos, estrategias y planes de accin de una poltica programa o proyecto.

IMPACTOS DE LARGO PLAZO Efectos a largo plazo sobre la poblacin en general atribuibles a la implementacin de una poltica programa o proyecto.

INSUMOS Recursos financieros, humanos y fsicos que se requieren para adelantar las acciones de una poltica, programa o proyectos

RESULTADOS DE CORTO PLAZO Efectos inmediatos de los productos de una poltica, programa o proyecto, sobre la poblacin afectada.

GESTIN Desarrollo de todas las intervenciones de una poltica programa o proyecto que transforman sus insumos en productos..

PRODUCTOS Productos y servicios consecuencia inmediata de las actividades de una poltica, programa o proyecto.

Visin

Est identificada la visin, misin, objetivos, acciones y metas?

Ser un Municipio que trabaje con la participacin de la gente y proporcione a sus habitantes bienestar, seguridad y servicios eficaces, eficientes y de calidad que permitan el desarrollo econmico y social de la comunidad, administrando y aplicando los recursos con honestidad y transparencia.

AuditoriaSuperiordelEstado

Misin: Somos un grupo de servidores pblicos, que con la participacin ciudadana, administramos los recursos provenientes de la hacienda publica con compromiso, honestidad, transparencia, eficiencia, eficacia y economa, para lograr el desarrollo econmico y social de nuestro municipio, proporcionando los servicios necesarios y de calidad con la satisfaccin de sus habitantes. Objetivos: Un objetivo necesita ser cuantificado para poder ser evaluado, es decir, debe ser especificado con respecto a magnitud y tiempo, sin necesariamente mencionar la medida y plazo, sin embargo en su redaccin s debe manifestar la intencin. Es entonces cuando el objetivo se convierte en una meta especfica cuantificable. Para que eso suceda, un objetivo debe poseer tres componentes bsicos: 1. Intencin. 2. Medida. 3. Plazo. La intencin concreta, la medida determina un umbral y el plazo fija un horizonte temporal. As, cuando expresamos: "mejoramiento de la electrificacin del municipio pblico No estamos declarando un objetivo, sino un deseo. Para que este deseo se transforme en un objetivo, debera estar expresado en los siguientes trminos: Instalar luminarias en las calles y acceso del municipio. Agregaramos aqu con relacin a la seguridad pblica: Disminuir el ndice delictivo del municipio. Cuando se expresan deseos en vez de objetivos, suelen plantearse situaciones muy ambiguas, las que seguramente generarn problemas en las comunicaciones internas y externas.

AuditoriaSuperiordelEstado

Intencin

Medida

Plazo 1 ao

Instalar luminarias en las calles y acceso del 80%s municipio. Disminuir el ndice delictivo del Municipio. 20%

1 ao

Conviene recordar que los objetivos comienzan con un verbo redactado en infinitivo. La accin se refiere al conjunto de actividades de que debemos realizar para alcanzar el objetivo. Estn claros los objetivos y metas que se deben lograr?

Cuando definimos apropiadamente el objetivo damos respuesta a esta pregunta, en este caso es claro que el objetivo cuenta con los requisitos de intencin, medida y plazo. Adems por supuesto de estar redactado en infinitivo. Estn estos Municipio? alineados con las prioridades estratgicas del

Una de las prioridades estratgicas de cualquier ayuntamiento es dotar de servicios bsicos a su poblacin y otra lo es tambin la seguridad pblica, traducida esta, en la disminucin del ndice delictivo. Podemos entonces afirmar que el objetivo esta alineado a una de las prioridades estratgicas del Plan de Desarrollo Municipal del Municipio. Los objetivos estn expresados en metas mesurables? Lo mesurable se refiere a algo que es susceptible de ser medido, si hablamos de iluminar el 80% de la poblacin, estamos hablando de algo que s se puede medir. Lo mismo en el caso de la disminucin del ndice delictivo.

AuditoriaSuperiordelEstado

2.- Establecer los factores relevantes a medir. Preguntas clave: Qu se mide? Ello depender de: El tipo de metas que se le da seguimiento.

El requisito fundamental para el diseo del indicador es el establecimiento previo de los objetivos y metas, lo que ser medido. Generalmente el tipo de metas son de corto (semanas), mediano (meses) y largo plazo (aos). En el caso del alumbrado pblico este estar programado en un lapso de tiempo dentro del cual se ira dotando de alumbrado pblico a las calles del municipio, esperamos por supuesto que el ndice delictivo disminuya en funcin de una mayor iluminacin de las calles, lo que provocar que los delincuentes vaya reduciendo su radio de accin. Las prioridades de informacin tanto para fines externos como internos.

Qu es lo que necesitamos saber respecto al desempeo de nuestra institucin?, por ejemplo necesitamos saber si con la dotacin de alumbrado publico nuestros habitantes viven mejor, hacen mas ejercicio como consecuencia de mayor alumbrado en los parques y jardines, conviven mas con sus hijos, se siente mas seguros como consecuencia de la disminucin del ndice delictivo. Toda esta informacin interna nos permitir identificar hacia donde deben enfocarse las polticas pblicas municipales; aqu radica la utilidad La utilidad externa radica en que esta informacin en determinado momento pueda ser pblica y es necesario que cumpla con los criterios mnimos de satisfaccin. Muy probablemente tambin servir para justificar algunas mezclas de recursos con otras dependencias, esto en funcin de que la actividad realizada esta proporcionando los resultados deseables, al ser medidos estos se convierten en justificaciones para solicitudes ante otras instancias. Las prioridades de evaluacin. El indicador deber estar focalizado y orientado a evaluar aquellos aspectos claves, lo cual implica la necesidad de tener claridad, cules son los objetivos o propsitos del Municipio, no necesariamente todos, sino aquellos ms relevantes que se relacionan con los productos estratgicos, dirigidos a los usuarios externos.
AuditoriaSuperiordelEstado

Los recursos disponibles. ( Ejemplo: Sondeos de opinin, encuestas, mediciones tcnicas especiales, etc.) Con qu objetivos del PDM, esta alineado el programa? En este caso recordemos que uno de los ejes de nuestro Plan de Desarrollo Municipal es el de Gobernabilidad y Seguridad Pblica, es aqu donde debemos considerar lo referente al alumbrado pblico pues tendr impacto en este rubro. Adems por supuesto en Infraestructura, para el desarrollo sustentable, en el rengln de desarrollo urbano y ordenamiento territorial. Cules de estos objetivos se quiere medir? Cuando nos referimos a incrementar el alumbrado pblico estamos abarcando varios objetivos. Entre otros: Incremento de alumbrado publico. Disminucin de inseguridad. Satisfaccin de los usuarios. Atencin pronta y oportuna del usuario.

Qu mbitos y dimensiones deben ser medidos? En este caso hablamos exclusivamente de un mbito municipal, la dimensin la referiremos al tamao de la poblacin que queremos beneficiar y su relacin con el impacto social del logro del objetivo. Quin utilizara la informacin? La informacin obtenida podr ser utilizada en una primera instancia por el Municipio, y en un segundo plano por Dependencias Federal como el INEGI CONEVAL, o Estatales como el IDEMUN o el Consejo estatal de poblacin. Qu decisiones tomar? En virtud de los resultados que arrojen los indicadores se tomarn decisiones con referencia a aumentar o disminuir la utilizacin del fondo IV, para alumbrado pblico, en todo caso servir para implementar mejoras en las polticas pblicas o para la mezcla de recursos (asignacin de recursos extraordinarios).

AuditoriaSuperiordelEstado

3.- Establecer responsabilidades organizacionales. Segn el tipo de tareas que desarrolla, los centros de responsabilidad: Tienen productos claramente asignables? Hablamos de dos cosas especficas, primero seguridad pblica y segundo obra pblica, en ambos cosas los municipios cuentan con estas regiduras, a quienes se les asignara la responsabilidad del cumplimiento del objetivo. En algunos casos se cuenta con las reas administrativas que atienden estas necesidades. Tienen objetivos traducidos en metas concretas? Instalar luminarias en el 45 de las calles y accesos del municipio en un plazo de un ao. Disminucin del 20% del ndice Delictivo. En el caso de la direccin o regidura de obra su objetivo es el incremento del alumbrado pblico, en el caso de seguridad pblica disminucin de los ndices delictivos. Tienen recursos (humanos, materiales y financieros)? Debe evaluarse si se cuentan con los recursos humanos, materiales y financieros, mnimos necesarios. 4.- Establecer referentes. El indicador por s mismo, no aporta nada, es necesario compararlo para conocer su utilidad. Estas deben darse en los siguientes sentidos. a) Sobre lo planeado o presupuestado. Lo que pensamos realizar lo hicimos?, el presupuesto fue el suficiente? b) Respecto de otras instituciones comparables. Como estamos en el mismo objetivo respecto de otros municipios. c) Respecto de los resultados histricos (perspectiva temporal) La frecuencia de la medicin depende de: El tipo de indicador (estratgicos, de gestin u operativo) Los usos del mismo (externos o internos) Los costos asociados a su medicin.

AuditoriaSuperiordelEstado

5.- Construir frmulas o algoritmos.

Nombre del indicador

Variables que intervienen

Frmula del indicador.

Frmula de clculo Tipos de formulas ms usadas. Porcentaje. Tasa de variacin. Razn promedio. ndices.

Porcentajes (Cobertura, focalizacin, etc.) Razn entre dos variables con una misma unidad de medida. Numerador Denominador Igual unidad de medida (personas, Km., solicitudes, etc. * 100 = X por ciento.

En el caso de nuestro ejemplo: Nmero de luminarias instaladas * 100

AuditoriaSuperiordelEstado

Nmero de luminaria programadas. d as Numerado Luminar or: rias Denomina ador: Lumin narias.

Mismo eje emplo, otro indicador: Nmero de luminaria solicitada d as as*100 Nmero de luminaria atendida d as as

Focalizac cin

entaje de nios atend n didos con desayunos escolares que se en s ncuentran e en Porce prime de prima ero aria (Total de nios atendidos e primero d primaria Total de n l a en de a/ nios de pri imaria)

Nio osdePrimaria aten ndidos

NiosdePrim mero dePrimaria atendidos

Nios senEdad Escola ardelEstado

oriaSuperior rdelEstado Audito

Otros ejemplos:

Total de viviendas entregadas en el 2008 entregadas de las viviendas Total de viviendas construdas en el 2008 *100 construidas en el mismo ao.

Porcentaje

de

viviendas

Total de ingresospropios percibidospor la Entidad federativaX en el 2008 Total de ingresospropios programado por la Entidad FederativaX en el 2008 *100 s
= Porcentaje de ingresos propios percibidos respecto a los programados para 2008.

Numerador ao t Denominador ao t *100

(Total del nios vacunados del municipio inscritos en el segundo grado de primaria, durante el ciclo escolar 2007-2008 / poblacin total de nios inscritos en el segundo grado de primaria, durante el ciclo escolar 20072008, del municipio) * 100 = porcentaje de nios del municipio, inscritos en el segundo ao de primaria durante el ciclo escolar 2007-2008, que fueron vacunados. TASA DE VARIACIN: Razn entre una misma variable pero en periodos diferentes.

{(Total del PIB Estatal en el ao 2008 / Total del PIB Estatal en el ao 2007 ) 1}*100
= Tasa de variacin del Producto Interno Bruto Estatal 2008 respecto al 2007.

{(Total

del delitos atendidos

en el 2008 / Total de delitos atendidos

en el 2007 ) 1}* 100

= Tasa de variacin de delitos atendidos durante el 2008 respecto al 2007.

AuditoriaSuperiordelEstado

PROMEDIO: Razn entre dos variables con distinta unidad de medida y en un mismo perodo de tiempo: Numerador ao T Denominador r ao t = Unidades promedio del numerador por cada unida de denominador.

Total de inspecciones realizadas en el 2008 Total de inspectores en operacin en el 2008 Esto es igual al promedio de fiscalizaciones por fiscalizador.

Total de alumnos inscritos en educacin bsica en 2008 Total de maestros que imparten clases en el nivel de educacin bsica en el 2008 Esto es igual al promedio de alumnos de educacin bsica por maestro.

ndices. Un ndice es un nmero abstracto que representa y mide de manera indirecta un concepto social, econmico, poltico, etc., por ejemplo: DESARROLLO HUMANO (IDH): Esperanza de vida al nacer + tasa de alfabetizacin + tasa bruta de matriculacin en educacin bsica, media superior y superior + PIB per cpita. PRECIOS AL CONSUMIDOR (IPC): Cunto se ha encarecido o abaratado con el paso del tiempo el precio del conjunto de artculos que constituyen el consumo familiar. INDICE DE DELICUENCIA: Este deber ser integrado en funcin de las condiciones y tamao del municipio pero podra incluir: violaciones, asaltos, secuestros, drogadiccin, entre otros conceptos.

AuditoriaSuperiordelEstado

Es muy importante que por cada indicador validado se defina la frmula de clculo. META EFICIENCIA $ 1500.00 persona INDICADORES FORMULA

X Indicador del Presupuesto costo total del programado para alumbrado adquisicin de pblico X luminarias/total de persona personas beneficiadas Nmero de personas que solicitaron luminarias para sus calles/ total de personas atendidas. *100

EFICACIA

Atender el 50% Indicador de % de las de personas solicitudes atendidas que solicitaron alumbrado pblico. 100% de recursos utilizados

ECONOMA

los Indicador de Presupuesto aplicacin del programado para la presupuesto. adquisicin de luminarias/Presupuesto utilizado *100 de Total de luminarias instaladas con sin fallas/Total de luminarias con fallas * 100

CALIDAD

100% de Indicador luminarias luminarias instaladas sin instaladas fallas fallas

AuditoriaSuperiordelEstado

6.- Validar tcnicamente el indicador. Cada indicador propuesto debe ser validado tcnicamente segn los siguientes criterios: Claridad (validez): debe ser preciso e inequvoco No hay dudas respecto de qu se est midiendo? Relevancia: debe reflejar una dimensin importante del logro del objetivo Permite verificar el logro del objetivo en un aspecto sustantivo? Economa: la informacin necesaria para generar el indicador debe estar disponible a un costo razonable El beneficio de la informacin es mayor que el costo de obtenerla? Monitoreable (transparente y pblico): debe poder sujetarse a una verificacin independiente Cualquier persona puede comprobar los resultados del indicador? Adecuado (confiable): en sucesivas mediciones mide lo mismo Expresa un adecuado nivel de confiabilidad, donde cualquier personas puede llegar a conclusiones similares? Aporte marginal: si hay ms de un indicador para medir el desempeo de un objetivo, debe proveer informacin adicional en comparacin con los otros indicadores propuestos Mide aspectos no considerados en los dems indicadores?

AuditoriaSuperiordelEstado

Indicadores Claridad Relevan cia Econo ma Monitoreable Adecuado Aporte Marginal Valida?

1.- Indicador SI de % de personas atendidas que solicitaron alumbrado pblico. 2.- Indicador SI de aplicacin del presupuesto 3.- Indicador SI de luminarias instaladas sin fallas

SI

SI

SI

SI

SI

SI

SI

SI

SI

SI

SI

SI

SI

SI

SI

SI

SI

SI

Si el indicador no rene algunas de las caractersticas indicadas, no se valida y busca un nuevo indicador que rena todas.

AuditoriaSuperiordelEstado

7.- Recopilar la informacin necesaria. Tipos de informacin: Contable-financiera (relativa a costos de la produccin, ingresos, gastos, activos, etc.) Informacin operacional (niveles de produccin, estadsticas operativas km construidos, alumnos matriculados, contratos firmados, etc.) Informacin sobre resultados o impactos (a veces se requieren estudios especiales, como sondeos de opinin). Poblacin beneficiada, poblacin satisfecha. Estadsticas de produccin fsica, cargas de trabajo del personal Encuestas, estudios especiales Sitios oficiales Sistemas de Informacin Integrada (IEGA) Registros del municipio. Estadsticas oficiales. Encuestas (externas)

8.- Establecer lnea base y metas. Las Metas constituyen la expresin concreta y cuantificable de los logros que se planea alcanzar en el ao (u otro periodo de tiempo) con relacin a los objetivos previamente definidos. Sentido de la Medicin: Ascendente (cobertura, focalizacin, etc.) Descendente (tiempos de respuesta, tasas de enfermedades, etc.)

Qu es mejor como desempeo del Programa?

AuditoriaSuperiordelEstado

Importancia de las metas para el seguimiento y evaluacin. Su importancia radica en la utilidad de las mismas para: Medicin y evaluacin Retroalimentacin Medidas correctivas

Indicador y Meta: El resultado del indicador entrega un valor. Este valor se compara con la meta establecida para el indicador. La comparacin permite establecer un juicio respecto al desempeo del programa. del Formula Resultado Meta

Nombre indicador

Aplicacin del Presupuesto 90% presupuesto programado para la adquisicin de luminarias/Presupuesto utilizado *100

100% de recursos utilizados

los

En este ejemplo nos damos cuenta que utilizamos el 90% de los recursos programados fueron utilizados, esto nos permite observar que por alguna razn 10 % no fue utilizado, el indicador nos permitir detectar las fallas y corregir. Requisitos de las metas. Su establecimiento debe considerar diferentes parmetros (desempeo histrico, programas similares, estndares) Deben ser posibles de cumplir por la institucin con los recursos financieros, humanos, fsicos y tecnolgicos disponibles Su logro debe depender de la institucin (establecer supuestos) Deben establecerse para ser cumplidas en un plazo determinado

AuditoriaSuperiordelEstado

Deben expresar claramente el mbito geogrfico que cubre Deben ser conocidas y acordadas con los ejecutores de un programa (establecer los responsables por el cumplimiento)

Para establecer la meta se deben considerar diferentes parmetros. Lnea base y desempeo histrico Desempeo de instituciones similares. Estndares aplicados a normas tcnicas

Qu es la lnea base? Dato que se tomar como inicio para establecer los valores futuros a alcanzar por el indicador, los que servirn para evaluar el grado de cumplimiento de las metas. Para indicadores nuevos, podra suceder que no exista un valor base, por lo cual debe ser estimado. Una vez realizada la primera medicin, se tomar como lnea de base el ltimo dato obtenido.

9.- Establecer frecuencia de medicin Los factores que inciden en la frecuencia de medicin de los indicadores son: Las necesidades de uso de la informacin generada por los indicadores (proceso de toma de decisiones) Tiempo estimado en que se producirn los resultados del programa en los beneficiarios Disponibilidad de informacin cuando sta es obtenida o proporcionada por fuentes externas Compromisos de cuenta pblica o de informar resultados de la gestin.

AuditoriaSuperiordelEstado

10.- Analizar los resultados obtenidos. Este permite: Revisar las metas que fueron definidas, estableciendo si stas fueron o no realistas. Priorizar la asignacin de recursos hacia determinados productos o programas. Justificar la asignacin de mayores recursos. Abandonar o fortalecer programas.

11.- Comunicar e informar. La comunicacin tiene que estar focalizada en los aspectos claves y con mensajes simples, directos y demostrables. El contenido debe ser en lo posible, educativo. Los informes deben entregarse con cierta periodicidad. Debe detallar el anlisis de las deviaciones, justificando sus causas, repercusiones y responsabilidades.

Requisitos de los indicadores. Deben estar identificados con nombre claro y auto-explicativo. Tener un objetivo claro y que los cuantifique. Tener un responsable de su medicin y recopilacin. Debe especificarse su frecuencia de medicin. Deben especificarse las fuentes consultadas.

AuditoriaSuperiordelEstado

Dificultades en la construccin de indicadores de desempeo. Dbil formulacin de los objetivos estratgicos y desagregacin de las metas. Quin se hace cargo de generarlos? Cmo ponderar los resultados? Cmo medir aquello que depende de condiciones externas? Cmo medir lo que depende del largo plazo? Cmo conseguir los datos necesarios? No se cuenta con unidad a cargo de la generacin de la informacin. Pocas capacidades tcnicas, recursos para desarrollo y dbil compromiso institucional. El ejercicio se torna una carga burocrtica para los funcionarios que no vislumbran su utilidad. Tendencia a medirlo todo (catstrofe de confusin)

Para evaluar un sistema de medicin hay que preguntarse: Provee informacin para alcanzar objetivos estratgicos? Proporciona un retrato del progreso y la probabilidad de lograr los objetivos estratgicos de largo plazo? Identifica las causas centrales de las barreras al logro? Establecen prioridades en las necesidades de mejora? Guan en la determinacin de las acciones requeridas para lograr los objetivos? A lnea los procesos y tareas con el valor que estos crean? Son fciles de usar? Involucra a todos los miembros de la organizacin?

AuditoriaSuperiordelEstado

Matriz de indicadores y Ficha tcnica Resulta importante mencionar que un fundamento esencial para la elaboracin de indicadores de desempeo es la Matriz de indicadores y posteriormente construir la Ficha Tcnica del Indicador, es recomendable elaborar la Matriz de Indicadores de acuerdo con la Metodologa del Marco Lgico, y desarrollar un proceso de proceso de programacin y presupuesto alineado con el Plan de Desarrollo Municipal y los programas sectoriales, especiales, institucionales y regionales que derivan del mismo. No olvidemos que la informacin contenida en la Matriz de indicadores y en la ficha tcnica del indicador, debe ser resultado de la planeacin y evaluacin de las polticas pblicas, de las estrategias y de los programas. Proporcionan informacin significativa que le dan al Presupuesto de Egresos, una nueva visin y una perspectiva ms clara de los objetivos que se proponen y de los indicadores para medir su avance y el nivel de logro de los mismos. Como ya lo hemos mencionado el Sistema de Evaluacin del Desempeo se desarrolla de manera gradual y progresiva, tal y como lo hemos venido explicando. Es como lo hemos visto un proceso que incorpora, en cada etapa, el aprendizaje obtenido por las entidades de la Administracin Pblica durante el ciclo presupuestario. Por esta razn, las polticas, estrategias y los programas integrados en el Presupuesto de Egresos, as como la Matriz de Indicadores y los Indicadores con sus metas, estn permanentemente abiertos a su mejora, una vez aprobado el Presupuesto de Egresos y durante su ejercicio, mediante el seguimiento y la evaluacin que estn comprendidas en el Sistema de Evaluacin del desempeo.

AuditoriaSuperiordelEstado

Ejemplo Ficha Tcn nica.

Aud ditora Sup perior del E Estado de O Oaxaca Entidad Fiscalizabl F le: Ayuntami ientos

Datos de identi s ificacin Fiscalizacin Fisc calizacin F Financiera a

Base Ju urdica que Artcu ulos 3, 4, 5 6, 24, 25, 26 y 79 fr 5, , raccin X d de sustenta al indicador la Ley de Fiscalizacin Superior de Estado d y el de Oaxac 6 fracc ca; cin X, 8 fr raccin XII, 9 fracci n VIII y 23 del Reg glamento I Interior de la Auditor ra Super rior del Est tado de Oa axaca Programa a Ramo 33 A o Aportacione es Feder rales Entida ades Feder rativas y M Municipios. pa ara

Nombre de subprogr ramas abarca. Objetivo Programa a

los Fondo III Fondo para la Infraestruc o o ctura Soci ial que Munic cipal.

del Abatir aspectos que denotan ma d r s arginacin y rezago social m o mediante la realizaci de obra a n as, como agua po otable, urb banizacin municipa n al, electrificacin rural y d coloni de ias pobre es, infraestructura bsica de salud y educativ e va, mejor ramiento a la vivien nda, camin nos rurale es, infraestructura p productiva rural. a

rea Responsab R ble Regid dura de Ob bras Pblic cas. del Progr rama

oriaSuperior rdelEstado Audito

Estructura del Indicador. Nombre: Objetivo del Indicador Ejercicio de los recursos del Fondo III Determinar el porcentaje de eficacia en el ejercicio de los recursos asignados al Municipio. Total de recursos ejercidos Total de recursos presupuestados Interpretacin A mayor porcentaje, mayor eficacia en el ejercicio de los recursos. Eficacia. Mensual X 100

Frmula de calculo

Dimensin Frecuencia de medicin.

Interpretacin Nombre corto Variable A Variable B TRE TRP Nombre Unidad de medida Pesos Pesos

Total de recursos ejercidos Total de recursos presupuestados Nmero de mes a evaluar

Variable C

NME

Mes

AuditoriaSuperiordelEstado

Componentes de evaluacin del indicador Evaluacin Critico Insuficiente Suficiente Bueno Adecuado Unidad de medida de resultados 0 a 20% 21 a 40% 41 a 60% 61 a 80% 81% a 100% Calificacin 2 4 6 8 10

Descripcin Conceptual de las Variables y Requerimientos Validos para la formulacin del Indicador Monto Ejercido del los recursos del Fondo III por mes. Ley de Ingresos y Presupuesto de Egresos del Municipio. Se considerara para la evaluacin que los meses en que se hace la transferencia de los recursos es de enero a octubre. Previamente se realizar un estudio interno sobre los criterios utilizados para la asignacin de los recursos del Municipio.

Revis (Nombre y Firma)

AuditoriaSuperiordelEstado

Valid Nombre y Firma

Aprob Nombre y Firma

GLOSARIO Visin: Misin: Indica haca donde se quiere llegar Responde a las preguntas Quines somos?, Qu queremos lograr?, A quin queremos beneficiar?, Cul es nuestra razn de ser? Es una unidad de medida. Conjunto de adquisiciones para llevar a cabo una actividad. Accin y efecto de decir una cosa slo en parte o de decirla directa y con malicia. Alcance de algunos servicios. Moderacin, compostura. Plan de Desarrollo Municipal. Cantidad o valor medio que resulta de repartir entre varios casos. La suma de todos los valores correspondientes a cada uno.

Indicador: Insumo: Reticencia:

Cobertura: Mesura: PDM: Promedio.:

AuditoriaSuperiordelEstado

AUDITORA SUPERIOR DEL ESTADO.

DIRECTIVOS.
Lic.- Rosa Lizbeth Caa Cadeza
Auditora Superior del Estado.

C.P. Ivone Henestrosa Matus.

Sub-Auditora Superior del Estado a cargo de la Fiscalizacin.

C.P. Emilio Garca Romero.

Sub-Auditor Superior del Estado a cargo de la Planeacin y Normatividad Tcnica.

L.I. Leyessef Carrera Carrasco

Secretario Tcnico

Lic. Ricardo Hernndez Mndez.

Director de Auditora al Desempeo.

L.C.F. Jos Luis Gonzlez Ricardez.

Director de Auditoria de Cumplimiento Financiero.

Lic. Juan Carlos Salinas Gutirrez.

Director de Auditoria de Inversiones Fsicas.

C.P. Flor de Mara Susana Cruz Vasconcelos.

Directora de Planeacin y Normatividad Tcnica

Lic. Misael Cortina Cortina.

Director de Seguimiento y Evaluacin.

C.P. Lucia Victoria Rincn Gamboa.

Directora de Control Presupuestal.

C.P. Jos Antonio Prez Daz

Director de la Unidad Administrativa.

Lic. Sergio E. Franco Salcedo.

Director de la Unidad de Asuntos Jurdicos.

AuditoriaSuperiordelEstado