You are on page 1of 134

Planificacin Estratgica y Construccin de

Indicadores de Desempeo en el Sector Pblico


de
Costa Rica
Ministerio de Vivienda y Asentamientos
Humanos
Ministerio de Trabajo y Seguridad Social
San Jos, 12 al 16 de abril de 2010

Lineamientos metodolgicos para la


construccin de indicadores de desempeo

rea de Polticas Presupuestarias y Gestin Pblica


ILPES/CEPAL
Marianela.armijo@cepal.org

1
Contenido
Definiciones

Contexto de los indicadores en la gestin


orientada a resultados

10 pasos bsicos para construir indicadores de


desempeo

Seleccionando los indicadores de desempeo

Recomendaciones
Indicadores de Desempeo

Es una herramienta que entrega informacin


cuantitativa respecto del logro o resultado de los
objetivos de la institucin, cubriendo aspectos
cuantitativos o cualitativos

Para qu sirve esta informacin?

TOMAR DECISIONES
Indicadores de Desempeo

Que indica o sirve para indicar

Latn = Indicare = Mostrar o significar algo, con


indicios y seales

Desempeo: capacidad de una institucin para


gestionar adecuadamente sus recursos y dar
cumplimiento a los objetivos y metas establecidos
UN INDICADOR ES UNA SEAL, UN AVISO, QUE NOS
ENTREGA INFORMACIN

SE RELACIONA DIRECTAMENTE Y SIEMPRE CON UN OBJETIVO

Aumentar nivel Aos promedio de


de escolaridad escolaridad por
del pas habitante del pas
Por que es necesario construir
indicadores
Es necesario definir indicadores
para:
INSUMOS PROCESO PRODUCTOS RESULTADOS
Eficacia Eficacia Eficacia Eficacia
Calidad Calidad Calidad
Eficiencia Eficiencia (Eficiencia)
Eficiencia Economa

PROYECTOS
RECURSOS

Bienes

PROGRAMAS

SERVICIOS
PRESUPUESTO NACIONAL
Recursos Bienes y Servicios Beneficiarios

(resultados:
Intermedio - final)
INSTITUCIN

Presupuesto ($)

Resultados
Insumos / Produccin (Q)
(desde punto de vista de
Procesos los beneficiarios)

Indicadores Indicadores Indicadores


Actividades Productos Misin y Objetivos
-Programas de trabajo -Cobertura y focalizacin
Estratgicos
-Programacin -Oportunidad
-Intermedio
-Ejecucin de recursos -Carctersticas de Bs. y Ss.
-Final
-Costos
Para esto es necesario comprender la
cadena de produccin y resultado
esperado
Productos Resultados
Proceso productivo

Proceso 2 Proceso 3
Productos Estratgicos
(Bienes y Servicios)
Proceso 1 Proceso 4

Insumos
Y
Recursos
Y comprender que los objetivos de la institucin deben
estar alineados con los Objetivos (prioridades)
gubernamentales.
Objetivos de Gobierno Agregacin
de mediciones

O
Ministerios B Ministerios Ministerios MInisterios
J
E
T I
I N
V Entidades Entidades D
O I
S C
Programa Programa A
D
O
R
E
S

Operacionalizacin
de objetivos
Y para que se generen los resultados esperados las Instituciones
deben tener sus objetivos, definir resultados esperados y la forma de
medirlos a travs de indicadores

Ministerios Ministerios Ministerios Ministerios

Programas Programas Entidades

Divisin
Divisin Divisin

Dpto. Dpto.
Por eso es importante comprender el
concepto y sentido de los indicadores
Son herramientas de gestin que proveen un valor de
referencia a partir del cual se puede establecer una
comparacin entre las metas planeadas y el desempeo
logrado

Un indicador de desempeo es una herramienta que


entrega informacin cuantitativa respecto del logro o
resultado de los objetivos de la institucin

Los indicadores de desempeo son medidas que describen


cun bien se estn desarrollando los objetivos de una
institucin, a qu costo y con qu nivel de calidad.
En un sistema de cuenta pblica orientada a resultados, se
requiere datos sobre un conjunto de indicadores diferentes, que
reflejan la informacin requerida para distintos niveles de toma
de decisiones.

Los legisladores y los Directores requieren informacin


estratgica sobre la gestin de la institucin (resultados finales
e impacto), mientras que los Gerentes de Divisiones,
Departamentos o Programas y sus staff requieren detalles sobre
la provisin de insumos, las actividades, los productos finales y
resultados intermedios
La idea de incorporar indicadores y metas de desempeo al
proceso presupuestario es disponer de informacin sobre los
niveles de cumplimiento de los objetivos planteados y
resultados esperados de cada institucin y enriquecer el anlisis
en la formulacin del presupuesto y su discusin en el
Congreso.

Los indicadores y sus metas se presentan como informacin


complementaria al Proyecto de Ley de Presupuestos, y una vez
aprobado ste, las metas se vinculan con el seguimiento
(monitoreo) de la ejecucin.
QUE TIPO DE INDICADORES HAY?
Clasificacin de los
indicadores
Segn qu miden Segn etapa del
(dimensiones del proceso productivo:
desempeo):
Insumos
Eficacia Procesos
Calidad Productos
Eficiencia (bienes y servicios)
Economa Resultados
(intermedios y
finales)
AMBITOS DE MEDICIN y DIMENSIONES
D AMBITOS: DESDE LA CADENA DE PRODUCCION
I
M PROCESOS PRODUCTO RESULTADOS
E
N
S
I
O
N EFICACIA
E
S EFICIENCIA
D ECONOMA
E
S
E CALIDAD
M
P
E
N
O
Indicador de EFICACIA

Mide el grado de cumplimiento de


un objetivo.
No considera los recursos
asignados para ello
Ejemplo:
Porcentaje de becas entregadas en
relacin a las programadas
Reduccin de la tasa de analfabetismo
CONCEPTOS

EFICACIA

RESULTADO (% RESULTADO LOGRADO EXITOSAMENTE


RESPECTO REALIZADO-SOLICITADO)

FOCALIZACION (LOGRADO RESPECTO DEL UNIVERSO)

COBERTURA ( LOGRADO RESPECTO DE LA DEMANDA


POSIBLE)

IMPACTO (LOGRADO RESPECTO DEL PROBLEMA QUE SE


QUIERE ATACAR)
EFICACIA (Cobertura)/Producto
PORCENTAJE DE AREA DE CULTIVO INCLUIDA EN EL PROGRAMA

Area de cultivo incluida en el Area Total del Programa


de Cultivo
Programa

Direccin General de Servicios Agrcolas . Uruguay


COBERTURA DE CONTROL DE EMISIONES DE LOS BUSES INTERURBANO

Controles de emisiones de
Total de Buses Inter
Buses Interurbanos urbanos
Subsecretaria de Transportes Chile
PORCENTAJE DE RECLUSOS INCLUIDOS EN PROGRAMA DE ACTIVIDAD INDUST

Reclusos con actividad industrial Total de reclusos


Direccin Nacional de Crceles Uruguay
mbito de los Productos:

Bienes y/o servicios proporcionados directamente a los usuarios :

Definir los requerimientos de los usuarios


Establecer las caractersticas de los productos

- Caractersticas tcnicas del producto


- Tiempo de entrega a los usuarios

- Cobertura (todos los nios y nias del pas)


- Focalizacin (nios y nias en situacin riesgo social)
- Grado de satisfaccin de los usuarios
Indicador de EFICIENCIA
Mide la relacin entre los productos y servicios
generados con respecto a los insumos o
recursos utilizados.
Aproximaciones a este concepto:
Costos de produccin (costos medios, costos
unitarios gastos administrativos en relacin al gasto
total)
Productividad media de los distintos factores de
produccin

Ejemplos:
Costo promedio anual por alumno atendido
Solicitudes tramitadas por funcionario
EFICIENCIA
Indicador de eficiencia: costo por unidad
de servicio o bienes provistos; o
productividad de un input,
son tiles en evaluar los costos relativos y
productividad que diferente mtodos de
servicio entregan o la produccin de bienes.

Los indicadores de eficiencia pueden


expresarse como costo por producto, o
unidades por insumo, o costo por
resultado.
Ejemplos de Indicadores de
Eficiencia
EFICIENCIA

EFICIENCIA-Producto Medio
Nmero de inspecciones/nmero de
inspectores
Nmero de expedientes resueltos por
semestre/dotacin de personal en la tarea
Nmero de inspecciones al transporte de
pasajeros/personal que participa en la tarea
Nmero de consultas/nmero de mdicos
Indicador de CALIDAD
Mide atributos, capacidades o
caractersticas que deben tener los bienes
o servicios para satisfacer adecuadamente
los objetivos del programa.
Calidad es una dimensin de la eficacia,
pero por su importancia se la distingue
con nombre propio

Ejemplos:
Grado de satisfaccin de los usuarios
Tiempo de respuesta a requerimientos
de los beneficiarios
Calidad
Capacidad de la institucin por responder en forma
consistente, rpida y directa a las necesidades de
los usuarios
A) Mediciones Indirectas.
Mejorar los atributos y
caractersticas de los productos.
B)Mediciones Directas.
Grado de satisfaccin de los
usuarios.
CALIDAD

Calidad-Tiempo de respuesta
Tiempo de espera media para atender una consulta
Direccin General de Salud
Tiempo de tramitacin media de solicitudes mineras
Direccin General de Geologa e Minas

Tiempo medio para o estudio de cada Plan de


Reforestamiento
Direccin General de Recursos Naturales
Dias de demora media de trmites de legalizacin
Direccin General de Secretara
CALIDAD

Calidad- Satisfaccin de usuarios


Porcentaje de aprobacin Encuesta de opinin a los usuarios
Direccin Nacional de Registos

Porcentaje de reclamos/casos atendidos


Direccin Nacional de Topografa

Asuntos resueltos/ Nmero de servicios reclamados


Subsecretaria de Ministerio de Educacin y Cultura

Nmero de servicios reclamados/nmero total de servicios


Hospital de Montevideo
INDICADORES DE CALIDAD

Oportunidad Accesibilidad Percepcin de Precisin


usuarios

Porcentaje de Nmero de Porcentaje de Porcentaje de


respuestas a los localidades aprobacin contratos
Parlamentarios cubiertas por excelente de los terminados por
dentro de los atenciones mviles talleres de trabajo, errores
lmites acordados. por los
participantes

Porcentaje de N de horas que Porcentaje de Nmero de fallas


reportes la Biblioteca est usuarios satisfechos reales/ Fallas
econmicos abierta fuera de programadas
entregados en las horas de N de usuarios
tiempo acordado trabajo satisfechos/ Total
usuarios encuestados
Porcentaje de Porcentaje de
Nmero de N de usuarios contratos con uno o
Poblacin con
intervenciones con Satisfechos con el ms errores
necesidades
retraso/ Nmero de trato en la encontrados por
especiales que
intervenciones atencin/ Total revisiones externas
son miembros
totales usuarios
activos de la
Biblioteca
Indicador de ECONOMA

Mide la capacidad del programa para


generar o movilizar adecuadamente los
recursos financieros.
Economa es una dimensin de la
eficiencia.

Ejemplos:
Ingresos propios generados
Presupuesto ejercido
Segun la Etapa del Proceso Productivo o Ambito de
Medicion
Proceso (Actividades - productos intermedios):

Actividades vinculadas a la produccin de bienes y servicios.


Corresponden a las necesarias para generar los productos finales
de la institucin:

procedimientos de compra
licitaciones
procesos tecnolgicos
administracin financiera
etc.

- Porcentaje del presupuesto ejercido


- Porcentaje de compras de insumos efectuadas dentro del tiempo
programado
Algunos ejemplos de Indicadores en el mbito de los Procesos:

Porcentaje de ejecucin del presupuesto


Porcentaje de gasto en Recursos Humanos respecto de gasto total
Porcentaje de gasto corriente respecto de gasto total
Porcentaje de productos entregados respecto de lo programado
Porcentaje de compras de insumos efectuadas dentro del tiempo programado
Porcentaje de licitaciones adjudicadas respecto de licitaciones totales
Porcentaje de ingresos propios percibidos respecto de los programados
Porcentaje de subsidios asignados
Porcentaje de familias pobres catastradas
Porcentaje de normas de aviacin actualizadas
mbito de los Procesos productivos
(Ejemplos para Actividades Centrales)

Definir aquellos procesos que son claves para la generacin de los productos (bienes y/o servicios):

procedimientos de compra

Adquisicin de insumos contratacin de empresas proveedoras

Licitaciones

Externalizacin de servicios - subcontratacin de empresas que proveen los productos

procesos tecnolgicos

Implementacin de servicios por internet - procesos para generar productos


MBITOS DE MEDICIN

Producto (productos finales):

Bienes y/o servicios pblicos producidos o entregados por la


institucin para cumplir con su misin. Est dirigido al
beneficiario final, o en algunos casos, intermedio.

- Porcentaje de alumnos que reciben la beca oportunamente


- Tiempo promedio de entrega de subsidios para la vivienda
- Metros cuadrados construidos promedio por vivienda
entregada
Algunos ejemplos de indicadores de focalizacin:

Porcentaje de la poblacin en situacin de pobreza que recibe subsidio para agua potable
Porcentaje de nios en situacin de pobreza que reciben beca estudiantil
Porcentaje de adultos mayores que reciben complemento alimenticio contra la desnutricin
Porcentaje de deportistas que acceden a programas de alto rendimiento
Porcentaje de comunas de alto riesgo cubiertas por programas especiales antidelincuencia

Finalmente, tambin en eficacia se mide al cumplimiento de programas de trabajo:


Porcentaje de capacitaciones de funcionarios en relacin a lo programado
Algunos ejemplos de indicadores en el mbito de los Productos:

Porcentaje de familias sin vivienda que reciben aportes del Estado


Porcentaje de familias pobres sin vivienda que reciben aporte del Estado respecto del total
de familias sin vivienda que reciben aporte del Estado
Tiempo promedio de entrega de subsidios para la vivienda
Metros de cuadrados construidos promedio por vivienda entregada
Porcentaje de condominios construidos que cuentan con infraestructura social (lugares para
reuniones, parques, plazas, juegos para nios)
Porcentaje de familias que manifiestan satisfaccin con la vivienda entregada
MBITOS DE MEDICIN

Resultado intermedio:

Es el resultado directo a lograr en la poblacin objetivo dado el


uso de los productos finales.

Es la aportacin especfica a la solucin de un problema o


necesidad.

- Porcentaje de profesoras indgenas asesoradas que aplican


prcticas pedaggicas mejoradas con el enfoque de la
Educacin Intercultural Bilinge
mbito de los Resultados:
Resultados intermedios

Cambio en el comportamiento de los


beneficiarios una vez que han recibido los
bienes y/o servicios.

La entrega de los bienes y/o servicios a los


usuarios supone que conduce a la
Obtencin de los resultados finales.

Constituye una aproximacin a los


resultados finales
Algunos ejemplos de indicadores en el
mbito de Resultados Intermedios:
Porcentaje de subsidios de vivienda efectivamente
pagados respecto del total de subsidios otorgados

Porcentaje de trabajadores sin calificacin que egresan de


un programa de capacitacin tcnica

Porcentaje de participantes egresados de programa


antidrogas con actitud crtica hacia la droga

Porcentaje de empresas que no cumplen la normativa


laboral

Porcentaje de familias pobres que inician una actividad


empresarial con apoyo del Estado

Porcentaje de alumnos egresados de una carrera tcnica


MBITOS DE MEDICIN

Resultados finales o impacto:

Contribucin a la solucin de un problema o necesidad

Complejidad de medir Impacto o Resultado Final: un programa


o institucin por lo general contribuye a alcanzar un resultado
final y se complementa con la accin de otros programas e
instituciones.
MBITOS DE MEDICIN
Resultados finales (impacto):

Cmo identificar el Impacto de nuestra institucin?

El impacto no se produce inmediatamente y medirlo requiere


de un anlisis ms profundo, de la definicin de un conjunto de
indicadores y otros instrumentos complementarios como las
evaluaciones de impacto.

- Tasa de crecimiento del Sector de Tecnologas de la


Informacin (TI)
Resultados Finales o Impacto:
Resultados a nivel de fin de los bienes y servcios
entregados, significan un mejoramiento en las condiciones
objetivas de la poblacin objetivo.

Complejidad de medir Impacto o Resultado Final:


un programas pblico contribuye a alcanzar un fin (resultado final)
se complementa con la accin de otros programas

Cmo identificar el Impacto de nuestro programa?


el impacto no se produce inmediatamente
es difcil medirlo con un indicador (mejoramiento de la calidad de vida)
por lo general no se dispone de informacin de punto de partida (lnea base)
Algunos ejemplos de indicador
de resultado final o impacto
Porcentaje de trabajadores sin calificacin egresados de un
programa de capacitacin que consiguen un empleo permanente
Porcentaje de personas que no reinciden despus de participar en
programa antidrogas
Tasa de accidentes de aviacin
Porcentaje de familias que superan la lnea de pobreza
Tasa de variacin de delitos
Porcentaje de empresas que cumplen la normativa laboral
Tasa de incidencia de la poliomielitis
Tasa de obesidad infantil
Porcentaje de das sin suministros elctrico a la poblacin
Tasa de suspensin de servicios de internet
Porcentaje de reclamos solucionados de usuarios de servicios de
telefona
EJEMPLOS
Indicador de Producto Indicador de Indicador de Resultado
Resultado Intermedio Final

N de nios matriculados Porcentaje de nios de Porcentaje de nios que


en Educacin preescolar 3-6 aos matriculados terminan preescolar logran
pblica/N de nios entre 3 que logran terminar la Manejo de habilidades
a 6 aos del pas bsicas en lecto escritura
enseanza preescolar

Porcentaje de padres y
madres satisfechos con
la educacin impartida
PRODUCTO RESULTADO RESULTADO
INTERMEDIO FINAL O
IMPACTO
Porcentaje de reclusos Tasa anual de variacin
participando en el de reclusos con contrato
programa de de trabajo Porcentaje de
reinsercin/Total desempleo
poblacin reclusa de poblacin reclusa
potencialmente
aprobada
beneficiaria del Programa

Talleres de capacitacin Participantes que


realizados/Talleres de consiguen certificarse (Produtividad de los
participantes ao t
capacitacin programados /Total de participantes
-Productividad
participantes ao t-
1/Produtividad
participantes ao t-
1)*100
COMO CONSTRUIMOS UN
INDICADOR?
10 pasos bsicos para construir
indicadores
1. Establecer las definiciones 6. Establecer las metas o el valor
estratgicas como referente deseado del indicador y la
para la medicin periodicidad de la medicin

2. Establecer las reas de 7. Sealar la fuente de los datos o


desempeo relevantes a medir medios de verificacin

3. Formular el indicador y describir


la frmula de clculo 8. Establecer supuestos
(observaciones)
4. Validar los indicadores
aplicando criterios tcnicos 8. Evaluar: establecer referentes
comparativos y establecer
5 Recopilar los datos juicios

10. Comunicar e Informar el


desempeo logrado
1. Establecer las definiciones estratgicas
como referente para la medicin del
desempeo

MISION
VISION
OBJETIVOS ESTRATEGICOS
PRODUCTOS FINALES o
ESTRATEGICOS
2. Establecer los factores relevantes,
mbitos y dimensiones de desempeo a
medir.
De las Definiciones estratgicas extraer los Factores Relevantes que deben
ser medidos.

Cules son los principales aspectos o variables claves que deben ser
medidos en cada uno de los Objetivos (Misin, Objetivos Estratgicos,
productos..) ?
Qu mbitos deben ser medidos?
Qu dimensiones deben ser medidos?
Quin utilizar la informacin?
Qu decisiones tomar?
Factores relevantes a medir
Se refiere las caractersticas que
deseamos medir respecto al logro
del objetivo.

Ejemplo:
Objetivo:Contribuir al desarrollo de la
vida familiar, comunitaria y ciudadana
de las familias de escasos recursos,
mediante la entrega de vivienda social
ubicada en conjuntos habitacionales
Factores relevantes a medir
Ejemplo:
Objetivo: Contribuir al desarrollo de la
vida familiar, comunitaria y ciudadana
de las familias de escasos recursos,
mediante la entrega de vivienda social
ubicada en conjuntos habitacionales
Aspectos relevantes a medir:
Familias de escasos recursos
Vivienda social que permita desarrollar vida
familiar
Conjuntos habitacionales que permitan
desarrollar vida comunitaria y ciudadana .
2. Los mbitos de medicin y dimensiones atraviesan toda
la cadena de produccin y valor..hay que establecer qu es
lo relevante
AMBITOS DE MEDICION

PROCESOS PRODUCTO Resultados (Intermedios y


Finales)

D
I
EFICACIA
M
E EFICIENCIA
N
S ECONOMA
I
O CALIDAD
N
E
S
Mision Ministerio del Trabajo y
Seguridad Social
El Ministerio de Trabajo y Seguridad
Social es la InstitucinRectora de la
poltica socio-laboral de Costa Rica,
dirigida a personas trabajadoras y
empleadoras, que propicia el trabajo
digno y contribuye al desarrollo y la
justicia social.
Objetivos Estrategicos
1.Mejorar los medios y la cobertura para la convergencia oportuna de oferentes y demandantes de mano de obra,
buscando de
Esta manera la reduccin del desempleo por causas friccionales.

2.Orientar la fiscalizacin laboral, hacia sectores definidos como prioritarios en razn de su vulnerabilidad laboral, con
inspecciones integrales y focalizadas.

3.Sensibilizar, capacitar, y asesorar a los diferentes actores que participan en el mbito laboral sobre la aplicacin del
marco
jurdico que rige las relaciones laborales para el debido respeto de los derechos de los trabajadores.

4.Desarrollar una movilidad migratoria que est en funcin de las posibilidades y requerimientos de empleo de los
sectores
productivos del pas.

5.Promover una cultura de cumplimiento de los derechos y obligaciones laborales para un trabajo digno con enfoque
preventivo.

6.Garantizar a nivel regional una efectiva asesora y fiscalizacin para el trabajo digno.

7.Promover la integracin de la oferta de formacin tcnica y capacitacin para el trabajo, con los requerimientos del
mercado
laboral.

8.Propiciar alianzas interinstitucionales que fomenten la actividad productiva y la generacin de empleo.

9.Satisfacer las expectativas de nuestros usuarios mediante servicios oportunos, equitativos, claros y accesibles desde
cualquier parte del pas.

10.Desconcentrar los servicios con criterios de necesidad, viabilidad y oportunidad.

11.Estandarizar los procesos y procedimientos para mejorar servicios dirigidos a todos los grupos de poblaci n
Misin
Programa 731 Asuntos del Trabajo
Direccin General de Inspeccin

Mision Factores Relevantes


Tutelar el cumplimiento de la Reduccion de
normativa laboral, por medio
conflictividad
de la inspeccin y mediacin
en los conflictos derivados de
la relacin de trabajo y a
xito de las
travs de acciones de
asesoramiento o facilitacin en mediaciones
materia de los derechos de
asociacin, de salarios y de
salud ocupacional, con el fin
de contribuir a la equidad y
armona de las relaciones
entre empleados y Percepcion de
empleadores. equidad..
Productos
Productos Factores Relevantes
1. Acciones de Inspeccin
Laboral en Sede
Cobertura de inspeccion
Administrativa y Judicial. Costo de inspeccion

Conciliaciones por area


2 Servicios de asesora,
conciliacin y mediacin en Tiempos de respuesta de
conflictos laborales Asesoria
individuales y colectivos.

3 Servicios de registro y Cobertura de la acreditacion


acreditacin de las
Tiempo de respuesta
organizaciones sociales
laborales.

4 Servicios de asesora e
informacin en materia de
Oportunidad de la asesoria
salarios mnimos para el Solicitudes respondidas
sector privado.
Ministerio de Vivienda y Asentamientos
Humanos
Objetivos Estratgicos Factores Relevantes
1. Identificar las comunidades y poblaciones meta, Dficit habitacional
prioritarias a nivel nacional, mediante la realizacin
de estudios de campo y el manejo de bases de Focalizacin exitosa del
datos interinstitucionales; a fin de impulsar el
otorgamiento del Bono Familiar de Vivienda y la otorgamiento del Bono Familiar
canalizacin del crdito, a tales poblaciones,
disminuyendo el dficit habitacional.

2. Disear y poner en marcha un Plan Nacional de


Vivienda, de mediano y largo plazo, que contemple Metros cuadrados por vivienda
polticas y directrices (de carcter vinculante con
otras instituciones del Sector) orientadas a ordenar Servicios bsicos viviendas
el territorio nacional, a incrementar el desarrollo
urbano y a posibilitar el acceso de los hogares, otorgadas
principalmente de
clase baja y media, a una vivienda adecuada y a
Situacin social beneficiarios
sentamientos humanos con servicios bsicos.

3. Velar por el cumplimiento de los criterios tcnicos Sanciones cumplidas


de calidad de vivienda, sobre todo de inters
social, determinados por las instituciones Estndares cumplidos
competentes; mediante la realizacin de auditoras
peridicas y de la supervisin al acatamiento de xito de fiscalizacin
las recomendaciones brindadas.
Ejemplo
Identificar los Factores Relevantes a medir

EJEMPLO
Factores Relevantes INDICADORES
OBJETIVO
- Estilos de vida Porcentaje de la poblacin
Promover en la poblacin en activa de la objetivo que prctica alguna
general estilos de vida activa poblacin actividad deportiva 1 vez a la
por medio de la prctica Semana
peridica del ejercicio fsico, -Prcticas peridica
Porcentaje de la poblacin
el deporte y la recreacin del ejercicio fsico, objetivo que mejora sus
deporte y la ndices de salud sobre lnea
recreacin base

- Capacidades % de incremento de Microemp


tcnicas y participantes del programa que
Microempresas del sector mejoran sus capacidades
emprededoras
rural con capacidades tcnicas y emprendedoras,
tcnicas y emprendedoras segn ndice de capacidades
consolidadas
-Costo del subsidio Costo promedio de asesora a
Microempresas
LISTA DE FACTORES RELEVANTES A MEDIR

Definiciones Factores Relevantes


estratgicas

Misin

Objetivos estratgicos

Productos finales
Primer Trabajo Grupal
Definicin de los factores relevantes por categora de objetivos

1. Para la MISIN defina los factores relevantes

2. Para los objetivos estratgicos defina los factores relevantes

3. Para los productos defina los factores relevantes

1 HORA
UNA VEZ QUE SE TIENE CLARIDAD
SOBRE:
Cules son los aspectos relevantes que deben ser
medidos
Qu mbitos se van a medir
Cules dimensiones

Corresponde construir cada uno de los indicadores


3. Formular el nombre del indicador y la frmula
de clculo.

El nombre del indicador debe ser lo


ms ilustrativo posible de lo que se
quiere medir, y la frmula debe
permitir informar sobre los
parmetros o variables que se estn
midiendo
Nombre del indicador
Debe ser claro, preciso y autoexplicativo
Que cualquier persona entienda qu se mide con
ese indicador
Si se usan siglas o aspectos tcnicos, deben
definirse en una nota explicativa

Porcentaje de aeropuertos que cuentan con


sistema ILS
Nota: ILS (Instrument Landing System) es un
sistema de aterrizaje instrumental con que
cuentan los aviones para aterrizar en condiciones
de baja visibilidad.
Sentido de la medicin
Indicador ascendente o descendente

Mientras ms aeropuertos tenga ILS es mejor, por lo tanto, el


indicador es ascendente

En general:

Los indicadores de cobertura, focalizacin, accesibilidad,


cumplimiento de programas de trabajo, etc. son ascendente.
Los indicadores de tiempos promedio de respuesta a los usuarios son
descendentes.
Los indicadores que miden capacidad de utilizacin de recursos son
ascendentes
Los indicadores que miden errores son descendentes
Los indicadores que miden satisfaccin de usuarios son ascendentes
Frmula de clculo
La relacin matemtica de las
variables deben entregar como
resultado lo que se defini en el
nombre
Porcentaje de aeropuertos que cuentan con
sistema ILS

(Total de aeropuertos con sistema ILS


/ Total de aeropuertos del pas) * 100
Construccin de Frmulas

Nombre del indicador

Variables que intervienen

Frmula del indicador


Nombre del Indicador

El nombre del indicador debe ser:

Autoexplicativo
Contextualizado

Por ejemplo:
Porcentaje de solicitudes respondidas
Es autoexplicativo y contextualizado?
Nombre del Indicador

Porcentaje de solicitudes respondidas

En la Oficina Principal de la institucin


En el pas
En un mes
En un ao
Respecto de las solicitudes presentadas
Etc.
Nombre del Indicador

Nombre del indicador

Qu o cul es la medicin.universo a considerar


(contexto)

% de solicitudes respecto de las


respondidas solicitudes ingresadas
Nombre del Indicador

Indica la relacin

Porcentaje de solicitudes respondidas respecto de las solicitudes ingresadas

Variables
Variable 1: solicitudes respondidas Numerador
Variable 2: solicitudes ingresadas Denominador

Respondidas
Ingresadas
Frmula de clculo

Frmula:

Numerador
* 100
Denominador

Total de solicitudes respondidas en el ao t


* 100
Total de solicitudes ingresadas en el ao t
Frmula de clculo

Tipos de frmulas ms usadas

Porcentaje (proporciones)
Tasa de variacin
Razn o promedio
ndices
1. Porcentajes (cobertura, focalizacin, etc.)

Razn entre dos variables con una misma unidad de


medida

numerador
* 100 = X por ciento
denominador

Igual unidad de medida (personas,


Km., solicitudes, etc.
Cobertura:

Porcentaje de cobertura en la atencin de adultos mayores


(Total de adultos mayores atendidos / Total de adultos mayores del pas)*100

COBERTURA

Adultos Mayores
del pas Adultos Mayores
atendidos
Focalizacin:

Porcentaje de adultos mayores atendidos que se encuentran en situacin de


extrema pobreza
(Total de adultos mayores atendidos que se encuentran en situacin de extrema
pobreza / Total de adultos mayores atendidos)*100

FOCALIZACIN

Adultos Mayores Adultos Mayores


del pas pobres

Adultos Mayores
atendidos
2. Tasa de variacin

Razn entre una misma variable pero en periodos diferentes

variable ao t variable ao t variable ao t-1


-1 * 100 = * 100
Variable ao t-1 variable ao t-1

= X por ciento
2. Tasa de variacin

Ejemplo:
Tasa de variacin de las exportaciones del pas

{(Total exportaciones ao t / Total exportaciones ao t-1) 1*100}*100


2. Tasa de variacin o de cambio

{(Total exportaciones de miel ao t / Total exportaciones ao t-1) 1}*100

400 TONELADAS de MIEL EXPORTADA 2009


-1 x 100
375 TONELADAS de MIEL EXPORTADA 2008

1,0625 0,0625 + 6,25

(total de exportaciones de miel ao t total de exportaciones en el


ao t-1) / total de exportaciones en t-1 * 100

400 TONELADAS de MIEL EXPORTADA 2009 - 375 TONELADAS de MIEL EXPORTADA 2008

400 TONELADAS de MIEL EXPORTADA 2009 x 100

400 375 = 25 25/400 = 0,0625 0,0625 X 100 = 6,25


2. Tasa de variacin o de cambio
{(Total exportaciones de miel ao t / Total exportaciones ao t-1) 1}*100

325 TONELADAS de MIEL EXPORTADA 2009


-1 x 100
450 TONELADAS de MIEL EXPORTADA 2008

0,72777 - 0,27 - 27,7%

(total de exportaciones de miel ao t total de exportaciones en el


ao t-1) / total de exportaciones en t-1 * 100

325 TONELADAS de MIEL EXPORTADA 2009 - 450 TONELADAS de MIEL EXPORTADA 2008

450 TONELADAS de MIEL EXPORTADA 2008 x 100

325 450 = -1,25 -1,25/325 = -0,27 -0,27 X 100 = -27,7%


3. Razn o Promedio (tiempos promedio, costos
promedio, etc)

Relacin entre dos variables con distinta unidad de


medida

numerador = unidades promedio del numerador por


cada unidad del denominador
denominador
3. Razn o Promedio (tiempos promedio, costos
promedio, etc)

Ejemplo:
Tiempo promedio de tramitacin de solicitudes
Tpo. Solicitud 1 + Tpo. Solicitud 2 + ..... + Tpo. Solicitud n
Total de solicitudes tramitadas

Sumatoria de tiempos de tramitacin de cada solicitud / Total de


solicitudes tramitadas = tiempo promedio por solicitud
3. Razn o Promedio (tiempos promedio, costos
promedio, etc)

Ejemplo:
Promedio de alumnos por profesor de educacin media

Total de alumnos de educacin media en el ao


Total de profesores de educacin media en el ao t
= Alumnos promedio por profesor
4. ndices

Permiten medir la evolucin de una variable en el tiempo, a partir de un valor base.

Ejemplo, ndice de Remuneraciones


Promedio anual de remuneraciones ao base: 5.000
Promedio anual de remuneraciones ao t: 5.350

ndice ao base: (Valor ao base / valor ao base)*100


= (5.000 / 5.000)*100 = 100
ndice ao t: (Valor ao t/ valor ao base)*100
= (5.350 / 5.000)*100 = 107
4. ndices

Promedio anual de remuneraciones ao t+1: 5.885

ndice ao t+1: (Valor ao t+1/ valor ao base)*100


= (5.885 / 5.000)*100 = 117,7
Valor ndice:
Ao t+1 = 117,7
Ao t = 107,0
Ao base = 100,0
4. ndices

Promedio anual de remuneraciones ao n:

ndice ao n = (Valor ao n / valor ao base)*100


Desagregacin por Sexo

Porcentaje de personas pobres del pas

Distribucin de pobreza por sexo:


(Total hombres pobres / Total personas pobres)*100
(Total mujeres pobres / Total personas pobres)*100

Porcentaje de pobreza segn sexo:


(Hombres pobres / Total hombres)*100
(Mujeres pobres / Total mujeres)*100
Indicadores que permitan medir
continuamente (ao a ao) variables
relevantes en el cumplimiento de la
misin y de inters para la
Tasa de escolaridad
ciudadana
Porcentaje de recaudacin de impuestos
Porcentaje de vas en buen estado
Porcentaje de delitos contra la propiedad
Porcentaje de plagas bajo control
Porcentaje de fallos favorables
Tiempo de respuesta
Segundo Trabajo de Grupo
Definicin de indicadores para cada factor relevante, segn mbito
de medicin
1. Defina por cada factor relevante el o los indicadores que lo midan.

2. Si ya ha definido indicadores revselos y verifique que miden los factores


RELEVANTES identificados.

3. Una vez que haya definido todos los indicadores clasifquelos segn su
etapa en la cadena de produccin (proceso, producto, Resultado) y en los
mbitos de desempeo: eficacia, calidad, eficiencia y economa (utilice las
definiciones).

5. ESTABLEZCA LA FORMULA DE CALCULO


Presente el trabajo

2 HORA DE TRABAJO
4. Validar los indicadores
Cada indicador propuesto debe ser validado tcnicamente,
segn los siguientes criterios:

Relevancia: debe reflejar una dimensin importante del logro del


objetivo
Permite verificar el logro del objetivo en un aspecto sustantivo?
Pertinente: debe ser preciso e inequvoco
No hay dudas respecto de qu se est midiendo?
Debe aportar una base suficiente para evaluar el desempeo
Es suficiente para emitir un juicio respecto del desempeo?
Costo Razonable: la informacin necesaria para generar el
indicador debe estar disponible a un costo razonable
El beneficio de la informacin es mayor que el costo de
obtenerla?
Confiable :Cualquier persona puede comprobar los resultados del
indicador?
Independiente: La institucin o programa controla el resultado que
entrega el indicador

Integracin: El total de los indicadores contempla las dimensiones de


desempeno necesarias

Aporte marginal: si hay ms de un indicador para medir el


desempeo de un objetivo, debe proveer informacin adicional en
comparacin con los otros indicadores propuestos
Mide aspectos no considerados en los dems indicadores?
Paso 4: Validar los Indicadores

Indicadores Relevancia Pertinencia Costo Confiable Independiente Integracion Aporte Valida?


Razonable Marginal

1. S S S S S S S

2. S S No S S S No
5. Recopilar los datos para
construir los indicadores
TIPOS DE INFORMACION

Informacin contable-presupuestaria

Estadsticas de produccin fsica, cargas


de trabajo del personal

Encuestas, estudios especiales

Benchmarking,etc
Fuentes de Informacin
Para cada indicador, est disponible la informacin en mi programa?

S No

est en otra Entidad?

S No

el beneficio > costo de obtenerla?


Se mide

S No
Se busca
una proxy
6.Establecer las metas o el valor
deseado del indicador y la frecuencia
de la medicin
DESEMPEO HISTORICO

LINEA BASE

OBJETIVOS DEFINIDOS

DESEMPEO LOGRADO EN INSTITUCIONES


SIMILARES, PROCESOS O PROGRAMAS.
Metas
Las Metas constituyen la expresin concreta y
cuantificable de los logros que se planea alcanzar
en el ao (u otro periodo de tiempo) con relacin a
los objetivos previamente definidos.

Sentido de la Medicin:
Ascendente (cobertura, focalizacin, etc.)
Descendente (tiempos de respuesta, tasas de
enfermedades, etc.)
Qu es mejor como desempeo de la institucin?
Importancia de las metas para el seguimiento
(monitoreo) y evaluacin

Medicin y evaluacin

Retroalimentacin

Medidas correctivas
Evaluacin

La evaluacin es la comparacin de los resultados


obtenidos con las metas establecidas. La
evaluacin puede ocurrir durante el periodo de
ejecucin (evaluacin contingente) o al finalizar
dicho periodo (evaluacin ex post).
Retroalimentacin

Los resultados de las evaluaciones se comunican


a los encargados de cada rea y a la Direccin, a
fin de que estn informados respecto al grado de
avance de las metas planteadas y, en caso de
producirse desviaciones importantes respecto a lo
programado, se acuerden las medidas correctivas
que se adoptarn.
Medidas correctivas

Las medidas correctivas pueden consistir en


cambios en las reas, cambio en las metas,
nuevas asignaciones o recortes de los recursos
presupuestarios, revisin de las tareas, etc.
Indicador y meta

El resultado de la medicin del indicador


entrega un valor.

Este valor se compara con la meta establecida


para el indicador.

La comparacin permite establecer un juicio


respecto del desempeo de la institucin.
Ejemplo

Indicador: Porcentaje de gastos administrativos

Valor del indicador: 15%


Meta del indicador: 20%

Valor del indicador de institucin similar: 10%

Juicios:

Cumpl la meta.
Estoy por sobre el valor de una institucin similar
Requisitos de las metas

Su establecimiento debe considerar diferentes


parametros (desempeo histrico, programas
similares, estndares)

Deben ser posibles de cumplir por la institucin con


los recursos financieros, humanos, fsicos y
tecnolgicos disponibles

Su logro debe depender de la institucin (establecer


supuestos)
Requisitos de las metas

Deben establecerse para ser cumplidas en un plazo


determinado

Deben expresar claramente el mbito geogrfico que


cubre

Deben ser conocidas y acordadas con los ejecutores


de las distintas reas (establecer los responsables
por el cumplimiento)
Para establecer la meta se deben considerar
diferentes parmetros

Lnea base y desempeo histrico

Desempeo de instituciones similares


(benchmarking)

Estndares aplicados a normas tcnicas


Pasos para determinar una meta

Se construye
Identificar la lnea base
No existe?
Programas
similares
Existe?
Estndar tcnico
Se toma como referencia el
actual desempeo Meta
Indicador Ao t
% de alumnos 60%
egresados
Qu es la lnea base?

Dato que se tomar como inicio para establecer


los valores futuros a alcanzar por el indicador, los
que servirn para evaluar el grado de
cumplimiento de las metas.

Para indicadores nuevos, podra suceder que no


exista un valor base, por lo cual debe ser
estimado.

Una vez realizada la primera medicin, se tomar


como lnea de base el ltimo dato obtenido.
Dnde estamos ahora?
Cmo hemos estado antes?

Cuan lejos
queremos y
podemos llegar?
Considerar el nivel de desempeo de las metas a
nivel nacional / local
El tiempo de respuesta de la entrega de los
pasaportes ser el mismo en el pas, en el
Estado o en una determinada Regin.

Los kilmetros de vas reparadas sern un


promedio nacional o en un tramo especfico.
Las metas deben tener asignados responsables
por su cumplimiento a nivel de la organizacin
Debe quedar claramente establecido cual es la
Unidad, rea, Direccin, que es responsable por
el cumplimiento de la meta, an cuando otras
reas intervengan con produccin intermedia o
final.
Problemas frecuentes cuando se establecen las
metas

No existen o no se La evaluacin (el juicio


construyen los medios de sobre el desempeo no
verificacin es confiable)

Los supuestos no son


pertinentes (se imputan Las metas estimulan un
aspectos que la desempeo poco
institucin s controla) innovador y desafiante
Problemas frecuentes cuando se establecen las
metas

No existen datos disponibles Riesgo se sobre o


para estimar la lnea base subvalorar la meta

La institucin desconoce
estndares de entidades No es posible evaluar
similares respecto de las mejores
prcticas (autocomplacencia)

Se desconoce la poblacin La meta no permite monitorear


objetivo y potencial el avance hacia el
cumplimiento
del objetivo (y por lo tanto no
se pueden tomar decisiones
adecuadas)
Problemas frecuentes cuando se establecen las metas

Subvaloracion de las metas Escasa utilidad para la toma de


frente a un ambiente decisiones y mejora de la
punitivo de la evaluacion gestin

Trampa de la medicin: se No es posible avanzar hacia la


muestra como resultados (y mejora de los resultados
se hace) solo lo que se relevantes para la organizacin
puede medir y por ende para la ciudadana
Frecuencia
Depende de la disponibilidad de la informacin (Fuente de Informacin) y
del nivel de los objetivos que se est midiendo

Misin Disminuye

Objetivos
estratgicos Frecuencia

Productos
Aumenta

Actividades
Factores que inciden en la frecuencia de medicin
de los indicadores

Las necesidades de uso de la informacin generada


por los indicadores (proceso de toma de decisiones)
Tiempo estimado en que se producirn los
resultados del programa en los beneficiarios
Disponibilidad de informacin cuando sta es
obtenida o proporcionada por fuentes externas
Compromisos de cuenta pblica o de informar
resultados de la gestin (Secretara de Hacienda)
7. Sealar las fuentes de datos
o medios de verificacin
Registros de la institucin (posibles
de auditar)

Estadsticas oficiales

Encuestas (realizadas por entes


externos)
8. Establecer Supuestos
(observaciones)
Aspectos no controlables por la institucin:

Deben ser muy concretos y no generales

Variaciones del tipo de cambio, o de determinados precios


pueden afectar niveles de ingresos esperados, tarifas, etc

Aprobaciones de procesos por entes externos en la que hay


probada posibilidad (norma o procedimiento externa) que
puede alterar la programacin)

Flujo de recursos internacionales, etc.


Supuestos

Comprometo X meta siempre y cuando se cumplan


los siguientes supuestos:

Tipo de cambio no aumente ms de 10%


La solicitudes de tramitacin no aumenten ms de
15%
Ejemplos de algunos aspectos sobre los cuales
establecer Supuestos

Situacin macroeconmica
Beneficiarios usan los componentes
adecuadamente
Se cumplen las corresponsabilidades de otros
actores
Otros estados o entidades destinan los recursos
para lo que est establecido
Los recursos de prestamos internacionales son
entregados al programa en el tiempo establecido
Tercer Trabajo Grupal
Revise el conjunto de los indicadores
construidos y aplique los criterios de
validacin

Complete la planilla de Indicadores


para la programacin presupuestaria
9. Evaluacin de los Resultados

Comparar valor del indicador al final del periodo y meta establecida


Establecer No cumplimientos y Sobrecumplimientos (desviaciones)
Anlizar las Causas de los resultados
Proponer Recomendaciones para corregir las desviaciones
Establecer Compromisos para implementar las recomendaciones
Definir Plazos de cumplimiento de los compromisos
Definir Responsables por el cumplimiento de compromisos
Definir Programa de Seguimiento de compromisos
Evaluacin de los Resultados
Indica- Valor Meta % Resul- Causas Reco- Compro- Plazos Respon-
dores Indicador Cumpli- tado(*) del menda- misos sables
miento Resul- ciones
tado

(*): Indicadores Cumplidos, No Cumplidos o Sobrecumplidos


10. Informar los Resultados

Breve resea de la institucin


Contexto de la medicin: qu se midi y qu no
Recursos utilizados por la institucin
Resultados de la gestin (logros y no logros)
Principales causas de desviaciones de resultados
Efectos de resultados negativos (en los ciudadanos, etc)
Compromisos para el periodo siguiente
Recomendaciones para
construir indicadores
estratgicos y evitar
incentivos perversos
INDICADORES QUE INFORMAN SOBRE CUMPLIMIENTO DE
DEMANDA..POR SI SOLO NO ENTREGAN INFORMACION UTIL
PARA TOMA DE DECISIONES

Nde certificados de antecedentes emitidos/ N de certificados solicitados

Esta prestacin constituye una


Resultado ser obligacin legal de ser satisfecha,
siempre de 100% dado que es un requisito insoslayable
para el usuario. Cobertura
garantizada

Aspectos relevantes de los resultados son la calidad del


servicio, la oportunidad, la precisin, la disponibilidad a
nivel nacional (cobertura geogrfica).
Ejemplo
Atencin de emergencias
Indicador: Nmero de emergencias
programadas

Meta: 1000

Nmero de emergencias que se


atendieron
1500
En el Informe de evaluacin anual
aparece como Meta superada
Evitar indicadores que generen
incentivos perversos
Aumento en los porcentajes de recaudacin por multas
a contribuyentes evasores

Puede incentivarse a destinar mayores recursos de los


necesarios a las acciones de fiscalizacin en reas
donde las multas sean ms onerosas; desestimando
otros que tienen mayor importancia desde el punto de
vista de la economa, la competencia, la seguridad
para los usuarios, calidad de los productos, etc.
Evitar indicadores que generen
incentivos perversos
Porcentaje de detenciones por delitos

Puede incentivarse una accin represiva no


acorde con la situacin delictiva, o destinar
recursos extras para la represin del delito,
dejando otras acciones preventivas, etc)
Evitar indicadores que generen
incentivos perversos
Disminucin de tiempos de respuestas, sin llevar
asociado una meta de calidad del producto entregado.

Nmero de fallos judiciales en un tiempo X., puede


implicar que el juicio no se ajuste a derecho, que los
fallos sean inapropiados, generando problemas de
seguridad, reincidencia, etc)
TENER EN CUENTA LA
INTEGRALIDAD DE LA MEDICION

Aumentar la cobertura del programa de raciones a un 55%


de la poblacin escolar.

Llegar a un costos promedio de $5

Alcanzar1000 caloras por racin

INDICADOR DE INDICADOR DE EFICIENCIA INDICADOR DE CALIDAD


EFICACIA
Costo promedio de las * Caloras por racin.
Poblacin escolar en
raciones: gasto total
programa / * Porcentaje de aceptacin
poblacin
programa / nmero de
raciones de los escolares (encuesta)
escolar total
INSUMO PROCESO PRODUCTO RESULTADO RESULTADO
INTERMEDIO
FINAL
CUAN BIEN LO HAY ALGUNA MEJORIA
CUANTOS HACEMOS QUE HACEMOS COMO CAMBIAN LOS
RECURSOS COMPORTAMIENTOS DE LA COMO CAMBIAN LAS
OCUPAMOS VARIABLE, USUARIOS CONDICIONES INICIALES

Costo por
Costos planilla vivienda Nmero de viviendas Porcentaje de viviendas con Disminucin del dficit
Costos unidades estndares de calidad en la habitacional
I de productos Kilmetros construidos normal Provincia X
Costo por
N kilmetro
D Nmero de construido Inspecciones Porcentaje de viviendas con Porcentaje de usuarios
I funcionarios realizadas entorno urbano que reciben vivienda
Tiempo de mejorado declaran satisfaccin
C Licitaciones por calidad y entorno
respuesta
A realizadas inspecciones
D
O Actividades Gasto
R administrativo/
E Gasto Total
Gasto
S
Ejecutado/Gasto
programado
T
Insumos Eficacia Eficacia (Cobertura, Eficacia
I Eficiencia (Cobertura, Focalizacin) Eficiencia
P Calidad Focalizacin) Eficiencia Calidad
O Inptus Economa Calidad Calidad

Sistema de Presupuesto Presupuesto Presupuesto Presupuesto


U Informacin (Productos
S Interna Finales) Sistema de Sistema de Informacin Sistema de
O Informacin
Entidades interna
Directivo Informacin
Sistema de Directivo
Informacin (Productos
I Contralora intermedios,
N Interna
(Productos Productos finales, ORGANISMO DE
F. Intermedios) no relacionados PLANIFICACION
con
O.Estratgicos)
Planificacin Estratgica y Construccin de
Indicadores de Desempeo en el Sector Pblico
de
Costa Rica. San Jos, 5 al 9 de Abril.
Ministerio de Justicia y Paz
Direccin General de Presupuesto Nacional.
Ministerio
de Hacienda. Costa Rica

Lineamientos metodolgicos para la


construccin de indicadores de desempeo

Esta presentacin ha sido elaborada por la autora, con los aportes de los cursos
de Roberto Jimenez (rjimenez@movistar.cl), Jorge de La Fuente (
Jorge.DelaFuente@cepal.org)

rea de Polticas Presupuestarias y Gestin Pblica


ILPES/CEPAL
Marianela.armijo@cepal.org 134

You might also like