SISTEMA DE EVALUACIN

Y CONTROL DE
1
GESTIN

Mara Teresa Hamuy

Jefa Departamento de Evaluacin
Divisin Control de Gestin
Noviembre 2009

SISTEMA DE EVALUACIN Y CONTROL DE

GESTIN

Objetivos del Sistema de Evaluacin y Control de Gestin

Generar informacin de desempeo e introducir prcticas
para mejorar la calidad del gasto.
Eficiencia en la asignacin de recursos
Eficiencia en el uso de los recursos
Transparencia en la gestin de los programas y en
la administracin de las finanzas pblicas

I. Sistema de Evaluacin y Control de Gestin del

Gobierno Central

Perodo 2006 - 2009

SISTEMA DE EVALUACIN
6) 2006: Aumento cobertura - 155 programas o instituciones sern evaluados en 2006-2010.
7) 2009: Creacin de nueva lnea: Evaluacin de Programas Nuevos (EPN)
DEFINICIONES
ESTRATGICAS

INDICADORES DE
DESEMPEO

BALANCE DE
GESTIN
INTEGRAL

PRESENTACION PROGRAMAS AL PRESUPUESTO

1) 2007: Asistencia Tcnica
3)2008: Revisin Diseo de Programas

4) 2008: FONDO DE
MODERNIZACIN DE LA GESTIN
PBLICA

MECANISMOS DE INCENTIVO REMUNERACIONAL INSTITUCIONAL

2) 2007: Metas de Eficiencia Institucional
5) 2009: Programa de Mejoramiento de la Gestin (PMG) - Programa Marco de la Calidad

INSTRUMENTOS DE EVALUACIN Y CONTROL DE

GESTIN
Instrumentos de Monitoreo y Seguimiento

Indicadores de desempeo (1993)

Balances de Gestin Integral (1997)
Definiciones Estratgicas (2001)
Presentacin Estndar de Programas al Presupuesto (2000) a partir de 2008 con
entrega de asistencia tcnica

Evaluacin

Evaluacin de programas (1997)

Evaluacin de Impacto (2001)
Evaluacin de Instituciones (2002)
Evaluacin de Programas Nuevos (2009)

Mecanismos de Incentivo Institucional

Programas de Mejoramiento de Gestin (1998)

Ley Mdica (2003)
Metas de Eficiencia Institucional (2007)

Fondo de Modernizacin de la Gestin Pblica (2008)

5

SISTEMA DE EVALUACIN DE PROGRAMAS E

INSTITUCIONES
Programas
Evaluacin Programas Gubernamentales (EPG) (1997): Analiza
consistencia de los objetivos, aspectos de organizacin y gestin y
resultados a nivel de producto (cobertura, focalizacin, entre otros).
Evaluacin de Impacto (EI) (2001): Adems de lo anterior, permite
evaluar resultados intermedios y finales en los beneficiarios, utilizando
grupos de control y tcnicas economtricas.
Evaluacin de Programas Nuevos (EPN) (2009): Disea la
evaluacin desde que se inicia o planifica un nuevo programa pblico,
estableciendo lneas bases para la futura evaluacin de impacto del
mismo.
Instituciones
Evaluacin Comprehensiva del Gasto (ECG) (2002): Evala una o
ms instituciones, abarcando aspectos de su diseo institucional,
consistencia con las definiciones estratgicas, aspectos de gestin
organizacional y resultados.

5. Evaluaciones

LNEA DE EVALUACIN DE PROGRAMAS

GUBERNAMENTALES (EPG): OBJETIVOS METODOLOGA

La metodologa utilizada se basa en la metodologa de marco lgico.

La metodologa de marco lgico es utilizada por el Banco Interamericano

de Desarrollo (BID), el Banco Mundial y otras agencias internacionales.

Es una herramienta que permite el anlisis del ordenamiento, consistencia

y cumplimiento de los objetivos (fin, propsito, componente y
actividades) del programa.

5. Evaluaciones

LNEA DE EVALUACIN DE IMPACTO

OBJETIVOS
Cuantificar y analizar el resultado final o impacto que tiene el
programa o poltica pblica en sus beneficiarios,
participantes, o usuarios.
Para evaluar el efecto del programa sobre resultados finales se
debe identificar y separar los beneficios logrados como
consecuencia de la intervencin del programa, de aquellos
que de todas maneras hubieran ocurrido sin la ejecucin de
ste, por efecto de la evolucin normal de las condiciones del
entorno o la accin de otros programas pblicos o privados.

LNEA DE EVALUACIN DE PROGRAMAS NUEVOS

Esta nueva lnea, posee los siguientes aspectos centrales:
Diseo de la evaluacin desde el inicio de la implementacin de un
nuevo programa.
Construccin de un grupo de control como parte del diseo de la
evaluacin, el que ser obtenido preferiblemente a partir de un diseo
experimental.
Apoyo tcnico de un Panel Asesor Internacional, conformado por
acadmicos de gran prestigio y experiencia en materia de diseo e
implementacin de evaluaciones de impacto.
Apoyo del Centro de Microdatos del Departamento de Economa de la
Facultad de Economa y Negocios de la Universidad de Chile.

14

EVALUACIN PRINCIPIOS /REQUISITOS

INDEPENDIENTE:

La evaluacin es externa a la Institucin y al

Ministerio responsable.

TRANSPARENTE:

Los resultados deben ser pblicos y enviados al

Congreso Nacional.

TCNICA:

La evaluacin debe ser pertinente y objetiva, es decir

fundamentarse en antecedentes estrictamente tcnicos.

OPORTUNA:

La evaluacin debe proveer informacin en los

tiempos adecuados para apoyar la toma de decisiones.

EFICIENTE:

El costo de la evaluacin debe guardar relacin con los

resultados que se espera de ella (juicios evaluativos).

10

EVALUACIN PROCESO
Seleccin de Programas/Instituciones
Seleccin de Evaluadores
Preparacin de Antecedentes
Capacitacin y Preparacin Marcos Lgicos Preliminares
Evaluacin.
Resultados
Recomendaciones

Envo al Congreso

Compromisos Institucin / Ministerio de Hacienda

Acciones Especficas
Plazos

Seguimiento

PROCESO DE EVALUACIN

DIPRES

Propuesta de
Instituciones a
evaluar

Comit
Inter- Ministerial: SEGPRES,
MIDEPLAN y DIPRES

SEGPRES: Ministerio Secretaria General de la

Presidencia
MIDEPLAN: Ministerio de Planificacin y Cooperacin

ROLES Y FUNCIONES
ACTORES INVOLUCRADOS

DIPRES

Comite
Inter- Ministerial: SEGPRES,
MIDEPLAN y DIPRES

Propuesta de
Instituciones a
evaluar

Agregan o
eliminan prog.
de la lista

Firma del Protocolo

Instituciones seleccionadas

SEGPRES: Ministerio Secretaria General de la Presidencia

MIDEPLAN: Ministerio de Planificacin y Cooperacin

Congreso

PROCESO DE EVALUACIN

DIPRES
Informe

Institucin
.
Resp. del
Evaluada
Programa

Comentarios

EQUIPO
EVALUADOR

SISTEMA DE EVALUACIN DE PROGRAMAS E

INSTITUCIONES
Meta: 155 programas o instituciones sern evaluadas durante esta administracin
Evaluaciones 1997-2009
(Nmero de programas/Instituciones evaluadas)
1997 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 Total
1999
Evaluacin de Programas
Gubernamentales (EPG)

80

18

Evaluaciones de Impacto (EI)

Evaluaciones
Comprehensivas del Gasto
(ECG)
Evaluacin de Programas
Nuevos (EPN)
Total anual

80

18

19

15

13

13

16

13

14

21 27 19 31 27
Total perodo 2006-2009:

22

14

20

237

11(3) (12) (8)

71

16

4 (3) (5)

37

(5)

32
35 (38) 350
127

( ): Evaluaciones en proceso.

15

Evaluacin Comprehensiva del Gasto (ECG) 2008

Recomendaciones - Implicancias
Categoras de Efectos
1.- Ajustes Menores
Considera instituciones que requieren de ajustes de grado menor,
tales como el perfeccionamiento de sus definiciones estratgicas,
y/o de sus sistemas de informacin, monitoreo y seguimiento.

Instituciones

2.- Modificaciones Importantes en el Diseo o Gestin Interna

Considera
instituciones
que
requieren
incorporar
modificaciones, ya sea en el diseo de parte de su estructura
organizacional, y/o cambio en algunas de sus definiciones
estratgicas y/o en procesos claves de su gestin interna, tales - Defensora Penal Pblica
como asignacin y transferencia de recursos e incentivos y
relacin con agentes ejecutores.
3.- Rediseo Sustantivo en el Diseo o Gestin Institucional
Sector Pesca:
Considera instituciones que requieren reformulaciones o - Subsecretara de Pesca
reestructuraciones profundas en su diseo institucional lo que - Servicio Nacional de Pesca
implica cambio en sus definiciones estratgicas, en su estructura (SERNAPESCA)
organizacional y en su gestin interna.
- Instituto de Fomento Pesquero
(IFOP)
16

Cumplimiento de Compromisos al 30 de junio 2009,

segn ao de evaluacin (1999-2008)
Porcentaje de Cumplimiento de Compromisos de las Evaluaciones de Programas e Instituciones al
30 de Junio de 2009, segn ao de evaluacin (1999-2008)

Ao de
Evaluacin

Calificacin
Cumplido

N de Egresados de
Seguimiento2

Parcialmente
Cumplido

Traspaso
de Com- N Programas
No Cumplido promisos1

N
Instituciones

Programas

Instituciones

15

15

49

N Total de
Compromisos

1999

100%

0%

0%

2000

99%

1%

0%

18

17

148

2001

93%

0%

0%

22

21

521

2002

99%

1%

0%

7%
-

18

17

566

14

12

475

2003

99%

1%

0%

2004

94%

5%

1%

22

14

506

2005

83%

11%

6%

24

789

9%

17

450

15

459

16
181

25

0
104

0
7

216
4.179

2006

73%

18%

2007

39%

39%

22%

2008
Total

35%
82%

50%
12%

15%
5%

1%

Notas:
1

Corresponde a compromisos pendientes que han sido traspasados al seguimiento de evaluaciones posteriores de programas o instituciones.

Incluye programas/instituciones egresados de seguimiento o cuyos compromisos pendientes se han incorporado a otras evaluaciones posteriores.

Fuente: Direccin de Presupuestos.

17

EVALUACIN COMPREHENSIVA DEL

GASTO

ASPECTOS METODOLGICOS Y
OPERATIVOS

EVALUACIN COMPREHENSIVA DEL GASTO

ASPECTOS A EVALUAR

a) Diseo Institucional
a.1

La consistencia entre:
-Las prioridades gubernamentales;
-La misin y objetivos estratgicos ministeriales;
-La misin y objetivos estratgicos de la institucin;
-Los productos y subproductos estratgicos; y
-Los beneficiarios vinculados a la institucin.
Se evala si el cumplimiento de los objetivos estratgicos identificados en la
institucin contribuyen al logro de los objetivos estratgicos ministeriales.
De igual modo, se evala la consistencia entre productos y subproductos
estratgicos (productos especficos cuando corresponda) y los objetivos
institucionales.

19

EVALUACIN COMPREHENSIVA DEL GASTO

ASPECTOS A EVALUAR

a) Diseo Institucional (Cont.)

a.2

a.3

La consistencia entre los beneficiarios y los productos estratgicos,

subproductos, o productos especficos provistos, y entre estos ltimos y los
objetivos estratgicos. La evaluacin de consistencia entre beneficiarios y
productos deber considerar el anlisis de los criterios de focalizacin o
seleccin de beneficiarios definidos por la institucin, segn corresponda.
Estructura institucional y la distribucin de funciones que genera esa
estructura entre cada una de las unidades organizacionales y/o regionales, y su
vinculacin con los productos / subproductos estratgicos. Lo anterior
referido a cmo el diseo institucional genera (o no) los incentivos correctos
necesarios para el logro de los objetivos estratgicos de la Institucin.

20

EVALUACIN COMPREHENSIVA DEL GASTO

ASPECTOS A EVALUAR

a) Diseo Institucional (Cont.)

a.4

Duplicaciones, superposiciones y complementariedades existentes entre

productos / subproductos estratgicos, y con productos provistos por otros
servicios pblicos u otros bienes o servicios provistos por el sector privado.

a.5

Actividades y productos prescindibles o que pueden, por su naturaleza, ser

ejecutados por el sector privado o sustituirlos por otros ms eficaces. Lo
anterior en el contexto de anlisis de fallas de mercado y de bienes pblicos.

a.6

Si corresponde incorporar el enfoque de gnero en el diseo de los productos

estratgicos.

21

EVALUACIN COMPREHENSIVA DEL GASTO

MATRIZ DE EVALUACION

Prioridades
Gubernamentales
Sistema de
Programacin
Gubernamental

Misin Ministerial

Objetivos Estratgicos
Ministeriales

Productos
Estratgicos

Clientes / Usuarios
Beneficiarios

Misin Institucional

Objetivos Estratgicos Institucionales

Indicador
Dimensin / mbito

Gasto Asociado
(M$)

Medios de
Verificacin

22

EVALUACIN COMPREHENSIVA DEL GASTO

ASPECTOS A EVALUAR
b) Gestin Organizacional
b.1

b.2

Procesos de produccin, mecanismos de coordinacin y asignacin de

responsabilidades en relacin a la provisin de los productos estratgicos.
Identificar y analizar los procesos y agentes claves (pblico/privado)
vinculados a la provisin de cada producto o subproducto relevante y
capacidades de coordinacin con otros organismos.
Capacidad institucional respecto de:

Recursos Humanos

Capacidades Tecnolgicas

Gestin de la Informacin

Infraestructura, etc.

23

EVALUACIN COMPREHENSIVA DEL GASTO

ASPECTOS A EVALUAR
b) Gestin Organizacional (Cont.)
b.3

Actividades e instrumentos de seguimiento, monitoreo y evaluacin que son

utilizados en la provisin de sus productos estratgicos; como asimismo las
actividades de fiscalizacin que se desarrollan para velar por el adecuado
uso y acceso a sus productos.

b.4

Mecanismos de asignacin y transferencia de recursos, las modalidades de

pago, los incentivos y la relacin entre los agentes ejecutores y la institucin
pblica responsable.

b.5

Mecanismos de auditora, anlisis de gasto, rendicin de cuentas y

transparencia en el uso de recursos para cada producto estratgico.

24

EVALUACIN COMPREHENSIVA DEL GASTO

ASPECTOS A EVALUAR

c) Resultados y Uso de los Recursos

c.1

Consiste en la evaluacin de los resultados de productos y subproductos

estratgicos, considerando los mbitos de control (proceso, producto y
resultados intermedios y finales) y las dimensiones del desempeo (eficacia,
eficiencia, economa y calidad), vinculando estos resultados con los recursos
asignados para la provisin de estos beneficios. Los indicadores utilizados en
la evaluacin tendrn como fuente tanto informacin construida para la
evaluacin como la de uso en la Institucin.

c.2

Se considera un anlisis del presupuesto institucional y de la disciplina

financiera (programacin de gastos y ejecucin financiera).

25

EVALUACIN COMPREHENSIVA DEL GASTO

ASPECTOS A EVALUAR

d) Conclusiones
e) Recomendaciones

26

Caso: Direccin de Arquitectura

Misin Direccin de Arquitectura
Gestionar la edificacin pblica, incorporando el patrimonio arquitectnico, el
arte y la cultura a la infraestructura y espacio pblico; generando los
instrumentos normativos que permitan la adecuada fiscalizacin, para satisfacer
con calidad los requerimientos de las Instituciones del Sector Pblico..
Objetivos Estratgicos:
1.- Identificar, gestionar y desarrollar proyectos de inversin en edificacin
pblica relevantes para el cumplimiento de las polticas de modernizacin del
Estado.
2.- Gestionar la recuperacin del patrimonio arquitectnico de inmuebles de
propiedad estatal, y/o declarados Monumentos Nacionales, con el objeto de
cautelar y conservar el patrimonio cultural arquitectnico de valor excepcional
del Estado.
3.- Gestionar e incorporar obras de arte, en el mbito de la plstica, a la
infraestructura y espacio pblico.
27

Caso: Direccin de Arquitectura

Recomendacin:
Redefinir la Misin de la DA con el objeto que quede explcito el rol de
asesora tcnica que brinda a instituciones de la administracin del
Estado.
Compromiso:
Se redefini la Misin como:
Proveer y conservar la edificacin pblica requerida, para favorecer la
competitividad y el mejoramiento de la calidad de vida de los
habitantes a travs del MOP o por mandato de otras instituciones
Se incorpor el siguiente objetivo estratgico:
Incorporar estndares y procedimientos para garantizar la
transparencia, cobertura y calidad en la Edificacin Pblica
28

Caso: Direccin de Arquitectura

Recomendacin:
- Eliminar el objetivo estratgico 3 Gestionar e incorporar obras de arte a la
infraestructura y espacio pblico, su producto y subproductos, traspasando los
subproductos convocatoria a concursos de arte y ejecucin de obras de arte, al
Consejo de la Cultura (CNCA), en la medida que este cuente con las
capacidades requeridas para ello.
- Externalizar las actividades relacionadas con los subproductos diseo grfico
de apoyo al Programa Ministerial de Obras de Arte, montaje de exposiciones y
diseo de publicaciones .
Compromisos:
- Elaborar un programa de trabajo entre la DA y la CNCA para el traspaso
paulatino de las funciones de convocatoria a concursos de arte y ejecucin de
obras de arte al CNCA.
- Externalizar las actividades relacionadas con el diseo grfico de apoyo al
Programa de Obras de Arte,
montaje de exposiciones y diseo de
publicaciones.
29

Caso: Direccin de Arquitectura

Recomendacin :
Definir criterios de seleccin de clientes y focalizar
su rol en aquellas
instituciones de la administracin pblica que no cuentan con las capacidades
tcnicas para hacer encargos y supervisar contratos de edificacin pblica,
entre las cuales se encuentran los municipios pequeos, o en obras de mayor
tamao o complejidad, tales como las asociadas al tema patrimonial.
Compromisos :
1.Elaborar metodologa para establecer estndares de edificacin pblica.
2.Difundir los estndares dentro de la DA.
3.Implementar uso de estndares en obras mandatadas a la DA.
4.Elaborar Gua/Pauta que incluya criterios de priorizacin de obras
edificacin pblica.

30

Caso: Direccin de Arquitectura

Recomendacin :
Evaluar las reales necesidades de personal para los diversos cargos de la
institucin realizando un estudio que permita definir un estndar en funcin
del nmero y/o monto de los proyectos y metros cuadrados construidos, entre
otros aspectos. Para los inspectores fiscales se debera establecer la frecuencia
y duracin de las visitas de inspeccin por proyecto, en funcin de tipo de
proyectos, etapas del proceso de ejecucin, rangos de tamao y dispersin
territorial.
Compromisos :
1.Elaborar diagnstico de las capacidades de la inspeccin fiscal y de las
brechas existentes.
2.Elaborar propuesta para abordar las brechas detectadas considerando como
marco el Proyecto de Modernizacin Institucional del MOP
3. Implementar propuesta para incorporar cambios que permitan reducir las
brechas detectadas, considerando el cronograma de implementacin fijado en
el marco del Proyecto de Modernizacin del MOP.
31

Caso: Direccin de Arquitectura

Recomendacin :
Revisar y perfeccionar los mecanismos de coordinacin y discusin
presupuestaria al interior del MOP, a los efectos de alcanzar una gestin de
planificacin de la DA que permita una completa y eficiente ejecucin
presupuestaria.
Compromisos :
1.Realizar un anlisis del proceso de planificacin y ejecucin de la inversin
con el objeto de perfeccionar los mecanismos de coordinacin y discusin
presupuestaria relevantes para la DA, dentro del MOP.
2. En funcin de los resultados del anlisis de proceso proponer mejoras en los
procedimientos y evaluar la pertinencia de desarrollar una programacin
plurianual de las iniciativas de inversin.

32

Sistema de Evaluacin de Programas e Instituciones

Los Mitos sobre las Evaluaciones y sus Resultados
Es importante tener en cuenta los mitos que se han construido alrededor del
Sistema de Evaluacin de DIPRES.
1. Las evaluaciones las realiza la Direccin de Presupuestos.
2. La Direccin de Presupuestos evala para reducir los recursos de los
programas o de las instituciones.
3. Las evaluaciones estn hechas para cerrar programas.
4. Nunca se cierran los programas que han sido mal evaluados.
Las evaluaciones realizadas en el marco del Sistema de Evaluacin y Control
de Gestin buscan mejorar la gestin de los programas y de las instituciones,
incorporando las recomendaciones realizadas por los evaluadores externos,
contribuyendo a la modernizacin del Estado.
33

PRINCIPALES LOGROS DEL SISTEMA DE

EVALUACIN Y CONTROL DE GESTIN

Voluntad poltica de implementar mejoramiento en la gestin pblica de un

modo sistemtico, gradual y en el marco de la normativa existente.
Se ha logrado vincular el sistema de evaluacin y control de gestin al
proceso presupuestario permitiendo contar con informacin de desempeo
que utilizada con otras categoras de informacin ha permitido mejorar el
proceso de toma de decisiones.
Involucramiento del Jefe de servicio en los temas de gestin institucional,
contribuyendo a la pertinencia y relevancia del proceso en algunos
instrumentos tales como evaluaciones institucionales, programa marco de la
calidad.
Se han mejorado las prcticas de gestin institucional con el apoyo de
especialistas externos, unificando metodologas de trabajo y contribuyendo a
definir con mayor claridad las responsabilidades y autoridades al interior de
las instituciones.
Se ha incorporado gradualmente una cultura del mejoramiento continuo en
las instituciones.
34

PRINCIPALES DESAFOS DEL SISTEMA DE

EVALUACIN Y CONTROL DE GESTIN

Lograr el liderazgo y direccin del Jefe de servicio y equipo directivo con

compromiso explcito en el proceso de mejoramiento de gestin de la
institucin.

Mayor uso de la informacin de desempeo en los procesos de toma de

decisiones al interior de la organizacin

Mejorar los sistemas de informacin

Principales Desafos del Sistema de Evaluacin de

Programas e Instituciones
Fortalecer el Sistema de Evaluaciones
Mejorar la metodologa de evaluacin comprehensiva del gasto
considerando el uso de modelos de evaluacin de gestin aplicados
en otros sectores (modelo de gestin de calidad, modelos de
excelencia, etc.)
Mejorar oportunidad (contratos, tiempo duracin, seleccin de
programas).
Mejorar Calidad (informacin disponible, ampliar mercado).
Mayor uso informacin de evaluacin.
Disear evaluaciones experimentales aprovechado la gradualidad en
la implementacin de las nuevas reformas o polticas
Avanzar en el mejoramiento del Sistema de Monitoreo de los
compromisos
Integrar sistemas de informacin actualmente disponible.
(CASEN,FPS, RECH, FONASA, etc.)

www.dipres.gov.cl
Sistema de Evaluacin y Control de Gestin