Evaluacin de

Proyectos Sociales
(SOL-190)
PROFESORA: ANDREA LOPEZ
ANDRS GONZLEZ

ndice
Diseo de un Programa Social................................................................................................2
Diseo de Indicadores.............................................................................................................8
Matriz de Diseo...................................................................................................................12
Formas de Evaluar un Programa...........................................................................................15
Evaluacin de Procesos y Evaluacin de Impacto................................................................22
Evaluacin de Procesos.....................................................................................................22
Evaluacin de Impacto......................................................................................................24

10 de Marzo.

Diseo de un Programa Social.

Una poltica pblica se puede definir como un programa de accin de una autoridad
investida de poder pblico. Ahora bien, el problema de esta definicin es que le entrega el
monopolio de la creacin de polticas pblicas al Estado. Un concepto ms actualizado y
amplio puede ser: son cursos de accin y flujos de informacin relacionados con un
objetivo poltico definido en forma democrtica, que son desarrollados por el sector
pblico y frecuentemente con la participacin de la comunidad y tambin del sector
privado. De esta forma, la creacin de una poltica pblica no es slo monopolio del
Estado; supone la participacin de actores tanto del mundo privado (empresas, por
ejemplo), adems de distintas organizaciones civiles.
Cuando hablamos de un diseo de programa nos vamos a centrar en tres puntos.
I.

Atingencia: en este nivel se debe analizar la:

a) Relevancia social: es un diagnstico de si el problema existe o no, y, de
existir, a cuntas personas afecta. Esto puede ser respondido con
investigaciones acadmicas y con estadsticas nacionales. (Si se da de tarea
la creacin de un Programa nacional de alfabetizacin para mayores de 18
aos, ello no tiene mayor sentido en la medida que casi el 100% est
alfabetizado. Ello cambia si nos vamos a un pas como Nigeria donde un
75% de los hombres y 58% de las mujeres estn alfabetizados; aqu s es
atingente.)
b) Insercin Institucional: ver cmo se enmarca el programa en los objetivos de
la institucin, en un ministerio, por ejemplo. Y tambin se quiere ver la
relacin del programa con otros programas; esto es importante para evitar
duplicidades, porque un programa puede ser el complemento de otro, porque
se puede optimizar recursos, etc. (Ejemplo clase: Beca Vocacin de
Profesor, implementado por la Sub-secretaria de Educacin. Ella entrega
una beca de arancel a los estudiantes con 600 puntos o ms en la PSU para
2

estudiar la carrera de Pedagoga. Adems, la misin del Ministerio de

Educacin (MINEDUC). Considerando la Misin del MINEDUC1, se
inserta bien est poltica pblica? S, se inserta bien, en la medida en que la
misin del Ministerio dice que buscan asegurar un sistema educativo
inclusivo y de calidad. Sin embargo, este programa pierde todo el valor
relativo que pueda tener con la implementacin de la Gratuidad, por
ejemplo. Se estn duplicando polticas, no se estn complementando. A la
presentacin le tiende a faltar una teora. Asume de que la PSU es un buen
mtodo de medicin de calidad al igual que la prueba INICIA; en parte
II.

porque no hay mejores instrumentos.)

Coherencia interna: se ve la interrelacin de tres elementos del programa:
a) Los objetivos: qu se busca lograr. Estos se ven en tres niveles:
1. Fin ltimo: contribucin del programa a solucionar un problema
social mayor; no es responsabilidad directa del programa, ya que es
algo tan general como disminuir la pobreza, por ejemplo. Es algo que
va a contribuir a, pero el programa no se puede hacer
responsable en su totalidad del problema en la medida que es
demasiado ambicioso.

1 El Ministerio de Educacin de Chile es el rgano rector del Estado encargado de fomentar el desarrollo de
la educacin en todos sus niveles, a travs de una educacin humanista democrtica, de excelencia y abierta al
mundo en todos los niveles de enseanza; estimular la investigacin cientfica y tecnolgica y la creacin
artstica, y la proteccin e incremento del patrimonio cultural de la Nacin. Del mismo modo, esta institucin
es la llamada a velar por los derechos de todos los estudiantes, tanto de establecimientos pblicos como
privados.La misin del Ministerio de Educacin es asegurar un sistema educativo inclusivo y de calidad que
contribuya a la formacin integral y permanente de las personas y al desarrollo del pas, mediante la
formulacin e implementacin de polticas, normas y regulacin, desde la educacin parvularia hasta la
educacin superior.
Es funcin del Ministerio de Educacin que el sistema integrado por los establecimientos educacionales
financiado con recursos pblicos provea una educacin gratuita y de calidad, fundada en un proyecto
educativo pblico laico, respetuoso y pluralista, que permita el acceso a toda la poblacin y que promueva la
inclusin social y la equidad.

2. Objetivo general: s es responsabilidad del programa; es el resultado

directo de la ejecucin del programa. Es lo que el programa pretende
conseguir de manera concreta con su implementacin. Un programa,
un objetivo general.
3. Objetivos especficos: tambin son responsabilidad del programa.
Son metas intermedias que ayudan a conseguir el objetivo general,
por lo tanto, deben tener coherencia con el Objetivo general.
b) La poblacin objetivo: a quien va dirigido el programa, a quien se busca
beneficiar con el programa. Puede estar delimitada por lineamientos de
cualquier ndole, incluso, y generalmente, presupuestarios. En este contexto
se distingue entre:
1. Poblacin potencial: aquella que presenta el problema que se busca
solucionar. Es lo que se quiso disear.
2. Poblacin beneficiada: aquella que efectivamente se vio beneficiada
con el programa. La mayora de las veces es distinta a la Poblacin
potencial. Es lo que efectivamente pas. Por lo general es un
subconjunto de la poblacin potencial.
3. Estrategia de intervencin: qu estrategia empleo para conseguir el
objetivo; qu es lo que hace el programa. Tpicamente se hacen dos
cosas:
- Se entregan bienes y/o servicios,
- Se realizan actividades.
Adems de eso, se ve el vnculo entre las actividades, bienes o servicios y los
objetivos del programa: por qu de hacer A se llegara a B? Esto se puede
conseguir con investigaciones, literatura al respecto, experiencia internacional; por
lo general se ocupan fuentes terciaras. Muchas veces en esta etapa puede haber
problemas a nivel de saber qu es lo que hace un programa (ejemplo, programa 24
horas del Ministerio del Interior); a nivel del vnculo entre las actividades, bienes o
servicios y los objetivos del programa (ejemplo, Maletn Literario). (Al momento de
disear un programa se puede hacer referencia respecto a las condiciones externas,
el contexto en el cual se despliega el programa).
Hay que analizar bien la coherencia interna; ello se consigue en virtud de la
evidencia emprica, en base a estudios hechos al respecto. La coherencia interna
4

no se limita a enumerar los elementos anteriores; hay que citar estudios que
abalen la existencia del vnculo entre los distintos elementos de la coherencia
interna. A ratos, puede que los elementos de la coherencia interna puede que no
se entrelacen muy bien.
III.

Consistencia: es la medicin de resultados del programa; se realiza ex ante. Es la

relacin, la brecha existente entre el diseo (planificacin) y la implementacin
de un programa. (Supone una coherencia interna slida). Se mide en funcin de
indicadores, que a su vez se pueden clasificar segn el mbito de desempeo
(eficacia, eficiencia, economa, calidad de servicio), y segn mbito de control
(procesos, productos, resultados [corto, mediano, largo plazos]).
a) La eficacia: se refiere a si el programa cumple o no con sus objetivos, en
particular los objetivos generales o propsito, y los objetivos especficos (no
se considera el fin ltimo en la medida que no es responsabilidad directa
suya). Estos objetivos no slo son analticamente distintos, sino que tambin
se alcanzan en plazos distintos; en general los objetivos especficos son
conseguibles en un corto plazo (ejemplo, Programa Plan Cuadrante).
Entonces, al analizar los resultados se va a distinguir entre:
1. Producto y Resultado (output) a corto y mediano plazo:
consecuencias inmediatas en el corto y mediano plazo; en
trminos analticos se est midiendo los objetivos especficos del
programa. Son las actividades del programa para conseguir el
objetivo. (Un programa de vacunacin de invierno se puede
evaluar en invierno, en un par de meses).
2. Impacto (outcome) a largo plazo: consecuencias a largo plazo; se
realiza una medicin del objetivo general del programa. (Un
programa de reduccin de la pobreza no se puede medir, segn la
literatura, hasta antes de 5 aos).
As, cobra importancia el evaluar un programa cuando debe ser evaluado en
funcin de sus objetivos, particularmente en polticas sociales; esto
permitira arreglar el problema sobre la marcha. (Ejemplo, Prevencin
Temprana, para evitar el consumo de droga: programa dirigido a nios entre
5

9 y 10 aos. Se mide el programa a los 3 aos, es decir, cuando los nios

tienen 13 aos. El problema es que el consumo de droga tiende a iniciar
entre los 14 y 17 aos; ver que la poblacin disminuyo su consumo no se
ver hasta cuando sta tenga 17 aos.)
b) La eficiencia: refiere al costo al cual el programa obtuvo resultados, es decir,
cunto costo que el programa cumpliera con sus objetivos. Parte del
supuesto de que los recursos son escasos, por lo tanto, se analiza el volumen
de recursos destinados al programa. La relacin entre eficacia y eficiencia es
importante; los esfuerzos tienen que ser proporcionales a lo que se quiere
lograr. La eficiencia se evala en dos momentos:
1. Ex ante: es el presupuesto destinado al programa. Se analiza el precio
del bien o servicio que se va a entregar; y las opciones disponibles,
se busca la opcin menos costosa. (Ejemplo, Puente de Chacao: se
compar con la mejora de un sistema de flotas. En la medicin de
gasto era ms eficiente mejorar la flota.) No slo importa obtener lo
que se quiere con el proveedor ms barato, sino que tambin las
opciones disponibles para conseguir el objetivo.
2. Ex post: anlisis de gasto. Se realiza sobre la base de indicadores y el
anlisis de costo-eficiencia, es decir, evaluacin socio-econmica.
Cuando se evala un programa se distingue entre Gasto Administrativo
(G.A) y Gasto Social (G.S). As, si:
G. A G. S=[0,1]
El resultado ser 0 en la medida que el Gasto Administrativo sea mayor que
el Gasto Social

(G . A>G . S ) . Ser 1 cuando el Gasto Social sea mayor

que el Gasto Administrativo

(G . A<G . S ) . El resultado de la divisin

debe ser lo ms cercano a 1.

c) Calidad del producto: evaluacin de la poblacin beneficiada respecto al
producto recibido, o al programa. Es la capacidad institucional del programa
6

para responder a las necesidades de sus clientes. Refiere a conceptos tales

como atencin, comodidad, acceso, etc.
d) Economa: es la capacidad de la institucin de movilizar los recursos
financieros. Un ejemplo puede ser la capacidad de autofinanciamiento, la
generacin de recursos, la capacidad de ejecutar adecuadamente el
presupuesto, etc.
Adems de eso existen tres mbitos de control que se emplean en distintos
momentos del programa.
I. Procesos: indicador durante la implementacin del programa.
II. De productos: hace referencia al momento previo al momento de terminar el
programa, incluye los bienes producidos o entregados.
III. De Resultado:
a) Intermedio: refiere a cambios de comportamiento o de actitud una vez
que los beneficiados recibieron el producto; se mide a corto y mediano
plazo
b) De impacto o de largo plazo: refiere a los cambios en las condiciones de
vida de la poblacin objetivo.
Se miden en base a indicadores; ellos dan un dato objetivo sobre la brecha entre el
diseo y la implementacin. Un indicador debe tener una serie de exigencias:
I. Simples; sin caer al extremo de la simplicidad. Resumir conceptos
multidimensionales en un solo indicador.
II. Observables y medibles, generar una medida objetiva de las dimensiones.
III. Deben ser vlidos. (Hay un trade-off entre lo valido y lo simple: entre ms
dimensiones abarque es ms valido, pero deja de ser simple).
IV. Precisos.
V. Sensibles: deben permitir captar cambios en la poblacin objetivo.
VI. Verificables: debe existir una fuente de informacin que permita verificar la
informacin que se est obteniendo.
VII. Comparables, tanto en el tiempo como con otras mediciones; esto permite
situar la informacin. (Ac tambin hay un trade-off entre la comparabilidad y la
perfectibilidad del indicador).
VIII. Econmicamente razonables.
Todo lo anterior es lo que se conoce como la Racionalidad o Lgica del Programa.
7

El diseo est relacionado con la evaluacin. Un programa mal diseado

difcilmente ser bien evaluado, difcilmente cumplir los objetivos que se propone. Los
programas siempre estn en constante construccin.

17 de Marzo.

Diseo de Indicadores.
La primera etapa a evaluar en un programa social es la atingencia, en una segunda etapa se
ve la coherencia interna, la tercera etapa se ve la consistencia. La eficiencia y la eficacia se
miden en funcin de indicadores. Al minuto de disear un indicador hay que tener claro de
dnde se va a sacar la informacin para que el indicador mida lo que se supone que debe
medir.
Un indicador es una simplificacin de la realidad que nos da informacin numrica a cerca
de las consecuencias y/o del funcionamiento del programa. Los indicadores se pueden
disear ex ante (antes que el programa comience a implementarse) o ex post (evaluar el
programa estando en ejecucin); se prefiere hacerlo ex ante. Un indicador va a tener un
conjunto de caractersticas deseables:
a) Simple: se apela al principio de parsimonia. Se prefieren indicadores sencillos a
los complejos. Hace referencia a que sea una simplificacin de la realidad.
(Ejemplo: Nivel socioeconmico; con dos dimensiones: Dimensin econmica
(Bienes), Dimensin social (Nivel educacional). Un indicador simple se
construira cruzando ambas dimensiones).
b) Observables y medibles: se busca una medida objetiva. De ah deriva la
importancia de definir el concepto: debe ser descompuesto en indicadores
pequeos, o dimensiones, que sean medibles. (Ejemplo: Informe de la ONU
ubica a Dinamarca como el pas ms feliz del mundo. Siendo la unidad de
anlisis los pases. Entonces este ndice toma seis preguntas referentes al: PIB,
esperanza de vida, generosidad, el apoyo social, la libertad, la corrupcin. Un
concepto complejo como la felicidad fue descompuesto en estas seis
dimensiones, ms all de que se est de acuerdo con estas dimensiones).
8

c) Vlidos: se refiere a que se est midiendo el concepto que se busca medir. El

principal problema de la validez es que se va a tener un trade off entre la validez
y la simplicidad: para asegurarse de medir todo lo que se quiere medir por lo
general se tiene que medir de manera ms exhaustiva. (Ejemplo: el concepto de
Vulnerabilidad social, que por lo general se mide en funcin del ingreso. El
indicador puede ser simple, pero no valido: hay que sumar otras cosas tales
como educacin, contexto familiar, redes de apoyo, etc.) Lo importante en la
validez es explicitar lo que se quiere medir, es decir, es importante restringir lo
que se va entender por el concepto en cuestin, de ah la importancia de los
marcos tericos en las investigaciones.
d) Precisos: es decir, a qu nos estamos refiriendo con un determinado indicador.
Es importante para la comparabilidad, porque, por ejemplo, en el mismo caso de
la felicidad, as se pueden comparar distintos estudios referentes al mismo
concepto. Cuando se da un indicador lo primero que se tienen que hacer una
frmula matemtica, los periodos de medicin en los cuales se miden los
indicadores, despus hay que decir la unidad de observacin, es decir, a quin se
est midiendo, y cuarto las fuentes de informacin; de aqu nace la importancia
de disear el indicador antes.
e) Sensibles: es decir, que tengan poder estadstico. Esto aplica para distintos tipos
de programas. Cuando se mide un indicador se tiene que medir en funcin de
una muestra que te permita medir el concepto. Su poder estadstico debe
permitir ver los cambios en la poblacin objetivo. (Ejemplo: encuestas de
drogas. Realizar una de estas encuestas es complejo en la medida que se tienen
que hacer en el mismo periodo y porque las prevalencias en Chile no son tan
altas).
f) Comparables: esto es en dos sentidos: consigo mismos, es decir, con las cifras
previas del mismo indicador esto se puede conseguir de dos formas: aplicando
la misma frmula, como por ejemplo la CASEN, o aplicando el mismo periodo,
como por ejemplo las encuestas de drogas y las de demandas de dinero (Banco
Central); estos estudios comparan con el ao anterior pero manteniendo el mes
dado que, por ejemplo, hay meses en los cuales los chilenos gastan ms que
otros meses, y comparar Agosto con Noviembre no tiene mayor sentido y con
9

los dems indicadores, con otros estudios; aqu va a ser crucial que el indicador
sea efectivamente preciso, lo que se tiende a hacer es vender metodologas, lo
cual te asegura que toda la informacin es comparable. Esto es importante en la
medida que permite poner en contexto la informacin que se est midiendo.
Ahora, hay un trade off siempre entre comparabilidad y perfeccionamiento: qu
pasa si el indicador no es lo suficientemente valido? Se reportan dos
indicadores: el antiguo y el nuevo. La idea es que al tener una serie lo
suficientemente larga de indicadores nuevos se puede dejar de usar el indicador
antiguo.
g) Verificables: tiene que ver con las fuentes de informacin que se utilizan. Al
medir un indicador de determinada manera se tiene que decir explcitamente de
dnde se saca la base de datos; ello para verificar que lo que se midi es
efectivamente cierto. Tiene que ver un tanto con la transparencia del estudio.
Entonces, lo que se hace es que los indicadores se presentan de una determinada
manera segn un nombre, una definicin y una base de datos de donde se extrae
la informacin.
h) Econmicamente razonables: los indicadores ms primarios de un estudio son
aquellos que se recolectan de manera muy rpida, pero en la medida que el
indicador se va sofisticando se hace ms caro el recolectar la informacin. Lo
que se hace es que le Estado asume la aplicacin de ciertas encuestas. Y en
funcin del costo de la medicin, se ve tambin su periodicidad.
Veamos cmo tiene que ser un indicador en funcin del programa.
a) Pertinente: que el indicador mida las metas estratgicas del programa. Aqu hay
que hablar de un sistema de incentivos: cuando uno pone un indicador, se pone
una escala de incentivos a la institucin; las instituciones funcionan por bonos
relacionados a ciertas metas. (Ejemplo, carabineros, robo de auto y robo
comn). Debe dar cuenta de los objetivos concretos del programa, para evitar
incentivos perversos, un ejemplo puede ser el de los carabineros: se les dice
quiero evaluar cmo se est enfrentando el robo de autos, ellos deciden
enfocarse en este tipo de delitos para tener una mejor evaluacin.

10

b) Atribuible al programa: es decir, evaluacin del impacto. Apunta a establecer

una relacin causal entre el programa y lo que se est midiendo; limpiar el
indicador de todas las condiciones externas. Por ejemplo, si se mide la pobreza
en un contexto de crisis econmica, no necesariamente dice que el programa es
malo, o no cumple con su fin. Las consecuencias que se estn evaluando sean
directamente atribuibles al programa, y no obedezcan a factores externos; as se
le da incentivos al programa a mejorarlo, por ejemplo.
c) No manipulables: las evaluaciones tienen que ser autnomas. El problema de
esto es que por lo general funciona con auto-reporte. Ello para que sea una
informacin objetiva, y no se vea alterada en pos de tener resultados positivos.
d) Variables: tiene que ver con los plazos. Al construir el indicador hay que decir el
momento en el cual se espera que el efecto se presente. Hay que ver la
variabilidad del indicador, y cuando se espera que esta se produzca.
e) Validados: refiere al vnculo que como evaluador hay que establecer con la
institucin evaluada. Hay que explicitar que se evala al programa y no a la
institucin. (Ejemplo, el gremio de los profesores que tienden a ser reticentes a
las evaluaciones que puede que no vean que las evaluaciones no son tanto para
medirlos a ellos, sino que para medir los programas de pedagoga).
En la formulacin de un indicador se debe explicitar:
a)
b)
c)
d)
e)

La unidad de anlisis, es decir, qu se est midiendo.

Cunto se quiere aumentar o disminuir.
Cundo se evaluarn los objetivos del programa.
Dnde se espera conseguir esos objetivos.
Siempre debe estar construido por un enunciado y frmula matemtica.

28 de Marzo.

Matriz de Diseo.
Internacionalmente se ocupan dos tipos de matrices: el Modelo Lgico y la Teora de
Cambio.
La primera da la imagen de cmo el proyecto est funcionado.
1. Recursos/Inputs.
2. Actividades: qu se est realizando con esos recursos

11

3. Outputs: son los productos que consiguen los beneficiarios a partir de las
actividades. Es el producto entregado.
4. Outcomes: el resultado se puede medir en corto, mediano, largo plazo; el ltimo se
mide en funcin del impacto del programa, los dos primeros son los resultados
intermedios del programa.
5. Impacto: los resultados a largo plazo
Los resultados previstos son la unin entre el outocome y el impacto; la unin entre los
recursos y las actividades se llama trabajo previsto.

Recursos/I
nputs

Actividades

Outputs

Outcomes

Impacto

El primer paso es obtener los recursos, una vez que se tienen los recursos se realizan las
actividades que otorgarn ciertos bienes y servicios que darn un resultado intermedio, y si
se consiguen esos resultados intermedios, se puede decir con cierta seguridad que se
obtendr el resultado final.
Otra matriz que se va a ver es la Teora de Cambio (JPAL). Trata de establecer un
modelo causal entre el inicio del programa y el impacto, pero agrega la dimensin de las
necesidades, es decir, realiza un diagnstico previo; agrupa los insumos y las actividades en
Insumo/Intervencin:

12

Necesidade Insumo/Inte
s
rvencin

Productos

Resultado
Intermedio

Impacto

es un poco ms amplio en la medida que parte de las necesidades: aade el porqu es

necesario el programa.
En Chile se ocupa el Marco Lgico, el cual busca medir el desempeo del
programa en cada una de sus etapas. Esta matriz es una tabla.
En la primera columna es la correspondiente a objetivos y actividades. Esta matriz
explicita el fin, es decir, la contribucin que el programa quiere hacer a solucionar el
problema social, aun cuando la solucin del problema no sea responsabilidad exclusiva del
programa. En segundo trmino, explicita el Objetivo General, el cual s es responsabilidad
exclusiva del programa. El tercer nivel de esta columna va a ser los componentes: los
bienes y servicios que entrega el programa. Y en cuarto lugar estn las actividades, es decir,
las tareas para conseguir los componentes. En la segunda columna de la matriz se ubican
los indicadores de desempeo. Para cada indicador hay que explicitar el nombre, la frmula
matemtica, la dimensin del desempeo (eficacia, eficiencia, economa, calidad de
servicio) y el mbito de control (proceso [Actividades], producto [Componentes], resultado
[Fin; Objetivo General]). (A nivel de fin la responsabilidad de medirlo tiende a ser de otra
organizacin estatal, s hay que explicitar cual, en el caso de los otros hay que explicitar
con cul indicador se van a medir). En la tercera columna se ubican los Medios de
Verificacin: a cada indicador creado hay que explicitar de dnde va a salir la informacin
necesaria para su medicin. Y la ltima columna son los supuestos, es decir, condiciones
externas que no dependen del programa que tienen que ocurrir o no ocurrir para que el
programa se desarrolle correctamente. Son condiciones que en general refieren a la
implementacin del programa. Ahora cmo se determina un buen supuesto? Hay que
responder una serie de preguntas del supuesto en funcin del programa:
a) Es importante el supuesto para mi programa?
13

b) Es probable que ocurra?

Tiene que ser un supuesto clave para que si tal no ocurre mi programa no se logre
desarrollar. En el segundo caso no se incluyen situaciones con posibilidades de ocurrencia 1
o 0; la probabilidad tiene que estar acotada entre esos nmeros.
Resumidamente:
c) 1era Columna: yendo de general a particular.
1. Fin.
2. Objetivo General o Propsito.
3. Componentes (bienes y servicios).
4. Actividades.
d) 2da Columna:
1. Indicadores.
e) 3era Columna:
1. Medios de Verificacin.
f) 4ta Columna:
1. Supuestos.
La tabla de Marco Lgico quedara de la siguiente forma; y se lee de derecha a
izquierda y de abajo hacia arriba.

Objetivos

Indicadores

Medios de

Supuestos

Verificacin
Fin
Propsito
Componente
s
Actividades

Nombre/Dim

Frmula

ensin/mbit clculo

de Cuantificaci
n

os de Control

Una cuarta Matriz es la Matriz del Ministerio de Desarrollo Social, la cual tiene
cinco categoras:
a)
b)
c)
d)

Antecedentes.
Diagnostico o Atingencia.
Objetivos y poblacin.
Estrategia de Intervencin.
14

e) Indicadores.
La idea de esto es que existe un banco de los programas sociales existentes en Chile.
En conclusin, hay cuatro tipos de matrices que se ocupan en funcin de lo que se
quiere medir.

31 de Marzo.

Formas de Evaluar un Programa.

Para qu hacer una evaluacin de un programa, es decir, qu podra suceder en caso de
que se evale una poltica pblica y es buena?:
I.

II.

Porque sirve como una base cientfica o emprica para:

a) Desarrollar nuevas polticas pblicas
b) Aumentar la eficacia de las que ya existen
c) Descartar las que no funcionan
A su vez, sirve de informacin de ayuda para la organizacin y gestin de los

III.

organismos.
a) Ayuda a saber qu hacer y cmo hacerlo.
b) Obtener mayor apoyo institucional.
Tambin sirven como accountability.

Pero tambin las evaluaciones tienen consecuencias. Qu pasa si no se evala y la poltica

pblica es mala?
I.
II.

Se gastan recursos, entendiendo recursos en un sentido amplio.

Se pueden estar consiguiendo efectos adversos en nuestra poblacin objetivo, en

III.

la poblacin beneficiada.
Se pierde la oportunidad de mejorar una poltica pblica. Muchos de los
problemas de los programas son problemas de implementacin; modificar algo
muy pequeo puede arreglar el programa de manera sustancial. Por ejemplo, si
sse implementa un programa de capacitacin a las 15:00 hrs, lo ms probable es
que el programa fracase en la medida que no se ajusta a los horarios de la
poblacin objetivo; pero no fracasa porque el programa en s sea malo.

Ahora, qu pasa si no se evala y era una buena poltica pblica?

15

I.

No se pueden atribuir los efectos al programa. Ello implica que se puede tener
un programa muy efectivo, pero no va a recibir el apoyo institucional necesario

II.

para seguir desarrollndolo.

No se puede expandir un modelo que funciona. Si no se tiene una evaluacin
que diga que el programa funciona, este no se puede expandir.

Cmo se hace una buena evaluacin? Existen distintos tipos de evaluacin:

I.

La naturaleza del programa: cada programa es distinto en su naturaleza,

bsicamente en sus escalas de objetivos, en la temporalidad de los efectos y en
la complejidad de los componentes. Por ejemplo: comparar una Campaa de
Vacunacin de Invierno contra la Reforma Educacional. Entender la naturaleza
del programa es importante en la medida que en el caso de la Campaa no es

II.

necesario una evaluacin de procesos; el impacto es casi inmediato.

Los recursos que se posean: en la medida que hay que asegurar imparcialidad
hay una especie de cota inferior: hay que contratar gente fuera del organismo

III.

evaluado. De aqu cobra importancia la valoracin de las evaluaciones.

La pregunta que se quiere contestar: en funcin de ella se van a tener seis tipos
de evaluaciones, yendo de menos a ms:
a) Tiene lgica el programa? Esto es, evaluacin de diseo. La idea de una
evaluacin de diseo es establecer un vnculo lgico entre todas las partes
del programa. Este vnculo lgico parte por decir que existe un problema
que se quiere solucionar, y en los objetivos del programa se debe plantear
cmo se pretende lograr ello, es decir, la estrategia de intervencin del
programa de cara a solucionar el problema identificado.
b) Se entregaron los componentes del programa? Esto es, evaluacin de
actividad. Esta es una de las evaluaciones ms simples y baratas, ya que
utiliza informacin que el programa s o s debe generar mientras est
trabajando. Esta informacin sirve para contestar dos preguntas:
1. A cuntos llega el programa, es decir, pregunta por la cobertura. El
anlisis de la cobertura pregunta si la meta de atencin se cumpli o
no. Esto se ve dividiendo la poblacin atendida sobre la poblacin
programada.
2. A quines se atendi, es decir, pregunta por las focalizaciones. Al
momento de disear un programa se piensa en la poblacin objetivo;
16

entonces se evala si se atendi a la poblacin que se pretenda

atender. Si se cubri a mil personas, pero de ellas slo trecientas eran
de mi poblacin objetivo, hay un problema de focalizacin.
c) Cmo se entreg el programa? Esto es una evaluacin de procesos; por
tanto, se centra en la implementacin. No hay una manera estandarizada de
hacer una evaluacin de procesos, ya que el mismo depende de cada
programa. Lo que en general se hace es que se hacen descripciones del
proceso de implementacin: se dice qu hace y quines son los actores, tanto
quienes lo ejecutan como quienes lo reciben. Esta evaluacin slo ve la
brecha entre lo que se supone lo que iba a ser y lo que resulto ser; no dice
nada respecto a eficacia ni de eficiencia.
d) El programa tuvo el efecto deseado? Esto es, evaluacin de impacto. Se
busca contestar qu cambio o qu diferencia hizo el programa en la
poblacin que se trat; hace referencia a logros medibles. Al hacer una
evaluacin de impacto se define una variable llamada variable resultado, y
el problema de la evaluacin de impacto es que esta variable est
constantemente afectada por otros factores que no son directamente
responsabilidad del programa, por ejemplo: un puntaje PSU est afectado
por mltiples variables. Por tanto, se debe aislar el efecto del programa. De
esta pregunta por el impacto deriva otra pregunta: qu habra pasado a las
personas que se trat en el tiempo que se trat si no se hubiese tratado? El
problema de esto es que no se sabe qu pudiese haber pasado con aquellas
personas. Lo que se hace es una estimacin del contrafactual (estadstica).
e) A qu costo se obtuvo el impacto? Es una evaluacin de costo-efecto; pero
no mide rentabilidad social.
f) El programa es rentable o no para la sociedad en su conjunto? Esto se
conoce como evaluacin socio-econmica. Se hace cargo de la rentabilidad
social del programa, ello relaciona los costos y los beneficios para la
sociedad, sobre la rentabilidad privada. Lo que hace la evaluacin social
relaciona estas cosas y les pone un precio; y dice si el programa es
beneficioso para la sociedad en su conjunto.
Adems, hay dos preguntas adicionales que se deben responder:
17

I.

Cun replicable es el programa en otros contextos. A modo de ejemplo se

puede citar el Transantiago, cuyo paralelo era el sistema de transportes de
Bogot. Este concepto de replicabilidad es lo que se conoce como validez

II.

externa de una evaluacin.

Qu informacin adicional se necesita generar. En la medida que se evala
se logran ver ciertas necesidades que puedan tener las avaluaciones. Por
ejemplo, si se ve que en una evaluacin algo no fue evaluado, para la
siguiente evaluacin se debe corregir.

Ahora se vern los distintos tipos de evaluacin, especficamente la de actividad, es decir,

la del vnculo ms bsico entre el diseo de un programa y su implementacin, ello en la
medida que se trabaja con informacin que el programa necesariamente genera mientras
funciona. Adems de ello se trabaja sobre dos preguntas:
I.

Cuntos: es el anlisis de cobertura, y busca contestar si el programa produjo

los bienes y servicios que dijo que iba a producir. El primer indicador de
cobertura que se ver es el Nivel de produccin del programa, el cual vincula
lo que se entreg contra lo que se supona que se iba a entregar.

( Productos entregados Productos Programados ) 100

Si este indicador es menor que 100, se tiene una subproduccin; si es igual a
100, se tiene una produccin completa; si es mayor que 100 se tiene una
sobreproduccin. Ahora bien, este indicador pregunta por productos mas no
por beneficiarios. Por lo tanto, se requiere un indicador nuevo: Cobertura
bruta, mide a los beneficiarios; a quienes se beneficiaron contra a quienes
efectivamente se benefici.
( Poblacinatendida Poblacinobjetivo) 100
Si este nmero es menor que 100, se tiene una subcobertura; si es igual a
100, se tiene una cobertura completa; si es mayora a100, se tiene una
sobrecobertura.

18

II.

Quines: refiere al problema de la focalizacin. Los indicadores anteriores

no dicen si la poblacin atendida fue aquella a quien efectivamente iba
destinada el programa. Para establecer esa poblacin se establecen filtros,
tales como la Ficha de Proteccin Social: ella trata de identificar a las
personas con necesidad de un determinado programa. Existen cuatro
situaciones de focalizacin:
a) Acierto de inclusin: se logra identificar de manera correcta a la
poblacin objetivo y se lleg a ellos.
b) Acierto de exclusin: se logra que las personas que no necesitan del
programa, no lleguen a l.
c) Error de inclusin: se trata a una persona que no est en la poblacin
objetivo. Esto se puede medir:
(

Poblacin atendidaPoblacin objetivo atendida

) 100
Pobalcin atendida

d) Error de exclusin: es dejar fuera a una persona que presenta el problema

que se busca solucionar.
Poblacin objetivoPoblacin objetivo atendida
100
Poblacin objetivo

El indicador de cobertura bruta ser aquel que establezca la relacin entre la

poblacin atendida sobre la poblacin objetivo
Poblacin atendida
100
Poblacin objetivo
El indicador de cobertura neta estara construido:
Poblacin objetivo atendida
100
Poblacin objetivo
Qu pasa si se tiene acierto de inclusin y de exclusin, y no se tiene error
de inclusin ni de exclusin? Es decir: EE. = 0; EI = 0. Ello implica que la
poblacin objetivo es igual a la poblacin atendida.

19

Otro indicador es el Grado de focalizacin, es decir, a cuntas

personas de la poblacin objetivo efectivamente se atendi:
Poblacin objetivo
100
Poblacin atendida
Finalmente est el indicador que busca establecer la relacin entre
cunta gente se atendi contra la poblacin que presenta el problema; es
decir, la contribucin del programa a solucionar el problema social
identificado:
Poblacin atendida
100
Poblacin potencial

El alcalde de una localidad busca combatir la pobreza. Para ello dise un programa de
becas de preuniversitario destinado al 40% ms pobre de la poblacin. Los beneficiarios
efectivos del programa se distribuyen de la siguiente forma:

Quintil 1
Quintil 2
Quintil 3
Quintil 4
Quintil 5
Total

2014
352
417
245
140
89
1243

2013
301
331
384
282
17
1315

Sabiendo que la cobertura bruta del programa en 2014 es del 86%, calcule la cobertura neta
para dicho ao.

20

La poblacin objetivo es el Total, la poblacin objetivo atendida es 352 + 417. Entonces la

cobertura neta es igual a esa suma dividida la poblacin objetivo2.

7 de Abril.

Evaluacin de Procesos y Evaluacin de Impacto.

Evaluacin de Procesos
Responde a la pregunta de cmo se entreg el programa, de cmo se llevaron a cabo las
actividades del programa. No existe una manera estandarizada de hacer una evaluacin de
procesos; pero s debe tener ciertas caractersticas.
Lo que se sabe es que se realiza mientras el programa opere, ya que uno se est centrando
en la implementacin del mismo. Una evaluacin de procesos es un feedback para quien
toma la decisin de poltica pblica, en ese sentido una evaluacin de procesos es necesaria
en la medida que ayuda a entender una evaluacin de impacto. El objetivo de una poltica
pblica es obtener un efecto, entonces al hacer una evaluacin de impacto se van a tener
dos casos:
2 Ejercicio prueba 2015
21

I.

Impacto cero o negativo: se dice que el objetivo no se cumple; ello implica

que lo ms probable es que el programa se cancele, pero para hacerlo se
tiene que estar seguro de que ese efecto cero es responsabilidad del
programa en s. Una evaluacin de procesos ayuda a saber si el problema
est en la implementacin o en la lnea lgica entre actividad y objetivo; si la
implementacin es correcta ello implica que hay que reformular la lnea

II.

lgica.
Impacto positivo: da un respaldo, y ayuda a focalizar. La evaluacin de
procesos ayuda a identificar las actividades ms relevantes tal que se pueda
focalizar recursos en esas actividades, haciendo el programa ms eficaz.
Tambin ayuda a determinar la importancia del contexto de aplicacin: al
minuto de elaborar un programa uno tiene que ver cun replicable es.

Adems, la evaluacin de procesos puede servir como instancia de recoleccin de

informacin que previamente se olvid de obtener.
Cmo se hace una evaluacin de procesos? No hay una manera estndar de hacerla
en la medida que cada programa es nico; tiene que ser adecuado a la complejidad de cada
programa. Al hacer una evaluacin de procesos se trata de hacer una descripcin detallada
del proceso de implementacin; por descripcin detallada se est pensando en: qu
intervenciones se hacen, quines las hacen, qu forma adoptan las intervenciones, cul es la
experiencia de los beneficiarios. En conclusin, lo que se trata de responder es cmo opera
el programa. Entonces si se trata de ordenar esta descripcin detallada en etapas, se
encuentran dos etapas analticas:
I.

Si los procesos que lleva a cabo el programa son adecuados para alcanzar
sus objetivos. Es decir, hay un vnculo con la evaluacin de diseo. La idea
es establecer la cadena de actividades para lograr un determinado objetivo.

II.

Entonces, en una primera etapa se tiene que describir el programa.

Si estos procesos se han llevado a cabo adecuadamente. Para ello se tienen
que formular ciertas preguntas tales como:
a) En qu contexto se implement el programa? Ac el contexto es tanto
cultural como social, econmico, etc.

22

b) Cules son las actividades especficas que realiza el programa? Ac hay

que pensar que las actividades que se dicen que se van a hacer y las que
efectivamente se hacen. Hay que establecer el vnculo entre una y la otra.
c) Quines son los actores involucrados? A nivel general estn los que
implementan el programa y quienes son los beneficiarios. Hay que
establecer todos los actores relacionados con este programa.
d) Cul es la percepcin de los trabajadores del programa? Los
trabajadores son los que mejor captan los posibles problemas de un
programa.
e) Cul es la percepcin de los beneficiarios del programa? Si la persona
est satisfecha, puede decir mucho a cerca del programa.
f) Cules son las barreras y facilitadores que encuentra la implementacin
de un programa? Ellos van desde todo contexto; por ejemplo, que el
Ministerio no da la plata para la implementacin del programa, hasta
cosas externas, como implementar un programa contra las drogas en un
barrio problemtico. Ello dice mucho respecto al posible xito del
programa.
g) Qu aspecto en particular del programa puede tener ms efecto? En
general los programas entregan ms de un bien o servicio, y algunos de
esos bienes son ms caros. Por ejemplo, en la Beca Vocacin De
Profesor est un financiamiento de Magister, pero si se entra a estudiar
pedagoga no tanto por el magister, se puede sacar ese componente del
programa para descargarlo.
h) Cules son los canales de vinculacin del programa? Se piensa en todo
el anlisis de red al interior del programa.
i) Cmo se puede mejorar el programa?
A travs de estas preguntas se busca ver la pertinencia y la calidad de los bienes y servicios
de un programa, de ah que sea necesario tener claro la lgica del programa.
En conclusin, hay tres aspectos que son claves:
I.
II.
III.

Tener clara la lgica del programa3.

Desarrollar una secuencia de actividades.
Identificar los actores y subroles.

3 Ver clases de Diseo

23

El mtodo, la plata necesaria, el tiempo dedicado a una evaluacin de procesos vara.

Ahora, en trminos de metodologa de recoleccin de datos se estila que todas las
evaluaciones de procesos ocupan tcnicas cualitativas, y tambin se ocupa informacin
cuantitativa (encuestas, informacin externa que genera el programa).
Una evaluacin de procesos se realiza mientras se ejecute el programa, no al inicio del
mismo en la medida que recin se est aprendiendo a ejecutarlo.

Evaluacin de Impacto.
Trata de responder a si el programa cumpli o no con sus objetivos, es decir, pregunta por
la eficacia del programa. La nica evaluacin que mide eficacia es la evaluacin de
impacto. Y dentro de la evaluacin de impacto siempre va a ser importante medir los
efectos cuando se supone que esos efectos deben producirse: es absurdo medir el impacto
de la reforma educacional en dos aos.
Por lo tanto, hay que saber cules son los objetivos del programa y cmo se van a
medir esos objetivos. Adems, hay que evaluar cuando corresponda. Y finalmente hay que
aislar los efectos netos del programa, es decir, los efectos debidos al programa contra los
efectos que se habran producido de todas maneras; ya que se busca establecer una relacin
causa efecto, y para eso hay que definir una variable llamada variable resultado, que es la
manera en cmo se miden los objetivos. Esta variable establece el efecto en una persona
que fue tratada con el programa, contra la misma persona si no hubiese sido tratada con el
programa. Esta relacin se llama Inferencia Causal: ella busca la relacin entre las
variables resultado en la misma persona habiendo sido tratada y no habiendo sido tratada en
el mismo tiempo. Esa es la nica forma de establecer los efectos del programa.
Se va a definir una variable Pi, que va a tomar el valor 1 cuando el individuo fue
tratado; y 0 cuando no fue tratado. El efecto tratamiento ser definido como
=( y|P=1 ) ( y P=0)

Donde P=1 es la variable resultado, y P=0 es el contrafactual.

24

Esta es la frmula terica en la medida que el contrafactual no existe, ello se conoce

como el problema fundamental de la inferencia causal. Este problema fue resulto por Paul
Holland haciendo una estimacin del contrafactual. La complejidad de esto es que a nivel
personal esto no resulta: no se puede encontrar una persona 100% igual a otra. Por lo tanto,
esto se hace a nivel grupal: se necesita a un grupo de individuos tratados, y a un grupo de
individuos no tratados. Entonces se establece un grupo de tratamiento (P=1) y un grupo de
control (P=0). Un grupo de comparacin vlido tiene que ser:
I.

En promedio, el grupo de control debe ser igual al grupo de tratamiento

II.

antes del programa.

Ambos grupos deben reaccionar de la misma forma al programa. Aqu entran
a jugar las caractersticas no observables. No se pueden comparar dos

III.

personas que reaccionaran de manera distinta a un tratamiento.

No tienen que estar expuestos a otros tratamientos o intervenciones, se
necesita que el contexto sea igual y que slo vare el hecho de que un grupo
fue tratado y el otro no.

Todo lo anterior se traduce en que se va a tener un contrafactual vlido, es decir, un

contrafactual que permite establecer un efecto insesgado, es decir, aquel efecto que
efectivamente se da en la poblacin.

Repaso microeconoma.
La microeconoma dice que agregando las demandas de las personas individualmente se va
a tener una curva de demanda valor positiva, es decir, a medida que se le aumenta el precio,
disminuye la cantidad demandada. La curva de demandad representa el beneficio marginal
de consumir una unidad ms, el cual es decreciente. Ahora, cuando no se tienen
distorsiones ni externalidades, este beneficio marginal va a representar tanto el privado
como el social. Al calcular los costos y beneficios, va a interesar los excedentes; el del
consumidor es lo que se paga versus el beneficio que se obtiene.

25

La curva de oferta representa el costo marginal privado de producir una unidad ms;
si no se tienen externalidades, el costo privado como el social van a ser iguales. As, el
costo del productor va a ser la diferencia entre el precio y la cantidad producida.
Cuando no se tienen externalidades, el equilibrio de mercado es igual al optimo
social, ya que este ltimo proviene de la interseccin entre el costo marginal y el beneficio
marginal. As, al calcular el VAN social, se van a considerar el beneficio y el costo marginal
privados.
Ahora bien, cuando hay distorsiones y no hay comercio exterior, es decir, cuando se
tienen externalidades (una falla del mercado, segn la cual el actuar de una persona afecta a
terceros que no est siendo compensado), tanto positivas como negativas, que se pueden
dar en el consumidor o en el productor.
La externalidad positiva dice que el costo marginal social es distinto del costo
marginal privado: el ltimo es mayor; se disminuye el costo marginal privado. De esta
forma, se va a tener una curva de oferta que slo va a reflejar el costo marginal privado, y
una curva de demanda que va a representar tanto el beneficio marginal privado como el
social. De esta forma, la curva de oferta, y el ptimo social, se van a mover hacia abajo. De
esta manera, como sociedad va a interesar que se produzcan ms bienes.
Ahora, la externalidad positiva en el consumo se mide el beneficio marginal; en este
caso el beneficio marginal privado y el social son distintos, siendo este ltimo mayor. De
esta manera, la curva de oferta va a representar el costo marginal tanto social como privado,
pero, la curva de demanda, va a representar slo el beneficio marginal privado. As, el
equilibrio de mercado se va a dar en la interseccin entre ambas curvas. Pero el ptimo
social va a estar ms arriba en la medida que el beneficio marginal social est ms arriba.
Con respecto a la externalidad negativa en la produccin se tiene que el costo
marginal social es mayor que el costo marginal privado. De esta manera, la curva de oferta
slo va a reflejar el costo marginal privado, por lo que el ptimo social va a estar ms hacia
la izquierda del equilibrio de mercado. Es decir, la sociedad paga ms por cada producto
producido.

26

La externalidad negativa en el consumo dir que el beneficio marginal privado al

beneficio marginal social. De esta manera, la curva de demanda slo va a reflejar el
beneficio marginal privado. As, el ptimo social va a estar ms a la izquierda del equilibrio
de mercado.

Negativa
Positiva

Produccin
BMgS > BMgP
CMgS < CMgP

Consumo
BMgP > BMgS
BMg P < BMgS

Para internalizar las externalidades, para solucionar las fallas de mercado se acude a
los subsidios o a los impuestos.
En una economa abierta y sin distorciones se va a tener una oferta local y una
demanda local. Al mismo tiempo, se va a tener un precio internacional que va a ser paralelo
al eje X.

27