IIPE Buenos Aires

Sede Regional del

Instituto Internacional de Planeamiento de la Educacin

8 Curso Regional sobre

Planificacin y Formulacin de Polticas Educativas

ELEMENTOS CONCEPTUALES Y METODOL GICOS PARA LA

EVALUACI N DE POLTICAS Y PROGRAMAS SOCIALES

Nerio Neirotti

Buenos Aires, octubre de 2005

1
 CONTENIDOS
1. Introduccin
2. Qu es evaluacin?
Definicin de evaluacin
Requisitos de una buena evaluacin
Relacin de la evaluacin con otras actividades emparentadas
Aspectos polticos y tcnicos de la evaluacin
Niveles de aplicacin de la evaluacin
3. Tipos y criterios de evaluacin
Segn el momento, el objeto y el alcance de la evaluacin
Segn quin evala
Segn la perspectiva de los involucrados
Criterios de evaluacin
4. Perspectivas y metodolgicas de la evaluacin
El debate metodolgico
Modelos de comparacin
5. Pasos para llevar a cabo una evaluacin
5.1. Planteamiento de la evaluacin y toma de decisiones
5.2. Diseo de la evaluacin
Objetivos y preguntas clave
Marco terico e hiptesis
Dimensiones, variables, indicadores y unidades de anlisis
Fuentes, tcnicas e instrumentos
Matriz de evaluacin
5.3. Recoleccin de informacin y procesamiento
Programacin de actividades
Seleccin y entrenamiento del equipo
Recoleccin de informacin y manejo de instrumentos
Procesamiento de la informacin
5.4. Anlisis de la informacin
5.5. Comunicacin y diseminacin
6. Conclusiones

2
1. INTRODUCCI N

La evaluacin es una forma de indagacin o investigacin de tipo valorativo, es

decir, generadora de juicios de valor en funcin del patrn normativo de los
involucrados en la intervencin social. En ese sentido produce conocimiento con
el propsito de brindar elementos para la toma de decisiones, transferir los
aprendizajes surgidos de experiencias innovadoras y poner la informacin a
disposicin de la ciudadana esto ltimo, a los efectos de darle transparencia a
la gestin de gobierno y de promover la participacin social.

Los pases de la regin han llevado a cabo, con distintas caractersticas y

extensin, reformas de sus aparatos estatales, entre las que se incluye la
transformacin de las reas sociales. Estn desarrollando tambin lneas de
accin tendientes a brindar educacin en condiciones equidad y calidad, a la vez
que estn implementando polticas de reduccin de la pobreza y la exclusin
social. En este marco se llevan a cabo programas modelo que cumplen
funciones de experimentacin, articulacin e integracin entre distintas reas
sociales.

Nos encontramos entonces frente a mltiples imperativos: redefinicin de las

polticas sociales en general, y en particular, transformaciones en al rea
educativa; rediseo del aparato estatal y de sus funciones; y desarrollo de nuevas
prcticas de articulacin entre el Estado y las organizaciones de la sociedad civil.
Dado que no existen recetas para abordar los cambios, el avance por
experimentacin parece ser la forma ms indicada de avizorar las soluciones.
Esto implica otorgar importancia a las innovaciones que se ponen en marcha en
mbitos locales, en instituciones educativas o grupos de escuelas, que tienen
carcter experimental y de las cuales pueden surgir interesantes conocimientos a
ser diseminados con la posibilidad de transferirlos a otros contextos.

Entrando al campo de la educacin, se ofrece un amplio repertorio de

innovaciones expuesto por Brunner:

Por de pronto, hay que re- conceptualizar y progresivamente redisear todo el

proceso de enseanza; hay que cambiar la cultura organizacional de los
establecimientos; hay que disponer de tiempo y recursos para innovar; se debe
formar de otra manera a los profesores y al personal directivo de las escuelas;
las funciones de los organismos gubernamentales; los sistemas de supervisin y
los mtodos de evaluacin tienen que cambiar; es necesario desarrollar los

3
 currculos bajo un principio de adaptacin continua y escribir nuevos textos; se
debe aprovechar el potencial de las nuevas tecnologas y dar espacio a la
experimentacin; las innovaciones exitosas tienen que ser identificadas. En fin,
pasar del eje de la modernizacin al eje de las innovaciones como principio de la
reforma conlleva girar al sistema en 180 grados, ponindolo a funcionar como
un organismo adaptativo cuando hasta aqu ha operado esencialmente como un
mecanismo de conservacin. ( ) Lejos por tanto de cualquier determinismo
tecnolgico, la reforma de las innovaciones necesitar apoyarse en los profesores
y alumnos en primer lugar; en la organizacin de la escuela y las capacidades de
su personal directivo, enseguida y, en tercer lugar, en las redes de agentes que
pueden contribuir a la innovacin, como los padres, miembros activos de la
comunidad local, personal de investigacin y desarrollo que trabaja en
innovaciones educacionales, agencias de transferencias y difusin de tecnologas
innovadoras, empresarios comprometidos con la renovacin educacional,
facultades de pedagoga y universidades1.

Las innovaciones educativas son procesos complejos que podran ser concebidos
como configuraciones novedosas de recursos, prcticas y representaciones en las
propuestas educativas de un sistema, subsistema y/ o institucin educativa,
orientados a producir mejoras2.

Para desarrollar innovaciones educativas no basta con contar con ms o nuevos

recursos, sino que es preciso incorporar nuevas acciones y traslucir las
innovaciones en la prcticas educativas. Es decir, es necesario que los actores
involucrados den forma a un nuevo estilo de gestin y produzcan una
transformacin de las prcticas institucionales cotidianas.

Adems de los recursos y las prcticas, una tercer dimensin es necesaria para
definir las innovaciones educativas: las representaciones, creencias y valores que
subyacen en los puntos anteriores, es decir, los supuestos que existen por detrs
de las prcticas y los recursos empleados, el grado de internalizacin que existe y
el nivel de compromiso.

Considerar slo uno de estos aspectos (slo recursos, o prcticas o

representaciones) implicara mantener una concepcin restringida. Los recursos
suelen ser la faceta ms visible de las innovaciones, sin embargo, un cambio en
las prcticas y en las representaciones resultan ser los aspectos ms claros de

1 J. J. Brunner, Educacin: escenarios de futuro. Nuevas tecnologas y sociedad de la

informacin, Santiago de Chile, PREAL, 2000 p. 45
2 N. Neirotti y M. Poggi, Alianzas e innovaciones en proyectos de desarrollo educativo local,

IIPE- UNESCO Buenos Aires, 2004 p. 175-177

4
que la innovacin ha sido implementada, y a la vez los ms complejos de
promover.

Por otra parte, es fundamental que las innovaciones se inserten en escuelas,

movimientos o tradiciones pedaggicas a los efectos de que se instalen en el
debate sobre las transformaciones educativas. Igualmente, no podra ser efectiva
una innovacin si no logra producir un anclaje a nivel institucional3.

Las reflexiones precedentes sobre innovaciones educativas sugieren la necesidad

de instalar una cultura de la evaluacin y desarrollar capacidades en este sentido
a fin de que los cambios en marcha puedan ser efectivos y asegurar un proceso
continuo y acumulativo de transformaciones. Ya sea que se trate de tener en
cuenta la complejidad de las innovaciones (recursos, prcticas y
representaciones) como de prestar atencin a sus posibilidades de insercin en
tradiciones pedaggicas y de anclaje institucional, la evaluacin, concebida como
instrumento de aprendizaje, se agrega como un desafo ms en este caso, de
carcter instrumental para brindar luz y contribuir a encontrar atajos en medio
de un sendero que tiene un importante margen de incertidumbre.

Slo de este modo se puede ir incrementando la escala de las innovaciones a

travs de un proceso que no es lineal y que en muchos casos se presenta como
enmaraado y confuso, dado que tiene las siguientes caractersticas4:

- es interactivo: involucra docentes, escuelas, distritos, especialistas en

educacin, autoridades, polticos;

- es adaptativo: incorpora las reacciones de los involucrados;

- es iterativo: con reflexin y aprendizaje sobre la marcha;

Diseminar, demostrar, brindar informacin para el debate, generar evidencia para

fundamentar nuevos cursos de accin, son actividades que requieren producir
conocimiento vlido y oportuno, accesible para quienes toman decisiones en
todos los niveles. En este marco, el presente documento ofrece conceptos sobre
evaluacin y herramientas para su implementacin que se inscriben en la

3 J. C. Tedesco, Algunas hiptesis para una poltica de innovaciones educativas, en Proyecto

Gnesis, Innovacin escolar y cambio social, Bogot, Fundacin FES- CONCIENCIAS, 1997 p.
57-67
4 Glennan, Thomas K., Bodily, Susan J., Galegher Jolene R., Kerri A. Kerr Expanding the Reach

of Education Reforms: Perspectives from leaders in the Scale-Up of educational

interventions. RAND Corporation , 2004 p. 650

5
concepcin de la misma como actividad sistemtica de reflexin, entendimiento
entre actores diversos y recomendacin de nuevos caminos de accin.

2. QU ES EVALUACI N?

Haremos una aproximacin a la idea de evaluacin a partir de algunas

definiciones que provienen de organismos con gran ascendiente sobre el tema y
de autores que han hecho el esfuerzo de reunir conceptos comunes vertidos por
especialistas varios.

El Joint Committee on Standards for Educational Evaluation afirma:

la evaluacin es el enjuiciamiento sistemtico de la vala o el mrito de un objeto5

A su vez, UNESCO en el Glosario de trminos de tecnologa de la evaluacin ofrece

diversas acepciones del trmino evaluacin:

1. Trmino genrico para designar el conjunto de operaciones de apreciacin, de

control y de medicin de un resultado, de una estrategia, de un sistema, de una
persona, etc. 2. Proceso tendente a delimitar, obtener y reunir la informacin til
para juzgar alternativas de decisin, controlar la eficacia de la ejecucin de la
actividad y juzgar su inters. 3. Proceso de cuantificacin o de calificacin del
rendimiento de un individuo, grupo, dispositivo o material.

SIEMPRO (Sistema de Informacin, Monitoreo y Evaluacin de Programas

Sociales), con la inquietud de fortalecer la institucionalidad social y con el
propsito de desarrollar conocimientos y capacidades sobre planificacin y
evaluacin en el mbito estatal y de la sociedad civil, produjo un manual que
contiene la siguiente definicin:

5Citado por Stufflebeam, Daniel L. y Anthony J. Shinkfield, Evaluacin sistemtica. Gua terica
y prctica, Barcelona, Paidos / M.E.C., 1995, p. 19.

6
un proceso permanente de indagacin y valoracin de la gestin del programa
para generar conocimiento y aprendizaje que alimente la toma de decisiones6.

Por su carcter comprehensivo tambin se considera til incluir la siguiente

definicin que aportan Mara Jos Aguilar y Ezequiel Ander-Egg en su libro
Evaluacin de servicios y programas sociales:

la evaluacin es una forma de investigacin social aplicada, sistemtica,

planificada y dirigida; encaminada a identificar, obtener y proporcionar de manera
vlida y fiable, datos e informacin suficiente y relevante en que apoyar un juicio
acerca del mrito y el valor de los diferentes componentes de un programa (tanto en
la fase de diagnstico, programacin o ejecucin), o de un conjunto de actividades
especficas que se realizan, se han realizado o realizarn, con el propsito de
producir efectos y resultados concretos; comprobando la extensin y el grado en el
que dichos logros se han dado, de forma tal, que sirva de base o gua para una
toma de decisiones racional e inteligente entre cursos de accin o para solucionar
problemas y promover el conocimiento y la comprensin de los factores asociados
al xito o al fracaso de sus resultados7.

Definicin de evaluacin

Los aportes anteriores nos sugieren los aspectos centrales del concepto de
evaluacin, que podran sintetizarse en las siguientes notas:

6 SIEMPRO / UNESCO, Gestin integral de programas sociales orientada a resultados.

Manual metodolgico para la planificacin y evaluacin de programas sociales, Mxico,

Fondo de Cultura Econmica, 1999, p. 55.
7 Aguilar, M. J. y Ander-Egg, E., Evaluacin de servicios y programas sociales, Madrid, Siglo

XXI, 1992, p. 18.

7
 - Proceso: No se trata de una actividad esttica, que se realiza de una vez
para siempre, sino que est en continuo desenvolvimiento.
- Indagacin sistemtica: Se busca generar conocimiento, y para ello se
utilizan los recursos y mtodos propios de la investigacin.
- Valoracin: Evaluar significa valorar, asignar valor, y esta actividad se
desarrolla en funcin de preferencias y prioridades sociales, que definen
los involucrados en el procesos evaluativo.
- Aprendizaje: En contraposicin a una visin arcaica sobre la evaluacin,
que considera que su funcin es el control o la fiscalizacin, se hace
hincapi en el aprendizaje, como instrumento para mejorar la gestin y las
polticas.
- Toma de decisin: El conocimiento producido por la evaluacin no tiene
fines acadmicos sino que est al servicio de la accin, y por lo tanto, de
la toma de decisiones.
- Transparencia: El conocimiento que resulta de la evaluacin tiene que ser
un instrumento de utilidad para todos aqullos a los que les concierne la
accin evaluada.

En funcin de las contribuciones precedentes y siguiendo las notas que

distinguen la evaluacin, se ofrece la siguiente definicin:

La evaluacin es un proceso de indagacin sistemtico, valorativo, cuyo

propsito es generar aprendizaje sobre la intervencin de un programa o
poltica con el fin de mejorar la toma de decisiones y de otorgarle mayor
transparencia a la gestin.

A la vez permite:

- mejorar la eficacia, eficiencia y efectividad de los programas

- producir conocimiento sobre las distintas experiencias

- diseminar y difundir las lecciones aprendidas a partir de modelos en

marcha

- fortalecer lazos y entendimiento entre los diversos actores

8
 involucrados.

Para complementar esta definicin, se podra agregar que la evaluacin tiene la

finalidad de retroalimentar la gestin de un programa, suministrando
informacin para tomar decisiones con respecto a:

- La pertinencia del programa y la consistencia de su planificacin.

- La viabilidad, factibilidad y sustentabilidad de los objetivos y actividades

del programa.

- Los procesos de distinto tipo que se generan en la ejecucin del programa y

las distintas funciones que se cumplen: direccin / coordinacin,
organizacin, presupuestacin, gestin de recursos humanos,
comunicacin, programacin de actividades.

- La relacin del programa con el contexto.

- La articulacin y sinergia del programa en relacin con otros que

contribuyen a logra fines similares.

- La perspectiva de los beneficiarios y de la institucin que ejecuta el

programa acerca de los procesos y los resultados del mismo.

Requisitos de una buena evaluacin

Un gran nmero de condiciones han sido sealadas como necesarias para que la
evaluacin resulte adecuada. En algunos casos se han llegado a elaborar check
lists que deberan ser seguidas como instrumentos de verificacin. Como ejemplo,
se incluyen los Estndares Para la Evaluacin de Proyectos del Joint Committee
on Standards for Educational Evaluation que presenta en su libro Roco
Fernndez-Ballesteros8. Estos estndares fueron diseados con el objetivo de
asegurar la concrecin de evaluaciones tiles, factibles, ticas y adecuadas y
contienen 30 normas:

8Fernandez-Ballesteros, Rocio Evaluacin de Programas. Una guia prctica en mbitos

sociales, educativos y de salud Madrid, 1996, p. 108-112

9
 Estndar
Criterio
1. Identificacin de implicados (de tal forma que sus
necesidades pueden ser tenidas en cuenta)

2. Credibilidad del evaluador (deben ser dignas de confianza y

competentes)

3. mbito de la informacin y seleccin (debe ser sensible a

UTILIDAD las necesidades del cliente, etc)

4.Identificacin de valores (las perspectivas, los procedimientos

y la lgica utilizada deben ser descriptas)

5. Claridad del Informe (el informe de evaluacin debe describir el
programa, su contexto, objetivos y procedimientos y resultados de la
evaluacin)
6. Oportunidad y difusin del informe (los hallazgos
significativos deben ser difundidos)
7. Impacto de la evaluacin (las evaluaciones deberan estimular
el seguimiento continuado por los involucrados)
1. Procedimientos prcticos (los procedimientos evaluativos
deben ser prcticos para minimizar los trastornos que puedan
FACTIBILIDAD producirse en la recogida de informacin)
2. Viabilidad poltica (debe anticipar las diferentes posiciones de
los grupos implicados para conseguir su particpacin)
3. Coste efectividad (debe ser eficiente y producir informacin de
suficiente valor de tal manera de justificar los recursos invertidos)

1. Orientacin de servicio (debe ayudar a las organizaciones a

atender a las necesidades de todos los participantes)
2. Convenios formales (las responsabilidades de las partes
implicadas deben ser acordadas mediante un documento)

3. Derechos de los sujetos humanos (deben respetar los

derechos y bienestar de los sujetos humanos)
PROBIDAD 4. Evaluadotes deben respetar la dignidad humana y su
valor (de manera que los participantes no estn amenazados y no se
vean perjudicados)
5. Evaluacin completa y adecuada (debe ser completa y
adecuada en su anlisis de los puntos fuertes y dbiles del programa)

10
 6. Declaracin de resultados (las partes contratantes de la
evaluacin deben asegurar que el conjunto de los resultados sean
accesibles a las personas afectadas)

7. Conflicto de intereses (deben ser manejados con apertura y

honestidad de tal forma que no comprometan al proceso de
evaluacin)

8. Responsabilidad fiscal (asignacin del evaluador y otras

partidas deben reflejarse contablemente)
1. Documentacin sobre el programa (el programa evaluado
debe ser descrito y documentado de tal forma de que puede ser
identificado)
2. Anlisis del contexto (debe ser examinado con suficiente
detalle de modo de identificar posibles influencias.)

3. Descripcin de propsitos y procedimientos (deben ser

controlados y descritos de manera que puedan ser identificados y
evaluados)
4. Fuentes de informacin admisibles (las fuentes deben ser
ADECUACI N
descriptas de manera que la interpretacin sea valida)
5. Informacin valida (los procedimientos de recogida de
informacin deben asegurar una interpretacin vlida)

6. Informacin viable (los procedimientos de recogida de

informacin deben asegurar que informacin es fiable)

7. Informacin sistemtica (la informacin debe ser

sistemticamente revisada y cualquier error corregido)

8. Anlisis de informacin cuantitativa (debe ser apropiada y

sistemticamente analizada)

9. Anlisis de informacin cualitativa (debe ser apropiada y

sistemticamente analizada)

10. Justificacin de las conclusiones (deben ser

explcitamente justificadas de modo tal que los implicados puedan
valorarlas)
11. Informe imparcial (los procedimientos del informe deben ser
salvaguardados contra la distorsin causada por sentimientos
personales y sesgos)
12. Metaevaluacin (la evaluacin debe ser formativa y sumativa
de tal modo que su ejecucin sea apropiadamente guiada y que los
implicados puedan examinar sus puntos fuertes y dbiles)

11
En este documento se ofrecen los requisitos mnimos indispensables para
garantizar una buena evaluacin o para analizar una evaluacin9 que ya ha sido
realizada:

- Validez: Debe apoyarse en metodologas cientficas de recoleccin y

anlisis de informacin.
- Pertinencia: Debe haber correspondencia entre el problema (necesidades
de informacin) que da origen a la evaluacin y los propsitos de sta.
- Relevancia: La magnitud de conocimiento producido por medio de la
evaluacin debe estar a la altura de las necesidades y de los propsitos
planteados.
- Utilidad: Los resultados de la evaluacin deben ser accesibles a los
tomadores de decisiones y a los involucrados en general, y las
recomendaciones deben estar ligadas con la toma de decisiones y las
necesidades de brindar mayor transparencia a la gestin.
- Oportunidad: Los resultados de una evaluacin deben llegar a tiempo
como para tomar decisiones cruciales, corregir el rumbo de las
intervenciones y favorecer la discusin pblica.
- Costo-efectividad: El costo de la evaluacin (en recursos y tiempo) debe
ser proporcional a las soluciones que brinda.

Relacin de la evaluacin con otras actividades emparentadas

Tanto en el sector pblico como en el privado se han llevado a cabo actividades

que estn emparentadas en algn grado con la evaluacin por estar orientadas a
garantizar un buen servicio o producto. A su vez, estas actividades han sido
organizadas como funciones en el sentido que tienen responsables especficos y
requieren cierto grado de especializacin. Al respecto pueden mencionarse las
siguientes: auditora, control de gestin y supervisin.

La auditora es una funcin que tiene por objeto garantizar el buen uso de los
recursos del Estado y de la empresa en cuanto a la adquisicin de insumos,
buscando evitar acciones negligentes o delictivas. El control de gestin va ms
all, en el sentido que atiende a los procesos de conversin de los insumos en

9 A la evaluacin de la evaluacin se la llama metaevaluacin.

12
productos, es decir, a las actividades y los resultados esperados de la misma, en
cantidad y calidad. Por su parte, la supervisin se orienta a observar que los
procesos se desarrollen segn lo previsto, incorporando actividades de apoyo o
asesoramiento. Como se podr observar, si bien todas estas funciones se apoyan
en el propsito de garantizar las mejores condiciones de la gestin, no brindan
insumos sistemticos de conocimiento que permitan arrojar luz para llevar a
cabo procesos transformadores.

Pero hay otras actividades que brindan estos insumos y que tambin se
diferencian de la evaluacin. Las experiencias que llevan a cabo las
organizaciones de la sociedad civil requieren, por su carcter singular e
innovador, llevar a cabo procesos de sistematizacin. Del mismo modo, sus
exploraciones suelen ser objeto de atencin de los investigadores. En tal sentido,
resulta conveniente distinguir y delimitar los procesos de sistematizacin,
investigacin y evaluacin.

Lo primero que interesa sealar es que no hay una relacin jerrquica, ni de

inclusin o subordinacin entre la sistematizacin, la investigacin y la
evaluacin. En realidad se trata de tareas distintas aunque, por cierto, estn muy
relacionadas, por eso es conveniente que exista una articulacin entre las
mismas.

La sistematizacin consiste en recoger y ordenar informacin con el propsito de

hacer una memoria de la propia prctica y aprender de ella. Es un proceso de
objetivacin por medio del cual se extraen (de acuerdo con determinados
parmetros) conocimientos sobre la labor que se realiza para capitalizar la
experiencia y reorientarla. Por eso, cada proceso de intervencin constituye un
esfuerzo creativo nico que tiene una gran dosis de experimentacin. Durante la
implementacin de un programa se generan descubrimientos, se producen
debates, se construyen conceptos y se organizan sistemticamente. Este proceso
es dinmico, puesto que la sistematizacin tiene una lgica explicativa provisoria,
abriendo paso a nuevas dudas que debern ser respondidas en el futuro y dando
lugar a renovados esquemas de relacin entre los hechos y el ordenamiento de la
informacin.

La investigacin, por su parte, supone hacer un recorte de la realidad y un

anlisis en profundidad de algunos aspectos, indagando acerca de la existencia

13
de correlaciones y/o relaciones causales entre los fenmenos que se observan, ya
sea interpretndolos a la luz de la teora deductivamente o creando teora
inductivamente a partir de dichos fenmenos. En investigacin es ms acotado el
margen de fenmenos o aspectos que se eligen para analizar, mientras que la
sistematizacin se hace con un abordaje ms comprehensivo de todo el proceso
de intervencin. Adems, la investigacin es ms rigurosa desde el punto de vista
metodolgico y sus conclusiones son de ms peso. Tambin difieren en cuanto al
propsito de cada una.

La sistematizacin cumple con la funcin de ordenar informacin y aprendizajes

para encaminar la propia prctica, una produccin al servicio del proceso de
intervencin. En cambio la investigacin est al servicio del conocimiento, sin
condicionamientos propios de la accin, donde el pblico al que se dirige la
informacin no es el propio equipo del programa, sino los circuitos acadmicos y
mbitos de debate cientfico.

La evaluacin, por ltimo, es una investigacin aplicada, y en este sentido se

rige por los mismos principios epistemolgicos y metodolgicos de toda
investigacin. Slo que la investigacin bsica tiene como propsito el
descubrimiento del conocimiento, mientras que la evaluacin apunta a conocer
los resultados de un programa y los efectos que producen. La evaluacin puede
tambin ser tipificada como policy oriented research, puesto que el
conocimiento producido por la evaluacin siempre ser utilizado en algn nivel de
toma de decisiones, desde los mbitos estratgicos desde los que se conducen
polticas hasta los espacios operativos, pasando por los escalones intermedios de
la gestin.

Otro de los aspectos que distingue a la evaluacin es que incorpora de manera

explcita los valores. Precisamente, evaluar significa valorar y la evaluacin
siempre supone juicio sobre el objeto evaluado: mejor o peor, ms cercano o ms
lejano a lo deseado, ms o menos ajustado, etc. Al tomar como referencia los
efectos deseados se est pensando en un horizonte al que se considera como el
ms conveniente o adecuado, y esto significa que se est partiendo de
preferencias, prioridades y elecciones, todas las cuales se basan en los valores de
los involucrados.

14
Aspectos polticos y tcnicos de la evaluacin

En toda evaluacin entran en juego aspectos tcnicos y aspectos polticos. Toda

vez que se tiene en cuenta la relacin entre los medios y los fines entra a jugar la
perspectiva tcnica. Esta se refleja cada vez que nos preguntamos cmo se
organizaron los recursos (ya sean humanos, materiales, tecnolgicos o
financieros), qu uso se hizo de los mismos, qu resultados se lograron, etc. Los
aspectos tcnicos tienen que ver con disciplinas y saberes especficos propios de
las distintas reas del quehacer (economa, salud, educacin, medio ambiente,
etc.)como as tambin con las profesiones que priman en cada campo
(educadores, mdicos, economistas, ingenieros, etc.).

Pero tambin est el aspecto poltico (en un sentido amplio, no partidario) de la

evaluacin, que es el que tiene que ver con los actores, sus valores y sus
intereses, y con las instituciones. Por ello es tan importante saber quines son los
actores que estn involucrados en la intervencin, cules son sus fortalezas y sus
debilidades, qu persiguen, cmo van a participar y con qu grado de
involucramiento, qu grado de participacin tienen en la evaluacin. El aspecto
poltico est presente cada vez que nos preguntamos por los valores que orientan
las opciones que se eligen y las prioridades que se establecen, cuando analizamos
las limitaciones y potencialidades de tipo institucional (normas, procedimientos,
reglas del juego), cuando indagamos sobre las relaciones de poder, las disputas o
los consensos.

En una evaluacin no se puede prescindir de los aspectos tcnicos ni de los

polticos. Si nos concentrramos solamente en los primeros correramos el riesgo
de ser poco realistas, de imaginar procesos y de identificar resultados desde una
perspectiva ajena al escenario social donde suceden los acontecimientos.
Evaluaramos en trminos ideales, sin ofrecer conocimiento til para la toma de
decisiones. Y lo que es peor, aplicaramos nuestros propios valores, puesto que
no existen posiciones tcnicas avalorativas. Si, por el contrario, slo nos
apoyramos en argumentos de orden poltico, estaramos menospreciando el
saber cientfico-tcnico que ha sido probado a travs de la experiencia y que ha
dado lugar a la conformacin de campos especficos del saber.

15
Niveles de aplicacin de la evaluacin.

Los niveles de aplicacin de la evaluacin se corresponden con los niveles de

organizacin de los procesos de decisin y accin, a saber: poltica, plan,
programa, cluster y proyecto.

Las polticas pblicas son procesos de decisiones y acciones (tambin omisiones

e inacciones) socialmente construidos, orientados por objetivos (con diferentes
grados de explicitacin y estructuracin) y que estn orientados por el inters
general (razn por la cual, aunque no incluyan necesariamente al Estado como
nico actor, lo cuentan como un involucrado imprescindible).

Las polticas pblicas adquieren un carcter operativo a travs de planes,

programas, proyectos u otras formas de accin/decisin organizadas.

Los planes son las unidades ms generales de organizacin de procesos de

decisin y accin. Desde la perspectiva de la planificacin estratgica, los planes
contienen los fines, objetivos, estrategias y sectores de intervencin, esbozados
en grandes lneas, de modo tal de permitir la elaboracin de versiones
(interpretaciones, adecuaciones, recreaciones) especficas a las distintas reas,
sectores, regiones o localidades involucradas por el plan.

Los programas adquieren un nivel de mayor especificidad que los planes (no
necesariamente tienen que depender de un plan). Estn a su vez conformados
por componentes (puede ser tambin por proyectos), que constituyen partes
relacionadas entre s funcionalmente, es decir, los componentes o proyectos
cumplen funciones que coadyuvan al alcance de los objetivos del programa y
tienen entre s una relacin de tipo sistmico. Los programas suelen ser
continuados o tener perodos de duracin no claramente delimitados puesto que
finalizan cuando dejan de subsistir los problemas que les dieron origen.

A su vez, los proyectos tienen un nivel de especificidad mayor que los programas
y pueden ser parte de estos (al igual que la relacin entre programa y plan, la
relacin entre proyecto y programa es de inclusin y parte). Cabe la misma
aclaracin que se hizo en referencia a los programas: los proyectos no
necesariamente deben estar incluidos en un programa, puesto que es muy
comn encontrar proyectos que existen de modo independiente. Los proyectos

16
tienen un perodo y un fin claramente delimitados y sus productos son obras, o
bienes y servicios que generan un efecto multiplicador.

Se llama cluster (racimo, grupo, haz) a un conjunto de proyectos o programas

que estn reunidos por dos razones posibles:
- Porque constituyen procesos de intervencin (proyectos o programas) en
pos de un fin comn sobre una misma poblacin y territorio. En este caso
la relacin entre las partes es de tipo funcional.
- Porque son procesos de intervencin con un mismo ideario o filosofa, que
tienen objetivos diversos aunque emparentados y que intervienen sobre
distintas poblaciones y territorios. En este caso la relacin entre las partes
no es funcional (no coadyuvan al alcance de un mismo fin) sino que estn
reunidos con el objeto de experimentar en diferentes escenarios con
prcticas similares o comparables y de aprender en comn.

Las actividades de evaluacin son diferentes segn el nivel de gestin del que se
trate. Los proyectos son ms sencillos de reconstruir y resultan en principio ms
inteligibles, puesto que incluyen objetivos, productos y procesos de intervencin
acotados. En muchos casos contienen unas pocas lneas de accin y los
involucrados, adems de no ser muy numerosos, se renen con expectativas
claras y funciones bastante delimitadas.

Los programas tienen un nivel mayor de complejidad, puesto que contienen ms

lneas de accin y suelen incluir varios componentes o proyectos. En su caso
resulta ms difcil delimitar las responsabilidades propias del grupo operativo de
aqullas que tienen que ver con el medio institucional o social en el que se
implementan los programas. Los involucrados son ms numerosos y las
relaciones entre los mismos son ms complejas, a la vez que la normas y las
reglas del juego en el marco de las cuales se desarrollan son ms imbricadas. Al
ascender del nivel del proyecto al de programa se hace ms difcil hacer una
evaluacin comprehensiva, razn por la cual hay que acotar el objeto a evaluar,
es decir, hay que definir algunas dimensiones en detrimento de otras.

La evaluacin de cluster puede ser de dos tipos. Si se trata de una agrupacin

funcional (cluster de tipo a) la evaluacin es similar a la de programa, aunque el
cluster tiene una diferencia en relacin con un programa: en ste las partes que
se relacionan funcionalmente trabajan en el marco de una misma organizacin

17
responsable que conduce o coordina; en esta organizacin no existe sino que los
diferentes programas o proyectos slo coexisten o, en todo caso, tienen una
articulacin de tipo horizontal o en red. En este sentido, la evaluacin es an
ms compleja y cobran mayor peso los asuntos que tienen que ver con las
relaciones entre las partes.

Si el cluster no es de tipo funcional (tipo b), la evaluacin sigue los caminos de la

investigacin comparativa. Cada programa o proyecto que compone el clster es
tomado como un caso que se desarrolla en un escenario diferente y se eligen
algunas dimensiones que permiten comparar las intervenciones para poder hacer
un anlisis transversal. Desde ya, en este caso no es posible hacer evaluacin de
objetivos (puesto que son diferentes), aunque muchas veces los proyectos o
programas del cluster son impulsados por alguna iniciativa o lnea de
financiamiento y/o apoyo tcnico lanzada por un gobierno o agencia de
cooperacin, razn por la cual se puede hacer una evaluacin combinada de la
iniciativa (a travs de sus objetivos y lineamientos generales) y de los proyectos a
partir del anlisis comparado.

La evaluacin de planes se ubica en un nivel de mayor complejidad y generalidad

que la de los programas y proyectos y aunque se puede evaluar en funcin de los
objetivos y efectos logrados, se invita a hacer mayores recortes (aspectos,
dimensiones) del ngulo de la evaluacin.

En el caso de las polticas pblicas, la evaluacin se puede hacer de las maneras

siguientes:

- A travs de la evaluacin de programas, clusters o proyectos, lo cual

equivale a seleccionar determinadas lneas de accin que se han puesto en
marcha y que constituyen una parcialidad de la poltica en ciernes.

- Se toma uno o ms aspectos a evaluar (participacin, equidad, institucionalidad, etc)

y se hace una investigacin aplicada en torno al mismo, abarcando el conjunto de
lneas de accin de esa poltica.

- Una combinacin de las anteriores

18
3. TIPOS Y CRITERIOS DE EVALUACION

Para entender qu significa evaluar, luego de haber avanzado con la

aproximacin conceptual, resulta til hacer una aproximacin descriptiva.
Segn los diferentes autores existen varios tipos de evaluacin, pero a los efectos
de hacer inteligibles todas las denominaciones que existen se ha intentado
primero establecer los criterios con base en los cuales se hacen las clasificaciones
corrientes. Estos son:

a) el momento en que se evala,

b) el objeto de evaluacin,
c) el alcance de la evaluacin,
d) quin evala,
e) la perspectiva de los involucrados.

El presente cuadro sintetiza los principales criterios a tener en cuenta.

Segn el Segn el objeto Segn el Segn Segn la

momento en de evaluacin alcance quien perspectiva de los
que se evala evala involucrados
Ex ante - De diseo - De decisin
- De viabilidad y - Los beneficiarios
factibilidad - Los financiadores
- De - Externa - El poder poltico
Sustentabilidad - Interna - El equipo de
De proceso - Monitoreo - Formativa - Autoev. gestin
- De Gestin - Mixta - Otros
Ex post - De efectos - Sumativa - Combinaciones
- De impacto
- De satisfaccin

Existe correlacin entre los primeros tres criterios, dado que segn el tiempo,
corresponden distintos objetos o aspectos a evaluar y el alcance tambin es
correlativo, tal como se explica a continuacin.

19
Segn el momento, el objeto y el alcance de la evaluacin

Evaluacin ex - ante. Es la evaluacin que se lleva a cabo en un tiempo anterior

a la existencia del programa. Los objetos o aspectos a evaluar son el diseo del
programa, su viabilidad y factibilidad, y tambin la sustentabilidad del mismo.

En relacin con el diseo, es necesario comprobar: a) si existe correspondencia

entre el problema analizado en el diagnstico y los objetivos del programa
diseado; b) si el diseo es consistente, es decir, si hay una adecuada relacin
entre actividades, los insumos necesarios para llevarlas a cabo, los productos
(prestaciones, bienes y servicios) que resultan de stas y los objetivos (que
constituyen los efectos deseados).

En cuanto a la factibilidad, se trata de analizar si se renen las condiciones

econmico-financieras y tcnicas para poder llevar a cabo el programa. En
relacin con la viabilidad, lo que se busca conocer es si estn dadas las
condiciones polticas (en un sentido amplio, de acuerdo de actores involucrados
y de gobernabilidad) e institucionales (normativa y de reglas del juego no
escritas) para impulsar el programa.

En lo concerniente a la sustentabilidad (como sinnimo de sostenibilidad) la

evaluacin busca garantizar que el programa cuente con las posibilidades de
subsistir, ms all del perodo limitado de financiamiento que brinda el gobierno
o una agencia de cooperacin (por medio de recursos propios o contando con
fuentes alternativas de financiamiento) . Pero tan importante o ms an que los
recursos financieros son las capacidades organizativas, institucionales, de
conocimiento y de gestin con que tiene que contar el equipo del programa. No
est dems mencionarlo, en este tipo de evaluacin se deber incluir tambin la
apreciacin sobre la existencia de soportes polticos para poder seguir llevando a
cabo las acciones.

Como se podr observar, todos estos tipos de evaluacin estn relacionados con
la toma de decisin previa a la iniciacin de un programa que responde a la
siguiente pregunta: Existen las condiciones para ponerlo en marcha? Segn
cul sea la respuesta se har la opcin. Por esta razn, con base en el criterio
del alcance se ubica la evaluacin ex-ante como evaluacin de decisin.

20
Evaluacin de proceso. Esta evaluacin se lleva a cabo cuando el programa est
en marcha, es decir, durante su fase de implementacin, y tiene por objeto
analizar el desempeo del mismo. Segn la extensin e intensidad del anlisis,
los tipos de evaluacin son el monitoreo y la evaluacin de gestin.

El monitoreo es el procedimiento por el cual verificamos la eficiencia y eficacia de

la ejecucin de un programa, mediante la identificacin de sus logros y
debilidades. Se trata de un anlisis peridico de distintos aspectos de un
programa con el propsito de verificar si se avanza segn lo programado y de
identificar los posibles desvos. Entre los aspectos a verificar se pueden
mencionar: a) actividades previstas, b) disponibilidad de recursos y desembolsos
presupuestarios, c) productos (bienes y servicios), tanto intermedios como finales,
que deben resultar de las actividades previstas, d) cobertura, o sea, beneficiarios
que han recibido los productos programados. Para hacer un seguimiento de
todos estos aspectos se construyen indicadores que permiten verificar el
cumplimiento de metas a lo largo del proceso.

Si bien ste es un tipo de monitoreo que relaciona las actividades y productos

generados en relacin con lo programado, existen otros que relacionan el
desempeo del programa en relacin con promedios o con estndares de mximo
desempeo.

Se podra decir que el monitoreo ofrece una visin del movimiento del programa,
aunque superficial. Mientras que la evaluacin de gestin se detiene a analizar
diferentes funciones de la misma en profundidad. El monitoreo se asocia a una
pelcula y la evaluacin de gestin a una fotografa con detalles ms rigurosos.
Las funciones que pueden ser abordadas en una evaluacin de gestin son
variadas y se eligen segn la necesidad: a) organizacin del programa,
incluyendo la divisin del trabajo, responsabilidades y jerarquas; b) secuencia de
actividades, relacin entre las mismas y ubicacin en el tiempo; c) asignaciones
presupuestarias y cronograma de erogaciones; d) organizacin de recursos; e)
direccin y coordinacin; f) comunicacin interna y externa; g) reclutamiento,
organizacin, capacitacin e incentivos de recursos humanos; h) el clima de
trabajo; i) los productos y los efectos inmediatos; j) aspectos institucionales; k) la
planificacin y el monitoreo mismos.

21
Dado que la evaluacin es un aprendizaje, se puede afirmar que el alcance de la
evaluacin de proceso es formativo.

Evaluacin ex post. Este tipo de evaluacin se efecta generalmente una vez

que ha concluido el programa o cuando ha finalizado una etapa del mismo, de
modo tal que se pueden conocer sus resultados.

Por evaluacin de efectos se entiende aqulla que indaga sobre los cambios en la
realidad producidos por el programa, es decir, nuevos estados o condiciones en
las personas, en las cosas o en las instituciones que son producto de la
intervencin del programa, ya sea que respondan o no a los objetivos planteados.
Algunos programas tienen objetivos o propsitos que se limitan a la construccin
de infraestructura o equipamiento, y en este caso slo se evalan sus productos,
pero en general, los efectos son consecuencia de los bienes o servicios prestados
por el programa.

La evaluacin de impactos busca analizar los cambios producidos por el

programa en un perodo mayor de tiempo (mediano y largo plazo) conjuntamente
con otros factores intervinientes.

Por ltimo, la evaluacin se hace con el propsito de conocer no slo lo que se

observa objetivamente sino tambin lo que sienten, perciben, valoran y resulta de
inters para los beneficiarios.

A esta evaluacin se la llama sumativa, si se tiene en cuenta el alcance de la

misma, puesto que al finalizar la vida de un programa o una etapa del mismo se
logra contar con un cmulo de conocimientos que resultan de lo que se aprendi
antes del inicio y durante todo el proceso de implementacin.

Segn quin evala

Un cuarto criterio a tener en cuenta es quien evala y en relacin al mismo hay

tres posibilidades: evaluacin externa, interna y mixta. Por evaluacin externa
se entiende una intervencin desarrollada por entidades y/o individuos que no
intervienen en el programa o proyecto a evaluar. Cuenta con la ventaja de una
mayor objetividad, aunque se corre el riesgo de acarrear tambin mayor
desconocimiento de la realidad a evaluar. Otra ventaja es su mayor grado de
independencia (o menor implicacin), es decir, que los evaluadotes tienen menos

22
intereses comprometidos con los resultados de la evaluacin. Por ltimo, la
evaluacin externa suele estar a cargo de especialistas, los cuales tienen un
conocimiento metodolgico asentado a travs de la experiencia.

En el otro extremo, la evaluacin interna, desarrollada por una unidad y/o

personas que dependen de la gerencia o direccin del programa, cuenta con la
ventaja del mayor conocimiento del objeto a evaluar y probablemente, mejor
comunicacin con los actores cuya accin es evaluada, aunque su visin puede
estar sesgada por la falta de distancia y perspectiva. Es decir, la evaluacin
interna puede estar teida de subjetivismo y sus resultados pueden estar
condicionados por la necesidad de complacer a los responsables del programa o
al equipo en su conjunto. Sin embargo, favorece el fortalecimiento del desarrollo
profesional a la vez que facilita una mayor participacin y apropiacin de los
resultados de la evaluacin.

La autoevaluacin es un tipo especial de evaluacin interna, donde quienes la

realizan son los mismos involucrados en la gestin. La evaluacin interna no
necesariamente es autoevaluacin, puesto que, como se seal anteriormente,
esta ltima puede ser responsabilidad de un equipo que sea externo al proceso de
gestin aunque pertenezca a la planta del programa.

Con la evaluacin mixta se busca reunir las ventajas de ambos tipos, a travs de
la conformacin de equipos que renen agentes internos y externos. Existen
diferentes grados de asociacin (mayor proporcin de agentes externos o internos)
dependiendo de la medida en que cada parte coopera en el proceso de evaluacin.
En algunos casos se opta por reunir evaluadores externos e internos en nmero
similar, en otros se opta por un equipo externo que cuenta con apoyos internos, y
en otros se prefiere organizar equipos internos con la inclusin de especialistas
externos. Desde esta ltima perspectiva, el evaluador externo aparece en la
bibliografa especializada bajo la figura del agente provocador o amigo crtico,
trminos que dejan claramente planteada la idea de una interlocucin crtica y
reflexiva que puede potenciar an ms las ventajas de la auto evaluacin,
otorgando al agente externo independencia pero posibilidad de estar inmerso en
el proyecto.

23
Segn la perspectiva de los involucrados

Por ltimo, queda por sealar que existen distintos tipos de evaluacin segn la
perspectivas de los involucrados, sean stos los beneficiarios, los financiadores, el
poder poltico y las autoridades, el equipo de gestin, otros o combinaciones de
los mencionados.

Cada organizacin hace sus evaluaciones segn las necesidades, el desarrollo de

la cultura de la evaluacin en su interior y en el medio social en el que trabaja, la
experiencia que posee, la capacidad adquirida y los recursos que dispone. Cada
evaluacin es una obra de arte que se disea ad hoc para cada organizacin,
cada programa y cada circunstancia. Asimismo, en la medida que se avanza en
la prctica evaluativa, las organizaciones van desarrollando sus propios sistemas
de evaluacin, contando con equipos y logstica para llevar a cabo el monitoreo y
mltiples evaluaciones a medida que se avanza en el tiempo.

Es conveniente reiterar el carcter sistmico que debe tener la prctica evaluativa

en dos sentidos: a) concebir a la evaluacin (y el monitoreo) como una funcin de
la gestin que se integra a las dems funciones (planificacin, organizacin,
direccin, presupuestacin, etc.); b) articular las distintas evaluaciones (por
ejemplo: evaluaciones ex ante, monitoreo, evaluaciones de efectos, etc.) en un
todo estructurado, de modo que confluyan diseos, bases de datos, capacidades y
recursos. El montaje de un sistema de informacin permite garantizar la prctica
de la evaluacin como un proceso permanente en una organizacin o programa.

Criterios de evaluacin

Mucho se ha hablado de evaluacin de efectividad, eficacia, o eficiencia. En

realidad estos no son tipos de evaluacin sino criterios que hacen que el trabajo
se concentre en determinados aspectos que dicen la bondad del programa o
proyecto. A continuacin se presenta una explicacin sobre cada uno de estos
criterios.

Efectividad: refiere a la comparacin de los resultados obtenidos respecto de los

esperados. La efectividad implica conocer si la teora implcita en cada programa,
con sus correspondientes expresiones metodolgicas y tcnicas aporta las

24
respuestas que se buscan y genera los cambios que se requieren. Tambin
interesa estimar si esta teora podra ser aplicable a otros campos o poblacin
beneficiaria. Con el anlisis de efectividad se indaga sobre la capacidad de un
programa a partir de su concepcin y diseo, incluyendo la pertinencia
(capacidad de respuesta a los problemas que le dieron origen), la consistencia y la
adecuada visualizacin del medio en el que se desarrolla.

Eficacia: refiere a la capacidad de un programa o de alguno de sus componentes

para alcanzar sus objetivos en el tiempo esperado. La eficacia contempla el
cumplimiento de objetivos en tiempo, sin importar el costo o el uso de recursos, y
tiene relacin fundamentalmente con la capacidad organizativa, de flexibilidad y
adaptacin frente a la situacin de cambio a la que estn sometidos generalmente
los programas. Con el anlisis de eficacia se indaga sobre la capacidad de gestin
de un programa, ms all de cmo fue diseado y teniendo en cuenta incluso la
posibilidad de logro de efectos que no estaban sealados en los objetivos.

Eficiencia: se define como la relacin entre los productos o resultados esperados

de un programa y los costos de los insumos o procesos de apoyo o
funcionamiento que implica, Debe brindar elementos de juicio para identificar
alternativas de accin que permitan obtener mejores resultados con igual
cantidad de recursos o bien los mismos resultados con una mejor combinacin o
utilizacin de los recursos existentes. La eficiencia tiene relacin con la
maximizacin del impacto del gasto pblico, el que siempre enfrenta desafos
asociados al costo de oportunidad de asignar recursos a determinados programas
en relacin a otros, en un contexto de variadas y complejas necesidades sociales
no satisfechas. Es importante aclarar que la eficiencia no se logra sencillamente
minimizando costos. La eficiencia obliga a poner un estndar a la minimizacin
de costos: cumplir el objetivo, a mnimo costo o generar el mayor logro, para un
determinado costo.

4. PERSPECTIVAS TE RICAS Y METODOL GICAS DE LA EVALUACI N

No existe una nica concepcin de evaluacin y consecuentemente, hay varias

perspectivas tericas y metodolgicas que la sustentan, las cuales han sido objeto

25
de intensos debates que permanecen hasta hoy. Una primera clasificacin que se
puede hacer proviene de distinguir la evaluacin tradicional de los enfoques
alternativos que le sucedieron, dando diversas respuestas en oposicin a aqulla.
A continuacin se exponen brevemente los autores y fundamentos de cada una:

a) Evaluacin tradicional centrada en objetivos (Definicin clsica,

desarrollada inicialmente por R. W. Tyler en el trabajo Eight Year Study en 1942)
Utiliza como parmetro de referencia los objetivos del programa a evaluar,
realizando anlisis comparados entre lo que se buscaba y lo que se logr. Este
enfoque busca determinar la congruencia entre los resultados alcanzados y los
propuestos por un lado, y entre el trabajo (las operaciones) y los objetivos por el
otro.

b) Enfoques alternativos. Estos enfoques rechazan la visin de supuesta

imparcialidad y objetividad de la evaluacin centrada en objetivos, de corte
positivista, y resaltan los valores y las opiniones de la pluralidad de actores
involucrados en el programa a evaluar. Reconoce la diversidad de intereses en
juego, la multiplicidad de perspectivas y promueve activamente la participacin
de los diferentes actores en la evaluacin. Varias versiones de este enfoque
fueron emergiendo a lo largo del siglo pasado, pero vale la pena puntualizar las
siguientes:

- Evaluacin mltiple (Desarrollado por C. H. Weiss y G. Majone): dada la

existencia de mltiples partes afectadas por un programa y la complejidad
del contexto poltico donde se desenvuelve la intervencin, este enfoque
propone la utilizacin de las distintas perspectivas de los actores
involucrados en la evaluacin.

- Evaluacin libre de objetivos (Desarrollado por M. Scriven, H.J. Brown y

Wildavsky) considera objetos de evaluacin a todos los efectos provocados
por el programa y no slo aquellos previstos inicialmente. Propone analizar
el impacto sobre la poblacin objetivo y tambin sobre grupos que no lo
sean; el impacto sobre las condiciones actuales, futuras, sobre los costos
en relacin con los recursos utilizados y sobre los costos indirectos o
costos de oportunidad. Este enfoque se presenta como menos intrusivo,
ms adaptable a los cambios repentinos de metas y ms propenso a
buscar efectos secundarios.

26
 - Evaluacin naturalista evaluacin mediacin (E. G. Guba y Y.S.
Lincoln): considera a la evaluacin como una investigacin aplicada que
puede no proporcionar conclusiones objetivas e imparciales sobre el
programa a evaluar, sino que aporta herramientas para re definir los
medios para alcanzar los objetivos propuestos. Propone consensuar los
resultados del anlisis con los participantes de la evaluacin, para
incorporar sus percepciones y opiniones al informe final.

- Evaluacin orientada a la utilizacin (M. Q. Patton): cada decisin del

evaluador debe ir precedida de una pregunta sobre las consecuencias de la
opcin elegida en trminos de utilidad, constituyndose en un proceso
dinmico e interactivo.

El debate metodolgico

A la par de la discusin terica sobre evaluacin se encuentra el debate

metodolgico y se pueden tambin apreciar ciertos paralelismos entre ellos,
aunque no de modo determinante. En trminos metodolgicos, la evaluacin ha
incorporado un debate que corresponde a la investigacin en ciencias sociales,
entre las orientaciones de orden cuantitativo y las de tipo cualitativo. Ambas
responden a diferentes paradigmas epistemolgicos que son, respectivamente, el
positivista emprico y el fenomenolgico constructivista. No es raro encontrar
afirmaciones tales como que existen tipos de evaluacin distintos, cuantitativo o
cualitativo, pero es importante dejar sentado que se trata de diferentes abordajes
metodolgicos que, como se ver ms adelante, no necesariamente son
excluyentes.

La perspectiva cuantitativa se apoya en el paradigma epistemolgico positivista

emprico. El mismo parte del supuesto de que la realidad se puede captar de
manera objetiva, ms all del observador, con categoras preestablecidas que se
toman de una teora. El mtodo predominante es el deductivo y se trabaja con
datos de tipo cuantitativo (muchas veces de tipo estadstico). Tiende a sacar
conclusiones generales y los resultados de sus investigaciones son tambin
generalizables. Una indagacin de este tipo debe ser amplia y detalladamente
planificada antes del comienzo del proceso de evaluacin. Este paradigma es

27
generalmente aplicado en evaluaciones de programas de gran alcance o en
indagaciones de gran alcance sobre programas masivos.

La perspectiva cualitativa responde al paradigma fenomenolgico

constructivista. Se apoya en el supuesto de que la realidad es captada a travs
de la lente del observador, quien introduce a priori sus categoras subjetivas para
el anlisis. No pretende garantizar la objetividad sino ms bien comprender
actitudes, valores y motivaciones internas de las personas (indagacin de la
subjetividad). Por esta razn ms que buscar datos intenta examinar discursos y
hacer anlisis de contenidos y de casos. No se pretende sacar conclusiones
generales sino obtener un conocimiento exhaustivo de las particularidades. A su
vez, sus resultados son limitados en su generalizacin. El diseo de una
evaluacin de este tipo es, en el comienzo, provisorio; es decir, es un diseo que
emerge en el proceso. Generalmente, estos mtodos se ajustan a las evaluaciones
de programas locales o de aspectos locales de los programas.

Ejemplos de tcnicas que se ajustan al paradigma cuantitativo son las encuestas

y entrevistas estructuradas y el anlisis estadstico. Ejemplos de tcnicas propias
del paradigma cualitativo son las entrevistas en profundidad, los grupos focales,
el anlisis del discurso y de contenidos.

De un tiempo a esta parte se ha superado el histrico divorcio entre las

metodologas de un cuo u otro, para dar paso a las propuestas multiplistas,
que adoptan enfoques y tcnicas de ambos segn convenga al objeto a indagar y
a la perspectiva del evaluador.

Como se seal anteriormente, estos enfoques no son necesariamente

contrapuestos ni excluyentes. Tal como sugieren Cook y Reichart, es conveniente
emplear los mtodos que resulten ms adecuados segn la ocasin y si resulta
posible, hacer uso de ambas perspectivas de modo combinado10.

Existen varias ventajas potenciales del empleo y la articulacin de ambas

metodologas. En primer lugar, dado que la evaluacin generalmente tiene
mltiples propsitos, stos deben ser atendidos con referencia a una variedad de
mtodos. Esto supone, en otros trminos, atender tanto al proceso como a los
resultados y considerar, en muchos casos de manera simultnea, los objetivos

10 T. D. Cook y Ch. S. Reichardt, Mtodos cualitativos y cuantitativos en investigacin

evaluativa, Madrid, Morata, 1986, p. 40 y 41.

28
vinculados con la comprobacin, la valoracin del impacto y la bsqueda de
explicaciones sobre los aspectos evaluados.

En segundo trmino, la utilizacin de manera articulada de ambos mtodos

puede contribuir a su potenciacin mutua. Esto implica que uno no puede
sustituir al otro, dado que aportan formas diferentes de abordar el objeto de
evaluacin y que, en consecuencia, requieren su complementariedad. Si bien,
cabe aclarar, no se trata de pensar que sta resulta de una simple sumatoria
sino, por el contrario, que implica atender a los problemas que resultan de su
combinacin.

Por ltimo, dado que no hay mtodo que no presente problemas, dificultades o
inconvenientes, la tercera ventaja que ofrece la articulacin de ambos enfoques es
la de posibilitar la triangulacin de mtodos que permitan disminuir los sesgos
propios a cada uno de ellos. La triangulacin puede darse entre distintas
perspectivas tericas , entre distintas perspectivas metodolgicas, entre tcnicas
cuantitativas y cualitativas, entre tipos de informacin disponible
(documentacin, informantes de todo tipo, observacin) y entre distintos tipos de
informantes

Modelos de comparacin: experimentales, cuasi-experimentales y no

experimentales.

Habiendo presentado el debate metodolgico, cabe pasar a la presentacin de los

modelos de comparacin. Cada vez que se hace una evaluacin puede existir la
posibilidad de hacer dos tipos de comparacin: a) entre los grupos beneficiarios
del programa y los que no han accedido a l; y b) dentro del mismo grupo, a lo
largo del tiempo. Se trata de definir si se trabajar o no con grupos de control, si
se optar por series temporales y cuntos cortes se efectuarn y si, en
consecuencia, se construir o no una lnea de base. De acuerdo con Cohen y
Franco11, los modelos de comparacin son de tres tipos: experimental clsico,
cuasi-experimental y no experimental.

Modelos experimentales: El mtodo experimental clsico implica la

conformacin de dos poblaciones, una de las cuales recibe el estmulo,

11 Cohen, Ernesto y Franco, Rolando Evaluacin de proyectos sociales Buenos Aires, 1988 p. 134

29
constituyndose en el grupo experimental; mientras que la otra no es sometida a
ese tratamiento y conforma el grupo de control o grupo testigo. El eje central es
poder variar un factor a la vez, manteniendo el resto constantes. La dificultad es
encontrar dos poblaciones idnticas al menos en los factores pertinentes al
estudio.

El elemento fundamental para el control del experimento y para evitar introducir

sesgos en la seleccin de los miembros de cada uno de los grupos es la
aleatorizacin. De esta manera se distribuirn al azar los factores incontrolables.

Una vez conformados ambos grupos se trata de comparar la situacin en que se

encontraban antes de la intervencin y despus.

La aplicacin de este modelo requiere la seleccin aleatoria de los integrantes de

los dos grupos. Esta exigencia implica que la muestra debe ser sustancialmente
mayor y , por lo mismo ms caro. Pero adems el modelo ha sido cuestionado por
otras dos razones fundamentales: a) una razn tica: por el hecho de que
experimentar con personas interfiere en la vida personal y social de las mismas;
b) una razn poltica: este modelo implica excluir a un grupo de personas de los
posibles y eventuales beneficios que genera un programa o poltica

Modelos cuasiexperimentales son aquellos donde los grupos (experimental y de

control) no se seleccionan aleatoriamente.

a) Series temporales: se construyen sobre la base de mediciones peridicas

efectuadas antes, durante y despus de la realizacin del proyecto. Segn
las formas que adopten las curvas, es posible determinar el impacto del
programa. La dificultad reside en que los modelos cuasiexperimentales no
permiten aislar los efectos legtimamente atribuibles al proyecto de aqullos
que no lo son.

b) Grupos de control no equivalentes o de comparacin: estos grupos se forman

asumiendo que sus miembros tienen caractersticas semejantes a las del
grupo al cual se aplica el proyecto. Se efectan mediciones antes y despus
de introducir el estmulo.

Modelos no experimentales: En aquellos casos en que la poblacin objetivo no

puede ser comparada con grupos testigo, surgen estas alternativas para descartar
los efectos exteriores no atribuibles al proyecto.

30
a) Modelos antes- despus: trabaja sobre un solo grupo y compara las
mediciones realizadas antes de la puesta en prctica del proyecto, con los
valores obtenidos con los resultados de las mediciones realizadas despus.
El modelo no permite eliminar los factores exgenos, y determinar en qu
medida los cambios son imputables al proyecto. Para ello puede:

utilizar grupos de comparacin que no han sido establecidos en funcin

del diseo y que permiten slo una aproximacin no rigurosa

a travs de variables de control que faciliten la estimacin de la

incidencia de las variables exgenas.

b) Modelo slo despus con grupo de comparacin: se aplica cuando resulta

imposible seleccionar un grupo de control que cumpla con los pre-requisitos
que establece el modelo experimental. Contrasta los resultados obtenidos en el
grupo del proyecto con los de un grupo de comparacin que opera como
testigo.

c) Modelo slo despus: es el ms dbil de todos los modelos. Considera un

solo grupo, donde la medicin se efecta despus de la intervencin. Luego
de la medicin el evaluador reconstruye la situacin inicial con la informacin
a al que ha tenido acceso. Pueden identificarse variables de control, dentro del
grupo experimental, que den indicaciones de los impactos imputables al
proyecto.

5. PASOS PARA LLEVAR A CABO UNA EVALUACI N

Se cuente o no con un sistema de evaluacin, cada vez que hay que crear esta
obra de arte que es la evaluacin es menester seguir los siguientes pasos:

- Planteamiento de la evaluacin y toma de decisiones.

- Diseo de la evaluacin

- Recoleccin de informacin y procesamiento.

- Anlisis de la informacin.

- Comunicacin de los resultados.

31
5.1 Planteamiento de la evaluacin y toma de decisiones.

Toda evaluacin surge de una carencia de informacin. En ese sentido la

evaluacin es una respuesta a un problema o necesidad. Se desea saber qu
posibilidades hay de poder llevar a cabo con xito un programa si es que no ha
funcionado an, o bien cules han sido sus resultados si lleva un tiempo
considerable de intervencin, o cules son sus principales dificultades y
fortalezas en la implementacin. Como producto de esta necesidad de
informacin, los decisores se preocupan por llevar a cabo una evaluacin, ya sea
por iniciativa propia, por demanda de los involucrados o simplemente porque la
necesidad se instal en la agenda de la organizacin impulsora del programa o en
la agenda del medio social en el que se acta.

Nunca una evaluacin est clara ni bien emerge la necesidad. Es necesario

estructurar esta necesidad / problema en dilogo de actores, y estructurar la
respuesta que se le dar. A esto se le llama tambin estructurar la demanda.
Con este propsito hay que plantearse y responderse varios interrogantes:

- Cul es el problema / necesidad que hay que resolver / satisfacer en

trminos de conocimiento? Qu aprendizaje hay que generar?

- Quines son los actores involucrados? En este caso hay que distinguir los
actores directos (tienen injerencia en el proceso de conversin de
insumos en productos, ya sea como responsables, agentes intervienientes
en el programa, como proveedores o como beneficiarios) de los actores
indirectos (aqullos que son concernidos por el programa pero que no
participan en su proceso de conversin). Cules son sus intereses, sus
fortalezas, sus debilidades, sus recursos?

- Cules son los propsitos u objetivos de la evaluacin? Cul es la fase de

desarrollo del programa? Qu aspectos se evaluarn?

- Quines sern las audiencias (destinatarios principales) a los que se

harn llegar los resultados de la evaluacin?

- Con qu recursos se cuenta (financieros, humanos, materiales,

tecnolgicos) y con qu tiempo? Cules sern los costos aproximados de
la evaluacin? Qu obstculos se encontrarn?

32
Luego de contestar estas preguntas se estar en condiciones de esbozar la
evaluacin y de tomar decisiones sobre su puesta en marcha.

Una vez que se haya decidido es necesario conformar el equipo operativo de la

evaluacin.

Es conveniente detenerse para hacer algunas consideraciones en torno al anlisis

de actores. Tanto al identificar los problemas / necesidades como al definir los
aspectos a evaluar y los objetivos la referencia a los actores es obligada. Los
problemas tienen un carcter subjetivo (son estructurados por personas, grupos,
instituciones, partidos; y son tambin priorizados en funcin de las pujas de
poder entre aqullos), al igual que la definicin, seleccin y jerarquizacin de
objetivos.

El anlisis de actores no slo nos permitir conocer qu visin tienen de los

problemas que emergen en el diagnstico sino que tambin contribuir a avizorar
quin estar a favor y quin en contra de un conjunto de decisiones, cmo se
opondrn o apoyarn, cunto y hasta qu punto estarn dispuestos a hacerlo.
Sinnimos de actores involucrados podran ser afectados (beneficiados o
perjudicados), interesados, implicados o concernidos.

El siguiente cuadro refleja los principales puntos a tener en cuenta para analizar
los actores sociales involucrados. En primer lugar es conveniente establecer un
patrn de clasificacin y agruparlos (pblicos, privados, sociedad civil / tcnicos,
polticos, administradores/ por regiones / por tipo de institucin/ etc.) En la
primera columna enunciamos los grupos que intervienen, luego cules son los
intereses de cada uno de ellos, sus fortalezas y debilidades, los recursos que
aportan y, por ltimo, cuales son los potenciales conflictos que pueden ocasionar.

Grupos Intereses Fortalezas y Recursos que Conflictos

debilidades aportan potenciales

Algunas consideraciones en torno a la participacin (tanto en la toma de la

decisin inicial como en el proceso posterior): sta se puede presentar en formas

33
diferentes. Es necesario distinguir entre quienes simplemente proveen
informacin, quienes dan opinin, quienes son invitados a participar
espordicamente de una decisin y quienes se sientan en la mesa permanente de
decisiones. Existen diferentes esquemas, tales como la conformacin de equipos
permanentes, las instancias de consulta eventual o esquemas radiales de
consulta puntual por parte del equipo operativo de la evaluacin. Lo que resulta
claro es que no se puede evaluar haciendo asamblea permanente, puesto que hay
que seguir un rigor tcnico y ordenado en la produccin de conocimiento. Esto
requiere la existencia de un equipo operativo que hace sus aportes tcnicos, se
retira a organizar el proceso en todas sus instancia, se asla para preparar los
canales de participacin y anlisis de la informacin y luego vuelve al conjunto de
los involucrados.

Otro aspecto a sealar es la tensin entre la evaluacin deseable y la evaluacin

posible, donde se entremezclan elementos de factibilidad y de viabilidad. La
factibilidad refiere a la tcnica, a las personas que conocen sobre el tema, a los
sistemas de informacin con los que se cuenta, al tiempo, todo lo cual va
limitando la accin. La viabilidad est ligada en primer lugar a los aspectos
polticos (voluntades, intereses y valores de los actores), es decir, refiere a las
posibilidades de generar consenso en torno a la evaluacin o dejar sentadas las
diferencias para demarcar caminos de negociacin. La viabilidad tambin refiere
a los aspectos institucionales, esto es, a la normativa y reglas del juego que
gobierna el movimiento de las organizaciones.

Por otra parte es necesario considerar la limitacin que tiene que ver con los
recursos: dinero, tiempo, si se cuenta con el marco institucional y el marco
poltico adecuado. En otras palabras, no existe la evaluacin ideal, toda
evaluacin es diseada a medida y en funcin de circunstancias y de un
escenario en la que juegan todos estos factores tcnicos y polticos.

Dentro de la fase del planteamiento tambin es necesario preguntarse sobre los

aspectos a evaluar: productos, efectos, impactos, aprendizajes, aspectos
organizativos, manejo de los recursos, articulacin de los diversos actores,
funcionamiento de las redes y alianzas, estilos de direccin, construccin y
fortalecimiento del clima de trabajo, etc. Es decir, el arco de posibilidades es muy
amplio y no basta con dejar sentado qu se quiere evaluar y establecer un

34
acuerdo sobre ello, sino que es menester avanzar sobre el tipo de evaluacin que
se desea hacer. Llegar a esta definicin implica tomar decisiones acerca de los
aspectos hacia los que apuntar la evaluacin y por lo tanto hacer un recorte de
las aspiraciones.

Antes de finalizar, cabe resaltar que, en trminos ptimos, es de desear que la

evaluacin sea planteada y luego diseada en el momento mismo en que se
formula un programa. De este modo se podrn prever todos los pasos a
desarrollar, convocar con antelacin a los informantes, ordenar la documentacin
y calcular los recursos necesarios. Adems, de este modo se podr tambin
hacer una recoleccin de informacin sobre la situacin inicial del programa, a la
cual se le llama lnea de base.

5.2. Diseo de la evaluacin

Una vez tomada la decisin de evaluar sobre la base de un esbozo, es necesario

darle forma a la idea prefijada, es decir, disear la evaluacin.

Un diseo de evaluacin debe contar con los siguientes elementos:

Objetivos y preguntas clave

Objetivos: Son los enunciados que orientan de manera global la formulacin de

la evaluacin. Debe expresar el cambio esperado en el problema o carencia de
conocimiento que da origen al proceso. Supongamos que se debe llevar a cabo
una evaluacin de un programa de alfabetizacin de adultos, impulsado por el
Estado y ejecutado por organizaciones de la sociedad civil. Luego de
transcurridos seis meses de su implementacin slo se pueden sacar
conclusiones relativas al inicio y el proceso. Un objetivo podra ser el siguiente:
Conocer los primeros avances en la implementacin del programa, a saber, a)
organizacin y articulacin de recursos; b) reclutamiento y capacitacin de
docentes; c) convocatoria de alumnos; d) dinmica de las actividades de
enseanza y aprendizaje; e) primeros resultados en el aprendizaje.

Preguntas clave: Sobre la base de los objetivos cabe hacerse preguntas

generales acerca del funcionamiento de un programa. Estas preguntas son las
grandes orientadoras del trabajo y darn lugar a la elaboracin del marco terico

35
y de las hiptesis de evaluacin. El equipo operativo deber hacerse sus propias
preguntas e invitar a los actores involucrados a formular las suyas.
Posteriormente debern ser ordenadas en funcin de los siguientes criterios:

a) juntar las preguntas repetidas o similares,

b) subsumir las preguntas especficas en otras ms generales

c) agruparlas por tema, rea o aspecto comn

d) organizarlas segn las relaciones causales que existan entre las mismas.

Marco terico e hiptesis

Marco terico: El marco terico, marco referencial o marco conceptual tiene el

propsito de dar al proceso evaluativo un sistema coordinado y coherente de
conceptos y proposiciones que permitan abordar el problema. De ste depender
el resultado del trabajo. Significa poner en claro para el propio evaluador sus
postulados y supuestos, asumir los frutos de investigaciones anteriores y
esforzarse por orientar el trabajo de un modo coherente. El fin que tiene el marco
terico es el de situar a nuestro problema dentro de un conjunto de
conocimientos, de modo tal que permita orientar nuestra bsqueda y nos ofrezca
una conceptualizacin adecuada de los trminos que utilizaremos. El punto de
partida para construir un marco de referencia lo constituye nuestro conocimiento
previo de los fenmenos que abordamos, as como las enseanzas que
extraigamos del trabajo.

Este encuadre terico o conceptual no es inmvil, sino que cambia conforme van
emergiendo evidencias a partir de la intervencin. Estas obligan a modificar las
perspectivas desde las que se observa e interpreta la realidad. Por esta razn, se
habla de la necesidad de poner al da el marco terico, haciendo un anlisis
crtico de las suposiciones que dieron sustento a la accin en el pasado.

Hiptesis: Una hiptesis es un planteamiento y/o supuesto que se busca

comprobar o refutar con evidencia emprica, siguiendo las normas establecidas
por el mtodo cientfico. En otras palabras, se trata de una respuesta adelantada
a una o ms preguntas, que debe ser confirmada con la informacin que se
recoger en el trabajo de campo. Las hiptesis surgen de las grandes preguntas
clave que han hecho previamente.

36
Supongamos que debemos evaluar la gestin de un programa, en cuyo caso se
podra trabajar con la siguiente hiptesis: El programa presenta dificultades en
sus resultados porque a) el estilo de direccin es poco participativo, b) se ha
brindado escasa atencin a las opiniones de los beneficiarios, c) no hay una clara
asignacin de funciones a los agentes que tienen a cargo su implementacin.

Las hiptesis pueden ser de tres tipos:

- Descriptiva: Se corroboran los logros, hayan sido planificados o no, cmo

as tambin los problemas.

- De correlacin: Existe relacin entre dos fenmenos.

- De causalidad: Un fenmeno genera otro.

Dado que todo programa supone una hiptesis de intervencin (si se llevan a
cabo tales actividades, de las que surgen tales prestaciones, se lograrn tales
objetivos), en gran parte de las evaluaciones, con la hiptesis de evaluacin se
propone corroborar el grado en que se cumpli la hiptesis de intervencin.
Luego, al preguntarse por qu, pueden aparecer varias razones (causas) o
correlaciones (hechos relacionados sin que se pueda considerar que uno da
origen al otro). Hay hiptesis que tienen relacin con la totalidad de las
dimensiones y otras slo interpretan lo que ocurre en relacin a una sola
dimensin.

Dimensiones, variables, indicadores y unidades de anlisis

Dimensiones: Grandes bloques conceptuales que corresponden a aspectos de la

realidad a evaluar, relacionados con los resultados y los procesos. Para
ejemplificar, supongamos que debemos evaluar un programa de desarrollo social
a nivel local, que tiene diferentes lneas de intervencin: productiva, educativa,
de salud, de vivienda y comunitaria. Las dimensiones de la evaluacin
correspondern a cada una de estas lneas.

Variables: Atributos observables de la realidad que refieren a una o ms

unidades de anlisis. Se agrupan en torno a las dimensiones. Para ejemplificar,
tomemos una de las dimensiones del ejemplo anterior: la educativa. Las
variables a analizar sern los distintos aspectos educativos respecto de los cuales
esperamos encontrar cambios luego de la intervencin, tales como el clima

37
escolar, la eficiencia interna de los centros educativos, los logros en el
aprendizaje, etc.

Indicadores: Signos que permiten percibir los movimientos de las variables. Una
variable es captada o descripta por medio de uno o ms indicadores. Siguiendo
los ejemplos anteriores de variables propias de la dimensin educativa, podemos
seleccionar la variable eficiencia interna de los centros educativos, para la cual
los indicadores podran ser tasa de permanencia (o su opuesta: desercin), tasa
de promocin (o su opuesta: repeticin) y tasa de asistencia (o su opuesta:
inasistencia).

Existen distintos tipos de indicadores y dependen del tipo de evaluacin a

realizar: A) Indicadores de proceso (signos que brindan informacin sobre
intangibles, tales como liderazgo, consenso, clima o comunicacin; sobre
produccin, tales como programacin, estructura, recursos, tcnicas de
produccin y distribucin de bienes y servicios; y sobre proyeccin, tales como
imagen, posicin en el sector, previsiones de futuro, etc. B) Indicadores de
producto (permiten cuantificar la produccin de bienes y servicios que brinda el
programa en un periodo de tiempo dado). C) Indicadores de cobertura (poblacin
que recibe beneficios sociales en un perodo definido).

Es necesario explicar que estamos trabajando en un proceso de

operacionalizacin, en el mismo sentido que se hace en toda investigacin.
Tambin es importante sealar que todos estos son trminos relativos. Es decir,
las dimensiones incluyen a las variables y stas a los indicadores, o viceversa, a
travs de un conjunto de indicadores se puede leer o interpretar el
comportamiento de las variables- siempre mediado por el anlisis -, y a su vez el
anlisis de un conjunto de variables permite sacar conclusiones acerca de los
hallazgos y resultados en torno a un bloque temtico (dimensiones).

En relacin a la construccin de indicadores, las caractersticas de un buen

indicador se pueden enunciar en los trminos siguientes12:

- su pertinencia;

- su capacidad para resumir la informacin sin deformarla;

12Sauvageot, Claude Indicators for educational planning: a practical guide, IIPE- UNESCO,
1997.

38
 - su carcter coordinado y estructurado, que permite ponerlo en relacin con otros
indicadores para efectuar un anlisis global del sistema;

- su precisin y comparabilidad;

- su fiabilidad.

Un buen indicador debe permitir:

- medir cun cerca o cun lejos estamos en relacin con un objetivo;

- identificar las situaciones problemticas o inaceptables;

- responder a las preocupaciones polticas y al cuestionamiento que ha

conducido a su eleccin;

- comparar su valor con otro valor de referencia, una norma o consigo

mismo calculado para otro perodo de observacin.

Unidades de anlisis: Recorte terico- metodolgico de la realidad a los efectos

de ser analizada. Puede tratarse de personas, grupos de personas, instituciones,
objetos o programas. El universo est compuesto por el conjunto de unidades de
anlisis. Siguiendo con el ejemplo anterior, las unidades de anlisis relativas a
los indicadores de la variable eficiencia interna de los centros educativos son,
en todos los casos, los alumnos. Si se tomara la variable clima escolar, las
unidades de anlisis seran los centros educativos. En cuanto al universo, estar
compuesto en estos ejemplos por la totalidad de alumnos que son beneficiarios
del programa y por la totalidad de centros educativos que participan en l,
respectivamente.

Fuentes de informacin, tcnicas e instrumentos

Fuentes de informacin: Proveedores de informacin. Puede tratarse de

documentacin en diferentes registros (escrito, audio, audiovisual); la realidad
directamente observada; o actores con algn tipo de relacin con el programa.

Las fuentes pueden ser secundarias, cuando brindan informacin cuya

elaboracin no ha estado guiada por el fin de brindar insumos para la evaluacin
sino por otros propsitos (investigaciones, alimentacin de bases de datos de uso
general, acervos estadsticos, etc.); o primarias, cuando son abordadas con el
objeto especfico de brindar insumos de informacin para la evaluacin.

39
Distintos tipos de documentos pueden ser reunidos:

- Documentos sobre planificacin del programa. En este bloque se ubican

los documentos preparatorios que contienen diagnsticos y anlisis de
factibilidad / viabilidad de los programas, el texto del programa con sus
anexos.

- Informacin de contexto, o sea del medio en el que se desarrolla el

programa. Se trata de informacin geogrfica, histrica, demogrfica,
econmica, socio - cultural y educativa. De especial utilidad ser la
informacin sobre poltica y prctica educativa en el lugar.

- Documentacin de trabajo: manuales operativos, instructivos, guas /

pautas de trabajo, registros e informes internos.

- Materiales de difusin, capacitacin y diseminacin.

- Informacin periodstica.

- Documentacin sobre la organizacin coordinadora y otras organizaciones

que conformen la alianza, que contengan informacin sobre su historia,
objetivos, actividades, estilos de gestin, organizacin, etc.

- Investigaciones relacionadas con el programa (s las hubiera).

Respecto de las otras fuentes (informantes, observacin) sern retomadas a

travs de las tcnicas de recoleccin de informacin.

Tcnicas de recoleccin: formas de abordar las fuentes para obtener

informacin. Suponen un proceso lgico por el cual el abordaje de esa fuente dar
como resultado la obtencin de informacin significativa, relevante,
representativa y vlida.

Surge durante esta etapa el debate entre tcnicas de cuo cuantitativo y

cualitativo. Si bien la distincin entre unas y otras suele tener, en sentido
estricto, fronteras difciles de delimitar, se insiste en que no existen metodologas
contrapuestas, sino que para cada evaluacin se hace la seleccin y organizacin
de tcnicas que ms se ajustan a las necesidades de la indagacin. Cabe aclarar
que la orientacin cuantitativa o cualitativa no depende slo de la tcnica que se
utiliza para recoger informacin, sino adems del tipo de tratamiento de la misma
en el anlisis.

40
Sin pretender hacer un listado exhaustivo, se mencionan a continuacin algunas
tcnicas:

- Anlisis documental: El anlisis documental es un paso obligado de toda

evaluacin, tanto de resultados como de procesos. Siempre existe en el anlisis
documental un ejercicio de tipo exploratorio y otro de carcter ms pautado en el
que la bsqueda de informacin es regida por categoras, preguntas, dimensiones
y variables previamente construidas. La documentacin a ser analizada deber ser
previamente seleccionada, distinguiendo documentacin principal de aqulla que
tiene carcter complementario. La documentacin no est organizada segn los
fines de la evaluacin sino conforme a otras necesidades (programacin,
sistematizacin, capacitacin, difusin, etc.), razn por la cual el anlisis
documental deber intentar construir respuestas a los interrogantes de la
evaluacin atravesando transversalmente los diversos materiales. Para ello puede
resultar pertinente construir previamente guas o pautas de anlisis documental
que orienten qu preguntar en relacin con estas fuentes. Por eso es importante
no confundir, an ms en este caso, la fuente secundaria con el instrumento con
el que se releva informacin para la evaluacin.

A continuacin se recomiendan los siguientes pasos para la elaboracin de

una gua de anlisis documental:

1) Hacer un listado de documentos que pueden proveer informacin y una

breve descripcin de sus contenidos (ttulos, ndices, abstracts, etc.) y
ubicacin de los mismos.

2) Establecer la correlacin entre la matriz de evaluacin13 y los documentos

(cules son las actividades / resultados / indicadores sobre los cuales habr
informacin en cada documento).

3) Elaborar una gua para la bsqueda de informacin, partiendo de los

documentos ms generales a los ms especficos.

- Entrevista: La entrevista es una tcnica adecuada para abordar informantes

clave, tales como aqullos que tienen responsabilidades en organizaciones
participantes del programa, experiencia relevante, participacin en perodos
prolongados, conocimientos de aspectos singulares de la realidad sobre la que se

13 Al final del apartado sobre diseo de la evaluacin se ve en qu consiste la matriz.

41
indaga, etc. Puede ser estructurada o abierta, o de tipo combinado como la
entrevista semiestructurada.

- Encuesta: Se utiliza cuando se busca informacin proveniente de un nmero

elevado de personas y cuando no resulta indispensable tomar contacto directo
con el respondente.

A continuacin se ofrece un listado de pautas bsicas para la elaboracin de

una encuesta:

1) Identificacin de actividades / resultados / indicadores sobre los cuales

pueden proveer informacin cada una las fuentes seleccionadas (docentes,
directivos, alumnos etc.)

2) Definicin de caractersticas que tendr la encuesta:

- Segn las preguntas que se hagan puede ser estructurada /

semiestructurada / no estructurada

- Segn como se aborda a los encuestados puede ser administrada o

autoadministrada.

3) Elaboracin de preguntas correspondientes a cada actividad / resultado /

indicador (siguiendo el orden de la matriz)

4) Reordenamiento de las preguntas, armando bloques temticos y elaborando

un orden lgico que se semeje al proceso de una conversacin.

5) Lenguaje claro y accesible

6) Economa de preguntas.

7) Introduccin que explique el objetivo, la duracin y dinmica de la

encuesta.

8) Diseo de la muestra.

- Grupo focal: Tambin llamado grupo de discusin, tiene por objeto encontrar el
sentido de la accin del grupo, las diferencias o matices de opinin, percepcin,
valoracin e intereses entre sus integrantes como as tambin las relaciones entre
ellos y sus posiciones relativas.

- Taller: Esta tcnica es til cuando es necesario profundizar en el estudio de

causas, relaciones con el contexto y anlisis de alternativas. El taller es una

42
actividad de indagacin en s misma, para lo cual se brinda a sus participantes
elementos de metodologa que son usados en un anlisis concreto.

- Observacin: La observacin se puede realizar antes de la aplicacin de otras

tcnicas, despus o concomitantemente. Constituye un recurso que debe ser
diferenciado de las otras fuentes de informacin, tanto secundarias como
primarias. En este sentido, es menester sealar que, ms all del nivel de
estructuracin con que se organice la observacin, sta debe ser siempre
sistemtica, en el sentido de establecer pautas orientadoras.

Instrumentos: herramientas de trabajo que dependen de la tcnica a utilizar y

que se elaboran ad hoc para cada investigacin evaluativa. Se trata de
herramientas de trabajo que dependen de la tcnica a utilizar, de las preguntas
clave de la evaluacin y consecuentemente, de las dimensiones / variables y los
respectivos indicadores que surgen de aqullas y de la realidad sobre la que se
opera.

Con la recoleccin de informacin estn relacionadas las guas de observacin,

los textos de las encuestas (con sus respectivas preguntas e instructivos para
llenarlas o guiarlas), las guas de anlisis documental, las pautas para dirigir
grupos de discusin o para llevar a cabo las entrevistas, etc. En otro grupo de
instrumentos se ubican aqullos relacionados con el procesamiento de los datos y
que son tiles para volcar ordenadamente la informacin, tales como matrices,
tablas, cuadros, etc.

Se sealan algunos cuidados a considerar en el proceso de diseo de los

instrumentos que responden a problemas encontrados en la prctica de la
evaluacin:

- Asegurar la coherencia entre las dimensiones de evaluacin, las variables e

indicadores y el contenido de los instrumentos que se elaboren. Es
importante asegurarse, en concreto, que todos los indicadores estn
representados en uno o ms instrumentos. An ms, en ciertos
indicadores de relevancia, puede resultar til recoger la informacin a
partir de ms de un instrumento y a travs de la utilizacin de diferentes
tcnicas para contrastar la informacin que puede resultar en uno y otro
caso.

43
 - Probar con anticipacin los instrumentos que se van a utilizar y, a partir
de ellos realizar los reajustes pertinentes. Esta prueba supone controlar
tanto la redaccin de las consignas (en el caso de instrumentos cerrados) o
la constatacin sobre la pertinencia de las categoras que organizan una
gua (por ejemplo, para la observacin o para una entrevista
semiestructurada) como los tiempos previstos en cada caso para el
relevamiento de la informacin.

- Cuidar el encuadre: en el caso especfico de la autoevaluacin de proyectos

sociales, sta requiere un cambio de rol y la construccin de una distancia
ptima, que es preciso no perder de vista.

- Es menester destacar que, an en el caso de los abordajes ms abiertos, es

tambin necesario elaborar una gua que se referencie en el marco
conceptual, para no perder de vista en todo momento los propsitos que
orientan la indagacin.

Matriz de evaluacin

Para la construccin de la matriz de evaluacin, se sugiere trabajar con un

esquema que parta de las concepciones ms abstractas y se acerque
gradualmente a las instancias ms concretas. Es decir, el circuito que se propone
queda esquematizado de la siguiente manera:

Qu ocurre?
Preguntas
Dimensiones Variables Indicadores
orientadoras

Con qu?

Unidades de anlisis

Cmo obtengo la informacin?

Fuentes Tcnicas Instrumentos

44
De esta manera la matriz debera poder contemplar la siguiente informacin:

Dimensiones Variables Indicadores Preguntas Unidades Tcnicas Fuentes Instrumentos

de
orientadoras
anlisis

Luego de ordenar las dimensiones, sera oportuno avanzar sobre el proceso de

operacionalizacin y definir con mayor precisin el pasaje de dimensiones a
variables y luego a la construccin de indicadores, as como las preguntas que
orientarn todo el proceso de evaluacin. Estas preguntas no son las que se
efectuarn a las unidades de recoleccin de la informacin, sino que servirn de
gua a la evaluacin. Debern entonces identificarse las unidades de anlisis
sobre las que se predicarn los resultados y las fuentes de donde se obtendr la
informacin. Luego debern definirse cules son los instrumentos que permitirn
obtener la informacin.

La siguiente etapa corresponder a la elaboracin de los instrumentos de

recoleccin de la informacin. Para ello previamente se ha debido someter a la
matriz a un procedimiento de compactacin. Muchas veces sobre una misma
fuente o tcnica se reiteran los indicadores, tambin puede hacerse la misma
pregunta reiteradas veces a distintas fuentes, o puede suceder que a una misma
unidad de recoleccin de la informacin se le hagan preguntas que son de
distintos indicadores. Es por ello que es necesario revertir la matriz, empezar a
trabajar en el sentido inverso: instrumento, fuente, unidad de anlisis. As,
aparecen todas las preguntas o todos los indicadores y se puede definir cul es el
instrumento que hay que construir para esta tcnica, cul va hacer la fuente de
informacin, cul la unidad de anlisis a abordar, etc.

45
Es decir, debern identificarse todas las veces que se ha hecho mencin al mismo
tipo de instrumento para recolectar informacin de diferentes tipos de unidades
de anlisis e indicadores, para construir y aplicar una misma herramienta que
permita obtener todos los datos buscados. Toda vez que se haga referencia a
encuesta, por ejemplo, deber tabularse, de modo que cuando esa encuesta sea
elaborada recoja todos los indicadores a los cules se hizo referencia y recoja
informacin de todas las unidades de anlisis a las cules remite.

En sntesis, el esquema a seguir sera el siguiente:

A travs de un
Instrumento

Obtengo informacin provista por una

Unidad de
recoleccin

Sobre diferentes aspectos de la realidad

Dimensiones
Variables
Indicadores

Relacionados con diferentes

Unidades de anlisis

5.3. Recoleccin de informacin y procesamiento

El tercer paso del proceso sera la recoleccin de informacin, seguida del

procesamiento de la misma. Recoger informacin significa obtener datos de la
realidad a travs de las fuentes ya establecidas en el diseo, por medio de las
tcnicas elegidas, utilizando los instrumentos elaborados de modo especial para
este menester. Es decir, a travs de las fuentes, tcnicas e instrumentos se
obtiene informacin sobre diferentes aspectos de la realidad (dimensiones,
variables e indicadores) con el fin de vincularlos con las hiptesis y el marco
terico referencial.

46
A su vez, procesar informacin significa ordenar y volcar la informacin
obtenida en cada una de las variables que se han construido para la evaluacin.
De este modo, se construirn carpetas, tanto virtuales como de material
impreso, en un nmero equivalente a la cantidad de variables construidas, para
volcar la informacin recogida de distintas fuentes y a travs de distintas
tcnicas.

Programacin de actividades

El proceso de recoleccin de informacin, su posterior procesamiento y el de las

siguientes tareas relacionadas con los pasos del anlisis y la comunicacin,
requiere ser organizado a travs de un programa. El diseo de la evaluacin
previamente elaborado constituye una parte de este programa que debe ser
complementada con los siguientes elementos:

- Secuencia de actividades (relaciones entre las mismas) y cronograma

(relacin de las actividades con el tiempo de realizacin). En ambos casos
sealando los productos parciales y finales.

- Organigrama (asignacin de responsabilidades por funciones y/o

actividades).

- Matriz de recursos. Se trata de un cuadro de doble entrada, donde una

seala los tipos de recursos (materiales, humanos, financieros,
tecnolgicos) y otra los actores (instituciones, organizaciones, e incluso
personas) que proveern estos recursos.

- Presupuesto (distinguiendo tambin tipos de recursos, tems, unidad,

costo unitario y costo final).

- Calendario de erogaciones (desembolsos segn tems, por perodos de

tiempo establecidos semanas, meses, trimestres, etc-).

- Vas de comunicacin con los proveedores de informacin.

- Reclutamiento, seleccin y capacitacin del personal que har el

trabajo de campo.

- Dinmica de funcionamiento (trabajos individuales, grupales y reuniones

conjuntas; frecuencia; toma de decisiones).

47
Seleccin y entrenamiento del equipo

Antes de iniciar el trabajo de campo deber realizarse la seleccin y

entrenamiento del equipo que realizar la salida en bsqueda de la
informacin. Es importante identificar el perfil que se desea para esta tarea, y
luego realizar la bsqueda respetando esas caractersticas. Durante el proceso de
reclutamiento es necesario aclarar, a quienes se les est ofreciendo esta tarea,
cuanto tiempo durar el trabajo de campo, cules sern las exigencias del equipo
y cules sern los principales inconvenientes que pueden encontrar durante la
recoleccin.

Habindose conformado el equipo de campo, deber iniciarse la etapa de

capacitacin del mismo. Se deber informar sobre los objetivos del proyecto y
sobre los responsables. Luego deber realizarse un entrenamiento detallado sobre
la aplicacin de los instrumentos de recoleccin de la informacin con los cuales
trabajarn. Tendrn que leerse detenidamente cada una de las preguntas, an
aquellas que parecen sencillas, respetando el orden sugerido por el instrumento,
y explicarse qu se busca con cada una de ellas, cul es el propsito de que sean
formuladas de esa manera y en ese momento. El objetivo de esta etapa es que
todos los miembros del equipo de campo conozcan y entiendan a la perfeccin el
instrumento a aplicar, de modo que lo apliquen todos de la misma manera (para
que el estmulo sea el mismo), y no que existan tantos criterios de aplicacin
como miembros tenga el equipo de campo.

Durante la capacitacin se deber informar al equipo de campo sobre la identidad

que deber adoptar cada uno de sus miembros en su presentacin ante las
unidades de anlisis y/o recoleccin, recordar las dificultades con las que puede
encontrarse en le trabajo de campo, los tiempos de duracin del mismo y definir
claramente quines sern sus unidades de anlisis y recoleccin.

Por ltimo, es importante desarrollar un instructivo por escrito para entregar al

equipo de campo con las principales apreciaciones y disposiciones para realizar la
recoleccin de los datos.

48
Recoleccin de informacin y manejo de instrumentos

Realizar el trabajo de campo implica ir en bsqueda de la informacin. Es

importante que todos los miembros del equipo de campo que apliquen el mismo
instrumento a diferentes unidades de anlisis realicen el trabajo de campo
durante el mismo perodo de tiempo. De esta manera se busca garantizar que la
recoleccin de la informacin no sea afectada por variables externas que puedan
estar relacionadas con acontecimientos temporales.

Por otra parte, es importante que cuando el equipo de campo est realizando sus
tareas de recoleccin, pueda contactarse con miembros del equipo evaluador en
caso que le surgiera alguna duda o inconveniente.

Tambin es importante que si el trabajo de campo fue diseado con una amplia
duracin en el tiempo, existan entregas intermedias del material recogido. De esta
manera, a travs de la edicin de ese material, se puede sugerir al equipo de
campo que realice ciertas modificaciones en las prximas salidas a campo, que
enfatice ciertos aspectos, o que continen en la lnea en que vena
desarrollndose. Estas entregas intermedias, adems, aceleran los tiempos de
procesamiento, puesto que pueden realizarse cargas parciales an no habiendo
finalizado todo el trabajo de campo.

Adems es necesario que cada uno de los instrumentos aplicados pueda ser
identificado con la persona que lo aplic. De esta manera, cuando, durante las
etapas de edicin y codificacin, surgieran dudas, pueda contactarse fcilmente a
la persona y evacuar las dudas.

Se sugiere la posibilidad de aplicar una supervisin al trabajo de campo, si el

equipo evaluador lo considerase necesario. La utilidad de este proceso es
asegurarse la confiabilidad del proceso de recoleccin de informacin y la
verificacin de una muestra representativa de los datos recogidos.

Al finalizar el trabajo de campo, e incluso en la ltima etapa de ste, se podr

avanzar sobre las tareas de volcado de los datos y su codificacin. Una vez que se
hayan incluido todos los datos en la matriz de datos o en el mecanismo de
sistematizacin que el equipo evaluador haya seleccionado, se podr avanzar
sobre el procesamiento de los mismos, para finalizar con el anlisis y redaccin
del informe de campo.

49
Procesamiento de la informacin

Una vez que se ha recogido la informacin se procede al volcado en carpetas

fsicas y/o virtuales ordenadas por variables. Cada carpeta deber contener la
informacin de las distintas fuentes correspondientes que figuran en la matriz.
Cuando se trate de encuestas y entrevistas estructuradas, se elaborarn cuadros
de salida. A su vez, las carpetas de variables debern agruparse por dimensiones.

De este modo se transita el camino inverso al de la recoleccin de informacin.

En aquel caso se va de las variables y unidades de anlisis a las fuentes /
tcnicas. la informacin correspondiente a las variables se busca a travs de
varias fuentes tcnicas, como se diagrama a continuacin.

Fuente tcnica 1
Variable 1
Fuente tcnica 2

Fuente tcnica 3

Fuente tcnica 1
Variable 2
Fuente tcnica 3

Fuente tcnica 5
Variable
Fuente tcnica 2
El camino inverso es el que va de las fuentes / tcnicas a las variables,
indicadores y unidades de anlisis. Las variables son las unidades ms
pertinentes en este anlisis. Es as que en esta etapa se organiza la informacin
que se obtiene de las fuentes tcnicas segn las variables, agrupando toda
referencia a la variable en un mismo lugar fsico y electrnico. Tambin existe
informacin proveniente de las fuentes que no corresponde a ninguna variable.
Esta informacin debe ser agrupada por separado, ya que es informacin extra
o residual pero puede llegar a ser muy relevante a la evaluacin.

50
 Indicador, variable, unidad de anlisis
Fuente tcnica 1
Indicador, variable, unidad de anlisis

Indicador, variable, unidad de anlisis

Indicador, variable, unidad de anlisis

Posteriormente hay que Indagar qu insuficiencias pudo haber habido en el

diseo de los instrumentos (las cuales obligaran a relativizar ciertos resultados
arrojados por la informacin recogida) y qu problemas pudo haber habido en
relacin con la recoleccin de informacin (resistencia a brindar informacin,
ausencia de actores clave, otros problemas que impidieron obtencin de
informacin conforme a las expectativas iniciales)

Para finalizar, se construye la estructura para el anlisis de la informacin del

siguiente modo:
- En primer lugar, se elaboran los cuadros de salida.
- Luego se elaboran hiptesis provisorias
a)Por variables
b)Por dimensiones
c)Integrales

5.4 Anlisis de la informacin

El anlisis de la informacin sigue al procesamiento, como producto del cual se

cuenta con tantas carpetas como variables de evaluacin se han construido.
Siguiendo la estructura para el anlisis propuesta en el paso anterior, en primer
lugar hay que hacer un anlisis variable por variable, siguiendo los indicadores
que permiten interpretarlas y sacando conclusiones provisorias. Posteriormente
se relacionan las variables entre s, para hacer un anlisis por dimensiones.
Finalmente se relacionan las dimensiones entre s para hacer un anlisis global

51
de todo el programa, siguiendo (corroborando o refuntando y, por lo tanto,
rehaciendo) las hiptesis generales de la evaluacin.

Al hacer el anlisis de la informacin se debe volver a los propsitos iniciales de

la evaluacin, respondindose a las preguntas que dieron lugar a las hiptesis de
la investigacin. En este sentido es conveniente seguir los siguientes pasos:

- Repasar el marco conceptual y corroborar las hiptesis de intervencin

- Repasar las preguntas clave y corroborar o modificar las hiptesis de la

evaluacin, en el caso de que las hubiera.

- Indagar nuevamente qu insuficiencias pudo haber habido en el diseo de

los instrumentos (las cuales obligaran a relativizar ciertos resultados
arrojados por la informacin recogida)

Indagar qu problemas pudo haber habido en relacin con la recoleccin de

informacin (resistencia a brindar informacin, ausencia de actores clave, otros
problemas que impidieron obtencin de informacin conforme a las expectativas
iniciales)

El anlisis de informacin est signado por la tensin entre dos polos:

1) la rigurosidad tcnica (respeto de los procedimientos establecidos o

construccin de nuevos instrumentos);

2) amplia participacin a los distintos involucrados.

Es un trabajo iterativo donde el equipo operativo interpreta, ordena, sintetiza y

devuelve, para que los involucrados hagan sus aportes y los retornen nuevamente
al grupo.

En general el anlisis de los datos obtenidos tras una evaluacin culminan con
algn tipo de recomendacin o sugerencia, de modo de reafirmar el carcter de
aprendizaje que la evaluacin implica. Estas recomendaciones pueden versar en
trono a la modificacin de algn aspecto, a la permanencia, a la posibilidad de
replicabilidad o a las particularidades del proyecto.

52
5.5. Comunicacin y diseminacin

Finalmente el ltimo paso sera la comunicacin de la evaluacin y la

diseminacin de los resultados, con el objeto de que quienes de manera
inmediata puedan beneficiarse de esto tengan una adecuada apropiacin del
conocimiento. Es necesario aclarar que hacer un informe de evaluacin, lo cual
aparece como un proceso muy vulgar y burocrtico, es todo un arte, porque
significa hacer un informe atractivo, interesante, que convoque, que suscite
entusiasmo y opinin, una tarea extra diferente al anlisis de la informacin.
Aqu es donde se pone en juego la capacidad de argumentar.

Si en el diseo de la evaluacin y en la recoleccin y anlisis de la informacin se

ponen en juego los requisitos de validez, pertinencia y relevancia de la evaluacin,
en la comunicacin se pone a prueba la utilidad y la oportunidad. Para que la
evaluacin sea til no basta con que los resultados y las recomendaciones estn
bien argumentadas, sino que tambin es necesario trabajar sobre la audiencia
para demostrar la conveniencia de hacer uso de ese aprendizaje.

En cuanto a la diseminacin, es una condicin para que otros que estn llevando
a cabo experiencias parecidas o estn interesados en seguir caminos similares
puedan apropiarse del conocimiento producido. No se trata de replicar
experiencias mecnicamente, sino de transferir capacidades para la
transformacin, especialmente la de aprender a innovar. De all la importancia
de acercar los resultados de las evaluaciones a congresos, seminarios, mbitos
acadmicos, medios de comunicacin, mbitos de decisin poltica, agencias de
cooperacin, sindicatos, fundaciones empresariales, organizaciones no
gubernamentales, redes, etc.

Entre las recomendaciones de las evaluaciones figuran aqullas que tienen que
ver con el programa mismo (continuar, suspender, modificar, ampliar el respaldo,
generar mayor participacin de los involucrados, etc.), con decisiones de poltica,
con necesidades de llevar a cabo nuevas experiencias o de profundizar el
conocimiento a travs de ciertas lneas de investigacin.

Se agregan algunas sugerencias para organizar el proceso de comunicacin:

- El informe final debe estar en relacin con los objetivos planteados la

evaluacin y responder a las preguntas que se hayan construido.

53
 - Se debe prestar atencin a las distintas audiencias: el proceso de
transferencia supone una preparacin del informe y una adaptacin en
funcin de cada una de ellas.

- Tambin deben ser considerados los interesados potenciales: aquellos que

pueden tener inquietudes de emprender acciones similares a las de los
proyectos. En este sentido, es menester definir qu acciones se pueden o
no replicar.

- Programar la devolucin y transferencia de conocimientos a travs de

reuniones con los equipos de trabajo, con los distintos grupos de
involucrados y con aqullos a quienes se les solicit informacin.

- Resulta conveniente disear una estrategia para la diseminacin que

incluya eventos de divulgacin (seminarios, conferencias, etc.),
publicaciones, redes de intercambio de informacin, entre otras.

Finalmente, se ofrecen algunas recomendaciones para la elaboracin de informes

de evaluacin:

- Antes de entregar los resultados a los destinatarios hay que someter a

discusin las conclusiones que se han formulado.

- En la elaboracin del informe final se sugiere:

o Utilizar lenguaje sencillo y concreto.
o Centrarse en los resultados y recomendaciones fundamentales.
o Presentar observaciones concretas y recomendaciones tiles para
ayudar a la toma de decisiones.
o Cuando el informe est destinado a responsables polticos, conviene
iniciarlo por las conclusiones y recomendaciones, seguido de los
resultados
o La propuesta debe ser prctica, fcilmente utilizable, con
correcciones o modificaciones realizables (no se trata de proponer lo
ptimo sino lo posible).
o Datos necesarios: no hay que confundir a la audiencia con datos
interesantes pero no necesariamente vitales.
o Utilizar recursos grficos y visuales

- Si se trata de informes escritos:

54
 o Comenzar con la informacin ms importante
o Resaltar los puntos ms importantes
o Informe legible

- Si se trata de presentaciones orales:

o Exposicin interesante y variada
o Estilo natural, fluido, confiado y cmodo.
o Ayudas visuales grandes y simples.
o Involucrar a la audiencia en la exposicin.

6. CONCLUSIONES

Como se habr podido reflexionar a lo largo de la lectura de este documento, la

evaluacin constituye una prctica de aprendizaje sobre la realidad del medio
social y educativo sobre el que se acta, sobre el rea especfica de intervencin,
sobre la propia organizacin (estatal, de la sociedad civil o privada) que impulsa o
participa en el diseo e implementacin de programas, y sobre los actores
involucrados, directa o indirectamente. Este aprendizaje que se da entre todos
constituye una fuente de reconocimiento facilitadora del encuentro aunque
tambin es un medio para explicitar diferencias y, si resulta posible, saldarlas.

La evaluacin siempre constituye un momento reflexivo de la accin, en el que

entran a jugar las comparaciones entre lo buscado o deseado es decir, lo
normativo y lo que se ha realizado, poniendo a prueba de este modo la
estrategia implementada y los pasos operativos. La evaluacin es, a la vez que
ordenador de la intervencin, instancia de apertura y de reconexin con el futuro.
Este ejercicio de combinacin entre anlisis y sntesis contribuye a desarrollar
valiosas capacidades en los equipos de los proyectos.

La prctica de la evaluacin ayuda a tomar mayor conciencia de las limitaciones,

obligando a identificar desde el comienzo las amenazas y oportunidades que el
medio depara como as tambin las propias fortalezas y debilidades de los actores
involucrados en la gestin. Del mismo modo la cara opuesta de este
fenmeno evaluar contribuye a desarrollar la capacidad de bsqueda de nuevos
aliados y fuentes de recursos para compensar las limitaciones de las que se toma

55
conciencia.

Adquirir conocimientos a travs de la evaluacin implica como paso previo

aprender a sistematizar experiencias y como paso posterior a comunicar
adecuadamente, prestando atencin a las inquietudes y necesidades de las
distintas audiencias interesadas o que se podran interesar por los resultados de
la evaluacin. Construir relatos con sentidos y significacin adecuados a las
audiencias reales o potenciales es una capacidad que slo puede desarrollarse
sobre la prctica.

A la vez que se ha aprendido sobre la problemtica, los desafos y la gestin de los

propios proyectos, se ha avanzado tambin sobre la importancia de la evaluacin,
su conveniencia y las tcnicas para llevarlas a cabo.

Aunque parezca de perogrullo decirlo, si la evaluacin es un aprendizaje, es

necesario aprender a efectuar este aprendizaje. Es menester aprender la forma
de llevar a cabo estos procesos, tarea para la cual no existen recetas sino ms
bien criterios y herramientas. No hay matrices, mapas, cuestionarios, listados,
indicadores, etc. que puedan ser copiados o extrapolados de una realidad a otra.
Cada evaluacin debe ser creada, cada negociacin debe ser experimentada y
cada alianza debe ser construida en funcin de necesidades especficas.

Por otra parte, en tanto instrumento de la gestin, la evaluacin no debera

obstaculizar procesos sino ms bien facilitarlos. Por eso es de suma importancia
un proceso y un diseo consensuado de alta participacin, que permita a todos
apropiarse de sus frutos y poder colaborar sin menoscabo de las tareas
habituales que tienen a su cargo en los programas.

Por ltimo, la evaluacin es una actividad que requiere pasin. En primer lugar
por las actividades que los programas desarrollan, por los beneficios que se
proponen brindar a la poblacin, y en segundo lugar por la verdad, por el
esclarecimiento de situaciones que requieren ser iluminadas.

56
BIBLIOGRAFIA SUGERIDA PARA SU LECTURA

BALLART, XAVIER (1992), Cmo evaluar programas y servicios pblicos?

Aproximacin sistemtica y estudios de caso, Ministerio para las Administraciones
Pblicas (Espaa), Madrid. Cap. IV y V

FERNNDEZ BALLESTEROS, ROCO (edit.) (1996), Evaluacin de programas.

Una gua prctica en mbitos sociales, educativos y de salud, Sntesis, Madrid.
Cap. 1,3 y 4.

NEIROTTI, NERIO y POGGI, MARGARITA (1999) Evaluacin de proyectos de

desarrollo educativo local pp. 15-56 y 565-578

NIREMBERG, OLGA, BRAWERMAN, JOSETTE y RUIZ, VIOLETA (2000) Evaluar

para la transformacin. Innovaciones en la evaluacin de programas y proyectos
sociales, Paids, Buenos Aires cap. 5 y 6

SIEMPRO-UNESCO (1999), Gestin integral de programas sociales orientada a

resultados. Manual metodolgico para la planificacin y evaluacin de programas
sociales, FCE, Buenos Aires. 51-117

SITIOS WEB SUGERIDOS PARA CONSULTAR SOBRE EVALUACI N

- UNDP Evaluation Office

- PREVAL
- World Bank Operations Evaluation Department (OED)
- Virtual Evaluation Library
- International & Cross-Cultural Evaluation Topical Interest Group
- The American Evaluation Association
- The Canadian Evaluation Society
- The Australasian Evaluation Society
- The European Evaluation Society
- The UK Evaluation Society

57
- The Brazilian Evaluation Network
- French Evaluation Society (Societ Franaise de lvaluation)
- German Evaluation Society
- International Development Evaluation Association (IDEAS)
- UN Evaluation Forum
- UNESCO Bureau of Programming and Evaluation
- UNICEF
- International Association for the Evaluation of Educational Achievement
- United Nations Inter Agency Working Group on Evaluation
- IADB Inter-American Development Bank Office of Evaluation and
Oversight
- World Bank Group's Evaluation Monitoring and Quality Enhancement
- IDRC International Development Research Centre
- INTEVAL International Evaluation Research Group
- MEASURE Evaluation
- Resources for Methods in Evaluation and Social Research

58