1 Marco metodolgico

para la evaluacin de proyectos

Lilia Vernica Toranzost. Junio de 2001
ORGANIZACIN DE ESTADOS IBEROAMERICANOS
PARA LA EDUCACIN, LA CIENCIA Y LA CULTURA O.E.I.

EVALUACIN DE PROYECTOS
MARCO METODOLGI CO
1





a a. . L LO OS S C CO OM MP PO ON NE EN NT TE ES S D DE E L LA A M ME ET TO OD DO OL LO OG G A A D DE E L LA A E EV VA AL LU UA AC CI I N N

Definir el marco metodolgico de un proceso de evaluacin implica en primer
trmino considerar la correspondencia simultnea de diferentes componentes.
Estos componentes son los que se enumeran a continuacin:

las diferentes fases del desarrollo de un programa o
proyecto
los criterios de evaluacin
los factores de desarrollo
los diferentes tipos de programa o proyecto
las herramientas de evaluacin
los enfoques de la evaluacin

i. las dif erentes f ases del desarrollo de un programa o
proyecto

En primera instancia resulta clave la distincin del objeto en relacin con las
diferentes fases del desarrollo de un programa o proyecto que ser motivo de la
evaluacin.

Habitualmente estas fases se identifican como la de planificacin o diseo de un
programa o proyecto; la de ejecucin o desarrollo de un programa o proyecto y la
de finalizacin de un programa o proyecto.

Evaluacin de la planificacin de un programa o proyecto, implica la indagacin o
valoracin de todos los aspectos vinculados directamente con los procesos de
definicin, formulacin y establecimiento de la viabilidad inicial del mismo.


1
En todo el desarrollo del marco lgico se utilizan simultneamente los trminos programa y
proyecto dado que los trminos generales del marco metodolgico se aplican tanto en uno como en
otro caso.
2 Marco metodolgico
para la evaluacin de proyectos
Lilia Vernica Toranzost. Junio de 2001
La evaluacin en esta etapa resulta til para corregir el diseo y formulacin del
proyecto o programa, reorientarlo y estimar si es viable la ejecucin del mismo.

Los aspectos centrales a considerar en esta etapa son los que se enuncian a
continuacin. Si el diseo del programa o proyecto se ha lleva a cabo a partir del
enfoque de Marco Lgico, es decir que se ha considerado la evaluacin del mismo
como parte del proceso de desarrollo de las acciones, esta evaluacin debe
realizarse antes de la finalizacin de la etapa de diseo y planificacin.

Si por el contrario la formulacin del programa o proyecto ha tenido lugar con
otro tipo de metodologas, es necesario recolectar toda la documentacin
producida considerando que el proyecto o programa ya ha sido formulado y que
esta formulacin puede ser ajustada.

Esta evaluacin responde a las preguntas relativas a la coherencia interna del
diseo y la viabilidad para ejecutar las actividades previstas para la generacin
de resultados e impactos.

Las fuentes de informacin principales son secundarias y estn constituidas por
toda la informacin producida en el proceso de diseo y planificacin. En algunos
casos resulta sumamente valiosa la informacin que pueden proporcionar en
forma directa aquellos sujetos responsables del diseo y de la ejecucin del
proyecto o programa.

Evaluacin de la ejecucin de un programa o proyecto , implica la indagacin y
valoracin sobre cmo se estn ejecutando las acciones del programa o proyecto,
todos sus componentes, tareas, recursos, presupuesto, etc.. El objetivo de esta
evaluacin es la garantizar la informacin permanente sobre esta ejecucin que
alimente as la toma de decisiones respecto a la eficiencia de los recursos
previstos y la efectividad de las actividades desarrolladas.

El diseo de esta evaluacin tambin debe realizarse durante la planificacin del
programa y requiere de indicadores que permitan una mejor recoleccin,
ordenamiento, anlisis e interpretacin de la informacin.

En esta etapa es preciso indagar sobre el logro de los resultados a medio trmino
si bien los indicadores construidos a tal efecto son tiles tanto para la evaluacin
de la ejecucin del programa o proyecto como para evaluar los resultados finales.

Las herramientas utilizadas en esta evaluacin permiten hacer una diferenciacin
dentro de la clasificacin general en etapas que se realiza. Estas herramientas
3 Marco metodolgico
para la evaluacin de proyectos
Lilia Vernica Toranzost. Junio de 2001
son los sistemas de monitoreo, las evaluaciones diagnsticas y las evaluaciones
desde la perspectiva de los beneficiarios, en todos los casos se trata de
evaluaciones de proceso.

Tanto las evaluaciones diagnsticas desde la perspectiva institucional como
desde la perspectiva de los beneficiarios resultan particularmente importantes
para poder contar con informacin sobre el desempeo de los proyectos o
programas y de sus resultados a medida que se ejecutan con el propsito de
reorientarlos si fuera necesario. Estas evaluaciones, por su parte, tambin ponen
en evidencia las dificultades para medir los resultados y para superar estas
dificultades las evaluaciones deben proponer los indicadores de resultados e
impactos que debieran ser incluidos como parte de las rutinas dentro del
proyecto o programa.

Por ltimo cabe sealar que estas evaluaciones se orientan a generar
fortalecimiento de las capacidades institucionales porque permiten identificar
aquellos aspectos positivos y vulnerables de la institucin en la ejecucin del
programa y proyecto y detectar el tipo de cambio organizacional requerido para
mejorar la ejecucin del programa.

Evaluacin de la finalizacin del programa o proyecto, esta es la denominacin que
recibe genricamente la evaluacin que tiene por objeto los resultados y los
impactos de los programas o proyectos. Lo habitual es que esta evaluacin se
realice una vez que el programa o proyecto a finalizado. No obstante ello, la
literatura por una parte considera solo a los proyectos como propuestas a
trmino mientras que los programas se suponen de carcter ms permanente. Por
otra parte la indagacin sobre los resultados en un principio y los impactos luego
pueden ser objeto de evaluacin en un trmino considerable de ejecucin.

A los efectos de la evaluacin que se propone realizar se diferencian los
resultados de los impactos como dos entidades de diferente naturaleza y
pasibles de ser evaluadas en forma independiente y por otro lado se estima a
priori la posibilidad de evaluar tales aspectos en aquellos proyectos que tienen
una trayectoria ms prolongada que incluso observan antecedentes significativos.

En trminos generales, el propsito de esta evaluacin es la de conocer la
eficacia, efectividad y eficiencia de las acciones del programa o proyecto e
indagar sobre las consecuencias en trminos de modificaciones que le son
atribuibles en forma directa en relacin con los aspectos problemticos que le
dieron origen.

4 Marco metodolgico
para la evaluacin de proyectos
Lilia Vernica Toranzost. Junio de 2001
La evaluacin de este tipo es deseable que tambin est considerada durante el
diseo del programa o proyecto en cuestin. Esta requiere de la construccin de
indicadores de resultados que son los mismos que pueden utilizarse para evaluar
la ejecucin del programa dnde la diferencia est dada por la variable temporal.

No obstante los indicadores de impacto son de diferente naturaleza ya que son
aquellos directamente relacionados con la situacin problemtica que dio origen
al programa o proyecto por lo que es deseable poder construir una lnea de base
por ejemplo en el momento del diseo del programa o proyecto - que sirva como
elemento comparativo en trminos de impacto luego de transcurrido un perodo
de tiempo estimado adecuado.


ii. los criterios de evaluacin

Los criterios son un componente sustantivo en todo proceso de evaluacin, ellos
constituyen las pautas o conjunto de elementos respecto de los cuales se lleva a
cabo el anlisis comparativo, la contrastacin de la informacin recolectada
posibilitando as producir el juicio valorativo propio de la accin de evaluacin.

En lo atinente a la evaluacin de programas o proyectos existe un generalizado
acuerdo sobre estos criterios claves de valoracin sobre los que debe
sustentarse este tipo de evaluacin.

Los cinco criterios alrededor de los cuales se centra la atencin son la eficacia,
la eficiencia, el impacto, la viabilidad y la pertinencia, para su definicin se
adopta la utilizada con el Comit de Ayuda al Desarrollo (CAD, 1995).

La eficacia es una medida que relaciona los objetivos especficos del programa o
proyecto con los resultados centrando la atencin en el grado de cumplimiento de
ambos. La pregunta por la eficacia es el cuestionamiento sobre en qu medida los
resultados logrados por el programa o proyecto han contribuido al logro de los
objetivos especficos planteados en un lapso y contexto determinados. Es
importante prestar especial atencin a las causas que derivaron en una eficacia
real, el grado de consecucin de la misma o su ausencia.

La eficiencia es una medida de la productividad del proceso de ejecucin, es
decir, hasta qu punto los resultados que se han alcanzado se corresponden con
una adecuada utilizacin de los recursos de todo tipo. En este sentido se trata de
examinar si los resultados alcanzados podran haberse logrado haciendo una
utilizacin ms ptima de los insumos de todo tipo.
5 Marco metodolgico
para la evaluacin de proyectos
Lilia Vernica Toranzost. Junio de 2001

La pertinencia tiene importancia vital desde las primeras fases de identificacin
y planificacin y es una medida de la adecuacin de los resultados y los objetivos
del programa o proyecto al contexto en el que se ejecuta. Para analizar la
pertinencia es preciso considerar: a) las demandas de los beneficiarios, b) las
polticas u otro tipo de programas o proyectos concurrentes y c) las capacidades
tcnicas con las que se cuenta.

La viabilidad o sostenibilidad es la medida o el grado en que los efectos positivos
derivados del proyecto o programa se prolongan en el tiempo an cuando ya no
existan apoyos externos. Si bien la viabilidad es un criterio respecto del cual
puede ser analizada la ejecucin del proyecto o programa en tanto capacidad
para realizarse y darle continuidad a las acciones an de manera autnoma, en
sentido estricto la viabilidad o sostenibilidad tiene una perspectiva del proceso
en el largo plazo.

El impacto hace referencia directa a los efectos o consecuencias del programa o
proyecto sobre una poblacin en particular incluso ms all de los objetivos
propuestos originalmente. El impacto incluye las consecuencias y efectos tanto
positivos como negativos, previstos y no previstos. Este resulta ser el criterio
ms amplio y difcil de medir dada la amplitud de su horizonte temporal.


iii. los f actores de desarrollo

El desarrollo de los programas o proyectos no es adjudicable nicamente a las
caractersticas de los mismos sino que tambin intervienen en el xito de su
ejecucin y en el logro de sus resultados otros elementos relativos al contexto
general en el que tienen lugar. Estos elementos del contexto son los denominados
factores de desarrollo que incluyen aspectos de tipo poltico, social, cultural y
econmico que operan favoreciendo o entorpeciendo el desenvolvimiento de los
programas o proyectos.

El anlisis de los factores de desarrollo es un componente central en todas las
etapas el diseo, la ejecucin, el seguimiento y por cierto la evaluacin del
programa o proyecto. Esta centralidad se incrementa en relacin con la
evaluacin y en especial la de resultados e impactos.

En primera instancia es necesario identificar cules son los factores de
desarrollo gravitantes con relacin al programa o proyecto objeto de evaluacin.

6 Marco metodolgico
para la evaluacin de proyectos
Lilia Vernica Toranzost. Junio de 2001
En segunda instancia cabe realizar una ponderacin, es decir estimar el peso
relativo de los diferentes factores identificados en trminos de su incidencia en
el diseo, la ejecucin y los resultados efectivos de las acciones del programa o
proyecto.

La OCDE considera seis grupos de factores de desarrollo: polticas de apoyo,
aspectos institucionales, condiciones financieras y econmicas, factores
tecnolgicos, factores socioculturales y factores medioambientales, en los
ltimos aos se observa la tendencia a incluir tambin los factores vinculados con
las relaciones de gnero.

A continuacin se enuncian los factores de desarrollo que se consideran ms
pertinentes para tomar en consideracin:

Polticas de apoyo Este constituye un elemento muy importante del contexto
local, nacional y/o subregional en el que se inscriben los programas o proyectos.
Por tanto la evaluacin tiene que tomar especial consideracin de las mismas ya
que conforman un componente central a la hora de estimar la viabilidad de las
acciones y la efectividad de las mismas.

En el conjunto de las polticas de apoyo cabe considerar tanto las polticas
directamente vinculadas con los objetivos del programa o proyecto, como aquellas
que indirectamente puedan afectar en alguna forma el desarrollo de las acciones
previstas en el programa o proyecto.

En este sentido tambin deben considerarse las polticas de apoyo en el marco de
un horizonte temporal amplio, es decir aquellas que resultan anteriores incluso al
diseo del programa o proyecto, aquellas concurrentes y as tambin las que
resultan como consecuencia de la ejecucin de las acciones.

Aspectos institucionales El xito o fracaso de la ejecucin y los resultados de un
programa o proyectos est en estrecha relacin con las caractersticas
institucionales de: a) los responsables del diseo y la gestin central, b) la
gestin desconcentrada de los programas o proyectos, c) la O.E.I en tanto
oferente de cooperacin y d) las contrapartes nacionales como receptores de la
misma.

En todos los casos, con diferentes pesos relativos, la evaluacin debe indagar
sobre las prioridades institucionales, las capacidades existentes y desarrolladas,
las posibilidades de sostenibilidad de las acciones, las condiciones de los recursos
humanos disponibles, etc En cada uno de los proyectos objetos de la evaluacin
7 Marco metodolgico
para la evaluacin de proyectos
Lilia Vernica Toranzost. Junio de 2001
se tomarn en consideracin los aspectos institucionales considerados de mayor
incidencia.

Aspectos socioculturales En algunos casos la existencia de diferentes
parmetros culturales entre quienes disean el programa o proyecto y los
beneficiarios del mismo puede traer como consecuencia la necesidad de
considerar especialmente estos elementos.

En el caso particular de la evaluacin de la programacin de la O.E.I., a priori no
se consideran especialmente gravitantes estos aspectos, por otra parte es
necesario tener en cuenta la amplitud que manifiesta el espectro de los aspectos
socioculturales de incidencia potencial en el desarrollo de los programas o
proyectos. Esta amplitud tambin dificulta en alguna medida su consideracin
rigurosa.

Factores tecnolgicos Este conjunto de factores se refiere directamente a las
condiciones de equipamiento y capacitacin especfica requerida para el
desarrollo o aprovechamiento pleno de las acciones del programa o proyecto.

La naturaleza misma de los proyectos objeto de esta evaluacin determina que
estos factores no son los principales a tener en consideracin ya que en trminos
generales la mayora de las observaciones que se pueden hacer al respecto
pueden quedar incluidos en la categora de aspectos institucionales sin un alto
componente tecnolgico especfico.

Factores econmico financieros El conjunto de factores econmico-financieros
suelen tener mucha incidencia en la viabilidad de los programas o proyectos a
mediano y largo plazo. Las herramientas utilizadas habitualmente para el anlisis
de las posibilidades de mantenimiento en el tiempo de las condiciones favorables
para el desarrollo de las acciones programadas son los anlisis conocidos como de
costo-utilidad, costo-efectividad y costo-beneficio.

En lo que se refiere a la evaluacin de la programacin de la OEI se estima que
estos factores no son los que resultan ms gravitantes en primera instancia por
lo tanto no se harn anlisis especficos sobre estos factores sino que sern
vinculados en trminos generales con los aspectos institucionales.

Por ltimo cabe sealar que ni los factores vinculados con las relaciones de
gnero ni con las caractersticas ambientales se consideran a priori relevantes en
el anlisis de los proyectos objeto de evaluacin.

8 Marco metodolgico
para la evaluacin de proyectos
Lilia Vernica Toranzost. Junio de 2001

iv. los dif erentes tipos de programa o proyecta

En la definicin del marco metodolgico de la evaluacin resulta necesario hacer
una diferenciacin entre tipos de programa, proyecto o de actividades
predominantes en el marco de los mismos.

A los efectos de la evaluacin que nos ocupa en principio se adoptar un anlisis
diferencial segn el tipo de actividades predominantes de cada uno de los
proyectos, de este modo se organizar el contenido de los proyectos a los
efectos de su evaluacin segn sus actividades sean:

De capacitacin, en dnde cabe diferenciar segn las caractersticas de las
mismas, la modalidad predominante, los materiales utilizados a tal efecto, las
concurrencia de diferentes instituciones en el diseo o ejecucin de las acciones,
etc.

De asistencia tcnica, es preciso identificar claramente el origen de la demanda
y las formas de satisfaccin de estas demandas, las formas de diseo de la
asistencia tcnica y los responsables de las mismas,

De intercambio, son aquellas actividades cuyo eje central es una forma de
cooperacin basada en la construccin de una red cuyos nodos desarrollan las
actividades de intercambio de informacin, de personas, etc En este caso
tambin es preciso por ejemplo, identificar los procesos de construccin de esta
red, la concurrencia de instituciones a tal efecto.

De difusin, aquellas actividades muy frecuente en el mbito de los programas
culturales cuyo eje est dado por la capacidad de distribucin o diseminacin
amplia de determinados contenidos. En estas actividades es preciso identificar
las estrategias utilizadas, los soportes tecnolgicos requeridos y los
consecuentes niveles de accesibilidad de la informacin o contenidos objetos de
difusin.

De investigacin, son aquellas actividades que se centran en la generacin de
estudios, conocimiento, estados del arte, etc.. sobre diferentes temticas. Del
mismo modo que en casos anteriores es importante identificar quienes son los
productores individuales o institucionales y quienes los usuarios, cmo se
generan las demandas en materia de investigacin y cules son las redes a travs
de las cuales se diseminan y enriquecen estas actividades.

9 Marco metodolgico
para la evaluacin de proyectos
Lilia Vernica Toranzost. Junio de 2001
De becas o ayuda financiera, son acciones que tienen por objeto ofrecer apoyo
econmico, en general individual para facilitar la realizacin de estudios,
pasantas, intercambios formativos, etc En estos casos el componente
econmico y las posibilidades de sustentabilidad de las acciones en el mediano y
largo plazo tienen un peso importante.

De sensibilizacin, en varios programas o proyectos ocupan un lugar importante
las acciones destinadas a la sensibilizacin de la poblacin, instituciones,
gobernantes, etc, con relacin a determinadas temticas. En general estas
actividades se dan conjuntamente con actividades de difusin y como paso previo
a acciones de capacitacin por ejemplo.


v. las herramientas de evaluacin

Las herramientas de evaluacin son la forma genrica de referir a los diferentes
tipos de instrumentos de recoleccin y anlisis de la informacin que pueden ser
utilizados.

Recoleccin de la informacin, en los procesos de recoleccin de informacin es
posible distinguir las tcnicas y los instrumentos. Entre las tcnicas ms
utilizadas se encuentran la observacin, la encuesta, la entrevista, el anlisis
documental y entre los instrumentos se cuentan: los cuestionarios, las guas, las
listas de control o cotejo, los anecdotarios, las matrices de contenido. La
eleccin por una u otra tcnica o instrumento deriva de la consideracin sobre el
tipo de informacin que se debe recolectar, la mayor o menor dificultad que
entraa la construccin de los instrumentos y el entrenamiento requerido por
parte de quien aplica dichos instrumentos. Otro elemento a tener en cuenta es la
cobertura que debe tener dicho instrumento y el tiempo que insume su
administracin.

Anlisis de la informacin, en los procesos de anlisis de la informacin la
distincin ms habitual es entre las estrategias cualitativas y cuantitativas de
anlisis, an cuando la tendencia actual es la de utilizar herramientas de ambos
tipos en forma complementaria.

En el terreno de las estrategias cualitativas tiene un peso preponderante la
pericia del evaluador y su capacidad para establecer categoras de anlisis que
incrementen el valor explicativo de la informacin recolectada. Por su parte las
estrategias cuantitativas ms reconocidas son aquellas que se vinculan con el
tratamiento estadstico de la informacin, los ejemplos ms prximos son
10 Marco metodolgico
para la evaluacin de proyectos
Lilia Vernica Toranzost. Junio de 2001
aquellos relacionados con el campo de la economa que es el terreno en el cual han
alcanzado mayor desarrollo estas herramientas.

En el caso que nos ocupa, por tratarse de una muestra intencionada cuyo valor no
reside en la representatividad estadstica de la misma los anlisis estrictamente
cuantitativos tendrn un peso menor que los cualitativos.

Por otra parte resulta de suma importancia la utilizacin de diferentes tcnicas
de triangulacin tanto de fuentes de informacin, de informantes, de tcnicas de
recoleccin y anlisis para poder garantizar la mayor fiabilidad posible a la
informacin producida.




vi. los enf oques de la evaluacin

Existen numerosas clasificaciones de los diferentes enfoques de la evaluacin
segn quin la lleve a cabo ser interna, externa o mixta; segn el criterio
temporal ser ex ante, intermedia o ex post; segn sus posibilidades de
generalizacin ser sumativa o formativa, etc..

Por otra parte tambin se consideran enfoques diferenciales aquellos que
responden a una de las tres corrientes que operan en la actualidad como marcos
para la evaluacin como lo son: a) el enfoque del marco lgico (EML) y el mtodo
de planificacin orientada por objetivos (ZOPP); b) la evaluacin cuantitativa a
travs del anlisis costo beneficio ( ACB) y costo efectividad (ACE); c) la
evaluacin participativa.

En este caso en particular interesa el enfoque en tanto criterio clasificatorio de
los componentes del proyecto o del conjunto de los proyectos y programas en los
que estn incluidos, por tanto se adoptarn como enfoques los siguiente criterios
de clasificacin:

Por proyectos : esta es la unidad de anlisis definida previamente para el
conjunto de la evaluacin lo cual proporciona un elemento distintivo en la
consideracin del enfoque que esta evaluacin adopta.

Por tipo de actividades: ya se mencionaron ms arriba los diferentes tipos de
actividades que se pueden identificar, por lo tanto un enfoque posible para la
evaluacin es la consideracin de los tipos de actividades por separado con
11 Marco metodolgico
para la evaluacin de proyectos
Lilia Vernica Toranzost. Junio de 2001
independencia del proyecto o programa al que pertenecen y posibilitar as una
suerte de anlisis transversal de todos los proyectos en conjunto segn el tipo de
actividades que realizan.

Por distribucin territorial: el alcance iberoamericano de la mayor parte de los
proyectos y el desarrollo diferencias de propuestas subregionales y nacionales
importan un anlisis particular a la distribucin territorial de las acciones de
modo tal de facilitar tambin un anlisis transversal desde el punto de vista
territorial.

Por temtica afines : otro criterio clasificatorio es el de la proximidad de las
temticas que son objeto de atencin en unos y otros proyectos, este anlisis
puede permitir observar la concentracin o dispersin en la cobertura de
diferentes temticas a la vez que la ausencia de acciones en otros segmentos de
relevancia para la organizacin en su conjunto.


12 Marco metodolgico
para la evaluacin de proyectos
Lilia Vernica Toranzost. Junio de 2001

b. LOS MOMENTOS O FASES METODOLGICAS PARA EL DESARROLLO DE LAS
EVALUACIONES

Todo proceso de evaluacin implica, para su desarrollo, el trnsito por una
serie de momentos o fases de carcter metodolgico que garantizan su
desarrollo exitoso. A continuacin se hace una breve referencia a cada una de
ellas.

i. identif icacin de la demanda

La identificacin de dnde proviene la demanda de la evaluacin, quin desde el
punto de vista institucional es que requiere la evaluacin es un elemento
importante ya que permite estimar cules son los aspectos claves en los que la
evaluacin debe hacer nfasis, del mismo modo permite estimar cules sern los
usuarios de la informacin que se produzca a partir del proceso de evaluacin.

En este ltimo punto hay que tener presente que pueden existir diferentes
categoras de usuarios, al menos se puede pensar en directos e indirectos por lo
que del mismo modo la informacin que se produce y el tipo de informes pueden
ser diferenciados segn las audiencias potenciales. No obstante ello, lo que cabe
destacar en esta etapa es la importancia de identificar con mucha precisin el
origen de la demanda que permitir tambin orientar los objetivos de la
evaluacin.


ii. identif icacin de la f ase de desarrollo obj eto de la
evaluacin

En cada uno de los proyectos objeto de evaluacin es necesario identificar en que
fase del desarrollo del mismo se encuentra, es decir si est en la etapa de
diseo, de ejecucin o de finalizacin y en consecuencia definir cules sern los
ejes centrales de la evaluacin a llevar a cabo.


iii. realizacin de la preguntas claves

Es necesario hacer las preguntas claves acerca de qu se quiere conocer de cada
uno de los proyectos objeto de evaluacin, determinar as qu informacin ser
recolectada. Sin duda estas preguntas variarn segn la fase de desarrollo en
que se encuentre el proyecto.
13 Marco metodolgico
para la evaluacin de proyectos
Lilia Vernica Toranzost. Junio de 2001

iv. identif icacin de indicadores

En funcin de las preguntas claves se deben identificar o construir indicadores
que al modo de un sistema de seales sean los elementos que permitan dar cuenta
de manera completa cada uno de los aspectos objetos de evaluacin. Para ello se
tiene que tener en cuenta la posibilidad de identificar indicadores simples o
complejos que a su vez deben cumplir con un conjunto de condiciones tales como
a) pertinencia en tanto manifiesten correspondencia ente los aspectos a evaluar
y el contexto en el que se desarrolla el proyecto; b) sensibilidad en tanto pueda
reflejar los cambios en el tiempo; c) relevancia en tanto resulte significativo a
los efectos de la evaluacin y de la toma de decisiones posterior.


v. determinacin de las f uentes de inf ormacin

En forma correspondiente a la identificacin de los indicadores debe llevarse a
cabo la tarea de determinacin de cules sern las fuentes de informacin que se
tendrn en consideracin. Tpicamente estas fuentes de informacin se clasifican
en primarias y secundarias en tanto la informacin proceda de fuentes
documentales o indirectas o de los propios actores intervinientes en el desarrollo
de los proyectos.


vi. identif icacin del universo de estudio

El universo de estudio es el conjunto total de la poblacin que ser objeto de
anlisis. La determinacin final del universo de estudio en muchos casos es
producto de un proceso estadstico complejo como es la construccin de una
muestra representativa estadsticamente. En otros casos el tamao del universo
es posible de ser abarcado en su totalidad o se acota en funcin de determinados
criterios a partir de los cuales resulta el universo de estudio. Para tal
identificacin es preciso dar respuesta a preguntas tales como: a quines se
referir la evaluacin?, qu niveles institucionales sern considerados?, qu
actores sern seleccionados?, qu tipo de beneficiarios sern incluidos?, en
qu localizaciones geogrficas se realizar la evaluacin?





14 Marco metodolgico
para la evaluacin de proyectos
Lilia Vernica Toranzost. Junio de 2001

vii. diseo de los instrumentos

Para recolectar la informacin previstas es necesario definir las tcnicas a
utilizar y disear los instrumentos correspondientes. Ya se hicieron algunas
consideraciones al respecto en el apartado anterior referido a las herramientas
de evaluacin. En trminos generales se requiere de los instrumentos que sean
adecuados respecto de la informacin a recolectar, el tiempo disponible y la
dispersin geogrfica que deben cubrir. Por otra parte se aconseja la utilizacin
de variedad de tcnicas e instrumentos con el propsito de reducir las
limitaciones de cada una en particular, permite garantizar mayor fiabilidad en la
informacin obtenida y promueve el relevamiento de informacin desde
diferentes perspectivas.


viii. def inicin de la periodicidad de la recoleccin de la
inf ormacin

El proceso de evaluacin concebido como un proceso permanente requiere de la
definicin sobre la frecuencia con la cual se llevarn a cabo las tareas de
recoleccin de la informacin. Esta periodicidad debe estar vinculada
directamente con la naturaleza de cada uno de los indicadores sobre los cuales se
prev recolectar informacin.


ix. diseo de un plan de anlisis y procesamiento de la
inf ormacin

Es necesario prever los mtodos e instrumentos a partir de los cuales se llevar
a cabo el ordenamiento, sistematizacin y procesamiento de la informacin
obtenida. Entre los instrumentos ms habituales se cuentan los planes de
tabulacin, matrices de datos, construccin de tipologas y en algunos casos se
aplica la utilizacin de paquetes estadsticos.


x. trabaj o de campo

Es preciso organizar el trabajo de campo, prever quines lo llevarn a cabo, su
proceso de entrenamiento si es necesario y como sern las instancias de
supervisin del mismo. Especial atencin requiere si el trabajo de campo debe
atender una dispersin geogrfica importante.
15 Marco metodolgico
para la evaluacin de proyectos
Lilia Vernica Toranzost. Junio de 2001


xi. def inicin de criterios generales contenidos del inf orme

Por ltimo es necesario precisar cules sern los contenidos o el ndice general
del informe de evaluacin de modo tal de considerar a quin est dirigido, cul es
la informacin ms relevante, cmo debe estar organizada la misma, qu tipo de
recomendaciones se pueden incluir y qu tipo de decisiones podrn orientarse a
partir de ellas.

16 Marco metodolgico
para la evaluacin de proyectos
Lilia Vernica Toranzost. Junio de 2001

c. LA EVALUACIN DE LOS PROYECTOS SELECCIONADOS

i. f ocos, contenidos y tpicos para el anlisis

En este apartado se enuncian las pautas a travs de las cuales se llevar a cabo la
evaluacin de las diferentes instancias de los proyectos seleccionados. Para
obtener la informacin necesaria para la realizacin del anlisis evaluativo se han
identificado las preguntas claves a la que la evaluacin de cada etapa debe dar
respuesta y los bloques de contenidos y temas especficos objeto de anlisis.

En funcin de esta identificacin se construyen las pautas generales para el
desarrollo de las entrevistas , el anlisis documental y la construccin de
cuestionarios si su aplicacin se estima pertinente


Evaluacin del diseo y planificacin de los proyectos

a) Preguntas clave a las que debe dar respuesta

v es consistente la formulacin del proyecto?
v es viable la ejecucin de cada una los componentes y actividades previstas?
v los componentes y actividades previstas se estiman alternativas eficientes y
eficaces para el logro de los resultados previstos?
v es consistente la formulacin del proyecto en el marco del programa que lo
incluye?

b) Bloques de contenido y tpicos para su anlisis

Identificacin y delimitacin del problema o la demanda que dio origen al
proyecto
Anlisis de la situacin inicial del proyecto
Visin del proyecto
Identificacin de los componentes del proyecto
Actividades del proyecto
Formulacin final del proyecto
Actores intevinientes y la viabilidad poltica del proyecto
Viabilidad institucional del proyecto
Perspectiva de sustentabilidad


17 Marco metodolgico
para la evaluacin de proyectos
Lilia Vernica Toranzost. Junio de 2001
Evaluacin diagnstica desde la perspectiva institucional

a) Preguntas clave a las que debe dar respuesta

v el modelo de gestin institucional es el adecuado para ejecutar el proyecto?
v cmo es el desempeo institucional del proyecto en las diferentes instancias
jurisdiccionales?
v cules con los problema u obstculos que se presentan entre lo planificado,
la ejecucin y el logro de los resultados previstos en el proyecto?
v existen problemas en el flujo de fondo para el proyecto?
v se estn ejecutando las acciones y obteniendo los resultados previstos?
v se estiman adecuados los criterios de focalizacin?
v se estn cumpliendo las metas propuestas por el proyecto?
v cules son las causas de los posibles desvos?
v qu recomendaciones se proponen para mejorar la gestin del programa?

b) Bloques de contenido y tpicos para su anlisis

Aspectos institucionales en los distintos niveles de ejecucin del proyecto
Pertinencia de los criterios de focalizacin
Accesibilidad al proyecto
Estructura de costos del proyecto
Relaciones operativas del proyecto en el marco del programa
Criterios para la optimizacin de los recursos
Relaciones operativas del proyecto con otros programas
Resultados de medio trmino


Evaluacin desde la perspectiva de los beneficiarios

a) Preguntas clave a las que debe dar respuesta

v los objetivos iniciales del proyecto corresponden con los requerimientos de
la poblacin beneficiaria?
v quines son los beneficiarios?
v las actividades son efectivas considerando la percepcin que los
destinatarios tienen de sus resultados?
v cmo evalan los beneficiarios la calidad, cantidad y adecuacin de los
resultados del proyecto?
v cules son los efectos del proyecto sobre los beneficiarios?
18 Marco metodolgico
para la evaluacin de proyectos
Lilia Vernica Toranzost. Junio de 2001
v cules son los niveles de participacin efectiva o potencial en diferentes
instancias del proyecto?

b) Bloques de contenido y tpicos para su anlisis

Identificacin de beneficiarios institucionales e individuales
Deteccin de demandas de los beneficiarios
Eficacia de las actividades desde la perspectiva de los beneficiarios
Calidad de las actividades desde la perspectiva de los beneficiarios
Intervencin de los beneficiarios en los diferentes niveles de gestin del
proyecto


Evaluacin de resultados

a) Preguntas clave a las que debe dar respuesta

v se cumplieron o estn cumpliendo los objetivos especficos previstos por el
proyecto en su formulacin inicial?
v en qu medida?
v dicho cumplimiento se realiza en los tiempos y con los costos previstos
originalmente?
v qu recomendaciones para la gestin del proyecto se pueden obtener de
este anlisis?

b) Bloque de contenido y tpicos para su anlisis

Objetivos especficos y su correspondencia con resultados
Resultados y su correspondencia con el cronograma
Resultados y su correspondencia con el presupuesto
Resultados y su correspondencia con los resultados de otros programas
Tipos de resultados
Factores facilitadores y obstaculizadores para el logro de los resultados


Evaluacin de impacto

a) Preguntas claves a las que debe dar respuesta

v se produjeron modificaciones en los indicadores de la situacin inicial que
dieron origen al proyecto?
19 Marco metodolgico
para la evaluacin de proyectos
Lilia Vernica Toranzost. Junio de 2001
v qu magnitud tienen estos cambios?
v las modificaciones son atribuibles solo a las actividades ejecutadas en el
marco del proyecto?
v qu acciones concurrentes se pueden identificar?

b) Bloque de contenido y tpicos para su anlisis

Identificacin de los impactos previstos
Identificacin de los impactos no previstos
Estimacin de la sustentabilidad de los impactos
Identificacin de indicadores de las variaciones o modificaciones operadas
Identificacin de acciones concurrente como del proyecto, como parte del
programa o como parte de otros programas





ii. herramientas para la recoleccin de inf ormacin

En este punto se seala en forma sinttica cules son las fuentes de informacin
previstas y los instrumentos con los que se llevar a cabo la recoleccin de la
misma.


Orientaciones para el anlisis documental

El anlisis documental es una de las fuentes de la informacin ms relevantes
durante el proceso de evaluacin. De acuerdo con la metodologa adoptada el
anlisis documental debe alimentar el trabajo sobre el marco general del diseo
de los proyectos y los programas que integran la programacin de la OEI. A
travs del anlisis documental se debe realizar la bsqueda de evidencias
empricas sobre los diferentes tpicos que se seleccionaron como centrales para
el proceso de evaluacin. Se trata, en sntesis, de hacer una corroboracin desde
la perspectiva documental de la dinmica de los proyectos objeto de evaluacin.

Para realizar el anlisis documental se estima pertinente tomar en cuenta los
siguientes aspectos:

identificacin de los documentos : la principal fuente de informacin son
los documentos producidos por los diferentes proyectos en el marco de la
20 Marco metodolgico
para la evaluacin de proyectos
Lilia Vernica Toranzost. Junio de 2001
organizacin. Por otra parte otro tipo de material relevante son los
documentos oficiales producidos por cada uno de los pases a travs de los
ministerios de educacin, por ejemplo, que tengan relacin directa con los
proyectos o programas objeto de anlisis, y en particular que constituyan
algn elemento con valor explicativo de la perspectiva nacional al respecto.

En este sentido el anlisis documental de este tipo de materiales puede
ser ampliamente orientador para la identificacin de los denominados
factores de desarrollo que se sealaran anteriormente.

lectura orientada de los textos: la lectura de cada uno de los textos debe
ser orientada por los bloques de contenidos y temas que se presentaron en
el punto anterior. Es importante identificar en los documentos la presencia
o referencia a cada uno de los bloques de contenidos en particular.

construccin de matrices para el anlisis documental: una vez que se ha
realizado la lectura y clasificacin de los documentos es preciso construir
una matriz de registro en la cual quede sintetizada la identificacin de
cada uno de los bloques de contenidos y temas en los diferentes
documentos. La matriz a construir debe responder a un formato similar al
que se presenta a continuacin:

Documento 1 Documento 2 Documento 3 Documento 4 Documento 5
Tema 1
Tema 2
Tema 3
Tema 4

anlisis: como se sealara anteriormente, en este punto corresponde hacer
el anlisis textual, es decir, verificar si estn presentes las ideas o
planteamientos acerca de los diferentes temas previstos y extraer las claves
que faciliten la preparacin de las entrevistas y que contribuyan a identificar
aquellos aspectos que deben ser profundizados en el tratamiento de las
mismas.

Orientaciones para las entrevistas individuales y grupales
2


Las entrevistas tienen como propsito enriquecer la informacin obtenida en los
documentos, profundizar en algunos aspectos, obtener informacin nueva y

2
En el anexo se incluye la ficha de registro de las entrevistas
21 Marco metodolgico
para la evaluacin de proyectos
Lilia Vernica Toranzost. Junio de 2001
constrastar las percepciones y puntos de vista de diferentes actores respecto a
los distintos temas.

Las entrevistas constituyen un elemento sumamente valioso que deber
desarrollarse en base a un guin, este guin se construir a partir de la
informacin obtenida a travs del anlisis documental y la pauta de contenidos y
temas establecido con antelacin.

Las entrevistas sern semi -estructuradas por lo que el guin solo constituir una
pauta para su realizacin y no una gua de preguntas cerradas. El entrevistador
debe hacer una primera seleccin de los temas centrales a abordar en general y a
partir de esta primera seleccin se har una segunda seleccin en funcin del
tipo de actores a ser entrevistados.

Por otra parte, cada una de las entrevistas debe ser grabada y transcrita
sintetizando los aspectos ms importantes de las mismas en los registros que se
incluyen como anexos. Posteriormente se har un anlisis detallado de la
informacin obtenida del conjunto de las entrevistas y se construir una matriz
de contenidos similar a la elaborada para el anlisis documental.

Matriz de registro de contenidos de las entrevistas tanto individuales como
grupales

Entrevista 1 Entrevista 2 Entrevista 3 Entrevista 3 Entrevista 4
Tema 1
Tema 2
Tema 3
Tema 4


Orientaciones para las encuestas

Las encuestas tendrn lugar en caso que se consideren pertinentes. En trminos
generales se desarrollarn a travs de cuestionarios estructurados con el
propsito de indagar sobre algunos de los temas identificados como prioritarios.
La administracin de cuestionarios est destinada a la indagacin sobre
poblaciones numerosas a las cuales no es posible entrevistar, tales como
participantes de las actividades de capacitacin o de los foros de difusin de los
diferentes proyectos.

En este caso en particular, y en lo que respecta a las diferentes instancias al
interior de la organizacin, se deber coordinar con la Direccin General de
22 Marco metodolgico
para la evaluacin de proyectos
Lilia Vernica Toranzost. Junio de 2001
Programacin la administracin de los cuestionarios dado que la mencionada rea
tiene previstos relevamientos de informacin regulares los cuales deben se
aprovechados y no superpuestos con la administracin de instrumentos
especficos con propsitos de evaluacin.

En todos los casos los cuestionarios deben incorporar las instrucciones
necesarias para facilitar la comprensin de la informacin solicitada.


23 Marco metodolgico
para la evaluacin de proyectos
Lilia Vernica Toranzost. Junio de 2001
C. ANEXO 1

REGISTRO DE LAS ENTREVISTAS INDIVIDUALES

Datos del entrevistado/a
Nombre:
Profesin:
Direccin:
Telfono: Fax: e-mail:
Cargo: Durante los aos:
Actualmente se desempea como: En:


Desarrollo de la entrevista

Fecha: Hora inicio: Hora trmino:


Observaciones (actitud del entrevistado, informacin que no recuerda, temas a
los que da mayor importancia, dificultades o problemas surgidos en la entrevista,
situaciones que pueden afectar al entrevistado, etc..)





Apreciacin global de la entrevista (resumen de las ideas y datos ms
importantes en relacin con los diferentes temas tratados; informaciones que
parecen contradictorias, informaciones que habra que verificar)





Documentacin (se adjunta documentacin, se hace referencia o se promete la
remisin)
24 Marco metodolgico
para la evaluacin de proyectos
Lilia Vernica Toranzost. Junio de 2001
ANEXO 2

REGISTRO DE LAS ENTREVISTAS GRUPALES

datos de LOS entrevistadoS
Grupo N Composicin del grupo:
Responsable de la entrevista: Observador:
Nombre de los asistentes: Organizacin representada:




Desarrollo de la entrevista

Lugar:
Fecha: Hora inicio: Hora trmino:


Temas



Apreciacin global sobre el conjunto de temas



Apreciacin por temas




Observaciones y comentarios generales



Documentacin (se adjunta documentacin, se hace referencia o se promete la
remisin)