Professional Documents
Culture Documents
DE EVALUACIN
para Amrica Latina y el Caribe
DEval
INSTITUTO ALEMN
DE EVALUACIN
DE LA COOPERACIN
PARA EL DESARROLLO
Financiado por:
Agosto 2016
AUTORES:
Sergio Martinic Valencia
(DEval, Alemania)
Luis SobernAlvarez
Esteban Tapella
(CONICET, Argentina)
ndice
Resumen (Pg 3)
El objetivo es contribuir al
desarrollo de un marco comn
de referencia que sirva de
orientacin para la obtencin
de evaluaciones con altos
estndares de calidad, la
formacin y prctica profesional,
facilitar la comunicacin entre
los actores participantes, el
aprendizaje y generacin de
conocimientos desde la prctica
profesional, y el fomento de
una cultura de evaluacin y
responsabilizacin social.
Resumen
La Red de Seguimiento, Evaluacin y Sistematizacin en Amrica Latina y el Caribe (ReLAC) en
colaboracin con el Proyecto Fomento a las Capacidades de Evaluacin (FOCEVAL) del Ministerio
de Planificacin (MIDEPLAN) de Costa Rica y el
Instituto Alemn de Evaluacin de la Cooperacin
para el Desarrollo (DEval), impulsaron durante los
aos 2014 y 2015 un amplio proceso de consultas
y reuniones con expertos para la formulacin de
un documento de estndares para la evaluacin,
teniendo como referencia, al mismo tiempo, los
documentos de estndares de las principales asociaciones de evaluadores de los Estados Unidos,
-3-
En la regin de Amrica
Latina y el Caribe el campo
se caracteriza por una
creciente demanda de
evaluaciones en contraste
con un incipiente desarrollo
de capacidades y limitados
recursos profesionales;
por una realidad compleja
caracterizada por la
diversidad social, cultural y
lingstica; y grandes brechas
de bienestar y acceso a
recursos.
... la institucionalizacin de la
evaluacin y la calidad de sus
resultados son temas relevantes
en Amrica Latina tanto para el
fortalecimiento de las instituciones
y la calidad de sus polticas, como
para el desarrollo profesional de la
evaluacin.
-5-
evaluaciones. Se construye as un lenguaje comn comprensible y vlido para aquellos involucrados en estos procesos.
Campo de aplicacin
Los Estndares de Evaluacin aqu presentados
fueron desarrollados especficamente para Amrica Latina y el Caribe, teniendo en cuenta las caractersticas y demandas de la regin.
A partir de su carcter general y orientativo, los
estndares son aplicables en todo contexto institucional y organizativo, con independencia del
tema u objeto de evaluacin (proyectos, programas, polticas, instituciones, productos u otros).
Sin embargo, los estndares apuntan a una evaluacin ideal y, en la prctica, algunos estndares pueden ser ms factibles de cumplir que otros
segn el tipo de evaluacin y/o el contexto de realizacin.
-6-
GRUPO DE TRABAJO
AO 2014
2
3
TALLER CON
EXPERTOS Y COLABORADORES
MARZO 2015
FORO
VIRTUAL
JULIO - AGOSTO 2015
PUBLICACIN
Estndares de Evaluacin
para Amrica Latina y el Caribe
AGOSTO 2016
PROCESO DE ELABORACIN
DE LOS ESTNDARES DE EVALUACIN PARA AMRICA LATINA Y EL CARIBE
-7-
1. Evaluacin rigurosa
1.1. Contextualizar la evaluacin
1.2. Descripcin detallada del objeto de evaluacin
1.3. Preguntas evaluativas relevantes
1.4. Metodologa vlida y confiable
1.5. Niveles de participacin adecuados de actores involucrados
1.6. Conclusiones relevantes
1.7. Recomendaciones tiles y factibles
1.8. Reportes y comunicacin pblica efectiva
2. Adecuada evaluabilidad
2.1. Gestin efectiva de la evaluacin
2.2. Procedimientos prcticos
2.3. Viabilidad contextual, social y poltica
2.4. Realista
5. Relevancia y utilidad
5.1. Participacin efectiva y consciente
5.2. Propsitos acordados mutuamente
5.3. Valores explcitos
5.4. Informacin relevante, pertinente y oportuna
5.5. Resultados tiles
5.6. Comunicacin y reportes puntuales y apropiados
5.7. Inters por las consecuencias e incidencia
-9-
Evaluacin
rigurosa
DIMENSIN 1
DIMENSIN 2
DIMENSIN 3
Adecuada
evaluabilidad
Evaluacin conducida de acuerdo
con principios ticos y jurdicos
DIMENSIN 4
Adecuada
comprensin cultural
Relevancia
y utilidad
DIMENSIN 5
-10-
Definiciones de
las dimensiones y
estndares
-11-
DIMENSIN 1
Evaluacin
rigurosa
El empleo de una metodologa rigurosa refiere a procedimientos que permiten determinar con precisin y exactitud los hechos observados que son materia de anlisis, y que
permite mostrar evidencias de las afirmaciones que se formulan en el informe de la evaluacin.
Los estndares inscritos en esta dimensin deben garantizar que la evaluacin est
contextualizada, que tenga validez, y que emplee una metodologa rigurosa de diseo,
planificacin y ejecucin orientada a la calidad, con tcnicas y herramientas apropiadas
de recoleccin, anlisis e interpretacin de datos. Una evaluacin de calidad debe ser
precisa en sus resultados y ofrecer de manera oportuna proposiciones, conclusiones y
recomendaciones tiles para la toma de decisiones.
-12-
ESTNDARES
1.1
Contextualizar la evaluacin
1.2
1.3
1.4
1.5
1.6
Conclusiones relevantes
1.7
1.8
-13-
1.1
Contextualizar la evaluacin
La evaluacin debe explicitar la problemtica en la cual se ha desarrollado el
programa o proyecto a evaluar. Esto implica caracterizar y comprender de manera
detallada el contexto social, cultural, poltico y econmico, as como los factores
externos que inciden en esa intervencin. Esta contextualizacin tambin implica una comprensin de los criterios locales o regionales en cuanto a la demanda
de la evaluacin, las necesidades de informacin respecto del objeto evaluado,
las regulaciones institucionales en cuanto a rendicin de cuentas, transparencia
y enfoques de evaluacin, entre otros aspectos que hacen de la evaluacin una
herramienta adaptada y situada local o regionalmente.
DIMENSIN 1
Evaluacin
rigurosa
1.2
Descripcin detallada
del objeto de evaluacin
Las acciones, productos
y propsitos del objeto a
evaluar deben estar clara
y suficientemente detalladas, as como la teora
de cambio que lo hace
posible.
1.4
Metodologa vlida
y confiable
1.3
Preguntas
evaluativas
relevantes
Los propsitos y las preguntas de evaluacin que
se pretenden responder
deben quedar descritas
con suficiente detalle de
tal manera que resulten
claras y pertinentes para
los principales actores de la
evaluacin.
-14-
1.5
1.8
1.6
Conclusiones
relevantes
Las conclusiones de
la evaluacin deben
ser claras y completamente documentadas, derivadas de los
hallazgos y orientadas
por las preguntas de
evaluacin originalmente planteadas.
Deben ser consistentes con los propsitos
de la evaluacin.
1.7
Reportes y
comunicacin pblica efectiva
La comunicacin de los resultados de la evaluacin
debe ser precisa y oportuna, evitando sesgos, distorsiones o errores en la interpretacin. El evaluador
ha de expresar claramente cules son los alcances y
limitaciones de la evidencia que presenta para sostener sus apreciaciones, presentando una adecuada
delimitacin del contexto en el que son aplicables.
La evaluacin debe difundir sus resultados en un reporte o informe de acceso pblico, manifestando una
especial preocupacin por la devolucin y entrega de
informacin a los actores involucrados con el objeto
de la evaluacin.
El reporte de la evaluacin debe estar abierto al
escrutinio pblico, as como a la discusin y retroalimentacin por pares o agentes externos, a menos
que exista un criterio de confidencialidad justificada
acordado previamente.
-15-
Recomendaciones
tiles y factibles
Las recomendaciones deben
estar basadas en los resultados. La evaluacin debe ofrecer
recomendaciones de mejora
que sean tiles y factibles, y con
alta probabilidad de ser implementadas. Para ello, se ha de
conseguir niveles de participacin adecuados de los actores
involucrados con el fin de que
las recomendaciones tengan
sentido prctico para la poblacin objeto de la intervencin.
DIMENSIN 2
Adecuada
evaluabilidad
Esta dimensin ha de ser contemplada durante la fase de diseo de la evaluacin, dado que tiene por objeto garantizar que la evaluacin sea realista, prudente, apropiada, y consciente de los costos que implica. Antes del desarrollo
de la evaluacin debe determinarse si se ha definido adecuadamente el objeto a
evaluar, y si la metodologa e instrumentos diseados permiten obtener evidencias verificables suficientes para responder a las hiptesis y a las preguntas de
evaluacin planteadas.
Antes de iniciar la evaluacin es necesario determinar y garantizar un nivel de
pertinencia, oportunidad, mensurabilidad, independencia y accesibilidad en
tiempo y forma a las fuentes de verificacin y a la informacin. Es necesario
lograr un equilibrio entre cobertura, complejidad y recursos evaluativos. Se debe
reconocer claramente las limitantes de la evaluacin y explicitar el modo en el
que se tratar de resolverlas.
Los estndares de esta dimensin procuran determinar si vale la pena realizar la
evaluacin en las condiciones en las que se ha establecido, poniendo el acento
en la efectividad, eficiencia y utilidad de la evaluacin.
-16-
ESTNDARES
2.1
2.2
Procedimientos prcticos
2.3
2.4
Realista
-17-
2.1
Gestin efectiva
de la evaluacin
Los procesos de evaluacin deben estar
guiados por estrategias eficientes y efectivas. Las evaluaciones deben utilizar en
forma eficiente y transparente los recursos asignados.
DIMENSIN 2
Adecuada
evaluabilidad
2.2
Procedimientos prcticos
-18-
2.3
Viabilidad contextual,
social y poltica
Las evaluaciones deben
reconocer y ponderar los
intereses culturales y polticos en juego, as como las
necesidades particulares
de los individuos y grupos.
2.4
Realista
Una evaluacin realista ha
de asegurar una clara coherencia entre los recursos
financieros, humanos y
temporales para su correcto
desarrollo. Junto a ello, se
debe conocer la disponibilidad y accesibilidad en
tiempo y forma a las fuentes
de verificacin y a la informacin.
-19-
DIMENSIN 3
-20-
ESTNDARES
3.1
3.2
Autonoma
3.3
Transparencia
3.4
Legalidad
-21-
3.1
DIMENSIN 3
3.2
Autonoma
La funcin de evaluacin es independiente de
otras funciones de gestin en las instituciones.
El evaluador debe trabajar en forma autnoma
de cualquier instancia poltica o administrativa
que afecte la imparcialidad y transparencia de
los procesos evaluativos.
-22-
3.3
Transparencia
En principio, las evaluaciones deben ser
documentos pblicos. Los trminos de
referencia y los informes de evaluacin
deben estar a disposicin de las partes
interesadas y del pblico, a menos que
exista un criterio de confidencialidad
justificado.
3.4
Legalidad
Las actividades de la evaluacin deben estar respaldadas por un instrumento legal y firmado entre
las partes que explicite los acuerdos sobre: los
alcances de la evaluacin, la duracin del estudio,
su costo, el o los productos que se esperan obtener
de ella, las obligaciones de las partes, los derechos
de propiedad intelectuales y materiales de la evaluacin, los derechos de publicacin, y el resguardo
de la posible informacin reservada y la confidencialidad de los datos.
-23-
DIMENSIN 4
Adecuada
comprensin cultural
-24-
ESTNDARES
4.1
Igualdad y equidad
4.2
Derechos culturales
4.3
Reciprocidad e
identidades culturales
-25-
4.1
Igualdad y equidad
La evaluacin debe garantizar el buen trato e
inclusin a todas las personas involucradas,
valorndolas sin importar su jerarqua, condicin social, econmica y/o cultural, contribuyendo as a la tolerancia y equidad entre las
mismas.
DIMENSIN 4
Adecuada
comprensin cultural
-26-
4.2
Derechos culturales
Las evaluaciones deben realizarse respetando
las identidades culturales y dignidad de las comunidades involucradas en la evaluacin, adoptando los protocolos de atencin pertinentes al
tratar temas sensibles que pudieran ocasionar
algn perjuicio a las comunidades, grupos o culturas de pertenencia. En caso de ser requerido, el
protocolo de evaluacin debe ser aprobado por el
comit de tica que las normas establecen para
estos efectos.
4.3
-27-
Relevancia
y utilidad
DIMENSIN 5
La utilidad y la relevancia garantizan que la evaluacin sirva a las necesidades de informacin y conocimiento de los
usuarios, a la vez que las partes interesadas se apropien
de ella. Las evaluaciones deben ser relevantes, oportunas
y prcticas, a fin de aportar de manera ms eficiente a la
toma de decisiones, la rendicin de cuentas y la deliberacin pblica.
La aplicacin de los estndares de esta dimensin incrementa la probabilidad de que los participantes valoren
los procesos y productos de la evaluacin, encontrndolos significativos para satisfacer sus necesidades. Desde
esta dimensin, el principal inters de la evaluacin reside
en ser oportuna y prctica, a fin de aportar sugerencias
tiles para mejorar la programacin, la toma de decisiones, y contribuir al desarrollo del conocimiento para su
uso global en diferentes contextos y situaciones.
-28-
ESTNDARES
5.1
Participacin efectiva
5.2
Propsitos
acordados mutuamente
5.3
Valores explcitos
5.4
Informacin relevante,
pertinente y oportuna
5.5
Resultados tiles
5.6
Comunicacin y reportes
puntuales y apropiados
5.7
-29-
5.2
Propsitos acordados
mutuamente
5.1
Participacin efectiva
La evaluacin debe contemplar
-tanto en su diseo como ejecucin- las perspectivas de distintos
actores. Para ello, se debe identificar y prestar atencin a todos los
grupos de personas involucradas
y de inters en el objeto a evaluar y
afectadas por su evaluacin, promoviendo su participacin efectiva.
DIMENSIN 5
Relevancia
y utilidad
5.4
Informacin relevante,
pertinente y oportuna
5.3
Valores explcitos
Cuando corresponda,
las evaluaciones deben
identificar y explicitar
las bases valricas o
axiolgicas en las cuales
descansan los juicios
y puntos de vista del
evaluador.
-30-
5.5
Resultados tiles
Las evaluaciones deben construir descripciones y juicios que animen y ayuden a los participantes a redescubrir,
reinterpretar, o revisar su percepcin,
actitud y/o comportamiento sobre el
objeto de la evaluacin. Los resultados
deben ser tiles para quienes toman
decisiones, el pblico beneficiado, as
como tambin para las personas interesadas en la intervencin evaluada.
5.6
Comunicacin y reportes
puntuales y apropiados
Las evaluaciones deben responder a las necesidades de
informacin de sus mltiples
audiencias de manera pertinente, en forma clara y en tiempo
adecuado. La comunicacin
es una dimensin relevante
que se inicia el primer da de la
evaluacin, trascendiendo a la
instancia final de diseminacin
o difusin de resultados.
5.7
-31-
Bibliografa
AEA (2004). Guiding Principles For Evaluators. American Evaluation Association.
ANZEA & SuPERU (2014). Proposed Evaluation Standards for Aotearo New Zealand: exposure draft. The Aotearoa New Zealand Evaluation Association.
CES (2010). Competencies for Canadian Evaluation Practice. Canadian Evaluation Association.
DEGEVAL (2002). Standards fr Evaluation. Deutsche Gesellschaft fr Evaluation e.V.
AES (2013). Guidelines for the ethical conduct of evaluations. Australasian Evaluation Society.
Joint Committee on Standards for Educational Evaluation (1994). The Program
Evaluation Standards. How to Assess Evaluations of Educational Programs (2nd
Edition). Thousand Oaks: Sage.
Patel, M. (2013). African Evaluation Guidelines. African Evaluation Journal 1(1),
Art. #51, 5 page.
SEVAL (2000). Evaluation Standards of SEVAL. Swiss Evaluation Society.
UKES (2013). UKES Evaluation Capabilities Framework. United Kingdom Evaluation Society.
-33-
ESTNDARES
DE EVALUACIN
para Amrica Latina y el Caribe
DEval
INSTITUTO ALEMN
DE EVALUACIN
DE LA COOPERACIN
PARA EL DESARROLLO