Professional Documents
Culture Documents
Contenido
1 Introducción 4
2 Breve historia 6
6 El proceso de evaluación 26
6.1 Programación 27
6.2 Estudio preliminar 29
6.3 Términos de referencia 30
6.4 Desplegar investigadores 32
6.5 Cooperación con los investigadores de los países socios 32
6.6 Metodología 33
6.7 Informes 37
7 Control de calidad 40
7.1 Revisión interna por pares 41
7.2 Grupos de referencia 42
7.3 Reunión departamental 42
7.4 Grupo consultivo 43
7.5 Autoevaluación 43
8 Comunicación y retroalimentación 44
Introducción
Política de evaluación y directrices para las evaluaciones
Este documento describe la política de evaluación y las directrices para las evaluaciones del
Departamento de Evaluación de Políticas y Operaciones (IOB) del Ministerio de Asuntos
Exteriores de los Países Bajos
Negocios. Sitúa la política de evaluación en1 el contexto de la Orden de Evaluación Periódica.
y la información sobre políticas (conocida como RPE 2006), el marco de todo el gobierno para el
evaluación de la política gubernamental en general. También refleja decisiones recientes sobre
la función de evaluación en el Ministerio de Asuntos Exteriores y el papel que desempeña la IOB
dentro de ella.
Las directrices esbozadas en este documento se aplican en principio a todas las evaluaciones.
realizadas por IOB, a menos que se indique explícitamente lo contrario. Se debe tener en cuenta
que los Países Bajos tienen una larga tradición de evaluación en el ámbito del desarrollo
cooperación, que se expresa a través de acuerdos internacionales, foros, cooperación,
etc. y que influye en el trabajo de IOB. Este no es el caso de otras áreas de la economía extranjera.
política. Debido a que su mandato también se extiende a estas otras áreas de la política, la IOB está
en una
una posición excepcional, especialmente a nivel internacional.
1 Order on Periodic Evaluation and Policy Information 2006, Government Gazette, 26 April 2006, no. 83.
Breve historia
Política de evaluación y directrices para las evaluaciones
En la primera mitad de los años setenta, el presupuesto para la cooperación al desarrollo aumentó
rápidamente.
Con tanta rapidez que se expresaron preocupaciones desde diversos puntos de vista, y
especialmente en el caso del
de los medios de comunicación, que esto estaba teniendo un efecto adverso en la calidad de la
ayuda. Como consecuencia
de esta publicidad negativa, el Ministro de Cooperación para el Desarrollo sintió la necesidad de
para un dictamen independiente sobre la política de desarrollo, autónomo de la misma
departamentos involucrados. El 1 de julio de 1977 se creó la Unidad de Revisión de Operaciones
(IOV).
por orden ministerial. Se dejó claro desde el principio que la IOV se centraría en
la cooperación bilateral, tanto gubernamental como no gubernamental (en la medida en que la
(financiado por el gobierno), pero en principio restringiría sus actividades a la
Contribución de los Países Bajos a las intervenciones conjuntas. Sobre la base de esta
restricción, la
el ministro tomó la posición de que el IOV podía llevar a cabo inspecciones sin permiso
del país u organización receptor. Se elaboró el programa de trabajo de la IOV
junto con los departamentos de política y se somete a la aprobación del ministro.
Fuera del programa de trabajo, el ministro y la dirección del ministerio eran también
autorizado a encargar a la IOV la realización de inspecciones ad hoc. Sin embargo,
esto ocurrió sólo esporádicamente. Desde el principio, IOV se centró en proyectos individuales,
presentando informes confidenciales al ministro. Los informes eran confidenciales porque
se referían a eventos e individuos identificables. 7
Desde 1979, la Cámara de Representantes del Parlamento holandés convocó cada año a
Los informes de la IOV se harán públicos en la medida de lo posible. Eventualmente, se acordó que
el general
se enviarían informes al Parlamento, junto con resúmenes de las inspecciones de los proyectos.
El primer informe resumido que IOV envió a la Cámara fue la Evaluación General de 1984
de la Cooperación Bilateral para el Desarrollo de los Países Bajos.
En 1996 se llevó a cabo una profunda reevaluación de la política exterior holandesa. Fue
ampliamente
reconoció que la cooperación para el desarrollo, la política exterior y el comercio
internacional
no podía seguir considerándose un ámbito político independiente. La política exterior fue
"descompuesta".
y se integraron los distintos ámbitos de la actividad internacional. Para el
de la revisión, la IOV publicó un nuevo estudio de síntesis, en el que se resumían los resultados.
de los informes de evaluación del decenio anterior. Durante la reorganización que
acompañó a la reevaluación de la política, era lógico modificar el mandato de la IOV.
Considerando que, antes de la revisión, la IOV sólo era responsable de las evaluaciones en el
ámbito de
cooperación para el desarrollo, su ámbito de actuación se amplía ahora para incluir el
2 Breve historia
toda la política exterior. Esto implicaba que, en el futuro, la Dependencia podría ocuparse de lo
siguiente
a todos los temas comprendidos en el presupuesto homogéneo para la cooperación internacional
(HGIS). El cambio en el mandato de la IOV llevó a una revisión de su posición en la organización.
estructura del ministerio. Ya no sería responsable ante el Director General de
Cooperación Internacional (DGIS) sino directamente al Secretario General. La Unidad estaba
también se le dio un nuevo nombre: en el futuro se le conocería como la Política y Operaciones
Departamento de Evaluación (IOB).
En los últimos años, la posición y el papel de la IOB han vuelto a ser objeto de debate político.
debate y discusión dentro del ministerio. Muchos de los temas discutidos en la década de 1980
en el orden del día, incluida la independencia de la evaluación, el público en general
la naturaleza de los informes, la relación entre la rendición de cuentas externa e interna
aprendizaje. Esto llevó en 2008 al Ministro de Cooperación para el Desarrollo a reconfirmar
al parlamento la independencia de la IOB y el carácter público de sus informes.2 Sin embargo,
La autoridad de programación de la IOB se limitaba a la cooperación para el desarrollo. En el
otro
los ámbitos de la política exterior, cuya responsabilidad primordial está ahora vinculada al Director
General
en cuestión, que pueden solicitar a IOB que lleve a cabo las evaluaciones.
2 Carta de los Ministros de Asuntos Exteriores y de Cooperación para el Desarrollo de 16 de octubre de 2007 sobre
aplicación de la moción Boekestijn/Gill'ard relativa a la evaluación de la política y las operaciones
Departamento (IOB) (31200V, no. 9). Informe de la Comisión Permanente de Asuntos Exteriores sobre el IOB de 29
Mayo de 2008, aprobado el 25 de junio de 2008.
Política de evaluación y directrices para las evaluaciones
9
Principios básicos de las
IOBs
política de evaluación
Política de evaluación y directrices para las evaluaciones
A nivel internacional, el IOB es miembro de la red de servicios de evaluación del CAD de la OCDE.
También participa en las consultas entre los servicios de evaluación de la Comisión Europea.
n, y de los países unidos en el grupo Nordic+. IOB contribuye a las actividades
de una serie de otras formas de cooperación internacional, entre ellas la consulta
de los servicios de evaluación de habla alemana (DACH), la Red de Redes para el
Evaluación de Impacto (NONIE) e Iniciativa Internacional sobre Evaluación de Impacto (3IE).
Re 1:
La tarea principal de la IOB es llevar a cabo evaluaciones de alta calidad en el marco de la
Programa de evaluación del Ministerio de Asuntos Exteriores. Estas evaluaciones pueden referirse a
todos los
áreas de la política exterior que caen bajo el HGIS. En este contexto, incluida la evaluación
investigación crítica y exhaustiva de una política o programa y explicación de los resultados.
Las evaluaciones de la IOB no son aisladas, sino que, en principio, forman parte del ciclo de
políticas,
en el que la planificación, el seguimiento y la evaluación se consideran un todo integrado.
3 Principios básicos de la política de evaluación de la
IOB
Re 2:
Como se indica en el RPE 2006, la evaluación sistemática debe ser un componente fijo de cada
proceso de políticas. Cada política debe ser evaluada periódicamente a nivel operativo.
objetivo. El RPE 2006 constituye, pues, la base de la programación de la evaluación. El El
La programación también está determinada por las solicitudes específicas del parlamento, los
ministros y los representantes de la sociedad civil.
secretarios de estado y responsables del presupuesto. Dentro del Ministerio de Relaciones Exteriores,
el IOB cuenta con
la responsabilidad de la programación de las evaluaciones en el ámbito de la cooperación al
desarrollo, y
Asesora en la programación de otras áreas de la política exterior.
12 Re Re
3:
El IOB no es la única dependencia del Ministerio de Relaciones Exteriores que se ocupa de la evaluación.
Política
los asesores también tienen que ocuparse de las evaluaciones, ya que son el contacto para la
programación de la evaluación
dentro de su departamento de políticas, como un "cliente" que encarga una evaluación, a veces como
(Conjuntamente) ejecutor, o como usuario de los resultados. Además de realizar evaluaciones, IOB
por lo tanto, tiene una función consultiva. Esto implica la formulación de criterios y directrices de
calidad
para la ejecución de las evaluaciones y el asesoramiento sobre los términos de referencia de las
evaluaciones que
La IOB no se comporta por sí misma. Durante la liquidación anual del programa, los acuerdos son
sobre la medida en que la IOB desempeñará una función de asesoramiento en las evaluaciones realizadas
por o en nombre de los departamentos ministeriales. La IOB también asesora en el diseño de los
proyectos de
la función de evaluación, el sistema y los instrumentos de evaluación, y la coordinación con la
planificación
y monitoreo. Además, el IOB realiza pruebas de calidad de las evaluaciones de los programas.
realizadas por organizaciones no gubernamentales (ONG) cofinanciadas (MFS), con el objetivo de
el fortalecimiento de su capacidad de evaluación.
Para el canal multilateral, IOB participa en revisiones internacionales de la evaluación.
servicios de las instituciones pertinentes.
Re 4:
El fortalecimiento de la capacidad de evaluación en los países socios es un tema importante en el
desarrollo.
la cooperación entre los Estados miembros. La capacidad de evaluación independiente en los países
socios es esencial si
el objetivo de establecer un sistema basado en la responsabilidad mutua debe alcanzarse en la
realidad.
La IOB considera que su tarea consiste en contribuir a ello mediante el apoyo a iniciativas
internacionales dirigidas a
el fortalecimiento de la capacidad de evaluación. Además, en la medida de lo posible y
salvaguardando su propio
criterios de independencia y calidad, el IOB trabaja en colaboración con los investigadores de los
países socios.
países en la realización de evaluaciones.
Política de evaluación y directrices para las evaluaciones
Ad 5:
Las evaluaciones generan conocimiento sobre la base de la experiencia del pasado en lo que
respecta a
lo que funciona y lo que no, y especialmente por qué. La IOB considera importante que la
los resultados de las evaluaciones se distribuyan lo más ampliamente posible. Para lograr esto, se
discute
las conclusiones de las reuniones de personal, con los ministros y secretarios de Estado, y con
otros
las partes nacionales e internacionales que participan en las evaluaciones. Además, cuando
y cuando no entre en conflicto con sus propias responsabilidades, la IOB ofrecerá
apoyo en la preparación de respuestas políticas y descripciones de los hallazgos de la evaluación
en el
Informes anuales del Ministerio de Asuntos Exteriores.
13
Definiciones y criterios
para evaluaciones
Política de evaluación y directrices para las evaluaciones
Existe una gran variedad de definiciones del concepto de evaluación. En los años 80
y los años noventa, el CAD/OCDE trabajó en un marco común de conceptos para la evaluación
prácticas en el ámbito de la cooperación al desarrollo. La definición resultante de
La evaluación sirve de base para el trabajo de la IOB.
Una evaluación es una valoración, tan sistemática y objetiva como sea posible, de un proyecto en
curso.
o un proyecto, programa o política terminado, su diseño, ejecución y resultados.
El objetivo es determinar la pertinencia y el cumplimiento de los objetivos, los objetivos de
desarrollo y los objetivos de desarrollo.
eficiencia, eficacia, impacto y sostenibilidad. Una evaluación debe proporcionar
3
La definición del CAD de la OCDE refleja una comprensión de la evaluación que es, en términos
generales
con el apoyo de la comunidad internacional de evaluadores. La definición está destinada a
evaluaciones en el ámbito de la cooperación al desarrollo. Como el trabajo de IOB se extiende más
allá 15
que la cooperación al desarrollo, conceptos como "desarrollista" y "receptor y
Los"donantes" no se aplicarán a todas las evaluaciones de la IOB.
La Orden sobre evaluación periódica e información sobre políticas de 2006 (RPE 2006) establece
lo siguiente
un sistema de evaluación basado en los llamados objetivos operativos, DO. El sistema
implica una evaluación periódica de estos objetivos operativos.
Además de estas evaluaciones, que suelen ser extensas, IOB también puede llevar a cabo
evaluaciones internas de corta duración.
evaluaciones que son limitadas en naturaleza y necesarias para monitorear el progreso de
programas.
4.3.1 Eficiencia
La eficiencia mide la economía de los recursos (insumos) y la forma en que se aplican. 17
se convierten en resultados directos. Por lo tanto, el concepto ilustra la relación
entre la entrada y la salida y se refiere a un nivel de resultados que el implementador puede
comprobar.
Al evaluar la eficiencia, tanto la cantidad como la calidad de los insumos y productos son
evaluados. El insumo más económico o rentable no siempre es el más importante.
y puede haber compensaciones significativas entre la cantidad y la calidad.
de los productos. La evaluación de la eficiencia también requiere una comparación con enfoques
alternativos,
con los que se pueden conseguir los mismos resultados. Esto no siempre es fácil porque
a menudo no hay puntos de referencia previamente formulados y puede que tengan que ser
desarrollado sobre la base de la experiencia práctica. Esto es más probable en el caso de, por
ejemplo
de la construcción que de las que tienen por objeto llevar a cabo las actividades de
sobre el cambio social o institucional.
4.3.2 Eficacia
La eficacia se relaciona con la medida en que los resultados directos de las intervenciones
(producto)
contribuir al logro sostenible de los objetivos políticos (resultado). Política
Los objetivos son los objetivos que las intervenciones pretenden alcanzar y deberían alcanzar,
en principio, se formulará en el documento de proyecto. En algunos casos, los objetivos
políticos
pueden ser idénticos a los objetivos operativos especificados en el presupuesto o a objetivos
específicos.
componentes de ellos.
Se considera que una intervención es eficaz si sus resultados han hecho que sea demostrable que
contribución a la consecución de los objetivos previstos de la intervención. Eficiencia y
La eficacia se refiere a dos niveles sucesivos en la cadena de resultados. Una valoración positiva
en un nivel no implica automáticamente una evaluación positiva en el otro. Año
la intervención puede ser eficaz sin tener un efecto, y una intervención eficaz
puede ser implementado de manera ineficiente.
Los efectos de una intervención están fuera del control directo del ejecutor.
Las intervenciones generan resultados que se supone que generan los efectos deseados.
La evaluación de la eficacia tiene como objetivo establecer esta causalidad. El problema
principal es que
18 lo haríaestar
arquetipo
para
saber qué, qué,
lo haría
qué tener acontecido tejolos intervención habíano
tenido
- La medición de los cambios en las variables del efecto en comparación con la situación
al inicio (línea de base);
- Atribución de los cambios observados a la intervención;
- Evaluación de los cambios observados y atribuidos a la intervención en términos de
objetivo.
Política de evaluación y directrices para las evaluaciones
4.3.3 Impacto
El amplio consenso en la comunidad de evaluadores sobre los conceptos de eficiencia
y la eficacia es menos evidente cuando se trata de impacto y relevancia.
El CAD de la OCDE define el impacto como todos los efectos significativos producidos por un
proyecto de desarrollo.
intervención, directa o indirecta, intencional o no intencional, en la fase final del proceso de
toma de decisiones.
partes interesadas y terceros. Si bien la eficacia se refiere únicamente a los efectos previstos de
una actividad, en esta terminología el impacto se refiere a todos los aspectos económicos, sociales
y políticos posibles,
efectos técnicos y ecológicos a nivel local, regional o nacional que tienen un efecto directo o
indirecto sobre el medio ambiente.
efecto indirecto en el grupo destinatario o en otras partes.
En el contexto más estricto del marco lógico, el concepto de impacto suele referirse a
al más alto nivel de resultados. La cuestión es entonces hasta qué punto, con la ayuda de
los resultados, los efectos logrados (efectos) han contribuido a una más amplia, más lejana
alcanzar los objetivos. Estos pueden ser objetivos operativos u objetivos a un nivel más alto.
como la reducción más general de la pobreza.
Una interpretación del impacto no es por definición mejor que otra. Es importante
que los conceptos se expliciten en los informes de evaluación. En interés de las mutuas
en los estudios de impacto a posteriori es deseable utilizar la interpretación del impacto
evaluaciones más comúnmente aplicadas en la literatura internacional. A este respecto, la IOB
sigue las instrucciones de la RPE 2006.
4.3.4 Pertinencia
El concepto de pertinencia también es objeto de diferentes interpretaciones. El CAD/OCDE
define la relevancia como la medida en que los objetivos de una intervención de desarrollo
son coherentes con los requisitos de los beneficiarios, las necesidades de los países, las
prioridades globales y las necesidades de la sociedad civil.
las políticas de los socios y donantes. Eso hace de la relevancia un concepto de contenedor,
dentro de
que no se toman decisiones. Esta definición es insatisfactoria por varias razones. Primero,
la evaluación de si una intervención es una consecuencia lógica de o es compatible
con la política es, en esencia, una cuestión ex ante que debería formar parte de la aprobación.
procedimiento. En segundo lugar, la política de los donantes, la política de la contraparte y las
necesidades del grupo objetivo.
no necesariamente coinciden perfectamente. Esto implicaría que una intervención puede ser
relevante e irrelevante al mismo tiempo. En tercer lugar, las prioridades políticas pueden cambiar
con el tiempo,
de manera que una intervención específica es relevante en un momento y no en el siguiente, o un
vicio
y viceversa. Por último, esta definición implica que la pertinencia de la propia política no está a la
altura de las circunstancias.
discusión. En otras palabras, excluye los problemas de la propia política.
efectos generados que traen consigo el logro del objetivo de desarrollo final
más cerca. La IOB aplicará el concepto de pertinencia en sus evaluaciones a este respecto.
4.3.5 Sostenibilidad
Dado que una actividad difícilmente puede considerarse eficaz si el efecto que ha logrado no es
La sostenibilidad duradera es, de hecho, un aspecto de la eficacia.
4 Al mismo tiempo, el momento
en que el
concepto de sostenibilidad comprende una variedad de dimensiones que son relevantes para
evaluar una intervención. En la comunidad de donantes, la sostenibilidad de las intervenciones
está vinculada a siete factores, que pueden utilizarse para analizar las intervenciones. Qué
factores
o las combinaciones de factores que sean útiles para evaluar la sostenibilidad dependerán de lo
siguiente
naturaleza de la intervención.
Mientras que los efectos a corto plazo son usualmente previstos y son prevenidos o mitigados,
es especialmente importante incorporar los efectos ambientales a largo plazo en el
de la evaluación, ya que pueden neutralizar los cambios positivos o tener otros efectos nocivos
para la salud.
consecuencias;
- El grado en que los cambios son sostenibles depende en gran medida de la situación social y
económica de cada país.
factores culturales, que a menudo no son directamente visibles. Estudiar las percepciones puede
proporcionar una mejor comprensión de esta dimensión de la sostenibilidad;
- El desarrollo institucional y de la capacidad desempeña un papel importante en la
determinación de
sostenibilidad. A la hora de evaluar las intervenciones, se debe prestar atención a estos
aspectos
ayudará a determinar en qué medida se logra la sostenibilidad;
- La sostenibilidad financiera y económica se refiere al grado en que las medidas
se han tomado medidas para garantizar la continuidad de las actividades y la finalización de
las obras
puede mantenerse en el futuro;
- Las intervenciones siempre tienen lugar en un contexto más amplio, natural, político,
económico y social.
ambiente sociocultural, que no puede ser influenciado de ninguna manera en absoluto, pero
que
tiene una gran influencia en la eficacia y la sostenibilidad. Cambios en la política
la estabilidad, las crisis económicas o los desastres naturales pueden tener un efecto decisivo en
la
sostenibilidad de las intervenciones.
4 En el contexto de la ayuda humanitaria, esto es, por supuesto, diferente. Por lo general es a corto
plazo,
intervenciones puntuales, cuyos efectos se espera que sólo sean necesarios durante un breve período de
tiempo.
Política de evaluación y directrices para las evaluaciones
21
Principios rectores y
criterios éticos
Política de evaluación y directrices para las evaluaciones
Los principios rectores de la IOB reflejan los valores fundamentales en los que se basan sus
evaluaciones.
Están interrelacionadas y se refuerzan mutuamente y, como tales, deben considerarse como
proporcionar un marco general, con el cual todos los aspectos del trabajo de evaluación de la IOB
deben
ser consistente. Los principios determinan lo que se puede esperar de un inspector y
otros investigadores que participan en una evaluación, de los procesos y productos de
evaluación,
y de la metodología. Son coherentes con los principios del CAD de la OCDE para
Evaluation of Development Assistance (1991) y Evaluation Standards (borrador 2009).
Todas las evaluaciones de la IOB deben ser consistentes con los siguientes principios
rectores:
Independencia
Los juicios del investigador no deben estar influenciados por presiones externas ni por una
conflicto de intereses. Organizaciones o instituciones a las que se ha encomendado la
realización de las actividades
una evaluación y los miembros de los equipos de evaluación pueden no haber sido previamente
que participan en las intervenciones que se van a evaluar o en la formulación
de la política en la que se basan.
Objetividad
La evaluación debe basarse en hechos verificables. El investigador debe hacer todo lo posible 23
garantizar que los datos en los que se basa la evaluación no contengan inexactitudes.
cies. La presentación de los hechos debe distinguirse clara y reconociblemente de
sentencias.
Transparencia
La evaluación debe llevarse a cabo de manera que las partes interesadas puedan seguirla
claramente.
y terceros. Las preguntas a tratar, la base de datos, los métodos de investigación,
los resultados y conclusiones deben presentarse en el informe de forma clara y accesible.
Validez
La evaluación debe medir lo que los Términos de Referencia especifican que se requiere.
y debe hacerlo de una manera que el lector pueda entender.
Fiabilidad
Los resultados de la evaluación deben ser estables, es decir, que una repetición de la
evaluación
producir los mismos resultados y conclusiones.
Asociación
En el caso de las evaluaciones en el ámbito de la cooperación al desarrollo, siempre que sea
posible, y
en la medida en que no entre en conflicto con otros principios, los socios del beneficiario
los países participarán en la realización de las evaluaciones. Todos los esfuerzos serán
para cooperar con investigadores independientes de los países socios.
5 Principios rectores y normas éticas
Viabilidad
Las evaluaciones sólo se llevan a cabo si la base de datos es accesible y si se dispone de
los datos asociados.
metodología está disponible.
Corrección
La evaluación no debe causar daño a las personas.
Rentabilidad
La evaluación debe realizarse al precio más bajo posible, teniendo en cuenta lo siguiente
otros principios rectores.
Usabilidad
La evaluación debe dar lugar a conclusiones y puntos de atención valiosos para
el usuario de la evaluación sugiriendo acciones que están dentro de la capacidad del usuario.
investigadores contratados por ellos. Por lo tanto, se puede esperar que los investigadores se
adhieran a
normas éticas internacionalmente aceptadas para las evaluaciones.
Valores universales
Algunas costumbres y prácticas culturales pueden ser incompatibles con los derechos
fundamentales
y libertades. Aunque los investigadores deberían, en principio, mostrar respeto por otros
culturas, no deben ignorar el efecto de ciertos valores culturales sobre el género
relaciones o minorías y otros grupos específicos. En tales casos, deben actuar en función de
de conformidad con la Declaración Universal de Derechos Humanos y el Pacto Internacional
de Derechos Civiles y Políticos
los acuerdos internacionales.
5
Las normas se basan en gran medida en las políticas de evaluación de la Agencia Danesa de
Cooperación Internacional.
Agencia Canadiense de Desarrollo Internacional (DANIDA) y la Agencia Canadiense de Desarrollo
Internacional (ACDI).
Política de evaluación y directrices para las evaluaciones
Género
Las evaluaciones deben llevarse a cabo teniendo en cuenta las diferentes funciones
desempeñadas por
hombres y mujeres y el objetivo de lograr la igualdad de género. En los ámbitos políticos en
los que
las diferencias de género son una dimensión o un efecto de la política que se persigue, deben
ser
en el diseño y la ejecución de la evaluación.
Anonimato y confidencialidad
Se espera que los investigadores respeten las solicitudes de los informantes para tratar la
información.
que proporcionen confidencialidad y que tomen medidas para asegurar que la información
confidencial-
no puede ser rastreada hasta la fuente.
Responsabilidad
En muchos países, una postura crítica hacia el gobierno puede tener consecuencias graves.
para los investigadores del propio país. En evaluaciones que involucran investigaciones locales-
de que se reconozcan estos riesgos en el tiempo y se tomen medidas para evitarlos.
por ejemplo, mediante acuerdos claros acerca de quién es responsable de la gestión de la
contenido del informe.
Omisiones 25
Los investigadores pueden obtener información que no es directamente importante para
responder a las siguientes preguntas
las cuestiones abordadas en la evaluación, pero que, no obstante, son pertinentes a la luz de
los resultados de la misma
de las funciones de rendición de cuentas y aprendizaje de la evaluación. En tales casos,
el cliente (en el último caso, el Director de la IOB) será consultado para determinar
si esta información se incluirá en el informe y en qué forma.
6.1 Programación
Además del RPE 2006, puede haber otras razones para incluir las evaluaciones en
la programación.
La pertinencia de las políticas también puede desempeñar un papel. Esto viene determinado por la
prioridad que se le da a un tema
y el momento en que se lleva a cabo la evaluación. Si está claro cuando los resultados son
de nuevos programas o políticas y una evaluación puede ser necesaria para la formulación de
nuevos programas o políticas.
de la calidad, IOB se asegura de que la evaluación se lleve a cabo sin pérdida de calidad.
programados e implementados en el tiempo, independientemente de la escala o complejidad de
los proyectos.
tema.
La IOB también considera importante dejar espacio en su programación para las solicitudes ad
hoc.
Estas pueden ser solicitudes dentro del ministerio para que IOB lleve a cabo evaluaciones cortas.
de carácter limitado para determinar el progreso de los programas o para apoyar el proceso.
proceso de toma de decisiones. Además, los ministros, los secretarios de estado o el parlamento
pueden
solicitar a IOB que realice evaluaciones específicas. IOB hace todo lo posible para cumplir con
estas peticiones.
Una vez que un tema de evaluación ha sido incluido en la programación, se puede realizar una
evaluación preliminar.
se puede iniciar el estudio. Especialmente en esta fase inicial, una serie de decisiones importantes
de gran alcance para seguir avanzando en la lucha contra la pobreza y la exclusión social.
la evaluación. El inspector deberá familiarizarse con el ámbito político para
y las fuentes de información disponibles, y formarse una idea de la situación.
las preguntas que deben abordarse en la evaluación y el enfoque más adecuado. Con con
evaluaciones grandes y complejas, el inspector puede elaborar un informe de puesta en marcha.
El informe
describe la razón de la evaluación y el objetivo. También puede dar un breve resumen
descripción del ámbito político que se va a evaluar y formulación de las preguntas básicas para la
evaluación
estudio preliminar. Puede sugerir qué tipo de evaluación sería la más apropiada
y cómo podría organizarse (la duración prevista, si las misiones sobre el terreno son
que se considere necesario, y cuándo y cómo podrían necesitarse consultores externos).
Por último, el informe de puesta en marcha puede ofrecer una visión de los productos esperados
de la
la evaluación y el presupuesto.
Los informes de puesta en marcha se discuten con la dirección de la IOB y con los pares
internos. 29
revisores designados para la evaluación (ver 7.1). Después de que se hayan tomado las
decisiones
sobre los puntos principales antes mencionados, el estudio preliminar pasará a redactar
Términos de referencia definitivos para la evaluación propiamente dicha.
ultimate aim of the evaluation. They relate to the self-evident need for information
on results achieved at the level of outputs and effects. This information is of course
valuable for both the accountability and learning function of an evaluation.
In addition, supplementary questions relating to a specific learning need can be
formulated.
The Terms of Reference establish the conditions under which the evaluation will be
conducted and form the result of the preliminary study. The ToR must contain at least
the following components:
• the reason and justification for the evaluation: a short explanation of the relevance
of the proposed evaluation;
• the (external) aim of the evaluation;
• the core questions: formulation of the central research question and the secondary
questions derived from it;
• the demarcation and scope of the evaluation: explanation of how the field of
Evaluation policy and guidelines for evaluations
If the Terms of Reference are for a policy review the questions prescribed by the RPE
2006 must also be taken into account. Policy reviews must address the following
questions:
• What problem gave rise to the policy? Does the problem still exist? What is the cause 31
of the problem?
• Why does the government consider tackling the problem as its responsibility? Why is
the responsibility at central government level (and not at local or EU level)? What
form does that responsibility take and why?
• What objective has the government formulated to solve the problem?
• What instruments are being deployed? How coherent are they? Is there overlap?
What is known about the implementation of the policy and the efficiency of
operational management?
• What is the effect of the instruments on the formulated objectives (solution to the
problem)? Do instruments in other policy areas also have significant effect on the
formulated objectives? What are the main positive and negative side-effects?
• How are the budgets determined? On what basis?
The draft Terms of Reference are not only put on the agenda of the IOB departmental
meeting but should also be discussed in advance with direct stakeholders and external
experts (preferably in the form of a reference group, see 7.2), and with the internal peer
reviewers. The degree to which and the way in which comments are dealt with must be
clear to all parties. The Terms of Reference for an evaluation are approved by the IOB
Director; if the subject of the evaluation lies outside development cooperation, the ToR
will be approved by the Director-General concerned.
The Terms of Reference form the basis on which a budget will be reserved for the
evaluation. It also provides a framework for contracting external researchers.
By approving the Terms of Reference, the IOB Director also approves the budget
included in the ToR.
6 The evaluation process
The IOB inspector bears full responsibility for setting up, conducting and completing
the evaluation. In most cases, the inspector will deploy researchers to conduct the
evaluation. The moment at which they will be deployed will vary, as will the extent to
which they operate autonomously.
Research assistants are usually recent graduates who support the inspector in
conducting the evaluation. The activities they perform vary from file studies, assistance
with field missions or interviewing informants to drafting parts of the final report.
The way in which they are deployed will depend on their experience and can change
over time. Research assistants are full members of the evaluation team.
With the majority of evaluations IOB contracts external consultants. 6 Two criteria are
decisive: the expertise of external experts must be complementary to that of the
32 inspector, y y they must tener ample research experience, preferably en los context de
evaluations. Various modalities are possible for deploying experienced experts. One or
more experts can be deployed as a direct counterpart for the inspector and a division of
tasks agreed between them. Another alternative is for whole or part of the evaluation
to be contracted out to a researcher or a research bureau. The way in which external
expertise is deployed depends on the nature of the services required and associated
costs. In the case of joint evaluations with other donors, the whole evaluation is
generally contracted out.
In conducting evaluations IOB aims, where possible, to work together with researchers
from partner countries. That helps to build independent research capacity in these
countries. Furthermore, researchers from partner countries can be invaluable as
they are often well informed on local developments and relations. However, not all
evaluations are of course suited to such cooperation. The possibility of making use of
researchers from partner countries depends in the first place on the subject of the
evaluation. Some subjects do not warrant such a choice, for example, because the
evaluation will address only Dutch activities or interventions of a global nature. Where
the deployment of experts is a logical option (for example, evaluation of sector policy
in a specific country) IOB actively explores the possibilities.
6 Contracting out and entering into contractual relationships are determined by the procedures laid
down in the Operational Procedures Manual (HBBZ). They will not be considered further in this document.
Política de evaluación y directrices para las evaluaciones
6.6 Methodology
In accordance with the OECD/DAC Evaluation Quality Standards, IOB requires that
a sound methodology is applied and that it is accounted for in the final report.
The methodological choices made in an evaluation are determined by the extent to
which they lead to the collection of reliable data and provide a basis for reaching valid
and reliable judgments. The methods and techniques used can vary per evaluation.
The validity of an evaluation is determined by the extent to which the design of the
evaluation, the method of data collection and the analysis of the data lead to replicable
answers to the questions posed in the Terms of Reference. Validity relates to:
• the statement of the problem (the clarity with which the problem is stated, the 33
formulation of the research questions and the definition of the evaluation criteria);
• the evaluation object (the definition, operation and limitation of the evaluation
object and situating it in the policy and institutional context);
• the policy theory (the presentation or reconstruction of the intervention logic and
result levels, and the operationalisation of result measurement on the basis of
indicators);
• the analysis (data sources, data collection and the processing and argumentation of
conclusions with findings).
The reliability of an evaluation is determined by the extent to which the results are stable,
i.e. that repeating the evaluation will produce the same results. Reliability is related to:
• the research methods (specification of and accounting for the research methods used,
verification of data and triangulation);
• the scope (representativeness of the sample and selection of case studies and
specification of the limits of the evaluation);
• independence (of the source material and of the researchers in relation to
stakeholders);
• the progress of the evaluation and quality control (reporting on the progress of the
evaluation and organised quality control through internal and external monitoring).
To guarantee the validity and reliability of evaluations as much as possible IOB chooses
a combination of research methods (‘mixed methods’). This combination relates to the
design of the evaluation and to qualitative and quantitative methods and techniques of
data collection and analysis.
6 El proceso de evaluación
An alternative for this evaluation design is to take changes in reality as a starting point
rather than the policy theory. Supporters of ‘realist evaluation’ advocate this kind of
approach, which first devotes attention to the context in which changes occur and the
mechanisms involved. Only in the second instance does it attempt to attribute changes
34 para
specific activities.
In recent years there has been increasing emphasis internationally on the need
to provide stronger evidence of the effectiveness of government policy. Common
evaluation practice, which generally provides plausible explanations of the relationship
between interventions and their effects, is no longer considered adequate.
There is a need to identify the net effects of interventions, if possible in quantifiable
terms. That makes it necessary to conduct impact evaluations. The desire for harder
impact studies is also expressed in the RPE 2006, which explicitly distinguishes ex-post
impact studies as a separate category in addition to policy reviews. In its evaluation
programming IOB therefore includes the implementation of a series of impact
evaluations in appropriate policy sectors and themes. In practice, however, the options
are not unlimited. ‘Randomised control trials’ (RCTs), in which a ‘treatment group’ is
compared with a ‘control group’ and which in effect reproduce a laboratory situation,
are not applicable in the great majority of cases. The most common alternative for
RCTs is a quasi-experimental research design. Although this closely resembles a fully
experimental RCT, it recognises that the researcher does not have full control over the
composition of the treatment group and the context in which the measurements are
made. These limitations are accounted for in the evaluation report.
For the sake of completeness it should be made clear that IOB’s impact evaluations
are also designed on the basis of a theory of how the interventions to be evaluated
work. The most important difference is that this theory is not exclusively based on a
reconstruction of policy, but is largely fuelled by existing scientific insights.
Política de evaluación y directrices para las evaluaciones
• Group interviews
Various kinds of group interviews are used in evaluations. One of the most
common forms is the focus group discussion, in which the interaction between
the interviewees can also be a valuable source of information.
• Direct measurement
A lot of quantifiable information can be acquired by simple recording and
counting. Especially at the level of outputs, this is the most logical approach.
Direct measurement is particularly useful if data is available from a baseline study.
• Direct observation
Observation methods can be limited to the physical outputs of an activity, but can
also relate to certain processes. Observation techniques (with or without the
deployment of audiovisual aids) have always played an important role in field
research. It should be added that they can be very time-intensive. Evaluations
generally make use of a quick (more or less structured) tour of physical outputs, a
‘transect’, and/or attending one or more meetings of the target groups concerned.
36 • Surveys
Surveys aim to collect a large quantity of standardised data from a large population.
Such data is very suitable for statistical analysis. Surveys make use of previously
drawn up questionnaires which are preferably tested first and which can be in
written or verbal form. They are essential in determining the starting situation
(baseline) and are indispensable in impact evaluations. Because surveys can be
time-consuming and costly, impact evaluations often use the results of previous
questionnaires or modules added to pending surveys, so that they can serve
multiple purposes.
• Case studies
Case studies are in-depth studies of a small number of specific interventions. They
offer the possibility of considering the perceptions of stakeholders or reconstructing
histories. Case studies are a valuable supplement to broader surveys, because they
provide an opportunity to examine and explain relationships that become apparent
from statistical analysis in greater detail. If an evaluation is based exclusively on a
series of case studies, it is essential to determine to what extent the selected cases
are representative.
Política de evaluación y directrices para las evaluaciones
6.7 Informes
The final report of an evaluation is approved by the IOB Director, after she/he is
satisfied that the comments of the reference group, internal peer reviewers and the IOB
Departmental Meeting have been incorporated adequately. IOB then sends the report
to the minister or ministers concerned to be forwarded to parliament. On request,
IOB can also provide the minister with additional information on the findings of the
evaluation. If an evaluation is addressing a politically very sensitive issue, IOB will
inform the minister concerned in good time on the progress of the evaluation and,
as far as possible, the expected outcomes.
In principle, all IOB evaluation reports are accessible to the public. This rule can only
be deviated from in exceptional cases. An evaluation might, for example, be very
confidential in nature or may only serve an internal learning function. The decision
not to publicise an evaluation report must always be taken before the evaluation starts.
The report should take account of the fact that the findings of the evaluation are to
be presented to different stakeholders with various interests. The basic principle is
that IOB reports are designed to account to both parliament and society, and to fulfil a 37
learning function. That sets high standards for the reporting. Parliament benefits from
a short and concise presentation of the main findings and conclusions. Accounting
for the results and the deployment of the public funds required to achieve them has
priority. Policy departments will be interested in the extent to which the report
provides information that offers opportunities to adjust policy formulation or
implementation. In all cases it is important to aim for a transparent presentation
of findings, analysis and assessment.
IOB evaluations identify a number of burning issues that, in the light of the evaluation
findings, require attention. IOB therefore avoids making concrete recommendations,
putting itself in the position of the policymaker and thereby of a butcher inspecting
the quality of his own meat. Furthermore, IOB works according to the OECD/DAC
definition of evaluation, which refers only to ‘lessons learnt’, and the guidelines for
policy review in the RPE 2006.
If there are fundamental and substantiated differences of opinion between IOB and the
stakeholders regarding the main conclusions of the report, these should be explicitly
mentioned in the report. The decision to this will be taken by the IOB Director.
6 El proceso de evaluación
Many evaluation reports are a synthesis of subsidiary studies. Especially where these
subsidiary studies can also be read independently it is important to make them
accessible for policy departments or other stakeholders. They often contain detailed
information that is not included in the main report. The evaluation reports are
published both in print form and on the Ministry of Foreign Affairs website. Subsidiary
studies are always available on the website and are in some cases also published in
print form. In the case of very extensive evaluations, in the interests of accessibility,
IOB produces a summarised version of the report. Both the summary and the full text
are submitted for inclusion in OECD/DAC network for evaluation services’ evaluation
inventory. Completed impact evaluations are also entered in the data base set up by
3IE and NONIE for evaluations of this kind.
38
Política de evaluación y directrices para las evaluaciones
39
7
Quality control
Política de evaluación y directrices para las evaluaciones
The IOB inspector is responsible for conducting independent evaluations. The quality
of the work carried out is, however, a concern for IOB as a whole. The IOB management
has its own responsibility in this context, as it approves the evaluation reports. To
prepare for this decision-making process, IOB has a quality control system comprising
five instruments: internal peer reviewers, reference groups, the departmental meeting,
the advisory panel and the self-evaluation.
Not all criteria are equally important and a specific criterion can be decisive.
The task of the internal peer reviewer is to give advice to the inspectors. This advice is not
binding but inspectors do have to indicate what they do with it. Lasting and fundamental
differences of opinion must be solved in consultation with the IOB Director.
Inspectors must include the comments and advice of internal peer reviewers and a short
report of their discussions with the readers in the file on the evaluation.
The internal peer reviewers are not part of the reference group for the evaluation.
As the IOB Director is responsible for approving evaluation products he/she cannot be
an internal peer reviewer.
The decision whether to make use of internal peer review in the event of joint
evaluations between IOB and the evaluation services of other donors is left to the IOB
inspector responsible for the evaluation, in consultation with the IOB Director.
7 Quality control
A second form of quality control over IOB evaluations is reference groups. These
groups, which are created for each evaluation, are partly external, consisting of
representatives of the policy departments involved in the evaluation, organisations
and/or local bodies, and external experts. A reference group is chaired by the IOB
management and meets at key moments during the process (e.g. to discuss the
draft ToR, partial reports and the draft final report). The inspector is responsible for
reporting on reference group discussions and/or providing summaries of written
comments by reference group members.
For evaluations that entail intensive cooperation with researchers in a specific partner
country, a sounding board group is set up in the country concerned. The form the
group takes will vary from case to case.
For joint evaluations with other donors a Dutch reference group is usually not set up.
There is a joint steering group comprising representatives of the participating donors.
In the case of large-scale, complex evaluations a smaller management team is set up
42 from within the steering group to run the evaluation on a daily basis. The steering
group is then primarily concerned with quality control. In addition, with these
evaluations, the research bureau conducting the evaluation is expected to arrange its
own quality control. This is one of the aspects taken into account when assessing
tenders.
The IOB departmental meeting plays a part in quality control at two moments during
the implementation of an evaluation: when discussing the Terms of Reference
(or sometimes the inception report) and during discussion of the draft final report.
The ToR are always discussed at a full departmental meeting. Before this meeting it
must be clear to the inspector which colleagues have submitted comments on the
Terms of Reference and the substance of the comments, in general terms, so that he/
she can prepare for the discussion. Draft final reports are then discussed once again in a
separate final meeting between the inspector and the internal peer reviewers, chaired
by the IOB Director, before the Director approves the report. This final meeting, which
is open to all IOB staff members, has two purposes: it offers the opportunity for a final
assessment of the quality of the product, and helps colleagues to learn from each
others’ experiences. It also ensures that the final product of an individual inspector
becomes a product of IOB as a whole.
Política de evaluación y directrices para las evaluaciones
7.5 Self-evaluation
Every evaluation concludes with a critical review of how it proceeded, with the aim
of improving the approach to future evaluations. These self-evaluations are written
by the inspector, sometimes together with a research assistant and the internal peer
reviewers. The Terms of Reference for the evaluation determine the format of the
self-evaluation. By systematically going through the various components of the ToR,
the self-evaluation provides a clear insight into the successful and less successful
elements of the evaluation. It should in any case address: (1) the extent to which the 43
research assignment could be implemented, (2) any differences between the planned
time path and the actual duration of the evaluation, and (3) differences between
estimated and actual costs. Self-evaluations are discussed internally and periodically
at the departmental meeting.
8
Communication and
feedback
Política de evaluación y directrices para las evaluaciones
The extent to which completed evaluations fulfil the learning function depends on
a number of factors. In the first place, it is a matter of the usability of the evaluation
itself. This is determined by:
• the clarity with which the external aim (i.e. outside the evaluation itself ), for
which the evaluation results can be used, is specified;
• the clarity and completeness with which the essence of the evaluation and especially 45
its main findings are presented in the evaluation report and the summary;
• the completeness with which all research questions are answered by the
conclusions;
• the extent to which the results of the evaluation suggest actions that lie within
the capacity of the recipient of the report.
In the second place learning from evaluations depends on the extent to which the
recipients and users are receptive to the lessons drawn from the studies. This is related
to the institutional context and the organisational culture. IOB has no influence on
this and it is not IOB’s responsibility. It is the direct responsibility of the management
of the organisation (the ministry or other organisations that receive IOB reports).
how the results of the evaluation are to be acted upon in the light of future policy.
In this way, accounting to parliament also contributes to the learning process.
In the case of evaluations in the field of development cooperation the reports are
also published in the partner countries, offered to the government and made widely
known through the organisation of meetings. With a view to mutual accountability
IOB invests systematically in such feedback to the partner countries.
46
Política de evaluación y directrices para las evaluaciones
Evaluatie van het Nederlands beleid Influencing policy via the Dutch
inzake de toetreding van Midden- Co-Financing Programme
Europese landen tot de Europese Unie isbn 978-90-5328-355-4
1997-2003 307 2008 Beleidsdoorlichting seksuele en
isbn 90-5328-347-1 reproductieve gezondheid en
300 2005 Aid for Trade? rechten en hiv/aids 2004-2006
An Evaluation of Trade-Related isbn 978-90-5328-358-5
Technical Assistance 308 2008 Het Nederlandse Afrikabeleid
isbn 90-5328-349-8 1998-2006
309 2008 The Netherlands Trade Union 317 2008 Sectorsteun in milieu en water
Co-Financing Programme isbn 978-90-5328-369-1
An evaluation of support for trade 318 2008 Samenwerking met Clingendael
unions and trade union and labour Evaluatie van de subsidieovereen-
rights (Summary) komst tussen de ministeries van
isbn 978-90-5328-357-8 Buitenlandse Zaken en Defensie en
309 2008 El Programa de Cofinanciamiento Instituut Clingendael
Sindical isbn 978-90-5328-365-7
Una evaluación del apoyo orientado 319 2008 Meer dan een dak
49
50
Evaluatiebeleid en richtlijnen voor evaluaties
51
52 Published by:
perations Evaluation Department | IOB | October 2009 | Policy and Operations Evaluation Department | IOB | October 2009 | Policy and Operations Evaluation Department
evaluaciones
Política de evaluación y directrices para las
Published by: