You are on page 1of 71

Suscríbete a DeepL Pro para poder editar este docum

Entra en www.DeepL.com/pro para más información.

Política y directrices de evaluación


para evaluaciones
IOB | Octubre de 2009 | Departamento de Evaluación de Políticas y Operaciones | IOB | Octubre de 2009 | Departamento de Evalu ación de Políticas y Operaciones | IOB | Octubr
Operaciones | IOB | Octubre de 2009 | P
nAnkaraAntwerpenAsmaraAstanaAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernBoedapestBoekarestBogotáBogotáBratislavaBruselasBuenosAiresBujum
lYakartaYakartaJubaKaapstadKaboelKampalaKhartoemKievKievKigaliKinshasaKoeweitKopenhagenKualaLumpurLaPazLimaLissabonLjubljanaLondenLosAngelesLuandaLuanda
mallahRigaRioDeJaneiroRiadRomaRomaSanJoséSana'aSantiagoSantoDomingoSaoPauloSarajevoSeúlShanghaiSingapurSkopjeSo aSan PetersburgoEstocolmoEstraatsburgoSydneyT
dadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernBoedapestBoekarestBogotáBrasiliaBratislavaBruselasBuenosAiresBujumburaCanberraCaracasChicagoColomboColombo
mKievKievKigaliKinshasaKinshasaKoeweitKopenhagueKualaLumpurLaPazLimaLissabonLjubljanaLondenLosAngelesLuandaLusakaLuxemburgoMadridManaguaManaguaMaput
JoséSana'aSantiagoSantoDomingoSaoPauloSarajevoSeúlShanghaiSingapurSkopjeSo aSan PetersburgoEstocolmoEstraatsburgoSydney TallinnTbilisiTeheránTelAvivTiranaTokioTor
kou
oBerlijnBernBoedapestBoekarestBogotáBrasiliaBratislavaBruselasBuenosAiresBujumburaCairoCanberraCaracasChicagoColomboCotonouDakarDamascoDarésSalaamDenHaagD
alaLumpurLaPazLimaLissabonLiublianaLondenLosAngelesLuandaLusakaLuxemburgoMadridManaguaManillaManillaMaputoMéxicoMiamiMilánMontevideoMontrealMoskouMu
arajevoSeúlShanghaiSingapurSkopjeSo aSan PetersburgoEstocolmoEstraatsburgoSydneyTallinnTbilisiTeheránTeheránTelevTiranaTokioTorontoTripoliTúnezValle aVancouverVatica
aBratislavaBruselasBuenosAiresBujumburaCanberraCaracasChicagoColomboCotonouDakarDamascoDarésSalaamDenHaagDohaDohaDublínDüsseldorfFrankfurt/MainGenèveGu
nLosAngelesLuandaLusakaLuxemburgoMadridManaguaManaguaManillaMaputoMéxicoMaputoMiamiMiamiMilánMontevideoMontrealMoskouMumbaiMünchenMuscatNairobiNu
an PetersburgoEstocolmoEstraatsburgoSydneySydneySydneyTallinnTbilisiTeheránTelevTiranaTokioTorontoTripoliTúnezValle
roCanberraCaracasChicagoColomboCoton
uverVaticaanstadVilniusWarschauWashingtonWellingtonWellingtonWellingtonWenenY
ManaguaManaguaManillaMaputoMéxicoMiamiMilánMontevideoMontrealMoskouMumbaiMünchenMuscatNairobiNuevaDelhiNuevaYorkNicosiaOsaka/KobeOsloO
DamascoDarEsSalaamDenHaagDhakaDohaDohaDublinDüsseldorfFrankfurt/MainGenevaGuangzhouGuatemalaHamburgoHanoiHarareHavannaHelsinkiHoChiMinhStadStadHon
nnTbilisiTeheránTelAvivTiranaTokioTorontoTripoliTúnezValle
agadougouP
DakarDamascoDarEsSalaamDenHaagDhakaDohaDohaDohaDublínDüsseldorfFrankfurt/MainGenevaGuangzhouGuatemalaHamburgoHanoiHarareHavannaHelsinkiHoChiMinhSt
ancouverVaticaanstadVilniusWarschauWashingtonWellingtonWellingtonWellingtonWenenenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpe
nMontevideoMontrealMoskouMumbaiMünchenMuscatNairobiNuevaDelhiNuevaYorkNicosiaOsaka/KobeOsloO
nshasaKaboel awaOuagadougouParamariboParijsPekingPortofSpainPraagPretor
poliTúnezValle
aDohaDublínDüsseldorfFrankfurt/MainGenevaGuangzhouGuatemalaHamburgoHanoiHarareHavannaHelsinkiHoChiMinhStadHongkongIslamabadIstanboelJakartaJubaKaapstadK
VancouverVaticaanstadVilniusWarschauWashingtonWellingtonWellingtonWenenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmara
henMuscatNairobiNueva DelhiNueva YorkNicosiaOsaka/KobeOsloO
sWarschauWashingtonWellingtonWellingtonWellingtonWenenenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAstanaAtheneB
agadougouParamariboParijsPekingPortofSpainPraagPretoriaPretoriaPristinaQuitoRabatRamallahRigaRioDeJaneiroRyadRomaRomaSanJoséSanJoséSan'aSantiagoSantoDomin
braGuangzhouGuatemalaHamburgoHanoiHarareHavannaHelsinkiHoChiMinhStadHongkongIslamabadIstanboelJakartaJaapstadKaboelKampalaKhartoemKievKigaliKinshasaK
naBeiroetB
oundéZagrebAbuDhabiAbuiAbuiAbujaAccraAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernB
Osaka/KobeOsloO awaOuagadougouParamariboParijsPekínPortofSpainPraagPretoriaPristinaQuitoRabatRamallahRigaRioDeJaneiroRiadRomaRomaSanJoséSana'aSantiagoSa
areHavannaHelsinkiHoChiMinhStadHongkongIslamabadIstanstanboelYakartaJubaKaapstadKaboelKampalaKhartoemKievKigaliKinshasaKoeweitKopenhagenKualaLumpurLaPaz
aracas
mariboParijsPekingPortofSpainPraagPretoriaPristinaPristinaQuitoRabatRamallahRigaRioDeJaneiroRiadRomaSanJoséSana'aSantiagoS antoDomingoSaoPauloSarajevoSeoulShangha
aAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAstanaAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernBoedapestBoekarestBogotáBrasiliaBratislavaBrusselB
PristinaQuitoRabatRamallahRigaRigaRioDeJaneiroRiadRomaRomaSanJoséSana'aSantiagoSantoDomingoSaoPauloSarajevoSeúlShanghaiSingapurSkopjeSo aSan PetersburgoEsto
amabadIstanboelYakartaYakartaJubaKaapstadKaboelKampalaKhartoemKievKigaliKinshasaKoeweitKopenhagenKualaLumpurLaPazLimaLissabonLjubljanaLondenLosAngelesLu
aboelKampalaKhartoemKievKievKigaliKinshasaKinshasaKoeweitKopenhagenKualaLumpurLaPazLimaLissabonLjubljanaLondenLos AngelesLuandaLusakaLuxemburgMadridMa
roRiadRomaRomaSanJoséSana'aSantiagoSantoDomingoSaoPauloSarajevoSeúlShanghaiSingapurSkopjeSo aSan PetersburgoEstocolmoEstraatsburgoSydneyTallinnTbilisiTeherán
arcelonaBeiroetBelgradoBerlijnBernBoedapestBoekarestBogotáBrasiliaBratislavaBruselasBuenosAiresBujumburaCairoCanberraCaracasColomboColomboCotonouDakarDamascoD
maraAstanaAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernBoedapestBoekarestBogotáBrasiliaBratislavaBruselaselvasBuenosAiresBujumburaCanberraCarac
KoeweitKopenhagueKualaLumpurLaPazLimaLissabonLjubljanaLondenLosAngelesLuandaLusakaLuxemburgMadridManaguaManillaMaputoMéxicoMiamiMilaanMontevideoMontre
bela
ntoDomingoSaoPauloSarajevoSeúlShanghaiSingapurSkopjeSo aSan
BoekarestBogotáBrasiliaBratislavaBruselasBuenosAiresBujumburaCairoCanberraCaracasChicagoColomboCotonouDakarDamascoDarésSalaamDenHaagDohaDublinDüsseldorfFr
urgoEstocolmoEstraatsburgoSydsburgSydneyTallinnTbilisiTeheránTelAvivTiranaTokioTorontoTripoliTúnezValle aValle
LissabonLondenLosAngelesLuandaLuxemburgoMadridManaguaManaguaManillaMaputoMéxicoMiamiMilánMontevideoMontrealMoscúMumbaiMünchenMuscatNairobiNueva De
SingapurSkopjeSo aSan PetersburgoEstocolmoEstraatsburgoSydneyTallinnTbilisiTeheránTelevTiranaTokioTorontoTripoliTunisValle aVancouverVaticaanstadVilniusWarschauWas
enosAiresBujumburaCairoCanberraCaracasChicagoColomboCotonouDakarDamascoDarEsSalaamDenHaagDenHaagDhakaDohaDohaDohaDublínDüsseldorfFrankfurt/MainGenev
usakaLuxemburgoMadridManaguaManaguaManillaMaputoMéxicoMiamiMilánMontevideoMontrealMoskouMumbaiMünchenMuscatNairobiNueva DelhiNueva YorkNicosiaOsaka
icagoColomboCotonouDakarDamascoDarEsSalaamDenHaagDhakaDohaDohaDohaDublinDüsseldorfFrankfurt/MainGenevaGuangzhouGuatemalaHamburgoHanoiHarareHavan
StraatsburgSydneySydneyTallinnTbilisiTeheránTelAvivTiranaTokioTorontoTripoliTunisValle
utoMéxicoMiamiMilánMontevideoMontevideoMontrealMoscúMumbaiMünchenMuscatNairobiNueva DelhiNueva YorkNicosiaOsaka/KobeOsloO
galiKinsh
TiranaTokioTorontoTripoliTúnezValle
uverVaticaanstadVilniusWarschauWashingtonWellingtonWellingtonWellingtonWenenenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsm
agadougouParamariboParijsPekingP
sSalaamDenHaagDhakaDohakaDohaDohaDohaDublínDüsseldorfFrankfurt/MainGenevaGuangzhouGuatemalaHamburgoHanoiHarareHavannaHelsinkiHoChiMinhStadStadHong
ancouverVaticaanstadVilniusWarschauWashingtonWellingtonWellingtonWenenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraA
lMoskouMumbaiMünchenMuscatNairobiNueva DelhiNueva YorkNueva YorkNicosiaOsaka/KobeOsloO
KigaliKinshasaKin
ouverVaticaanstadVilniusWarschauWashingtonWellingtonWellingtonWellingtonWenenenYaoundéZagrebAbuDhabiAbujaAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwe
agadougouParamariboParijsPekínPortofSpainPraagPretoriaPristinaQuitoRabatRamallahRigaRioDeJaneiroRiadioRomaRomaRomaRomaSanJoséSanáSanáSanáSantiagoSantoD
orfFrankfurt/MainGenevaGuangzhouGuatemalaHamburgoHanoiHarareHabanaHelsinkiHoChiMinhStadhongkongIslamabadIstanboelYakartaJubaKaapstadKaboelKampalaKharto
BarcelonaBeiroetB
va DelhiNueva YorkNueva YorkNicosiaOsaka/KobeOsloO
nWellingtonWenenenYaoundéZagrebAbuDhabiAbujaAccraAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgra
agadougouParamariboParijsPekingPortofSpainPraagPretoriaPristinaQuitoRabatRamallahRigaRigaRioDeJaneiroRyadRomaRomaSanJoséSana'aSantiagoSantoDomingoSaoPací
alaHamburgoHanoiHarareHavannaHelsinkiHoChiMinhStadHongkongIslamabadIstanboelJakartaJubaKaapstadKaboelKampalaKhartoemKievKievKigaliKinshasaKoeweitKopenha
OuagadougouParamariboParijsPekínPortofSpainPraagPretoriaPristinaQuitoRabatRamallahRigaRigaRioDeJaneiroRiadRomaRomaSanJoséSana'aSantiagoSantoDomingoSaoP
AbujaAccraAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAstanaAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBoedapestBoekarestBogotáBra
ChiMinhStadHongkongIslamabadIstanboelJakartaJubaKaapstadKaboelKampalaKhartoemKievKievKigaliKinshasaKoeweitKopenhagenKualaLumpurLaPazLimaLissabonLjubljana
EspañaPretoriaPristinaPristinaQuitoRabatRamallahRigaRioDeJaneiroRiadRomaRomaSanJoséSana'aSantiagoSantoDomingoSaoPauloSar ajevoSeúlSingapurSingapurSkopjeSo aSt
akartaJubaKaapstadKaboelKampalaKhartoemKievKievKigaliKinshasaKoeweitKopenhagenKualaLumpurLaPazLissabonLjubljanaLondenLosAngelesLuandaLusakaLuxemburgMa
AnkaraAntwerpenAsmaraAstanaAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernBoedapestBoekarestBogotáBogotáBratislavaBruselasBuenosAiresBujumbura
allahRigaRioDeJaneiroRiadRomaRomaSanJoséSana'aSantiagoSantoDomingoSaoPauloSarajevoSeúlShanghaiSingapurSkopjeSo aSan PetersburgoEstocolmoEstraatsburgoSydneyT
adBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernBoedapestBoekarestBogotáBrasiliaBratislavaBruselasBuenosAiresBujumburaCanberraCaracasChicagoColomboColomboB
mKievKievKigaliKinshasaKinshasaKoeweitKopenhagueKualaLumpurLaPazLimaLissabonLjubljanaLondenLosAngelesLuandaLusakaLuxemburgoMadridManaguaManaguaMaput
JoséSana'aSantiagoSantoDomingoSaoPauloSarajevoSeúlShanghaiSingapurSkopjeSo aSan PetersburgoEstocolmoEstraatsburgoSydney TallinnTbilisiTeheránTelAvivTiranaTokioTor
kou
oBerlijnBernBoedapestBoekarestBogotáBrasiliaBratislavaBruselasBuenosAiresBujumburaCairoCanberraCaracasChicagoColomboCotonouDakarDamascoDarésSalaamDenHaagD
alaLumpurLaPazLimaLissabonLiublianaLondenLosAngelesLuandaLusakaLuxemburgoMadridManaguaManillaManillaMaputoMéxicoMiamiMilánMontevideoMontrealMoskouMu
arajevoSeúlShanghaiSingapurSkopjeSo aSan PetersburgoEstocolmoEstraatsburgoSydneyTallinnTbilisiTeheránTeheránTelevTiranaTokioTorontoTripoliTúnezValle aVancouverVatica
aBratislavaBruselasBuenosAiresBujumburaCanberraCaracasChicagoColomboCotonouDakarDamascoDarésSalaamDenHaagDohaDohaDublínDüsseldorfFrankfurt/MainGenèveGu
nLosAngelesLuandaLusakaLuxemburgoMadridManaguaManaguaManillaMaputoMéxicoMaputoMiamiMiamiMilánMontevideoMontrealMoskouMumbaiMünchenMuscatNairobiNu
an PetersburgoEstocolmoEstraatsburgoSydneySydneySydneyTallinnTbilisiTeheránTelevTiranaTokioTorontoTripoliTúnezValle
roCanberraCaracasChicagoColomboCoton
uverVaticaanstadVilniusWarschauWashingtonWellingtonWellingtonWellingtonWenenY
ManaguaManaguaManillaMaputoMéxicoMiamiMilánMontevideoMontrealMoskouMumbaiMünchenMuscatNairobiNuevaDelhiNuevaYorkNicosiaOsaka/KobeOsloO
DamascoDarEsSalaamDenHaagDhakaDohaDohaDublinDüsseldorfFrankfurt/MainGenevaGuangzhouGuatemalaHamburgoHanoiHarareHavannaHelsinkiHoChiMinhStadStadHon
nnTbilisiTeheránTelAvivTiranaTokioTorontoTripoliTúnezValle
agadougouP
DakarDamascoDarEsSalaamDenHaagDhakaDohaDohaDohaDublínDüsseldorfFrankfurt/MainGenevaGuangzhouGuatemalaHamburgoHanoiHarareHavannaHelsinkiHoChiMinhSt
ancouverVaticaanstadVilniusWarschauWashingtonWellingtonWellingtonWellingtonWenenenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpe
nMontevideoMontrealMoskouMumbaiMünchenMuscatNairobiNuevaDelhiNuevaYorkNicosiaOsaka/KobeOsloO
nshasaKaboel awaOuagadougouParamariboParijsPekingPortofSpainPraagPretor
poliTúnezValle
aDohaDublínDüsseldorfFrankfurt/MainGenevaGuangzhouGuatemalaHamburgoHanoiHarareHavannaHelsinkiHoChiMinhStadHongkongIslamabadIstanboelJakartaJubaKaapstadK
VancouverVaticaanstadVilniusWarschauWashingtonWellingtonWellingtonWenenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmara
henMuscatNairobiNueva DelhiNueva YorkNicosiaOsaka/KobeOsloO
biAbujaAccraAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAstanaAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBoedapestBoekarestBogotáB
agadougouParamariboParijsPekingPortofSpainPraagPretoriaPretoriaPristinaQuitoRabatRamallahRigaRioDeJaneiroRyadRomaRomaSanJoséSanJoséSan'aSantiagoSantoDomin
sWarschauWashingtonWellingtonWellingtonWenenenYaoundéZagrebHelsinkiHoChiMinhStadHongkongIslamabadIstanboelJakartaJubaKaapstadKaboelKampalaKhartoemKievK
Osaka/KobeOsloO
asaK awaOuagadougouParamariboParijsPekínPortofSpainPraagPretoriaPristinaQuitoRabatRamallahRigaRioDeJaneiroRiadRomaRomaSanJoséSana'aSantiagoSa
oundéZagrebAbuDhabiAbuiAbuiAbujaAccraAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernB
areHavannaHelsinkiHoChiMinhStadHongkongIslamabadIstanstanboelYakartaJubaKaapstadKaboelKampalaKhartoemKievKigaliKinshasaKoeweitKopenhagenKualaLumpurLaPaz
aracas
mariboParijsPekingPortofSpainPraagPretoriaPristinaPristinaQuitoRabatRamallahRigaRioDeJaneiroRiadRomaSanJoséSana'aSantiagoS antoDomingoSaoPauloSarajevoSeoulShangha
aAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAstanaAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernBoedapestBoekarestBogotáBrasiliaBratislavaBrusselB
PristinaQuitoRabatRamallahRigaRigaRioDeJaneiroRiadRomaRomaSanJoséSana'aSantiagoSantoDomingoSaoPauloSarajevoSeúlShanghaiSingapurSkopjeSo aSan PetersburgoEsto
amabadIstanboelYakartaYakartaJubaKaapstadKaboelKampalaKhartoemKievKigaliKinshasaKoeweitKopenhagenKualaLumpurLaPazLimaLissabonLjubljanaLondenLosAngelesLu
aboelKampalaKhartoemKievKievKigaliKinshasaKinshasaKoeweitKopenhagenKualaLumpurLaPazLimaLissabonLjubljanaLondenLos AngelesLuandaLusakaLuxemburgMadridMa
roRiadRomaRomaSanJoséSana'aSantiagoSantoDomingoSaoPauloSarajevoSeúlShanghaiSingapurSkopjeSo aSan PetersburgoEstocolmoEstraatsburgoSydneyTallinnTbilisiTeherán
arcelonaBeiroetBelgradoBerlijnBernBoedapestBoekarestBogotáBrasiliaBratislavaBruselasBuenosAiresBujumburaCairoCanberraCaracasColomboColomboCotonouDakarDamascoD
maraAstanaAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernBoedapestBoekarestBogotáBrasiliaBratislavaBruselaselvasBuenosAiresBujumburaCanberraCarac
KoeweitKopenhagueKualaLumpurLaPazLimaLissabonLjubljanaLondenLosAngelesLuandaLusakaLuxemburgMadridManaguaManillaMaputoMéxicoMiamiMilaanMontevideoMontre
bela
ntoDomingoSaoPauloSarajevoSeúlShanghaiSingapurSkopjeSo aSan
BoekarestBogotáBrasiliaBratislavaBruselasBuenosAiresBujumburaCairoCanberraCaracasChicagoColomboCotonouDakarDamascoDarésSalaamDenHaagDohaDublinDüsseldorfFr
urgoEstocolmoEstraatsburgoSydsburgSydneyTallinnTbilisiTeheránTelAvivTiranaTokioTorontoTripoliTúnezValle aValle
LissabonLondenLosAngelesLuandaLuxemburgoMadridManaguaManaguaManillaMaputoMéxicoMiamiMilánMontevideoMontrealMoscúMumbaiMünchenMuscatNairobiNueva De
SingapurSkopjeSo aSan PetersburgoEstocolmoEstraatsburgoSydneyTallinnTbilisiTeheránTelevTiranaTokioTorontoTripoliTunisValle aVancouverVaticaanstadVilniusWarschauWas
enosAiresBujumburaCairoCanberraCaracasChicagoColomboCotonouDakarDamascoDarEsSalaamDenHaagDenHaagDhakaDohaDohaDohaDublínDüsseldorfFrankfurt/MainGenev
usakaLuxemburgoMadridManaguaManaguaManillaMaputoMéxicoMiamiMilánMontevideoMontrealMoskouMumbaiMünchenMuscatNairobiNueva DelhiNueva YorkNicosiaOsaka
icagoColomboCotonouDakarDamascoDarEsSalaamDenHaagDhakaDohaDohaDohaDublinDüsseldorfFrankfurt/MainGenevaGuangzhouGuatemalaHamburgoHanoiHarareHavan
StraatsburgSydneySydneyTallinnTbilisiTeheránTelAvivTiranaTokioTorontoTripoliTunisValle
utoMéxicoMiamiMilánMontevideoMontevideoMontrealMoscúMumbaiMünchenMuscatNairobiNueva DelhiNueva YorkNicosiaOsaka/KobeOsloO
galiKinsh
TiranaTokioTorontoTripoliTúnezValle
uverVaticaanstadVilniusWarschauWashingtonWellingtonWellingtonWellingtonWenenenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsm
agadougouParamariboParijsPekingP
sSalaamDenHaagDhakaDohakaDohaDohaDohaDublínDüsseldorfFrankfurt/MainGenevaGuangzhouGuatemalaHamburgoHanoiHarareHavannaHelsinkiHoChiMinhStadStadHong
ancouverVaticaanstadVilniusWarschauWashingtonWellingtonWellingtonWenenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraA
lMoskouMumbaiMünchenMuscatNairobiNueva DelhiNueva YorkNueva YorkNicosiaOsaka/KobeOsloO
KigaliKinshasaKin
ouverVaticaanstadVilniusWarschauWashingtonWellingtonWellingtonWellingtonWenenenYaoundéZagrebAbuDhabiAbujaAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwe
agadougouParamariboParijsPekínPortofSpainPraagPretoriaPristinaQuitoRabatRamallahRigaRioDeJaneiroRiadioRomaRomaRomaRomaSanJoséSanáSanáSanáSantiagoSantoD
orfFrankfurt/MainGenevaGuangzhouGuatemalaHamburgoHanoiHarareHabanaHelsinkiHoChiMinhStadhongkongIslamabadIstanboelYakartaJubaKaapstadKaboelKampalaKharto
BarcelonaBeiroetB
va DelhiNueva YorkNueva YorkNicosiaOsaka/KobeOsloO
nWellingtonWenenenYaoundéZagrebAbuDhabiAbujaAccraAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgra
agadougouParamariboParijsPekingPortofSpainPraagPretoriaPristinaQuitoRabatRamallahRigaRigaRioDeJaneiroRyadRomaRomaSanJoséSana'aSantiagoSantoDomingoSaoPací
alaHamburgoHanoiHarareHavannaHelsinkiHoChiMinhStadHongkongIslamabadIstanboelJakartaJubaKaapstadKaboelKampalaKhartoemKievKievKigaliKinshasaKoeweitKopenha
OuagadougouParamariboParijsPekínPortofSpainPraagPretoriaPristinaQuitoRabatRamallahRigaRigaRioDeJaneiroRiadRomaRomaSanJoséSana'aSantiagoSantoDomingoSaoP
AbujaAccraAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAstanaAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBoedapestBoekarestBogotáBras
ChiMinhStadHongkongIslamabadIstanboelJakartaJubaKaapstadKaboelKampalaKhartoemKievKievKigaliKinshasaKoeweitKopenhagenKualaLumpurLaPazLimaLissabonLjubljana
EspañaPretoriaPristinaPristinaQuitoRabatRamallahRigaRioDeJaneiroRiadRomaRomaSanJoséSana'aSantiagoSantoDomingoSaoPauloSar ajevoSeúlSingapurSingapurSkopjeSo aSt
akartaJubaKaapstadKaboelKampalaKhartoemKievKievKigaliKinshasaKoeweitKopenhagenKualaLumpurLaPazLissabonLjubljanaLondenLosAngelesLuandaLusakaLuxemburgMa
AnkaraAntwerpenAsmaraAstanaAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernBoedapestBoekarestBogotáBogotáBratislavaBruselasBuenosAiresBujumbura
allahRigaRioDeJaneiroRiadRomaRomaSanJoséSana'aSantiagoSantoDomingoSaoPauloSarajevoSeúlShanghaiSingapurSkopjeSo aSan PetersburgoEstocolmoEstraatsburgoSydneyT
adBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernBoedapestBoekarestBogotáBrasiliaBratislavaBruselasBuenosAiresBujumburaCanberraCaracasChicagoColomboColomboB
mKievKievKigaliKinshasaKinshasaKoeweitKopenhagueKualaLumpurLaPazLimaLissabonLjubljanaLondenLosAngelesLuandaLusakaLuxemburgoMadridManaguaManaguaMaput
JoséSana'aSantiagoSantoDomingoSaoPauloSarajevoSeúlShanghaiSingapurSkopjeSo aSan PetersburgoEstocolmoEstraatsburgoSydney TallinnTbilisiTeheránTelAvivTiranaTokioTor
kou
oBerlijnBernBoedapestBoekarestBogotáBrasiliaBratislavaBruselasBuenosAiresBujumburaCairoCanberraCaracasChicagoColomboCotonouDakarDamascoDarésSalaamDenHaagD
alaLumpurLaPazLimaLissabonLiublianaLondenLosAngelesLuandaLusakaLuxemburgoMadridManaguaManillaManillaMaputoMéxicoMiamiMilánMontevideoMontrealMoskouMu
arajevoSeúlShanghaiSingapurSkopjeSo aSan PetersburgoEstocolmoEstraatsburgoSydneyTallinnTbilisiTeheránTeheránTelevTiranaTokioTorontoTripoliTúnezValle aVancouverVatica
aBratislavaBruselasBuenosAiresBujumburaCanberraCaracasChicagoColomboCotonouDakarDamascoDarésSalaamDenHaagDohaDohaDublínDüsseldorfFrankfurt/MainGenèveGu
nLosAngelesLuandaLusakaLuxemburgoMadridManaguaManaguaManillaMaputoMéxicoMaputoMiamiMiamiMilánMontevideoMontrealMoskouMu mbaiMünchenMuscatNairobiNu
an PetersburgoEstocolmoEstraatsburgoSydneySydneySydneyTallinnTbilisiTeheránTelevTiranaTokioTorontoTripoliTúnezValle
roCanberraCaracasChicagoColomboCoton
uverVaticaanstadVilniusWarschauWashingtonWellingtonWellingtonWellingtonWenenY
ManaguaManaguaManillaMaputoMéxicoMiamiMilánMontevideoMontrealMoskouMumbaiMünchenMuscatNairobiNuevaDelhiNuevaYorkNicosiaOsaka/KobeOsloO
Política y directrices de evaluación
para evaluaciones
Política de evaluación y directrices para las evaluaciones

Contenido
1 Introducción 4

2 Breve historia 6

3 Principios básicos de la política de evaluación de la IOB 10

4 Definiciones y criterios para las evaluaciones 14


4.1 ¿Qué es la evaluación? 15
4.2 Tipos de evaluación 16
4.3 Criterios de evaluación 17
4.3.1 Eficiencia 17
4.3.2 Eficacia 18
4.3.3 Impacto 19
4.3.4 Pertinencia 19
4.3.5 Sostenibilidad 20 3
4.3.6 Coherencia de las políticas 21

5 Principios rectores y normas éticas 22

6 El proceso de evaluación 26
6.1 Programación 27
6.2 Estudio preliminar 29
6.3 Términos de referencia 30
6.4 Desplegar investigadores 32
6.5 Cooperación con los investigadores de los países socios 32
6.6 Metodología 33
6.7 Informes 37

7 Control de calidad 40
7.1 Revisión interna por pares 41
7.2 Grupos de referencia 42
7.3 Reunión departamental 42
7.4 Grupo consultivo 43
7.5 Autoevaluación 43

8 Comunicación y retroalimentación 44
Introducción
Política de evaluación y directrices para las evaluaciones

Este documento describe la política de evaluación y las directrices para las evaluaciones del
Departamento de Evaluación de Políticas y Operaciones (IOB) del Ministerio de Asuntos
Exteriores de los Países Bajos
Negocios. Sitúa la política de evaluación en1 el contexto de la Orden de Evaluación Periódica.
y la información sobre políticas (conocida como RPE 2006), el marco de todo el gobierno para el
evaluación de la política gubernamental en general. También refleja decisiones recientes sobre
la función de evaluación en el Ministerio de Asuntos Exteriores y el papel que desempeña la IOB
dentro de ella.

La política de evaluación de la IOB y las directrices deben considerarse en el contexto de un


cambio en la política de evaluación de la IOB.
medio ambiente. Un mundo exterior cada vez más crítico exige una visión más clara de la
de la política exterior de los Países Bajos. Hay una creciente presión para que los ministros
no sólo por el uso de los fondos públicos, sino sobre todo por los resultados obtenidos.
Esto también se aplica a los distintos ámbitos de la política exterior. Para que las evaluaciones
contribuyan
para ello, deben ser independientes, públicos, transparentes y accesibles.

Al publicar estas directrices, la IOB desea ofrecer transparencia a terceros:


del Ministerio de Asuntos Exteriores, del Parlamento neerlandés, de organizaciones y de la
sociedad civil.
instituciones afectadas por las evaluaciones de la IOB, usuarios de los resultados de la 5
evaluación e interesados.
ciudadanos. En cada informe de evaluación, la IOB da cuenta de la evaluación específica; esto
el documento presenta claramente los principios y directrices generales que la IOB aplica
internamente
en la realización de evaluaciones.

Las directrices esbozadas en este documento se aplican en principio a todas las evaluaciones.
realizadas por IOB, a menos que se indique explícitamente lo contrario. Se debe tener en cuenta
que los Países Bajos tienen una larga tradición de evaluación en el ámbito del desarrollo
cooperación, que se expresa a través de acuerdos internacionales, foros, cooperación,
etc. y que influye en el trabajo de IOB. Este no es el caso de otras áreas de la economía extranjera.
política. Debido a que su mandato también se extiende a estas otras áreas de la política, la IOB está
en una
una posición excepcional, especialmente a nivel internacional.

La política y las directrices de evaluación reflejan las opiniones y perspectivas que


apuntalan el trabajo de IOB. En este sentido, este documento describe la situación ideal para la
BIO.
La realidad a veces se desvía de este ideal de alguna manera. Siempre habrá un
entre la teoría y la práctica. Sin embargo, el objetivo de IOB es trabajar tanto como
posible de acuerdo con estas directrices. Es importante recordar que ninguna de las dos políticas
ni las directrices están talladas en piedra. Esto debe ser visto como un documento de crecimiento,
en la
el sentido más literal. Los nuevos conocimientos pueden llevar a que se adapte en el futuro. Así
pues, IOB
revisar periódicamente su política y las directrices y, si es necesario, revisarlas. Lo último
La versión actualizada de este documento estará disponible en http://www.minbuza.nl

1 Order on Periodic Evaluation and Policy Information 2006, Government Gazette, 26 April 2006, no. 83.
Breve historia
Política de evaluación y directrices para las evaluaciones

En la primera mitad de los años setenta, el presupuesto para la cooperación al desarrollo aumentó
rápidamente.
Con tanta rapidez que se expresaron preocupaciones desde diversos puntos de vista, y
especialmente en el caso del
de los medios de comunicación, que esto estaba teniendo un efecto adverso en la calidad de la
ayuda. Como consecuencia
de esta publicidad negativa, el Ministro de Cooperación para el Desarrollo sintió la necesidad de
para un dictamen independiente sobre la política de desarrollo, autónomo de la misma
departamentos involucrados. El 1 de julio de 1977 se creó la Unidad de Revisión de Operaciones
(IOV).
por orden ministerial. Se dejó claro desde el principio que la IOV se centraría en
la cooperación bilateral, tanto gubernamental como no gubernamental (en la medida en que la
(financiado por el gobierno), pero en principio restringiría sus actividades a la
Contribución de los Países Bajos a las intervenciones conjuntas. Sobre la base de esta
restricción, la
el ministro tomó la posición de que el IOV podía llevar a cabo inspecciones sin permiso
del país u organización receptor. Se elaboró el programa de trabajo de la IOV
junto con los departamentos de política y se somete a la aprobación del ministro.

Fuera del programa de trabajo, el ministro y la dirección del ministerio eran también
autorizado a encargar a la IOV la realización de inspecciones ad hoc. Sin embargo,
esto ocurrió sólo esporádicamente. Desde el principio, IOV se centró en proyectos individuales,
presentando informes confidenciales al ministro. Los informes eran confidenciales porque
se referían a eventos e individuos identificables. 7

Desde 1979, la Cámara de Representantes del Parlamento holandés convocó cada año a
Los informes de la IOV se harán públicos en la medida de lo posible. Eventualmente, se acordó que
el general
se enviarían informes al Parlamento, junto con resúmenes de las inspecciones de los proyectos.
El primer informe resumido que IOV envió a la Cámara fue la Evaluación General de 1984
de la Cooperación Bilateral para el Desarrollo de los Países Bajos.

En la década de 1980, el área de trabajo de la IOV pasó de la inspección de proyectos individuales a


la inspección de proyectos individuales.
a las evaluaciones de los sectores, los temas de política y los programas por países. Durante la
conversación
consultas con la Cámara de Representantes en 1987, el ministro convino en que todos los
Los informes de la IOV serían plenamente públicos y se enviarían al Parlamento, junto con un
carta de política del ministro que contiene su respuesta al informe. Los informes
fueron utilizados activamente en los debates tanto por los miembros de la Cámara de
Representantes como por los de la Cámara de Representantes.
el Senado. Universidades y otras instituciones de los sectores público y privado también
mostraron un vivo interés en los informes una vez que fueron accesibles.

En 1996 se llevó a cabo una profunda reevaluación de la política exterior holandesa. Fue
ampliamente
reconoció que la cooperación para el desarrollo, la política exterior y el comercio
internacional
no podía seguir considerándose un ámbito político independiente. La política exterior fue
"descompuesta".
y se integraron los distintos ámbitos de la actividad internacional. Para el
de la revisión, la IOV publicó un nuevo estudio de síntesis, en el que se resumían los resultados.
de los informes de evaluación del decenio anterior. Durante la reorganización que
acompañó a la reevaluación de la política, era lógico modificar el mandato de la IOV.
Considerando que, antes de la revisión, la IOV sólo era responsable de las evaluaciones en el
ámbito de
cooperación para el desarrollo, su ámbito de actuación se amplía ahora para incluir el
2 Breve historia

toda la política exterior. Esto implicaba que, en el futuro, la Dependencia podría ocuparse de lo
siguiente
a todos los temas comprendidos en el presupuesto homogéneo para la cooperación internacional
(HGIS). El cambio en el mandato de la IOV llevó a una revisión de su posición en la organización.
estructura del ministerio. Ya no sería responsable ante el Director General de
Cooperación Internacional (DGIS) sino directamente al Secretario General. La Unidad estaba
también se le dio un nuevo nombre: en el futuro se le conocería como la Política y Operaciones
Departamento de Evaluación (IOB).

En los últimos años, la posición y el papel de la IOB han vuelto a ser objeto de debate político.
debate y discusión dentro del ministerio. Muchos de los temas discutidos en la década de 1980
en el orden del día, incluida la independencia de la evaluación, el público en general
la naturaleza de los informes, la relación entre la rendición de cuentas externa e interna
aprendizaje. Esto llevó en 2008 al Ministro de Cooperación para el Desarrollo a reconfirmar
al parlamento la independencia de la IOB y el carácter público de sus informes.2 Sin embargo,
La autoridad de programación de la IOB se limitaba a la cooperación para el desarrollo. En el
otro
los ámbitos de la política exterior, cuya responsabilidad primordial está ahora vinculada al Director
General
en cuestión, que pueden solicitar a IOB que lleve a cabo las evaluaciones.

2 Carta de los Ministros de Asuntos Exteriores y de Cooperación para el Desarrollo de 16 de octubre de 2007 sobre
aplicación de la moción Boekestijn/Gill'ard relativa a la evaluación de la política y las operaciones
Departamento (IOB) (31200V, no. 9). Informe de la Comisión Permanente de Asuntos Exteriores sobre el IOB de 29
Mayo de 2008, aprobado el 25 de junio de 2008.
Política de evaluación y directrices para las evaluaciones

9
Principios básicos de las
IOBs
política de evaluación
Política de evaluación y directrices para las evaluaciones

El Departamento de Evaluación de Políticas y Operaciones es el departamento de evaluación


de
el Ministerio de Asuntos Exteriores. Desde el punto de vista institucional, la IOB es
directamente responsable ante el
Secretario General Forma parte del Comité de Auditoría del Ministerio. Junto con
el Departamento de Auditoría y la Unidad de Inspección y Evaluación (ISB), IOB forma el
En el grupo de control.

A nivel internacional, el IOB es miembro de la red de servicios de evaluación del CAD de la OCDE.
También participa en las consultas entre los servicios de evaluación de la Comisión Europea.
n, y de los países unidos en el grupo Nordic+. IOB contribuye a las actividades
de una serie de otras formas de cooperación internacional, entre ellas la consulta
de los servicios de evaluación de habla alemana (DACH), la Red de Redes para el
Evaluación de Impacto (NONIE) e Iniciativa Internacional sobre Evaluación de Impacto (3IE).

El mandato de la IOB es el siguiente:

El Departamento de Evaluación de Políticas y Operaciones satisface la necesidad de evaluación


de la política y de su aplicación en todos los ámbitos políticos financiados por
el presupuesto homogéneo para la cooperación internacional (HGIS). El IOB evalúa el
la aplicación de la política exterior de los Países Bajos, prestando especial atención a su 11
la pertinencia, la eficiencia y la eficacia, la sostenibilidad de los resultados logrados, y
la coherencia de la política.

A la luz de este mandato, la IOB tiene las siguientes tareas:

1) realizar evaluaciones de alta calidad con fines de aprendizaje y rendición de cuentas;


2) garantizar una programación equilibrada de la evaluación en el ámbito de la cooperación al
desarrollo
y asesorar sobre la programación en otros ámbitos de la política exterior;
3) contribuir a la mejora de la calidad de las evaluaciones realizadas por o en nombre de terceros
de, departamentos de políticas, instituciones subvencionadas por el ministerio y organismos
multilaterales.
instituciones mediante la elaboración de requisitos y directrices de calidad de aplicación general
para llevar a cabo evaluaciones, asesorar sobre el diseño y la implementación de los programas
de
y la realización de evaluaciones sistemáticas de estas evaluaciones o de las evaluaciones entre
pares.
revisiones de otros servicios de evaluación;
4) reforzar la capacidad de llevar a cabo evaluaciones en los países socios mediante el apoyo a
educación y formación y participación en evaluaciones conjuntas;
5) promover la distribución y comunicación de los resultados de la evaluación.

Re 1:
La tarea principal de la IOB es llevar a cabo evaluaciones de alta calidad en el marco de la
Programa de evaluación del Ministerio de Asuntos Exteriores. Estas evaluaciones pueden referirse a
todos los
áreas de la política exterior que caen bajo el HGIS. En este contexto, incluida la evaluación
investigación crítica y exhaustiva de una política o programa y explicación de los resultados.
Las evaluaciones de la IOB no son aisladas, sino que, en principio, forman parte del ciclo de
políticas,
en el que la planificación, el seguimiento y la evaluación se consideran un todo integrado.
3 Principios básicos de la política de evaluación de la
IOB

La evaluación es, por lo tanto, un componente esencial de la "función de conocimiento" en el seno


de las organizaciones.
ministerio. Los conocimientos sobre la aplicación y el impacto de las políticas respaldan dos
objetivos concretos
funciones

- proporciona la base para rendir cuentas al parlamento y a la sociedad en general de las


políticas.
y gastos (función de rendición de cuentas);
- genera información con el fin de mejorar la formulación de políticas y
implementación (función de aprendizaje).

Re 2:
Como se indica en el RPE 2006, la evaluación sistemática debe ser un componente fijo de cada
proceso de políticas. Cada política debe ser evaluada periódicamente a nivel operativo.
objetivo. El RPE 2006 constituye, pues, la base de la programación de la evaluación. El El
La programación también está determinada por las solicitudes específicas del parlamento, los
ministros y los representantes de la sociedad civil.
secretarios de estado y responsables del presupuesto. Dentro del Ministerio de Relaciones Exteriores,
el IOB cuenta con
la responsabilidad de la programación de las evaluaciones en el ámbito de la cooperación al
desarrollo, y
Asesora en la programación de otras áreas de la política exterior.

12 Re Re
3:

El IOB no es la única dependencia del Ministerio de Relaciones Exteriores que se ocupa de la evaluación.
Política
los asesores también tienen que ocuparse de las evaluaciones, ya que son el contacto para la
programación de la evaluación
dentro de su departamento de políticas, como un "cliente" que encarga una evaluación, a veces como
(Conjuntamente) ejecutor, o como usuario de los resultados. Además de realizar evaluaciones, IOB
por lo tanto, tiene una función consultiva. Esto implica la formulación de criterios y directrices de
calidad
para la ejecución de las evaluaciones y el asesoramiento sobre los términos de referencia de las
evaluaciones que
La IOB no se comporta por sí misma. Durante la liquidación anual del programa, los acuerdos son
sobre la medida en que la IOB desempeñará una función de asesoramiento en las evaluaciones realizadas
por o en nombre de los departamentos ministeriales. La IOB también asesora en el diseño de los
proyectos de
la función de evaluación, el sistema y los instrumentos de evaluación, y la coordinación con la
planificación
y monitoreo. Además, el IOB realiza pruebas de calidad de las evaluaciones de los programas.
realizadas por organizaciones no gubernamentales (ONG) cofinanciadas (MFS), con el objetivo de
el fortalecimiento de su capacidad de evaluación.
Para el canal multilateral, IOB participa en revisiones internacionales de la evaluación.
servicios de las instituciones pertinentes.

Re 4:
El fortalecimiento de la capacidad de evaluación en los países socios es un tema importante en el
desarrollo.
la cooperación entre los Estados miembros. La capacidad de evaluación independiente en los países
socios es esencial si
el objetivo de establecer un sistema basado en la responsabilidad mutua debe alcanzarse en la
realidad.
La IOB considera que su tarea consiste en contribuir a ello mediante el apoyo a iniciativas
internacionales dirigidas a
el fortalecimiento de la capacidad de evaluación. Además, en la medida de lo posible y
salvaguardando su propio
criterios de independencia y calidad, el IOB trabaja en colaboración con los investigadores de los
países socios.
países en la realización de evaluaciones.
Política de evaluación y directrices para las evaluaciones

Ad 5:
Las evaluaciones generan conocimiento sobre la base de la experiencia del pasado en lo que
respecta a
lo que funciona y lo que no, y especialmente por qué. La IOB considera importante que la
los resultados de las evaluaciones se distribuyan lo más ampliamente posible. Para lograr esto, se
discute
las conclusiones de las reuniones de personal, con los ministros y secretarios de Estado, y con
otros
las partes nacionales e internacionales que participan en las evaluaciones. Además, cuando
y cuando no entre en conflicto con sus propias responsabilidades, la IOB ofrecerá
apoyo en la preparación de respuestas políticas y descripciones de los hallazgos de la evaluación
en el
Informes anuales del Ministerio de Asuntos Exteriores.

13
Definiciones y criterios
para evaluaciones
Política de evaluación y directrices para las evaluaciones

4.1 ¿Qué es la evaluación?

Existe una gran variedad de definiciones del concepto de evaluación. En los años 80
y los años noventa, el CAD/OCDE trabajó en un marco común de conceptos para la evaluación
prácticas en el ámbito de la cooperación al desarrollo. La definición resultante de
La evaluación sirve de base para el trabajo de la IOB.

Una evaluación es una valoración, tan sistemática y objetiva como sea posible, de un proyecto en
curso.
o un proyecto, programa o política terminado, su diseño, ejecución y resultados.
El objetivo es determinar la pertinencia y el cumplimiento de los objetivos, los objetivos de
desarrollo y los objetivos de desarrollo.
eficiencia, eficacia, impacto y sostenibilidad. Una evaluación debe proporcionar
3

información creíble y útil que permita la incorporación de las lecciones aprendidas


en el proceso de toma de decisiones tanto de los receptores como de los donantes.

La definición del CAD de la OCDE refleja una comprensión de la evaluación que es, en términos
generales
con el apoyo de la comunidad internacional de evaluadores. La definición está destinada a
evaluaciones en el ámbito de la cooperación al desarrollo. Como el trabajo de IOB se extiende más
allá 15
que la cooperación al desarrollo, conceptos como "desarrollista" y "receptor y
Los"donantes" no se aplicarán a todas las evaluaciones de la IOB.

La evaluación es diferente de las revisiones y el seguimiento. El Glosario del CAD de la OCDE


describe
una revisión como evaluación de los resultados de una intervención, de forma periódica o el
una base ad hoc. Para IOB la principal diferencia entre una revisión y una evaluación es
que un examen se considera un instrumento de gestión para la vigilancia operacional de
la ejecución de una actividad y, por lo tanto, se centra en los aspectos operativos y
el registro de los resultados, mientras que la evaluación es una valoración más profunda de los
objetivos,
la ejecución y los resultados de una intervención, con la cuestión de la atribución
como su principal objetivo.

El monitoreo es un instrumento de gestión interna. Su objetivo es, sobre la base de un sistema


fijo de
un conjunto de indicadores que permitan conocer regularmente los progresos realizados en la
aplicación de la Directiva.
actividades. El seguimiento permite a un titular del presupuesto o al ejecutor de una
intervención
mantenerse al día sobre los insumos suministrados y las actividades realizadas (productos).
Monitoreo
muestra si las actividades previstas se han llevado a cabo realmente. Buena, sistemática
El seguimiento es de gran importancia para las evaluaciones, ya que proporciona una parte
importante de la información que se necesita.
los datos en los que se basa la evaluación.
3 Principios del CAD para la evaluación de la ayuda, OCDE/CAD, 1991 (la definición también se incluyó en el Glosario del
CAD).
de términos clave en la evaluación y la gestión basada en los resultados en 2002).
4 Definiciones y criterios para las evaluaciones

4.2 Tipos de evaluación

La Orden sobre evaluación periódica e información sobre políticas de 2006 (RPE 2006) establece
lo siguiente
un sistema de evaluación basado en los llamados objetivos operativos, DO. El sistema
implica una evaluación periódica de estos objetivos operativos.

El RPE 2006 distingue entre revisiones de políticas y estudios de impacto ex post.


Ambos conceptos se desvían de la terminología de evaluación utilizada a nivel internacional, pero
son los siguientes
el equivalente de los términos más comunes "evaluación de políticas" y "evaluación de impacto".
El punto de partida son las revisiones de políticas, que están vinculadas a los objetivos operativos,
se alimentan, en la medida de lo posible, de estudios de impacto. En principio se asemejan a la
síntesis
estudios. El IOB da prioridad a estos tipos de evaluación, en los que, especialmente en el campo
de la cooperación al desarrollo - las revisiones de las políticas van precedidas de una serie de
repercusiones a posteriori
estudios (evaluaciones de impacto).
integrado ajeno póliza
Sobre la base del sistema prescrito en el RPE 2006, las evaluaciones de impacto de la IOB
generalmente se centran en intervenciones (que van desde programas hasta diversas formas de
presupuesto
soporte). Las evaluaciones (o revisiones) de políticas abordan temas o sectores. Además,
16 bote además
otorgar
ascenso
para
"descompartimentado evaluaciones de
políticas nacionales o regionales.

Además de estas evaluaciones, que suelen ser extensas, IOB también puede llevar a cabo
evaluaciones internas de corta duración.
evaluaciones que son limitadas en naturaleza y necesarias para monitorear el progreso de
programas.

Parte de las evaluaciones de la programación de la IOB se centra exclusivamente en los programas


holandeses
y actividades. Es lógico que estas evaluaciones sean realizadas por IOB. Sin embargo, se trata de
Cada vez es más común la colaboración con socios internacionales en el marco de la
ámbito de la cooperación al desarrollo. Los proyectos de los donantes individuales se están
llevando a cabo gradualmente.
La financiación conjunta de la política gubernamental en los países socios ha sido sustituida por
la financiación conjunta de la política gubernamental. Es entonces también
que los donantes den una mayor preferencia a la programación conjunta y a la
aplicación de las evaluaciones. En los casos en que los donantes trabajan juntos, por ejemplo en
prestar apoyo conjunto a la política sectorial o a otras formas de financiación conjunta de gran
alcance
(como el financiamiento colectivo), las evaluaciones de la IOB se llevarán a cabo en principio en
cooperación
con otros donantes, siempre y cuando se cumplan los criterios de independencia y calidad de IOB.
El El
La naturaleza de la cooperación puede variar de la participación real de varios donantes en un
programa de cooperación.
evaluación, acordando una división de tareas dentro de un mandato compartido, para
acuerdo sobre la división del trabajo entre diferentes temas, sectores o países.
Política de evaluación y directrices para las evaluaciones

4.3 Criterios de evaluación

La evaluación requiere un enfoque a medida. Eso no significa, sin embargo, ignorar


criterios de calidad o abandonar la coherencia en el enfoque. En todas las evaluaciones, el
Los criterios de evaluación deben aplicarse de forma inequívoca y, sobre todo, transparente.
manera. Aquí, en particular, la normalización es fundamental para permitir las evaluaciones y
sus resultados.
resultados a comparar. Los criterios de evaluación aplicados por la IOB son en gran medida
idénticos a los de la
las elaboradas por el Comité de Ayuda al Desarrollo de la OCDE. La definición de evaluación del
CAD de la OCDE especifica
cinco criterios para la evaluación de las intervenciones de desarrollo: eficiencia y eficacia,
impacto, pertinencia y sostenibilidad. Los criterios de evaluación se refieren a diferentes
resultados
niveles basados en el marco lógico o cadenas de resultados basadas en él. En conjunto, estos
los criterios proporcionan un marco dentro del cual los investigadores pueden presentar sus
hallazgos en una
de forma ordenada y coherente. La medida en que se puede prestar o se prestará la misma
atención a
todos los criterios variarán según la evaluación. Además, pueden aplicarse criterios adicionales:
la evaluación de la política de "descompartimentalización", por ejemplo, puede requerir que la IOB
dedique
atención explícita a la coherencia de las políticas.

4.3.1 Eficiencia
La eficiencia mide la economía de los recursos (insumos) y la forma en que se aplican. 17
se convierten en resultados directos. Por lo tanto, el concepto ilustra la relación
entre la entrada y la salida y se refiere a un nivel de resultados que el implementador puede
comprobar.

Al evaluar la eficiencia, tanto la cantidad como la calidad de los insumos y productos son
evaluados. El insumo más económico o rentable no siempre es el más importante.
y puede haber compensaciones significativas entre la cantidad y la calidad.
de los productos. La evaluación de la eficiencia también requiere una comparación con enfoques
alternativos,
con los que se pueden conseguir los mismos resultados. Esto no siempre es fácil porque
a menudo no hay puntos de referencia previamente formulados y puede que tengan que ser
desarrollado sobre la base de la experiencia práctica. Esto es más probable en el caso de, por
ejemplo
de la construcción que de las que tienen por objeto llevar a cabo las actividades de
sobre el cambio social o institucional.

Los siguientes elementos deben tenerse en cuenta al evaluar la eficiencia:

- ¿Se han utilizado insumos apropiados al menor costo posible?


- ¿Se han llevado a cabo las actividades de una manera sencilla?
- ¿Se han tomado las decisiones al nivel adecuado y se ha evitado la burocracia?
en la medida de lo posible?
- ¿Se han reducido al mínimo los gastos generales?
- ¿Se ha evitado la duplicación?
- ¿Se han prevenido o resuelto los conflictos durante la implementación?
- ¿Se han alcanzado los resultados dentro del período y presupuesto previstos?
4 Definiciones y criterios para las evaluaciones

4.3.2 Eficacia
La eficacia se relaciona con la medida en que los resultados directos de las intervenciones
(producto)
contribuir al logro sostenible de los objetivos políticos (resultado). Política
Los objetivos son los objetivos que las intervenciones pretenden alcanzar y deberían alcanzar,
en principio, se formulará en el documento de proyecto. En algunos casos, los objetivos
políticos
pueden ser idénticos a los objetivos operativos especificados en el presupuesto o a objetivos
específicos.
componentes de ellos.

Se considera que una intervención es eficaz si sus resultados han hecho que sea demostrable que
contribución a la consecución de los objetivos previstos de la intervención. Eficiencia y
La eficacia se refiere a dos niveles sucesivos en la cadena de resultados. Una valoración positiva
en un nivel no implica automáticamente una evaluación positiva en el otro. Año
la intervención puede ser eficaz sin tener un efecto, y una intervención eficaz
puede ser implementado de manera ineficiente.

Los efectos de una intervención están fuera del control directo del ejecutor.
Las intervenciones generan resultados que se supone que generan los efectos deseados.
La evaluación de la eficacia tiene como objetivo establecer esta causalidad. El problema
principal es que
18 lo haríaestar
arquetipo
para
saber qué, qué,
lo haría
qué tener acontecido tejolos intervención habíano
tenido

(el contrafáctico). Sólo entonces se pueden atribuir los cambios observados a la


y es posible hablar de los efectos netos. En otras palabras, existe una
problema de atribución. En la medida en que otros factores tengan un impacto visible en los
resultados observados.
el problema es relativamente simple de resolver. Es más difícil cuando las personas influyentes
los factores no son inmediatamente visibles (los "inobservables"). Los investigadores no pueden
saber
lo que no saben. Las evaluaciones tratan de encontrar una solución a este problema (ver 6.6).

En la práctica, especialmente en el caso de intervenciones grandes y complejas, pero también con


intervenciones que tienen por objeto producir efectos difíciles o imposibles de cuantificar
- Las evaluaciones a menudo utilizan argumentos de plausibilidad. Por lo tanto, es importante
que
el argumento es transparente y creíble.

En esencia, se pueden distinguir tres pasos en la evaluación de la eficacia:

- La medición de los cambios en las variables del efecto en comparación con la situación
al inicio (línea de base);
- Atribución de los cambios observados a la intervención;
- Evaluación de los cambios observados y atribuidos a la intervención en términos de
objetivo.
Política de evaluación y directrices para las evaluaciones

4.3.3 Impacto
El amplio consenso en la comunidad de evaluadores sobre los conceptos de eficiencia
y la eficacia es menos evidente cuando se trata de impacto y relevancia.

El CAD de la OCDE define el impacto como todos los efectos significativos producidos por un
proyecto de desarrollo.
intervención, directa o indirecta, intencional o no intencional, en la fase final del proceso de
toma de decisiones.
partes interesadas y terceros. Si bien la eficacia se refiere únicamente a los efectos previstos de
una actividad, en esta terminología el impacto se refiere a todos los aspectos económicos, sociales
y políticos posibles,
efectos técnicos y ecológicos a nivel local, regional o nacional que tienen un efecto directo o
indirecto sobre el medio ambiente.
efecto indirecto en el grupo destinatario o en otras partes.

En el contexto más estricto del marco lógico, el concepto de impacto suele referirse a
al más alto nivel de resultados. La cuestión es entonces hasta qué punto, con la ayuda de
los resultados, los efectos logrados (efectos) han contribuido a una más amplia, más lejana
alcanzar los objetivos. Estos pueden ser objetivos operativos u objetivos a un nivel más alto.
como la reducción más general de la pobreza.

En la literatura internacional sobre evaluaciones de impacto, se utiliza el concepto de


impacto 19
para los efectos netos atribuidos a la intervención, es decir, a nivel de eficacia.

Una interpretación del impacto no es por definición mejor que otra. Es importante
que los conceptos se expliciten en los informes de evaluación. En interés de las mutuas
en los estudios de impacto a posteriori es deseable utilizar la interpretación del impacto
evaluaciones más comúnmente aplicadas en la literatura internacional. A este respecto, la IOB
sigue las instrucciones de la RPE 2006.

4.3.4 Pertinencia
El concepto de pertinencia también es objeto de diferentes interpretaciones. El CAD/OCDE
define la relevancia como la medida en que los objetivos de una intervención de desarrollo
son coherentes con los requisitos de los beneficiarios, las necesidades de los países, las
prioridades globales y las necesidades de la sociedad civil.
las políticas de los socios y donantes. Eso hace de la relevancia un concepto de contenedor,
dentro de
que no se toman decisiones. Esta definición es insatisfactoria por varias razones. Primero,
la evaluación de si una intervención es una consecuencia lógica de o es compatible
con la política es, en esencia, una cuestión ex ante que debería formar parte de la aprobación.
procedimiento. En segundo lugar, la política de los donantes, la política de la contraparte y las
necesidades del grupo objetivo.
no necesariamente coinciden perfectamente. Esto implicaría que una intervención puede ser
relevante e irrelevante al mismo tiempo. En tercer lugar, las prioridades políticas pueden cambiar
con el tiempo,
de manera que una intervención específica es relevante en un momento y no en el siguiente, o un
vicio
y viceversa. Por último, esta definición implica que la pertinencia de la propia política no está a la
altura de las circunstancias.
discusión. En otras palabras, excluye los problemas de la propia política.

En el marco lógico, la pertinencia se refiere a la medida en que los efectos del


las intervenciones contribuyen de manera sostenible a la consecución del objetivo final
(el impacto). Una intervención ha sido valiosa, o relevante, en la medida en que ha sido
4 Definiciones y criterios para las evaluaciones

efectos generados que traen consigo el logro del objetivo de desarrollo final
más cerca. La IOB aplicará el concepto de pertinencia en sus evaluaciones a este respecto.

4.3.5 Sostenibilidad
Dado que una actividad difícilmente puede considerarse eficaz si el efecto que ha logrado no es
La sostenibilidad duradera es, de hecho, un aspecto de la eficacia.
4 Al mismo tiempo, el momento
en que el
concepto de sostenibilidad comprende una variedad de dimensiones que son relevantes para
evaluar una intervención. En la comunidad de donantes, la sostenibilidad de las intervenciones
está vinculada a siete factores, que pueden utilizarse para analizar las intervenciones. Qué
factores
o las combinaciones de factores que sean útiles para evaluar la sostenibilidad dependerán de lo
siguiente
naturaleza de la intervención.

- La implicación del receptor suele reconocerse como un factor que afecta a


el éxito de una intervención. La participación se expresa a través de un acuerdo sobre
los objetivos y la provisión de recursos humanos y materiales;
- A la hora de desplegar la tecnología, es importante tener en cuenta los aspectos económicos y
sociales de la misma.
las capacidades institucionales del receptor y el grado en que las condiciones para la
el mantenimiento y la renovación están garantizados;
20 - Intervenciones bote tener añoefecto nosotros
los del medio ambiente
en los bermudas
dorado
extenso
término.

Mientras que los efectos a corto plazo son usualmente previstos y son prevenidos o mitigados,
es especialmente importante incorporar los efectos ambientales a largo plazo en el
de la evaluación, ya que pueden neutralizar los cambios positivos o tener otros efectos nocivos
para la salud.
consecuencias;
- El grado en que los cambios son sostenibles depende en gran medida de la situación social y
económica de cada país.
factores culturales, que a menudo no son directamente visibles. Estudiar las percepciones puede
proporcionar una mejor comprensión de esta dimensión de la sostenibilidad;
- El desarrollo institucional y de la capacidad desempeña un papel importante en la
determinación de
sostenibilidad. A la hora de evaluar las intervenciones, se debe prestar atención a estos
aspectos
ayudará a determinar en qué medida se logra la sostenibilidad;
- La sostenibilidad financiera y económica se refiere al grado en que las medidas
se han tomado medidas para garantizar la continuidad de las actividades y la finalización de
las obras
puede mantenerse en el futuro;
- Las intervenciones siempre tienen lugar en un contexto más amplio, natural, político,
económico y social.
ambiente sociocultural, que no puede ser influenciado de ninguna manera en absoluto, pero
que
tiene una gran influencia en la eficacia y la sostenibilidad. Cambios en la política
la estabilidad, las crisis económicas o los desastres naturales pueden tener un efecto decisivo en
la
sostenibilidad de las intervenciones.

4 En el contexto de la ayuda humanitaria, esto es, por supuesto, diferente. Por lo general es a corto
plazo,
intervenciones puntuales, cuyos efectos se espera que sólo sean necesarios durante un breve período de
tiempo.
Política de evaluación y directrices para las evaluaciones

4.3.6 Coherencia de las políticas


Este concepto se refiere a la ausencia de contradicciones inherentes entre diferentes
ámbitos políticos. La coherencia es particularmente importante para IOB en la evaluación de
política de descompartimentalización. Los objetivos de desarrollo pueden entrar en conflicto con
los objetivos internacionales de desarrollo.
intereses comerciales o consideraciones de política exterior. Por eso es importante, en particular
en los casos en que deban alcanzarse objetivos en el contexto de la descompartimentalización
para determinar el grado en que las intervenciones realizadas desde los diferentes
Las perspectivas son coherentes y no se obstruyen entre sí. El objetivo es ayudar a
lograr los objetivos previstos sin que los efectos de una sola intervención neutralicen aquellos
de otro.

21
Principios rectores y
criterios éticos
Política de evaluación y directrices para las evaluaciones

Los principios rectores de la IOB reflejan los valores fundamentales en los que se basan sus
evaluaciones.
Están interrelacionadas y se refuerzan mutuamente y, como tales, deben considerarse como
proporcionar un marco general, con el cual todos los aspectos del trabajo de evaluación de la IOB
deben
ser consistente. Los principios determinan lo que se puede esperar de un inspector y
otros investigadores que participan en una evaluación, de los procesos y productos de
evaluación,
y de la metodología. Son coherentes con los principios del CAD de la OCDE para
Evaluation of Development Assistance (1991) y Evaluation Standards (borrador 2009).

Todas las evaluaciones de la IOB deben ser consistentes con los siguientes principios
rectores:

Independencia
Los juicios del investigador no deben estar influenciados por presiones externas ni por una
conflicto de intereses. Organizaciones o instituciones a las que se ha encomendado la
realización de las actividades
una evaluación y los miembros de los equipos de evaluación pueden no haber sido previamente
que participan en las intervenciones que se van a evaluar o en la formulación
de la política en la que se basan.

Objetividad
La evaluación debe basarse en hechos verificables. El investigador debe hacer todo lo posible 23
garantizar que los datos en los que se basa la evaluación no contengan inexactitudes.
cies. La presentación de los hechos debe distinguirse clara y reconociblemente de
sentencias.

Transparencia
La evaluación debe llevarse a cabo de manera que las partes interesadas puedan seguirla
claramente.
y terceros. Las preguntas a tratar, la base de datos, los métodos de investigación,
los resultados y conclusiones deben presentarse en el informe de forma clara y accesible.

Validez
La evaluación debe medir lo que los Términos de Referencia especifican que se requiere.
y debe hacerlo de una manera que el lector pueda entender.

Fiabilidad
Los resultados de la evaluación deben ser estables, es decir, que una repetición de la
evaluación
producir los mismos resultados y conclusiones.

Asociación
En el caso de las evaluaciones en el ámbito de la cooperación al desarrollo, siempre que sea
posible, y
en la medida en que no entre en conflicto con otros principios, los socios del beneficiario
los países participarán en la realización de las evaluaciones. Todos los esfuerzos serán
para cooperar con investigadores independientes de los países socios.
5 Principios rectores y normas éticas

Viabilidad
Las evaluaciones sólo se llevan a cabo si la base de datos es accesible y si se dispone de
los datos asociados.
metodología está disponible.

Corrección
La evaluación no debe causar daño a las personas.

Rentabilidad
La evaluación debe realizarse al precio más bajo posible, teniendo en cuenta lo siguiente
otros principios rectores.

Usabilidad
La evaluación debe dar lugar a conclusiones y puntos de atención valiosos para
el usuario de la evaluación sugiriendo acciones que están dentro de la capacidad del usuario.

La evaluación es una forma de investigación que implica un juicio. Se diferencia de lo puramente


académico
investigación en el sentido de que siempre da lugar a una opinión sobre los resultados de la
investigación humana concreta.
acciones. Por lo tanto, los investigadores tienen una gran responsabilidad hacia las partes
interesadas.
24 involucradas
en los evaluación. Este esimplantaciones
el de la misma
para
BIO
5 inspectores y y para
ajeno
que manera

investigadores contratados por ellos. Por lo tanto, se puede esperar que los investigadores se
adhieran a
normas éticas internacionalmente aceptadas para las evaluaciones.

Las siguientes normas éticas se aplican al trabajo de IOB

Respeto y comprensión de otras culturas


Muchas evaluaciones se llevan a cabo en un entorno cultural diferente al del
investigadores. Por lo tanto, se puede esperar que cumplan con los códigos culturales locales
durante
Entrevistas y otras formas de
recopilación de datos.

Valores universales
Algunas costumbres y prácticas culturales pueden ser incompatibles con los derechos
fundamentales
y libertades. Aunque los investigadores deberían, en principio, mostrar respeto por otros
culturas, no deben ignorar el efecto de ciertos valores culturales sobre el género
relaciones o minorías y otros grupos específicos. En tales casos, deben actuar en función de
de conformidad con la Declaración Universal de Derechos Humanos y el Pacto Internacional
de Derechos Civiles y Políticos
los acuerdos internacionales.
5

Las normas se basan en gran medida en las políticas de evaluación de la Agencia Danesa de
Cooperación Internacional.
Agencia Canadiense de Desarrollo Internacional (DANIDA) y la Agencia Canadiense de Desarrollo
Internacional (ACDI).
Política de evaluación y directrices para las evaluaciones

Género
Las evaluaciones deben llevarse a cabo teniendo en cuenta las diferentes funciones
desempeñadas por
hombres y mujeres y el objetivo de lograr la igualdad de género. En los ámbitos políticos en
los que
las diferencias de género son una dimensión o un efecto de la política que se persigue, deben
ser
en el diseño y la ejecución de la evaluación.

Anonimato y confidencialidad
Se espera que los investigadores respeten las solicitudes de los informantes para tratar la
información.
que proporcionen confidencialidad y que tomen medidas para asegurar que la información
confidencial-
no puede ser rastreada hasta la fuente.

Responsabilidad
En muchos países, una postura crítica hacia el gobierno puede tener consecuencias graves.
para los investigadores del propio país. En evaluaciones que involucran investigaciones locales-
de que se reconozcan estos riesgos en el tiempo y se tomen medidas para evitarlos.
por ejemplo, mediante acuerdos claros acerca de quién es responsable de la gestión de la
contenido del informe.

Omisiones 25
Los investigadores pueden obtener información que no es directamente importante para
responder a las siguientes preguntas
las cuestiones abordadas en la evaluación, pero que, no obstante, son pertinentes a la luz de
los resultados de la misma
de las funciones de rendición de cuentas y aprendizaje de la evaluación. En tales casos,
el cliente (en el último caso, el Director de la IOB) será consultado para determinar
si esta información se incluirá en el informe y en qué forma.

Evaluación de las personas


Las evaluaciones no son evaluaciones de individuos. Sin embargo, los informes de evaluación
pueden incluir
hallazgos sobre el liderazgo y la gestión u otras cualidades de los ejecutores que
se acercan a las evaluaciones personales. Los investigadores deben entonces hacer todo lo
posible para
presentar los hechos de los casos fácilmente localizables de forma abstracta. En caso de duda,
deben
consultar con el Director de la IOB.

Evidencia de mala praxis


Las evaluaciones no son investigaciones de la legitimidad. No obstante, es posible que
las malas prácticas salen a la luz durante las evaluaciones. En ese caso, el investigador
deberá
someter el caso al Director de la IOB. Si existe una razón suficiente para hacerlo, la
Auditoría
(ACD) será informado.
El proceso de evaluación
Política de evaluación y directrices para las evaluaciones

6.1 Programación

La calidad de la evaluación se beneficia de una toma de decisiones cuidadosa y transparente


proceso. Este proceso comienza con la programación de las evaluaciones. El IOB tiene la versión
final
la responsabilidad de programar las evaluaciones en el ámbito de la cooperación al desarrollo.
Esto significa que el Director de la IOB aprueba la programación después de que haya sido
con el Departamento de Asuntos Económicos y Financieros (FEZ) y los otros departamentos de la
UE.
departamentos de políticas involucrados. Con respecto a las otras áreas de la política exterior,
El IOB asesora sobre la programación, que se aprueba en la reunión del Secretario.
General y los Directores Generales. La IOB aplica los principios básicos establecidos en la
RPE 2006 para la sistematización de la programación.

La programación de la evaluación distingue entre tres tipos de evaluación: política


(evaluaciones de políticas), estudios de impacto a posteriori (evaluaciones de impacto) y otros
estudios de impacto.
evaluaciones. Las revisiones de políticas y los estudios de impacto ex post se enmarcan en el RPE
2006. El El
La RPE prescribe que cada área política debe ser sometida periódicamente a una revisión política
o evaluación de políticas a nivel de objetivos operativos. Una revisión de la política debería hacer 27
la mayor utilización posible de los estudios de impacto ex post. Exámenes de políticas y estudios
de impacto
determinan en gran medida la agenda de investigación de la IOB.

Además del RPE 2006, puede haber otras razones para incluir las evaluaciones en
la programación.

En primer lugar, hay consideraciones políticas. En determinados momentos, las cuestiones de


política pueden ser objeto de debate
de debate político o social. Por lo tanto, es importante alimentar el debate con ideas
obtenidos a través de una evaluación exhaustiva e independiente.

La pertinencia de las políticas también puede desempeñar un papel. Esto viene determinado por la
prioridad que se le da a un tema
y el momento en que se lleva a cabo la evaluación. Si está claro cuando los resultados son
de nuevos programas o políticas y una evaluación puede ser necesaria para la formulación de
nuevos programas o políticas.
de la calidad, IOB se asegura de que la evaluación se lleve a cabo sin pérdida de calidad.
programados e implementados en el tiempo, independientemente de la escala o complejidad de
los proyectos.
tema.

En el ámbito de la cooperación al desarrollo existe una presión internacional para mejorar


la coordinación entre la programación de la evaluación de los donantes individuales y la realización
de
evaluaciones conjuntas en la medida de lo posible. Las evaluaciones conjuntas incluyen las
realizadas conjuntamente
con servicios de evaluación en los países receptores, evaluaciones de múltiples donantes y varios
combinaciones de los dos. Colaboración con los servicios de evaluación de los países receptores
ayuda a fortalecer su capacidad de evaluación y a mejorar la rendición de cuentas mutua. La elección
de las cuales las evaluaciones conjuntas en las que participa el IOB dependerán de las iniciativas que
se desarrollen durante
consultas internacionales, oportunidades para entrar en alianzas estratégicas con organizaciones
similares.
de evaluación, el grado en que los criterios de la IOB para la independencia y la
calidad están garantizadas, y si se pueden adaptar a la programación existente de IOB.
6 El proceso de evaluación

La IOB también considera importante dejar espacio en su programación para las solicitudes ad
hoc.
Estas pueden ser solicitudes dentro del ministerio para que IOB lleve a cabo evaluaciones cortas.
de carácter limitado para determinar el progreso de los programas o para apoyar el proceso.
proceso de toma de decisiones. Además, los ministros, los secretarios de estado o el parlamento
pueden
solicitar a IOB que realice evaluaciones específicas. IOB hace todo lo posible para cumplir con
estas peticiones.

La programación de la evaluación en el ámbito de la cooperación al desarrollo no sólo se refiere


a
a la cooperación bilateral, pero también a los canales no gubernamentales y multilaterales.
En el contexto del sistema de cofinanciamiento (SMF), la IOB lleva a cabo evaluaciones
sistemáticas
de las evaluaciones de programas realizadas bajo la responsabilidad de los programas
cofinanciados
las propias organizaciones no gubernamentales. Además, IOB selecciona un número de
temas o países para llevar a cabo sus propias evaluaciones. Hasta la fecha, la IOB ha sido un tanto
se reservan en la programación de las evaluaciones de la cooperación multilateral. Junto con
otros
donantes, la IOB ha alentado a las instituciones multilaterales a que mejoren la calidad de sus
programas.
propias evaluaciones a través de revisiones por pares. En el futuro, cuando sea posible, IOB
la participación en iniciativas conjuntas de los donantes destinadas a una evaluación más
sistemática de
cooperación multilateral para el desarrollo.
28
La descompartimentalización de la política exterior y la subsiguiente ampliación de la IOB.
mandato significa que el IOB evalúa no sólo las intervenciones en el campo del desarrollo
cooperación, sino también actividades en otros ámbitos de la política exterior. No es inusual que
otros instrumentos de política exterior que se utilizarán para abordar un tema específico, junto con
cooperación al desarrollo. Esto puede ser una buena razón para llevar a cabo una
"descompartimentalización".
evaluación. En muchos casos, sólo el Ministerio de Asuntos Exteriores está involucrado en este
proceso.
pero no siempre. También hay temas de política exterior en los que otros
los ministerios juegan un papel prominente. Para IOB esto es una razón para explorar las
posibilidades de
realizar evaluaciones conjuntamente con otros ministerios. En tales casos, y si el IOB
que se cumplan las condiciones de independencia y calidad, estas evaluaciones serán
incluido en la programación.
Política de evaluación y directrices para las evaluaciones

6.2 Estudio preliminar

Una vez que un tema de evaluación ha sido incluido en la programación, se puede realizar una
evaluación preliminar.
se puede iniciar el estudio. Especialmente en esta fase inicial, una serie de decisiones importantes
de gran alcance para seguir avanzando en la lucha contra la pobreza y la exclusión social.
la evaluación. El inspector deberá familiarizarse con el ámbito político para
y las fuentes de información disponibles, y formarse una idea de la situación.
las preguntas que deben abordarse en la evaluación y el enfoque más adecuado. Con con
evaluaciones grandes y complejas, el inspector puede elaborar un informe de puesta en marcha.
El informe
describe la razón de la evaluación y el objetivo. También puede dar un breve resumen
descripción del ámbito político que se va a evaluar y formulación de las preguntas básicas para la
evaluación
estudio preliminar. Puede sugerir qué tipo de evaluación sería la más apropiada
y cómo podría organizarse (la duración prevista, si las misiones sobre el terreno son
que se considere necesario, y cuándo y cómo podrían necesitarse consultores externos).
Por último, el informe de puesta en marcha puede ofrecer una visión de los productos esperados
de la
la evaluación y el presupuesto.

Los informes de puesta en marcha se discuten con la dirección de la IOB y con los pares
internos. 29
revisores designados para la evaluación (ver 7.1). Después de que se hayan tomado las
decisiones
sobre los puntos principales antes mencionados, el estudio preliminar pasará a redactar
Términos de referencia definitivos para la evaluación propiamente dicha.

El estudio preliminar incluyó una serie de actividades:

Reconstrucción de la teoría política y de la lógica de intervención


La medida en que un tema puede ser evaluado se mejora mediante la formulación clara de
principios de política y objetivos del programa, una descripción de las actividades emprendidas,
y una relación lógica entre política, objetivos y actividades. La práctica demuestra que
estos criterios no siempre se cumplen. En términos generales, esto se aplica tanto a
cooperación al desarrollo y otros ámbitos de la política exterior. Especialmente en el nivel
de los objetivos operativos, la política es a menudo de amplio alcance y no muy específica
de las intervenciones, los objetivos y los efectos son a menudo poco claros y la lógica de las
intervenciones es la siguiente
no es lo suficientemente explícito. En tales casos, sobre la base del estudio preliminar, los
inspectores
una teoría política y una lógica de intervención reconstruida, basada en el principio de que
en ella. Luego presentarán la teoría y la lógica al formulador de políticas para determinar
si están en línea con lo que este último tenía en mente.

Defining the evaluation object


Policy themes and sectors are often broadly formulated and cover a wide variety of
activities. This applies in particular at the level of the operational objectives specified
in the ministry ‘s budget document. The preliminary study should therefore establish
the limits of the evaluation object – also in the case of wide-ranging evaluations – such
that it has a clear focus and thus remains feasible. This offers a better guarantee that the
focus of the evaluation remains clear and that only those questions are formulated that
6 El proceso de evaluación

can reasonably be expected to be given a valid answer. Establishing the limits of an


evaluation relates to the time dimension, the geographical dimension and the nature
of the activities. It is based on conversations with relevant informants (stakeholders,
external experts) and on literature and file studies.

Identifying result indicators


An important component of reconstructing policy theory is formulating a results
chain, distinguishing various levels of results. Measurable result indicators are
identified for each of the result levels, to enable performance to be assessed at that
level.

Identifying data sources


Identifying the scale and quality of existing sources of information (files, literature,
informants, statistical data bases) and the opportunities for gathering supplementary
information determine the extent to which the subject can be evaluated and how the
evaluation questions are formulated.

Formulating the research questions


30 The research questions included en los Terms de Reference are determined by los

ultimate aim of the evaluation. They relate to the self-evident need for information
on results achieved at the level of outputs and effects. This information is of course
valuable for both the accountability and learning function of an evaluation.
In addition, supplementary questions relating to a specific learning need can be
formulated.

Determining the method of evaluation


The choice of research methods depends on a large number of factors. It will be
influenced by the nature of the subject, the time and budget available for the
evaluation, data that is already available and needs to be collected, and the nature
of the research questions.

6.3 Terms of Reference

The Terms of Reference establish the conditions under which the evaluation will be
conducted and form the result of the preliminary study. The ToR must contain at least
the following components:

• the reason and justification for the evaluation: a short explanation of the relevance
of the proposed evaluation;
• the (external) aim of the evaluation;
• the core questions: formulation of the central research question and the secondary
questions derived from it;
• the demarcation and scope of the evaluation: explanation of how the field of
Evaluation policy and guidelines for evaluations

research will be demarcated in terms of theme, geographical location and time;


• approach and choice of methodology, including focus on subsidiary studies:
description of the design of the evaluation, the indicators, information sources
and research techniques;
• representativeness: explanation of how and the extent to which representativeness
plays a role in the evaluation;
• organisation: explanation of the organisation of the evaluation; deployment of
experts, organisation of workshops, missions, etc.;
• products: indication of the expected subsidiary products, including subsidiary
studies or a data base. Also an indication of whether the report will be published
or whether the evaluation is internal;
• time path: the time path for the evaluation;
• budget: a specified outline of the costs.

If the Terms of Reference are for a policy review the questions prescribed by the RPE
2006 must also be taken into account. Policy reviews must address the following
questions:

• What problem gave rise to the policy? Does the problem still exist? What is the cause 31
of the problem?
• Why does the government consider tackling the problem as its responsibility? Why is
the responsibility at central government level (and not at local or EU level)? What
form does that responsibility take and why?
• What objective has the government formulated to solve the problem?
• What instruments are being deployed? How coherent are they? Is there overlap?
What is known about the implementation of the policy and the efficiency of
operational management?
• What is the effect of the instruments on the formulated objectives (solution to the
problem)? Do instruments in other policy areas also have significant effect on the
formulated objectives? What are the main positive and negative side-effects?
• How are the budgets determined? On what basis?

The draft Terms of Reference are not only put on the agenda of the IOB departmental
meeting but should also be discussed in advance with direct stakeholders and external
experts (preferably in the form of a reference group, see 7.2), and with the internal peer
reviewers. The degree to which and the way in which comments are dealt with must be
clear to all parties. The Terms of Reference for an evaluation are approved by the IOB
Director; if the subject of the evaluation lies outside development cooperation, the ToR
will be approved by the Director-General concerned.

The Terms of Reference form the basis on which a budget will be reserved for the
evaluation. It also provides a framework for contracting external researchers.
By approving the Terms of Reference, the IOB Director also approves the budget
included in the ToR.
6 The evaluation process

6.4 Deploying researchers

The IOB inspector bears full responsibility for setting up, conducting and completing
the evaluation. In most cases, the inspector will deploy researchers to conduct the
evaluation. The moment at which they will be deployed will vary, as will the extent to
which they operate autonomously.

Researchers can be research assistants or consultants from research institutions,


universities or consultant agencies.

Research assistants are usually recent graduates who support the inspector in
conducting the evaluation. The activities they perform vary from file studies, assistance
with field missions or interviewing informants to drafting parts of the final report.
The way in which they are deployed will depend on their experience and can change
over time. Research assistants are full members of the evaluation team.

With the majority of evaluations IOB contracts external consultants. 6 Two criteria are
decisive: the expertise of external experts must be complementary to that of the
32 inspector, y y they must tener ample research experience, preferably en los context de

evaluations. Various modalities are possible for deploying experienced experts. One or
more experts can be deployed as a direct counterpart for the inspector and a division of
tasks agreed between them. Another alternative is for whole or part of the evaluation
to be contracted out to a researcher or a research bureau. The way in which external
expertise is deployed depends on the nature of the services required and associated
costs. In the case of joint evaluations with other donors, the whole evaluation is
generally contracted out.

6.5 Cooperation with researchers in partner countries

In conducting evaluations IOB aims, where possible, to work together with researchers
from partner countries. That helps to build independent research capacity in these
countries. Furthermore, researchers from partner countries can be invaluable as
they are often well informed on local developments and relations. However, not all
evaluations are of course suited to such cooperation. The possibility of making use of
researchers from partner countries depends in the first place on the subject of the
evaluation. Some subjects do not warrant such a choice, for example, because the
evaluation will address only Dutch activities or interventions of a global nature. Where
the deployment of experts is a logical option (for example, evaluation of sector policy
in a specific country) IOB actively explores the possibilities.

6 Contracting out and entering into contractual relationships are determined by the procedures laid

down in the Operational Procedures Manual (HBBZ). They will not be considered further in this document.
Política de evaluación y directrices para las evaluaciones

6.6 Methodology

Evaluation is a form of research that entails a judgment. The customary methodology


is largely derived from the social and economic sciences. The Terms of Reference give a
general outline of the methodology to be applied in the evaluation. When the evaluation
is to be contracted out to external researchers, they are usually asked to elaborate the
methodology they will use in an inception report.

In accordance with the OECD/DAC Evaluation Quality Standards, IOB requires that
a sound methodology is applied and that it is accounted for in the final report.
The methodological choices made in an evaluation are determined by the extent to
which they lead to the collection of reliable data and provide a basis for reaching valid
and reliable judgments. The methods and techniques used can vary per evaluation.

The validity of an evaluation is determined by the extent to which the design of the
evaluation, the method of data collection and the analysis of the data lead to replicable
answers to the questions posed in the Terms of Reference. Validity relates to:

• the statement of the problem (the clarity with which the problem is stated, the 33
formulation of the research questions and the definition of the evaluation criteria);
• the evaluation object (the definition, operation and limitation of the evaluation
object and situating it in the policy and institutional context);
• the policy theory (the presentation or reconstruction of the intervention logic and
result levels, and the operationalisation of result measurement on the basis of
indicators);
• the analysis (data sources, data collection and the processing and argumentation of
conclusions with findings).

The reliability of an evaluation is determined by the extent to which the results are stable,
i.e. that repeating the evaluation will produce the same results. Reliability is related to:

• the research methods (specification of and accounting for the research methods used,
verification of data and triangulation);
• the scope (representativeness of the sample and selection of case studies and
specification of the limits of the evaluation);
• independence (of the source material and of the researchers in relation to
stakeholders);
• the progress of the evaluation and quality control (reporting on the progress of the
evaluation and organised quality control through internal and external monitoring).

To guarantee the validity and reliability of evaluations as much as possible IOB chooses
a combination of research methods (‘mixed methods’). This combination relates to the
design of the evaluation and to qualitative and quantitative methods and techniques of
data collection and analysis.
6 El proceso de evaluación

The design of the evaluation


The majority of IOB evaluations are designed according to the guidelines for
‘theory-based’ evaluation. That is logical because the aim is to assess the efficiency
and effectiveness of policy implementation. That requires taking policy theory as a
starting point. The model of theory-based evaluation is very suited to policy reviews.
Theory-based evaluations focus on a detailed description of what has happened in
the past and why, and analysing the demonstrable causes of these developments.
To do that in a responsible manner, it is important in the first instance to reconstruct
the policy theory. The evaluation then assesses the validity of the policy theory.
The most tried and tested method of identifying aims and intervention strategies is
through the logical framework or the often more detailed result chain. This model
offers a framework for systematic data collection, identifying indicators for systematic
assessment, and determining the relationships between the different result levels.

An alternative for this evaluation design is to take changes in reality as a starting point
rather than the policy theory. Supporters of ‘realist evaluation’ advocate this kind of
approach, which first devotes attention to the context in which changes occur and the
mechanisms involved. Only in the second instance does it attempt to attribute changes
34 para
specific activities.

In recent years there has been increasing emphasis internationally on the need
to provide stronger evidence of the effectiveness of government policy. Common
evaluation practice, which generally provides plausible explanations of the relationship
between interventions and their effects, is no longer considered adequate.
There is a need to identify the net effects of interventions, if possible in quantifiable
terms. That makes it necessary to conduct impact evaluations. The desire for harder
impact studies is also expressed in the RPE 2006, which explicitly distinguishes ex-post
impact studies as a separate category in addition to policy reviews. In its evaluation
programming IOB therefore includes the implementation of a series of impact
evaluations in appropriate policy sectors and themes. In practice, however, the options
are not unlimited. ‘Randomised control trials’ (RCTs), in which a ‘treatment group’ is
compared with a ‘control group’ and which in effect reproduce a laboratory situation,
are not applicable in the great majority of cases. The most common alternative for
RCTs is a quasi-experimental research design. Although this closely resembles a fully
experimental RCT, it recognises that the researcher does not have full control over the
composition of the treatment group and the context in which the measurements are
made. These limitations are accounted for in the evaluation report.

For the sake of completeness it should be made clear that IOB’s impact evaluations
are also designed on the basis of a theory of how the interventions to be evaluated
work. The most important difference is that this theory is not exclusively based on a
reconstruction of policy, but is largely fuelled by existing scientific insights.
Política de evaluación y directrices para las evaluaciones

Qualitative and quantitative methods of data collection


Various methods have been developed to measure the effectiveness of interventions.
Generally speaking a distinction can be made between qualitative and quantitative research
methods. Qualitative research methods focus more on processes and emphasise the
behaviour of actors. They are flexible, often because they have an eclectic approach, and
can place findings in their cultural and political context. A qualitative approach can give a
plausible explanation of why a certain intervention has or has not had an effect in a given
context. Qualitative methods play an important role in determining internal validity. It is
however not always possible to generalise the findings of qualitative research. Quantitative
research, on the other hand, explicitly aims to make general statements (external validity).
Statistical techniques make it possible to isolate the effects of an intervention in a complex
environment. This method is, however, very data-sensitive. It requires a large quantity of
reliable information to allow the formation of sample populations.

Quantitative and qualitative techniques are not interchangeable, but complementary.


Quantitative techniques can provide a statistical basis for a more qualitative approach,
while a qualitative analyse can explain relationships established by quantitative research.
Without a theoretical framework and qualitative research into the mechanisms behind
assumed relationships, statistical analysis has no substance. In its evaluations IOB applies 35
both quantitative and qualitative techniques.

Methods of data collection


The validity and reliability of an evaluation stands or falls with the reliability of the
data collection. Where the data is collected depends strongly on the subject of the
evaluation. When development interventions are being evaluated some of the data
will usually be collected in the partner countries concerned. If they are available,
existing data bases can be used.

The most common forms of data collection are:

• File and literature studies


To obtain a clear picture of the field of study it is necessary to become familiar with
the complete range of written sources available. This includes information relating
to interventions, more policy-related documentation and academic literature.
It requires working through the archives in great detail, preferably using a systematic
list of points for attention. One important point for attention in a file study is to assess
the reliability of the information.

• Interviews with key informants


Generally a distinction is made between structured, semi-structured and non-
structured interview methods. Which method is applied depends on the role of the
interview in the research and the nature of the information that is being sought.
Especially in the initial orientation phase interviews will generally be open to allow
as many different opinions and viewpoints to be collected from the interviewees.
6 The evaluation process

• Group interviews
Various kinds of group interviews are used in evaluations. One of the most
common forms is the focus group discussion, in which the interaction between
the interviewees can also be a valuable source of information.

• Direct measurement
A lot of quantifiable information can be acquired by simple recording and
counting. Especially at the level of outputs, this is the most logical approach.
Direct measurement is particularly useful if data is available from a baseline study.

• Direct observation
Observation methods can be limited to the physical outputs of an activity, but can
also relate to certain processes. Observation techniques (with or without the
deployment of audiovisual aids) have always played an important role in field
research. It should be added that they can be very time-intensive. Evaluations
generally make use of a quick (more or less structured) tour of physical outputs, a
‘transect’, and/or attending one or more meetings of the target groups concerned.

36 • Surveys
Surveys aim to collect a large quantity of standardised data from a large population.
Such data is very suitable for statistical analysis. Surveys make use of previously
drawn up questionnaires which are preferably tested first and which can be in
written or verbal form. They are essential in determining the starting situation
(baseline) and are indispensable in impact evaluations. Because surveys can be
time-consuming and costly, impact evaluations often use the results of previous
questionnaires or modules added to pending surveys, so that they can serve
multiple purposes.

• Case studies
Case studies are in-depth studies of a small number of specific interventions. They
offer the possibility of considering the perceptions of stakeholders or reconstructing
histories. Case studies are a valuable supplement to broader surveys, because they
provide an opportunity to examine and explain relationships that become apparent
from statistical analysis in greater detail. If an evaluation is based exclusively on a
series of case studies, it is essential to determine to what extent the selected cases
are representative.
Política de evaluación y directrices para las evaluaciones

6.7 Informes

The final report of an evaluation is approved by the IOB Director, after she/he is
satisfied that the comments of the reference group, internal peer reviewers and the IOB
Departmental Meeting have been incorporated adequately. IOB then sends the report
to the minister or ministers concerned to be forwarded to parliament. On request,
IOB can also provide the minister with additional information on the findings of the
evaluation. If an evaluation is addressing a politically very sensitive issue, IOB will
inform the minister concerned in good time on the progress of the evaluation and,
as far as possible, the expected outcomes.

In principle, all IOB evaluation reports are accessible to the public. This rule can only
be deviated from in exceptional cases. An evaluation might, for example, be very
confidential in nature or may only serve an internal learning function. The decision
not to publicise an evaluation report must always be taken before the evaluation starts.

The report should take account of the fact that the findings of the evaluation are to
be presented to different stakeholders with various interests. The basic principle is
that IOB reports are designed to account to both parliament and society, and to fulfil a 37
learning function. That sets high standards for the reporting. Parliament benefits from
a short and concise presentation of the main findings and conclusions. Accounting
for the results and the deployment of the public funds required to achieve them has
priority. Policy departments will be interested in the extent to which the report
provides information that offers opportunities to adjust policy formulation or
implementation. In all cases it is important to aim for a transparent presentation
of findings, analysis and assessment.

IOB evaluations identify a number of burning issues that, in the light of the evaluation
findings, require attention. IOB therefore avoids making concrete recommendations,
putting itself in the position of the policymaker and thereby of a butcher inspecting
the quality of his own meat. Furthermore, IOB works according to the OECD/DAC
definition of evaluation, which refers only to ‘lessons learnt’, and the guidelines for
policy review in the RPE 2006.

In the interest of transparency the Terms of Reference should always be attached to


the evaluation report as an annex. The research questions should be systematically
addressed in the report, also if some of them cannot be answered. If necessary,
additional information should be provided in the annexes on the research methods
employed and any problems that arise during implementation of the evaluation.

If there are fundamental and substantiated differences of opinion between IOB and the
stakeholders regarding the main conclusions of the report, these should be explicitly
mentioned in the report. The decision to this will be taken by the IOB Director.
6 El proceso de evaluación

Many evaluation reports are a synthesis of subsidiary studies. Especially where these
subsidiary studies can also be read independently it is important to make them
accessible for policy departments or other stakeholders. They often contain detailed
information that is not included in the main report. The evaluation reports are
published both in print form and on the Ministry of Foreign Affairs website. Subsidiary
studies are always available on the website and are in some cases also published in
print form. In the case of very extensive evaluations, in the interests of accessibility,
IOB produces a summarised version of the report. Both the summary and the full text
are submitted for inclusion in OECD/DAC network for evaluation services’ evaluation
inventory. Completed impact evaluations are also entered in the data base set up by
3IE and NONIE for evaluations of this kind.

38
Política de evaluación y directrices para las evaluaciones

39
7
Quality control
Política de evaluación y directrices para las evaluaciones

The IOB inspector is responsible for conducting independent evaluations. The quality
of the work carried out is, however, a concern for IOB as a whole. The IOB management
has its own responsibility in this context, as it approves the evaluation reports. To
prepare for this decision-making process, IOB has a quality control system comprising
five instruments: internal peer reviewers, reference groups, the departmental meeting,
the advisory panel and the self-evaluation.

7.1 Internal peer review

Quality control benefits from intensive cooperation and a systematic intercollegial


monitoring. IOB therefore has a system that ensures that inspectors can rely on
substantive support from colleagues when conducting evaluations. Start-up reports,
Terms of Reference, subsidiary studies and the draft final report are discussed with two
internal peer reviewers, fellow inspectors, before being submitted to the departmental
meeting. The inspector chooses, in consultation with the IOB Director, which colleagues
are to act as internal peer reviewers. The Director appoints internal peer reviewers per
evaluation. They are selected and appointed on the basis of the following criteria:
41
• coaching of the inspector;
• internal readership as a learning function for recently appointed inspectors;
• evaluation experience;
• affinity with the evaluation subject and expertise in the theme concerned;
• avoiding conflicts of interest;
• an equal distribution of the workload within IOB.

Not all criteria are equally important and a specific criterion can be decisive.

The task of the internal peer reviewer is to give advice to the inspectors. This advice is not
binding but inspectors do have to indicate what they do with it. Lasting and fundamental
differences of opinion must be solved in consultation with the IOB Director.

Inspectors must include the comments and advice of internal peer reviewers and a short
report of their discussions with the readers in the file on the evaluation.

The internal peer reviewers are not part of the reference group for the evaluation.

As the IOB Director is responsible for approving evaluation products he/she cannot be
an internal peer reviewer.

The decision whether to make use of internal peer review in the event of joint
evaluations between IOB and the evaluation services of other donors is left to the IOB
inspector responsible for the evaluation, in consultation with the IOB Director.
7 Quality control

7.2 Reference groups

A second form of quality control over IOB evaluations is reference groups. These
groups, which are created for each evaluation, are partly external, consisting of
representatives of the policy departments involved in the evaluation, organisations
and/or local bodies, and external experts. A reference group is chaired by the IOB
management and meets at key moments during the process (e.g. to discuss the
draft ToR, partial reports and the draft final report). The inspector is responsible for
reporting on reference group discussions and/or providing summaries of written
comments by reference group members.

For evaluations that entail intensive cooperation with researchers in a specific partner
country, a sounding board group is set up in the country concerned. The form the
group takes will vary from case to case.

For joint evaluations with other donors a Dutch reference group is usually not set up.
There is a joint steering group comprising representatives of the participating donors.
In the case of large-scale, complex evaluations a smaller management team is set up
42 from within the steering group to run the evaluation on a daily basis. The steering
group is then primarily concerned with quality control. In addition, with these
evaluations, the research bureau conducting the evaluation is expected to arrange its
own quality control. This is one of the aspects taken into account when assessing
tenders.

7.3 Departmental meeting

The IOB departmental meeting plays a part in quality control at two moments during
the implementation of an evaluation: when discussing the Terms of Reference
(or sometimes the inception report) and during discussion of the draft final report.
The ToR are always discussed at a full departmental meeting. Before this meeting it
must be clear to the inspector which colleagues have submitted comments on the
Terms of Reference and the substance of the comments, in general terms, so that he/
she can prepare for the discussion. Draft final reports are then discussed once again in a
separate final meeting between the inspector and the internal peer reviewers, chaired
by the IOB Director, before the Director approves the report. This final meeting, which
is open to all IOB staff members, has two purposes: it offers the opportunity for a final
assessment of the quality of the product, and helps colleagues to learn from each
others’ experiences. It also ensures that the final product of an individual inspector
becomes a product of IOB as a whole.
Política de evaluación y directrices para las evaluaciones

7.4 Advisory panel

To increase the usability and use of evaluations in the field of development


cooperation the Minister for Development Cooperation made a pledge to parliament
to establish an Advisory Panel of prominent external experts. The panel, with its
secretariat at IOB, will play a role in quality control by monitoring the usability of
evaluations and offering advice on request or on its own initiative. It will become
operational in the course of 2009.

7.5 Self-evaluation

Every evaluation concludes with a critical review of how it proceeded, with the aim
of improving the approach to future evaluations. These self-evaluations are written
by the inspector, sometimes together with a research assistant and the internal peer
reviewers. The Terms of Reference for the evaluation determine the format of the
self-evaluation. By systematically going through the various components of the ToR,
the self-evaluation provides a clear insight into the successful and less successful
elements of the evaluation. It should in any case address: (1) the extent to which the 43
research assignment could be implemented, (2) any differences between the planned
time path and the actual duration of the evaluation, and (3) differences between
estimated and actual costs. Self-evaluations are discussed internally and periodically
at the departmental meeting.
8
Communication and
feedback
Política de evaluación y directrices para las evaluaciones

Communication and feedback relate to the feedback of evaluation results, with a


view to the transparency of the evaluation process, the accountability function and
the integration of lessons learned in future policy formulation and implementation.
Feedback is not limited to the phase following completion of the evaluation.
Consultation with and feedback to stakeholders take place throughout the whole
period of implementation: during the preliminary study, in relation to the Terms of
Reference, and during discussion of subsidiary studies and the draft final report. Where
necessary, consultation and feedback is also provided to the partner countries. While
feedback during the evaluation is important at implementation level, after the
evaluation has been completed it is more important at political and more general
level.

The extent to which completed evaluations fulfil the learning function depends on
a number of factors. In the first place, it is a matter of the usability of the evaluation
itself. This is determined by:

• the clarity with which the external aim (i.e. outside the evaluation itself ), for
which the evaluation results can be used, is specified;
• the clarity and completeness with which the essence of the evaluation and especially 45
its main findings are presented in the evaluation report and the summary;
• the completeness with which all research questions are answered by the
conclusions;
• the extent to which the results of the evaluation suggest actions that lie within
the capacity of the recipient of the report.

In the second place learning from evaluations depends on the extent to which the
recipients and users are receptive to the lessons drawn from the studies. This is related
to the institutional context and the organisational culture. IOB has no influence on
this and it is not IOB’s responsibility. It is the direct responsibility of the management
of the organisation (the ministry or other organisations that receive IOB reports).

IOB does however have a responsibility to communicate on evaluation reports.


As communication with policy departments is crucial to increase the learning effect,
it is crucial that evaluations are discussed in the relevant staff meetings. With regard to
external communication, IOB draws up a communication plan for each evaluation, in
consultation with the ministry’s Information and Communication Department. IOB
increases the accessibility of evaluation results and ensures their wider distribution by
preparing media presentations, giving lectures and interviews, writing articles, and
organising conferences and seminars.

IOB evaluations are also an instrument for rendering accountability to parliament.


Within three months of the report being approved by the IOB Director, the minister
sends it to parliament, usually together with a policy reaction. The text of the reaction,
which is usually drafted by the policy department concerned, contains indications on
8 Communication and feedback

how the results of the evaluation are to be acted upon in the light of future policy.
In this way, accounting to parliament also contributes to the learning process.

In the case of evaluations in the field of development cooperation the reports are
also published in the partner countries, offered to the government and made widely
known through the organisation of meetings. With a view to mutual accountability
IOB invests systematically in such feedback to the partner countries.

46
Política de evaluación y directrices para las evaluaciones

Evaluation studies published by the


Policy and Operations Evaluation
Department (IOB) 2004-2009
Evaluation studies published before 2004 can be found on the IOB website at
www.minbuza.nl/iob

297 2004 Over solidariteit en 303 2006 Dutch Humanitarian Assistance


professionalisering An Evaluation
Evaluatie van Gemeentelijke isbn 90-5328-352-8

Internationale Samenwerking 304 2007 Evaluatie van de vernieuwing van


(1997-2001). het Nederlandse onderzoeksbeleid
isbn 90-5328-341-2 1992-2005

297 2004 On solidarity and isbn 978-90-5328-353-0


professionalisation 304 2007 Evaluation of the Netherlands'
Evaluation of Municipal Research Policy 1992-2005
International Co-operation (Summary)
(1997-2001). isbn 978-90-5328-353-0 47
isbn 90-5328-342-0 305 2007 Impact Evaluation: Water Supply
298 2004 Onderzoek naar de kwaliteit van in and Sanitation Programmes
2002 afgeronde decentrale Shinyanga Region, Tanzania
evaluaties 1990-2006
Eindrapport. isbn 978-90-5328-354-7
isbn 90-5328-344-7 306 2007 Chatting and Playing Chess with
299 2005 Een uitgebreid Europabeleid Policymakers

Evaluatie van het Nederlands beleid Influencing policy via the Dutch
inzake de toetreding van Midden- Co-Financing Programme
Europese landen tot de Europese Unie isbn 978-90-5328-355-4
1997-2003 307 2008 Beleidsdoorlichting seksuele en
isbn 90-5328-347-1 reproductieve gezondheid en
300 2005 Aid for Trade? rechten en hiv/aids 2004-2006
An Evaluation of Trade-Related isbn 978-90-5328-358-5
Technical Assistance 308 2008 Het Nederlandse Afrikabeleid
isbn 90-5328-349-8 1998-2006

301 2006 Van Projecthulp naar Sectorsteun Evaluatie van de bilaterale


Evaluatie van de sectorale samenwerking
benadering 1998-2005 isbn 978-90-5328-359-2
isbn 90-5328-351-x 308 2008 Het Nederlandse Afrikabeleid
301 2006 From Project Aid towards Sector 1998-2006
Support Evaluatie van de bilaterale
An evaluation of the sector-wide samenwerking (Samenvatting)
approach in Dutch bilateral aid isbn 978-90-5328-359-2
1998–2005. 308 2008 The Netherlands’ Africa Policy
isbn 90-5146-000-7 1998-2006

302 2006 Evaluatie van het Nederlandse Evaluation of the bilateral


mensenrechtenbeleid in de externe cooperation (Summary)
betrekkingen ISBN 978-90-5328-359-2
isbn 90-5328-352-8
Evaluation studies published by the Policy and Operations Evaluation Department (iob) 2003-2008

309 2008 Het Vakbondsmede- 316 2008 Be our guests


financieringsprogramma Examen de la politique meneé par les
Een evaluatie van steun gericht op Pays-Bas en tant qu'État hôte des
versterking van vakbonden en organisations internationales
vakbonds- en arbeidsrechten (Sommaire)
isbn 978-90-5328-357-8 isbn 978-90-5328-372-1

309 2008 The Netherlands Trade Union 317 2008 Sectorsteun in milieu en water
Co-Financing Programme isbn 978-90-5328-369-1
An evaluation of support for trade 318 2008 Samenwerking met Clingendael
unions and trade union and labour Evaluatie van de subsidieovereen-
rights (Summary) komst tussen de ministeries van
isbn 978-90-5328-357-8 Buitenlandse Zaken en Defensie en
309 2008 El Programa de Cofinanciamiento Instituut Clingendael
Sindical isbn 978-90-5328-365-7

Una evaluación del apoyo orientado 319 2008 Meer dan een dak

al fortalecimiento de sindicatos y de Evaluatie van het Nederlands beleid


derechos sindicales y laborales voor stedelijke armoedebestrijding
(Resumen) isbn 978-90-5328-365-3
isbn 978-90-5328-357-8 320 2008 Het tropisch regenwoud in het
310 2008 Clean and sustainable? OS-beleid 1999-2005
An evaluation of the contribution of isbn 978-90-5328-374-8

the Clean Development Mechanism 321 2009 Maatgesneden Monotoring 'Het


48 to sustainable development in host verhaal achter de cijfers'
countries Beperkte beleidsdoorlichting
isbn 978-90-5328-356-1 Medefinancieringsstelsel 2007-2010
311 2008 Impact Evaluation: Primary 323 2009 isbn 978-90-5328-374-5
Preparing the ground for a safer
Education in Uganda 322 2009 Draagvlakonderzoek
world
isbn 978-90-5328-361-5 Evalueerbaarheid en resultaten
312 2008 Impact Evaluation: Primary isbn 978-90-5328-375-2
Education in Zambia
isbn 978-90-5328-360-8
313 2008 Xplore-programma Evaluation of the Dutch efforts to
isbn 978-90-5328-362-2 control landmines and explosive
314 2008 Primus inter pares remnants of war 1996-2006
Een evaluatie van het Nederlands isbn 978-90-5328-377-6
EU-voorzitterschap 2004
isbn 978-90-5328-364-6

315 2008 Impact Evaluation: Support to Rural


Water Supply and Sanitation in
Dhamar and Hodeidah Governora-
tes, Republic of Yemen
isbn 978-90-5328-364-6
316 2008 Be our guests
Beleidsdoorlichting Nederland als
gastland van internationale
organisaties en Samenvatting
isbn 978-90-5328-370-7
316 2008 Be our guests
Policy review on hosting international
organisations in the Netherlands and
Summary
isbn 978-90-5328-371-4
Política de evaluación y directrices para las evaluaciones

49
50
Evaluatiebeleid en richtlijnen voor evaluaties

51
52 Published by:

Ministry of Foreign Affairs


PO Box 20061 | 2500 EB The Hague | The Netherlands
www.minbuza.nl

Layout: Eindeloos, The Hague


Printer: OBT, The Hague

© Ministry of Foreign Affairs| October 2009 | Order code: BZDR6662/E


umburaCairoCanberraCaracasChicagoColomboCotonouDakarDamascusDarEsSalaamDenHaagDhakaDohaDublinDüsseldorfFrankfurt/MainGenèveGuangzhouGuatemalaHamb
urgMadridManaguaManillaMaputoMexicoMiamiMilaanMontevideoMontrealMoskouMumbaiMünchenMuscatNairobiNewDelhiNewYorkNicosiaOsaka/KobeOsloO awaOuagadougou
dneyTallinnTbilisiTeheranTelAvivTiranaTokioTorontoTripoliTunisValle aVancouverVaticaanstadVilniusWarschauWashingtonWellingtonWenenYaoundéZagrebAbuDhabiAbujaAccraA
CotonouDakarDamascusDarEsSalaamDenHaagDhakaDohaDublinDüsseldorfFrankfurt/MainGenèveGuangzhouGuatemalaHamburgHanoiHarareHavannaHelsinkiHoChiMinhSta
MilaanMontevideoMontrealMoskouMumbaiMünchenMuscatNairobiNewDelhiNewYorkNicosiaOsaka/KobeOsloO awaOuagadougouParamariboParijsPekingPortofSpainPraagPreto
orontoTripoliTunisValle aVancouverVaticaanstadVilniusWarschauWashingtonWellingtonWenenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAnt
aagDhakaDohaDublinDüsseldorfFrankfurt/MainGenèveGuangzhouGuatemalaHamburgHanoiHarareHavannaHelsinkiHoChiMinhStadHongkongIslamabadIstanboelJakartaJubaKa
aiMünchenMuscatNairobiNewDelhiNewYorkNicosiaOsaka/KobeOsloO awaOuagadougouParamariboParijsPekingPortofSpainPraagPretoriaPristinaQuitoRabatRamallahRigaRioD
adVilniusWarschauWashingtonWellingtonWenenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAstanaAtheneBagdadBamakoB
nGenèveGuangzhouGuatemalaHamburgHanoiHarareHavannaHelsinkiHoChiMinhStadHongkongIslamabadIstanboelJakartaJubaKaapstadKaboelKampalaKhartoemKievKigaliKin
NicosiaOsaka/KobeOsloO awaOuagadougouParamariboParijsPekingPortofSpainPraagPretoriaPristinaQuitoRabatRamallahRigaRioDeJaneiroRiyadRomeRomeSanJoséSana’aSa
nenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAstanaAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernBo
oiHarareHavannaHelsinkiHoChiMinhStadHongkongIslamabadIstanboelJakartaJubaKaapstadKaboelKampalaKhartoemKievKigaliKinshasaKoeweitKopenhagenKualaLumpurLaP
aramariboParijsPekingPortofSpainPraagPretoriaPristinaQuitoRabatRamallahRigaRioDeJaneiroRiyadRomeRomeSanJoséSana’aSantiagoSantoDomingoSaoPauloSarajevoSeoulShan
AbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAstanaAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernBoedapestBoekarestBogotáBrasiliaBratislavaBru
ongkongIslamabadIstanboelJakartaJubaKaapstadKaboelKampalaKhartoemKievKigaliKinshasaKoeweitKopenhagenKualaLumpurLaPazLimaLissabonLjubljanaLondenLosAngeles
toriaPristinaQuitoRabatRamallahRigaRioDeJaneiroRiyadRomeRomeSanJoséSana’aSantiagoSantoDomingoSaoPauloSarajevoSeoulShanghaiSingaporeSkopjeSo aSt.PetersburgSto
AsmaraAstanaAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernBoedapestBoekarestBogotáBrasiliaBratislavaBrusselBuenosAiresBujumburaCairoCanberraCar
stadKaboelKampalaKhartoemKievKigaliKinshasaKoeweitKopenhagenKualaLumpurLaPazLimaLissabonLjubljanaLondenLosAngelesLuandaLusakaLuxemburgMadridManaguaMa
eiroRiyadRomeRomeSanJoséSana’aSantiagoSantoDomingoSaoPauloSarajevoSeoulShanghaiSingaporeSkopjeSo aSt.PetersburgStockholmStraatsburgSydneyTallinnTbilisiT
BarcelonaBeiroetBelgradoBerlijnBernBoedapestBoekarestBogotáBrasiliaBratislavaBrusselBuenosAiresBujumburaCairoCanberraCaracasChicagoColomboCotonouDakarDamascus
hasaKoeweitKopenhagenKualaLumpurLaPazLimaLissabonLjubljanaLondenLosAngelesLuandaLusakaLuxemburgMadridManaguaManillaMaputoMexicoMiamiMilaanMontevideoM
SantoDomingoSaoPauloSarajevoSeoulShanghaiSingaporeSkopjeSo aSt.PetersburgStockholmStraatsburgSydneyTallinnTbilisiTeheranTelAvivTiranaTokioTorontoTripoliTunisV
dapestBoekarestBogotáBrasiliaBratislavaBrusselBuenosAiresBujumburaCairoCanberraCaracasChicagoColomboCotonouDakarDamascusDarEsSalaamDenHaagDhakaDohaDubli
azLimaLissabonLjubljanaLondenLosAngelesLuandaLusakaLuxemburgMadridManaguaManillaMaputoMexicoMiamiMilaanMontevideoMontrealMoskouMumbaiMünchenMuscatN
hanghaiSingaporeSkopjeSo aSt.PetersburgStockholmStraatsburgSydneyTallinnTbilisiTeheranTelAvivTiranaTokioTorontoTripoliTunisValle aVancouverVaticaanstadVilniusWarschauW
sselBuenosAiresBujumburaCairoCanberraCaracasChicagoColomboCotonouDakarDamascusDarEsSalaamDenHaagDhakaDohaDublinDüsseldorfFrankfurt/MainGenèveGuangzhou
LuandaLusakaLuxemburgMadridManaguaManillaMaputoMexicoMiamiMilaanMontevideoMontrealMosk ouMumbaiMünchenMuscatNairobiNewDelhiNewYorkNicosiaOsaka/K
tockholmStraatsburgSydneyTallinnTbilisiTeheranTelAvivTiranaTokioTorontoTripoliTunisValle aVancouverVaticaanstadVilniusWarschauWashingtonWellingtonWenenYaoundéZagre
racasChicagoColomboCotonouDakarDamascusDarEsSalaamDenHaagDhakaDohaDublinDüsseldorfFrankfurt/MainGenèveGuangzhouGuatemalaHamburgHanoiHarareHavannaHe
laMaputoMexicoMiamiMilaanMontevideoMontrealMoskouMumbaiMünchenMuscatNairobiNewDelhiNewYorkNicosiaOsaka/KobeOsloO awaOuagadougouParamariboParijsP
ranTelAvivTiranaTokioTorontoTripoliTunisValle aVancouverVaticaanstadVilniusWarschauWashingtonWellingtonWenenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlm
usDarEsSalaamDenHaagDhakaDohaDublinDüsseldorfFrankfurt/MainGenèveGuangzhouGuatemalaHamburgHanoiHarareHavannaHelsinkiHoChiMinhStadHongkongIslamabadIs
realMoskouMumbaiMünchenMuscatNairobiNewDelhiNewYorkNicosiaOsaka/KobeOsloO awaOuagadougouParamariboParijsPekingPortofSpainPraagPretoriaPristinaQuitoRabatR
aVancouverVaticaanstadVilniusWarschauWashingtonWellingtonWenenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAstanaA
üsseldorfFrankfurt/MainGenèveGuangzhouGuatemalaHamburgHanoiHarareHavannaHelsinkiHoChiMinhStadHongkongIslamabadIstanboelJakartaJubaKaapstadKaboelKampalaK
obiNewDelhiNewYorkNicosiaOsaka/KobeOsloO awaOuagadougouParamariboParijsPekingPortofSpainPraagPretoriaPristinaQuitoRabatRamallahRigaRioDeJaneiroRiyadRomeR
ashingtonWellingtonWenenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAstanaAtheneBagdadBamakoBangkokBarcelonaBeir
GuatemalaHamburgHanoiHarareHavannaHelsinkiHoChiMinhStadHongkongIslamabadIstanboelJakartaJubaKaapstadKaboelKampalaKhartoemKievKigaliKinshasaKoeweitK
sloO awaOuagadougouParamariboParijsPekingPortofSpainPraagPretoriaPristinaQuitoRabatRamallahRigaRioDeJaneiroRiyadRomeRomeSanJoséSana’aSantiagoSantoDomingo
buDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAstanaAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernBoedapestBoekarestBog
sinkiHoChiMinhStadHongkongIslamabadIstanboelJakartaJubaKaapstadKaboelKampalaKhartoemKievKigaliKinshasaKoeweitKopenhagenKualaLumpurLaPazLimaLissabonLjublja
ngPortofSpainPraagPretoriaPristinaQuitoRabatRamallahRigaRioDeJaneiroRiyadRomeRomeSanJoséSana’aSantiagoSantoDomingoSaoPauloSarajevoSeoulShanghaiSingaporeSkopj
mmanAnkaraAntwerpenAsmaraAstanaAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernBoedapestBoekarestBogotáBrasiliaBratislavaBrusselBuenosAiresBujum
nboelJakartaJubaKaapstadKaboelKampalaKhartoemKievKigaliKinshasaKoeweitKopenhagenKualaLumpurLaPazLimaLissabonLjubljanaLondenLosAngelesLuandaLusakaLuxemb
atRamallahRigaRioDeJaneiroRiyadRomeRomeSanJoséSana’aSantiagoSantoDomingoSaoPauloSarajevoSeoulShanghaiSingaporeSkopjeSo aSt.PetersburgStockholmStraatsburgSyd
BagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernBoedapestBoekarestBogotáBrasiliaBratislavaBrusselBuenosAiresBujumburaCairoCanberraCaracasChicagoColomboC
hartoemKievKigaliKinshasaKoeweitKopenhagenKualaLumpurLaPazLimaLissabonLjubljanaLondenLosAngelesLuandaLusakaLuxemburgMadridManaguaManillaMaputoMexicoMi
anJoséSana’aSantiagoSantoDomingoSaoPauloSarajevoSeoulShanghaiSingaporeSkopjeSo aSt.PetersburgStockholmStraatsburgSydneyTallinnTbilisiTeheranTelAvivTiranaT
adoBerlijnBernBoedapestBoekarestBogotáBrasiliaBratislavaBrusselBuenosAiresBujumburaCairoCanberraCaracasChicagoColomboCotonouDakarDamascusDarEsSalaamDenHaag
agenKualaLumpurLaPazLimaLissabonLjubljanaLondenLosAngelesLuandaLusakaLuxemburgMadridManaguaManillaMaputoMexicoMiamiMilaanMontevideoMontrealM oskou
oSarajevoSeoulShanghaiSingaporeSkopjeSo aSt.PetersburgStockholmStraatsburgSydneyTallinnTbilisiTeheranTelAvivTiranaTokioTorontoTripoliTunisValle aVancouverVaticaanstadV
áBrasiliaBratislavaBrusselBuenosAiresBujumburaCairoCanberraCaracasChicagoColomboCotonouDakarDamascusDarEsSalaamDenHaagDhakaDohaDublinDüsseldorfFrankfurt/M
aLondenLosAngelesLuandaLusakaLuxemburgMadridManaguaManillaMaputoMexicoMiamiMilaanMontevideoMontrealMoskouMumbaiMünchenMuscatNairobiNewDelhiNewY
So aSt.PetersburgStockholmStraatsburgSydneyTallinnTbilisiTeheranTelAvivTiranaTokioTorontoTripoliTunisValle aVancouverVaticaanstadVilniusWarschauWashingtonWellingtonW
buraCairoCanberraCaracasChicagoColomboCotonouDakarDamascusDarEsSalaamDenHaagDhakaDohaDublinDüsseldorfFrankfurt/MainGenèveGuangzhouGuatemalaHamburgH
gMadridManaguaManillaMaputoMexicoMiamiMilaanMontevideoMontrealMoskouMumbaiMünchenMuscatNairobiNewDelhiNewYorkNicosiaOsaka/KobeOsloO awaOuagadougouP
neyTallinnTbilisiTeheranTelAvivTiranaTokioTorontoTripoliTunisValle aVancouverVaticaanstadVilniusWarschauWashingtonWellingtonWenenYaoundéZagrebAbuDhabiAbujaAccraA
CotonouDakarDamascusDarEsSalaamDenHaagDhakaDohaDublinDüsseldorfFrankfurt/MainGenèveGuangzhouGuatemalaHamburgHanoiHarareHavannaHelsinkiHoChiMinhStad
MilaanMontevideoMontrealMoskouMumbaiMünchenMuscatNairobiNewDelhiNewYorkNicosiaOsaka/KobeOsloO awaOuagadougouParamariboParijsPekingPortofSpainPraagPreto
orontoTripoliTunisValle aVancouverVaticaanstadVilniusWarschauWashingtonWellingtonWenenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAnt
aagDhakaDohaDublinDüsseldorfFrankfurt/MainGenèveGuangzhouGuatemalaHamburgHanoiHarareHavannaHelsinkiHoChiMinhStadHongkongIslamabadIstanboelJakartaJubaKa
aiMünchenMuscatNairobiNewDelhiNewYorkNicosiaOsaka/KobeOsloO awaOuagadougouParamariboParijsPekingPortofSpainPraagPretoriaPristinaQuitoRabatRamallahRigaRioD
adVilniusWarschauWashingtonWellingtonWenenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAstanaAtheneBagdadBamakoB
nGenèveGuangzhouGuatemalaHamburgHanoiHarareHavannaHelsinkiHoChiMinhStadHongkongIslamabadIstanboelJakartaJubaKaapstadKaboelKampalaKhartoemKievKigaliKin
NicosiaOsaka/KobeOsloO awaOuagadougouParamariboParijsPekingPortofSpainPraagPretoriaPristinaQuitoRabatRamallahRigaRioDeJaneiroRiyadRomeRomeSanJoséSana’aSa
nenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAstanaAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernBo
oiHarareHavannaHelsinkiHoChiMinhStadHongkongIslamabadIstanboelJakartaJubaKaapstadKaboelKampalaKhartoemKievKigaliKinshasaKoeweitKopenhagenKualaLumpurLaP
aramariboParijsPekingPortofSpainPraagPretoriaPristinaQuitoRabatRamallahRigaRioDeJaneiroRiyadRomeRomeSanJoséSana’aSantiagoSantoDomingoSaoPauloSarajevoSeoulShan
AbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAstanaAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernBoedapestBoekarestBogotáBrasiliaBratislavaBru
ongkongIslamabadIstanboelJakartaJubaKaapstadKaboelKampalaKhartoemKievKigaliKinshasaKoeweitKopenhagenKualaLumpurLaPazLimaLissabonLjubljanaLondenLosAngeles
toriaPristinaQuitoRabatRamallahRigaRioDeJaneiroRiyadRomeRomeSanJoséSana’aSantiagoSantoDomingoSaoPauloSarajevoSeoulShanghaiSingaporeSkopjeSo aSt.PetersburgSto
AsmaraAstanaAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernBoedapestBoekarestBogotáBrasiliaBratislavaBrusselBuenosAiresBujumburaCairoCanberraCar
stadKaboelKampalaKhartoemKievKigaliKinshasaKoeweitKopenhagenKualaLumpurLaPazLimaLissabonLjubljanaLondenLosAngelesLuandaLusakaLuxemburgMadridManaguaMa
eiroRiyadRomeRomeSanJoséSana’aSantiagoSantoDomingoSaoPauloSarajevoSeoulShanghaiSingaporeS kopjeSo aSt.PetersburgStockholmStraatsburgSydneyTallinnTbilisiT
gotáBrasiliaBratislavaBrusselBuenosAiresBujumburaCairoCanberraCaracasChicagoColomboCotonouDakarDamascusDarEsSalaamDenHaagDhakaDohaDublinDüsseldorfFrankfurt
saKoeweitKopenhagenKualaLumpurLaPazLimaLissabonLjubljanaLondenLosAngelesLuandaLusakaLuxemburgMadridManaguaManillaMaputoMexicoMiamiMilaanMontevideoMon
SantoDomingoSaoPauloSarajevoSeoulShanghaiSingaporeSkopjeSo aSt.PetersburgStockholmStraatsburgSydneyTallinnTbilisiTeheranTelAvivTiranaTokioTorontoTripoliTunisV
dapestBoekarestBogotáBrasiliaBratislavaBrusselBuenosAiresBujumburaCairoCanberraCaracasChicagoColomboCotonouDakarDamascusDarEsSalaamDenHaagDhakaDohaDubli
azLimaLissabonLjubljanaLondenLosAngelesLuandaLusakaLuxemburgMadridManaguaManillaMaputoMexicoMiamiMilaanMontevideoMontrealMoskouMumbaiMünchenMuscatN
hanghaiSingaporeSkopjeSo aSt.PetersburgStockholmStraatsburgSydneyTallinnTbilisiTeheranTelAvivTiranaTokioTorontoTripoliTunisValle aVancouverVaticaanstadVilniusWarschauW
sselBuenosAiresBujumburaCairoCanberraCaracasChicagoColomboCotonouDakarDamascusDarEsSalaamDenHaagDhakaDohaDublinDüsseldorfFrankfurt/MainGenèveGuangzhou
LuandaLusakaLuxemburgMadridManaguaManillaMaputoMexicoMiamiMilaanMontevideoMontrealMosk ouMumbaiMünchenMuscatNairobiNewDelhiNewYorkNicosiaOsaka/K
tockholmStraatsburgSydneyTallinnTbilisiTeheranTelAvivTiranaTokioTorontoTripoliTunisValle aVancouverVaticaanstadVilniusWarschauWashingtonWellingtonWenenYaoundéZagre
racasChicagoColomboCotonouDakarDamascusDarEsSalaamDenHaagDhakaDohaDublinDüsseldorfFrankfurt/MainGenèveGuangzhouGuatemalaHamburgHanoiHarareHavannaHe
laMaputoMexicoMiamiMilaanMontevideoMontrealMoskouMumbaiMünchenMuscatNairobiNewDelhiNewYorkNicosiaOsaka/KobeOsloO awaOuagadougouParamariboParijsP
ranTelAvivTiranaTokioTorontoTripoliTunisValle aVancouverVaticaanstadVilniusWarschauWashingtonWellingtonWenenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlm
usDarEsSalaamDenHaagDhakaDohaDublinDüsseldorfFrankfurt/MainGenèveGuangzhouGuatemalaHamburgHanoiHarareHavannaHelsinkiHoChiMinhStadHongkongIslamabadIs
realMoskouMumbaiMünchenMuscatNairobiNewDelhiNewYorkNicosiaOsaka/KobeOsloO awaOuagadougouParamariboParijsPekingPortofSpainPraagPretoriaPristinaQuitoRabatR
aVancouverVaticaanstadVilniusWarschauWashingtonWellingtonWenenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAstanaA
üsseldorfFrankfurt/MainGenèveGuangzhouGuatemalaHamburgHanoiHarareHavannaHelsinkiHoChiMinhStadHongkongIslamabadIstanboelJakartaJubaKaapstadKaboelKampalaK
obiNewDelhiNewYorkNicosiaOsaka/KobeOsloO awaOuagadougouParamariboParijsPekingPortofSpainPraagPretoriaPristinaQuitoRabatRamallahRigaRioDeJaneiroRiyadRomeR
ashingtonWellingtonWenenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAstanaAtheneBagdadBamakoBangkokBarcelonaBeir
GuatemalaHamburgHanoiHarareHavannaHelsinkiHoChiMinhStadHongkongIslamabadIstanboelJakartaJubaKaapstadKaboelKampalaKhartoemKievKigaliKinshasaKoeweitK
sloO awaOuagadougouParamariboParijsPekingPortofSpainPraagPretoriaPristinaQuitoRabatRamallahRigaRioDeJaneiroRiyadRomeRomeSanJoséSana’aSantiagoSantoDomingo
buDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAstanaAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernBoedapestBoekarestBog
sinkiHoChiMinhStadHongkongIslamabadIstanboelJakartaJubaKaapstadKaboelKampalaKhartoemKievKigaliKinshasaKoeweitKopenhagenKualaLumpurLaPazLimaLissabonLjublja
ngPortofSpainPraagPretoriaPristinaQuitoRabatRamallahRigaRioDeJaneiroRiyadRomeRomeSanJoséSana’aSantiagoSantoDomingoSaoPaulo SarajevoSeoulShanghaiSingaporeSkop
mmanAnkaraAntwerpenAsmaraAstanaAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernBoedapestBoekarestBogotáBrasiliaBratislavaBrusselBuenosAiresBujum
nboelJakartaJubaKaapstadKaboelKampalaKhartoemKievKigaliKinshasaKoeweitKopenhagenKualaLumpurLaPazLimaLissabonLjubljanaLondenLosAngelesLuandaLusakaLuxemb
atRamallahRigaRioDeJaneiroRiyadRomeRomeSanJoséSana’aSantiagoSantoDomingoSaoPauloSarajevoSeoulShanghaiSingaporeSkopjeSo aSt.PetersburgStockholmStraatsburgSyd
BagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernBoedapestBoekarestBogotáBrasiliaBratislavaBrusselBuenosAiresBujumburaCairoCanberraCaracasChicagoColomboC
hartoemKievKigaliKinshasaKoeweitKopenhagenKualaLumpurLaPazLimaLissabonLjubljanaLondenLosAngelesLuandaLusakaLuxemburgMadridManaguaManillaMaputoMexicoMi
anJoséSana’aSantiagoSantoDomingoSaoPauloSarajevoSeoulShanghaiSingaporeSkopjeSo aSt.PetersburgStockholmStraatsburgSydneyTallinnTbilisiTeheranTelAvivTiranaT
adoBerlijnBernBoedapestBoekarestBogotáBrasiliaBratislavaBrusselBuenosAiresBujumburaCairoCanberraCaracasChicagoColomboCotonouDakarDamascusDarEsSalaamDenHaag
agenKualaLumpurLaPazLimaLissabonLjubljanaLondenLosAngelesLuandaLusakaLuxemburgMadridManaguaManillaMaputoMexicoMiamiMilaanMontevideoMontrealMoskou
oSarajevoSeoulShanghaiSingaporeSkopjeSo aSt.PetersburgStockholmStraatsburgSydneyTallinnTbilisiTeheranTelAvivTiranaTokioTorontoTripoliTunisValle aVancouverVaticaanstadV
áBrasiliaBratislavaBrusselBuenosAiresBujumburaCairoCanberraCaracasChicagoColomboCotonouDakarDamascusDarEsSalaamDenHaagDhakaDohaDublinDüsseldorfFrankfurt/M
aLondenLosAngelesLuandaLusakaLuxemburgMadridManaguaManillaMaputoMexicoMiamiMilaanMontevideoMontrealMoskouMumbaiMünchenMuscatNairobiNewDelhiNewY
So aSt.PetersburgStockholmStraatsburgSydneyTallinnTbilisiTeheranTelAvivTiranaTokioTorontoTripoliTunisValle aVancouverVaticaanstadVilniusWarschauWashingtonWellingtonW
buraCairoCanberraCaracasChicagoColomboCotonouDakarDamascusDarEsSalaamDenHaagDhakaDohaDublinDüsseldorfFrankfurt/MainGenèveGuangzhouGuatemalaHamburgH
gMadridManaguaManillaMaputoMexicoMiamiMilaanMontevideoMontrealMoskouMumbaiMünchenMuscatNairobiNewDelhiNewYorkNicosiaOsaka/KobeOsloO awaOuagadougouP
neyTallinnTbilisiTeheranTelAvivTiranaTokioTorontoTripoliTunisValle aVancouverVaticaanstadVilniusWarschauWashingtonWellingtonWenenYaoundéZagrebAbuDhabiAbujaAccraA
CotonouDakarDamascusDarEsSalaamDenHaagDhakaDohaDublinDüsseldorfFrankfurt/MainGenèveGuangzhouGuatemalaHamburgHanoiHarareHavannaHelsinkiHoChiMinhStad
MilaanMontevideoMontrealMoskouMumbaiMünchenMuscatNairobiNewDelhiNewYorkNicosiaOsaka/KobeOsloO awaOuagadougouParamariboParijsPekingPortofSpainPraagPreto
orontoTripoliTunisValle aVancouverVaticaanstadVilniusWarschauWashingtonWellingtonWenenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAnt
aagDhakaDohaDublinDüsseldorfFrankfurt/MainGenèveGuangzhouGuatemalaHamburgHanoiHarareHavannaHelsinkiHoChiMinhStadHongkongIslamabadIstanboelJakartaJubaKa
aiMünchenMuscatNairobiNewDelhiNewYorkNicosiaOsaka/KobeOsloO awaOuagadougouParamariboParijsPekingPortofSpainPraagPretoriaPristinaQuitoRabatRamallahRigaRioD
adVilniusWarschauWashingtonWellingtonWenenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAstanaAtheneBagdadBamakoB
nGenèveGuangzhouGuatemalaHamburgHanoiHarareHavannaHelsinkiHoChiMinhStadHongkongIslamabadIstanboelJakartaJubaKaapstadKaboelKampalaKhartoemKievKigaliKin
NicosiaOsaka/KobeOsloO awaOuagadougouParamariboParijsPekingPortofSpainPraagPretoriaPristinaQuitoRabatRamallahRigaRioDeJaneiroRiyadRomeRomeSanJoséSana’aSa
nenYaoundéZagrebAbuDhabiAbujaAccraAddisAbebaAlgiersAlmatyAmmanAnkaraAntwerpenAsmaraAstanaAtheneBagdadBamakoBangkokBarcelonaBeiroetBelgradoBerlijnBernBo
oiHarareHavannaHelsinkiHoChiMinhStadHongkongIslamabadIstanboelJakartaJubaKaapstadKaboelKampalaKhartoemKievKigaliKinshasaKoeweitKopenhagenKualaLumpurLaP
aramariboParijsPekingPortofSpainPraagPretoriaPristinaQuitoRabatRamallahRigaRioDeJaneiroRiyadRomeRomeSanJoséSana’aSantiagoSantoDomingoSaoPauloSarajevoSeoulShan
BIO
This document describes the evaluation policy
and guidelines for evaluations of the Policy and
Operations Evaluation Department (IOB) of the
Dutch Ministry of Foreign Affairs. In publishing
these guidelines, IOB wishes to provide
transparency to third parties: colleagues at the
Ministry of Foreign Affairs, the Dutch parliament,
organisations and institutions affected by IOB
evaluations, users of the evaluation results, and
interested citizens. IOB will periodically review
its policy and the guidelines and, if necessary,
revise them.

perations Evaluation Department | IOB | October 2009 | Policy and Operations Evaluation Department | IOB | October 2009 | Policy and Operations Evaluation Department

evaluaciones
Política de evaluación y directrices para las

Published by:

Ministry of Foreign Affairs


PO Box 20061 | 2500 EB The Hague | The Netherlands
www.minbuza.nl
© Ministry of Foreign Affairs| October 2009 | Order code: BZDR6662/E

You might also like