PUT Rezultata: Dizajniranje I Provođenje Efektivnih Razvojnih Evaluacija

BiH izdanje

Dizajniranje i provođenje efektivnih razvojnih evaluacija
PUT DO REZULTATA
"Programi koji imaju cilj poboljšanja dobrostanja ljudi u vremenima previranja i tranzicije svijeta u razvoju
suočavaju se sa nepredvidivim izazovima. Zbog toga je knjiga Ray Rista i Linde Morre tako važna i
pravovremena. Njegovana osobitim znanjem i iskustvom, u praktičnom formatu bilježi suštinu dobre
evaluacione prakse u polju razvoja. Kada pogledamo njen autoritativan i savremen tretman evaluacionih
problema iz stvarnog života nastalih u kompleksnom i nestalnom okruženju djelovanja za razvoj, možemo
reći da joj je mjesto na policama zajedno sa knjigama svih evaluacionih i razvojnih profesionalaca.“
Robert Picciotto, bivši generalni direktor, Grupe Svjetske banke za evaluaciju, gostujući profesor, na
King's koledžu, London
"Ova knjiga je primjer svega što tražim u evaluacionom tekstu: Dobro testiran materijal, pažljivo evaluiran,
dokazan u praksi. Kredibilan zato što su ga radili ljudi koji znaju o čemu pričaju kroz iskustvo i stručnost.
Sadržaj koji podučava i ilustrira profesionalne standarde, a tako je koristan, praktičan, etičan i tačan. Čini
evaluaciju razumljivom, dostupnom i ostvarivom. Prenosi važnost i vrijednost monitoringa i evaluacije.
Dobra mješavina teorije i prakse, metodološki čvrsta, ilustrira relevantnim i razumljivim primjerima.
Materija koja je iz stvarnog svijeta i realistična, zasnovana na političkoj, ekonomskoj, kulturnoj i upravnoj
stvarnosti razvoja. Pripovijest koja podučava i inspirira. To su stvari koje tražim u knjizi a ova knjiga to
pruža po svakom kriteriju.“
Michael Q. Patton, bivši predsjednik Američke evaluacione asocijacije, autor Evaluacije fokusirane na
upotrebu, i Evaluacionih metoda kvalitativnog istraživanja, nezavisni konsultant za evaluaciju i orga-
nizacioni razvoj
PUT DO
"Razvojna evalaucija ubrzano raste u zemljama u razvoju. Struktura knjige i njen pristup čine je vrijednom
takvim korisnicima kao što su specijalisti u oblasti evaluacije i praktičari, kreatori politike, parlamentarci,
zvaničnici javnog sektora, kao i studentima razvojne evaluacije. Ova knjiga će dati značajan doprinos
razvojnoj evaluaciji svijetu u razvoju.“
Kabir Hashim, član parlamenta Šri Lanke, bivši ministar za visoko obrazovanje i obuku, konsultant za
REZULTATA
razvojnu evaluaciju
"Potreba za ovom knjigom nikada nije bila veća, pošto evaluacija razvojne saradnje postaje sve važnija.
Čitaoci, kojima su predstavljene opsežne, ali koncizne teme i aktuelna pitanja, dobit će uvid u ovo sve više
kompleksno područje. Suštinsko štivo za nove i iskusne razvojne evaluatore, jasno napisano i lahko
razumljivo, sa asortimanom primjera iz stvarnog svijeta i vrijednih dragulja praktične mudrosti. Zasigurno
će postati najneophodniji i veoma čitan tekst za svakoga ko želi naučiti o savremenoj razvojnoj evaluaciji.“
Penny Hawkins, šef evaluacije Agencije za međunarodni razvoj Novi Zeland, potpredsjednik DAC Mreže Dizajniranje i provođenje
razvojne evaluacije
efektivnih razvojnih
evaluacija
Morra Imas
Rist Linda G. Morra Imas
NOT FOR SALE Ray C. Rist
NIJE ZA PRODAJU
PUT DO
REZULTATA
PUT DO
REZULTATA
Dizajniranje i
Provođenje Efektivne
Razvojne Evaluacije
Linda G. Morra Imas
Ray C. Rist
Za Svjetsku banku publicirala Štamparija Fojnica.
© 2009 The International Bank for Reconstruction and Development / The World Bank
1818 H Street NW
Washington DC 20433
Telefon: 202-473-1000
Internet: www.worldbank.org
This work was originally published by The World Bank in English as “The Road to Results:
Designing and Conducting Effective Development Evaluations” in 2009. This Bosnian
translation is arranged by Štamparija Fojnica. Štamparija Fojnica is responsible for the quality
of the translation. In case of any discrepancies, the original language will govern.
Ovaj rad je objavila Svjetska banka na engleskom jeziku pod naslovom “The Road to Results:
designing and conducting effective development evaluations“ 2009-te godine. Ovaj prijevod
na bosanski pripremila je Štamparija Fojnica. Štamparija Fojnica je odgovorna za kvalitet
prijevoda. U slučaju bilo kakvog neslaganja, originalni jezik ima prednost.
Nalazi, interpretacije i zaključci predstavljeni u ovom radu ne predstavljaju nužno i gledišta

Svjetske banke, njenog Odbora Izvršnih direktora ili vlada koje predstavljaju.
Svjetska banka ne garantuje tačnost predstavljenih podataka u ovom radu. Granice, boje,
denominacije i druge informacije prikazane na bilo kojoj karti ovog rada ne impliciraju bilo
kakav stav Svjetske banke po pitanju statusa neke teritorije ili prihvatanje takvih granica.
Sva prava pridržana. Kopiranje i/ili prenošenje dijelova ovog rada bez dozvole može biti
kažnjivo zakonom. Svjetska banka obično podstiče diseminaciju svojih radova i u pravilu će
dati dozvolu za reprodukciju dijelova ove knjige. Sva pitanja vezano za dozvole uključujući
subsidijarna prava uputiti na adresu The World Bank, 1818 H Street NW, Washington,
DC 20433, USA; fax: 202-522-2422; e-mail: pubrights@worldbank.org.
Put do rezultata: dizajniranje i provođenje razvojne evaluacije Copyright © 2012

by International Bank for Reconstruction and Development/The World Bank
Autori
Linda G. Morra Imas
Ray C. Rist
Naslov originala
The Road to Results:
Designing and Conducting Effective Development Evaluations
Naslov
Put do rezultata:
Dizajniranje i provođenje efektivne razvojne evaluacije
Izdavač
Štamparija Fojnica
Prijevod
R. Kovač
H. Džafo
Jezik
bosanski
Lektor i korektor
A. Gekić
Naslovna strana
Naylor Design, Washington, DC
Tehničko uređenje
E. Hasanagić
Štampa
Štamparija Fojnica
Tiraž
500
CIP - Katalogizacija u publikaciji

Nacionalna i univerzitetska biblioteka
Bosne i Hercegovine, Sarajevo
------------------------------------------------------------------------
------------------------------------------------------------------------
-----------------------to be attached
POSVETA
Mome suprugu Silviu, koji me podržava i ohrabruje u mojim profesionalnim

nastojanjima, a posebno se zahvaljujem dvjema jakim ženama koje su moj
evaluacioni uzor i mentori: Eleanor Chelimsky i Lois-Ellin Datta.
LINDA G. MORRA IMAS
Za Molly, Ethan, Madeleine, Lukasa, Ninu i Annu:

mojih šest unučadi koji svakoga dana donose radost u moj život.
RAY C. RIST
SADRŽAJ
PREDGOVOR xv
O AUTORIMA xvii
SKRAĆENICE xix
Uvod 1
Bibliografija 3
OSNOVE 5
Poglavlje 1. Predstavljanje razvojne evaluacije 7

Evaluacija: Šta je to? 8
Nastanak i historija evaluacije kao discipline 19
Kontekst razvojne evaluacije 26
Primjeri razvojnih evaluacija 36
Sažetak 41
Poglavlje 1 Aktivnosti 41
Napomena 42
Bibliografija i dodatna literatura 42
Web stranice 46
Poglavlje 2. Razumijevanje pitanja koja pokreću

razvojnu evaluaciju 49
Pregled sistema evaluacije u razvijenim zemljama i zemljama u razvoju 50
Implikacije novonastalih pitanja razvoja 71
Sažetak 93
Web stranice 101
v
IZGRADNJA SISTEMA MONITORINGA I EVALUACIJE
ZASNOVANog NA REZULTATIMA 103
Poglavlje 3. Izgradnja sistema monitoringa i evaluacije

zasnovanog na rezultatima 105
Važnost monitoringa i evaluacije zasnovanih na rezultatima 106
Šta su to monitoring i evaluacija zasnovani na rezultatima 107
Tradicionalni pristup nasuprot monitoringu i evaluaciji zasnovanim
na rezultatima 108
Deset koraka u izgradnji sistema monitoringa i evaluacije
zasnovanog na rezultatima 112
Sažetak 134
Napomene 139
Web stranice 140
Poglavlje 4. Razumijevanje konteksta evaluacije

i programa teorije promjene 141
“Front-end” analiza 142
Identificiranje glavnog klijenta i ključnih dionika 144
Razumijevanje konteksta 149
Korištenje postojećeg znanja 150
Izgradnja, korištenje i procjenjivanje teorije promjene 150
Web stranice 177
Poglavlje 5. Razmatranje evaluacijskog pristupa 181

Opći pristupi evaluaciji 182
Sažetak 205
Web stranice 216
DIZAJNIRANJE I PROVOĐENJE 219
Poglavlje 6. Razvoj evaluacionih pitanja 221

Izvori pitanja 222
Vrste pitanja 223
Identifikacija i odabir pitanja 230
Razvijanje dobrih pitanja 232
vi Put do rezultata: dizajniranje i provođenje efektivne razvojne evaluacije

Dizajniranje evaluacije 234
Sažetak 244
Web stranice 246
Poglavlje 7. Odabir dizajna za uzročno-posljedična,

opisna i normativna evaluaciona pitanja 247
Povezivanje pitanja sa dizajnom 248
Dizajni za uzročno-posljedična pitanja 252
Dizajni za opisna pitanja 272
Dizajni za normativna pitanja 274
Potreba za rigoroznijim evaluacionim dizajnom 275
Web stranice 287
Poglavlje 8. Odabir i izrada instrumenata za prikupljanje

podataka 289
Strategije prikupljanja podataka 290
Karakteristike dobrih mjera 293
Kvantitativni i kvalitativni podaci 294
Alati za prikupljanje podataka 299
Sažetak 348
Web stranice 354
Poglavlje 9. Odabir strategije uzorkovanja 355

Uvod u uzorkovanje 356
Vrste uzoraka: nasumični i nenasumični 356
Određivanje veličine uzorka 364
Sažetak 366
Web stranice 371
Poglavlje 10. Planiranje i provođenje analize podataka 373

Strategija analize podataka 374
Analiziranje kvalitativnih podataka 374
Analiziranje kvantitativnih podataka 388
Povezivanje kvalitativnih i kvantitativnih podataka 401
Sadržaj vii
Sažetak 403
Web stranice 411
SUOČAVANJE SA IZAZOVIMA 413
Poglavlje 11. Evaluacija kompleksnih intervencija 415

Šira slika razvojne evaluacije 416
Združene evaluacije 417
Evaluacije državnih programa 421
Evaluacije sektorskih programa 423
Tematske evaluacije 424
Evaluacija globalnih i regionalnih partnerskih programa 429
Sažetak 434
Web stranice 438
RUKOVOĐENJE 439
Poglavlje 12. Upravljanje evaluacijom 441

Upravljanje matricom dizajna 442
Uloge i odgovornosti različitih aktera 446
Upravljanje ljudima, zadacima i budžetom 451
Upravljanje ljudima 451
Web stranice 465
Poglavlje 13. Prezentiranje rezultata 467

Izrada strategije komunikacije 468
Pisanje evaluacionog izvještaja 471
Vizuelno predstavljanje informacija 476
Pravljenje usmene prezentacije 489
Web stranice 493
Poglavlje 14. Usmjeravanje evaluatora:

evaluaciona etika, politika, 495
Etično ponašanje 496
viii Put do rezultata: dizajniranje i provođenje efektivne razvojne evaluacije

Politika i evaluacija 499
Standardi i vodeća načela evaluacije 506
Sažetak 510
Poglavlje 14 Aktivnost 511
Web stranice 513
Poglavlje 15. Pogled u budućnost 515

Od prošlosti do sadašnjosti 516
Budućnost 518
Biobliografija i dodatna literatura 528
Web stranice 529
Dodaci 531
Tekstualni okvir
1.1 Upotrebe evaluacije 15
1.2 Institut internih revizora i međunarodna organizacija vrhovnih
revizorskih institucija 24
1.3 10 dijelova DAC evaluacionih standarda kvaliteta 31
1.4 Relevantnost: Evaluacija koju je proveo Svjetski program
hrane za pomoć oporavka i olakšanja u Somaliji 36
1.5 Efektivnost: DfID-ova Evaluacija podrške za akciju programa
svjetske hrane u Bangladešu 37
1.6 Efikasnost: Evaluacija Apelacionih fondova za poplavu
u Mozambiku, Komiteta za hitne intervencije kod katastrofa 38
1.7 Utjecaj: Združena evaluacija nužne pomoći Ruandi 39
3.1 Snaga mjerenja rezultata 107
3.3 Deset upotreba rezultata nalaza 131
4.1 Kako provesti analizu dionika 148
4.2 Korištenje fonda znanja o prevenciji kriminala 150
4.3 Pregled literature o programima za poboljšanje uspjeha
učenika u regionu Južne Afrike 156
6.1 Evaluacija intervencije koja nema standarda 226
6.2 Evaluacija politika i intervencija koristeći pitanja sa
ponuđenim odgovorima 228
6.3 Pet etapa procesa evaluacije 238
7.1 Šta otjera slonove? 248
7.2 Funkcioniraju li škole kojima upravlja zajednica?
Evaluacija EDUCO programa u El Salvadoru. 262
Sadržaj ix
7.3 Upotreba dizajna poprečnog presjeka da se odgovori
na opisna pitanja 268
7.4 Primjer dizajna studije slučaja za opisna pitanja 272
7.5 Upotreba prije i poslije dizajna da se odgovori na opisna pitanja 273
7.6 Primjer dizajna prekinutih vremenskih serija za opisna pitanja 273
7.7 Utjecaj programa obuke za posao na otpuštene radnike 276
7.8 Podrška Španije rigoroznom evaluacionom dizajnu 277
8.1 Pravila za prikupljanje podataka 291
8.2 Korištenje strukturiranog pristupa za evaluaciju
poljoprivredne intervencije 292
8.3 Pattonova Kvalitativna lista provjere od 20 pitanja 296
8.4 Mjerenje popularnosti umjetničkih izložbi koristeći nametljive
i nenametljive metode 299
8.5 Korištenje Google Eartha za mapiranje 304
8.6 Pitanja za strukturiranu i polustrukturiranu anketu 317
8.7 Savjeti za formuliranje anketnih pitanja 322
8.8 Opće smjernice za provođenje anketa 328
8.9 Savjeti za pisanje upitnika 328
8.10 Savjeti za vođenje intervjua 332
8.11 Savjeti za provođenje intervjua u raznim kulturama 333
8.12 Savjeti za dizajniranje pitanja za fokusnu grupu 338
8.13 Primjeri pitanja u fokus grupi 339
9.1 Upotreba grupnog uzorkovanja za identifikaciju ljudi
sa AIDS-om za intervju 361
10.1 Primjer kodiranja 378
10.3 Upotreba analize sadržaja da se identificira percipirana korist
od ručnih pumpi 379
10.3 Strategije za elektronsko kodiranje podataka 383
10.4 Savjeti za održavanje kvantitativnih podataka 388
10.5 Izračunavanje standardne devijacije 395
10.6 Smjernice za analizu kvantitativnih podataka ankete 396
11.1 Primjer metodologije evaluacije državnog programa 422
11.2 Združene eksterne evaluacije zdravstvenog sektora
Tanzanije od 1999 do 2006 425
11.2 Nastavak 426
11.3 Primjer tematske evaluacije procjene djece sakupljača
otpada u Africi, Aziji i Evropi 427
12.1 Savjeti za pisanje projektnih zadataka za evaluaciju 445
12.2 Savjeti za rješavanje konflikta 452
12.3 Savjeti za poboljšanje timskog rada 453
13.1 Upotreba inovativnih tehnika komunikacije za povećanje
interesa za rezultate evaluacije 470
x Put do rezultata: dizajniranje i provođenje efektivne razvojne evaluacije

13.2 Savjeti za izradu efektivnih ilustracija 487
13.3 Savjeti za pripremu PowerPoint prezentacije i materijala 490
13.4 Savjeti za korištenje slajdova 490
15.1 Ključna pitanja za dijagnozu vladinog MiE sistema 520
15.2 Osnovne kompetencije programskih evaluatora 524
Definiranje evaluacije 535
OECD DAC Mreža razvojne evaluacije 554
Ilustracije
3.1 Program teorije promjene (logički model) za ostvarenje
ishoda i utjecaja 110
3.2 Primjer programske teorije promjene (logički model) za smanjenje
oboljenja kod djece upotrebom terapije oralne rehidracije 111
3.3 Deset koraka u dizajniranju, izgradnji, i održavanju sistema 113
3.4 Spektar metoda prikupljanja podataka 120
3.5 Identifikacija očekivanog ili željenog nivoa poboljšanja
zahtijeva izbor ciljeva učinka 122
3.6 Ključni tipovi monitoringa 124
3.7 Veze između monitoringa implementacije i monitoringa rezultata 125
3.8 Primjer povezivanja implementacije sa monitoringom rezultata 125
3.9 Postizanje rezultata kroz partnerstvo 126
4.1 Put od ulaznih elemenata do rezultata 152
4.2 Potencijalni utjecaji okruženja na rezultate programa 153
4.3 Proces izrade teorije promjene 155
4.4 Jednostavna teorija promjene za poboljšanje donošenja
odluka Trening evaluatora 157
4.5 Dijagram jednostavne teorije promjene sa identificiranim
ključnim pretpostavkama 159
4.6 Šablon teorije promjene 160
4.7 Teorija promjene za program poboljšanja uspjeha učenika
u čitanju preko posjeta učitelja njihovim domovima 162
4.8 Teorija promjene za program za upotrebu na participativnoj
radionici o smanjenju korupcije u vladi 164
4.9 Standardni grafikon toka 166
4.10 Dijagram toka koji naglašava pretpostavke 167
4.11 Standardni lanac rezultata 167
6.1 Upotreba logičkog modela za formuliranje evaluacijskih pitanja 223
6.2 Pristup razvoju evaluacije 240
8.1 Primjer instrumenta za prikupljanje podataka 307
8.2 Primjerak obrasca opservacije zasnovane na temi 311
8.3 Primjer Obrasca Strukturirane opservacije 312
Sadržaj xi
10.1 Dijagram toka za istraživanje analize sadržaja 381
10.2 Nepopunjen radni list za analizu kvalitativnih podataka 383
10.3 Kompletiran radni list za analizu kvalitativnih podataka 385
10.4 Normalna distribucija 393
10.5 Nenormalne distribucije 394
10.6 Standardne devijacije u normalnoj distribuciji 394
12.1 Primjer Ganttovog grafikona 455
13.1 IFC-ov MATR od dvije faze za praćenje preporuka 475
13.2 Primjer organizacionog dijagrama 478
13.3 Primjer Ganttovog grafikona 479
13.4 Smanjenje prosječne temperature u provinciji A od februara
do juna 2008. 480
13.5 Razlike u rezultatima čitanja u tri škole u distriktu, 2004/2005. 481
13.6 Rezultati roditeljskog testa, varijacije prema regionu 482
13.7 Odgovori na pitanja direktora i pomoćnika se razlikuju 483
13.9 Srednji rezultat testa poređenja rezultata i nivoa razreda 483
13.8 Treći kvartal pokazuje najveće cijene el. energije u kanadskim
dolarima, 2008. 483
13.10 Primjer nepotrebno pretrpanog grafičkog prikaza 488
13.11 Primjer uravnoteženog prikaza gdje je maksimizirana tinta
podataka 488
Slika
13.1 Dječiji doživljaj sela prije intervencije i nakon intervencije 477
Tabele
1.1 Primjeri, evaluacije politike, programa i projekta 14
1.2 Poređenje monitoringa i evaluacije 17
1.3 Promjena pristupa Svjetske banke razvoju 1950 – 2000. 27
1.4 Kriteriji i indikatori za određivanje nezavisnosti od
evaluacione organizacije 33
3.1 Glavne komponente teorije promjene 109
3.2 Matrica za odabir indikatora 118
3.3. Primjer okvira učinka: ishodi i indikatori 118
3.4 Primjer okvira učinka: ishodi, indikatori i bazne linije 121
3.5 Primjer okvira učinka: 123
3.6 Primjer Tabele o izvještavanju o ishodima 129
4.1 Uloga dionika u evaluaciji 146
4.2 Pitanja koja treba postaviti u različitim fazama evaluacije 149
4.3 Logički okvir za program smanjenja smrtnosti djece 171
xii Put do rezultata: dizajniranje i provođenje efektivne razvojne evaluacije

5.1 Vrste dalekosežnih pitanja i način na koji na njih odgovoriti 183
5.2 Osobine tehnika participativne evaluacije i tradicionalne
evaluacije 194
5.3 Svrha, karakteristike, prednosti i izazovi različitih pristupa evaluacije 207
6.1 Kvalitativna pitanja koja se postavljaju tokom različitih faza
ciklusa politike 225
6.2 Matrica za odabir i rangiranje evaluacionih pitanja 232
7.1 Dvije ključne karakteristike eksperimentalnih,
kvazieksperimentalnih i neeksperimentalnih eksperimenata 251
7.2 Četiri vrste revizije učinka 275
7.3 Prednosti i nedostaci uobičajenog eksperimentalnog dizajna 279
7.1 Sažetak ključnih termina i atributa različitih vrsta dizajna 282
8.1 Primjer tabele Odluka za metod prikupljanja podataka 290
8.3 Prednosti i izazovi sastanaka u zajednici 302
8.4 Prednosti i izazovi korištenja dostupnih podataka 309
8.5 Razlozi za korištenje i primjeri opservacije 311
8.6 Upotrebe polustrukturirane opservacije 314
8.7 Prednosti i izazovi opservacionog prikupljanja podataka 316
8.8 Prednosti strukturiranih i polustrukturiranih anketa 318
Strukturirane ankete 318
8.9 Prednosti i izazovi anketa 319
8.10 Nivoi usavršavanja kod određivanja sadržaja ankete 321
8.11 Rezultati kartica građana o zadovoljstvu uslugama infrastrukture 330
8.12 Upotrebe kartica građana 331
8.13 Prednosti i izazovi kartica građana za prikupljanje podataka 331
8.14 Prednosti i izazovi Intervjua 333
8.15 Četiri faze fokus grupe i aktivnosti moderatora 339
8.16 Prednosti i izazovi fokusnih grupa 340
8.17 Smjernice za korištenje dnevnika i žurnala 341
8.18 Prednosti i izazovi dnevnika i subjektivnih lista provjere 342
8.19 Prednosti i izazovi procjene stručnjaka 343
8.20 Prednosti i izazovi Delfi tehnike 346
9.1 Minimalna veličina uzorka potrebna na nivou sigurnosti
od 95 procenata uz 5 procenata margine greške 365
9.2 Veličina uzorka za populacije od 1 milion i više 366
10.1 Savjeti za prikupljanje i analizu kvalitativnih podataka 375
10.2 Potencijalna snaga i izazovi analize sadržaja 382
10.3 Organiziranje i interpretacije kvalitativnih podataka 387
10.4 Procenat urbanizacije po državama za Latinsku Ameriku
i Centralnu Ameriku 392
10.5 Preporučene mjere centralne tendencije po tipu podataka 393
Sadržaj xiii
10.6 Stavovi klijenata o uslugama zdravstvene njege u lokalnoj
klinici (procenat ispitanika) 397
10.7 Stavovi klijenata o uslugama zdravstvene njege u lokalnoj
klinici (procenat ispitanika) 397
11.1 Odabir i upravljanje eksternim evaluacionim timom
i predstavljanje rezultata 420
12.1 Primjer mape zadataka 455
12.2 Greerovih 20 aktivnosti upravljanja projektom 458
13.1 Primjer liste provjere strategije komunikacije za preliminarnu
i dizajn fazu evaluacije 469
13.2 Sistem praćenja preporuka 474
13.3 Dijelovi Grafikona 480
13.4 Vrste i svrhe različitih tipova grafikona 481
13.5 Primjer podataka u tabeli sa više linija 485
13.6 Primjer podataka u tabeli sa manje linija 485
13.7 Primjer klasifikacijske tabele 486
xiv Put do rezultata: dizajniranje i provođenje efektivne razvojne evaluacije

PREDGOVOR
Razvojna evaluacija je uzbudljiva komponenta većeg evaluacionog mozaika.

Bavi se temeljnim, kompleksnim, i pojavnim područjima razvoja. Evalu-
acija mjera smanjena siromaštva, globalizacije i njenog utjecaja na siromašne,
posljedica globalnog zagrijavanja na nerazvijene zemlje, strukturalne nejed-
nakosti globalnih finansijskih sistema i strategija za pomoć postkonfliktnim
zemljama su samo neka od područja gdje razvojna evaluacija daje doprinos razu-
mijevanju naše reakcije na ova goruća pitanja.
Kako raste pritisak na vlade i organizacije da preuzmu odgovornost za
posljedice svojih aktivnosti, za veću odgovornost internih i eksternih dionika za
njihov učinak, i što je najizrazitije za veću razvojnu efektivnost, evaluacija se
javlja kao ključni način na koji se sistematski obrađuju i rješavaju pitanja, „pa
šta?“ Nije dovoljno dokumentovati da je neko zauzet poslom, sada se zahtijeva
da se dokumentuje da je neko (ili nije) efektivan.
Razvojna evaluacija je također pojavno područje ispitivanja. Pronaći načine
evaluacije je teško kada je vladin sistem podataka slab ili nekonzistentan, koru-
pcija informacija iz političkih razloga česta, praznine u informacijama velike i
realne, i ne postoji sigurnost da su pružene informacije pouzdane. U suočavanju
sa ovim izazovima, razvojna evaluacija je elastična, inovativna i kreativna u
pronalaženju načina da se pomogne pružanje informacija građanima, vladinim
službenicima, donatorima, civilnom društvu i medijima o tome ostvaruju li vla-
dini programi zadane ciljeve.
Ova knjiga nastoji dati doprinos jačanju razvojne evaluacije kao alata za
pružanje informacija o izradi i implementaciji politika i programa kao i sistema
uprave uopće. Evaluacija može biti moćan alat javne uprave za poboljšanje
načina na koji vlade i organizacije postižu i ostvaruju rezultate. Njen doprinos
ne završava na pragu javnog sektora. Evaluacija može biti moćan alat za civilno
društvo, nevladine organizacije i donatorske organizacije koje nastoje podržati
razvoj siromašnih.
xv
Materijal u ovoj knjizi je pripremljen na osnovu materijala Međunarodnog
programa za obuku u razvojnoj evaluaciji (IPDET), koji provode Svjetska banka
i Carleton univerzitet (pogledati www.IPDET.org). IPDET okuplja učesnike
iz cijelog svijeta koji provode mjesec dana proučavajući razvojnu evaluaciju.
Materijal u ovom izdanju je elaboracija suštine kursa koji provodi IPDET. Pro-
vodi se sa ciljem proširenja i razmjene sadržaja IPDET kursa sa svim zainte-
resovanim za razvojnu evaluaciju.
Mi, autori, dugujemo mnogim pojedincima koji su dali savjete, čitali dijelove
rukopisa i pružili kritike te nas podstakli da nastavimo ostvarivanje ove knjige.
Kompletna lista ljudi kojima želimo zahvaliti nalazi se na kraju knjige (Dodatak
1). Odabranoj grupi ljudi moramo se zahvaliti ovdje: Michael Patton, Patrick
Grasso, Martin Abrams, Niels Dabelstein, Gregg Jackson, Gene Swimmer i
Nancy Porteous, svi oni su čitali i dali kritiku dijelova knjige. Zahvalni smo im na
njihovom trudu. Santiago Pombo Bejarano, iz Ureda izdavaštva Svjetske banke,
predstavljao je jak vjetar u naša leđa. Njegovo ohrabrivanje da nastavimo rad na
ovom rukopisu nikada nije popustilo. Također, zahvalni smo dvjema osobama
koje su bile naši partneri u ostvarivanju IPDETa na Carleton univerzitetu: Karen
Ginsberg i Barbara Levine. Ne bi bilo knjige da nije bilo IPDET-a. Oni su divni
partneri i divni prijatelji.
Na kraju moramo odati priznanje izvanrednom doprinosu Diane Schulz
Novak, koja je sa nama radila tokom cijelog procesa pisanja i obrade rukopisa.
Njena posvećenost, briga i umješnost u radu sa nama je bila suštinska jer da nje
nije bilo mi ne bismo pisali ovaj predgovor, pošto ne bi bilo ni knjige.
Nas dvoje smo prijatelji i kolege gotovo 30 godina. Prvi put smo se sreli i
počeli raditi zajedno u Uredu za odgovornost američke vlade 1981. godine. Već
više od dekade skupa smo u Svjetskoj banci. Saradnja i prijateljstvo su sve više
jačali. Kako smo dostigli vrhunac naših karijera, u mogućnosti smo evaluacijskoj
zajednici dati ovaj plod našeg zajedničkog rada.
xvi Put do rezultata: dizajniranje i provođenje efektivne razvojne evaluacije

O AUTORIMA
Linda G. Morra Imas je savjetnik u Nezavisnoj evaluacionoj grupi Grupe Svjetske

banke. Nadaleko je poznata kao „majka IPDET-a“, Međunarodnog programa u
obuci za razvojnu evaluaciju i njegov je sudirektor. Savjetuje i obučava monitor-
ing i evaluaciju u zemljama širom svijeta. Vanredni je profesor na univerzitetima
George Washington i Carlton. Dr. Morra Imas pridružila se Grupi banke (Bank
Group) 1996. i vodila je brojne evaluacije. Bila je viši direktor Ureda za odgovo-
rnost Vlade Sjedinjenih Država i čest je svjedok u kongresnim odborima za pro-
grame obrazovanja i zapošljavanja.
Ray C. Rist je savjetnik u Nezavisnoj evaluacionoj Grupi Svjetske banke.
Banci se pridružio 1997. Njegova karijera uključuje 15 godina u Vladi Sjedinje-
nih Država, na dužnostima u izvršnim i legislativnim branšama. Dr. Rist je
održavao akademske termine na Cornell univerzitetu, Johns Hopkins univerzi-
tetu i George Washington univerzitetu. Dr. Rist je bio viši Fulbright stipendist
na Max Planck institutu u Berlinu, Njemačka, 1976/77. Autor je, urednik, ili
zajednički urednik 25 knjiga, pisac 135 članka i predavao je u više od 75 zemalja.
xvii
SKRAĆENICE
ADBA Asian Development Bank (Azijska razvojna banka)

AEA American Evaluation Association (Američka asocijacija evaluatora)
AfDB African Development Bank (Afrička razvojna banka)
ANOVA analysis of variance (analiza varijacije)
ANSI American National Standards Institute (Američki državni institut za standarde)
ASEAN Association of Southeast Asian Nations (Udruženje jugoistočnih azijskih naroda)
BE Business Environment (poslovno okruženje)
CAHMI Child and Adolescent Health Measurement Initiative (Inicijativa za mjerenje zdravlja
djece i adolescenata)
CAQDAS computer-assisted qualitative data analysis software (softver za kompjutersku analizu
kvalitativnih podataka)
CATI computer-assisted telephone interviewing (intervjuiranje telefonom uz pomoć
kompjutera)
CES Canadian Evaluation Society (Kanadsko društvo za evaluaciju)
CESE Central, Eastern, and Southern Europe (Centralna, Istočna, Južna Evropa)
CGD Center for Global Development (Centar za globalni razvoj)
CIDA Canadian International Development Agency (Kanadska međunarodna razvojna
agencija)
CIS Commonwealth of Independent States (Komonvelt nezavisnih država)
CODE Committee on Development Effectiveness (Komitet za razvojnu efektivnost)
CSF Community Support Framework (Okvir za podršku zajednica)
CSR corporate social responsibility (korporativna društvena odgovornost)
DAC Development Assistance Committee (Komitet za pomoć razvoju)

DANIDA Danish International Development Agency (Danska međunarodna razvojna agencija)
DfID Department for International Development (Odsjek za međunarodni razvoj)
DEC Disasters Emergency Committee (Hitni komitet za katastrofe)
EBRD European Bank for Reconstruction and Development (Evropska banka za rekonstru-
kciju i razvoj)
xix
ECI Early Communication Indicator (Indikator rane komunikacije)
EDUCO El Salvador’s Community-Managed Schools Program (Salvadorski školski program
kojim upravlja zajednica)
EET exempt-exempt-taxed (izuzet-izuzet-oporezovan)
ESEA Elementary and Secondary Education Act (Zakon o osnovnom i srednjem obrazovanju)
ESRC Economic and Social Research Council (Savjet za društveno i ekonomsko istraživanje)
EU European Union (Evropska unija)
FAO Food and Agriculture Organization of the United Nations (Organizacija za hranu i poljo-
privredu Ujedinjenih naroda)
FATF Financial Action Task Force on Money Laundering (Radna grupa za finansijske mjere
protiv pranja novca)
FDI foreign direct investment (strano direktno investiranje)
FIT-ED Foundation for Information Technology and Education (Fondacija za razvoj informa-
cionih tehnologija i obrazovanja)
GAD gender and development (spol i razvoj)

GAO Government Accountability Office (Vladin ured za odgovornost)
GDP gross domestic product (bruto domaći proizvod)
GICHD Geneva International Centre for Humanitarian Demining (Ženevski međunarodni centar
za humanitarno deminiranje)
GMI guaranteed minimum income (zagarantovana minimalna primanja)
GPRA Government Performance Results Act (Zakon o rezultatima učinka vlade)
GRPPs Global and Regional Partnership Programs (Globalni i regionalni programi partnerstva)
HIPC Heavily Indebted Poor Countries (Prezadužene siromašne države)

HSSP2 Health Sector Strategic Plan 2 (Strateški plan 2 za sektor zdravstva)
HZZO Croatian Institute for Health Insurance (Hrvatski zavod za zdravstveno osiguranje)
IBSTPI International Board of Standards for Training, Performance, and Instruction

(Međunarodni odbor za standarde za obuku, učinak i instrukcije)
IDEAS International Development Evaluation Association (Međunarodna razvojna evaluaciona
asocijacija)
IDRC International Development Research Centre (Međunarodni razvojni istraživački centar)
IFAD International Fund for Agricultural Development (Međunarodni fond za poljoprivredni
razvoj)
IFC International Finance Corporation (Međunarodna finansijska korporacija)
IISD International Institute for Sustainable Development (Međunarodni institut za održivi
razvoj)
ILO International Labour Organization (Međunarodna organizacija za rad)
IMF International Monetary Fund (Međunarodni monetarni fond)
IOB Policy and Operations Evaluation Department (the Netherlands) (Odsjek za politiku i
operacije) (Holandija)
IOM International Organization for Migration (Međunarodna organizacija za migracije)
IPDET International Program for Development Evaluation Training (Međunarodni program za
obuku razvojnih evaluacija)
xx Put do rezultata: dizajniranje i provođenje efektivne razvojne evaluacije

IRBM integrated results-based management system (integrirani sistem upravljanja zasnovan
na rezultatima)
INTOSAI International Organization of Supreme Audit Institutions (Međunarodna organizacija
krovnih revizorskih institucija)
IOCE International Organisation for Cooperation and Evaluation (Međunarodna organizacija
za saradnju i evaluaciju)
JEEAR Joint Evaluation of Emergency Assistance to Rwanda (Združena evaluacija nužne
pomoći Ruandi)
JICA Japan International Cooperation Agency (Japanska međunarodna agencija za saradnju)
LGAB look good – avoid blame (izgledaj dobro – izbjegavaj probleme)

LOA level of adoption (nivo usvajanja)
LSMS Living Standards Measurement Survey Study (Anketa mjerenja životnog standarda)
MiE monitoring and evaluation (monitoring i evaluacija)

MATR Management Action Tracking Record (Praćenje evidencije aktivnosti menadžmenta)
MBS Modified Budgeting System (Modificirani budžetski sistem)
MDBs Multilateral Development Banks (Multilateralne razvojne banke)
MDGs Millennium Development Goals (Milenijski razvojni ciljevi)
MFPED Ministry of Finance, Planning, and Economic Development (Ministarstvo finansija,
planiranja i ekonomskog razvoja)
MIS management information system (menadžment informacioni sistem)
MMV Medicines for Malaria Venture (Poduhvat-lijekovi za malariju)
MSH Management Sciences for Health (Menadžment nauka za zdravlje)
NAD National Audit Department (Državni ured za reviziju)

NCSTE Chinese National Centre for Science and Technology Evaluation
(Kineski državni centar za naučnu i tehnološku evaluaciju)
NDC notional defi ned-contribution (ugovorno definirani – doprinos)
NEIR TEC Northeast and the Islands Regional Technology in Education Consortium
(Konzorcij sjeveroistočne i ostrvske regionalne tehnologije u obrazovanju)
NGO nongovernmental organization (nevladina organizacija)
NHIFA National Health Insurance Fund Administration (Hungary) (Administracija državnog
fonda zdravstenog osiguranja (Mađarska)
NORAD Norwegian Agency for Development Cooperation (Norveška agencija za razvoj)
NSGPR National Strategy for Growth and Reduction of Poverty (Državna strategija za rast i
smanjenje siromaštva)
NSSI National Social Security Institute (Bulgaria) (Institut državnog socijalnog osiguranja)
(Bugarska)
ODA official development assistance (zvanična razvojna pomoć)

OECD Organisation for Economic Co-operation and Development
(Organizacija za ekonomsku saradnju i razvoj)
PEAP Poverty Eradication Action Plan (Akcioni plan za iskorjenjivanje siromaštva)
Skraćenice xxi
POW Health Sector Program of Work (Program rada zdravstvenog sektora)
PPBS Planning, Programming, and Budgeting System (Planiranje, programiranje i budžetski
sistem)
PPBS Program Performance Budgeting System (Program učinka budžetskog sistema)
PRSP Poverty Reduction Strategies Paper (Dokument strategije smanjenja siromaštva)
RFP request for proposals (zahtjev za ponude)
SDC Swiss Agency for Development and Cooperation (Švicarska agencija za razvoj i
saradnju)
SHIPDET Shanghai International Program for Development Evaluation Training
(Šangajski međunarodni program za razvoj evaluacione obuke)
SIDA Swedish International Development Cooperation Agency (Švedska međunarodna
agencija za razvojnu saradnju)
SIEF Spanish-World Bank Trust Fund for Impact Evaluation (Trust fond za utjecaj evaluacije
Španije i Svjetske banke)
SIR subjective interpretation of reality (subjektivna interpretacija stvarnosti)
SWAps sectorwide approaches (sektorski pristupi)
TI Transparency International
TOR terms of reference (projektni zadatak)
UNDP United Nations Development Programme (Razvojni program Ujedinjenih naroda)

UNEG United Nations Evaluation Group (Evaluaciona grupa Ujedinjenih naroda)
UNEP United Nations Environment Programme (Program okoliša Ujedinjenih naroda)
UNESCO United Nations Educational, Scientifi c and Cultural
Organization (Organizacija za obrazovanje, nauku i kulturu Ujedinjenih naroda)
UNFPA United Nations Population Fund (Populacijski fond Ujedinjenih naroda)
UNHCR United Nations High Commissioner for Refugees (Visoki komesar za izbjeglice
Ujedinjenih naroda)
UNICEF United Nations Children’s Fund (Dječiji fond Ujedinjenih naroda)
UNSD United Nations Statistics Division (Odjel za statistiku Ujedinjenih naroda)
USAID U.S. Agency for International Development (Agencija za međunarodni razvoj
Sjedinjenih Država)
WHO World Health Organization (Svjetska zdravstvena organizacija)

WID women in development (žene i razvoj)
WTO World Trade Organization (Svjetska trgovinska organizacija)
ZUS Social Insurance Fund (Poland) (Fond socijalnog osiguranja) (Poljska)
xxii Put do rezultata: dizajniranje i provođenje efektivne razvojne evaluacije

Uvod
Analitički, konceptualni i politički okvir razvoja se dramatično mijenja. Novi

razvojni program traži šire razumijevanje sektora, država, razvojnih strategija i
politika. Naglašava učenje i stalne povratne informacije u svim fazama razvojnog
ciklusa.
Uistinu, razvojnu evaluaciju možemo smatrati vrstom javnog dobra:
Evaluacija prelazi granice jedne organizacije. Dobra evaluacijska studija može
imati pozitivne efekte prelijevanja širom razvojne zajednice. Razvojna evaluacija
ima karakteristike međunarodnog javnog dobra. (Picciotto i Rist, 1995, str. 23)
Kako razvojni program raste u obimu i kompleksnosti, razvojna evaluacija

to prati. Obzirom da razvojna zajednica poziva na rezultate i prihvatanje Mileni-
jskih razvojnih ciljeva razvojni evaluatori se udaljavaju od tradicionalnih imple-
mentacija i modela evaluacija fokusiranih na izlazne rezultate i idu ka modelima
evaluacije zasnovanim na rezultatima. Fokus se pomjera sa projekata kako bi se
sveobuhvatno obradili državni izazovi, razvojni evaluatori traže metode kojima
će procijeniti rezultate na državnom, sektorskom, tematskom, političkom, pa
čak i na globalnom nivou. Razvojni evaluatori sve više preduzimaju združene
evaluacije imajući u vidu da razvojna zajednica prepoznaje važnost ne samo
1
sveobuhvatnosti nego i koordiniranog pristupa izazovima zemalja u razvoju i
naglašava partnerstvo. Ove združene evaluacije, iako imaju prednost u mnogim
aspektima, povećavaju kompleksnost razvojnih evaluacija (OECD 2006). Pored
toga, razvojni evaluatori sve se više suočavaju sa izazovima mjerenja kod
određivanja učinka pojedine razvojne organizacije u širem kontekstu i sa izazo-
vom identifikacije njenog doprinosa.
Sa pojavom ovog kompleksnijeg i zahtjevnog pristupa razvoju, dizajniranje
evaluacije je postalo teže. Obuhvata intrigantnije metodološke zahtjeve i posta-
vlja visoke standarde za uspostavljanje utjecaja.
Potražnja za novim evaluacionim pristupima i novom mješavinom vještina
ide iznad ekonomije. Urgentna pitanja, kao što su klimatske promjene su poziv za
nove pristupe u evaluaciji održivosti. Održivosti razvoja, opseg problema okoliša,
multinacionalne posljedice, teškoće u pribavljanju uporedivih mjera i ustrajni
dokazi nepredviđenih posljedica, zahtijevaju kompleksan, višemetodski pristup
evaluaciji.
Vrlo je vjerovatno da se od samo jedne discipline ne može očekivati da dominira
nastojanjima i da se suočava sa višestrukim izazovima, nadama i naporima većine
čovječanstva. U odsustvu jedinstvenog intelektualnog uporišta, prelaženje preko
disciplinarnih granica je često, i evaluatori su sve više eklektični i poduzetni u
upotrebi instrumenata društvene nauke. (Picciotto i Rist, 1995, p. 169)
Izgradnja evaluacionih kapaciteta – uspostava evaluacionih jedinica koje su

podučene u praksi i metodama razvojne evaluacije – izazov je s kojim se suočava
većina zemalja u razvoju. Rast državnih asocijacija za evaluacije u zemljama u
razvoju kao i regionalnih evaluacionih grupa je važan prvi korak u povećanju
profesionalizma i razvoju evaluacione zajednice.
U mladoj Međunarodnoj asocijaciji razvojne evaluacije (IDEAS), razvojni
evaluatori sada nalaze međunarodnu profesionalnu organizaciju posvećenu nji-
hovim potrebama. Pomoć u izgradnji kapaciteta razvojne evaluacije je također
i povećanje broja predmeta diplomskog nivoa na univerzitetima i regionalnim
centrima obuke.
Ovaj tekst je namijenjen kao alat za upotrebu u izgradnji kapaciteta razvojne
evaluacije. Također, ima za cilj pomoći razvojnim evaluatorima da razmišljaju i
istraže novu arhitekturu evaluacije, posebno dizajna i da provode evaluacije koje
se fokusiraju na rezultate u suočavanju sa izazovima razvoja.
Međunarodni program obuke za razvojnu evaluaciju (IPDET) pokrenuo
je Odjel za evaluacione operacije (sada Nezavisna evaluaciona grupa [IEG])
Svjetske banke 2001. IEG u partnerstvu sa Carleton univerzitetom, uz podršku
Instituta Svjetske banke, održao je prvi program u Ottawi, Kanada. Od 2003.
godine program nudi jednosedmične i dvosedmične prilagođene verzije IPDET-a,
2 Put do rezultata: dizajniranje i provođenje efektivne razvojne evaluacije

koji je kasnije izvođen u desetini zemalja. Šangajski međunarodni program obuke
za razvojne evaluacije (SHIPDET) uspostavljen je 2007.
Iako je IPDET stalno evoluirao da bi odslikao promjenjivu prirodu razvoja,
ipak ostaje uveliko usmjeren ka svima onima koji rade, ili će raditi, u razvojnim
evaluacijama. Nastoji osigurati generičke alate za evaluaciju razvojnih interven-
cija (politika, programa i projekata) na lokalnom, državnom, regionalnom i glo-
balnom nivou. Namijenjen je evaluacionom osoblju bilateralnih i multilateralnih
razvojnih agencija, vlada zemalja u razvoju, nevladinih organizacija, kao i parla-
mentarnim i privatnim konsultantima.
IPDET-ov okvirni cilj je pojačati znanje, vještine i mogućnosti učesnika da
dizajniraju i provode efektivne razvojne evaluacije za donošenje odluka zas-
novanih na dokazima. Zasniva se na 14 instrukcionih modula koji skupa prika-
zuju put do efektivnih evaluacija razvojnih intervencija.
Ovo izdanje dograđuje i proširuje ove module, predstavljajući sveobuhvatnu
diskusiju o pitanjima s kojima se suočavaju razvojni evaluatori, kao i vodič za
preduzimanje razvojnih evaluacija. Kroz ovaj tekst, mnogo više onih koji rade
u razvoju imat će generičke alate za izradu jakih evaluacija razvojnih rezultata.
Bibliografija
OECD (Organisation for Economic Co-operation and Development). 2006. DAC Guid-
ance for Managing Joint Evaluations. Paris: OECD. http://www.oecd.org/datao-
ecd/28/14/37484787.pdf.
Picciotta, Robert, and Ray C. Rist. 1995. Evaluating Country Development Policies and
Programs: New Approaches for a New Agenda. San Francisco: Jossey-Bass.
Uvod 3
OSNOVE
“ Istinski genij leži u kapacitetu za evaluaciju nepotpunih, iskrivljenih
i proturječnih informacija.“
—WINSTON CHURCHILL
Poglavlje 1: Predstavljanje razvojne evaluacije

• Evaluacija: Šta je to?
• Počeci i historija discipline evaluacije
• Razvoj konteksta razvojne evaluacije
• Principi i standardi za razvojnu evaluaciju
• Primjeri razvojnih evaluacija
Poglavlje 2: Razumijevanje pitanja koja pokreću razvojnu

evaluaciju
• Pregled evaluacije u razvijenim zemljama i zemljama u razvoju
• Implikacije nastupajućih razvojnih trendova
POGLAVLJE 1
Predstavljanje razvojne
evaluacije
U ovom poglavlju predstavljamo definiciju i opće koncepte koji su iza

evaluacije projekata, programa i politika. Zatim se okrećemo evaluaciji
razvojnih intervencija, koje se često nazivaju razvojne evaluacije.
Ovo poglavlje ima pet glavnih dijelova:

• Evaluacija: Šta je to?
• Počeci i historija discipline evaluacije
• Razvoj konteksta razvojne evaluacije
• Principi i standardi za razvojnu evaluaciju
• Primjeri razvojnih evaluacija
7
Evaluacija: Šta je to?
Da bi počeli razumijevanje razvojne evaluacije, važno je razumjeti šta se misli

pod evaluacijom, njenu svrhu i kako se može koristiti. U ovom dijelu poglavlja:
• definiramo evaluaciju;
• identificiramo svrhu evaluacije;
• navodimo koristi evaluacije;
• ukazujemo šta evaluatori evaluiraju;
• opisujemo upotrebe evaluacije;
• istražujemo odnos između monitoringa i evaluacije i
• identificiramo uloge i aktivnosti profesionalnih evaluatora.
Definicija evaluacije
Evaluacija je definirana na više načina. Oxford engleski rječnik evaluaciju

■■ Evaluacija: definira kao:
Određivanje
1. aktivnost ocjenjivanja ili vrednovanja (dobara, itd.), proračun ili izjava o vrije-
vrijednosti
dnosti; 2. aktivnost evaluiranja ili određivanja vrijednosti (matematičkog izraza,
projekta,
programa ili fizičke količine, itd.) ili procjenu sile vjerovatnoće, dokaza itd.
politike
Unutar discipline termin evaluacija je dobio razna značenja. Razlike u defini-
cijama odslikavaju različit naglasak na svrhu evaluacije – odgovornost nasuprot
učenja – ili raspored evaluacije u odnosu na tok programa, projekta ili politike.
Uistinu, ne postoji univerzalno slaganje o samoj definiciji.
Ustvari, kada razmatra ulogu jezika u evaluaciji, Michael Scriven, jedan od
osnivača moderne evaluacije, nedavno je primijetio da postoji gotovo šezdeset
različitih termina koji se primjenjuju na jedan ili drugi kontekst. Ovo uključuje:
osuđivanje, ocjenjivanje, analizu, procjenu, kritiku, ispitivanje, gradiranje, ins-
pekciju, donošenje suda, stopu, rangiranje, pregled, rezultat, studiju, test. (...)
(Fitzpatrick, Sanders, i Worthen 2004, str. 5)
Većina definicija evaluacije uključuje koncept prosuđivanja vrijednosti subje-

kta evaluacije. Uistinu, ovo „vrednovanje“ se koristi da se napravi razlika između
aktivnosti evaluacije i istraživanja i monitoringa.
Definicija koja se koristi u ovom izdanju je iz Glosara Organizacije za ekono-
msku saradnju i razvoj (OECD) / Razvojnog komiteta za pomoć (DAC) (OECD
2000, str. 21):
Evaluacija je proces, obično sistematičan i objektivan koliko je to moguće,
kojim se određuje vrijednosti ili značaj aktivnosti, politike ili programa, planirane
intervencije, intervencije u toku ili završene intervencije.

Evaluacije mogu biti formativne, sumativne ili prospektivne:
Formativne evaluacije su evaluacije namijenjene poboljšanju učinka, a najčešće se
provode tokom faze implementacije projekata ili programa. Formativne evaluacije
također se mogu provoditi iz drugih razloga, kao što je sukladnost, pravni zahtjevi
ili kao dio veće evaluacione inicijative. Sumativne evaluacije, za razliku od forma-
tivnih, studije su koje se provode na kraju intervencije (ili faze te intervencije) da
bi se odredio stepen u kom su ostvareni namjeravani ishodi. Sumativna evaluacija
ima namjeru pružiti informacije o vrijednosti programa. (OECD 2002,str. 21-22)
Formativna evaluacija ispituje načine na koje se implementira program,

politika ili projekt. Ispituje da li pretpostavljena „operativna logika“ odgovara
stvarnim operacijama i identificira (neposredne) posljedice koje implementacija
proizvodi. Ova vrsta evaluacije se provodi tokom faze implementacije projekta
ili programa. Formativne evaluacije se ponekad nazivaju evaluacije procesa, zato
što se fokusiraju na operacije. ■■ Formativna
Primjer formativne evaluacije je evaluacija koja se provodi u Međunarodnom evaluacija:
centru istraživanja razvoja (IDRC) za evaluaciju inicijative upravljanja prirodnim Evaluacija
načina na koji se
resursima u Latinskoj Americi i Karibima (poznat kao Minga) (Adamo 2003).
implementira
Opći cilj Minga inicijative je bio doprinos formiranju profesionalaca, žena i program,
muškaraca, za upravljanje prirodnim resursima, u Boliviji, Ekvadoru i Peruu. politika ili
Jedna komponenta programa inicijative koja je interesovala IDRC je bilo projekt
pitanje podizanja svijesti o spolovima. Da bi više saznali o tome kako se pitanje
spolova uvodi u program, IDRC je tražio formativnu evaluaciju. Metodologija
za formativnu evaluaciju počela je pregledom programske dokumentacije koja
se odnosi na usmjeravanje pitanja spolova i aktivnosti. Evaluatori su također
pregledali izvještaje sa putovanja da procijene u kom stepenu je pitanje spolova
obrađivano tokom posjeta. Provedeni su intervjui sa članovima osoblja programa
da se ispitaju njihovi napori i iskustva na uvođenju rodnih pitanja u njihov rad i
lekcije koje su pritom naučili.
Jedna vrsta formativne evaluacije je srednjoročna evaluacija ili evalu-
acija srednje tačke. Kako sam naziv implicira, srednjoročna evaluacija se pro-
vodi oko sredine projekta, programa ili promjene u politici. Svrha srednjoročne
evaluacije je pomoći da se identificira koje značajke rade dobro, a koje ne rade.
Srednjoročna evaluacija može početi sa fokusiranjem na naučene lekcije, kao i
na relevantnost, efektivnost i efikasnost. Naučene lekcije su važne za vođenje
budućih intervencija i poboljšanje trenutnih.
Predstavljanje razvojne evaluacije 9

Sumativna evaluacija, koja se često naziva evaluacija ishoda ili utjecaja,
provodi se na kraju intervencije ili na zrelim intervencijama da se odredi stepen
■■ Sumativna u kom su željeni rezultati realizirani. Sumativna evaluacija ima za cilj pružiti
evaluacija: informacije o vrijednosti i utjecaju programa. Sumativne evaluacije uključuju
Evaluacija koja evaluacije utjecaja, istraživanja isplativosti, kvazieksperimente, nasumične
se provodi na
eksperimente i studije slučaja.
kraju interven-
cije da se odredi Primjer sumativne evaluacije je evaluacija koju je uradila Azijska razvo-
stepen u kom jna banka (ADB) da evaluira Drugi finansijski sektorski program u Mongoliji
su ostvareni (ADB 2007). Program je uključivao reformu finansijskog sektora iz jednoba-
željeni rezultati nkarskog sistema u dvorazinski sistem uz podršku ADB-a. Sumativna evalu-
acija je urađena na kraju druge faze ovog programa. Sumativne evaluacije
se koriste da odgovore na pitanja relevantnosti, učinka, utjecaja, održivosti,
eksternih programa i naučenih lekcija.
Razlika između formativne i sumativne evaluacije može se postaviti ovako:
• Formativne evaluacije se fokusiraju na implementaciju projekta, programa ili
politike i poboljšanja iste.
• Sumativne evaluacije se fokusiraju na rezultate. Omogućavaju ljudima da
donesu odluke u vezi sa nastavkom, repliciranjem, povećanjem ili završetkom
datog projekta programa ili politike.
Tipično, obje vrste evaluacija su potrebne i organizacije ih koriste u različito
vrijeme u ciklusu projekta, programa ili politike.
Prospektivna evaluacija procjenjuje vjerovatne ishode predloženih pro-
jekata, programa ili politika. Unekoliko je slična procjeni evaluabilnosti.
Procjena evaluabilnosti odgovara na pitanja: „Je li ovaj program ili projekt
vrijedan evaluiranja?“ i „Hoće li dobit biti vrijedna uloženih napora/resursa?“
Prospektivna evaluacija spaja evaluacione nalaze iz ranijih studija da procijeni
vjerovatne ishode predloženih novih projekata, programa ili politika. Na pri-
■■ Prospektivna mjer, kongresni komiteti u Sjedinjenim Državama često traže savjet od Vladi-
evaluacija: nog Ureda za odgovornost (GAO) za prognozu vjerovatnih ishoda predložene
Evaluacija legislative.
vjerovatnih
Stariji, ali interesantan, primjer prospektivne evaluacije je studija trudnoće
ishoda
predloženih maloljetnica iz 1986, koju je proveo GAO, “Trudnoće maloljetnica: 500.000
projekata, porođaja godišnje, ali nekoliko testiranih programa” (U.S. GAO 1986). Ova
programa ili evaluacija koristila je četiri procedure: analizirala je glavne odlike dva kongre-
politika sna zakona, pregledala statistiku o stepenu maloljetničke trudnoće, istražila
karakteristike federalnih i nefederalnih programa i pregledala evaluacione
studije o efektivnosti prethodnih programa za pomoć trudnicama i malolje-
tnim roditeljima kao i maloljetnicama pod rizikom da zatrudne. Evaluatori su

rekonstruirali temeljnu programsku teoriju i operativnu logiku oba kongre-
sna zakona da bi otkrili zašto se vjerovalo da će ove inicijative raditi kao što
je predloženo u legislativi. Zatim su usporedili nađene dokaze sa odlikama
predložene legislative.
Ova vrsta prospektivne evaluacije se ponekad naziva ex ante (prije činjenice)
evaluacija (Rossi i Freeman 1993). Ex ante ili prospektivna evaluacija često
uključuje rekonstrukcije programske teorije ili procjenu i studiju scenarija kao
i sažetke postojećih istraživanja i evaluacija da se osigura empirijska potpora
predloženim inicijativama.
Svrha evaluacije
Evaluacija se može koristiti u različite svrhe. Unutar discipline, postoje različita

gledišta o tome šta svrha ili cilj evaluacije treba biti u datom kontekstu.
Preovladavajuće gledište je da evaluacija ima četiri osobite svrhe:
• etičku svrhu: izvijestiti političke vođe i građane o tome kako je politika ili pro-
gram implementiran i koji rezultati su ostvareni; ova svrha kombinira ciljeve
korištenja bolje odgovornosti, obrade informacija i služenja demokratiji;
• menadžersku svrhu: ostvariti racionalniji raspored finansijskih i ljudskih
resursa među „konkurentnim“ programima, poboljšati upravljanje pro-
gramom, povećati koristi od programa;
• svrha odlučivanja: utiranje puta za odluke o nastavku, prekidu ili preobli-
kovanju politike ili programa;
• obrazovnu i motivacionu svrhu: pomoći edukaciju i motivirati javne age-
ncije i njihove partnere omogućavajući im da razumiju procese na kojima su
angažovani i da se identificiraju sa ciljevima (Scientific and National Councils
of Evaluation 1999).
Prominentni evaluatori u polju opisuju sljedeće svrhe evaluacije:
• Ostvariti socijalni boljitak;
• Promovirati njegovanje deliberativne demokratije;
• Osigurati nadzor i usklađenost;
• Osigurati odgovornosti i transparentnost;
• Izgraditi, razmijeniti i upravljati znanjem;
• Doprinijeti organizacionom poboljšanju;
• Promovirati dijalog i saradnju među ključnim dionicima;
• Odrediti relevantnost, implementaciju, efikasnost, efektivnost, utjecaj i
održivost projekta, programa ili politike;

• Generirati naučene lekcije.
Chelimsky i Shadish (1997) uzimaju globalnu perspektivu proširujući konte-
kst evaluacije na svjetske izazove. Izazovi koje navode uključuju utjecaj novih
tehnologija, demografske neravnoteže među nacijama, zaštitu okoliša, održivi
razvoj, terorizam, ljudska prava i druga pitanja koja prevazilaze jedan program
ili čak i jednu državu.
Ultimativno, svrha svake evaluacije je pružiti informacije onima koji donose
odluke da im se omogući da donesu bolje odluke o projektima, programima ili
politikama.
Evaluacija treba pomoći onima koji donose odluke da razumiju šta je vjero-
vatno da se desi, šta se dešava ili šta se desilo zbog intervencije i identificirati
načine da se prikupi više željenih koristi.
Koristi evaluacije
Evaluacija pomaže da se odgovori na pitanja o intervenciji kao što su sljedeća:
• Koji su utjecaji intervencije?

• Radi li intervencija prema planu?
• Postoje li razlike između lokacija u tome kako se intervencija izvodi?
• Ko ima korist od intervencije?
Ljudi imaju korist od evaluacije na različite načine. Neki imaju direktnu

korist. Drugi imaju indirektnu korist – ljudi koji nisu uključeni u intervenciju,
ali ipak ubiru korist iz nje. Neke intervencije daju kratkoročnu korist, a druge
osiguravaju korist na duži period.
Da bi ilustrirali kako ljudi imaju korist na razne načine, razmotrimo sljedeći
primjer.
Odsjek za stambenu politiku i urbani razvoj Sjedinjenih Država (1997) evalu-
irao je ponoćni košarkaški program za dječake i djevojčice od 16 do 20 godina
koji stanuju u javnom smještaju. Provedene su ankete među učesnicima prije i
poslije implementacije programa. Nalazi ankete su pokazali da je prije programa,
92 procenta ispitanika izjavilo da očekuju da će upasti u neku vrstu nevolje, a
dvije trećine je mislilo da će biti žrtve nasilništva u sljedeća tri mjeseca. Nakon
implementacije košarkaškog programa, 20 procenata ispitanika izjavilo je da
očekuju da će upasti u neku vrstu nevolje, a samo 5 procenata očekivalo je da će
biti žrtve kriminala.
Evaluacija ponoćnog košarkaškog programa pokazala je smanjenje od 78 pro-
cenata maloljetničkog kriminala među mladima od 16 do 20 godina u okruzima,
gdje je lociran razvoj javnog smještaja. Primarni razlog za smanjenje, prema

ispitanicima iz ankete, bio je da im je program ponoćne košarke dao nešto pozi-
tivno da rade. U ovom primjeru programa učesnici su imali direktnu korist od
programa, za koji vjeruju da im je pomogao kloniti se nevolja i izbjeći da postanu
žrtve nasilnog kriminala.
Stanovnici zajednice su također anketirani. Ispitanici su izrazili osjećaj da
su zajednica i njihova djeca sigurnija zbog programa ponoćne košarke. U ovom
slučaju, stanovnici zajednice imaju indirektnu i najmanje kratkoročnu korist
(zavisno od toga koliko dugo korist traje). Iako nisu uključeni u program, osjećaju
se sigurnije kao rezultat toga.
Navedeni sumarni nalazi mogu se koristiti da se stanovnicima i zajednici u
cjelini pokaže da je ovaj program bio uspješan u prevenciji i smanjenju nasilja.
Programski administratori također mogu predstaviti nalaze gradskom vijeću da
opravdaju zahtjeve za nastavak finansiranja. Administratori programa imaju indi-
rektnu korist ako im nastavak finansiranja omogući da duže zadrže posao.
Društvo u cjelini također ima dugoročnu korist ako mladi ljudi ne idu u
zatvor, zato što ne snosi troškove rehabilitacije i gubitka proizvodnje. Ti mladi
ljudi možda mogu postati upotrebljivi, produktivni, građani koji plaćaju poreze, a
ne ljudi koji će ležati u zatvoru.
Evaluacija također može pružiti informacije o procesu implementacije pro-
grama. Druge javne stambene agencije (nenamjeravani korisnici) će biti u stanju
okoristiti se naučenim lekcijama tokom faze implementacije programa evaluacije
koja nakon toga slijedi.
U drugom primjeru, intervencija gradi i održava postrojenje za tretman vode
da bi se osigurala pitka voda stanovnicima. Direktna neposredna korist je čista
pitka voda stanovnicima. Dugoročna direktna korist pojedincima u zajednici i
zajednici u cjelini bila bi smanjenje slučajeva oboljenja koja se prenose vodom.
Indirektna srednjoročna korist može uključiti privlačenje industrije u zajednicu
zato što ima pitku vodu.

Šta evaluirati
Evaluacije mogu posmatrati više različitih aspekta razvoja (Tabela 1.1). Ovo su
neki aspekti koji mogu biti evaluirani:
• projekti: jedna intervencija na jednoj lokaciji ili implementacija jednog pro-
jekta na nekoliko lokacija;
• programi: intervencija koja uključuje razne aktivnosti ili projekte koji imaju
namjeru doprinijeti zajedničkom cilju;
• politike: standardi, smjernice ili pravila koja uspostavlja organizacija da regu-
lira razvojne odluke;
• organizacije: više programa intervencije koje vrši organizacija;
• sektori: intervencije na području određene politike, kao što je obrazovanje,
šumarstvo, poljoprivreda ili zdravstvo;
• teme: određena pitanja, često poprečnog presjeka, kao što je jednakost spo-
lova ili globalna javna dobra;
• državna pomoć: napredak države u odnosu na plan, ukupni efekat pomoći i
naučenih lekcija.
Upotrebe evaluacije
Rezultati evaluacije mogu se koristiti na više načina. Evaluacije klijentima,

vladinim agencijama, nevladinim organizacijama (NVO), javnosti i mnogim
drugima pružaju povratne informacije o politikama, programima i projektima.
Rezultati pružaju informacije o tome kako se koriste javna sredstva. Menadžerima
i onima koji donose odluke mogu dati informacije o tome šta funkcionira, a šta ne
funkcionira u smislu zadovoljavanja originalnih ili revidiranih ciljeva.
Tabela 1.1 Primjeri, evaluacije politike, programa i projekta

Primjena
Vrsta evaluacije Privatizacija vodenih sistema Preseljavanje
Evaluacija politike Poređenje modela pristupa Poređenje strategija koje su korištene
privatizacije zaliha vode da se seljani premjeste na nova
područja
Evaluacija Procjena fiskalnog menadžmenta Procjena stepena u kom su preseljeni
programa vladinih sistema seoski farmeri održali prethodna
sredstva za život
Evaluacija projekta Poređenje poboljšanja u stepenu Procjena prakse proizvodnje na
naplate u dvije provincije farmama preseljenih farmera u jednoj
provinciji
Izvor: Autori.

Evaluacija može pomoći izgraditi odgovornost za projekte, programe i poli-
tike i za to kako koriste javna sredstva. Mogu identificirati projekte, programe i
politike za replikaciju, povećanje, poboljšanje ili moguće ukidanje.
Weiss (2004) naglašava važnost identifikacije namjeravane upotrebe evalu-
acije od početne faze planiranja. „Ako ne možete identificirati i artikulirati
primarne namjeravane korisnike i upotrebe evaluacije tada evaluaciju ne treba
provoditi“- ona primjećuje - „evaluacija koja se ne koristi je traćenje dragocjenih
ljudskih i finansijskih resursa“ (str.1).
Od početka do kraja, proces evaluacije treba biti dizajniran i izvršen prema
potrebama primarnog ciljanog korisnika. Primarni korisnici će nositi odgovo-
rnost za promjene u implementaciji zasnovane na njihovom uključenju u proces
ili nalaze evaluacije.
Evaluacije mogu služiti u nekoliko svrha i upotreba (Tekstualni okvir 1.1) i
mogu:
• pomoći da se analizira zašto su namjeravani rezultati ostvareni ili nisu
ostvareni;
• istražiti zašto je bilo nenamjeravanih rezultata ili posljedica;
• procijeniti kako i zašto su određene aktivnosti utjecale na rezultate;
• osvijetliti proces implementacije, neuspjehe, ili uspjehe koji su nastali na bilo
kom nivou;
• pomoći osigurati lekcije, označiti područja ostvarenja i potencijala i dati
određene preporuke za poboljšanje i reformu.
Ukratko, evaluacije mogu biti korisne pri fokusiranju na:
• široku političku strategiju i pitanja dizajna („Radimo li pravu stvar?“);
• operativna pitanja i pitanja implementacije („Radimo li stvari pravilno?“) i
• postoje li bolji načini pristupa problemu („Šta učimo?“).
Tekstualni okvir 1.1 Upotrebe evaluacije

Evaluacija se može koristiti na razne načine:
• da pomogne donošenje odluka o raspodjeli resursa;

• da pomogne promišljanje o uzroku problema;
• da se identificiraju problemi koji se pojavljuju;
• da se podrži donošenje odluka o konkurentnim ili najboljim alternativama;
• da se podrži inovacija i reforma javnog sektora i
• da se izgradi konsenzus o uzrocima problema i načinu reagovanja na
probleme.

Odnos između monitoringa i evaluacije
Dosljednosti radi, koristimo definiciju monitoringa iz OECD/DAC Glosara

■■ Monitoring: ključnih termina u evaluaciji:
Prikupljanje
podataka kojima
Monitoring je stalna funkcija koja koristi sistemsko prikupljanje podataka o
menadžeri određenim indikatorima da bi se menadžmentu i glavnim dionicima tekuće razvo-
mogu procijeniti jne intervencije osigurali pokazatelji stepena napretka i ostvarenja ciljeva i napre-
stepen u kom tka u upotrebi dodijeljenih sredstava.
se ostvaruju (OECD 2002, str 27-28)
ciljevi
Monitoring je rutinska, tekuća, interna aktivnost. Koristi se za prikupljanje
informacija o aktivnostima programa, izlaznim rezultatima i ishodima za praćenje
učinka.
Primjer sistema monitoringa je slučaj kada je Ministarstvo zdravlja Mala-
vija koristilo 26 indikatora da uradi monitoring kvaliteta zdravstvenih usluga
koje se pružaju u Centralnoj bolnici. Indikatori uključuju broj pacijenata koje
su pregledali specijalisti u četiri sedmice, broj smrtnih slučajeva pacijenata, broj
direktnih akušerskih smrtnih slučajeva u odjeljenju i broj dana koji su pacijenti
proveli u bolnici (Government of Malawi 2007).
Redovno pružanje podataka i trendove pokazatelja osigurava ministarstvo
zdravlja. Svako dramatično osciliranje se može istražiti. Značajno povećanje
smrtnih slučajeva pacijenata, na primjer, može odslikati visok stepen bolničkih
infekcija koje treba odmah smanjiti. Značajno smanjenje stepena infekcije može
sugerirati da je upotreba dezinfekcionog sredstva efektivna, sugerišući da njegovu
upotrebu treba promovirati.
Evaluacije se generalno provode da odgovore na „zašto“ pitanje koje stoji iza
monitoringa podataka – pitanja kao što su zašto je došlo do povećanja carskih
rezova u 5 bolnica ili zašto 3 od 50 lokacija imaju visok stepen preživljavanja kod
prijevremeno rođenih beba. Evaluacije su također potrebne da se rezultati pripišu
određenoj intervenciji, a ne drugim mogućim uzrocima.
Monitoring i evaluacija mjere i ocjenjuju učinak, ali to rade na različit način i
u različito vrijeme (Tabela 1.2).
• Monitoring se vrši tokom implementacije projekta ili programa.
• Evaluacija je periodična ocjena učinka programa ili projekta. Nastoji odgovo-
riti na pitanje „zašto?“
Monitoring je interna aktivnost koju provodi osoblje projekta. Generalno
je uprava projekta odgovorna za provođenje monitoringa i upotrebu rezultata.
Nasuprot ovome, evaluacija se može vršiti interno ili eksterno. Monitoring je
zajednička odgovornost evaluatora i članova osoblja. (Insideout 2005).

Tabela 1.2 Poređenje monitoringa i evaluacije
Monitoring Evaluacija
Tekuća, stalna, Periodična i vremenski vezana
Interna aktivnost Interna, eksterna ili participativna
Odgovornost menadžmenta Odgovornost evaluatora skupa sa
osobljem i menadžmentom
Stalne povratne informacije za Periodične povratne informacije
poboljšanje učinka programa
Izvor: Insideout 2005.
Uloge i aktivnosti evaluatora
Kako su se koncept i svrha evaluacije vremenom razvijali, tako su se razvijale

i uloga i aktivnosti evaluatora. Evaluatori imaju višestruku ulogu i uključuju se
u brojne aktivnosti. Njihova uloga zavisi od prirode i svrhe evaluacije. Kao što
Fitzpatrick, Sanders, i Worthen (2004, str. 28) primjećuju: “Evaluatori imaju više
uloga, uključujući ulogu stručnjaka, medijatora, planera, saradnika, da pruže
pomoć onima koji donose odluke, i ulogu kritičkog prijatelja.“ Također djeluju
kao sudije, povjerljivi ljudi, učitelji i izvršitelji društvenih promjena.
Ko provodi evaluaciju?
Evaluatori mogu biti dio interne, eksterne ili participacijske evaluacije. OECD/ ■■ Interna
DAC definira internu evaluaciju kao: evaluacija:
Evaluacija koju
Evaluaciju razvojne intervencije koju provodi jedinica ili pojedinci koji su odgovo- provode ljudi
rni menadžmentu donatora, partnera ili organizacije koja implementira tu razvojnu unutar
intervenciju. (2002, str.26) organizacije
Eksternu evaluaciju definira kao: ■■ Eksterna

evaluacija:
Evaluaciju razvojne intervencije koju provode entiteti i/ili pojedinci izvan donatora, Evaluacija koju
partnera i organizacije koja implementira (2002, str. 23) provode ljudi
izvan organiza-
Postoje prednosti i mane upotrebe internih i eksternih evaluatora. Interni
cije
evaluatori obično znaju više o programu, projektu ili politici nego što to znaju
ljudi sa strane. Osoba koja razvija i upravlja intervencijom može također upra-
vljati i evaluacijom. Ti ljudi obično znaju više o historiji, organizaciji, kulturi,
o onima koji su uključeni i problemima i uspjesima. Zbog tog znanja, interni
evaluatori mogu biti u mogućnosti postavljati najrelevantnija i najumjesnija
pitanja, znaju gdje otići unutar organizacije da otkriju šta se zaista događa.
Ova prednost također može biti i nedostatak. Interni evaluatori mogu biti toliko
bliski programu, projektu ili politici tako da ih ne vide jasno i nisu u mogućnosti

prepoznati rješenja i promjene koji drugi mogu vidjeti. Interni evaluatori mogu
imati nedostatak koji se ogleda u tome što mogu biti subjekt pritiska ili utjecaja
onih koji donose odluke o programu a ujedno donose odluke o rasporedu osoblja.
Mogu cijelu organizaciju posmatrati samo iz vlastite pozicije u kojoj se nalaze u
organizaciji. Pored toga, eksterni dionici mogu njihove nalaze doživljavati kao
manje kredibilne nego nalaze vanjskih evaluatora.
Eksterni evaluatori obično imaju više kredibiliteta i donose percepciju obje-
ktivnosti evaluaciji. Pored toga, većina eksternih evaluatora ima više specija-
lizirane vještine, koje mogu biti potrebne za se izvrši efektivna evaluacija. Oni su
također nezavisni od administracije i finansijskih odluka o programu (Fitzpatrick,
Sanders, i Worthen 2004).
Eksterna evaluacija nije garant nezavisnih i kredibilnih rezultata, posebno ako
konsultanti imaju prethodne veze sa programom. Eksterni konsultanti također
mogu previše ugađati upravi nadajući se da će dobiti još posla u budućnosti.
Participacijske evaluacije se sve više smatraju trećim evaluacionim metodom.
Participacijski evaluatori rade zajedno sa predstavnicima agencija i dionicima na
dizajniranju, izvođenju i interpretaciji evaluacije (OECD 2002). Participacijska
evaluacija se razlikuje od internih i eksternih evaluacija u nekim osnovama.
Participacijska evaluacija predstavlja naredni i radikalniji korak od modela neza-
visne evaluacije. (...) to je oblik evaluacije gdje razlika između stručnjaka i laika,
istraživača i istraživanog nije naglašena i redefinira se. (...) Evaluatori (...) (djeluju)
uglavnom (kao) medijatori i instruktori koji drugima pomažu da naprave procjenu
(Molund i Schill 2004, str. 19)
Treba obratiti pažnju na razliku između participacijske evaluacije i participa-

tivnih metoda. Participativni metodi se mogu koristiti na internom i eksternom
metodu. Također, se mogu koristiti u internim i eksternim evaluacijama.
Aktivnosti evaluatora
Evaluatori vrše aktivnosti koje odgovaraju njihovim raznolikim ulogama. Interni
evaluatori mogu izrađivati i dizajnirati programe ili projekte, implementirati i
dostizati strategije. Eksterni evaluatori obično ograničavaju svoje uključenje u
upravljanju programom. Svi evaluatori generalno
• se konsultiraju sa svim glavnim dionicima;
• upravljaju budžetom evaluacije;
• planiraju evaluaciju;
• obavljaju ili vrše evaluaciju ili angažiraju izvođača da to uradi;
• identificiraju standarde za efektivnost (na osnovu dokumenata za ovlaštenje ili
drugih izvora);
• prikupljaju, analiziraju, interpretiraju i izvještavaju o podacima i nalazima.

Da bi ostvarili ciljeve, evaluatori trebaju imati razne vještine. Kao dio evalu-
acijskog procesa, mogu pomoći izgradnju znanja i diseminaciju naučenih lekcija.
Nastanak i historija evaluacije kao discipline
Moderna disciplina evaluacije nastala je iz društveno naučnog istraživanja,

koje se zasniva na naučnim metodima. Ali, evaluacija ima drevnu tradiciju.
Uistinu, arheološki dokazi pokazuju da su drevni Egipćani redovno pratili rezu-
ltate proizvodnje usjeva i stoke u državi prije više od 5000 godina. Drevni Kinezi
i Grci također su provodili evaluaciju:
U javnom sektoru, formalna evaluacija evidentna je još od 2000. prije nove ere,
kada su kineski zvaničnici proveli ispitivanje javne službe da izmjere stručnost kandi-
data za pozicije u vladi. I u obrazovanju, Sokrat je koristio verbalne evaluacije kao
dio procesa učenja. (Fitzpatrick, Sanders, i Worthen, str. 31)
Neki stručnjaci prate nastanak metoda moderne evaluacije od početka priro-

dnih nauka i naglašavanja uočenih fenomena (empirijski metod) u 17. stoljeću.
U Švedskoj, ad hoc komisije za donošenje politike su vršile neku vrstu evalu-
acije. Uistinu, sistem komisija se još uvijek koristi u Švedskoj danas, sa neko-
liko stotina komisija koje trenutno postoje.
U 1800-tim, evaluacija obrazovanja i društvenih programa počela se ukorje-
njivati u nekoliko anglosaksonskih zemalja. Program evaluacije provodile su u
Britaniji komisije koje je imenovala vlada a koje su pozivane da istraže i evalu-
iraju nezadovoljstvo obrazovnim i društvenim programima. Današnji eksterni
inspektorati za škole izrasli su iz tih ranijih komisija.
U Sjedinjenim Državama pionirska nastojanja zabilježena su tokom 1800-tih
da se ispita kvalitet školskog sistema koristeći testove učinka. Ova nastojanja su
nastavljena do današnjih dana, kada su rezultati učinka učenika ostali ključna
mjera za određivanje kvaliteta obrazovanja u školama.
Počeci akreditacije za srednje škole i univerzitete u Sjedinjenim Državama tako-
đer su zabilježeni tokom ovog perioda.

Historija evaluacije u 20. stoljeću
Formalna evaluacija i akreditacija medicinskih škola u Sjedinjenim Državama

i Kanadi prvi put je uvedena u ranim 1900-tim. Druga područja istraživanja/
mjerenja i evaluacije tokom ovog perioda uključivala su zdravstvo, stambenu
politiku, produktivnost rada, demokratsko i autoritativno vođstvo i standardi-
zovano obrazovno testiranje. Većinom su to bili napori manjih razmjera koje
su provodile vladine agencije i socijalne službe.
Rossi i Freeman (1993) su pratili posvećenost sistematskim evaluacijama pro-
grama u Sjedinjenim Državama na prelazu stoljeća, kojima se nastojala povećati
pismenost, osigurati obuka za zanimanja i smanjiti smrtnost od zaraznih bolesti.
U razvojnoj areni, „pokušaj da se uvede prokuhavanje vode kao praksa javnog
zdravlja u selima na Bliskom istoku je jedna od znamenitih studija u empirijskoj
sociološkoj literaturi pred Drugi svjetski rat“ (Rossi i Freeman 1993, str. 10).
Primijenjena socijalna istraživanja ubrzano su rasla u Sjedinjenim Državama
nakon što je predsjednik Franklin D. Roosvelt uveo „New Deal“. Federalna
vlada se ubrzano povećavala kako su se stvarale nove agencije za upravljanje i
implementaciju državnih programa. Ovi programi uključivali su poljoprivredne
subvencije farmerima, javne radove i izradu programa zapošljavanja, ruralnu
elektrifikaciju i socijalnu sigurnost. Zato što su ovi programi velikih razmjera
bili novi i eksperimentalni u prirodi, rasla je i potreba za evaluacijom njihove
efektivnosti u rastućoj ekonomiji, osiguranju radnih mjesta i uvođenju socijalne
zaštite.
Potreba za evaluacijom povećana je tokom i nakon Drugog svjetskog rata,
pošto su dizajnirani i preduzimani programi velikih razmjera za vojsku, urbano
stanovanje, obuku za radna mjesta i za zdravstvo. Također se tokom ovog peri-
oda poklanjala pažnja međunarodnim programima koji su uključivali planiranje
porodice, zdravlje, ishranu i razvoj ruralne zajednice. Troškovi su bili veliki i
konsenkventno praćeni potražnjom za poznavanjem rezultata.
U 1950-tim i 1960-tim, evaluacija se počela koristiti više rutinski u Sjedinjenim
Državama i Evropi u procjeni programa u vezi sa: obrazovanjem, zdravljem i
mentalnim zdravljem, uslugama za ljude, prevencijom prijestupništva i rehabili-
tacijom kriminalaca. Program predsjednika Lyndon B. Johnsona “Rat siromaštvu“
tokom 1960-tih stimulirao je povećani interes za evaluaciju. Sprovođenje evalu-
acija u zemljama u razvoju širom svijeta također se povećao, uz neke evaluacije
provedene za programe u poljoprivredi, razvoju zajednica, planiranju porodice,
zdravstvenoj brizi i ishrani. U najvećem dijelu, ove procjene oslanjale su se na
tradicionalne alate nauke, kao što su ankete i statistička analiza.
Prva Hooverova komisija 1949. godine preporučila je da se informacije
o budžetu za državnu vladu u Sjedinjenim Državama strukturiraju u vidu

aktivnosti, a ne u vidu linijskih stavki. Također je preporučila da se mjere učinka
osiguraju skupa sa izvještajima o učinku (Burkhead 1956; Mikesell 1995). Ova
vrsta reforme budžeta postala je poznata kao budžetiranje učinka (Tyler i Willand
1997).
Ministarstvo odbrane je sa sekretarom odbrane Robertom McNamarom,
razvilo Sistem planiranja, programiranja i budžetiranja (PPBS). Svrha PPBS-a
bila je povećati efikasnost i poboljšati vladine operacije. To je uključivalo:
• uspostavu dalekosežnih ciljeva planiranja;
• analiziranje troškova i koristi alternativnih programa koji bi ostvarili te ciljeve i
• prevođenje programa u prijedlog budžeta i legislative i dalekosežnih
predviđanja.
PPBS je promijenio tradicionalni proces budžetiranja naglašavajući ciljeve i
povezujući planiranje i budžetiranje (Office of the Secretary of Defense 2007).
Rani napori PPBS-a su eventualno vodili ka pokretu „monitoringa rezultata“.
Kasnih 1960-tih, mnoge zapadnoevropske države počele su preduzimati eva-
luaciju programa. U Saveznoj Republici Njemačkoj, na primjer, Bundestag je
počeo zahtijevati od Savezne vlade da izvještava o implementaciji i utjecaju
raznih socioekonomskih i poreznih programa. Izvještaji su uključivali sljedeće:
Tržište rada i akt o zapošljavanju (1969), Opći zakon o obrazovnim grantovima
(1969), Združeni federalno-državni program za poboljšanje regionalne ekono-
mske strukture (1970), Program investiranja u bolnice (1971) i razni izvještaji o
subvencijama i porezima (Derlien 1999). Tokom ovog perioda, Vlada Kanade se
također počela kretati prema evaluaciji vladinih programa i učinka. Odjeli Vlade
Kanade su podsticani da uspostave jedinice za planiranje i evaluaciju.
Rani napori nisu polučili značajne rezultate. U Kanadi, Saveznoj Republici
Njemačkoj i Švedskoj, „uprkos institucionalizaciji programske evaluacije u
područjima raznih politika, sistemi su ostali više fragmentirani a broj provedenih
studija izgledao je mali.“ (Derlien 1999, str. 146).
Akt o osnovnom i srednjem obrazovanju (ESEA) iz 1965. godine bio je
značajan za evaluaciju u Sjedinjenim Državama. Ova pravna odredba dala
je mandat vladi da procijeni učinak učenika i standarde kvaliteta nastavnika.
Također je osigurala i resurse (prvi budžet vlade Sjedinjenih Država dodijeljen
evaluaciji) za preduzimanje ovih aktivnosti, te je tako institucionalizirana evalu-
acija. Sa federalnim novcem koji je išao za evaluacije u kasnim 1960-tim i ranim
1970-tim, počeli su se pojavljivati brojni članci i knjige o evaluaciji u Sjedinjenim
Državama i nekim OECD državama. Diplomski univerzitetski programi koji se
fokusiraju na evaluaciju razvijeni su za obuku novog kadra evaluatora koji će
zadovoljiti povećanu potražnju za odgovornost i efektivnost u socio-ekonomskim

programima koje je finansirala vlada, kao što su grantovi za osnovno i srednje
obrazovanje i programi „Velikog društva“ koji su uključivali programe za sma-
njenje siromaštva, predškolsko obrazovanje, aktivnosti ljudskih prava i za izradu
programa zapošljavanja.
Kanada, Savezna Republika Njemačka i Švedska su preduzele programske
evaluacije u 1960-tim da procijene nove programe u obrazovanju, zdravstvu i
socijalnoj zaštiti, koje je finansirala vlada.
U ovom kontekstu pojavili su se sistemi formalnog planiranja, koji su bili
ograničeni na srednjoročno finansijsko planiranje (u Saveznoj Republici
Njemačkoj) ili su čak pokušali integrirati budžetiranje sa programiranjem
(u Švedskoj i Kanadi). U svakom slučaju, evaluacija je logički smatrana kao dio
ovih sistema planiranja ili kao neophodnost potrebe za informacijama o progra-
mima intervencije. (...) Evaluaciju su primarno koristili menadžeri programa za
ostvarivanje postojećih i novih programa. (Derlien 1999, str. 153-54)
Od sredine 1970-tih do sredine 1980-tih, evaluacija je postala punopravno

zanimanje u mnogim OECD državama. Nastala su profesionalna evaluatorska
udruženja, uvedeno je više programa za obuku evaluatora, počelo je izdavanje
evaluacijskih žurnala, a evaluacija se počela širiti izvan djelokruga programa koje
finansira vlada na korporacije, fondacije i vjerske institucije. U Francuskoj, na
primjer, evaluacija javne politike bila je sistemski razvijana, gdje su mnogi uni-
verziteti – uključujući Grandes écoles— nudili kurseve i informacije o evaluaciji
kao dijelu njihovih nastavnih planova i programa.
Mnoge OECD zemlje uspostavile su programe obuke u evaluaciji za državne
službenike unutar vlada ili preko vanjskih izvođača. Istraživani su novi modeli
nove metodologije, uz veći naglasak na potrebu za informacijama potrošača, za
ispitivanje nenamjeravanih ishoda i razvoj vrijednosti i standarda. Također se
povećao kvalitet i kvantitet evaluacione literature (Fontaine i Monnier 2002).
Od 1985. godine kompjuteri i tehnologija su uveliko povećali mogućnost
evaluatora da prikupe, analiziraju i izvještavaju o nalazima evaluacije i razmijene
ih sa ostalima.

Razvoj evaluacije i revizije
Razvojna evaluacija je evoluirala iz tradicije revizije i iz tradicije društvene

nauke. Postoje važne sličnosti, razlike i veze između dvije tradicije.
Tradicija revizije
Korijeni revizije sežu do 19-tog stoljeća u Britaniji, kada je rastući trgovinski
i industrijski razvoj uzrokovao rast:
potrebe za tačnim i pouzdanim finansijskim izvještajima koje je moguće verifici-
rati. (...) Rad revizora daje kredibilitet rastućoj kapitalističkoj infrastrukturi zapada.
Mišljenja revizora nosila su težinu zbog njihovog tehničkog umijeća i zato što su
revizori bili ljudi izvan organizacije. (Brooks 1996, str. 16)
Tradicija revizije ima istraživačku orijentaciju, orijentaciju finansijskog

■■ Standardna
menadžmenta i računovodstvenu orijentaciju. Nastoji odrediti je li program ura- revizija:
dio ono što je trebao uraditi i je li novac potrošen prema pravilima, propisima i Objektivna
zahtjevima programa. Tradicija revizije koristi koncepte kao što je interna aktivnost
kontrola, dobar menadžment i uprava i dobra verifikacija. Revizija naglašava dizajnirana da
odgovornost i usklađenost. OECD/DAC glosar (OECD 2002) definira nekoliko poboljša
operacije
vrsta revizije:
organizacije
• standardna revizija: nezavisna, objektivna aktivnost dizajnirana da doda vri- ■■ Finansijska
revizija:
jednost i poboljša operacije organizacije (pomaže da organizacija ostvari svoje
Revizija koja se
ciljeve donoseći sistematičan, disciplinovan pristup procjeni i poboljšanju fokusira na
efektivnosti upravljanja rizikom, kontrolom i procesima upravljanja); usklađenost sa
• finansijska revizija: revizija koja se fokusira na saglasnost svih primjenjivih odgovarajućim
statusa i propisa; statutima i
propisima
• revizija učinka: revizija koja je fokusirana na relevantnost, ekonomičnost, efi-
■■ Revizija
kasnost i efektivnost. učinka:
Revizija može biti interna ili eksterna funkcija (Tekstualni okvir 1.2). Revizija koja
procjenjuje
Interna funkcija revizije pomaže organizaciji da ostvari svoje ciljeve donoseći
relevantnost,
sistematičan, disciplinovan pristup evaluacije i poboljšanje efektivnosti upra- ekonomiju,
vljanja rizikom, kontrole i procesa upravljanja. Vlade koriste eksterne revizore efikasnost i
kada je potrebna neovisnost od uprave programa. efektivnost

Tekstualni okvir 1.2 Institut internih revizora i međunarodna
organizacija vrhovnih revizorskih institucija
Osnovan 1941, Institut internih revizora je primarna međunarodna asoci-
jacija posvećena promociji i razvoju interne revizije. Državni instituti su loci-
rani širom svijeta, a članovi dolaze iz 165 država.
Institut internih revizora 1947. izdao je Izjavu o odgovornostima interne
revizije, što je postalo osnov za razvoj standarda interne revizije. Standardi
za profesionalnu praksu interne revizije su odobreni 1978.
Od Afganistana do Zimbabvea, skoro svaka razvijena i zemlja u razvoju
pripada Međunarodnoj organizaciji vrhovnih revizorskih institucija
(INTOSAI), koja funkcionira kao krovna organizacija za eksternu državnu revi-
zijsku zajednicu. Osnovana 1953, INTOSAI promovira razvoj i prijenos zna-
nja da bi se poboljšala državna revizija širom svijeta. Etički kodeks i Standa-
rdi revizije i Smjernice za implementaciju revizije učinka se slijede u velikoj
mjeri. Do 2008. INTOSAI je brojala 188 država članica.
Izvor: http://www.theiia.org, http://www.intosai.org.
Činjenica da je tradicija revizije jaka u zemljama u razvoju dovela je do jake

tradicije sukladnosti revizije u evaluaciji. Malezijski državni revizorski odjel
(NAD), na primjer, igrao je ulogu u osiguranju javne odgovornosti već 100
godina. NAD provodi revizije da:
• osigura suglasnost sa zakonima i propisima;
• ukaže na nesigurne faktore koji vode neefikasnosti, neefektivnosti ili neeko-
nomskim procedurama;
• odredi jesu li pripremljeni finansijski izvještaji tačni i pravični i jesu li pri-
premljeni prema općeprihvaćenim standardima revizije i računovodstva.
Interna revizija obuhvata širok poredak „finansijskih aktivnosti i opera-
cija uključujući sisteme, proizvodnju, inžinjering, marketing i ljudske resurse“
■■ Interna (http://www.theiia.org). Snagu crpi iz činjenice da se nudi profesionalna akredi-
revizija:
Revizija koja se
tacija, što još uvijek nije slučaj sa evaluacijom (Poglavlje 15 razmatra dobre i loše
radi unutar strane akreditacije evaluatora).
organizacije da Razvojna evaluacija je iz revizija preuzela jak fokus na sukladnost sa pravnim
se procijene i proceduralnim zahtjevima. Ovo se može uočiti u okvirima evaluacije pro-
finansijske jekata zasnovanim na ciljevima bilateralnih donatora i razvojnih banaka. Na pri-
aktivnosti i
mjer, „Standardi dobre prakse za evaluaciju MDB-podržanih operacija u javnom
operacije

sektoru,“ koje je razvila Grupa za evaluacionu saradnju Multilateralnih razvo-
jnih banaka (MDB), uključuje ostvarenje ciljeva, na osnovu toga da „evaluacija
prema ciljevima pojačava odgovornost“ (Evaluation Cooperation Group of the
Multilateral Development Banks n.d., str. 9.).
Kontinuitet između revizije i evaluacije

Revizija i evaluacija se mogu posmatrati kao dio kontinuiteta, osiguravaju srodne,
ali različite vrste informacija o sukladnosti, odgovornosti, utjecaju i rezultatima.
Postoje „preklapanja u područjima kao što su efikasnost operacija i isplativost –
sa evaluacijama koje se bave analizom politike i izlaznim rezultatima i revizijom
sa internom finansijskom kontrolom i sistemom uprave“ (Treasury Board of
Canada Secretariat 1993, para. 3). Revizija i evaluacija imaju za cilj pomoći
onima koji donose odluke „pružajući im sistemske i kredibilne informacije koje
mogu biti korisne za izradu, upravljanje, nadzor, promjenu i povremeno ukidanje
programa“ (Wisler 1996, str. 1).
Mnogo je napisano o razlikama i preklapanju revizije i evaluacije. Razlike
potječu iz početaka, gdje revizija većinom proizilazi iz finansijskog računovodstva,
a evaluacija većinom iz socijalnih nauka. Revizija se nastoji fokusirati na sukla-
dnost sa zahtjevima, dok se evaluacija nastoji fokusirati na pripisivanje uočenih
promjena politici, programu ili projektu. Revizori nastoje pronaći odgovore na
normativna pitanja (šta je suprotno od onog što bi trebalo biti), dok evaluatori
traže odgovore na opisna i uzročno-posljedična pitanja (Wisler 1996).
Tradicija socijalne nauke

Vlade i organizacije sve manje naglašavaju verifikaciju i sukladnost, a naglasak
stavljaju na utjecaj, a tehnike socijalne nauke se uključuju u evaluaciju. Razvojna
evaluacija se naslanja na naučne metode i metode socijalnih istraživanja.
Naučni metod je sistemski pristup za pribavljanje informacija koje objektivno
nastoje odvojiti istinu od vjerovanja. Ovim pristupom, podaci se prikupljaju kroz
opservacije i eksperimente i zasnovane su na formuliranju i testiranju hipoteza.
Istraživači koji koriste naučni metod:
• identificiraju problem, istražuju ga i razmatraju prethodna objašnjenja;
• razvijaju hipoteze o uzročno-posljedičnim odnosima i navode ih u mjerljivim
pojmovima;
• testiraju hipoteze provodeći eksperiment i prikupljajući podatke;
• analiziraju podatke i izvlače zaključke;
• dokumentiraju i diseminiraju nalaze;
• koriste rezultate da dorade hipoteze.

Evaluacija je uzela druge metode iz društvenih nauka, uključujući sociologiju,
antropologiju, političke nauke i ekonomiju.
Primjena metoda društvenih istraživanja na evaluaciju podudara se sa rastom
i usavršavanjem samih metoda, kao i sa ideološkim, političkim i demografskim
promjenama koje su nastale u ovom stoljeću. Od ključne važnosti su bili nastanak
i povećanje društvenih nauka na univerzitetima i povećana podrška društvenom
istraživanju. Odsjeci za društvene nauke na univerzitetima postali su centar ranog
rada na programu evaluacije i nastavili su zauzimati utjecajno mjesto u polju.
(Rossi i Freeman 1993, str. 9)
Evaluacija također puno uzima iz istraživanja društvene nauke u područjima

kao što je teorija konstrukcije, dizajn, pristup, metodologija prikupljanja podataka,
analiza i interpretacija, statistika, ankete i uzorkovanje.
Kontekst razvojne evaluacije
Razvojna evaluacija je nastala kao poddisciplina evaluacije. Počela je uglavnom

poslije Drugog svjetskog rata sa naporima rekonstrukcije i razvoja. Svjetska
banka osnovana je 1944. godine i uspostavila prvu nezavisnu evaluacionu grupu
1972. Evropska banka za rekonstrukciju i razvoj (EBRD) osnovana je 1991.
Druge multilateralne razvojne banke su također osnovane u 1990-tim. Bilateralne
organizacije, kao što je Odsjek za međunarodni razvoj Ujedinjenog Kraljevstva
(DfID) i Kanadska međunarodna razvojna agencija (CIDA), također su usposta-
vljene. Nastanak razvojne evaluacije začet je uspostavljanjem ovih organizacija,
pošto su donatori bili odgovorni za finansiranje projekata i rezultate. S druge
strane, ministarstva zemalja u razvoju trebala su zadovoljiti zahtjeve izvještavanja
nalaza projekta koristeći sistem evaluacije projekta koji su razvili donatori za
učenje i odgovornost.
Pošto se pojam razvoja promijenio tokom proteklih dekada, tako se promi-
jenila i razvojna evaluacija. Od njenog nastanka, na primjer, Svjetska banka je
promijenila naglasak sa implikacijama na kompleksnost razvojnih evaluacija
(Tabela 1.3).
OECD je igrao važnu ulogu u napretku razvojne evaluacije. Uspostavljen
1961. godine, sa misijom da „pomogne vladama da ostvare održiv ekono-
mski rast i zapošljavanje i podigne standarde življenja u zemljama članicama
održavajući finansijsku stabilnost i tako doprinoseći razvoju svjetske ekonomije“
(http:// www.oecd.org). Članovi OECD-a sastaju se u specijaliziranim odborima,
uključujući Komitet za pomoć u razvoju (DAC) koji već dugo ima radnu
grupu za razvojne evaluacije (trenutno DAC Mreža za evaluaciju). Svrha DAC
Mreže za evaluaciju je povećati efektivnost međunarodnih razvojnih programa

Tabela 1.3 Promjena pristupa Svjetske banke razvoju 1950 – 2000.
Dekada Fokus Pristup Disciplina
1950-te Obnova, rekonstrukcija, tehnička pomoć i Tehnička Inžinjering
inžinjering pomoć
1960-te Ekonomski rast, finansiranje i izrada projekata, u Projekti Finansije
nadi da će jači ekonomski razvoj dići ljude iz
siromaštva
1970-te Društveni sektori ili osnovne potrebe (obrazovanje, Sektorska Planiranje
zdravstvo, i socijalna skrb); dugoročnije planiranje i ulaganja
ulaganja u društveni sektor
1980-te Politika strukturalnog prilagođavanja i kreditiranja; Prilagođavanje Neoklasična
prilagođavanje kreditiranja određenim uvjetima koji kreditiranja ekonomija
se koriste za podršku reformi glavnih politika i da
pomogne državama da se nose sa finansijskom i
dužničkom krizom
1990-te Obuhvatnije zasnovan na državi naspram Državna pomoć Višedisciplinarno
pojedinačnih projekata; više naglaska se stavlja na
izgradnju kapaciteta i institucija unutar zemalja u
razvoju
2000-te Smanjenje siromaštva, partnerstvo, participacija, Partnerstvo Menadžment
sektorski pristupi i orijentacija na rezultate zasnovan na
rezultatima
Izvor: Zasnovano na Picciotto 2002.
podržavajući robusnu, informiranu i nezavisnu evaluaciju. Okuplja 30 bilatera-

lnih i multilateralnih razvojnih agencija.
DAC-ova definicija razvojne evaluacije se počela uveliko prihvatati. Uneko-
liko se razlikuje od opće definicije evaluacije koju smo dali na početku ovog
poglavlja. Prema DAC-u, razvojna evaluacije je:
Sistemska i objektivna procjena tekućeg ili završenog projekta, programa ili poli-
tike, njihovog dizajna, implementacije i rezultata. Cilj je odrediti relevantnost i
ispunjenje ciljeva, razvojne efikasnosti, efektivnosti, utjecaja i održivosti. Evaluacija
treba pružiti informacije koje su kredibilne i korisne, omogućavajući inkorporaciju
naučenih lekcija u proces donošenja odluka korisnika i donatora. (OECD 1991b,
str. 4)
Širok izbor metodologija i prakse se koristi u zajednici razvojne evaluacije.

Postalo je opće prihvatljivo da mješavina teorija, strategija analize i metodologija
često bolje funkcionira u razvojnoj evaluaciji, posebno s obzirom na rastući ste-
pen i kompleksnost razvojnih projekata, programa ili politika. Miješanje pristupa
može pomoći jačanju evaluacije.

Ova mješavina metoda, koja se naziva metodološka triangulacija, odnosi se na
upotrebu nekoliko teorija, izvora ili vrsta informacija i/ili vrsta analize da se veri-
ficira i potkrijepi procjena. Kombinirajući više izvora podataka, metoda, analiza ili
teorija, evaluatori nastoje prevazići pristrasnost koja dolazi iz pojedinih informa-
cija, pojedinačnih metoda, pojedinačnih posmatrača ili pojedinačnih teorijskih
studija. (OECD 2002, str. 37)
Kako Chelimsky i Shadish (1997, p. 11) primjećuju:

Evaluacija nastavlja biti čak i više metodološki raznolika. Do sada je dobro
uspostavljeno da je pun raspored metoda društvene nauke pripadao metodološkim
alatima evaluatora – alati iz psihologije, statistike, obrazovanja, sociologije,
političkih nauka, antropologije i ekonomije.
Izbor evaluacionog dizajna i metodologije (ili kombinacija dizajna i metodo-

logija) će se odrediti pitanjima koja se postavljaju i informacijama koje se traže.
Rast profesionalnih evaluacionih udruženja
Profesionalna evaluaciona udruženja izrađuju sistem podrške i omogućavaju pro-

fesionalizam unutar evaluacione zajednice. Ova podrška doprinosi razvoju kapa-
citeta u razvojnoj evaluaciji.
U 1980-tim bila su samo tri regionalna ili državna evaluaciona društva. Od
tada je zabilježen eksplozivan rast novih državnih, regionalnih i međunarodnih
evaluacionih udruženja, koja su nastajala širom svijeta, a trenutno postoji više
od 75 evaluacionih udruženja u razvijenim zemljama i zemljama u razvoju
(http:/www.ioce.net/members/eval_asso-ciations.shtml). Većina rasta bilježi se u
uspostavi evaluacionih udruženja u zemljama u razvoju. Na državnom nivou,
na primjer, udruženja su postojala u Maleziji i Šri Lanci od 1999. a u Ugandi
od 2002. Na regionalnom nivou Australijsko-azijsko evaluaciono društvo
uspostavljeno je 1991, Evropsko evaluaciono društvo 1994. i Afrička evalu-
aciona asocijacija 1999.
Važna međunarodna organizacija za evaluaciju je Međunarodna organizacija
za saradnju u evaluaciji (IOCE), labava alijansa regionalnih i državnih evalu-
acionih organizacija (udruženja, društava, i mreža) iz čitavog svijeta. IOCE ima
za cilj izgraditi evaluaciono vodstvo i kapacitet u zemljama u razvoju i omogućiti
razmjenu teorije evaluacije i prakse širom svijeta. Da bi to uradili profesionalci u
evaluaciji moraju uzeti više globalni pristup u doprinosu identifikaciji i rješenju
svjetskih problema (http://ioce.net/over-view/general.shtml).
Još jedna važna međunarodna organizacija za evaluaciju je Međunarodno
udruženje za razvojne evaluacije (IDEAS). IDEAS je nastalo 2001, radi pomoći
u izgradnji kapaciteta evaluacije u zemljama u razvoju. Misija mu je „unaprijediti

i proširiti praksu razvojne evaluacije doradom metoda, jačanjem kapaciteta i
proširenjem vlasništva“ (http://www.ideas-int.org). IDEAS je jedino udruženje
za profesionalce koje praktikuje razvojne evaluacije.
Strategija IDEAS je da:

• promovira razvojnu evaluaciju za rezultate, transparentnost i odgovornost u
politici, javnoj politici i potrošnji;
• da prioritet evaluacionom kapacitetu razvoja i
• promovira najveće intelektualne i profesionalne standarde u razvojnim
evaluacijama.
Principi i standardi za razvojnu evaluaciju
Evaluacijska zajednica treba principe i standarde, koji promovišu odgovo-

rnost, omogućavaju poredivost i jačaju pouzdanost i kvalitet pruženih usluga
(Picciotto 2005). Većina organizacija vezanih za razvoj koriste OECD/DAC
principe, standarde i kriterije. Ključni dokument (OECD 1991a) identificira pet
kriterija za evaluaciju razvojne pomoći:
• relevantnost: stepen u kom su ciljevi razvojne intervencije konzistentni sa
zahtjevima korisnika, potrebama države, globalnim prioritetima i politikom
partnera i razvojnih agencija;
• efektivnost: mjera stepena u kom aktivnost pomoći ostvaruje svoje ciljeve;
• efikasnost: mjera izlaznih elemenata – kvalitativna i kvantitativna – u odnosu
na ulazne elemente (ovaj ekonomski termin označava da pomoć koristi
najmanje skupe resurse da ostvari željene rezultate. Mjerenje efikasnosti
obično zahtijeva poređenje alternativnih pristupa ostvarenju istih izlaznih
elemenata da se odredi je li usvojen najefikasniji proces.);
• utjecaj: pozitivne i negativne promjene nastale kao uzrok razvojne interve-
ncije, direktno ili indirektno, namjerno ili nenamjerno (Mjerenje utjecaja
uključuje određivanje glavnih utjecaja i efekata aktivnosti prema lokalnim
socijalnim, ekonomskim, okolinskim i drugim razvojnim indikatorima.
Ispitivanje se treba baviti namjeravanim i nenamjeravanim rezultatima i mora
uključiti pozitivne i negativne utjecaje vanjskih faktora, kao što su promjene u
uvjetima trgovine i finansijskim uvjetima.);
• održivost: elastičnost rizika toka koristi tokom vremena (pojam održivosti je
osobito relevantan da se procijeni (ne da se mjeri) kolika je mogućnost da se
korist od aktivnosti ili programa nastavi nakon što donator povuče finansi-
ranje. Projekti i programi trebaju biti okolinski finansijski održivi [OECD
1991b]).

DAC je razvio principe za evaluaciju razvojne pomoći (OECD 1991b). Ti
principi se bave sljedećim pitanjima:
• svrha evaluacije;
• nepristrasnost i nezavisnost;
• kredibilitet;
• korisnost;
• učešće donatora i primaoca;
• saradnja donatora;
• programiranja evaluacije;
• dizajn i implementacija evaluacije;
• izvještavanje, diseminacija i povratne informacije;
• primjena ovih principa.
Pregled DAC „Principa za evaluaciju razvojne pomoći“ je proveden 1998.
Poređeni su DAC principi sa principima drugih organizacija i tražena je konzi-
stentnost i moguća područja proširenja. Preporuke članova za moguću reviziju
principa uključivale su sljedeće:
• Modifikacija izjave o svrsi;
• Direktna obrada pitanja decentralizovane evaluacije i participativne evaluacije;
• Veća elaboracija principa i prakse za primaoce participacijske i donatorske
saradnje;
• Uvođenje skorijeg razvoja u aktivnost evaluacije, kao što je mjerenje učinka,
status, i sistem ocjene uspjeha, i razvijanje tipologije evaluacijskih aktivnosti
(OECD 1998).
Ovaj pregled postavio je osnovu za buduće DAC publikacije.
Američka evaluacijska asocijacija (AEA) 1994. godine objavila je „Program
evaluacionih standarda u Sjedinjenim Državama.“ Ove standarde je odobrio
Američki državni institut za standarde (ANSI) kao Američke državne standarde
za program evaluacije. Ažurirani su 1998. i prilagodile su ih druga razvojna
udruženja, uključujući i ona u zemljama u razvoju.
U martu 2006. godine, DAC Evaluaciona mreža uspostavila je „DAC sta-
ndarde kvaliteta za evaluaciju“ (OECD 2006) (Tekstualni okvir 1.3). Standardi,
koji se trenutno koriste na probnoj osnovi, za testiranje faze aplikacije, identifici-
raju ključne stubove za kvalitetni evaluacioni proces i proizvod:
• Osigurati standarde za proces (provođenje) i proizvode (izlazni rezultati)
evaluacije;
• Omogućiti poređenje evaluacija između država (meta-evaluacija);
• Omogućiti partnerstvo i saradnju na združenim evaluacijama;

• Bolja mogućnost za zemlje članice da iskoriste evaluacione nalaze i izvještaje
koje međusobno razmjenjuju (uključujući dobru praksu i naučene lekcije);
• Usmjeravanje napora evaluacije.
Tekstualni okvir 1.3 10 dijelova DAC evaluacionih standarda

kvaliteta
OECD ima set od 10 kriterija za procjenu kvaliteta evaluacije:
• obrazloženje, svrha i ciljevi evaluacije;

• djelokrug evaluacije;
• kontekst;
• medotologija evaluacije;
• izvori informacija;
• nezavisnost;
• etika evaluacije;
• osiguranje kvaliteta;
• relevantnost evaluacionih rezultata i
• kompletnost.
Izvor: OECD 2006.
Na zahtjev OECD/DAC Evaluacione mreže i drugih evaluacionih mreža,

Nezavisna grupa za evaluaciju Svjetske banke razvila je principe i standarde indi-
kativnog konsenzusa za evaluaciju Programa globalnog i regionalnog partnerstva
(GRPP), koji imaju neke jedinstvene osobine koje evaluaciju čine kompleksnom. ■■ Nezavisna
Ovi indikativni principi i standardi se testiraju kroz upotrebu i biće revidirani i evaluacija:
Evaluacija koju
odobreni za nekoliko godina. (Link do web stranice za ove principe i standarde
provode ljudi
nalazi se na kraju ovog poglavlja. Principi i standardi su razmatrani dodatno u koji nemaju
Poglavlju 14.) obavezu prema
Važna komponenta kredibiliteta razvojne evaluacije je nezavisnost. onima koji su
OECD/DAC glosar definira nezavisnu evaluaciju kao „evaluaciju koju vrše dizajnirali i
entiteti i osobe koji nisu pod kontrolom onih koji su odgovorni za dizajn i imple- implementirali
intervenciju
mentaciju razvojne intervencije“ (OECD 2002, str. 25). Primjećuje:
Kredibilitet evaluacije zavisi dijelom od toga koliko nezavisno se provodi.
Nezavisnost implicira slobodu od političkog utjecaja i organizacijskog pritiska.
Karakteriše je potpun pristup informacijama i potpuna autonomija u vršenju istraga
i izvještavanju nalaza.

Nezavisnost ne znači izoliranost: interakcija između evaluatora, menadžera
programa, osoblja i korisnika može ojačati evaluaciju i njenu upotrebu. Evalu-
aciju mogu provoditi interno ili eksterno, evaluatori koji se organizaciono nalaze
ispod onih koji su odgovorni za donošenje odluka o dizajnu i implementaciji
programa intervencije (to jest menadžment). Takve evaluacije nisu nezavisne
evaluacije. Služe kao svrha učenja, a ne kao svrha odgovornosti.
Vođe evaluacije multilateralnih razvojnih banaka, koji se redovno sastaju
kao članovi Evaluacione grupe za saradnju, identificirali su četiri dimenzije ili
kriterija nezavisnosti evaluacije:
• organizaciona nezavisnost;
• nezavisnost u ponašanju;
• zaštita od vanjskih utjecaja i
• izbjegavanje konflikta interesa.
Tabela 1.4 predstavlja kriterije i indikatore za procjenu nezavisnosti od evalu-

acione organizacije. Oboje dolazi iz raznih izvora.

Tabela 1.4 Kriteriji i indikatori za određivanje nezavisnosti od evaluacione organizacije
Kriterij Aspekt Indikatori
Organizaciona Struktura i uloga evaluacione Ima li evaluaciona jedinica mandat koji ukazuje da
nezavisnost jedinice je prikladna se njen obim odgovornosti proteže na sve
operacije organizacije i da su lanac upravljanja,
osoblje, budžet i funkcije organizaciono nezavisne
od operativnih odjela, odjela za politiku, i odjela za
strategiju i srodnog donošenja odluka
Jedinica je odgovorna i Postoji li direktan odnos izvještavanja između
rezultate evaluacije prenosi jedinice i uprave ili odbora institucije
voditelju ili zamjeniku voditelja
organizacije ili njenom
upravnom odboru
Jedinica je organizaciono Pozicija jedinice u organizaciji u odnosu na
locirana izvan osoblja ili funkcije program, aktivnost ili entitet koji se evaluira
linije upravljanja programa,
aktivnosti ili entiteta koji se
evaluira
Jedinica redovno podnosi Odnos izvještavanja i učestalost izvještavanja
izvještaj odboru za reviziju veće nadzornom tijelu
organizacije ili drugom
nadzornom tijelu
Jedinica je dovoljno udaljena od Stepen u kom evaluaciona jedinica i njeno osoblje
političkog pritiska i u nisu odgovorni političkim autoritetima i koliko je
mogućnosti je izvještavati o izolirana od učešća u političkim aktivnostima
nalazima bez straha od
posljedica
Ljudi koji raspoređuju osoblje u Stepen u kom postoji i provodi se sistem zasluga
jedinici zaštićeni su koji pokriva kompenzaciju, obuku, mandate, i
personalnim sistemom u kom napredovanje
su kompenzacija, obuka,
mandati i napredovanje
zasnovani na zaslugama
Jedinica ima pristup svim Stepen u kom evaluaciona jedinica ima

potrebnim informacijama i neograničen pristup osoblju organizacije,
izvorima informacija evidenciji, sufinansijerima i drugim partnerima,
klijentima i onim programima, aktivnostima ili
entitetima koje organizacija finansira ili sponzorira
(nastavlja se)

Tabela 1.4 (nastavak)
Nezavisnost Jedinica ima mogućnost i volju Stepen u kom evaluaciona jedinica objavljuje
ponašanja da objavi jake bezkompromisne izvještaje koji: pozivaju na javno preispitivanje
izvještaje (unutar prikladne zaštite da se zaštite povjerljive ili
lične informacije i ublaži institucionalni rizik) lekcija
iz programa i aktivnosti organizacije, predlažu
standarde za učinak koji su napredniji od onih koji
se trenutno koriste u organizaciji i koji kritikuju
ishode programa, aktivnosti i entiteta organizacije
Jedinica ima mogućnost da Stepen u kom mandat organizacije osigurava da
otvoreno izvještava evaluaciona jedinica prenosi svoje izvještaje upravi/
odboru nakon pregleda i komentara relevantnih
korporativnih jedinica, ali bez restrikcija koje je
nametnula uprava u svom djelokrugu i
komentarima
Izvještavanje o nalazima Stepen u kom pravila objavljivanja informacija u
evaluacije je transparentno organizaciji dozvoljavaju evaluacionoj jedinici da
izvjesti o značajnim nalazima zainteresovane
dionike, interne i eksterne (unutar prikladnih mjera
zaštite povjerljivih ili vlasničkih informacija te da se
ublaži institucionalni rizik)
Zaštita od Evaluacija se pravilno dizajnira i Stepen u kom je evaluaciona jedinica u
vanjskog izvršava mogućnosti odrediti dizajn, djelokrug, vremenski
utjecaja raspored i provođenje evaluacije bez miješanja
uprave
Evaluaciona studija je Stepen u kom je evaluaciona jedinica spriječena

adekvatno finansirana ograničenjem finansija ili drugih resursa što bi
značajno utjecalo na njenu mogućnost da vrši
svoje odgovornosti
Sud evaluatora o sadržaju Stepen u kom sud evaluatora o prikladnom

izvještaja se ne odbacuje sadržaju izvještaju nije subjekt odbacivanja ili
utjecaja nekog vanjskog autoriteta
Nezavisne procedure ljudskih Stepen u kom se mandatom ili ekvivalentnim
resursa se dokumentuju za dokumentom određuju procedure upošljavanja,
voditelja evaluacione jedinice otpuštanja, trajanja mandata, te pregledaju učinak i
kompenzacije voditelja evaluacione jedinice da
osigura nezavisnost od operativnog menadžmenta
Jedinica ima kontrolu nad Stepen u kom evaluaciona jedinica ima kontrolu
upošljavanjem, nad upošljavanjem, unapređivanjem, povećanjem
unapređivanjem, i/ili plaće i otpuštanjem osoblja unutar sistema zasluga
otpuštanjem osoblja

Nastavak upošljavanja Stepen u kom je nastavak upošljavanja evaluatora
evaluatora nije zasnovan na zasnovan samo na učinku na poslu, kompetenciji i
rezultatima evaluacije potrebi za uslugama evaluatora
Izbjegavanje Ne postoje zvanični, Stepen u kom postoje politike i procedure
konflikta profesionalni ili finansijski identifikacije odnosa evaluatora koje mogu utjecati
interesa odnosi koji mogu uzrokovati da na nezavisnost evaluacije, stepen u kom se
evaluator ograniči stepen procedure i politike prenose osoblju putem obuke i
istrage, ograniči objavljivanje, ili drugih načina i stepen u kom se procedure
oslabi ili izvrne nalaze provode
Evaluatori nemaju unaprijed Stepen u kom postoje i u kom se provode politike i
stvorenih ideja, predrasuda, ili procedure koje od evaluatora traže da procijeni i
socijalnih/političkih pristrasnosti prijavi lične predrasude ili pristrasnosti koje mogu
koji mogu utjecati na nalaze ugroziti njihovu mogućnost da budu objektivni u
evaluacije evaluaciji i o čemu se konsultira sa dionicima u
sastavnom dijelu procedure evaluacije da se
osigura nepostojanje pristrasnosti evaluatora
Evaluator nije trenutno, a nije ni Stepen u kom postoje i provode se pravila ili
prethodno bio uključen u procedure upošljavanja koji sprečavaju članove
program, aktivnost ili entitet osoblja da evaluiraju program, aktivnosti ili entitete
koji se evaluira na nivou na gdje imaju ili su imali ulogu u donošenju odluka ili
kom se donose odluke niti je finansijskog menadžmenta ili gdje traže zaposlenje
bio u finansijskom
menadžmentu niti u
računovodstvu te da ne traži
zaposlenje u takvom programu,
aktivnosti ili entitetu dok
provodi evaluaciju
Evaluator nema finansijskog Stepen u kom postoje pravila ili procedure
interesa za program, aktivnost upošljavanja koji sprečavaju članove osoblja da
ili entitet koji se evaluira evaluiraju programe, aktivnosti ili entitete za koje
imaju finansijski interes
Članovi bliže porodice nisu Stepen u kom postoje pravila ili procedure
uključeni ili nisu na poziciji na upošljavanja koji sprečavaju članove osoblja da
kojoj imaju direktan i značajan evaluiraju programe, aktivnosti ili entitete gdje
utjecaj na program, aktivnost ili članovi njihovih porodica imaju utjecaj
entitet koji se evaluira
Izvor: Danish Ministry of Foreign Affairs 1999; OECD 1991b; CIDA 2000; Institute of Internal Auditors 2000; European Federation
of Accountants 2001; INTOSAI 2001; U.S. GAO 2002.

Primjeri razvojnih evaluacija
Tekstualni okviri 1.4 – 1.8 su iz evaluacionih izvještaja (ALNAP 2006). Svaki

ilustrira jedan od kriterija opisanih ispod: relevantnost, efektivnost, efikasnost,
utjecaj i održivost.
Tekstualni okvir 1.4 Relevantnost: Evaluacija koju je proveo

Svjetski program hrane za pomoć oporavka i olakšanja u Somaliji
Evaluaciju su izvršila dva vanjska stručnjaka koji su posjetili Somaliju na tri
sedmice sredinom jula 2001. Evaluacijom je procijenjena trogodišnja
podrška gdje je podijeljeno 63.000 miliona tona prehrambenih artikala na 1,3
miliona ljudi, u vrijednosti od US$ 55 miliona. Podrška je organizirana tako
što je 51 procenat trebao otići za rehabilitaciju i oporavak, 30 procenata za
hitne interve-ncije i 19 procenata za socijalne institucije. Primarni cilj dugo-
trajne operacije pomoći i oporavka bio je „doprinijeti širem okviru za pro-
grame integrirane rehabilitacije u Somaliji, održavajući fleksibilnost da bi se
iskoristile razvojne prilike i reagovalo na hitne situacije“ (WFP 2002, str. 4).
Evaluacija je stoga trebala ispitati relevantnost mješavine ovih namjena kao
i prikladnost svih vrsta intervencija.
Ukupna relevantnost intervencije razmatrana je u kontekstu političke
ekonomije pomoći u Somaliji. Evaluacija je razmotrila razloge pružanja
pomoći u hrani u Somaliji. Argumenti za pomoć u hrani uključivali su činjenicu
da je Somalija uvijek u nedostatku hrane, da su ljudi u mnogim mjestima
izolirani od uobičajenih tržnica i da su mnogi Somalijci izgubili osnovna zani-
manja i sredstva. Argumenti protiv pomoći u hrani sugerirali su da bi bilo
više smisla dati korisnicima sredstva kojima će nabaviti hranu lokalno gdje je
dostupna ili u obliku nagrade „novac-za-rad ili hrana-za-rad“. Takve obaveze
imaju tendenciju biti dugoročni projekti, međutim bez jasne izlazne strate-
gije. Ovo evaluaciono ispitivanje širih i specifičnih pitanja znači da je njena
analiza relevantnosti opsežna.

Tekstualni okvir 1.5 Efektivnost: DfID-ova Evaluacija podrške za
akciju programa svjetske hrane u Bangladešu
U septembru, 2000. godine, poplava je u šest jugozapadnih oblasti u
Bangladešu ozbiljno pogodila oko 2,7 miliona ljudi. DfID je podržao Program
svjetske hrane osiguravši tri podjele hrane, uključujući puno sljedovanje riže,
mahunarki i ulja. U prvoj podjeli, 260.000 korisnika primili su pomoć u hrani,
u drugoj i trećoj podjeli 420.000 korisnika primili su pomoć u hrani. DfID
evaluacija (DfID 2001) pružila je opsežnu analizu ostvarenja ciljeva projekta,
sa osvrtom na veličinu sljedovanja, mješavinu namirnica, i raspored podjele.
Evaluacija je uključila kvantitativne i kvalitativne metode. Kvantitativni po-
daci su prikupljeni u 2644 nasumično odabranih domaćinstava u selima
širom zone projekta. Kvalitativni podaci o sistemu, statusu i mogućnostima
su prikupljeni tokom pregleda u domaćinstvima u šest sela u zajednicama
pogođenim poplavom. Drugi manji evaluacioni tim raspoređen je pet sedmi-
ca nakon prve kvalitativne procjene da istraži kako je podjela hrane doživljena
u zajednici, uključujući pitanja kao što su raspored podjele, potreba za nami-
rnicama koje su dijeljene i upotrebu obrazaca. Setovi kvantitativnih i kvalita-
tivnih podataka su kombinovano korišteni u analizi.
Izvještaj uključuje najviše ključnih elemenata za evaluaciju efektivnosti,
uključujući:
• ispitivanje razvoja ciljeva intervencije, uključujući analizu logičkog okvira;

• procjenu kriterija korištenih za odabir korisnika, uključujući stavove pri-
marnih dionika ovih kriterija;
• analizu mehanizama implementacije, uključujući nivoe učešća zajednice;
• procjenu tačnosti ciljanja, podijeljenosti prema spolu i
društvenoekonomskom grupiranju;
• procjena osiguranih resursa (veličina sljedovanja i mješavina namirnica),
uključujući razloge zašto su osigurani (ovo područje se može procijeniti
također i pod kriterijem relevantnosti);
• ispitivanje adekvatnosti rasporeda podjele i
• analizu stavova korisnika intervencije.

Tekstualni okvir 1.6 Efikasnost: Evaluacija Apelacionih fondova
za poplavu u Mozambiku, Komiteta za hitne intervencije kod
katastrofa
Nakon poplava u 2000. godini u Mozambiku, evaluacija Komiteta za hitne inter-
vencije kod katastrofa (DEC) pažljivije je posmatrala humanitarne radnje koje su
preduzele DEC agencije (DEC 2001). Svrha evaluacije bila je izvijestiti britansku
javnost o tome kako i gdje su sredstva korištena i identificirati dobru praksu za
buduće hitne operacije. Metod za evaluaciju uključivao je ekstenzivne intervjue,
istraživanja okolnosti, posjetu terenu i detaljne ankete korisnika.
Poglavlje posvećeno efikasnosti sadrži mnoge ključne elemente neo-
phodne za evaluaciju, uključujući analizu:
• upotrebe vojnih sredstava, koja je procijenjena u smislu nedostatka

zajedničke upotrebe helikoptera, visoke cijene upotrebe zapadnih vojnih
snaga u odnosu na komercijalne mogućnosti za humanitarnu pomoć, i u
smislu uporednih troškova Kraljevskih zračnih snaga, vojske Sjedinjenih
Država, i Južnoafričkih državnih odbrambenih snaga (izvještaj navodi da
su skupe vojne operacije uzele veliku količinu sredstava, što je ograničilo
kasnije donatorsko finansiranje NGO projekata);
• efekata na efikasnost nerazvijenog tržišta za ugovorne usluge (na primjer,
iako je upotreba državnih izvođača omogućila agencijama da implementi-
raju radove sa teškom opremom, kao što su popravke puteva, bez velikih
kapitalnih ulaganja, izvođači koje su koristile DEC agencije često nisu
uspjeli izvršiti obaveze u dogovorenom vremenskom roku);
• efikasnosti izbora reakcije (interveniranje direktno sa operativnim progra-
mima, rad preko lokalnih partnera ili rad putem međunarodne mreže
članica), evaluacija je pronašla da je sastav osoblja bio važniji faktor za
određivanje efikasnosti nego izbor načina reakcije (ovo područje također bi
se moglo razmotriti u kriteriju relevantnosti);
• je li bilo efikasnije za agencije da izgrade svoje reakcije na postojećim kapa-
citetima u državi ili sa međunarodnim osobljem;
• jesu li agencije sa postojećim partnerima bile efikasnije nego one bez
takvih partnera;
• kako je ulaganje u pripreme dovelo do efikasnije reakcije i
• efikasnost računovodstvenog sistema.
Napravljen je pokušaj da se porede ulazni troškovi po agencijama, ali se to

pokazalo nemogućim sa datim različitim stavkama i kanalima dostave koji su
korišteni. Umjesto toga evaluacija se oslanjala na opće implikacije troškova
prakse koja je slijeđena, kao što su troškovi skladištenja i transporta. Evalu-
acija je također uključila presjek utroška sredstava po sektorima i za svaku
DEC agenciju po troškovima zaliha i materijala, nepersonalnim i personalnim
troškovima i troškovima upravljanja agencijom.

Tekstualni okvir 1.7 Utjecaj: Združena evaluacija nužne pomoći
Ruandi
Združena evaluacija nužne pomoći Ruandi (JEEAR 1996.) je najveća i
najopsežnija evaluacija humanitarne akcije koja je ikad provedena. Uključivala
je 52 konsultanta i istraživača. Izvještaj je postavio standarde za združenu
procjenu utjecaja političkih akcija (pa tako i nedostataka) u kompleksnim
hitnim slučajevima.
JEEAR je procijenila utjecaj uglavnom u smislu nedostatka intervencije
međunarodne zajednice u Ruandi usprkos jasnim znakovima da snage u
Ruandi pripremaju klimu i strukture za genocid i politički atentat. Primije-
njena je definicija humanitarne akcije koja je uključila političke i socioeko-
nomske funkcije. Ova definicija je dovela analize političke strukture koja je
uveliko odredila humanitarnu reakciju i utjecaj.
Nedostatak intervencije je razmotren u dva dijela: analiza historijskih
faktora koji su objasnili genocid i detaljan opis direktnih događaja koji su
doveli do genocida. Vrijednost združene evaluacije je to da je prešla granicu
istraživanja intervencija jednog sektora i analizirala političku ekonomiju.
Političko ekonomski pristup je zatim povezan sa evaluacijom efektivnosti
humanitarne reakcije.
Ovaj pristup se može uporediti sa pristupima korištenim u evaluacijama
drugih kriza, kao što je konflikt i njegove posljedice na Kosovu, efekti ura-
gana Mitch i sa intervencijama u Afganistanu. U svakom od ovih slučajeva
donesene su odluke da se izvedu evaluacije sa jednom agencijom u jednom
sektoru i gdje se nije uspjela snimiti politička priroda događaja i reakcije na
njega. U slučaju Kosova i Afganistana, ovo je dovelo do nedostatka pažnje
evaluatora na pitanja zaštite i ljudskih prava (ALNAP 2001, 2004). Slučaj
uragana Mitch ukazao je na nedostatak pažnje koliko su humanitarne akcije
podržale transformativni plan predložen u Štokholmskoj deklaraciji (ALNAP
2002).
JEEAR je neobična u svojoj procjeni utjecaja zato što postavlja jak nagla-
sak na činjenicu zašto je bilo malo interesa za intervenciju u Ruandi (ugla-
vnom zbog nedostatka geopolitičkog značaja), a ne samo da navodi
događaje i njihove posljedice. Jedna od lekcija za evaluatore je da evaluacija
utjecaja treba posmatrati ne samo ono gdje se desila intervencija nego
također i šta se moglo desiti u drugim okolnostima i različitim vrstama interve-
ncije.

Tekstualni okvir 1.8 Održivost: JICA evaluacije Programa obuke
trećih zemalja u informacionim i komunikacionim tehnologijama
Japanska međunarodna agencija za saradnju (JICA) provela je evaluaciju
projekta na Filipinima. Ovaj projekt je imao za cilj pružiti priliku učesnicima iz
Kambodže, Laosa, Minjamara i Vijetnama da poboljšaju znanje i tehnike na
polju infromacionih i komunikacionih tehnologija za poduzetništvo.
Evaluacija (JICA 2005b) došla je do zaključka da je održivost bila visoka,
zbog posvećenosti Fondacije za razvoj informacionih tehnologija i obra-
zovanja (FIT-ED) da i dalje održava programe obuke da bi se ostvarili ciljevi
projekta. FIT-ED je uspostavila e-grupu da omogući umrežavanje među
učesnicima i omogući FIT-ED-u da razmijeni znanje i ojača svoje kapacitete.
Kako je institucija posvećena da pomogne povećanje svijesti o komunikaci-
jskim tehnologijama u vladinom i poslovnom sektoru u zemljama Asoci-
jacije jugoistočnih azijskih naroda (ASEAN), FIT-ED će i dalje biti na čelu
ASEAN aktivnosti vezanih za informacione i komunikacione tehnologije.
FIT-ED adekvatna i pravovremena raspodjela resursa za tri kursa obuke
dokazala je posvećenost održanju programa obuke. Učesnici su također iz-
razili predanost podršci inicijative. Prepoznali su važnost infomacionih i ko-
munikacionih tehnologija za njihovo poslovanje, 84 procenta ispitanika koji
su intervjuirani su već primijenili znanje i vještine stečene tokom programa
obuke (u razvoju web stranica, komunikacijama, tekstilu i odjeći, uvozu i
izvozu rukotvorina, izgradnji, proizvodnji kafe i vladinim projektima, između
ostalih područja). Ispitanici su izjavili da su se okoristili obukom, koju vide
kao početak programa obuke. Pored toga koristeći strateški e-poslovni plan
napravljen tokom programa obuke kao referencu, učesnici su iskoristili in-
ternet da primijene znanje stečeno na kursu za promociju gore navedenih
sektora.

Sažetak
Evaluacija se dešavala stoljećima. Međutim, tek odnedavno, počeli su se posma-

trati efekti intervencije na razvoj.
Evaluacija ima tri oblika (formativni, sumativni, i prospektivni) i služi u četiri
svrhe (etičku, menadžersku, za donošenje odluka te obrazovnu i motivacijsku).
Može pružiti informacije o strategiji (radimo li prave stvari?), operaciji (radimo
li stvari na pravi način?), i učenju (postoje li bolji načini?). Evaluacija se može
provoditi interno, eksterno ili na participacijski način.
Razvojna evaluacija je evoluirala iz istraživanja društvenih nauka, naučnih
metoda i iz revizije. Uloga evaluatora vremenom se mijenjala, od naglaska na
evaluatora kao revizora, računovođu i certifikatora, pa do naglaska na evaluatora
kao istraživača i medijatora u participacijskim evaluacijama.
Razvojna evaluacija zasnovana je na OECD/DAC kriteriju relevantnosti,
efektivnosti, efikasnosti, utjecaja i na kriterij održivosti. OECD/DAC je također
razvio određene principe za evaluaciju razvojne pomoći i evaluacije standarda
kvaliteta.
Važan dio kredibiliteta je nezavisnost. Vođe multilateralnih razvojnih banaka
su identificirale četiri dimenzije ili četiri kriterija nezavisnosti evaluacije: orga-
nizaciona nezavisnost, nezavisnost u ponašanju, izbjegavanje konflikta interesa i
zaštita od vanjskog utjecaja.
Poglavlje 1 Aktivnost
Aplikacijska vježba 1.1
1. Od vas se traži da opravdate zašto bi razvojna evaluacija trebala biti budžetski

trošak za novi državni program. Program je dizajniran da poboljša obra-
zovanje porodica o efektivnoj zdravstvenoj praksi. Šta biste rekli u odbranu
razvoja obrazovanja?
2. Intervjuirajte evaluatora u vašem polju da odredite stepen u kom su standardi i
vodeći principi obrađeni u evaluaciji koju je vidio. (ako nemate pristup evalu-
atoru, pregledajte skorašnje evaluacione izvještaje provedene u vašem polju.)
U čemu leži snaga? Koje su slabosti? Razmijenite vaše nalaze sa kolegama i
saslušajte njihove komentare i iskustva. Primjećujete li ikakve obrasce?

Napomena
1. Glavni računovodstveni ured Sjedinjenih Država promijenio je naziv u Vladin ured

za odgovornost u julu 2004. Skraćenica GAO se još uvijek koristi.
Bibliografija i dodatna literatura
Adamo, Abra. 2003. Mainstreaming Gender in IDRC’s MINGA Program Initiative:

A Formative Evaluation.
https://idl-bnc.idrc.ca/dspace/bitstream/123456789/30972/1/121759.pdf.
ADB (Asian Development Bank). 2007. Mongolia: Second Financial Sector Program.
http://www.oecd.org/dataoecd/59/35/39926954.pdf.
ALNAP (Active Learning Network for Accountability and Performance in Humanitar-
ian Action). 2001. Humanitarian Action: Learning from Evaluation. ALNAP Annual
Review 2001. ALNAP/Overseas Development Institute, London.
———. 2002. Humanitarian Action: Improved Performance through Improved Learning.
ALNAP Annual Review 2002. ALNAP/Overseas Development Institute, London.
———. 2006. Evaluating Humanitarian Action Using the OECD/DAC Criteria.
Overseas Development Institute, London.
http://www.odi.org.uk/alnap/publications/eha_dac/pdfs/eha_2006.pdf.
Bhy, Y. Tan Sri Data’ Setia Ambrin bin Huang. 2006. The Role of the National Audit
Department of Malaysia in Promoting Government Accountability. Paper presented
at the Third Symposium of the Asian Organisation of Supreme Audit Institutions
(ASOSAI), Shanghai, September 13.
http://apps.emoe.gov.my/bad/NADRole.htm.
Brooks, R. A. 1996. “Blending Two Cultures: State Legislative Auditing and Evalu-
ation.” In Evaluation and Auditing: Prospects for Convergence, ed. Carl Wisler,
15–28. New Directions for Evaluation 71 (Fall). San Francisco: Jossey-Bass.
Burkhead, J. 1956. Government Budgeting. New York: John Wiley & Sons.
Callow-Heusser, Catherine. 2002. Digital Resources for Evaluators.
http://www.resources4evaluators.info/CommunitiesOfEvaluators.html.
Chelimsky, Eleanor. 1995. “Preamble: New Dimensions in Evaluation.” In Evaluat-
ing Country Development Policies and Programs, ed. Robert Picciotto and Ray C.
Rist, 3-8. New Approaches for a New Agenda 67 (Fall). Publication of the American
Evaluation Association. San Francisco: Jossey-Bass Publishers.
———. 1997. “The Coming Transformations in Evaluation.” In Evaluation for the 21st
Century: A Handbook, eds. E. Chelimsky and W. R. Shadish, pp. 1–26. Thousand
Oaks, CA: Sage Publications.
Chelimsky, Eleanor, and William R. Shadish. 1997. Evaluation for the 21st Century:
A Handbook. Thousand Oaks, CA: Sage Publications
CIDA (Canadian International Development Agency). 2000. CIDA Evaluation Guide.
Ottawa.

Danida, Ministry of Foreign Affairs. 1998, 1999. Guidelines for an Output and Outcome
Indicator System. Copenhagen: Danida.
DEC (Disasters Emergency Committee). 2001. Independent Evaluation of DEC Mozam-
bique Floods Appeal Funds: March 2000–December 2000. London.
Derlien, Hans-Ulrich. 1999. “Program Evaluation in the Federal Republic of Germany.”
In Program Evaluation and the Management of Government: Patterns and Pros-
pects across Eight Nations, ed. Ray C. Rist, 37–52. New Brunswick, NJ: Transaction
Publishers.
DfID (Department for International Development). Sector Wide Approaches (SWAps).
London. http://www.dfid.gov.uk/mdg/aid-effectiveness/swaps.asp.
———. 2001. Emergency Food Aid to Flood-Affected People in South-Western Bangla-
desh: Evaluation report. London.
European Federation of Accountants. 2001. The Conceptual Approach to Protecting
Auditor Independence. Bruxelles.
Evaluation Cooperation Group of the Multilateral Development Banks. n.d. Good Prac-
tice Standards for Evaluation of MDB–Supported Public Sector Operations. Working
Group on Evaluation Criteria and Ratings for Public Sector Evaluation. https://
wpqp1.adb.org/QuickPlace/ecg/Main.nsf/h_B084A3976FF5F808482571D90027AD
16/1E8F8A367033183248257463002F0726/
Feuerstein, M. T. 1986. Partners in Evaluation: Evaluating Development and Commu-
nity Programs with Participants. London: MacMillan, in association with Teaching
Aids at Low Cost.
Fitzpatrick, Jody L., James, R. Sanders, and Blaine R. Worthen. 2004. Program Evalu-
ation: Alternative Approaches and Practical Guidelines. 3rd ed. New York: Pearson
Education, Inc.
Fontaine, C., and E. Monnier. 2002. “Evaluation in France.” In International Atlas of
Evaluation, eds. Jan-Eric Furubo, Ray C. Rist, and Rolf Sandahl, 63–76. New Bruns-
wick, NJ: Transaction Publishers.
Furubo, Jan-Eric, Ray C. Rist, and Rolf Sandahl, eds. 2002. International Atlas of Evalu-
ation. New Brunswick, NJ: Transaction Publishers.
Furubo, Jan-Eric, and R. Sandahl. 2002. “Coordinated Pluralism.” In International Atlas
of Evaluation, eds. Jan-Eric Furubo, Ray C. Rist, and Rolf Sandahl, 115–28. New
Brunswick, NJ: Transaction Publishers.
Government of Malawi. 2007. “National Indicators for Routine Monitoring of Quality
of Health Services at Central Hospital.” http://www.malawi.gov.mw/MoHP/Informa-
tion/Central%20Hospital%20Indicators.htm.
Human Rights Education Associated. 1997. Evaluation in the Human Rights Education
Field: Getting Started. Netherlands Helsinki Committee.
http://www.hrea.org/pubs/EvaluationGuide/.
Insideout. 2005. “M&E In’s and Out’s.” Insideout 3 (October/November) p. 1.
http://www.insideoutresearch.co.za/news_l/Newsletter_issue%203.pdf.
Institute of Internal Auditors. 2000. Professional Practices Framework. Altamonte
Springs, Florida.
Inter-American Development Bank. 2004. Proposal for Sector-wide Approaches. http://
idbdocs.iadb.org/wsdocs/getdocument.aspx?docnum=509733.

INTOSAI (International Organization of Supreme Audit Institutions). n.d. Draft Strate-
gic Plan 2004 to 2009. Vienna, Austria.
http://www.gao.gov/cghome/parwi/img4.html.
———. 2001. Code of Ethics and Auditing Standards. Stockholm.
JEEAR (Joint Evaluation of Emergency Assistance to Rwanda). 1996. The International
Response to Conflict and Genocide: Lessons from the Rwanda Experience, 5 vol-
umes. JEEAR Steering Committee, Copenhagen.
JICA (Japan International Cooperation Agency). 2005a. JICA Evaluation: Information
and Communication. Tokyo.
http://www.jica.go.jp/english/operations/evaluation/.
———. 2005b. Results of Evaluation, Achievement of the Project Joint Evaluation of
Emergency Assistance to Rwanda. Tokyo.
KRA Corporation. 1997. A Guide to Evaluating Crime Control of Programs in Public
Housing. Report prepared for the U.S. Department of Housing and Urban
Development.
http://www.ojp.usdoj.gov/BJA/evaluation/guide/documents/guide_to_
evaluating_crime.html.
Kusek, Jody Zall, and Ray C. Rist. 2004. Ten Steps to a Results-Based Monitoring and
Evaluation System. World Bank, Washington, DC.
Lawrence, J. 1989. “Engaging Recipients in Development Evaluation: The ‘Stakeholder’
Approach.” Evaluation Review 13 (3): 243–56.
MEASURE Evaluation. n.d. Monitoring and Evaluation of Population and Health Pro-
grams. University of North Carolina, Chapel Hill.
http://www.cpc.unc.edu/measure.
Mikesell, J. L. 1995. Fiscal Administration: Analysis and Applications for the Public
Sector, 4th ed. Belmont, CA: Wadsworth Publishing Company.
Molund, Stefan, and Göran Schill 2004. Looking Back, Moving Forward: SIDA Evalua-
tion Manual. Swedish International Development Agency, Stockholm.
OECD (Organisation for Economic Co-operation and Development). 1991a. DAC Crite-
ria for Evaluating Development Assistance. Development Assistance
Committee.
http://www.oecd.org/document/22/0,2340,en_2649_34435_2086550_1_1_1_1,
00.html.
———. 1991b. Principles for Evaluation of Development Assistance. Development
Assistance Committee.
http://siteresources.worldbank.org/EXTGLOREGPARPRO/Resources/DACPrin-
ciples1991.pdf.
———. 1998. Review of the DAC Principles for Evaluation of Development Assistance.
Development Assistance Committee.
———. 2002. OECD Glossary of Key Terms in Evaluation and Results-Based Manage-
ment. Development Assistance Committee, Paris.
———. 2006. Evaluation Quality Standards for Test Phase Application. Development
Assistance Committee.

———. 2007a. General information.
http://www.oecd.org/document/48/0,3343,en_2649_201185_1876912_1_1_1_1,
00.html.
———. 2007b. Development Co-operation Directorate DCD-DAC.
http://www.oecd.org/department/0,2688,en_2649_33721_1_1_1_1_1,00.html.
Office of the Secretary of Defense Comptroller Center. 2007. The Historical Context.
http://www.defenselink.mil/comptroller/icenter/budget/histcontext.htm.
Picciotto, Robert. 2002. “Development Evaluation as a Discipline.” International Pro-
gram for Development Evaluation Training (IPDET) presentation, Ottawa, July.
———. 2005. “The Value of Evaluation Standards: A Comparative Assessment.” Journal
of Multidisciplinary Evaluation 3: 30–59.
http://evaluation.wmich.edu/jmde/content/JMDE003content/PDFspercent
20JMDE percent20003/4_percent20The_Value_of_Evaluation_Standards_A_Com-
parative_Assessment.pdf.
Quesnel, Jean Serge. 2006. “The Importance of Evaluation Associations and Networks.”
In New Trends in Development Evaluation 5, UNICEF Regional Office for Central
and Eastern Europe, Commonwealth of Independent States, and International Pro-
gram Evaluation Network.
http://www.unicef.org/ceecis/New_trends_Dev_EValuation.pdf.
Quinn, Michael 1997. Utilization-Focused Evaluation. 3rd ed. Thousand Oaks, CA:
Sage Publications.
Rossi, Peter, and Howard Freeman. 1993. Evaluation: A Systematic Approach. Thousand
Scientific and National Councils for Evaluation. 1999. A Practical Guide to Program
and Policy Evaluation. Paris: National Council of Evaluation.
Sonnichsen, R. C. 2000. High-Impact Internal Evaluation. Thousand Oaks, CA: Sage
Publications.
Treasury Board of Canada Secretariat. 1993. “Linkages between Audit and Evaluation in
Canadian Federal Developments.”
http://www.tbs-sct.gc.ca/pubs_pol/dcgpubs/TB_h4/evaluation03_e.asp.
Tyler, C., and J. Willand. 1997. “Public Budgeting in America: A Twentieth Century
Retrospective.” Journal of Public Budgeting, Accounting and Financial Management
9 (2): 189–219.
http://www.ipspr.sc.edu/publication/Budgeting_in_America.htm.
U.S. Department of Housing and Urban Development. 1997. “A Guide to Evaluating
Crime Control of Programs in Public Housing.” Paper prepared by the KRA Corpora-
tion, Washington, DC.
http://www.ojp.usdoj.gov/BJA/evaluation/guide/documents/benefits_of_
evaluation.htm.
U.S. GAO (General Accounting Office). 1986. Teenage Pregnancy: 500,000 Births a
Year but Few Tested Programs. Washington, DC: U.S. GAO.
———. 2002. “Government Auditing Standards, Amendment 3,” GAO, Washington,
DC.
Weiss, Carol. 2004. “Identifying the Intended Use(s) of an Evaluation.” Evaluation
Guideline 6. http://www.idrc.ca/ev_en.php?ID=58213_201&ID2=DO_TOPIC p 1.

WFP (World Food Programme). 2002. Full Report of the Evaluation of PRRO Somalia
6073.00, Food Aid for Relief and Recovery in Somalia. Rome.
Wisler, Carl, ed. 1996. “Evaluation and Auditing: Prospects for Convergences.” In New
Directions for Evaluation 71 (Fall), 1–71. San Francisco: Jossey-Bass.
World Bank. 1996. World Bank Participation Sourcebook.
http://www.worldbank.org/wbi/sourcebook/sbhome.htm.
Web stranice
Udruženja evaluatora
African Evaluation Association. http://www.afrea.org/.
American Evaluation Association. http://www.eval.org.
Australasian Evaluation Society. http://www.aes.asn.au.
Brazilian Evaluation Association. http://www.avaliabrasil.org.br.
Canadian Evaluation Society. http://www.evaluationcanada.ca.
Danish Evaluation Society. http://www.danskevalueringsselskab.dk.
Dutch Evaluation Society. http://www.videnet.nl/.
European Evaluation Society. http://www.europeanevaluation.org.
Finnish Evaluation Society. http://www.finnishevaluationsociety.net/.
French Evaluation Society. http://www.sfe.asso.fr/.
German Society for Evaluation Standards. http://www.degeval.de/.
Institute of Internal Auditors. http://www.theiia.org.
International Development Evaluation Association (IDEAS). http://www.ideas-int
.org/. (IDEAS Web page with links to many organizations: http://www.ideas-int
.org/Links.aspx.)
International Organisation for Cooperation in Evaluation. http://ioce.net/
overview/general.shtml.
International Organization of Supreme Audit Institutions (INTOSAI). http://www
.intosai.org/.
International Program Evaluation Network (Russia and Newly Independent States).
http://www.eval-net.org/.
Israeli Association for Program Evaluation. http://www.iape.org.il.
Italian Evaluation Association. http://www.valutazioneitaliana.it/
Japan Evaluation Society. http://ioce.net/members/eval_associations.shtml
Latin American and Caribbean Programme for Strengthening the Regional Capacity for
Evaluation of Rural Poverty Alleviation Projects (PREVAL). http://www
.preval.org/.
Malaysian Evaluation Society. http://www.mes.org.my.
Nigerian Network of Monitoring and Evaluation. http://www.pnud.ne/rense/.
Polish Evaluation Society. http://www.pte.org.pl/x.php/1,71/Strona-glowna.html.
Quebecois Society for Program Evaluation. http://www.sqep.ca.
Red de Evaluacion de America Latina y el Caribe. http://www.relacweb.org.

South African Evaluation Network. http://www.afrea.org/webs/southafrica/.
South African Monitoring and Evaluation Association. http://www.samea.org.za.
Spanish Evaluation Society. http://www.sociedadevaluacion.org.
Sri Lankan Evaluation Association. http://www.nsf.ac.lk/sleva/.
Swedish Evaluation Society. http://www.svuf.nu.
Swiss Evaluation Society. http://www.seval.ch/de/index.cfm.
Ugandan Evaluation Association. http://www.ueas.org.
United Kingdom Evaluation Society. http://www.evaluation.org.uk.
Wallonian Society for Evaluation. http://www.prospeval.org.
Standardi evaluacije
African Evaluation Association. Evaluation Standards and Guidelines. http://www
.afrea.org/.
American Evaluation Association. Guiding Principles. http://www.eval.org/
Publications/GuidingPrinciples.asp.
Australasian Evaluation Society. Ethical Guidelines for Evaluators. http://www.aes
.asn.au/content/ethics_guidelines.pdf.
ECGnet [The Evaluation Cooperation Group] https://wpqp1.adb.org/QuickPlace/ecg/
Main.nsf/h_B084A3976FF5F808482571D90027AD16/1E8F8A3670331832482574
63002F0726/.
German Society for Evaluation. Standards. http://www.degeval.de/standards/
standards.htm.
Italian Evaluation Association. Guidelines. http://www.valutazioneitaliana.it/statuto.
htm#Linee.
OECD (Organisation for Economic Co-operation and Development). Evaluation Quality
Standards (for test phase application). Development Assistance Committee. http://
www.oecd.org/dataoecd/30/62/36596604.pdf.
———. Evaluating Development Co-Operation: Summary of Key Norms and Standards.
Development Assistance Committee, Network on Development Evaluation. http://
www.oecd.org/dac/evaluationnetwork.
Program Evaluation Standards (updated 1998). http://www.eval.org/Evaluation
Documents/progeval.html.
Swiss Evaluation Society. Standards. seval.ch/.
UNEG (United Nations Evaluation Group). Norms for Evaluation in the UN System.
http://www.uneval.org/docs/ACFFC9F.pdf.
———. Standards for Evaluation in the UN System. http://www.uneval.org/docs/
ACFFCA1.pdf.
UNFPA (United Nations Population Fund). n.d. List of Evaluation Reports and Findings.
http://www.unfpa.org/publications/index.cfm.
UNICEF Regional Office for Central and Eastern Europe, Commonwealth of Indepen-
dent States, and International Program Evaluation Network. 2006.
New Trends in Development Evaluation 5. http://www.unicef.org/ceecis/New_trends_
Dev_EValuation.pdf.
United Nations Development Project Evaluation Office. http://www.undp.org/eo/.

POGLAVLJE 2
Razumijevanje pitanja koja pokreću

razvojnu evaluaciju
Oblast evaluacije razvoja je relativno nova oblast koja se mijenja, a kao

odgovor na novonastala pitanja koja se javljaju u razvijenim zemljama
i zemljama u razvoju. Ovo poglavlje daje uvid u neka trenutna pitanja
koja utječu kako na razvijene zemlje tako i na zemlje u razvoju.
Ovo poglavlje podijeljeno je u dva osnovna dijela:

• Pregled evaluacije u razvijenim zemljama i zemljama u razvoju
• Implikacije novih pitanja razvoja
49
Pregled sistema evaluacije u razvijenim zemljama i
zemljama u razvoju
Evaluacija može pomoći zemljama u razumijevanju koliko dobro i u kojoj mjeri

one postižu svoje razvojne ciljeve, uključujući i Milenijske razvojne ciljeve
(MDGs). Političari i drugi mogu koristiti ključne zaključke i preporuke izvučene
iz rezultata evaluacije radi pokretanja promjena. Evaluacija omogućava zemljama
da koriste iskustva kako bi poboljšale izradu i implementaciju tekućih projekata,
programa i politika ili kako bi promijenile pravce u budućnosti ili oboje.
Mnoge razvijene i zemlje u razvoju uspostavile su sisteme monitoringa i
evaluacije (MiE) koji će biti u funkciji razvoja. Ovi sistemi mogu se uspostaviti
na različite načine zavisno od potreba i resursa koji stoje na raspolaganju.
Evaluacija u razvijenim zemljama
Većina od 30 zemalja članica Organizacije za ekonomsku saradnju i razvoj

(OECD) već imaju razvijene MiE sisteme. Njihovo uspostavljanje nije bio ni
jednostavan ni jednoobrazan proces. Ove zemlje se razlikuju, često i značajno,
u načinima, pristupima, stilovima i stupnjevima razvoja.
Furubo, Rist i Sandahl (2002) mapirali su evaluacijske kulture u zemljama
OECD kako bi objasnili proučavane modele. Ispitali su 9 varijabli u 23 zemlje,
ocjenjujući svaku zemlju ocjenama od 0 (nisko) do 2 (visoko) za svaku od
sljedećih varijabli:
1. Evaluacija se provodi u mnogim područjima.
2. Postoji dovoljno evaluatora specijaliziranih u različitim disciplinama koji
dobro vladaju različitim evaluacijskim metodama i koji provode evaluacije.
3. Postoji nacionalni (državni) diskurs o pitanju evaluacije u kojem su opće disku-
sije prilagođene specifičnim uvjetima i okruženju koji vladaju u određenoj
zemlji.
4. Postoji profesija (zanimanje) okupljena u vlastitim društvima ili često
sudjelovanje na sastancima međunarodnih društava ili barem neka rasprava o
normama i etici te profesije.
5. Postoje institucionalni aranžmani u organima vlasti za obavljanje evaluacija i
dostavljanje rezultata evaluacija onima koji donose odluke.
6. Takvi institucionalni aranžmani su prisutni i u parlamentu ili drugim zakono-
davnim tijelima za provedbu procjene i za njihovo dostavljanje donosiocima
odluka.

7. Postoji element pluralizma — to znači da u svakoj domeni politike postoje
različiti ljudi ili tijela (agencije) za pokretanje i obavljanje evaluacije.
8. Evaluacija se, također, provodi i u najvišoj revizorskoj instituciji.
9. Evaluacije se ne bi trebale fokusirati samo na tehnički aspekt ili odnos između
ulaza i izlaza. Evaluacije nekih javnih sektora moraju imati programske ili
političke rezultate kao svoj cilj (Furubo, Rist, i Sandahl 2002).
Prema ovim kriterijima, Australija, Kanada, Holandija, Švedska i Sjedinjene
Američke Države su imale najviši rang “kulture evaluacije” među zemljama
OECD-a u 2002. godini.
Zemlje OECD-a su razvile kulturu evaluiranja i MiE sisteme kao odgovor na
različite nivoe unutarnjih i vanjskih pritisaka. Francuska, Njemačka i Holandija,
na primjer, razvile su kulture evaluiranja kao odgovor na jake unutarnje i
vanjske (uglavnom one koji se odnose na Evropsku uniju) pritiske. Nasuprot
tome, zemlje poput Australije, Kanade, Republike Koreje i SAD-a bile su motivi-
rane uglavnom jakim unutarnjim pritiskom (Furubo, Rist i Sandahl 2002).
Prva grupa zemalja OECD-a pri usvajanju kulture evaluiranja bila je motivi-
rana u velikoj mjeri jakim unutarnjim pritiscima, kao što su imperativi planiranja,
programiranje i budžetiranje, imperativi za nove programe socio-ekonomske
potrošnje, kao i imperativi zakonodavnog nadzora. Nekoliko faktora je dopri-
nijelo izgradnji kulture evaluiranja u zemljama koje su to prve učinile. Mnoge od
njih bile su predodređene da to učine jer su imale demokratske političke siste-
me, jaku empirijsku tradiciju, državnu službu educiranu u poljima društvenih
znanosti (nasuprot striktno pravnog obrazovanja) i efikasne upravno-administra-
tivne sisteme i institucije.
Zemlje s visokim izdvajanjima za obrazovanje, zdravstvo i socijalna davanja
usvojile su mehanizme evaluacije na ovim područjima, što se kasnije proširilo
i na ostala područja javnih politika. Zemlje članice OECD-a, koje su najprije
izgradile kulturu evaluiranja, odigrale su ključnu ulogu u širenju takve kulture i
u drugim zemljama na takav način što su širile ideje i informacije o evaluiranju i
počele osnivati organizacije, institute za obuku, mreže i konsultantske firme koje
su se bavile evaluiranjem.
Nasuprot njima, mnoge zemlje koje su kasnije postale članice OECD-a
(uključujući i Irsku, Italiju i Španiju) nastojale su odgovoriti na pitanja evalu-
iranja uglavnom zbog snažnih vanjskih pritisaka, ponajprije zahtjeva za članstvo
u Evropskoj uniji (EU), uključujući i pristup EU strukturnim razvojnim fondo-
vima. Ove zemlje su bile pod velikim utjecajem kulture evaluiranja iz zemalja
„starih“ članica, ali isto tako i već izgrađene kulture evaluiranja koja je bila ukori-
jenjena u međunarodnim organizacijama s kojima su došli u interakciju.
Razumijevanje pitanja koja pokreću razvojnu evaluaciju 51

Tavistock institut (2003) opisuje model odnosno mapu za put za razvoj spo-
sobnosti evaluiranja koji se sastoji od četiri faze (nivoa) i međufazna odredišta:
• faza 1: Obavezna evaluacija

• faza 2: Koordinacija evaluacije
• faza 3: Institucionalizaciju evaluacija i
• faza 4: Izgradnja sistema evaluacije.
Faza 1 obično počinje kao rezultat vanjskog pritiska koji zahtijeva evaluaciju
putem zakonskih normi, propisa ili ciljeva politike. Čak i u slučajevima kada
takav pritisak dolazi iznutra, određeni nivo vanjske kontrole je vrlo vjerovatan.
Faza 2 uključuje dvije vrste akcije kao odgovor na formalnu i na normama
zasnovanu politiku evaluacije iz prve faze. Prva pruža smjernice i osnovne alate;
druga daje naglasak na usavršavanje (profesionalizaciju) osoblja kao način
poboljšanja kvaliteta.
Faza 3 obično počinje kada je centralna jedinica uspostavljena i u funkciji.
Ova faza uključuje dva koraka koji se obično čine u isto vrijeme: uspostavljanje
decentraliziranih jedinica i poboljšanje ponude ekspertize evaluiranja.
Faza 4 podrazumijeva uspostavljanje potpuno operativnog sistema evaluacije
u kojem je evaluacija inkorporirana u proces usvajanja politika, upravljanja pro-
gramima i cjelokupnu upravu. To uključuje uspostavljanje jačih internih veza
unutar samog sistema i otvaranje mreže vanjskim sudionicima.
Prve zemlje članice OECD-a razlikovale su se od zemalja koje su kasnije
pristupile toj organizaciji u svojim pristupima kreiranju sistema evaluacije i
monitoringa. One su usvojile jedan od sljedeća tri pristupa:
• pristup „kompletne vlade“
• „enklava“ pristup i
• mješoviti pristup.
Pristup „kompletne vlade“:

Širok i sveobuhvatan sistem monitoringa i evaluacije u svim organima vlasti
Ovaj pristup je usvojen u nekim od zemalja koje su najprije uspostavile MiE
sistem kao što je slučaj sa Australijom. Ovakav pristup uključuje širok i sveo-
■■ Pristup buhvatan sistem monitoringa i evaluacije u svim organima vlasti. Pristup
„kompletne „kompletne vlade“ se ne može postići preko noći; takav pristup zahtijeva naj-
vlade“: manje deceniju da bi se takav okvir ugradio na održiv način (World Bank 1999).
Širok i sveobuh-
Da bi ovakav pristup uspio, mora se osigurati i održati jaka podrška vlasti,
vatan sistem
monitoringa i moraju se razviti neophodne vještine, a strukture i sistem državne službe moraju
evaluacije u biti postavljeni tako da maksimalno koriste rezultate monitoringa i evaluacije.
svim organima
vlasti

Zemlje u razvoju također moraju osigurati čvrstu podršku agencija (tijela) za
razvojnu pomoć.
Usvajanjem Milenijskih razvojnih ciljeva, mnoge zemlje u razvoju nastoje
osmisliti i provesti sveobuhvatan sistem evaluacije „kompletne vlasti“. Uz sve
veći fokus na rezultate u kontekstu međunarodne pomoći i međunarodnih kredita,
sve više donatora, vlada i drugih institucija pruža pomoć zemljama u razvoju da
izgrade kapacitete i sisteme evaluiranja.
Australijski pristup evaluaciji

Australija je bila među pionirima u razvijanju sistema monitoringa i evaluacije
a proces je započela 1987. godine. Svojstvene prednosti koje su pogodovale
izgradnji zdrave kulture i strukture evaluiranja uključuju sljedeće elemente:
• jaki ljudski, institucionalni i upravljački kapaciteti u javnom sektoru;
• državna služba poznata po integritetu, čestitosti i profesionalizmu;
• razvijeni finansijski, budžetski i računovodstveni sistemi;
• duga tradicija odgovornosti i transparentnosti vlasti;
• kredibilni i legitimni politički lideri.
Dva glavna faktora doprinijela su uspješnoj izgradnji snažnog sistema evalu-
acije u Australiji. Kao prvo, budžetska ograničenja su primorala Vladu da potraži
druge načine postizanja veće vrijednosti za isti novac. Kao drugo, Australija je
također imala dvije važne institucionalne prvake za evaluaciju - Ministarstvo
finansija i australski Državni ured za reviziju. Također, imala je podršku članova
vlade i ključnih ministara, koji su pridavali važnost korištenju evaluacijskih
nalaza kako bi što bolje informirali donosioce odluka (Mackay 2002).
Prvi krug evaluacije (1987-1997) je započet u vrijeme teških budžetskih
ograničenja. Mnoge reforme javnog sektora uključivale su davanje veće
autonomije sektorima i agencijama, ali nisu provodili monitoring i evaluaciju.
Stoga su vlade primorale sektore i odjeljenja da provode evaluaciju. Ciljevi ove
prve generacije MiE sistema bili su da pomogne u pripremi i izvršenju budžeta,
da pojača odgovornost unutar vladinih agencija i da pomogne rukovodiocima u
ministarstvima i agencijama.
Prvu generaciju sistema MiE razvilo je Ministarstvo finansija. Evaluacije su
se obavezno provodile najmanje jednom u tri do pet godina za svaki program.
Resorna ministarstva su morala pripremiti trogodišnji plan za glavne evaluacije.
Korišten je širok spektar tipova evaluacije. Do sredine 1990-tih u svakom
momentu provodilo se oko 160 evaluacija. Za prikupljanje indikatora o performa-
nsama ili izvještavanje o njima nisu postavljani veliki formalni uvjeti.

Svi rezultati evaluacije dostavljeni su članovima vlade koji su ih veoma
ozbiljno uzimali u obzir. Ustvari, skoro 80% novih prijedloga i dvije trećine
opcija za uštede utjecali su na vladu u odlučivanju o budžetskim pitanjima. Među
drugim prednostima ovog sistema bila je i velika upotreba rezultata evaluiranja
od strane ministarstava i agencija, ali i činjenica da je evaluiranje postalo jedan
zajednički poduhvat.
Međutim, sistem prve generacije je imao i određene slabosti. Naime, kvalitet
evaluacija je bio različit. Također, nije bilo dovoljno centralne podrške za napre-
dniju obuku na temu evaluacije kao i nedovoljno formalnih uvjeta za prikupljanje
i izvještavanje o indikatorima (pokazateljima) učinka. Ministarstva su tvrdila da
je ovakav sistem veliki teret za administraciju i upravu.
Druga generacija evaluacije u Australiji započeta je dolaskom na vlast nove
konzervativne vlade. Među najvećim promjenama je bilo značajno smanjenje
državne službe, odbacivanje sistema savjetovanja u budžetskoj proceduri,
smanjenje centralnog nadzora i “birokratskih” pravila i značajano smanjenje u
broju osoblja u Ministarstvu finansija čime je umanjena njegova savjetodavna
uloga u budžetskoj proceduri.
Kao rezultat ovakvih promjena u vlasti, MiE sistem se također morao promi-
jeniti. Odbačena je stara strategija evaluiranja i postupak evaluacije je dobio
drugačiji formalno-pravni status – bio je preporučljiv, ali ne i obavezan. Naglasak
je stavljen na monitoring učinka izlaznih rezultata i ishoda, o čemu je Parlament
bio izvješten ex ante i ex post.
Državni ured za reviziju Australije je izvijestio da je rad ovog sistema druge
generacije bio u potpunosti neadekvatan. Prikupljanje podataka je bilo slabo zbog
loših standarda. Ciljni rezultati ili benchmarking su se slabo koristili. Mnogo
informacija se prikupljalo o izlaznim rezultatima vlade, a malo o vladinim
ishodima. Nedostajale su suštinske informacije o analizi učinka. Parlamentarna
komisija je bila veoma nezadovoljna informacijama koje je dobila o ovakvim sla-
bostima. Uprkos tome, nekoliko ministarstava (Ministarstvo porodice i komunal-
nih usluga, Ministarstvo obrazovanja i Ministarstvo zdravlja) još uvijek je učilo
iz evaluacija dobre prakse.
Treća generacija (od 2006. godine) bila je inspirirana i motivirana sve većom
zabrinutošću za poteškoćama na koje se nailazilo u implementiranju kompleksnih
vladinih programa kao i za principom „međusobne povezanosti“ (tj. koordinaci-
jom raznih ministarstava i agencija, kako federalnih/državnih tako i regionalnih/
republičkih). Osim toga, i Ministarstvo odbrane nastojalo je ponovo vratiti svoju
savjetodavnu ulogu u postupcima odlučivanja i budžetskoj proceduri (Mackay
2007).
Uspostavljene su dvije vrste nadzora kako bi se osigurala djelotvorna i efikasna
potrošnja budžetskih sredstava koja je u skladu sa vladinim prioritetima. Strateški

nadzor (sedam puta godišnje) fokusirao se na svrhu, dizajniranje, upravljanje,
rezultate i buduća unapređenja koja su bila potrebna u osnovnim političkim i
budžetskim oblastima. Programski nadzor (također sedam puta godišnje) foku-
siran je na pojedinačne programe i njihovo usklađivanje sa vladinim ciljevima,
efektivnost, duplikaciju, preklapanje i uštede.
Ministarstvo odbrane zaduženo je za vođenje nadzora i donesena je odluka
da se sistem šablonski unaprijedi. Vlada je odobrila iznos od 17 miliona US$
za nadzor u periodu od četiri godine. Za vođenje dva pilot programa angažirani
su penzionirani državni službenici koji su nastavili sa uvjetima za monitoring
učinaka iz druge generacije.
Kakve su lekcije naučene iz razvoja programa evaluacije u Australiji?
• Pitanja koordinacije, implementacije i učinaka (rezultata) programa predsta-
vljaju stalne izazove za svaku vlast.
• Način donošenja odluka u vladi određuje stepen zahtijevanja informacija
monitoringa i evaluacije (i nadzora).
• Izgradnja kontrolnog sistema MiE iziskuje vrijeme.
• Teško je uspostaviti ravnotežu između centraliziranih (od vrha prema dnu) i
decentraliziranih (od dna prema vrhu) potreba za informacijama.
• Većina minstarstava (uprave) prirodno nisu sklona provođenju evaluacije koju
smatraju skupom i opasnom.
Američki zakon o rezultatima učinka Vlade SAD-a iz 1993. godine

Ključni momenat u razvoju sistema evaluacije u organima vlasti u Sjedinjenim
Američkim Državama u posljednjih 20 godina bio je usvajanje Zakona o rezulta-
tima učinka Vlade (GPRA) 1993. godine kojim je uspostavljena evaluacija na
osnovu rezultata u svim državnim agencijama u SAD-u. Zakonom se neposredno
propisuje način na koji se provodi evaluacija u tijelima i agencijama američke
vlade. Ovakav zakon predstavlja pristup „kompletne vlade“ koji je započeo sa
probnim projektima prije faze u kojoj su slijedile promjene.
Mjerenje učinka u SAD prve su počele primjenjivati lokalne vlasti u ‘70-tim.
Ta praksa se potom proširila i na nivo država a zatim i na federalni nivo, nakon
donošenja navedenog Zakona 1993. godine. Federalna Vlada u Sjedinjenim
Američkim Državama mjerenje učinka je prihvatila kasnije u odnosu na druge
nivoe vlasti.
Ciljevi GPRA-a su sljedeći:
1. da osnaži povjerenje američkog naroda u sposobnost federalnih vlasti kroz
sistematsko traženje odgovornosti od tijela i agencija federalne vlasti za posti-
zanje programskih ciljeva;

2. da inicira reforme u oblasti programskog učinka sa serijom pilot projekata
kroz postavljanje ciljeva programa, mjerenje učinka programa u odnosu na
te ciljeve, i javno izvještavanje o napretku;
3. da poboljša djelotvornost federalnih programa i odgovornost vlasti prema
građanima kroz promoviranje jednog novog fokusiranja na rezultate, kvalitet
usluga i zadovoljstvo korisnika;
4. da pomogne rukovodiocima u strukturama federalne vlasti da poboljšaju
pružanje usluga, zahtijevajući od njih da planiraju zadovoljavanje i ispunja-
vanje programskih ciljeva, ali i pružajući im informacije o rezultatima pro-
grama i kvalitetnu uslugu;
5. da poboljša donošenje odluka u Kongresu kroz osiguranje objektivnijih
informacija u vezi sa postizanjem zadatih ciljeva, te relativne djelotvornosti
i efikasnosti federalnih programa i potrošnje i
6. da poboljša interno rukovođenje federalnim agencijama i tijelima vlasti.
Ovaj zakon je federalnim agencijama naložio da se usredotoče na vlastite
misije i ciljeve, kako da ih postignu te kako da unaprijede organizacijske
strukture i poslovne procese. Prema tom Zakonu, agencije su dužne da daju
petogodišnji strateški plan za svoje programe te da ih ažuriraju svake tri
godine. Moraju, također, identificirati bilo kakve “ključne vanjske faktore”
koji mogu imati značajan utjecaj na sposobnost agencije da postigne vlastite
ciljeve i zadatke. Osim toga, agencije su dužne da objave godišnji izvještaj
o programskom učinku. (U.S. Ministarstvo rada, 1993, stav 1)
Agencije također moraju mjeriti rezultate svog rada kako bi bile sigurne da
su na pravom putu da postignu svoje ciljeve i donose odluke na osnovu kvalite-
tnih informacija. Mjerenje učinka mora biti zasnovano na karakteristikama pro-
grama i mora biti potpuno, tačno i konsistentno. Moraju se koristiti prikupljeni
podaci kako bi se unaprijedili organizacijski procesi, identificirali propusti i
postavili radni ciljevi (U.S. GAO 2003).
Jedno istraživanje 16 programa koje je implementiralo 12 agencija vlade
SAD-a a koje je provedeno 2003. godine pokazalo je da su mnogi vladini
programi već koristili redovno prikupljane podatke o rezultatima kako bi im
to pomoglo da unaprijede te programe. Primjera radi, podaci o rezultatima
korišteni su kako bi se mogle poduzimati korektivne mjere, identificirati i poti-
cati „najbolje prakse“, motivirati i regrutirati osoblje, te planirati budžet.
Istraživanje je istovremeno pokazalo i neke kontinuirane prepreke korištenju
podataka o rezultatima, kao što su:
• nedostatak autoriteta ili interesa da se naprave promjene;
• ograničeno shvatanje i korištenje podataka o ishodima;
• problemi sa podacima o ishodima (zastarjeli podaci, nedisagregirani podaci,
nedostatak specificiranja, potreba za posrednim podacima, itd...) i
• strah od “ljuljanja broda” (Hatry i drugi 2003).

GPRA je 2003. godine izmijenjen kako bi bio proširen i na performanse i proces
usvajanja budžeta. Također, učinjen je dodatni napor kako bi se tačnije vreme-
nski utvrdilo strateško i godišnje planiranje i izvještavanje prema ovom Zakonu.
Channah Sorah je ukratko opisao GPRA kao samo dobar posao. Njegovi zahtjevi
pružili su vladinim uredima alat za osnovne načine poslovanja uz dosta senzibi-
liteta: postaviti radne ciljeve i mjeriti dugoročne i kratkoročne rezultate. Svaka
organizacija koja nastoji pružiti bolji kvalitet življenja, veći obim usluga, te bolji
ukupni kvalitet klijentskih usluga mora imati svoju viziju i misiju, postaviti
zadatke i ciljeve i mora mjeriti rezultate. (2003, pp. 5-6)
U jednoj studiji iz 2003. godine, Državni ured za odgovornost je došao do rezu-

ltata da se mnoge vladine agencije susreću sa ozbiljnim izazovima u usposta-
vljanju smjera za rezultate na nivou cijele agencije. Rukovodioci na federalnom
nivou koji su ispitani u okviru istraživanja izjavili su da rukovodioci agencija nisu
konsistentno pokazivali veliku predanost postizanju rezultata. Osim toga, prema
njima, agencije nisu uvjek pozitivno ocijenile uposlenike koji su pomagali agenciji
u postizanju strateških ciljeva. Državni ured za odgovornost također je izvjestio
da su one agencije koje su postigle dobre rezultate nastojale fokus menadžmenta i
odgovornosti preusmjeriti sa aktivnosti i procesa na doprinose i postizanje rezultata.
Međutim, iako su mnogi ispitani rukovodioci izjavili da su smatrani odgovornim
za postizanje ciljeva njihovog programa, samo nekoliko ih je izjavilo da oni zaista
imaju moć odlučivanja koja im je potrebna da bi pomogli agenciji da postigne
strateške ciljeve.
Na kraju, Državni ured za odgovornost je došao do zaključka da, iako su
rukovodioci sve više izvještavali da za svoje programe imaju mjere za praćenje
rada (na osnovu rezultata), nivo korištenja informacija o rezultatima u ključnim
aktivnostima rukovodstva o kojem su ovi rukovodioci izvještavali bio je manji u
odnosu na prethodna istraživanja. Studija Državnog ureda je prepoznala potrebu
da se transformira organizacijska kultura kako bi bila više okrenuta prema rezulta-
tima, više fokusirana na klijente (korisnike) i više kolaborativna (saradnička).
Vodeće javne organizacije u Sjedinjenim Američkim Državama i dru-
gim zemljama su otkrile da strateško upravljanje ljudskim kapitalom mora biti
središnji dio bilo kakve ozbiljne inicijative upravljanja promjenama i nasto-
janja da se transformira kultura vladinih agencija. Sistemi upravljanja učincima
su sastavni dio strateškog upravljanja ljudskim kapitalom. Takvi sistemi mogu
biti ključni instrumenti za maksimiziranje učinaka tako što bi uskladili mjere
institucionalnih učinaka s individualnim učinkom i stvorili “vidokrug” između
pojedinačnih i organizacijskih ciljeva. Vodeće organizacije koriste svoje sisteme
upravljanja učinkom kao ključni alat za usklađivanje učinaka institucije, insti-
tucionalnih jedinica i pojedinačnih zaposlenika, postizanje rezultata, ubrzanje
promjena, dnevno upravljanje organizacijom, i olakšavanje komunikacije tokom

cijele godine tako da su rasprave o individualnom i organizacijskom učinku inte-
grirane i svakodnevne.
„Enklava“ pristup
■■ „Enklava“
pristup: Sposobnost da se uspostavi sistem evaluacije često se razlikuje od ministarstva
Uspostava do ministarstva. Iz tog razloga, strategija „cijele vlade“ ne može pokretati sva
sistema ministarstva istovremeno; tada za razvoj takvih sistema može postojati potreba da
evaluacije i se ministarstva svrstavaju prema redoslijedu. Inovacije na jednom nivou često se
monitoringa u
filtriraju kako vertikalno tako i horizontalno na druge nivoe vlasti.
jednom dijelu ili
sektoru vlade u
„Enklava“ pristup se fokusira na jedan dio ili sektor vlade, kao što je
jednom jedno ministarstvo. Meksiko se, na primjer, fokusirao na društveni razvoj,
vremenu, npr. u Jordan na planiranje a Kirgistan na zdravstvo. Rad s jednim ministarstvom koje
jednom ima snažno vodstvo može biti najbolji način djelovanja u zemljama koje nemaju
ministarstvu kapacitet za pristup „cijele vlade“.
■■ Mješoviti
pristup: Mješoviti pristup
Sveobuhvatna
Zemlje poput Irske su usvojile mješoviti pristup evaluaciji.
uspostava
sistema
Dok su neka područja (kao što su projekti finansirani iz strukturnih fondova EU)
monitoringa i sveobuhvatno evaluirana, druga područja dobivaju manje pažnje. Vlada Irske je
evaluacije u započela stvaranje svog sistema evaluacije pristupom „enklave“, ali je promi-
nekim dijelovi- jenjen u smjeru sveobuhvatnog pristupa posebno što se tiče programa državne
ma vlade, dok potrošnje (Lee 1999). Mješoviti pristup može biti valjana alternativa za neke
se drugim
zemlje u razvoju.
dijelovima vlade
pridaje manje
pažnje Povećanje razvoja kapaciteta evaluiranja u Irskoj
Kao mnoge druge zemlje u kasnim ‘60-tim, Irska je imala interes za raciona-
lnu analizu i njenu primjenu u planiranju i izradi budžeta. Oni koji su usvajali
vladinu politiku identificirali su potrebu za objektivnim istraživanjima društvenih
programa te razvoj i potrebe onih koji su bili uključeni kako bi stekli vještine
potrebne za provedbu ove studije (Friis 1965; Public Services Organisation
Review Group 1969). Pokrenuto je nekoliko inicijativa koje bi razvile vještine
evaluiranja.
Unatoč tim inicijativama, opseg tih evaluacija bio je ograničen, te su imale
malo utjecaja na proces donošenja odluka sve do kasnih ‘80-tih. Ovaj nedostatak
utjecaja je uzrokovan djelimično nepostojanjem jake tradicije evaluiranja poli-
tika i programa u Irskoj, a dijelom i zbog činjenice da su evaluacije provedene
u vrijeme ekonomske krize kada evaluacija kao alat za dobro upravljanje nije
smatrana jednako važna kao i potreba za kontrolom javne potrošnje.
Izuzetak od ovog nedostatka utjecaja su EU izdaci u Irskoj. Fondovi
Evropske unije implementiraju se kroz niz operativnih programa, koji se vode

prema zajedničkom Okvirnom planu za podršku Zajednice između EU i Irske
(CSF). Evropska unija kao glavni izvor finansijske pomoći zahtijevala je dosljednu
i sistematičnu evaluaciju. Evaluacije programa koje je finansirala EU značajno su
utjecale na dvije glavne oblasti (politike): (a) obuka i usavršavanje u privredi
i sheme otvaranja radnih mjesta i (b) borba protiv siromaštva i drugi programi
razvoja zajednice. Oblast tržišta radne snage uglavnom se fokusirala na kvantita-
tivno mjerenje ishoda, dok su inicijative razvoja zajednice bile usredotočene na
kvalitativne metode koje su se više ticale opisa, a manje mjerenja ishoda (Boyle
2005).
Između 1989. i 1993. godine osnovane su dvije nezavisne jedinice za evalu-
acije, jednu je osnovao Evropski socijalni fond, a drugu je osnovala Jedinica
ocjenjivanja industrije. Od 1989. godine evaluacija strukturnih fondova EU
postala je formalni uvjet za sve one koji su primali pomoć, a sve to je dovelo do
daljnjeg razvoja evaluacije. U periodu između 1994. i 1999. u okviru Minista-
rstva finansija uspostavljena je Centralna jedinica za evaluacije. Treća jedinica
za evaluacije uspostavljena je s ciljem da se bavi evaluacijama u oblastima
poljoprivrede i ruralnog razvoja, te su imenovani vanjski evaluatori za evalu-
iranje troškova predviđenih operativnim planovima i CSF planom. Između 1999.
i 2006. godine došlo je ponovo do povećanog interesa za domaćom evaluacijom
javnih troškova u Irskoj. Povećan je kapacitet Centralne jedinice za evaluacije
kako bi mogla preuzeti ove dodatne obaveze, a ukinute su nezavisne jedinice za
evaluacije. Angažirani su vanjski evaluatori da obave srednjoročnu evaluaciju
operativnih programa i Plana nacionalnog razvoja (Boyle 2005).
Usvajanje novog pristupa evaluaciji u Francuskoj

Do 2001. godine Francuska je bila među zemljama članicama OECD koje su se
najsporije kretale u pravcu izgradnje zdravog sistema evaluacije. Francuska je zaista
u tom pogledu zaostajala iza mnogih tranzicijskih ekonomija i zemalja u razvoju.
Tokom kasnih ‘80-tih i tokom ‘90-tih pokušalo se sa nekoliko različitih vrsta reformi.
Nakon toga, vlada je 2001. godine usvojila nova pravila kojim se ukida
finansijska odredba uspostavljena još Ustavom iz 1959. godine prema kojoj se
budžet priprema po stavkama i uspostavlja se novi pristup programiranju. Novi
podzakonski akti koji su omogućeni ustavnom izmjenom a koji su planirani
da se provedu u periodu od 5 godina (2001-06), imali su dva osnovna cilja: (a)
reformu okvira upravljanja javnim sektorom kako bi bio orijentiran na rezultate
i performanse i (b) jačanje zakonodavne kontrole. Kao što je tadašnji premijer
Lionel Jospin primijetio “Predstavljanje budžeta u obliku programa koji grupi-
raju troškove prema glavnim javnim politikama trebao bi i članovima Parlamenta
i građanima dati jasniju sliku o vladinim prioritetima te troškovima i rezultatima

njenih akcija” (Republika Francuska 2001). Prihvaćeno je oko 100 programa i
dodijeljena su im finansijska sredstva.
Budžet svakog programa koji je podnesen Parlamentu morao je sadržavati i
izjavu o jasnim ciljevima i pokazateljima učinka (performansi). Rukovodioci u
javnom sektoru imali su veću slobodu i autonomiju kada je u pitanju alociranje
sredstava, ali su zauzvrat smatrani još odgovornijim za rezultate. Tako da se može
reći da je novi proces usvajanja budžeta bio potaknut rezultatima.
Budžetski zahtjevi za dodatnim sredstvima morali su sadržavati godišnje
planove performansi koji su detaljno pojašnjavali očekivane naspram stvarnih
rezultata za svaki program. Godišnji izvještaji o učinku (uspjehu) također su bili
uključeni u izmjene budžeta. Cilj ovakvih mjera bio je da omogući zakonodavcu
(Parlamentu) da bolje ocjenjuje uspjeh vladinih programa.
Ovakva reformska inicijativa promijenila je neke političke i institucionalne
odnose unutar francuske vlasti dajući veća budžetska ovlaštenja zakonodavnoj
vlasti. “Član 40 Ustava ranije je onemogućavao članove [zakonodavne vlasti]
da predlažu amandmane kojima se uvećavaju rashodi i/ili umanjuju prihodi. Oni
mogu mijenjati distribuciju dodijeljenih sredstava među programima u jednom
određenom zadatku.” Zakonodavac može glasati o procjeni prihoda, iznosima za
pojedine misije, ograničavanju broja radnih mjesta u javnim službama te posebnim
računima i određenim budžetima. Pored toga, parlamentarne komisije za finansije i
budžet imaju zadatak da prate i nadgledaju trošenje budžetskih sredstava.
Državni službenici su odmah reagovali na ovakve izmjene. Uspostavilo se
da je nastao novi birokratski nivo kontrole, nove računovođe, bilo je potrebno
više revizija, slalo se više anketa i upitnika od ureda za reviziju i inspekcija,
sve više zahtjeva za izvještavanjem, itd... Rukovodioci su imali poteškoće u
prilagođavanju ograničenjima koja su nametali zahtjevi za postizanjem rezultata
(kvantitet) te su, s druge stane, zapostavljali kvalitet usluga, a što se nije poja-
vljivalo u ciljevima.
Što se tiče kvaliteta usluga, “ne postoji mehanizam konkurencije niti jakog
pritiska konzumerizma koji to mogu garantovati” (Trosa 2008, p. 8). Društva
su veoma složena. Nekim ljudima je potrebna finansijska pomoć, drugima je
potrebno povjerenje i preuzimanje odgovornosti dok neki žive potpuno sretno.
Pitanje je kako rezimirati sva ovakva ponašanja u jednu formulu. (Trosa 2008).
Kombiniranje ranijeg sistema evaluacije sa novim nije dovelo do slobode
menadžmenta, kreativnosti i inovacije. Trosa smatra da je neophodan jedan
alternativni model. Još jedna lekcija koja se može naučiti iz francuskog iskustva
jeste da “jačanje internog menadžmenta se ne može postići bez njegovog
povezivanja sa internim upravljanjem javnog sektora” (Trosa 2008, str. 2). Prema
Trosi, novi sistem ne treba uništavati, nego „proširiti“ na način da se jasno prodi-
skutira njegova svrha te da se podstakne logika akcije, a ne samo korištenje alata.

Evaluacija u zemljama u razvoju
Zemlje u razvoju se na svom putu izgradnje vlastitih sistema evaluacije suočavaju

sa izazovima od kojih su neki isti kao i u razvijenim zemljama, dok su neki
potpuno drugačiji. Da bi se uspostavio bilo kakav sistem evaluacije u bilo kojoj
zemlji i da bi opstao, neophodan je angažman zainteresiranih strana te poštovanje
principa transparentnosti i dobrog upravljanja. U zemljama u razvoju može biti
teže kreirati potrebu za jednim sistemom evaluacije i njegovim „vlasništvom“.
Nedovoljna politička volja i slabi institucionalni kapaciteti sporo se razvijaju.
Poteškoće u saradnji i koordinaciji među ministarstvima mogu ugroziti napredak
ka strateškom planiranju. Također, nedostatak saradnje i koorodinacije vladinih
tijela i organa može biti veoma bitan faktor i u zemljama u razvoju, ali i u onim
razvijenim.
Kako bi nastali i sazreli, sistemi evaluacije moraju podrazumijevati političku
volju vlade, ali i prvake koji su visoko pozicionirani i imaju jaku volju da se
preuzmu politički rizici zagovaranja sistema evaluacije. I pored prisustva boraca
za evaluaciju u državi, potreban je veliki put da se izgradi i održi jedan sistem
evaluacije. Ustvari, ne postoji nijedan slučaj da je sistem monitoringa i evaluacije
u javnom sektoru neke zemlje u razvoju nastao bez nekog borca za evaluaciju.
Mnoge zemlje u razvoju još uvijek se muče da objedine jake i efikasne insti-
tucije. U nekima je potrebna reforma državne službe dok su u drugima neophodne
reforme zakonskog i regulatornog okvira. Na putu ka ovom cilju, međunarodna
zajednica za razvoj nastoji unaprijediti ove osnovne elemente kako bi pomogla
ovakvim zemljama. Pravi je izazov izgrađivati institucije, poduzimati reforme
državne službe i upravnog ambijenta, modernizirati pravni i regulatorni okvir a
u isto vrijeme graditi sistem evaluacije. Uspostavljanje sistema evaluacije može
pomoći u informiranju i usmjeravanju vlade da poduzme neophodne reforme u
svim oblastima.
Zemlje u razvoju moraju prvo imati ili uspostaviti temelj za jedan sistem
evaluacije. Mnoge zemlje se kreću upravo u ovom smjeru. Uspostavljanje
ovakvog temelja znači da zemlja ima osnovni statistički sistem i podatke kao
i ključne budžetske sisteme. Podaci i informacije moraju biti odgovarajućeg
kvaliteta i kvantiteta. Kao i razvijene zemlje, zemlje u razvoju moraju poznavati
vlastitu poziciju i uvjete u vlastitoj zemlji – gdje se trenutno nalazi u odnosu na
određeni program ili politiku. Također, neophodan je kapacitet radne snage da se
razviju, podrže i održe ovakvi sistemi. Službenici moraju biti obučeni u mode-
rnim načinima prikupljanja podataka, metodama monitoringa i analiza – izazovi
koji mogu biti veoma bolni u nekim zemljama u razvoju (Schacter 2002).
Kao odgovor na ove izazove, mnoge organizacije za pružanje pomoći su
požurile sa svojim nastojanjima da izgrade institucionalne kapacitete. Metode
uključuju tehničku i finansijsku pomoć za izgradnju sistema statistike, obuku u

oblasti monitoringa i evaluacije, dijagnostičke procjene o spremnosti i budžetske
sisteme zasnovane na rezultatima i učinku. Trend ka izradi Strategije pomoći
zemlji koja je zasnovana na rezultatima može pomoći da se oblikuju dobre prakse.
Pomoć zemljama u razvoju u izradi strategija smanjenja siromaštva također može
doprinijeti izgradnji takvih kapaciteta.
Kao dio nastojanja da podrže lokalne kapacitete zemalja u razvoju, razvojne
agencije i institucije, također, nastoje stvoriti mreže, kao što je on-line mreža i
participativna društva koja razmjenjuju eskpertize i informacije. Primjeri ovakve
prakse su Razvojna kapija (Development Gateway) i Azijsko društvo prakse
(Asian Community of Practice). Može se argumentirati da su okolnosti i uvjeti u
svakoj zemlji jedinstveni i da iskustvo jedne zemlje ne mora nužno imati sasvim
isti učinak i u drugoj zemlji. Međutim, kada se prihvati činjenica da postoji
veoma malo općeg znanja o razvoju – da se svo znanje treba prikupiti, a zatim
analizirati, modificirati, razvrstati i ponovo kombinirati kako bi odgovaralo
lokalnim potrebama – izvor je nevažan. Novi moto je “Skeniraj globalno –
osmisli lokalno” (Fukuda-Parr, Lopes, i Malik, 2002, str. 18).
Međunarodni program za obuku u razvojnoj evaluaciji

Nezavisna grupe za evaluacije Svjetske banke je 1999. godine provela istraživanje
kako bi se identificirala obuka na temu razvojnog evaluiranja. Došlo se do
saznanja da ne postoji ništa osim nekoliko programa za razvojne organizacije koji
se ne ponavljaju nego se organiziraju samo po jednom. Ovakva saznanja dovela
su 2001. godine do pokretanja Međunarodnog programa za obuku u razvojnoj
evaluaciji (International Program for Development Evaluation Training - IPDET),
kao dio glavnih nastojanja da se izgrade kapaciteti za evaluacije u zemljama u
razvoju kao i u organizacijama koje su usmjerene na pitanja razvoja.
IPDET program obrazuje stručnjake i profesionalce koji već rade kao i one koji
se pripremaju da počnu raditi, da dizajniraju i provode evaluacije u određenom
razvojnom kontekstu. Ovaj program četverosedmične obuke koji se održava
godišnje u Ottawi (Kanada) u kampusu Univerziteta Carleton i uz podršku dru-
gih organizacija, rezultanta je saradnje Nezavisne grupe za evaluiranje Svjetske
banke, Fakulteta za javna pitanja na Carleton Univerzitetu te drugih orga-
nizacija, uključujući Kanadsku agenciju za međunarodni razvoj (CIDA), Odjel za
međunarodni razvoj Velike Britanije (DfID), Švicarsku agenciju za razvoj i sara-
dnju (SDC), Norvešku agenciju za razvojnu saradnju (NORAD), Međunarodni
centar za razvojna istraživanja (IDRC), Međunarodni centar za humanitarno
deminiranje iz Ženeve (GICHD), Švedsku agenciju za međunarodnu razvo-
jnu saradnju (SIDA), Sekreterijat Komonvelta, Ministarstvo vanjskih poslova
Holandije, Afričku razvojnu banku (AfDB) i Dansku agenciju za međunarodni
razvoj (DANIDA).

Kurs IPDET programa počinje dvosedmičnim osnovnim programom koji
posebnu pažnju posvećuje monitoringu i evaluiranju provedbe strategija borbe
protiv siromaštva te naglašava značaj MiE sistema zasnovanog na rezultatima i
značaj učešća zainteresiranih strana. Osnovni program nudi više od 18 instrukci-
jskih časova, sa kompletnim alatima, studijama slučajeva, grupama za diskusije
i literaturom. Skoro jedna trećina instrukcijskog vremena posvećena je stuktu-
riranim sesijama za grupni rad, koji učesnicima sa sličnim interesovanjima daje
mogućnost da rade zajedno na pitanjima evaluiranja razvoja iz stvarnog svijeta i
da naprave preliminarni dizajn evaluacije nekog programa koji jedan od učesnika
iz grupe mora primijeniti u evaluaciji nakon povratka na radno mjesto.
Nakon dvije sedmice osnovnog programa, slijedi također dvosedmični pro-
gram prilagođene obuke u vidu 30 radionica koje nudi veliki broj veoma respe-
ktabilnih i poznatih instruktora. Primjeri radionica uključuju i sljedeće:
• dizajniranje evaluacije učinka pod pritiskom;
• dizajniranje i izgradnja MiE sistema zasnovanog na rezultatima;
• razumijevanje pristupa Svjetske banke evaluaciji zemalja, sektora i projekata;
• korištenje mješovitih metoda za razvojne evaluacije;
• korištenje participativnog monitoringa i evaluacije;
• evaluiranje postkonfliktnih situacija i provođenje zajedničkih međunarodnih
evaluacija;
• evaluiranje HIV/AIDS programa i
• evaluiranje isključenih i marginaliziranih grupa stanovništva.
IPDET je jedan od nekoliko programa u razvojnoj evaluaciji koji se nudi
godišnje. Ovaj program je obučio više od 2.000 profesionalaca iz ministarstava,
bilateralnih i multilateralnih organizacija za pomoć, nevladinih organizacija
(NVO) i drugih razvojnih subjekata.
IPDET osnovni program sada se nudi po različitim nivoima i čak po zemlja-
ma. „Prilagođena“ verzija IPDET-a provedena je, na primjer, u Australiji (za
australsku zajednicu NVO-a), Botsvani, Kanadi, Kini, Indiji, Južnoj Africi, Tunisu,
Tajlandu, Trinidadu i Tobagu te u Ugandi. Ovi kraći regionalni programi –
poznati i kao “mini-IPDET”— visoko su interaktivni, što uključuje mješavinu
prezentacija, grupa za diskusije, grupnih vježbi i studija slučajeva. Programi su
pripremljeni tako da se maksimizira stručno usavršavanje među kolegama, sa
naglaskom na rasprave o pitanjima iz stvarnog svijeta i učenje praktičnih rješenja
za ta pitanja.
Na osnovu dokazanog uspjeha IPDET programa putem godišnjeg izvještavanja
i procjene učinka, Nezavisna grupa za evaluiranje trenutno radi na partnerstvu sa
kineskim Ministarstvom finansija (Sektor za međunarodne poslove), Centrom
za financije Azije i Pacifika i Azijskom razvojnom bankom o prvoj instituciona-
liziranoj regionalnoj ponudi programa.

Program pod nazivom Shanghai IPDET (SHIPDET), nudi se dva puta
godišnje, jednom na nivou države i jednom regionalno. Uspostavljanje ovog pro-
grama pokazuje nastojanja da se pomogne u razvoju kapaciteta za evaluiranje u
zemljama i regionima u razvoju.
Novi sistemi evaluacije

Nastojanja da se izgradi jedan sistem evaluacije i da se svjetlo baci na aloci-
ranje sredstava i stvarne rezultate mogu naići na jak politički otpor, negodovanje
i odbijanje. Uzimajući u obzir prirodu vlasti u zemljama u razvoju, izgradnja
sistema evaluacije također može dovesti i do ponovnog oblikovanja političkih
odnosa unutar društva. Stvaranje jednog zrelog sistema evaluacije zahtijeva
međuzavisnost, prilagođavanje i koordinaciju brojnih nivoa vlasti. Postiza-
nje takvih uvjeta može biti veoma zahtjevno. U mnogim zemljama u razvoju,
vlasti su veoma labavo povezane i još uvjek rade na izgradnji jake upravne
kulture i transparentnih finansijskih sistema. Kao rezultat, neke vlasti mogu imati
nejasne informacije o iznosima i raspodjeli raspoloživih sredstava i vjerovatno im
nedostaje informacija o tome da li su ti resursi iskorišteni za namijenjene svrhe.
Mjerenje performansi vlasti u jednom takvom ambijentu je čista aproksimacija.
Mnoge razvijene zemlje, ali i zemlje u razvoju, još uvijek rade na tome da
povežu performanse sa okvirom ili strategijama javne potrošnje. Ako se takva
veza ne uspostavi, nema načina da se utvrdi da li su budžetske alokacije za
određene programe efikasne i da li polučuju uspjeh.
Neke zemlje u razvoju počinju praviti značajan napredak na ovom planu.
Na primjer, Indonezija je ‘90-tih počela da uspostavlja vezu između evaluacije
i postupka raspodjele godišnjih budžetskih sredstava. “Na evaluaciju se gleda
kao na jedan alat koji će ispraviti politiku i poboljšati programe javne potrošnje
putem direktnije veze između Nacionalnog razvojnog plana i procesa raspodjele
sredstava (Guerrero 1999, p. 5). Neke zemlje srednjeg dohotka — uključujući
Brazail, Čile i Tursku — bilježe napredak u povezivanju potrošnje i ciljanih
ishoda. Vlada Brazila izdaje posebne vladine izvještaje o ciljanim ishodima
(OECD i PUMA 2002).
Mnoge zemlje još uvijek rade sa duplim budžetskim sistemom, jedan za
povremene troškove i drugi za kapitalne/investicijske troškove. Sve donedavno,
u Egiptu je Ministarstvo finansija nadziralo realizaciju povremenih troškova dok
je Ministarstvo za planiranje nadgledalo realizaciju kapitalnih izdataka. Konso-
lidiranje ovih budžeta unutar jednog ministarstva zasigurno je vladi olakšalo da
razmotri jedan mnogo širi sistem evaluacije kako bi osigurala da su nacionalni
ciljevi postignuti.
Ako se u obzir uzmu posebne poteškoće uspostavljanja sistema evaluacije u
zemljama u razvoju, prihvatanje parcijalnog pristupa ili pristupa „enklave“ (gdje
nekoliko ministarstava predvodi usvajanje i izgradnju sistema evaluacije) radije

nego pristupa „kompletne vlade“ može biti bolje rješenje. Pokušaj da se ustanovi
i usvoji pristup „kompletne vlade“ može biti previše ambiciozan. Na primjer,
ocjena spremnosti Republike Kirgistana koju je pripremila Svjetska banka 2002.
godine preporučila je da se pomogne i podrži Ministarstvo zdravstva (koje je već
posjedovalo određene kapacitete) kao potencijalni model za moguću provedbu
sistema evaluacije na nivou cijele vlade.
Tako su Kina, Malezija i Uganda prihvatile pristup „enklave“ i započele pro-
ces. Njihova nastojanja i iskustva iznesena su i opisana u narednim redovima.
Evaluacija motivirana rastom – slučaj NR Kine

Evaluacija je relativno novi pojam u Kini. Prije ranih ‘80-tih taj pojam je bio
skoro nepoznat. To nepoznavanje pojma evaluacije utjecalo je i na orijentaciju
društvenih nauka u to vrijeme, a tako isto i nedostatak literature o evaluaciji na
kineskom jeziku te nedostatak sistematiziranih kontakata kineskih službenika sa
kolegama iz drugih krajeva svijeta gdje se prakticira evaluacija.
Kinezi su poduzimali neke mjere i radnje koje se odnose na evaluaciju,
uključujući analizu politike, ekonomske studije i menadžment, istraživanja,
ocjenjivanja završetaka projekata te rezimiranje iskustava. Institucionalni i
tehnički/analitički kapaciteti društvenih djelatnika postojali su na nekim institu-
tima za ekonomske politike i istraživanja.
Međutim, tek 1992. godine ključne centralne agencije kao što su Državni ured
za reviziju administracije, Ministarstvo finansija i Državna komisija za planiranje
počele su razvijati i pokretati posebne prijedloge za izgradnju kapaciteta za moni-
toring i evaluaciju u Državnom vijeću. Centar za evaluaciju nauke i tehnologije
i Holandski odjel za evaluiranje politika i operacija proveli su prvu zajedničku
evaluaciju naučno-tehnoloških programa (NCSTE i IOB 2004).
Nakon kapitalne i razvojne pomoći koja se šalje u Kinu tokom posljednjih
20 godina, u zemlji su značajno porasli kapaciteti i razumijevanje tehnoloških
i inžinjerskih analiza, finansijskih analiza, ekonomskih analiza i modeliranja,
analiza socijalnog utjecaja, analiza okolišnog utjecaja, analiza održivosti te
studija izvodivosti. Veoma je impozantno kako je brzo došlo do ovakih promjena
i napretka u Kini.
Pokretačka snaga za evaluaciju u Kini bio je masivan i održiv talas naciona-
lnog razvoja i ekonomskog rasta. Godišnji bruto domaći proizvod (BDP) rastao
je za više od 7,8 procenata na godišnjem nivou u periodu od devet godina (sve do
2007. godine). Interes za bavljenjem pitanjima u vezi sa evaluacijom proizlazi iz
kineske brige za razvoj. Neke centralne agencije i institucije poput firme China
International Engineering Consulting, konsultantske firme u vlasništvu vlade ili
Ministarstva građevinarstva ili Državne razvojne banke sada imaju izgrađene
kapacitete za evaluaciju na svojim najvećim organizacijskim nivoima.

Iako je ocjena većine projekata ex post (nakon završetka projekta), sve više
se prihvata mišljenje da bi pitanja evaluacije trebala biti ugrađena u svaku
fazu ciklusa razvojnog projekta. U Kini postoji sve veća svijest o tome da je
funkcija evaluacije primjenjiva na sve dijelove projektnog ciklusa. Sada postoji
interes da se uspostavi veza između evaluacije i formulacije i provedbe pro-
grama. Neke evaluacije su već provedene, iako se takve evaluacije rijetko
rade na jedan sveobuhvatan način. Jedan primjer takve evaluacije desio se
2006. godine, kada je Kina po prvi put ugradila sistematsku mjeru monito-
ringa i evaluacije u svoj petogodišnji plan. Ovaj sistem koji je uključen u 11.
Petogodišnji plan i zasniva se na pet koraka koje su identificirali Kusek, Rist
i White (2004).
U aprilu 2006. godine, Kina je dva puta godišnje pokrenula program
SHIPDET kako bi se obučili evaluatori iz Kine i regije. Partneri u ovom
programu su Ministarstvo finansija, Svjetska banka, Azijska razvojna banka
i Azijsko-pacifički centar za finansije i razvoj. Kina gradi dobar temelj za
evaluaciju iako je to još daleko od uspješnog modela.
U strukturi kineske vlade i upravnoj hijerarhiji mora se postići nekoliko
ključnih zadataka ukoliko postoji namjera da se sistem evaluacije i dalje razvija.
Ti zadaci uključuju i sljedeće:
• da se uspostavi jedna jaka centralna institucija nadležna za upravljanje i
koordinaciju cjelokupnog sistema evaluacije;
• da se uspostave formalne jedinice za evaluaciju, politike i uputstva u svim
relevantnim ministarstvima i bankama;
• priznanje da je došlo pravo vrijeme da i provincije i lokalna vlast i uprava
započnu vlastite evaluacije;
• da se unutar Državnog ureda za reviziju uspostavi jedan postupak revizije sa
funkcijom evaluacije tako da se nadzor i kontrola evaluacija provedenih u
okviru nadležnih ministarstava kao i da se politike i uputstva o evaluaciji koje
su izdale centralne organizacije za evaluaciju, relevantna ministarstva, provi-
ncije i banke, mogu provoditi;
• da se razviju naprednije metode evaluiranja unutar organizacijskih jedinica i
odjeljenja;
• da se pojača funkcija monitoringa i supervizije u agencijama za investicije i
• da se poveća broj dobro obučenih evaluatora za brojna državna ministarstva,
provincije i banke koji dolaze u arenu evaluacije (Houqi i Rist 2002).

Kina je prepoznala značaj povećanja zahtjeva za rezultatima evaluacije. Ovaj
ključni problem predstavlja izazov u mnogim zemljama koje nemaju tradiciju
transparentnog rada vlasti.
Budžetiranje na osnovu rezultata, izgradnja nacije i globalna konkurentnost u

Maleziji
Među zemljama u razvoju, Malezija se nalazi na samom vrhu po provedenim
reformama u oblasti državne službe, posebno u vezi sa pitanjima budžeta i fina-
nsija. Ove reforme započete su ‘60-tih kao dio nastojanja vlade da strateški
razvije zemlju. S obzirom da je javni sektor prepoznat kao osnovno sredstvo
razvoja, naglašena je potreba da se ojača državna služba putem upravnih reformi.
Malezija je 1969. godine usvojila Sistem budžeta na osnovu programskih
učinaka (PPBS), koji je koristila sve do ‘90-tih. Ovaj sistem je zamijenio line-
arni sistem budžeta (prema budžetskim stavkama) sistemom koji je zasnovan na
ishodima. Dok su ministarstva i agencije koristile strukturu program-aktivnost, u
praksi je implementacija još uvijek ličila na linearni sistem i na jedan inkreme-
ntalni pristup.
Reforme budžetskog sistema su se fokusirale na sve veću odgovornost i
finansijsku disciplinu raznih vladinih tijela (ministarstava i agencija) koja su
imala zadatak da provedu planove socioekonomskog razvoja Malezije. Vlada je
također poduzela jedan broj dodatnih reformi uključujući i napore da se poboljša
finansijska usklađenost, upravljanje kvalitetom, produktivnost efikasnost vla-
dinih akcija kao i upravljanje nacionalnim razvojem.
Napori koje je Malezija uložila u reforme budžetskog sistema bili su usko
povezani sa naporima usmjerenim ka izgradnji nacije i globalne konkurentnosti.
Jedna od pokretačkih sila ovih reformskih nastojanja bila je da se reforme uvežu
sa programom vizija 2020, čiji je cilj bio da Malezija do 2020. godine postane
potpuno razvijena zemlja.
Vlada je 1990. godine PPBS sistem zamijenila Modificiranim sistemom
budžetiranja (MBS). Prema PPBS sistemu, postojala je minimalna veza između
izlaznih rezultata i ulaznih podataka; nastavilo se sa finansiranjem određenih
programa bez obzira što rezultati nisu bili sistematski mjereni. S druge strane,
u MBS sistemu mnogo veći akcenat je stavljen na izlazne rezultate i mjerenje
utjecaja programa i vladinih akcija.
U kasnim ‘90-tim, Malezija je razvila integrirani i na rezultatima zasnovani
sistem upravljanja (IRBM). Sastavni dijelovi ovog sistema bili su budžetski
sistem zasnovan na rezultatima i sistem ocjenjivanja učinka osoblja na osnovu
rezultata. Malezija je također razvila još dva sistema zasnovana na rezultatima —
sistem upravljanja informacijama i MiE (monitoring i evaluacija) okvir — koji bi
nadopunjavali sistem upravljanja (Thomas 2007).

IRBM sistem predstavlja jedan okvir za planiranje, implementaciju, moni-
toring i izvještavanje o učinku jedne organizacije. Također je moguće dovesti u
vezu organizacijski učinak sa učinkom osoblja. Jedan broj zemalja (uključujući
Afganistan, Botsvanu, Indiju, Mauricijus i Namibiju) integriraju IRBM sistem u
fazama, s tim da se u prvi plan stavlja budžetiranje na osnovu rezultata i MiE na
osnovu rezultata. U Maleziji je budžetski sistem glavni pokretač IRBM sistema
(Thomas 2007).
MIS i MiE sistemi, koji okviru strateškog planiranja služe kao jedna dimenzija
mjerenja učinka, čine IRB sistem dinamičnijim. MIS i MiE su međusobno usko
povezani kako bi se osiguralo da takav sistem rezultira ispravnom informacijom
za prave osobe i u pravo vrijeme. Indikatori moraju biti i operativni i zasnovani
na rezultatima. U Maleziji je razvijen integrirani okvir upravljanja učinkom, a
koristi se elektronska verzija ovog okvira. (Thomas 2007).
Malezijska vlada je iz vlastitog iskustva naučila nekoliko lekcija:
• potrebno je održati program izgradnje kapaciteta za ključne nivoe vlasti;
• monitoring i izvještavanje iziskuju vrijeme;
• proces planiranja učinka mora se ojačati kako bi bio što sveobuhvatniji;
• nagrade i sankcije nisu srazmjerne na svim nivoima i
• integriranje sa drugim inicijativama je ograničeno (Rasappan 2007).
Vlada također predlaže nekoliko preporuka:
• rad na punom vertikalnom i horizontalnom uvezivanju;
• izbjegavati razočarenja kako na političkom tako i na operativnom nivou;
• revidirati i jačati sve politike i sisteme podrške i
• raditi na uspostavi integriranog sistema upravljanja zasnovanog na rezultatima
koji će se fokusirati na učinke vlade kao cjeline (Rasappan 2007).
Iako je Malezija bila vodeća zemlja u reformama budžetskog sistema i javne
uprave, te reforme nisu išle bez poteškoća niti su bile konzistentne u toku godina.
I pored toga, MBS je bila jedna veoma važna inicijativa od strane vlade, kojom se
pokazala jedna dalekovidnost, inovativnost, dinamičnost i predanost da se dobije
adekvatna vrijednost za novac koji se uložio u određene projekte i politike koji su
se provodili (World Bank 2001).
Smanjenje siromaštva kao pokretačka sila za sistem evaluacije u Ugandi

Vlada u Ugandi obavezala se da će pružati efektivne javne usluge kao podršku
svojim prioritetima koji se odnose na smanjenje siromaštva. Priznavanje djelo-
tvornosti u pružanju usluga kao imperativ upravljanja nacionalnog razvoja jak je
dokaz o predanosti te vlade da postigne dobre rezultate. Ta predanost se također
očituje i kroz nekoliko tekućih prioriteta i aktivnosti koji se tiču upravljanja
javnim sektorom.

Tokom prethodne decenije Uganda je prošla kroz sveobuhvatne ekonomske
reforme i postigla makroekonomsku stabilizaciju. Kao odgovor na Sveobuhvatni
razvojni okvir, i Uganda je izradila Akcioni plan borbe protiv siromaštva (PEAP),
koji je inkorporiran u državni Strateški dokument smanjenja siromaštva. PEAP
poziva na smanjenje apsolutne stope siromaštva sa 44 % koliko je iznosila kasnih
‘90-tih na 10 % do 2017. godine. PEAP i MDG su u širem smislu veoma slični
na način da se fokusiraju na isti cilj i da dijele jedan opći cilj a to je da se vlada i
partneri u razvoju drže odgovornim za cjelokupni napredak u razvoju.
Uganda je postala prva država koja je proglašena podobnom korisnicom
inicijative za prezadužene siromašne zemlje (HIPC). Tako se 2000. godine kvali-
ficirala za veliku pomoć HIPC inicijative, u znak priznanja za sljedeće uspjehe:
efikasnost strategije smanjenja siromaštva u ovoj zemlji, savjetodavni proces u
koji je bilo uključeno i civilno društvo i kontinuiranu predanost makroekono-
mskoj stabilnosti.
Uganda je uvela nove mjere kako bi budžetsku proceduru učinila otvoreni-
jom i transparentnijom zainteresiranim unutarnjim i vanjskim faktorima. Vlada
modernizira fiskalni sistem, započinje decentralizaciju programa planiranja i
upravljanja resursima i pruža usluge lokalnom stanovništvu. Ministarstvo finansija,
planiranja i ekonomskog razvoja (MFPED) također uvodi budžetiranje orijenti-
rano ka izlaznim rezultatima. Pored toga, vladine institucije biće ojačane i više
odgovorne građanima.
Zemlja još uvijek prolazi kroz poteškoće u vezi sa koordinacijom i harmoni-
zacijom koja se odnosi na evaluaciju i PEAP. “Najprepoznatljivija karakteristika
PEAP MiE režima je odvajanje monitoringa siromaštva od monitoringa resursa,
iako oba procesa koordinira MFPED. Ova dva aspekta monitoringa i evaluacije
imaju razdvojene aktere, izvještavanja, a koriste i različite kriterije za ocjenji-
vanje. Monitoring finansijskih resursa odnosi se na ulaze, aktivnosti i sve više
na izlazne rezultate dok se monitoring siromaštva bazira na analiziranju ukupnih
ishoda siromaštva” (Hauge 2001). Druga pitanja koordiniranja evaluacije tiču se
uspostave nove Uprave za nacionalno planiranje i sektorskih radnih grupa.
Na kraju 2007. godine, Ured premijera (OPM) predstavio je radni dokument
za diskusiju o monitoringu i evaluaciji nacionalnog razvojnog plana. Dva cilja
ovog dokumenta bila su da revidira prednosti i slabosti akcionog plana (PEAP-a)
i da predloži budući pravac monitoringa i evaluacije novog nacionalnog plana
(Uganda OPM 2007a).
Ovaj radni dokument prepoznao je nekoliko problema sa ovim sistemom:
• “Ishodi i izlazni rezultati sektorskih ministarstava, mjerljivi indikatori sa
pratećim odrednicama i ciljevima, efikasan monitoring sistem, i strateška
upotreba evaluacije kako bi se utvrdili rezultati rada i uzročnost” (Uganda
OPM 2007b, p. 4) nisu jasni;

• Odgovornost je zasnovana na trošenju umjesto na najbitnijim mjerama učinka;
• Obim podataka koji se prikupe nije izbalansiran sa zahtjevima za podacima i
kapacitetom da se podaci koriste;
• Kao rezultat dupliciranog i nekoordiniranog monitoringa, stvoreni su: komple-
ksna i veoma opterećena aktivnost inspekcije, prikupljanje indikatora podataka
i obrasci za izvještavanje. Rezultat svega toga je ogromna količina podataka o
usaglašenosti sa pravilima i propisima koji ne daju jasan osnov za ocjenjivanje
da li je za određeni novac dobijena odgovarajuća vrijednost kao ni analiza
troškova i efikasnosti pružanja usluga u javnom sektoru. Jedna studija koju je
proveo Ured premijera Ugande (2007a, str. 6) izvještava da “razlozi loše koordi-
nacije i dupliciranja mogu se odnositi više na strukturu motivacijskih mjera
unutar državne službe, gdje su angažmani na monitoringu djelimično motivirani
željom za zaradom dnevnica kao veoma značajnog dodatka na platu.”
• Nedostatak inicijative i motivacije i problemi sa preklapanjem nadležnosti
u oblasti planiranja, monitoringa i evaluacije (MiE) rezultirali su time da je
teško sastaviti jednu državnu MiE radnu grupu koja će se baviti pitanjima i
izazovima monitoringa i evaluacije.
• Iako su provedene brojne evaluacije, one su u pravilu provođene u okviru
sektora i ministarstava bez upotrebe jedinstvenih standarda.
• Na lokalnom nivou, ljudi se još uvijek ne osjećaju uključeni u proces donošenja
odluka.
Radni dokument također daje nekoliko preporuka:
• povezati budžetske alokacije sa ostvarivanjem rezultata;
• razmotriti mogućnost potpisivanja sporazuma o državnoj službi i/ili ugovora o
učinku;
• pripremiti informaciju o rezultatima na vrijeme i na način na koji će ta informa-
cija biti korisna onima koji kreiraju politike;
• osigurati da su zahtjevi za informacijama i podacima u skladu sa ponudom
podataka;
• uspostaviti mehanizam kontrole i osiguranja kvaliteta;
• osigurati da analize budu korisne kreatorima politika;
• odvojiti funkcije monitoringa i evaluacije i
• pojasniti uloge i odgovornosti unutar vlade u vezi sa pitanjem planiranja,
monitoringa, evaluacije i drugih funkcija vezanih za osiguranje kvaliteta.
Kada je riječ o budućnosti sistema evaluacije, Uganda se suočava sa izazovom
daljnjeg razvoja i učenja iz ovog napretka na putu smanjenja siromaštva u odnosu
na PEAP i Nacionalnu strategiju smanjenja siromaštva. Evaluacija ne može biti
izolovana od praksi i inicijativa donošenja odluka koje podupiru sisteme i pro-
cese nacionalnog razvoja (Hauge 2001).

Implikacije novonastalih pitanja razvoja
Novonastala pitanja razvoja čine evaluaciju kompleksnijom. Ovo poglavlje nudi

kratak osvrt na ova pitanja i probleme, ističući implikacije na evaluaciju.
Patton (2006.) započinje diskusiju o najnovijim trendovima u pitanjima evalu-
acije identificirajući evaluaciju kao jedno globalno javno dobro. On opisuje porast
broja profesionalnih organizacija i udruženja evaluatora širom svijeta i standarda
i uputstava koje ovakve organizacije uspostavljaju. On također ukazuje na razvoj
više od 100 novih modela evaluacije kao jedan nadolazeći trend.
Patton koristi analogiju kako bi lakše ilustrirao novonastalu kompleksnost
evaluacije. U prošlosti su evaluatori često mogli pratiti određeni model (recept) u
provođenju evaluacije. Patton ovako opisuje prednosti recepta:
• recepti se testiraju i tako osiguravaju repliciranje (ponavljanje);

• pošto ne zahtijeva posebnu stručnost i ekspertizu, poznavanje kuhanja
povećava uspjeh i
• recepti rezultiraju standardnim proizvodima.
Recepti u kulinarstvu dobro funkcioniraju, međutim, kod razvojnih pitanja

recepti ne daju standardizirane rezultate iz razloga što je tu neophodan neki model
u kojem evaluator mora često odgovarati na veoma kompleksna pitanja. Pattonova
analogija nove trendove u evaluaciji razvoja poredi sa primjerom odgajanja
djeteta. Recept je jedan proces koji se odvija korak po korak. Za razliku od toga,
odgoj djeteta je jedan veoma kompleksan proces u kojem hranitelji koriste znanje
koje im koristi da donose odluke i reaguju na novonastale situacije.
Patton opisuje i jedan drugi trend u razvojnoj evaluaciji: dolazeći do situacija
koje su više formativne. Vrste formativnih situacija o kojima on diskutuje su
evaluacije u kojima
• su specificirani namjeravani i željeni ishodi, ali se sa tehnikama mjerenja

eksperimentira;
• model postizanja ishoda postavlja se kao hipoteza, potom se testira i usavršava;
• primjena intervencije nije standardizirana nego se analizira i usavršava kako
se problemi u intervenciji rješavaju (neka vrsta iterativnog pristupa) i
• je atribucija formulirana sa mogućnošću testiranja uzročnosti koja je dio
izazova.
Još jedan novi trend je taj da se od analiziranja pojedinačne evaluacije ide dalje
ka analiziranju tokova (Rist i Stame 2006). Rist i Stame opisuju kako se društvo
evaluatora sada oslanja na sisteme evaluativnog znanja, a ne na pojedinačne eval-
uatore niti na pojedinačne evaluacije, kako bi proizveli znanje o evaluaciji.

Osnova njihove teze jeste da jednostavno akumuliranje evaluacijskih izvještaja
ima malo ili nimalo utjecaja na usvojeno znanje koje se može steći jedino kroz
sintetiziranje istih studija.
Ono što se događa u oblasti razvoja svakako se odražava i na evaluaciju.
Agenda razvoja će se i dalje razvijati kao odgovor na trenutna i dolazeća pitanja
kao što su globalizacija, sve veći broj konflikata u svijetu, terorizam i pranje
novca, povećanje jaza između bogatih i siromašnih u svijetu, sve veći broj
sudionika na razvojnoj sceni, potreba za smanjenjem duga kao i novi naglasak na
bolje upravljanje i vladanje. Odgovaranje na ova pitanja pred evaluatora posta-
vlja nove zahtjeve.
Globalno kretanje ka sveobuhvatnom, koordiniranom i participativnom
razvoju kao i demonstriranje opipljivih rezultata također predstavlja nove izazove
zajednici razvojnih evaluatora. Došlo je do značajnih skretanja od parcijalnog
ka sveobuhvatnom razvoju, od individualnog ka koordiniranom pristupu
(partnerstva), od promocije rasta do smanjenja siromaštva te promjene fokusa
sa implementacije na rezultate. Što se tiče sveobuhvatnog razvoja, na primjer,
bilateralni i multilateralni donatori “sada moraju svaki projekat pozicionirati
unutar jednog šireg konteksta i ispitivati njegovu održivost i potencijalni utjecaj
na društvo, politiku i širu ekonomiju” (Takamasa and Masanori 2003, p. 6). Kao
što oni primjećuju:
Teoretičari razvoja također su počeli vjerovati da najvažniji faktor za ekonomski
razvoj nije kapital nego odgovarajuće politike i institucije. Ovaj zaokret uzroko-
van je ogromnim utjecajem kojeg su ekonomisti kao što su North . . . , Stiglitz .
. . i Sen . . . imali na ekonomske nauke, uključujući i razvojnu ekonomiju. Ova-
kav razvoj događaja rezultirao je trenutnom situacijom u kojoj centralnom temom
međunarodne razvojne pomoći dominira pitanje smanjenja siromaštva u jednom
širem smislu, što uključuje i širenje ljudskog dostojanstva i političke i ekonomske
slobode za ljude u zemljama u razvoju.
Milenijski razvojni ciljevi (MDGs) su jedna konkretna manifestacija ovog

novog razmišljanja o razvoju. Svjetski izvještaj o razvoju iz 2005. godine (World
Bank 2005b) fokusira se na to šta vlade mogu učiniti da stvore bolju klimu za
investicije u svojim društvima, mjereći napredak kroz jedan set indikatora koji
su dizajnirani da obuhvate elemente poslovne klime. Izvještaj preporučuje
unapređenje i poboljšanje institucija i ponašanja: osmišljavanje bolje regulative
i poreza, smanjenje barijera za konkurenciju, poboljšanje poslovnih inicijativa,
borbu protiv korupcije, jačanje povjerenja javnosti prema vlastima i jačanje legi-
timiteta, kao i osiguranje adekvatne primjene zakona i regulativa.
Mnoga od novih pitanja u razvojnoj pomoći uključuju bilateralne i multila-
teralne razvojne partnere i potencijalna opterećenja njihovih višestrukih evalu-
acija u zemljama u razvoju. Njihov angažman ojačava razloge za provođenje

zajedničkih međunarodnih evaluacija. Takve evaluacije mogu se provoditi na
nivou projekta, zemlje, sektora ili teme. One također mogu uroditi efikasnijim
upravljanjem troškovima, ali i harmoniziranjem evaluacijskih metoda koje bi
omogućile poređenje rezultata.
Ono što slijedi predstavlja kratku diskusiju o nekim glavnim pokretačkim
snagama agende međunarodnog razvoja i njihovim implikacijama na evalu-
aciju. Ti pokretači uključuju sljedeće:
• milenijske razvojne ciljeve (MDGs);

• Monterrey konsenzus;
• parisku deklaraciju o djelotvornosti pomoći;
• inicijativu prezaduženih siromašnih zemalja (HIPC);
• ulogu fondacija;
• prevenciju konflikta i postkonfliktnu obnovu;
• vladavinu;
• borbu protiv pranja novca i finansiranja terorizma;
• doznake radnika;
• pitanja spolnosti;
• razvoj privatnog sektora i ambijent za investicije;
• okolišnu i društvenu održivost i;
• globalna javna dobra.
Autori napominju da se ova lista faktora stalno mijenja. Dok se ova knjiga
odštampa, ključni faktor koji bi se mogao naći na čelu liste su efekti globalne
finansijske krize na svijet u razvoju.
Milenijski razvojni ciljevi
U septembru 2000. godine, 189 članica UN-a i brojne međunarodne orga-

nizacije usvojile su Milenijsku deklaraciju Ujedinjenih naroda, iz koje su
djelomično proistekli Milenijski razvojni ciljevi.
MDGs se sastoje od seta razvojnih ciljeva koje međunarodna zajednica želi
■■ MDGs: Grupa
postići do 2015. godine, kao rezultat aktivnog učešća kako razvijenih zemalja tako
razvojnih ciljeva
i zemalja u razvoju podjednako (Ilustracija 2.1). Ovi ambiciozni ciljevi tiču se međunarodne
smanjenja siromaštva, humanog razvoja i stvaranja globalnog partnerstva kako bi zajednice koje
se ova dva prethodna cilja postigla. Oni predstavljaju zaokret od naglaska koji je treba postići do
ranije širom razvojne zajednice bio na ekonomskom rastu za koji su se dono- 2015. godine
sioci odluka nadali da će ljude izvesti iz siromaštva. Milenijski razvojni ciljevi
posebno se fokusiraju na grupu mjera koje imaju za cilj smanjenje siromaštva
i poboljšanje životnih uvjeta za siromašne širom svijeta.

Ilustracija 2.1 Milenijski razvojni ciljevi su:
1. Iskorjenjivanje ekstremnog siromaštva i gladi;
2. Osiguranje univerzalnog osnovnog obrazovanja;
3. Promoviranje jednakosti spolova i jačanja žena;
4. Smanjenje smrtnosti djece;
5. Poboljšanje zdravlja porodilja;
6. Borba protiv HIV/AIDS-a, malarije i ostalih bolesti;
7. Osiguranje održivog okoliša;
8. Razvoj globalnog partnerstva za razvoj.
Izvor: www.un.org/millenniumgoals
Osam razvojnih ciljeva uključuje grupu od 18 potciljeva i 48 indikatora prema

kojima će se mjeriti napredak. (Zemlje u razvoju imaju različite mješavine 18
potciljeva kao i drugačije datume do kojih ih trebaju postići, ovisno o situ-
aciji u datoj zemlji.) Milenijski razvojni ciljevi su ciljevi koji su zasnovani
na rezultatima, koji se moraju mjeriti, pratiti i shodno tome evaluirati. Oni
predstavljaju glavne izazove sistemima evaluacija u svim zemljama.
Mnoge zemlje u razvoju nemaju kapacitet da provode monitoring i evalu-
aciju. Kako bi prevazišli ovaj nedostatak, razvojne organizacije osigurale su
razvoj kapaciteta u oblasti statistike, monitoringa i evaluacije, zatim tehničku
pomoć i podršku.
Milenijski razvojni ciljevi na neki način primoravaju zemlje u razvoju da
izgrađuju kapacitete i sisteme monitoringa i evaluacije. Razvojne organizacije
se pozivaju da nude tehničku pomoć i finansiranje napora na izgradnji takvih
sistema. Mnoge zemlje u razvoju još uvijek su u ranoj fazi izgradnje MiE
sistema i polahko pronalaze put ka izgradnji sistema zasnovanih na rezul-
tatima kojim će moći da se odredi stepen do kojeg su Milenijski ciljevi
ispunjeni. Ocjenjivanje uspjeha na putu ispunjavanja Milenijskih razvojnih
ciljeva zahtijevat će izgradnju i efikasno korištenje sistema evaluacije. Sistem
evaluacije će, zauzvrat, trebati biti integrisan u političku arenu milenijskih
ciljeva tako da “svima bude jasno zašto je toliko važno prikupiti podatke i
kako će se ti podaci koristiti u svrhu informiranja o tome šta vlasti i civilno
društvo čine na ispunjavanju milenijskih ciljeva” (Kusek, Rist, i White 2004,
str. 17-18).
Svake godine Svjetska banka i Međunarodni monetarni fond objavljuju
godišnji Globalni izvještaj o monitoringu Milenijskih razvojnih ciljeva.
Izvještaj daje jedan okvir za odgovorno upravljanje u sferi globalne razvojne
politike.

Globalni izvještaj o monitoringu iz 2004. godine fokusirao se na to kako ze-
mlje svijeta provode politike i akcije potrebne za ispunjavanje Milenijskih razvo-
jnih ciljeva i kako postižu razvojne ishode u vezi s tim ciljevima. On je podvukao
nekoliko prioriteta za jačanje monitoringa koji uključuju:
• jačanje temeljne razvojne statistike, što uključuje i pravovremenu impleme-
ntaciju akcijskih planova koje su usaglasile međunarodne statističke agencije;
• provođenje istraživanja o determinantama Milenijskih razvojnih ciljeva,
o najbitnijim pitanjima kao što su efikasnost pomoći, kao i o razvoju jačih
metrika za ključne oblasti politike kao što su upravljanje i politike bogatih
zemalja i njihov utjecaj na zemlje u razvoju i
• produbljivanje saradnje sa partnerskim agencijama u ovoj oblasti, izgradnja
konkurentskih prednosti i osiguranje koherentnog pristupa monitoringu i eva-
luaciji u svim agencijama (World Bank 2004b).
Globalni izvještaj o monitoringu iz 2005. godine ukazao je na mogućnosti koje
su se otvorile nakon skorih boljih ekonomskih pokazatelja u mnogim zemljama u
razvoju. Taj izvještaj je predstavio jednu agendu sa pet tačaka koje su osmišljene
da ubrzaju napredak:
• Osigurati da razvojne napore preuzme dotična zemlja. Povećati utjecaj
razvoja kroz strategije smanjenja siromaštva koje su u rukama zemalja i koje
predvode te iste zemlje.
• Poboljšati ambijent za ekonomski rast koji će predvoditi privatni sektor.
Jačati fiskalno upravljanje i menadžment, olakšati poslovanje i investirati u
infrastrukturu.
• Povećati pružanje osnovnih usluga građanima. Rapidno povećati broj
zdravstvenih i obrazovnih radnika, omogućiti veće, fleksibilnije i predvidivo
finansiranje intenzivnijih usluga, i ojačati izgradnju kapaciteta.
• Ukloniti trgovinske barijere. Iskoristiti ambicioznu Rundu pregovora iz Dohe
što uključuje značajne reforme trgovinske politike poljoprivrednim proi-
zvodima kako bi se uklonile trgovinske barijere i pojačao princip „trgovina
umjesto pomoći.”
• Udvostručiti pomoć u razvoju u sljedećih pet godina. Pored toga, poboljšati
kvalitet pomoći, sa većim napretkom u oblasti koordinacije i harmonizacije
pomoći (World Bank 2005a).
Globalni izvještaj o monitoringu iz 2006. godine potcrtao je ekonomski rast,
bolji kvalitet pomoći, reformu trgovine te upravljanje kao osnovne elemente za
postizanje Milenijskih razvojnih ciljeva (World Bank 2006a). Izvještaj iz 2007.
naglasio je dvije glavne tematske oblasti: jednakost polova, jačanje uloge žena
(treći MDG) i posebne probleme sa siromašnim zemljama gdje se sve više konce-
ntrira ekstremno siromaštvo (World Bank 2007f ).

Monterrey konsenzus
U martu 2002. godine predstavnici vlada više od 170 zemalja, uključujući i više
od 50 državnika, sastali su se da bi raspravljali o nacrtu Monterrey konsenzusa
o finasiranju razvoja. Ovaj nacrt je odražavao pokušaj da se više novca podijeli
najsiromašnijim u svijetu, tačnije onima koji žive sa manje od US$1 dnevno.
Ono što je najznačajnije za oblast razvojne evaluacije, Monterrey konsenzus
naglasio je uzajamne odgovornosti u pokušajima da se dostignu Milenijski razvo-
jni ciljevi. Konsenzus poziva zemlje u razvoju da poboljšaju politike i upra-
vljanje, a razvijene zemlje da intenziviraju podršku posebno na način da olakšaju
pristup svojim tržištima i da nude veću i bolju pomoć. Ovaj dokument prepoznao
je i potrebu za većom finansijskom pomoći kako bi se povećao životni standard
u najsiromašnijim zemljama, ali nije postavio jasne ciljeve za povećanje pomoći,
za smanjenje većine dugova ili uklanjanja trgovinskih barijera (Qureshi 2004).
Negdje na sredini puta između godine u kojoj su usvojeni Milenijski razvo-
jni ciljevi i 2015. godine kao datuma do kada se trebaju ispuniti, Ekonomska
komisija za Afriku objavila je jedan izvještaj u kojem se ocjenjuje napredak
Afrike na putu ispunjavanja obaveza koje je prema Monterrey konsenzusu Afrika
preuzela. U tom izvještaju se zaključuje da je napravljen značajan napredak u
oblasti pomoći za smanjenje vanjskog duga, ali je veoma ograničen napredak
postignut u drugim ključnim oblastima Konsenzusa. Ono što je interesantno za
evaluatore, Izvještaj bilježi da:
Postoji shvatanje da je obaveza monitoringa, koju su preuzele zemlje Afrike i
njihovi razvojni partneri, izuzetno važna ukoliko se želi da se ciljevi Monterrey
konsenzusa realizuju. Afrički lideri su to prepoznali i uspostavili mehanizam
praćenja napretka na putu ispunjavanja njihovih obaveza kao i obaveza njiho-
vih razvojnih partnera. Nedavna institucionalizacija Afričke ministarske konfe-
rencije o finansiranju razvoja hrabar je iskorak afričkih lidera na tom planu.
Međunarodna zajednica također je uspostavila jedan mehanizam za praćenje
rada donatora. Na primjer, uspostavili su Forum za afričko partnerstvo i Panel
za napredak Afrike koji će pratiti napredak implementacije ključnih obaveza
u vezi sa finansiranjem razvoja. U konačnici, djelotvornost ovih mehanizama
monitoringa bit će ocijenjeni u smislu njihovih mogućnosti da obećanja razvo-
jnih partnera pretvore u djela jer jedino kroz provedbu ovih obaveza afričke
zemlje i međunarodna zajednica mogu umanjiti siromaštvo u tom regionu i
postaviti temelje za svjetliju budućnost za njegove narode. (Katjomulse i drugi
2007, str. vi)

Pariska deklaracija o efektivnosti pomoći
Pariska deklaracija o efektivnosti pomoći je jedan međunarodni sporazum koji je

imao za cilj da se nastave sve veći napori u pravcu upravljanja pomoći koja se daje
zemljama u razvoju. Više do 100 ministara, čelnika agencija i viših zvaničnika
prihvatilo je ovaj sporazum 02. marta 2005. godine.
Jedna od karakteristika ove deklaracije koja je veoma bitna za evaluatore ticala
se dogovora u vezi s tim da se koriste akcije i indikatori koje je moguće pratiti
kao dio provedbe ovog sporazuma. Usvojeno je 12 indikatora kako bi se pratio i
podsticao napredak radi veće djelotvornosti pomoći. Postavljeni su ciljevi za 11
od ukupno 12 indikatora za 2010. godinu (OECD 2005b).
Indikatori i ciljevi koji su usvojeni, organizirani su oko pet ključnih principa:
• Vlasništvo: Zemlje partneri obavljaju efektivno rukovođenje svojim razvo-
jnim politikama i strategijama i koordiniraju razvojne projekte;
• Usklađenost: Razvojne organizacije svoju cjelokupnu pomoć zasnivaju na
razvojnim strategijama, institucijama i procedurama zemalja partnera;
• Harmonizacija: projekti razvojnih organizacija su više harmonizirani, tra-
nsparentni i kolektivno djelotvorni;
• Upravljanje radi rezultata: vlasti zemalja daju naglasak upravljanju resursima
i poboljšanju procesa donošenja odluka radi postizanja rezultata;
• Uzajamna odgovornost: razvojne organizacije i partneri su odgovorni za
rezultate razvoja (Zajednički napredak ka većoj djelotvornosti pomoći 2005).
Organizacija OECD je 2007. godine objavila jedan značajan izvještaj u kojem
su rezimirani rezultati jednog baznog istraživanja o stanju u 2005. godini. Ovaj
izvještaj (OECD 2007b) ocjenjuje djelotvornost pomoći kako u svijetu tako i za
međunarodne organizacije.
OECD je provela istraživanje radi praćenja napretka u poboljšanju djelotvo-
rnosti pomoći kao što je to naglašeno u Monterrey konsenzusu i još konkretnije
predviđeno Pariskom deklaracijom. Istraživanje je donijelo sljedeće zaključke:
• Pariska deklaracija povećala je svijest i promovirala dijalog na nivou zemalja
o potrebi da se poboljšaju pružanje pomoći i njeno upravljanje;
• Tempo postizanja napretka u mijenjanju pristupa i praksi donatora kada je u
pitanju upravljanje međunarodnom pomoći je spor dok troškovi dostavljanja
pomoći i njenog upravljanja ostaju veoma visoki;
• Postoji potreba da se pojačaju nacionalne razvojne strategije, poboljša
usaglašenost donatorske pomoći sa prioritetima zemlje domaćina, poveća
kredibilitet budžeta kao alata za alociranje sredstava i njihovo upravljanje, kao
i da se poveća stepen tačnosti u budžetskim procjenama u vezi sa tokovima
pomoći;

• Mijenjanje načina na koji se pomoć dostavlja i na koji se upravlja donosi nove
troškove koje i donatori i zemlje korisnice pomoći moraju uzeti u obzir;
• Zemlje i donatori trebali bi koristiti okvire za ocjenjivanje rada kao i manje skupo
izvještavanje koje je orijentirano prema rezultatima. Donatori trebaju doprinijeti
razvoju kapaciteta i više koristiti sisteme izvještavanja u zemlji korisnici;
• Trebaju se izgraditi kredibilniji sistemi praćenja i monitoringa kako bi se osi-
gurala uzajamna odgovornost (Katjomulse i ostali 2007).
Inicijativa o prezaduženim siromašnim zemljama
Svjetska banka i MMF su 1996. godine predložili HIPC inicijativu, prvi sveobu-
hvatni pristup smanjenju vanjskog duga najsiromašnijim i najzaduženijim
zemljama svijeta. Inicijativu je podržalo 180 zemalja.
HIPC je osmišljen tako da na jedan održiv nivo umanji zaduženost siromašnih
zemalja koje poduzimaju reforme ekonomske i socijalne politike. Koristi se u
onim slučajevima gdje tradicionalni mehanizam pomoći zaduženima nije dovo-
ljan da pomogne zemljama da izađu iz procesa reprogramiranja. HIPC smanjuje
obim duga, umanjuje plaćanje servisiranja duga i povećava socijalnu potrošnju.
Inicijativa uključuje i bilateralnu i multilateralnu pomoć za smanjenje duga.
Očekuje se da servisiranje vanjskog duga za HIPC zemlje bude umanjeno za US$
50 milijardi. Od januara 2009. godine odobreni su paketi smanjenja duga za 34
zemlje od kojih je 28 u Africi; utvrđeno je da još 7 zemalja ispunjava uvjete za
pomoć (MMF 2009).
HIPC je usko povezan sa sveobuhvatnim strategijama smanjenja siromaštva.
Međunarodna razvojna zajednica je 1999. godine postigla dogovor da nacio-
nalni Starteški dokumenti za smanjenje siromaštva (PRSP) trebaju služiti kao
osnova za koncesiono pozajmljivanje i pomoć za smanjenje zaduženosti. Te
strategije uključuju dogovorene razvojne ciljeve za period od tri godine. One
također predstavljaju jednu političku matricu, set mjerljivih indikatora i sistem
praćenja i evaluacije pomoću kojih će se mjeriti napredak. Ukoliko neka zemlja
postigne te ciljeve, umanjuju joj se dugovi što predstavlja poticaj da se ubrzaju
reforme i poveća uloga („vlasništvo“) te zemlje u tom procesu. Kao preduvjet za
takvu pomoć, vlade zemalja korisnica moraju biti u stanju da prate, evaluiraju
i izvještavaju o reformskim mjerama i učinjenom napretku na putu smanjenja
siromaštva. Ovaj preduvjet je stvorio potrebu za izgradnjom kapaciteta i pomoći
u oblasti monitoringa i evaluacije.
Neke zemlje u razvoju, kao što je Uganda, postigle su napredak u evaluaciji
i kvalificirale su se za primanje značajnije pomoći HIPC inicijative. Nedostatak
kapaciteta za evaluaciju predstavlja problem za neke druge zemlje koje učestvuju
u HIPC inicijativi, kao što su Albanija, Madagaskar i Tanzanija. Ovim zemljama
je neophodna dodatna pomoć kako bi razvile svoje kapacitete evaluiranja.

Kako bi umanjila rizik budućih dužničkih kriza kod davanja koncesionih
kredita ili grantova zemljama sa jako visokim stepenom zaduženosti, HIPC
Inicijativa je pokrenula jedno novo pitanje: kako se evaluira djelotvornost granta
(bespovratnih sredstava), za razliku od kredita i prema kojim kriterijima? Ovo
pitanje predstavlja novi izazov za evaluatore razvoja.
U septembru 2006. godine obilježilo se 10 godina postojanja HIPC inicijative.
Od 1999. godine, izdaci HIPC zemalja za smanjenje siromaštva su se povećali
dok se servisiranje dugova umanjilo (World Bank 2007e). Ovaj rezultat pokazuje
da HIPC rezultira napretkom.
Uloga Fondacija
Prema jednoj studiji koju je sprovela Organizacija OECD, procijenjen je iznos

sredstava koji su zemljama u razvoju donirale dobrotvorne fondacije. Ova studija
je jedan ozbiljan pokušaj da se procijeni iznos sredstava koji je 15 najvećih dobro-
tvornih fondacija podijelilo u 2002. godini uz pomoć određenih međunarodnih
donacija i izdvajanja. Ukupan iznos ovih sredstava iznosio je skoro 4 milijarde US
dolara dok je ukupna međunarodna pomoć bila oko 2 milijarde US dolara. To pre-
dstavlja oko 4% ukupne razvojne pomoći i oko jedne polovine doprinosa koji se
pripisuju službenom Komitetu za razvojnu pomoć . . . nevladinim organizacijama
u cjelini (grupa koja uključuje fondacije). (Oxford Analytica 2004a)
Vijeće fondacija SAD-a broji oko 56.000 privatnih i javnih fondacija u

Sjedinjenim Američkim Državama, koje godišnje dodijele oko 27,5 milijardi US
dolara. Evropski centar za fondacije, s druge strane, broji oko 25.000 fondacija u
9 zemalja članica EU sa godišnjom potrošnjom oko 50 milijardi US dolara.
Svjetskom scenom dominira nekoliko velikih fondacija uključujući Bill &
Melinda Gates fondaciju, Ford fondaciju, Susan Thompson Buffet fondaciju i
Soros fondaciju/Otvoreno društvo.
Mreža instituta Soros fondacije/Otvoreno društvo je jedan veoma utjecajan
faktor na međunarodnoj razvojnoj sceni, sa programima u više od 50 zemalja. Ti
programi nude podršku u oblasti obrazovanja, medija, javnog zdravstva, žena,
ljudskih prava, umjetnosti i kulture te društvenih, ekonomskih i pravnih reformi
(Mreža SOROS fondacije 2007).
Prevencija sukoba i postkonfliktna obnova
U godinama nakon hladnog rata (1989 – 2001), došlo je do 56 značajnih oružanih

sukoba na 44 različita mjesta u svijetu. Procijenjeno je da je u 2003. godini suko-
bima bilo pogođeno čak 1 milijarda ljudi. Većina sukoba u tom periodu trajala je
sedam ili više godina.

Globalni troškovi građanskih ratova posebno su enormni. “Stvarajući
teritorij koji je izvan kontrole jedne priznate vlasti, oružani sukobi podstiču
trgovinu drogom, terorizam i širenje zaraznih bolesti” (Collier i ostali 2003).
Siromaštvo je i uzrok i posljedica sukoba. Čak 16 od 20 najsiromašnijih
zemalja u svijetu prošlo je kroz neki vid građanskog rata većeg obima. U
prosjeku, zemlje koje izađu iz rata suočavaju se sa 44% rizika da se u prvih 5
godina mira ponovo vrate u rat.
Obnova ratom razrušenih krajeva uključuje koordinaciju rada brojnih bila-
teralnih i multilateralnih razvojnih institucija. Na primjer, u Bosni i Hercegovini je
bilo aktivno 60 razvojnih organizacija, 50 je bilo aktivno na Zapadnoj Obali
i u Gazi, dok ih je 82 bilo aktivno u Afganistanu. Kako bi se osiguralo da
se zadovoljavaju potrebe zemlje korisnice a da bi se, s druge strane, izbje-
glo dupliciranje i propusti u dodjeli pomoći, postkonfliktne obnove poseban
napor ulažu u mehanizme koordinacije pomoći.
Poslijeratna obnova je više od same obnove infrastrukture. Rekonstrukcija
često podrazumijeva i pružanje pomoći za izgradnju institucija, demokratije
i izbora, nevladinih organizacija i građanskog društva, policijskih snaga,
budžetskih izdataka, pomoć za smanjenje duga, podrška platnom bilansu,
podrška pitanjima jednakosti spolova, deminiranju, smještaju izbjeglica i
interno raseljenih osoba, demobilizaciju i reintegraciju bivših vojnika.
Zbog zabrinutosti u vezi sa korupcijom i potrebe da službena razvojna
pomoć ima što bolji efekat, poslijeratna obnova često povlači sa sobom
stvaranje novih kreditnih instrumenata i mehanizama. Na Zapadnoj Obali i
u Gazi, na primjer, stvoren je jedan fond za multilateralne razvojne agencije
kako bi se potpomoglo sa početnim i povremenim problemima u budžetskim
izdacima nove Palestinske uprave. Takvi instrumenti i mehanizmi su sada
uobičajena praksa u postkonfliktnim regijama i u ostalim dijelovima svijeta.
Programi poslijeratne obnove – multisektorski programi koji koštaju mili-
jarde dolara – sa sobom donose i jednu novu dimenziju poteškoća u eva-
luaciji (Kreimer i ostali 1998). Evaluatori moraju ispitati utjecaj koji takav
jedan u startu opterećen razvojni pristup ima na poslijeratnu obnovu i pomi-
renje. Evaluiranje procesa koordinacije, koji zajedno okuplja veliku i veoma
raznoliku grupu bilateralnih, multilateralnih i drugih pružatelja pomoći, pre-
dstavlja jedan novi izazov.
Evaluatori moraju ocijeniti nove projekte i programe u netradicionalnim
oblastima razvojne pomoći, kao što su deminiranje tla ili demobilizacija i
reintegracija bivših vojnika. Oni također moraju evaluirati nove vrste meha-
nizama razvojnih organizacija i kreditne instrumente kao što je jedan fond za
multilateralne razvojne agencije.

Bilateralne i multilateralne razvojne agencije sve više promatraju ekonomske
uzroke i posljedice sukoba i pronalaze načine kako da spriječe sukob. Sve je
veći naglasak na društvenim, etničkim i vjerskim zajednicama i njihovim
međusobnim odnosima; na upravljanje i političke institucije; ljudska prava;
sigurnost; strukturu i kretanja ekonomije; okolinu i prirodne resurse i vanjske
faktore. To znači da evaluatori, kako bi spriječili ponovno izbijanje sukoba,
moraju također posmatrati ono što je postignuto tako i ono što bi moglo biti
urađeno u kontekstu razvoja.
Uprava
Iako su često isticana iza zatvorenih vrata, pitanja uprave i korupcije izbila su
u prvi plan razvoja tek sredinom ‘90-tih. Od tada potpisivane su međunarodne
konvencije kako bi se pozabavilo problemom korupcije širom svijeta. Organizacije
UN-a i OECD-a usvojile su konvencije o korupciji koje uključuju odredbe o
zaštiti od korupcije i proglašavanje korupcije krivičnim djelom, međunarodnoj
saradnji o povratu imovine i mjerama protiv mita.
Multilateralne razvojne banke također su uspostavile programe protiv
korupcije. Kreditiranje je usmjereno ka tome da se pomogne zemljama da izgrade
djelotvorne i odgovorne institucije u javnom sektoru. Uprava i antikorupcione
mjere se tretiraju u strategijama državne pomoći. Programi upravljanja nastoje
unaprijediti:
• borbu protiv korupcije;
• upravljanje javnim sredstvima;
• reformu državne službe;
• reformu pravosuđa i
• upravu, decentralizaciju, e-vladu i pružanje javnih usluga.
Transparency International (TI), nevladina organizacija čiji je cilj podići
“problem korupcije na svjetsku agendu”, osnovana je ranih ‘90-tih. Trenutno ima
odjeljenja u 88 zemalja i u borbi protiv korupcije djeluje u saradnji sa lokalnim,
državnim, regionalnim i međunarodnim partnerima (vladinim i nevladinim)
(http://www.transparency.org/).
Godišnji Indeks percepcije korupcije kojeg objavljuje Transparency Interna-
tional rangira oko 140 zemalja u svijetu na osnovu percepcije državnih službenika
o korupciji. Njihov Indeks davanja mita također rangira zemlje izvoznice a na
osnovu prijavljenih slučajeva davanja mita.

Prema nekim procjenama, godišnje korupcija odnese više od 1 triliona US
dolara. Mjerenje korupcije i troškovi korupcije predstavljaju jedan izazov za
cjelokupnu međunarodnu zajednicu, ali
sve veća dostupnost istraživanja i anketa koji sadrže podatke o različitim aspe-
ktima upravljanja od strane velikog broja institucija, omogućilo je stvaranje baze
podataka o upravljanju širom svijeta. Zahvaljujući korištenju rezultata različitih
izvora i varijabli kao i novim tehnikama prikupljanja podataka, ova baza podataka
sada sadrži podatke koji se odnose na 200 zemalja širom svijeta i rezultate prema
ključnim indikatorima u oblastima kao što su vladavina prava, korupcija, kvalitet
regulative, djelotvornost uprave, glas građana i odgovornost, politička nestabilnost,
itd. (World Bank 2007c, str. 1).
Razvojne organizacije i evaluatori mogu koristiti ove podatke kao mjeru efi-
kasnosti međunarodne pomoći. Rezultati pokazuju da tamo gdje je korupcija
veća, mogućnost da se pomoć potroši neadekvatno je srazmjerno veća.
Upravljanje na osnovu rezultata koristi se da bi se identificirale i pratile najsla-
bije odrednice i u strukturi upravljanja državom. Ovi podaci pomažu kako bi se
demistificirala i na jedan objektivniji način sagledala neka pitanja u vezi sa vlada-
vinom, a koja su ranije bila nejasna. Prikupljeni podaci će evaluatorima također
pomoći u prikupljanju više kvantitativnih rezultata evaluacija koji se odnose na
lekcije naučene iz dosadašnjeg iskustva. U isto vrijeme, evaluiranje ambijenta za
investiranje i poslovanje će uključivati i neke teške koncepte (vidi dolje poglavlje
o razvoju privatnog sektora i ambijenta za investicije).
Ova nova oblast se brzo razvija i zahtijevat će od evaluatora da se pravovre-
meno pozabave najnovijim otkrićima i podacima.
Suzbijanje pranja novca i finansiranja terorizma
Pranje novca i finansiranje terorizma su dio šire borbe protiv korupcije.
■■ Pranje novca:
praksa Pranje novca je praksa poslovanja sa finansijskim transakcijama radi prikrivanja
poslovanja sa identiteta, porijekla i krajnjeg odredišta novca. U prošlosti se termin „pranje novca“
finansijskim odnosio samo na finansijske transakcije koje su na bilo koji način povezane sa krimi-
transakcijama nalnim radnjama. Danas vladina regulatorna tijela, kao što je Komisija za vrijednosne
radi prikrivanja papire, često proširuju ovu definiciju tako da ona obuhvata bilo koju finansijsku tra-
identiteta,
nsakciju koja prema zakonu nije transparentna. Kao rezultat toga, nezakonita praksa
porijekla i
pranja novca danas je učestala i kod pojedinaca i kod malih i velikih preduzeća,
krajnjeg
odredišta novca korumpiranih službenika te članova grupa organiziranog kriminala kao što su dileri
drogom ili članovi mafije. (Investor Dictionary.com 2006.)
Prema tvrdnjama Međunarodnog monetarnog fonda, procjenjuje se da se

godišnje „opere“ oko 1 trilion US dolara (što iznosi 2-5% globalnog bruto domaćeg
proizvoda), te stoga pranje novca danas predstavlja jedan veoma ozbiljan i sve veći

međunarodni problem koji se odražava ne samo na zemlje u razvoju nego isto tako
i na razvijene zemlje. (Camdessus 1998, str. 1). Globalizacija i otvaranje granica i
lakši prelazak preko njih olakšali su prekogranične kriminalne aktivnosti i ilegalne
finansijske tokove. Globalne inicijative borbe protiv pranja novca dobile su još više
na značaju pojavom širenja terorizma.
Pranje novca može imati posebno visoku cijenu za zemlje u razvoju.
Nova finansijska tržišta i zemlje u razvoju su... važna destinacija i lagan plijen
za one koji se bave pranjem novca i koji stalno traže nova mjesta kako bi
izbjegli budno oko zakona. Posljedice operacija pranja novca posebno mogu biti
devastirajuće za ekonomije u razvoju. Ukoliko se ne kontroliraju oni koji se bave
pranjem novca, mogu manipulirati finansijskim sistemima zemalja domaćina
kako bi obavljali i širili svoje nezakonite aktivnosti . . . i mogu veoma brzo
oslabiti stabilnost i izgradnju uspostavljenih institucija. (IFAC 2004, p. 5)
Finansijsku radnu grupu organizacije OECD-a za pranje novca (FATF) osno-

vala je 1989. godine grupa G-7 koja sada broji 31 zemlju članicu i 2 regionalne
organizacije. Ovo međuvladino tijelo za donošenje politika ima za cilj da raz-
vija i unapređuje nacionalne i međunarodne politike borbe protiv pranja novca i
finansiranja terorizma.
Monitoring i evaluacija provedbe ugovora su u sklopu mandata FATF grupe.
Provodi se multilateralno kroz učenje kolega i uzajamno evaluiranje. Proces
monitoringa i evaluacije obuhvata sljedeće:
Svaku zemlju članicu po redu ispituje FATF na osnovu terenskih posjeta koje obavlja
grupa sastavljena od tri ili četiri odabrana eksperta u oblasti prava, finansija i provedbe
zakona a koji rade za vlade drugih zemalja članica. Cilj posjete je da se napravi jedan
izvještaj u kojem se ocjenjuje nivo napretka koji je zemlja koja je predmet evalu-
acije postigla u implementiranju efektivnog sistema borbe protiv pranja novca i da se
naznače oblasti u kojima je neophodan daljnji napredak. (FATF 2007, str. 1)
Grupa FATF je uspostavila jedan broj mjera koje se poduzimaju u slučaju

nepoštovanja preporuka.
Doznake radnika
Ukupne godišnje doznake koje radnici u iseljeništvu pošalju u svoje zemlje pori-
jekla širom svijeta nadmašuju službenu pomoć za razvoj na godišnjem nivou.
Godišnje doznake su sa 60 milijardi US dolara, koliko su iznosile 1998. godine,
porasle na 80 milijardi u 2002. godini, a u 2003. godini procjenjene su na 100
milijardi. Ovi iznosi mogu se porediti sa oko 50-60 milijardi US dolara godišnje
službene razvojne pomoći i sa 143 milijarde US dolara priliva privatnog kapi-
tala u 2002. godini. Doznake izgledaju stabilnije nego priliv privatnog kapitala
(Svjetska banka 2003; Oxford Analytica 2004b).

Doznake na globalnom nivou imaju velik utjecaj na smanjenje siromaštva.
“U prosjeku, porast emigranata od 10% u populaciji jedne zemlje dovodi do sma-
njenja broja ljudi koji žive u siromaštvu za 1,9% (US$1.00/osoba/dan)” (Adams
i Page 2003, str. 1). Globalne doznake pomažu da se finansira domaća potrošnja
u domaćinstvima, poljoprivredi, industriji i otvaranju novih malih i srednjih
preduzeća u zemljama primaocima.
Razvijene zemlje i zemlje u razvoju i organizacije su upoznati sa ovakvim
trendovima i traže način kako kapitalizirati ove prilive u investicijske svrhe.
Skorašnji Plan samita grupe G-8 pozvao je zemlje članice i vlade zemalja u
razvoju da
pomognu da prilivi od doznaka njihovih država iz inostranstva budu od koristi
njihovim porodicama i malim preduzećima, tako što će, između ostalog, podržati
smanjenje troškova transfera doznaka i otvaranje lokalnih razvojnih fondova za
produktivne investicije, poboljšati primaocima doznaka pristup finansijskim uslu-
gama i pojačati koordinaciju. (G-8 2004a, str. 7)
Doznake kroz bankarski sistem će se vjerovatno povećati kako se povećavaju i

restrikcije na neformalne transakcije radi striktnijih propisa kako bi se zaustavilo
finansiranje terorističkih organizacija putem neformalnih mehanizama (vidi
dolje) i smanjiti dažbine za bankarske usluge kao rezultat konkurencije u sektoru
bankarstva radi nastojanja da se osvoji tržište doznakama iz svijeta.
Utjecaj doznaka na zemlje u razvoju još uvijek treba u potpunosti ispitati i
artikulirati. Praćenje tokova globalnih doznaka i njihovo usmjeravanje u nove
vrste investicija i fondova za evaluatore postat će još jedan novi izazov. Kako oni
koji se bave razvojem još uvjek nisu osmislili načine na koji obuhvatiti doznake
i iskoristiti ih za smanjenje siromaštva, evaluatori će ovu oblast pratiti sa velikim
interesovanjem.
Pitanje ravnopravnosti spolova: Od žene u razvoju preko spolova

u razvoju do razvoja i svijesti o spolovima
■■ Analiza Pitanje spolova odnosi se na uloge koje društvena zajednica dodjeljuje

pitanja muškarcima i ženama.
spolnosti: Analiza pitanja spolnosti ispituje pristup i kontrolu nad resursima od strane
Ispitivanje
muškaraca i žena.
pristupa i
kontrole nad Ovo pitanje se također odnosi i na sistematski način određivanja često
resursima od drugačijih razvojnih potreba i preferencija muškaraca i žena i različitog utjecaja
strane razvoja na muškarce i žene. Analiza pitanja spolnosti uzima u obzir način na
muškaraca i koji faktor pripadnosti nekoj grupaciji, rasi ili etničkoj grupi dolazi u interakciju
žena
sa pitanjem spolnosti i uzima u obzir način na koji dovodi do diskriminacijskih
rezultata. Analiza pitanja spolnosti tradicionalno je bila usmjerena ka ženama

zbog jaza između muškaraca i žena u smislu kako oni iskorištavaju obrazovanje,
zaposlenost, usluge, itd.
Žene čine nešto više od polovine svjetske populacije i igraju ključnu ulogu
u ekonomskom razvoju. Ipak, njihov puni potencijal u učešću u socioekono-
mskom razvoju tek treba da se realizira. Žene i djeca još uvijek predstavljaju
većinu siromašnih u svijetu.
Žene u nekim dijelovima svijeta u razvoju proizvode pola hrane, nose najveću
odgovornost za sigurnost hrane u domaćinstvima i čine četvrtinu radne snage u
industriji i trećinu u sektoru usluga... Ipak zbog težeg pristupa obrazovanju i drugim
mogućnostima, produktivnost žena u odnosu na muškarce ostaje niska. Povećanje
produktivnosti žena može doprinijeti rastu, efikasnosti i smanjenju siromaštva –
ključnim razvojnim ciljevima svugdje u svijetu. (Svjetska banka 1994, str. 9)
Najnoviji trendovi koji se odnose na ulogu žena u razvoju dosta se razlikuju

u odnosu na tradicionalni pristup “žene u razvoju” (WID pristup) tako da se
danas govori o pristupu “jednakopravnost spolova i razvoj” (GAD) a sve više i o
sveobuhvatnom pristupu “gender mainstreaming”. Strategija WID pristupa bila
je fokusirana na žene kao poseban cilj ili ciljnu grupu korisnika projekata, pro-
grama i politika. “WID pristup priznaje da su žene aktivni, iako često nepriznati,
učesnici u procesu razvoja, koji daju glavni doprinos ekonomskom rastu . . . kao
jedan neiskorišten resurs; žene se moraju uvesti u proces razvoja” (Moser 1995,
str. 107).
Pristup GAD naglašava društvene, ekonomske, političke i kulturalne snage
koje određuju način na koji muškarci i žene sudjeluju u projektnim resursima i
aktivnostima, koju korist od njih imaju i kako ih kontroliraju. On naznačava često
različite potrebe i preference muškaraca i žena. Ovaj pristup preusmjerava pažnju
sa žena kao grupe ka društveno utvrđenim odnosima između muškaraca i žena.
Napredak u pitanjima jednakopravnosti spolova i jačanja žena utjelovljen je u
Milenijskim razvojnim ciljevima, koji uključuju ciljeve i indikatore za mjerenje
i evaluiranje napretka. Komitet za razvojnu pomoć (DAC) Organizacije OECD
također je proizveo vodeća pitanja koja pomažu menadžerima u evaluiranju
razvojnih aktivnosti. Sljedeća pitanja su uključena:
• Da li je projekat uspio unaprijediti jednake mogućnosti i koristi za muškarce i
žene?
• Da li projekat daje muškarcima ili ženama povoljniji ili nepovoljniji položaj?
• Da li je projekat bio djelotvoran u integriranju pitanja spolova u toj razvojnoj
aktivnosti? (Woroniuk i Schalkwyk 1998)
Budžetiranje prema spolnosti je jedna od načina implementacije i ocjene
koliko državnog budžeta koristi muškarcima i ženama. Drugi način mjerenja i

evaluacije pomoći je ispitivanje nivoa do kojeg razvojna pomoć koristi sektorima
koji “uključuju žene, pomažu žene, jačaju ulogu žene i generiraju rezultate u
korist žena” (Jalan 2000, str. 75). S obzirom na trenutni naglasak na sveobuhva-
tnim pristupima i partnerstvima, evaluiranje politika gender mainstreaminga
mora se također provoditi, integrirati i koordinirati u zemljama u razvoju i između
partnerskih zemalja u razvoju, organizacija i agencija. U svakoj evaluaciji, važno
je obratiti pažnju na to kako projekat, program ili politika imaju različit utjecaj
na muškarce i žene.
Razvoj privatnog sektora i ambijenta za investiranje
Mnoga pitanja se mogu svrstati u rubriku razvoja privatnog sektora i investici-

jskog ambijenta. Ta pitanja uključuju ulogu privatnog sektora i direktnih stra-
nih investicija u smanjenju siromaštva, privatizaciju, učešće privatnog sektora
u infrastrukturnim uslugama i javno-privatno partnerstvo te pokretanje i pomoć
mikro, malim i srednjim preduzećima preko finansijskih posrednika i institucija.
Investicije privatnog sektora

Investicije privatnog sektora sve više postaju priznate kao najvažniji faktor sma-
njenja siromaštva u zemljama u razvoju. U 1990-tim, investicije privatnog sekto-
ra u zemljama u razvoju iznosile su oko 30 milijardi US dolara godišnje dok je
razvojna pomoć iznosila oko 60 milijardi US dolara. Do 1997. godine, privatne
investicije u zemljama u razvoju dostigle su iznos od 300 milijardi US dolara dok
je razvojna pomoć opala na 50 milijardi US dolara. Tako su privatne investicije
porasle sa jedne polovice vrijednosti razvojne pomoći na iznos koji je čak 6 puta
veći za period manji od 10 godina.
■■ Službena Službena razvojna pomoć

razvojna Mjerilo investicijske klime je i službena razvojna pomoć (ODA), koju OECD-ov
pomoć:
rječnik statističkih termina (2002a) definira kao sljedeće:
Tokovi službenih
finansijskih Tokovi službenih finansijskih sredstava kojim se upravlja radi promoviranja
sredstava kojim ekonomskog razvoja i dobrobiti zemalja u razvoju kao glavnog cilja, a koji su
se upravlja po koncesionog karaktera sa elementom granta od najmanje 25% (koristeći fiksnu
koncesionim stopu diskonta od 10%). Prema sporazumu, tokovi službene razvojne pomoći
stopama radi
sastoje se od kontribucija vladinih agencija zemlje donatora, na svim nivoima,
promoviranja
prema zemljama u razvoju (“bilateralna razvojna pomoć”) i multilateralnim
ekonomskog
razvoja i
institucijama. Primanja razvojne pomoći sastoje se od isplata bilateralnih donatora
dobrobiti zemalja i multilateralnih institucija. [preuzeto sa web stranice Službene razvojne pomoći]
u razvoju

Godine 1997. nivo pomoći je konstantno rastao prije nego je dostigao vrhu-
nac koji se nastavio do 2001. godine. Ukupna razvojna pomoć zemalja članica
Komiteta za razvojnu pomoć (DAC) porasla je za 7% u 2001. godini a za 5% u
2003. godini. U 2005. godini službena razvojna pomoć zemalja članica DAC-a
porasla je za 32%, uglavnom kao rezultat veće pomoći nakon cunamija 2004.
godine i programa pomoći smanjenja duga Iraka i Nigerije (OECD 2005a).
U 2006. godini, obim razvojne pomoći opao je za 4,6% kao rezultat iznimno
visokog duga i humanitarne pomoći iz 2004. godine (OECD 2006).
Obim razvojne pomoći je tokom prethodne dekade konstantno rastao i očekuje
se da i dalje raste obzirom da su se donatori obavezali da značajno povećaju pomoć
kako bi se postigli Milenijski razvojni ciljevi. Donatori i zemlje primaoci pomoći
trebaju se pozabaviti izazovima u vezi implementacije kako bi što efikasnije iskori-
stili taj povećani iznos pomoći, a posebno se trebaju pozabaviti pitanjima
• postizanja komplementarnosti nacionalnih, regionalnih i globalnih razvojnih
prioriteta i programa
• jačanja sposobnosti zemalja primalaca pomoći da efikasno iskoriste potenci-
jalno veću pomoć kao što su budžetske podrške (World Bank 2007a).
Direktne strane investicije

Još jedno mjerilo investicijske klime su direktna strana ulaganja (FDI), koja ■■ Direktna
igraju posebnu i sve veću ulogu u globalnom svijetu biznisa. FDI je prekogranična strana
investicija u kojoj najmanje 10% vlasničkog kapitala jednog preduzeća pri- ulaganja:
Prekogranična
pada investitoru sa namjerom da ostvari trajni finansijski interes ili dobit u tom
investicija u
preduzeću i u kojem ima određeni nivo utjecaja na rad tog preduzeća. Često se kojoj najmanje
navode kao vodeći pokretač ekonomskog rasta i vjeruje se da nacionalnim eko- 10 % vlasničkog
nomijama donose određenu korist (InvestorDictionary.com 2006). kapitala jednog
Najveći porast u direktnim stranim investicijama između 1970. i 1999. godine preduzeća
pripada
desio se u zemljama u razvoju, gdje su se godišnji prilivi investicija povećali sa
investitoru sa
prosječnog iznosa manjeg od 10 milijardi US dolara u 1970-tim i manjeg od 20 namjerom da
milijardi US dolara u 1980 - tim na čak $179 milijardi u 1998. godini i $208 ostvari trajnu
milijardi u 1999. Ovi prilivi investicija predstavljali su veći dio direktnih stranih finansijsku
investicija u svijetu (Graham i Spaulding 2005). korist u
UN-ova Konferencija o trgovini i razvoju (UNCTAD) (2008.) je izvijestila preduzeću i u
kojem ima
o globalnom rastu direktnih stranih investicija u 2007. godini. Ovaj izvještaj
određeni nivo
dokumentira i porast stranih investicija u sve tri grupe ekonomija: u razvijenim utjecaja na rad
zemljama, zemljama u razvoju i zemljama Jugoistočne Evrope i Komonvelta (CIS). tog preduzeća
Rezultati odražavaju visok rast transnacionalnih korporacija i snažan ekonomski
rast u mnogim dijelovima svijeta, kao i povećanje korporativnog profita i obilje
novca u gotovini što je povećalo vrijednost prekograničnih spajanja i akvizicija.

Te transakcije nastavile su činiti najveći dio direktnih stranih ulaganja u 2007.
godini, iako se vrijednost spajanja i akvizicija u drugoj polovini te godine smanjila.
Priliv direktnih stranih investicija u razvijene zemlje porastao je četiri godine
uzastopno do 2007. godine kada je dostigao vrijednost od $1 triliona. S druge
strane, priliv direktnih stranih investicija u zemlje u razvoju porastao je za 16% a
u tranzicijske ekonomije Jugoistočne Evrope te zemlje Komonvelta za čak 41%
dostižući rekordno visoke nivoe.
Privatizacija
Privatizacija preduzeća u državnom vlasništvu bio je posebno jak trend u
1990-tim, obzirom da su mnoge zemlje nastojale preći sa socijalističkog sistema
na tržišno orijentirane ekonomije. U mnogim zemljama gdje je država još uvijek
vlasnik i u kojima upravlja mnogim preduzećima, ovo je još jedan snažan trend.
“Više od 100 zemalja, na svim kontinentima, privatiziralo je neke ili veći dio
kompanija u državnom vlasništvu, u svim sektorima infrastrukture, proizvodnje,
prerade i usluga... Procjenjuje se da je prodato 75.000 srednjih i velikih firmi
širom svijeta, zajedno sa stotinama hiljada malih poslovnih jedinica... ” Ukupni
ostvareni prihodi se procjenjuju na više od $735 milijardi (Nellis 1999.). Priva-
tizacija je jedno kontraverzno pitanje; nastavljaju se polemike oko pitanja da li
je, kada i kako najbolje privatizirati preduzeća. To nije lijek za ekonomske sla-
bosti, ali se pokazalo da je privatizacija jedan koristan alat za promociju ukupne
društvene dobiti i za poboljšanje usluga u ekonomiji i društvu.
Implikacije na evaluaciju
Kako je zajednica evaluatora razvoja odgovorila na ove inicijative? Međunarodna
finansijska korporacija (IFC) evaluira efekte intervencija na nivou projekata. Ona
koristi skice poslovnog okruženja (BE skice) kako bi “predstavila mjerljive indi-
katore po brojnim pitanjima poslovnog okruženja i u toku različitih vremenskih
perioda” (IFC 2007). Ovaj novi alat sastavlja nepovezane podatke, pokazatelje i
informacije o projektima koji se tiču poslovnog okruženja za neku zemlju i čini ga
lahko dostupnim u jednom konzistentnom obliku. Razvojni stručnjaci i kreatori
politike mogu koristiti BE Snapshots“ da bi dobili cjelovitu sliku o poslovnom
okruženju u pojedinim zemljama. BE skice se također mogu koristiti kao alat za
monitoring ili alat za planiranje.
Kako se evaluiraju ovakve vrste aktivnosti? Na jednom općem nivou, mogu se
posmatrati četiri moguća indikatora:
• rezultati poslovanja;
• ekonomska održivost;
• utjecaj na okoliš i
• razvoj privatnog sektora.

Izvještaj o svjetskom razvoju iz 2005. godine govori o istraživanjima o investi-
cijskom i poslovnom ambijentu te poslovanju firmi, koja pomažu u prepozna-
vanju načina na koji vlade mogu poboljšati investicijski ambijent za sve vrste
preduzeća. Istraživanjima je obuhvaćeno 26.000 kompanija u 53 zemlje u razvo-
ju i 3.000 mikro i neformalnih preduzeća u 11 zemalja.
Ova istraživanja omogućavaju poređenja postojećih uvjeta poslovanja i
benchmarking tih uvjeta radi praćenja promjena u toku vremena. Glavni instru-
ment istraživanja sastoji se od grupe ključnih pitanja i nekoliko modula koji se
mogu koristiti za dublje ispitivanje specifičnih aspekata investicijskog ambijenta
i njegove veze sa produktivnošću na nivou kompanije.
Pitanja se mogu kategorizirati u tri grupe:
• ona koja prikupljaju informacije o profilima kompanija;

• ona koja se koriste za dobijanje informacija o profilu investicijskog ambijenta
u kojem kompanije posluju i
• ona koja prikupljaju pokazatelje (indikatore) poslovanja firmi.
Korišteni indikatori bili su
• nestabilnost politike (najveće ograničenje: nepredvidivo tumačenje regulative);
• korupcija (najveće ograničenje: mito);
• sudovi (najveće ograničenje: nedostatak povjerenja da sudovi štite imovinska
prava) i
• kriminal (najveće ograničenje: gubici uzrokovani kriminalnim radnjama).
Ostali izvori indikatora investicijskog ambijenta uključuju usluge procjene
rizika poslovanja, kreditni rejting zemlje (Euromoney Institutional Investor),
indikatori rizika u zemlji (Centar za istraživanje svjetskih tržišta), usluga
procjene rizika poslovanja u zemlji (Economist Intelligence Unit), i Izvještaj o
globalnoj konkurentnosti (Svjetski ekonomski forum).
Multilateralne razvojne banke, međunarodne finansijske institucije, razvojne

organizacije i privatni sektor uključeni su u takva istraživanja i daju vrijedne
informacije i savjete. Stalne i povremene procjene i evaluacije investicijskih
ambijenata također se provode u zemljama diljem svijeta. Jedan takav primjer
je baza podataka „Doing Business“, koja pruža objektivan uvid u poslovnu regu-
lativu i njenu provedbu. Uporedivi indikatori u 145 zemalja ukazuju na regula-
torne troškove poslovanja u tim zemljama. Ovi indikatori mogu se koristiti za
analiziranje određene regulative koja može poboljšati ili ograničiti investiranje,
produktivnost i rast (World Bank 2007d). Međutim, Nezavisna grupa evalu-
atora Svjetske banke u svom izvještaju iz 2008. godine ukazuje na neophodna
poboljšanja indikatora baze podataka „Doing Business“ (IEG 2008).

Okolišna i društvena održivost
■■ Korporativno Korporativna društvena odgovornost (CSR) uključuje aktivno uzimanje u obzir

društveno ekonomskih, okolišnih i društvenih utjecaja i posljedica poslovnih aktivnosti.
upravljanje: Kompanije iz privatnog sektora, organizacije i vlade traže nove načine kako bi
Prihvatanje
potrebe
osigurali da poslovne aktivnosti i usluge ne donose štetu ekonomiji, društvu i
privatnih okolišu u nekoj zemlji i u oblastima u kojima posluju. Britanska vlada, na pri-
kompanija da u mjer, usvojila je razne politike i zakonodavstvo kako bi podstakla CSR uopće a
obzir uzimaju posebno okolišnu i društvenu održivost.
ekonomske,
okolišne i Vlada vidi CSR kao doprinos poslovne zajednice našim ciljevima održivog razvoja.
društvene U suštini, tu se radi o tome na koji način kompanije uzimaju u obzir ekonomske,
utjecaje i okolišne i društvene utjecaje svog rada—maksimizirajući korist, a minimizirajući
posljedice svoga negativnosti... Pristup vlade jeste da podstakne i intenzivira usvajanje politike CSR
poslovanja putem vodiča sa najboljom praksom i, ondje gdje je to prikladno, pametnom regu-
lativom i fiskalnim stimulacijama. (BEER 2004, para. 1)
Jedan od primjera međunarodnog nastojanja na polju okolišne i društvene

održivosti su Ekvatorski principi, koje su potpisale 2003. godine 10 finansijskih
institucija sa Zapada. Banke iz privatnog sektora su razvile Ekvatorske principe.
Oni predstavljaju jedan industrijski pristup za utvrđivanje, ocjenjivanje i upra-
■■ Ekvatorski vljanje okolišnim i društvenim rizicima u finansiranju projekata privatnog
principi: sektora. Revidirana verzija Ekvatorskih principa usvojena je 2006. godine. Nova
Industrijski
verzija odražava izmjene IFC-ovih vlastitih Standarda učinka u oblasti socijalne
pristup za
utvrđivanje, i okolišne održivosti. Verzija Ekvatorskih principa iz 2006. godine odnosi se na
ocjenjivanje i sve zemlje i sektore kao i na sva finansiranja projekata kapitalne vrijednosti preko
upravljanje $10 miliona.
okolišnim i IFC i 61 vodeća komercijalna banka (iz Sjeverne Amerike, Evrope, Japana
društvenim
i Australije) dobrovoljno su usvojili Ekvatorske principe u finansiranju svojih
rizicima u
finansiranju
projekata širom svijeta. Ove institucije nastoje osigurati da su projekti koje oni
projekata finansiraju razvijeni na socijalno odgovoran način i da održavaju prakse ispravnog
privatnog okolišnog upravljanja. Svrha Ekvatorskih principa je da posluže kao zajednička
sektora osnova i okvir za provedbu pojedinačnih internih ekoloških i socijalnih procedura
i standarda za aktivnosti finansiranja projekata u svim sektorima industrije na
globalnoj razini. U donošenju tih načela, ove institucije se obavezuju da će pažljivo
razmotriti sve prijedloge projekata za koje njihovi klijenti zatraže finansiranje.
Oni se time obavezuju da neće davati kredite direktno za projekte ako dužnik
neće ili ne može ispuniti zahtjeve njihove ekološke i socijalne politike i procesa.
Ti standardi odnose se na zaštitu okoliša, zdravlje i sigurnost, domorodačku
populaciju, prirodna staništa i preseljanja (Ekvatorski principi 2007.).
Davanje javnih obećanja o predanosti principima je jedna stvar, ali je njihova
primjena nešto sasvim drugo. BankTrack, mreža 18 međunarodnih nevladinih
organizacija koje su se specijalizirale u finansijskom sektoru, odigrala je važnu

ulogu kada je u pitanju pomoć da se nadzire način na koji se Ekvatorski principi
provode u praksi. To je od suštinskog značaja za zahtjeve izvještavanja o Ekva-
torskim principima kao i sam način na koji ova mreža prati rad finansijskih insti-
tucija (BankTrack 2008).
Globalna javna dobra
Ekonomisti definiraju privatna dobra kao dobra čija potrošnja jedne osobe
umanjuje količinu tog dobra dostupnu za druge ukoliko se u međuvremenu ne
proizvede više tog dobra (Linux Information Project 2006). Privatna dobra su
uglavnom opipljiva i većina proizvoda su privatna dobra.
S druge strane, ekonomisti definiraju javna dobra kao proizvode koje ■■ Privatna
pojedinci mogu konzumirati koliko god žele bez posljedice smanjenja tog dobra dobra:
za druge ljude (Linux Information Project 2006). Čist zrak je, na primjer, javno Dobra čija
potrošnja jedne
dobro zato što udisanje čistog zraka ne umanjuje količinu čistog zraka dostupnog
osobe umanjuje
drugim ljudima. Javna dobra su uglavnom neopipljiva; mnoga spadaju u kate- količinu tog
goriju informacija ili znanja. dobra dostupnu
Globana javna dobra su javna dobra koja imaju utjecaja na cijeli svijet. Neki za druge
od primjera javnih dobara su prava svojine, sigurnost, finansijska stabilnost, čist ■■ Javna dobra:
okoliš... Tako se isto i razvojna evaluacija može smatrati jednom vrstom javnog Dobra čija
dobra iz razloga što se prelaze granice bilo koje organizacije pojedinačno. Jedna potrošnja od
dobra evaluacijska studija može imati pozitivan „spillover“ efekat na cijelu eva- jedne osobe ne
luacijsku zajednicu (Picciotto i Rist 1995, str. 23). umanjuje
količinu tog
Globalna javna dobra su veoma važna jer je sve većim otvaranjem državnih
dobra dostupnu
granica prema vani javni domen zemalja postao sve isprepleteniji. Neko javno za druge
dobro u jednoj zemlji često zavisi od unutarnje politike, događaja i izbora politika
■■ Globalna
nekih drugih zemalja i aktera u međunarodnim odnosima (gpgNet 2008). Svako
javna
ovisi o javnim dobrima, bez njih ne mogu ni tržišta ni najbogatiji pojedinci. dobra: Javna
Evaluacija je uglavnom neprepoznatljiva kod ovakvih pitanja na globalnom dobra koja
nivou: nemaju
konkurenciju
Kolaborativni programi koji su kreirani da bi štitili globalna javna dobra nisu i koja se ne
predmet nezavisnih ocjenjivanja i kao takvima često im nedostaju jasni ciljevi i mogu isključiti
indikatori koji se mogu provjeriti. Pored toga, utjecaj politika razvijenih zemalja bilo kome i koja
na siromašne zemlje ne procjenjuje se sistematično iako o temama, kao što su su dostupna
međunarodna pomoć, dug, strane investicije, zagađenje, migracija ili sistemi intele- svima ne samo
ktualne svojine odlučuju vlade razvijenih zemalja. (Picciotto 2002b, str. 520) u granicama
jedne zemlje
nego na cijelom
svijetu

Kontrola širenja i konačno iskorjenjivanje virusa HIV/AIDS je još jedan pri-
mjer javnog dobra koje je u vrhu mnogih međunarodnih agendi. Isto tako, utjecaj
globalizacije na siromašne još uvijek tek treba procijeniti. Razvojna evalu-
acija treba postati još autentičnija, još više globalna i još više transnacionalna
(Chelimsky i Shadish 1997).
Nezavisna grupa za evaluacije Svjetske banke objavila je 2004. godine evalu-
aciju angažmana Banke u globalnim programima. Izvještaj, pod nazivom „Evalu-
iranje pristupa Svjetske banke globalnim programima: odgovori na izazove
globalizacije“, bavio se istraživanjem 26 globalnih programa koje je podržala
banka, izvlačeći pouke iz dizajniranja, implementacije i evaluacije globalnih pro-
grama (World Bank 2004a). Izvještaj posebno naglašava 5 od ukupno 18 rezu-
ltata istraživanja:
• Strategija Banke u odnosu na globalne programe slabo je definirana;
• Globalni programi su veoma malo povećali ukupnu pomoć;
• Glasovi zemalja u razvoju su neadekvatno zastupljeni;
• Globalni programi pokazuju jaz između investicija i globalne javne politike;
• Potreban je nadzor nad nezavisnim globalnim programima.
Izvještaj daje sljedeće preporuke:
• Uspostaviti strateški okvir za učešća Banke u globalnim programima;
• Povezati finansiranje sa prioritetima;
• Poboljšati selekciju i nadzor nad portfeljem globalnih programa;
• Poboljšati upravljanje pojedinačnim programima;
• Obaviti dodatne evaluacije.

Sažetak
Zemlje imaju različite pristupe uspostavljanju sistema evaluacije. Pristup

„kompletne vlade“ podrazumijeva uspostavu širokog i sveobuhvatnog sistema
u cijeloj vladi. „Enklava“ pristup se fokusira na jedan dio ili sektor vlade. Kod
miješanog pristupa, neki dijelovi ili sektori vlade evaluiraju se opsežno dok se
drugima evaluacija bavi sporadično.
Stvaranje sistema evaluacije još je teže u zemljama u razvoju zbog toga što
u njima često nedostaju demokratski politički sistem, jaka empirijska tradicija,
državni službenici obučeni u oblastima društvenih nauka i efikasni admini-
strativni sistemi i institucije. Razvojne agencije usredotočene su na pomaganje
zemljama u razvoju da izgrade kapacitete neophodne za uspostavu i održavanje
sistema evaluacije.
Mnoga kompleksna pitanja razvoja imaju utjecaj i na evaluaciju. Neke od
glavnih tema koja pokreću pitanja razvoja uključuju i sljedeće:
• Milenijski razvojni ciljevi;
• Monterrey konsenzus;
• Pariska deklaracija o djelotvornosti pomoći;
• HIPC inicijativa;
• uloga fondacija;
• prevencija sukoba i postkonfliktna obnova;
• upravljanje;
• borba protiv pranja novca i finansiranja terorizma;
• doznake radnika;
• pitanja polne jednakosti;
• razvoj privatnog sektora i investicijske klime;
• okolišna i društvena održivost i
• globalna javna dobra.
Ova lista nije statična i mijenja se kao odgovor na svjetska događanja.

Adams, Richard H. Jr., and John Page. 2003. “International Migration, Remittances and
Poverty in Developing Countries.” World Bank Policy Research Working Paper 3179,
Washington, DC.
BankTrack. 2008. The Equator Principles.
http://www.banktrack.org/.
Barslund, Mikkel, and Finn Tarp. 2007. “Formal and Informal Rural Credit in Four Prov-
inces of Vietnam.” Discussion Paper 07-07, Department of Economics, University of
Copenhagen.
BEER (U.K. Department for Business Enterprise & Regulatory Reform). 2004. “What Is
CSR?” London.
http://www.csr.gov.uk/whatiscsr.shtml.
Boyle, Richard. 2002. “A Two-Tiered Approach: Evaluation Practice in the Republic of
Ireland.” In International Atlas of Evaluation, eds. Jan-Eric Furubo, Ray Rist, and
Rolf Sandahl, 261–72. New Brunswick, NJ: Transaction Publishers.
———. 2005. Evaluation Capacity Development in the Republic of Ireland. ECD Work-
ing Paper Series 14, World Bank, Evaluation Capacity Development, Washington,
DC.
Camdessus, Michael. 1998. “Money Laundering: The Importance of International Coun-
termeasures.” Address by Managing Director of the International Monetary Fund,
Washington, DC.
CGAP (Consultative Group to Assist the Poor). 2003. CGAP Publications on Assessment
and Evaluation.
http://www.cgap.org/portal/site/CGAP/menuitem.9fab704d4469eb01678080105910
10a0/.
ChannahSorah, Vijaya Vinita. 2003. “Moving from Measuring Processes to Outcomes:
Lessons Learned from GPRA in the United States.” Paper presented at the joint
World Bank and Korea Development Institute conference on “Performance Evalua-
tion System and Guidelines with Application to Large-Scale Construction, R&D, and
Job Training Investments,” Seoul, July 24–25.
Chelimsky, Eleanor, and William R. Shadish, eds. 1997. Evaluation for the 21st Century:
A Handbook. Thousand Oaks, CA: Sage Publications.
Chemin, Matthieu. 2008. “Special Section on Microfinance. The Benefits and Costs of
Microfinance: Evidence from Bangladesh.” Journal of Development Studies
44 (4): 463–84.
Collier, Paul, V., L. Elliott, Håvard Hegre, Anke Hoeffler, Marta Reynal-Querol, and
Nicholas Sambanis. 2003. Breaking the Conflict Trap: Civil War and Development
Policy. Washington, DC: Oxford University Press for the World Bank.
Economic Commission for Europe. 1998. Public–Private Partnerships: A New
Concept for Infrastructure Development. BOT Expert Group, United Nations, New
York.
http://rru.worldbank.org/Documents/Toolkits/Highways/pdf/42.pdf.
Equator Principles. 2004. http://www.fatf-gafi.org/dataoecd/14/53/38336949.pdf.
———. 2007. “A Milestone or Just Good PR?”
http://www.equator-principles.com/principles.shtml.

FATF (Financial Action Task Force on Money Laundering). 2007. Monitoring the Imple-
mentation of the Forty Recommendations.
http://www.fatf-gafi.org/document/60/0,3343
,en_32250379_32236920_34039228_1_1_1_1,00.html.
Feuerstein, M. T. 1986. Partners in Evaluation: Evaluating Development and Commu-
nity Programs with Participants. London: MacMillan, in association with Teaching
Aids at Low Cost.
Fitzpatrick, Jody L., James R. Sanders, and Blaine R. Worthen. 2004. Program Evalua-
tion: Alternative Approaches and Practical Guidelines. New York: Pearson Educa-
tion, Inc.
Friis, H. 1965. Development of Social Research in Ireland. Institute of Public Adminis-
tration, Dublin.
Fukuda-Parr, Sakiko, Carlos Lopes, and Khalid Malik, eds. 2002. Capacity for Develop-
ment: New Solutions to Old Problems. London: Earthscan Publications.
Furubo, Jan-Eric, and Rolf Sandahl. 2002. “Coordinated Pluralism.” In International
Atlas of Evaluation, eds. Jan-Eric Furubo, Ray Rist, and Rolf Sandahl, 115–28. New
Furubo, Jan-Eric, Ray Rist, and Rolf Sandahl, eds. 2002. International Atlas of Evalua-
tion. New Brunswick, NJ: Transaction Publishers.
G-8. 2004a. G-8 Action Plan: Applying the Power of Entrepreneurship to the Eradica-
tion of Poverty. Sea Island Summit, June.
———. 2004b. G-8 Plan of Support for Reform. Sea Island Summit, June.
Gerrard, Christopher. 2006. “Global Partnership Programs: Addressing the Challenge of
Evaluation.” PowerPoint presentation.
http://www.oecd.org/secure/pptDocument/0,2835,en_21571361_34047972_
36368404_1_1_1_1,00.ppt.
gpgNet. 2008. The Global Network on Global Public Goods.
http://www.sdnp.undp.org/gpgn/#.
Graham, Jeffrey P., and R. Barry Spaulding. 2005. Going Global: Understanding For-
eign Direct Investment. JPG Consulting.
http://www.going-global.com/articles/understanding_foreign_direct_
investment.htm.
Guerrero, R. Pablo 1999. “Evaluation Capacity Development: Comparative Insights
from Colombia, China, and Indonesia.” In Building Effective Evaluation Capacity:
Lessons from Practice, eds. Richard Boyle and Donald Lemaire, 177–94. New Bruns-
wick, NJ: Transaction Publishers.
Hatry, Harry P., Elaine Morely, Shelli B. Rossman, and Joseph P. Wholey. 2003. How
Federal Programs Use Outcome Information: Opportunities for Federal Managers.
IBM Endowment for the Business of Government, Washington, DC.
Hauge, Arild. 2001. “Strengthening Capacity for Monitoring and Evaluation in Uganda:
A Results-Based Perspective.” ECD Working Paper 8, World Bank, Operations
Evaluation Department, Evaluation Capacity Development, Washington, DC.
Hougi, Hong, and Ray C. Rist. 2002. “Evaluation Capacity Building in the People’s
Republic of China.” In International Atlas of Evaluation, eds. Jan-Eric Furubo, Ray
Rist, and Rolf Sandahl, 249–60. New Brunswick, NJ: Transaction Publishers.
IDA (International Development Association), and IMF (International Monetary Fund).
2007. Heavily Indebted Poor Countries HIPC Initiative and Multilateral Debt Relief
Initiative MDRI: Status of Implementation.
http://siteresources.worldbank.org/DEVCOMMINT/Documentation/
21510683/DC2007-0021 E HIPC.pdf.
IDS (Institute of Development Studies). 2008. “Impact Evaluation: The Experience of
Official Agencies.” IDS Bulletin 39 (1).
http://www.ntd.co.uk/idsbookshop/details.asp?id=1030.
IEG (Independent Evaluation Group). 2008. “Doing Business: An Independent Evalua-
tion. Taking the Measure of the World Bank–IFC Doing Business Indicators.”
IFAC (International Federation of Accountants). 2004. Anti–Money Laundering, 2nd ed.
New York.
IFC (International Finance Corporation). 2004. Strengthening the Foundations for
Growth and Private Sector Development: Investment Climate and Infrastructure
Development. Development Committee, Washington, DC.
http://siteresources.worldbank.org/IDA/Resources/PSDWBGEXT.pdf.
———. 2007. Business Environment Snapshots. Washington, DC.
http://rru.worldbank.org/documents/BES_Methodology_Note_External.pdf.
IMF (International Monetary Fund). 2009. “A Fact Sheet: Debt Relief under the Heavily
Indebted Poor Countries (HIPC) Initiative.”
http://www.info.org/external/np/exr/facts/hipc.htm.
Investor Dictionary.com. 2006. “Money Laundering.”
http://www.investordictionary.com/definition/money+laundering.aspx.
Jalan, Bimal. 2000. “Reflections on Gender Policy.” In Evaluating Gender Impact of
Bank Assistance, 75–76. World Bank, Operations Evaluation Department, Washing-
ton, DC.
Joint Progress toward Enhanced Aid Effectiveness, High-Level Forum. 2005. Paris
Declaration on Aid Effectiveness: Ownership, Harmonization, Alignment, Results,
and Mutual Accountability.
http://www1.worldbank.org/harmonization/Paris/FINALPARIS
DECLARATION.pdf/.
Katjomulse, Kavazeua, Patrick N. Osakwe, Abebe Shimeles, and Sher Verick. 2007. The
Monterrey Consensus and Development in Africa: Progress, Challenges, and Way
Forward. United Nations Economic Commission for Africa (UNECA), Addis Ababa.
Kreimer, Alcira, John Eriksson, Robert Muscat, Margaret Arnold, and Colin Scott. 1998.
The World Bank’s Experience with Post-Conflict Reconstruction. World Bank, Opera-
tions Evaluation Department, Washington, DC.
http://lnweb90.worldbank.org/oed/oeddoclib.nsf/b57456d58aba40e585256
ad400736404/f753e43e728a27b38525681700503796/$FILE/PostCon.pdf.
Kusek, Jody Zall, Ray C. Rist, and Elizabeth M. White. 2004. “How Will We Know
Millennium Development Results When We See Them? Building a Results-Based
Monitoring and Evaluation System to Give Us the Answer.” World Bank Africa
Region Working Paper 66, Washington, DC.

Lee, Yoon-Shik. 1999. “Evaluation Coverage.” In Building Effective Evaluation Capac-
ity: Lessons from Practice, eds. Richard Boyle and Donald Lemaire, 75–91. New
Brunswick, NJ: Transaction Publications.
Linux Information Project. 2006. “Public Goods: A Brief Introduction.”
http://www.linfo.org/public_good.html.
Mackay, Keith. 2002. “The Australian Government: Success with a Central, Directive
Approach.” In International Atlas of Evaluation, eds. Jan-Eric Furubo, Ray C. Rist,
and Rolf Sandahl, 157–74. New Brunswick, NJ: Transaction Publishers.
———. 2007. “Three Generations of National M&E Systems in Australia.” PowerPoint
presentation to the Third Latin America and Caribbean Regional Conference on
Monitoring and Evaluation, Lima, July 23–24.
———. 2008. M&E Systems to Improve Government Performance: Lessons from Austra-
lia, Chile and Columbia. PowerPoint presentation to the High-Level Delegation from
the People’s Republic of China, Washington, DC, March 6.
Moser, Caroline O. N. 1995. “Evaluating Gender Impacts.” New Directions for Evalua-
tion 67 (Fall): 105–17.
NCSTE (China National Center for Evaluation of Science & Technology), and IOB
(Netherland’s Policy and Operations Evaluation Department). 2004. A Country-Led
Joint Evaluation of the ORET/MILIEV Programme in China.
http://www.euforic.org/iob/docs/200610201336433964.pdf.
Nellis, John. 1999. “Time to Rethink Privatization in Transition Economies?” IFC Dis-
cussion Paper 38, International Finance Corporation, Washington, DC.
OECD (Organisation for Economic Co-operation and Development). 2002a. OECD
Glossary of Statistical Terms.
http://stats.oecd.org/glossary/index.htm.
———. 2002b. “Public Management and Governance: Overview of Results-Focused
Management and Budgeting in OECD Member Countries.” Paper presented
at the 23rd annual meeting of OECD senior budget officials, Washington, DC, June
3–4.
———. 2003. Joint OECD DAC/Development Centre Experts’ Seminar on Aid Effective-
ness and Selectivity: Integrating Multiple Objectives into Aid Allocations. Develop-
ment Assistance Committee.
http://www.oecd.org/document/51/0,2340
,en_2649_34435_2501555_119808_1_1_1,00.html.
———. 2004a. Final ODA Data for 2003.
———. 2004b. The Istanbul Ministerial Declaration on Fostering Growth of Innovative
and Internationally Competitive SMEs.
http://www.oecd.org/document/16/0,3343,en_2649_201185_32020176_1_1_1_1,00.
html.
———. 2005a. “Aid Rising Sharply, According to Latest OECD Figures.”
———. 2005b. The Paris Declaration. Development Co-operation Directorate.
http://www.oecd.org/document/18/0,2340,en_2649_3236398_35401554_1_1_1_1,00.
html.

———. 2006. Final ODA Data for 2005.
———. 2007a. “Development Aid from OECD Countries Fell 5.1 Percent in 2006.”
http://www.oecd.org/document/17/0,3343,en_2649_33721_38341265_1_1_1_1,00
.html.
———. 2007b. Final ODA Flows in 2006.
———. 2007c. “Monitoring the Paris Declaration.”
http://www.oecd.org/department/0,3355,en_2649_15577209_1_1_1_1_1,00.html.
OECD, and PUMA (Public Management Committee). 2002. “Overview of Results-
Focused Management and Budgeting in OECD Member Countries.” Twenty-third
annual meeting of OECD Senior Budget Officials, Washington, DC,
June 3–4.
Oxford Analytica. 2004a. “Foundations Muscle into Aid Arena.” August 10, Oxford.
———. 2004b. “Remittances Fund Investment Growth.” September 7, Oxford.
Patton, M. Q. 1997. Utilization-Focused Evaluation. 3rd ed. Thousand Oaks, CA: Sage
Publications.
———. 2006. “Recent Trends in Evaluation.” Paper presented to the International
Finance Corporation, Washington, DC, May 8.
Picciotto, Robert. 2002a. “Development Cooperation and Performance Evaluation: The
Monterrey Challenge.” World Bank, Operations Development Department, Washing-
ton, DC.
———. 2002b. “Development Evaluation as a Discipline.” International Program for
Development Evaluation Training (IPDET) presentation, Ottawa, June.
———. 2003. “International Trends and Development Evaluation: The Need for Ideas.”
American Journal of Evaluation 24: 227–34.
Picciotto, Robert, and Ray C. Rist. 1995. Evaluating Country Development Policies
and Programs: New Approaches and a New Agenda. San-Francisco: Jossey-Bass
Publishers.
Pollin, Robert. 2007. Microcredit: False Hopes and Real Possibilities. Foreign Policy in
Focus.
http://www.fpif.org/fpiftxt/4323.
Public Services Organisation Review Group. 1969. Report of the Public Services Organi-
zation Review Group. Dublin: Stationary Office.
Qureshi, Zia. 2004. Millennium Development Goals and Monterrey Consensus: From
Vision to Action. World Bank, Washington, DC.
http://wbln0018.worldbank.org/eurvp/web.nsf/Pages/Paper+by+Qureshi/US$File/
MOHAMMED+QURESHI.PDF.
Rasappan, Arunaselam. 2007. “Implementation Strategies and Lessons Learnt with
Results-Based Budgeting Malaysia.” Training course on program and performance
budgeting, ITP Pune, India, October 1–5.
http:// blog-pfm.imf.org/pfmblog/files/rasappan_implementation_strategies_les-
sons_malaysia.pdf.
Republic of France. 2001. Ministry of the Economy, Finance, and Industry. “Towards
New Public Management.” Newsletter on the Public Finance Reform 1 (September),
Paris.

Rist, Ray C., and Nicoletta Stame, eds. 2006. From Studies to Streams: Managing Evalu-
ative Systems. New Brunswick, NJ: Transaction Books.
Schacter, Mark. 2000. “Sub-Saharan Africa: Lessons from Experience in Supporting
Sound Governance.” ECD Working Paper 7, World Bank, Evaluation Capacity
Department, Washington, DC.
Soros Foundations Network. 2007. “About OSI and the Soros Foundation Network.”
http://www.soros.org/about/overview.
Takamasa, Akiyama, and Kondo Masanori, eds. 2003. “Global ODA since the Monter-
rey Conference.” Foundation for Advanced Studies on International Development
(FASID), International Development Research Institute, Tokyo.
http://www.fasid.or.jp/english/publication/research/pdf/global.pdf.
Tavistock Institute, in association with GHK and IRS. 2003. The Evaluation of Socio-
Economic Development: The GUIDE.
http://coursenligne.sciences-po.fr/2004_2005/g_martin/guide2.pdf.
Thomas, Koshy. 2007. “Integrated Results-Based Management in Malaysia.” In Results
Matter: Ideas and Experiences on Managing for Development Results. Asian Devel-
opment Bank.
http://www.adb.org/Documents/Periodicals/MfDR/dec-2007.pdf.
Trosa, Sylvie. 2008. “Towards a Postbureaucratic Management in France.” Politique et
management public (2).
Uganda Office of the Prime Minister (OPM). 2007a. National Integrated Monitoring
and Evaluation Strategy (NIMES) : 2006–2007 Bi-Annual Implementation Progress
Report. Kampala.
———. 2007b. “Working Note: Monitoring and Evaluation of the National Development
Plan.” October, Kampala.
UNCTAD (United Nations Conference on Trade and Development). 2008. “Foreign
Direct Investment Reached New Record in 2007.” Press Release.
http://www.unctad.org/Templates/Webflyer.asp?docID=9439&intItemID=
2068&lang=1.
UNECA (United Nations Economic Commission for Africa). 2007. “Financing Develop-
ment Section, Trade, Finance, and Economic Commission for Africa, Addis Ababa.”
http://www.uneca.org/eca_programmes/trade_and_regional_integration/
documents/MonterreyConsensusMainReport.pdf.
United Nations Office on Drugs and Crime. 2006. The United Nations Convention
against Transnational Organized Crime and Its Protocols.
http://www.unodc.org/unodc/en/treaties/CTOC/index.html.
U.S. Department of Labor. 1993. Government Performance and Results Act. Employ-
ment & Training Administration, Washington, DC.
http://www.doleta.gov/performance/goals/gpra.cfm.
U.S. GAO (Government Accountability Office). 2003. Executive Guide: Effectively
Implementing the Government Performance and Results Act.
http://www.gao.gov/special.pubs/gpra.htm.
World Bank. n.d. “About Private Participation in Infrastructure.”
http://www.worldbank.org/infrastructure/ppi/.
———. 1994. Enhancing Women’s Participation in Economic Development. Washington,
DC: World Bank.

http://books.google.ca/books?id=CJBmEClPci8C&dq=World+Bank.+1994.+
Enhancing+Women%E2%80%99s+Participation+in+Economic+Development.+Was
hington,+DC:+World+Bank.&printsec=frontcover&source=bn&hl=en&ei=
IPy2SdntFYueMoTU_NcK&sa=X&oi=book_result&resnum=4&ct=result#
PPA5,M1.
———. 1996b. World Bank Participation Sourcebook.
———. 1999. “Monitoring and Evaluation Capacity Development in Africa.” Précis
Spring (183).
http://wbln0018.worldbank.org/oed/oeddoclib.nsf/7f2a291f9f1204c685256808006a0
025/34b9bade34aca617852567fc00576017/US$FILE/183precis.pdf.
———. 2001. Strategic Directions for FY02–FY04. Washington, DC.
http://lnweb18.worldbank.org/oed/oeddoclib.nsf/24cc3bb1f94ae11c85256808006a0
046/762997a38851fa0685256f8200777e15/US$FILE/gppp_main_report_phase_2.
pdf#page=21.
———. 2003. Global Development Finance 2003. Washington, DC: World Bank. http://
siteresources.worldbank.org/INTRGDF/Resources/GDF0slide0show103010DC-
0press0launch.pdf.
———. 2004a. “Evaluating the World Bank’s Approach to Global Programs: Addressing
the Challenges of Globalization.” Independent Evaluation Group, Washington, DC.
http://www.worldbank.org/oed/gppp/.
———. 2004b. Global Monitoring Report 2004: Policies and Actions for Achieving the
Millennium Development Goals. Washington, DC: World Bank.
———. 2005a. Global Monitoring Report 2005: Education for All. Washington, DC:
World Bank.
———. 2005b. World Development Report 2005: A Better Investment Climate for Every-
one. Washington, DC: World Bank.
———. 2006a. Global Monitoring Report 2006: Equity and Development. Washington,
DC: World Bank.
———. 2007a. Aid Architecture: An Overview of the Main Trends in Official Develop-
ment Assistance Flows, Executive Summary.
http://siteresources.worldbank.org/IDA/Resources/Aidarchitecture-exec
summary.pdf.
———. 2007b. Conflict Prevention and Reconstruction.
http://lnweb18.worldbank.org/ESSD/sdvext.nsf/67ByDocName/Conflict
PreventionandReconstruction.
———. 2007c. The Data Revolution: Measuring Governance and Corruption.
http://web.worldbank.org/WBSITE/EXTERNAL/NEWS/0,,contentMDK:
20190210~menuPK:34457~pagePK:34370~piPK:34424~theSitePK:4607,00.html.
———. 2007d. Doing Business: Economy Profile Reports. Washington, DC: World Bank.
http://rru.worldbank.org/DoingBusiness/.
———. 2007e. The Enhanced HIPC Initiative: Overview.
http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTDEBTDEPT/
0,,contentMDK:21254881~menuPK:64166739~pagePK:64166689~piPK:64166646~
theSitePK:469043,00.html.

———. 2007f. Global Monitoring Report 2007: Development and the Next Generation.
Washington, DC: World Bank.
———. 2008. Online Atlas of the Millennium Development Goals: Building a Better
World.
http://devdata.worldbank.org/atlas-mdg/.
Woroniuk, B., and J. Schalwyk. 1998. “Donor Practices: Evaluation and Preparation
Tipsheet.” OECD, Paris.
Web stranice
Finansije
CGAP (Consultative Group to Assist the Poor). http://www.cgap.org/.
———. Assessment and Evaluation. http://www.cgap.org/publications/assessment_eval-
uation.html.
The Equator Principles. http://www.equator-principles.com/index.shtml.
Tedeschi, Gwendolyn Alexander. 2008. Overcoming Selection Bias in Microcredit
Impact Assessments: A Case Study in Peru. http://www.informaworld.com/smpp/cont
ent~content=a792696580~db=all~order=page.
World Bank. Doing Business: Economy Profile Reports. http://rru.worldbank.org/
DoingBusiness/.
Rod
OECD (Organisation for Economic Co-operation and Development). “Gender Tipsheet,
Evaluation.” Development Assistance Committee. http://www.oecd.org/datao-
ecd/2/13/1896352.pdf.
Upravljanje
Transparency International. http://www.transparency.org/.
World Bank. 2007a. Governance Matters. http://info.worldbank.org/governance/
wgi2007/ and http://info.worldbank.org/governance/wgi2007/pdf/booklet_decade_
of_measuring_governance.pdf.
———. 2007b. Untitled Video. http://web.worldbank.org/WBSITE/EXTERNAL/
NEWS/0,,contentMDK:21400275~menuPK:51416191~pagePK:64257043~piPK:
437376~theSitePK:4607,00.html.
Milenijski razvojni ciljevi

United Nations. Millennium Development Goals. http://www.un.org/millennium
goals/.

Siromaštvo
Poverty-Environment Web site. http://www.povertyenvironment.net.
World Bank. AdePT software to make poverty analysis easier and faster.
econ.worldbank.org/programs/poverty/adept.
———. PovertyNet newsletter. http://www.worldbank.org/poverty.

IZGRADNJA SISTEMA
MONITORINGA I
EVALUACIJE
ZASNOVANOG NA
REZULTATIMA
“Naši planovi se ne ostvaruju zbog toga što nemaju cilj. Kada čovjek
ne zna ka kojoj luci jedri, ni jedan vjetar nije povoljan vjetar.”
—SENECA
Poglavlje 3: Izgradnja sistema monitoringa i evaluacije

zasnovanog na rezultatima
• Važnost monitoringa i evaluacije zasnovane na rezultatima
• Šta su monitoring i evaluacija zasnovani na rezultatima?
• Tradicionalni pristup naspram monitoringa i evaluacije zasnovanih
na rezultatima
• Deset koraka u izgradnji sistema monitoringa i evaluacije
zasnovanog na rezultatima
Poglavlje 4: Razumijevanje konteksta evaluacije i programske
teorije promjene
• “Front end” analiza
• Identifikacija glavnih klijenata i ključnih dionika
• Razumijevanje konteksta
• Razdvajanje postojećeg znanja
• Izgradnja, korištenje i procjena teorije promjene
Poglavlje 5:Razmatranje evaluacionog pristupa

• Opći pristupi evaluaciji
• Izazovi napredovanja
POGLAVLJE 3
Izgradnja sistema monitoringa i

evaluacije zasnovanog na rezultatima
Širom svijeta vlade nastoje odgovoriti na pritiske i zahtjeve za poboljšanje

uvjeta života njihovih građana. Unutarnji i vanjski pritisci i zahtjevi
na vlade i razvojne organizacije uzrokuju iznalaženje novih načina za
poboljšanje javne uprave. Poboljšanja mogu uključivati veću odgovo-
rnost i transparentnost te veću efektivnost intervencija. Sistem moni-
toringa i evaluacije zasnovan na rezultatima (MiE) je menadžmentski
alat koji pomaže pri praćenju napretka te demonstrira utjecaj razvojnih
projekata, programa i politika.1
Ovo poglavlje ima četiri glavna dijela:

• Važnost monitoringa i evaluacije zasnovanih na rezultatima
• Šta su monitoring i evaluacija zasnovani na rezultatima?
• Tradicionalni pristup naspram monitoringa i evaluacije zasnovanih na
rezultatima
• Deset koraka u izgradnji sistema monitoringa i evaluacije zasnovanog na
rezultatima
105
Važnost monitoringa i evaluacije zasnovanih na
rezultatima
U zemljama u razvoju raste pritisak da se poboljša učinak javnog sektora. Kako

bi odgovorili na ove pritiske, zemlje razvijaju sisteme upravljanja učinkom. Ovi
novi sistemi uključuju reforme pri određivanju budžeta, ljudskih resursa, te orga-
nizacione kulture. Da bi se procijenilo daju li napori javnog sektora rezultate,
postoji također potreba za mjerenjem učinka. MiE sistemi prate rezultate koje su
(ili nisu) ostvarili vlade i ostale strane.
Mnoge inicijative utječu na vlade da usvajaju sisteme javne uprave koji
daju pozitivne rezultate. Milenijski razvojni ciljevi i inicijativa prezaduženih
siromašnih zemalja (HIPC) su dva primjera takvih inicijativa. Strategija nave-
dena u ovom poglavlju gradi se na iskustvu razvijenih zemalja – posebno onih
u Organizaciji za ekonomsku saradnju i razvoj (OECD) – ali, također, odražava
izazove i poteškoće s kojima se suočavaju mnoge zemlje u razvoju dok nastoje
pokrenuti sisteme za mjerenje učinka. Izazovi u ovim zemljama se kreću od
nedostatka kapaciteta vještina pa do slabih struktura uprave i sistema koji su
daleko od transparentnih. Iako je primarni fokus ovog poglavlja poboljšanje efi-
kasnosti i odgovornosti vlade koristeći ispravan sistem monitoringa i evaluacije,
principi i strategije se isto tako mogu primijeniti na organizacije, politike, pro-
grame i projekte.
Sistem zasnovan na rezultatima osigurava bitne informacije o javnom sektoru
ili organizacionom učinku. Može pomoći kreatorima politika, onima koji donose
odluke te drugim dionicima da odgovore na osnovna pitanja jesu li obećanja
održana i jesu li ishodi ostvareni. MiE je sredstvo kojim se mogu demonstrirati
poboljšanja ili pak nedostatak poboljšanja (Tekstualni okvir 3.1). Izvještavajući o
rezultatima raznih intervencija, vlade i druge organizacije mogu promovirati svoj
kredibilitet i povjerenje javnosti. Pružanje informacija javnosti također podupire
razvojni program koji se pomjera ka većoj odgovornosti za pružanje pomoći.
Dobar sistem monitoringa i evaluacije zasnovan na rezultatima može biti jako
koristan kao motivacijski i menadžmentski alat, pomaže pri fokusiranju pažnje na
ostvarivanje rezultata koji su važni organizaciji i njenim dionicima te osigurava
podsticaj za uspostavljanje ključnih ciljeva i svrha koji se bave tim rezultatima.

Tekstualni okvir 3.1 Snaga mjerenja rezultata
Mjerenje rezultata je kritično iz sljedećih razloga:
• Ukoliko ne mjerite rezultate, ne možete napraviti razliku između uspjeha

i neuspjeha.
• Ako ne možete vidjeti uspjeh, ne možete ga nagraditi.
• Ukoliko ne možete nagraditi uspjeh, vjerovatno onda nagrađujete
neuspjeh.
• Ukoliko ne vidite uspjeh, ne možete iz njeg ništa naučiti.
• Ukoliko ne možete prepoznati neuspjeh, ne možete ga popraviti.
• Ako možete pokazati rezultate, možete dobiti podršku javnosti.
Izvor: Osborn i Gaebler 1992.
Ovakav sistem monitoringa i evaluacije menadžerima također osigurava važne

informacije o tome da li je strategija kojom se intervencija provodi odgovarajuća,
ispravna, i adekvatna promjenama koje se intervencijom hoće postići.
Dobar sistem monitoringa i evaluacija je također bitan izvor informacija
za postavljanje smjernica i poboljšanje intervencija kako bi se maksimizirala
vjerovatnoća uspjeha. Pomaže identificiranju obećavajućih intervencija u ranoj
fazi tako da ih je moguće implementirati i u drugim prilikama. Imati dostupne
podatke o tome koliko dobro određeni projekt, praksa, program ili politika osigu-
rava korisne informacije za formuliranje i opravdanost budžetskih zahtjeva. To
također omogućava razumnu dodjelu ograničenih resursa intervencijama koje će
omogućiti ostvarivanje najveće koristi.
Jednom kada se ishodi uspostave, odaberu indikatori i postave ciljevi, orga-
nizacija ih može nastojati ostvariti. Sistem monitoringa i evaluacije može pružiti
pravovremenu informaciju osoblju o napretku te može pomoći u ranoj identi-
fikaciji eventualne slabosti koja zahtijeva korektivne mjere. Podaci monitor-
inga također osiguravaju informacije o netipičnim vrijednostima (područja koja
rade naročito dobro ili naročito loše). Evaluacija zatim može biti poduzeta da se
pronađe šta objašnjava te netipične vrijednosti.
Šta su to monitoring i evaluacija zasnovani na

rezultatima
Informacije zasnovane na rezultatima mogu doći iz dva komplementarna izvora:

sistema monitoringa i sistema evaluacije (Tekstualni okvir 3.2). Oba sistema su
veoma bitna za efikasno mjerenje učinka.
Izgradnja sistema monitoringa i evaluacije zasnovanog na rezultatima 107

■■ Monitoring
zasnovan na
rezultatima: Tekstualni okvir 3.2 Razlika između monitoringa zasnovanog na
Kontinuiran proces rezultatima i evaluacije zasnovane na rezultatima
prikupljanja i Monitoring zasnovan na rezultatima je kontinuiran proces prikupljanja i
analiziranja analiziranja informacija zasnovanih na ključnim indikatorima te poređenje
informacija
stvarnih rezultata sa očekivanim rezultatima kako bi se odredilo koliko dobro
zasnovan na
ključnim se implementira projekt, program ili politika. To je kontinuiran proces
indikatorima kako određivanja napretka ka eksplicitnim, kratkoročnim, srednjoročnim i
bi se odredio dugoročnim rezultatima praćenjem pokazatelja kretanja ka ostvarenju
napredak ka specifičnih, unaprijed određenih, ciljeva upotrebom indikatora. Monitoring
ciljevima
zasnovan na rezultatima može osigurati povratnu informaciju o napretku (ili
■■ Cilj: Mjerljiva nepostojanju napretka) osoblju i onima koji donose odluke, koji informacije
količina promjena mogu koristiti na različite načine kako bi poboljšali učinak.
koju je potrebno Evaluacija zasnovana na rezultatima je procjena planiranih, tekućih ili
ostvariti u datom
završenih intervencija kako bi se odredila njihova relevantnost, efektivnost i
vremenskom
okviru za određeni efikasnost, utjecaj i održivost. Namjera je osigurati informacije koje su vje-
indikator rodostojne, upotrebljive, omogućavajući uključivanje naučenih lekcija u pro-
ces donošenja odluka. Evaluacija intervenciju posmatra u širem pogledu,
■■ Indikator: Mjera
sistematski
postavljajući pitanje da li je napredak ka cilju ili određeni ishod uzrokovan in-
praćena tokom tervencijom ili postoje neka druga objašnjenja za promjene koje je odabrao
vremenskog sistem monitoringa. Pitanja evaluacije mogu uključivati sljedeće:
perioda koje
indicira napredak • Jesu li ciljevi i ishodi vjerodostojni?
(ili nepostojanje • Koliko efektivno i efikasno se ostvaruju?
istog) ka cilju • Koji neočekivani efekti su uzrokovani intervencijom?
■■ Evaluacija • Da li intervencija predstavlja strategiju za rješavanje određenog skupa
zasnovana na rezul- potreba koja je najviše isplativa i održiva.
tatima: Procjena
planiranih, tekućih
ili završenih
intervencija kako
bi se odredila Tradicionalni pristup nasuprot monitoringu i evaluaciji
njihova releva-
ntnost, efikasnost,
zasnovanim na rezultatima
efektivnost,
utjecaj i održivost. Vlade već duži period koriste tradicionalni monitoring i evaluaciju – praćenje
■■ Utjecaj: Dugoročna troškova i prihoda, nivoa osoblja i resursa, aktivnosti programa i projekata, broj
korist (rezultat) učesnika te proizvedenih dobara i usluga, na primjer. Međutim, potrebno je
koji je ostvaren napraviti razliku između tradicionalnog i MiE zasnovanih na rezultatima:
kada se ostvari
serija ishoda • Tradicionalni monitoring i evaluacija se fokusiraju na monitoring i evalu-
(Milenijski razvojni
ciljevi su primjeri
aciju ulaznih podataka, aktivnosti i izlaznih podataka (tj. na implementaciju
utjecaja). projekta ili programa).
• Monitoring i evaluacija zasnovani na rezultatima kombiniraju tradicionalni
pristup monitoringa implementacije sa procjenom izlaznih podataka ili više
rezultata općenito.

Upravo je ovo povezivanje napretka implementacije sa napretkom u ostva- ■■ Tradicionalni
monitoring i
rivanju željenih ciljeva ili rezultata vladine politike i programa ono što moni- evaluacija:
toring i evaluaciju čine korisnima kao alat javne uprave. Implementacija ovog monitoring i
tipa sistema monitoringa i evaluacije omogućava organizaciji modificiranje i evaluacija koji se
fokusiraju na
prilagođavanje teoriji promjene i procesu implementacije a kako bi se direktnije
implementaciju
podržalo ostvarivanje željenih ciljeva i rezultata. projekta ili
programa
Teorija promjene ■■ Monitoring i

evaluacija
Jedan način na koji možemo posmatrati razlike između tradicionalnog i monito- zasnovani na
rezultatima:
ringa i evaluacije zasnovanih na rezultatima je da razmotrimo teoriju promjene. monitoring i
Prema Kuseku i Ristu (2004), teorija promjene predstavlja ono kako se očekuje evaluacija koji
da intervencija dovede do željenih rezultata (Više informacija o teoriji promjene kombiniraju
tradicionalni
i definicije možete naći u Poglavlju 4). Modeli teorije promjene tipično imaju
pristup sa
pet glavnih komponenti: ulazne elemente, aktivnosti, izlazne rezultate, ishode, i procjenom
utjecaj (Tabela 3.1). Neki modeli teorije promjene također uključuju druge kara- rezultata.
kteristike, uključujući ciljane grupe, te vanjske i unutrašnje faktore. ■■ Teorija promjene:
Teorija o tome
Tabela 3.1 Glavne komponente teorije promjene kako inicijativa
vodi do željenih
Komponenta Opis rezultata
Ulazni elementi Resursi koji idu u projekt, program ili politiku
(finansiranje, angažiranje osoblja, opreme,
programski materijali, i tako dalje).
Aktivnosti Šta radimo. Aktivnosti možemo označiti
glagolima („trgovati“, „osigurati“,
„omogućiti“, „dostaviti“).
Izlazni rezultati Šta proizvodimo. Izlazni rezultati su opipljivi
proizvodi ili usluge nastali kao rezultat
aktivnosti. Obično se izražavaju imenicama.
Obično nemaju modifikatore. Opipljivi su i
moguće ih je brojati.
Ishodi Zašto to radimo. Ishodi su promjene u
ponašanju koje nastaju iz izlaznih rezultata
projekta (prestati pušiti, ključanje vode,
korištenje noćnih mreža). Ishodi se mogu
povećavati, smanjivati, poboljšavati,
unapređivati ili održavati.
Utjecaji Dugoročne promjene koje nastaju
akumulacijom ishoda. Mogu biti slični
strateškim ciljevima.
Izvor: Kusek and Rist 2004.

Ilustracija 3.1 Program teorije promjene (logički model) za ostvarenje
ishoda i utjecaja
Utjecaji • dugoročni, široko rasprostranjeno poboljšanje u

društvu
Rezultati
Ishodi • promjene u ponašanju, namjeravane i

nenamjeravane, pozitivne i negativne
Izlazni rezultati • proizvodi i usluge - proizvedeni/obavljene

Izvršavanje
Aktivnosti • zadaci poduzeti da se ulazni elementi

transformiraju u izlazne
Ulazni elementi • finansije,ljudski i materijalni resursi
Izvor: Binnendijk 2000.
Teorija promjene se može prikazati grafički (Ilustracija 3.1). Ovaj model se

može koristiti da se uokviri pristup zasnovan na rezultatima u problem kao što je
smanjenje smrtnosti djece terapijom oralne rehidracije (Ilustracija 3.2).
Indikatori učinka
Monitoring uključuje određivanje napretka ka ostvarenju ishoda ili utjecaja.

Ishod se ne može odrediti direktno, međutim, prvo ga treba prevesti u set indika-
tora koji kad se pravilno izmjere osiguravaju informacije o tome jesu li ili nisu
ostvareni ishodi ili utjecaji. Indikator učinka je „varijabla koja omogućava verifi-
kaciju promjena u razvojnoj intervenciji ili pokazuje ishode relativne onome što
je planirano“ (OECD 2002, str.29).
Na primjer, ako država odabere za cilj poboljšanje zdravlja djece tako što će
smanjiti infektivna oboljenja kod djece za 30 procenata u narednih pet godina,
potrebno je da prvo identificira set indikatora koji prevode promjene kod
učestalosti oboljenja djece od infektivnih bolesti u neka određenija mjerenja.

Ilustracija 3.2 Primjer programske teorije promjene (logički model) za
smanjenje oboljenja kod djece upotrebom terapije oralne rehidracije
Utjecaj • smanjenje oboljenja kod djece

Rezultati
• povećana upotreba terapije oralne rehidracije

Ishod u borbi protiv dijareje kod djece (promjena u
ponašanju)
Izlazni rezultati • povećana materinska svijest i pristup

uslugama terapije oralnom rehidracijom
Izvršavanje
• medijske kampanje za edukaciju majki, osoblje

Aktivnosti u zdravstvu obučeno za pružanje terapije
oralnom rehidracijom itd.
Ulazni elementi • sredstva, zalihe, treneri, itd.
Izvor: Prilagođeno od Binnendijk 2000.
Indikatori koji mogu pomoći pri procjeni promjena u oboljenjima kod djece
mogu uključivati sljedeće:
• učestalost i prevalencija infektivnih oboljenja, kao što je hepatitis (direktna
determinanta)
• nivo zdravstvenog stanja majki (indirektna determinanta)
• mjera u kojoj djeca imaju pristup čistoj vodi.
Kumulativni dokaz o skupu indikatora je ono što menadžeri ispituju da bi
utvrdili da li njihov program bilježi napredak. Nijedan ishod ili utjecaj ne treba
mjeriti samo jednim indikatorom.
Mjerenje razgraničenih setova indikatora (set indikatora koji je podijeljen na
sastavne dijelove) osigurava važne informacije kao što su, koliko dobro vladini
programi i politike rade na ostvarivanju ciljanih ishoda ili utjecaja. Također se
koriste pri identifikaciji pozicija koje funkcioniraju bolje ili lošije od prosjeka
(netipični) i politike koje funkcioniraju ili ne funkcioniraju dobro. Ukoliko, na
primjer, set indikatora otkrije da vremenom sve manje djece ima dostupnu čistu

vodu, vlada ovu informaciju može koristiti da uradi reformu programa koji imaju
za cilj poboljšati snabdijevanje vodom ili ojačati one programe koji pružaju
informacije roditeljima o potrebi sanitacije vode prije nego je daju djeci.
Informacije dobivene iz monitoring sistema otkrivaju učinak samo onoga što
se posmatra (iako se može porediti sa prethodnim učinkom i sa nekim planira-
nim nivoom trenutnog ili predviđenog učinka [ciljevi]). Podaci monitoringa ne
otkrivaju zašto je nastao dati nivo učinka niti pružaju uzročna objašnjenja o pro-
mjenama u učinku od jednog izvještajnog perioda do drugog ili od jedne pozicije
do druge. Ova informacija dolazi iz sistema evaluacije. Sistem evaluacije ima
komplementarnu, i posebnu, funkciju unutar okvira menadžmenta zasnovanog na
rezultatima. Sistem evaluacije omogućava:
• detaljnu studiju ishoda i utjecaja zasnovanih na rezultatima;
• upotrebu i drugih izvora podataka osim indikatora koji se prate;
• ispitivanje faktora koje je previše teško ili previše skupo stalno pratiti;
• istraživanje zašto i kako se trendovi koje pratimo monitoringom kreću u
pravcu u kom se kreću.
Podatke o utjecaju i posljedičnim atributima ne treba uzimati olahko. Oni
mogu igrati važnu ulogu u raspodjeli strateških resursa.
Deset koraka u izgradnji sistema monitoringa i

evaluacije zasnovanog na rezultatima
Izgradnja kvalitetnog sistema monitoringa i evaluacije zasnovanog na rezultatima

uključuje 10 koraka (Ilustracija 3.3):
1. provođenje procjene spremnosti;
2. usaglašavanje ishoda učinka koje treba pratiti i evaluirati;
3. odabir ključnih indikatora za monitoringa rezultata;
4. prikupljanje baznih podataka o indikatorima;
5. planiranje poboljšanja: postavljanje realnih ciljeva;
6. monitoring rezultata;
7. upotreba informacija evaluacije;
8. izvještavanje o nalazima;
9. upotreba nalaza;
10. održavanje sistema monitoringa i evaluacija unutar organizacije.

Ilustracija 3.3 Deset koraka u dizajniranju, izgradnji, i održavanju sistema
monitoringa i evaluacije zasnovanog na rezultatima
odabir ključnih planiranje

provođenje indikatora za poboljšanja: upotreba
procjene praćenje odabir realnih informacija korištenje
spremnosti ishoda ciljeva evaluacije nalaza
1 2 3 4 5 6 7 8 9 10
usaglašavanje prikupljanje monitoring izvještavanje održavanje

o ishodima baznih podataka rezultata o nalazima MiE sistema
koje treba pratiti o indikatorima unutar
i evaluirati organizacije
Izvor: Kusek i Rist 2004.
Korak 1: Provođenje procjene spremnosti
provođenje
procjene
spremnosti
1 2 3 4 5 6 7 8 9 10
Procjena spremnosti je način određivanja kapaciteta i volje vlade i njenih razvo-

jnih partnera da izrade sistem monitoringa i evaluacije zasnovan na rezultatima.
Ova procjena se bavi pitanjima kao što je prisustvo ili odsustvo boraca, poticaja,
uloga i odgovornosti, organizacionih kapaciteta te početnih prepreka u uspostavi
sistema.

Poticaji
Prvi dio procjene spremnosti uključuje razumijevanje koji to poticaji postoje za

pokretanje izgradnje sistema monitoringa i evaluacije (i koje to prepreke mogu
otežavati napredak). Pitanja koja treba razmotriti uključuju sljedeće:
• šta to pokreće potrebu za izgradnju sistema monitoringa i evaluacije?

• ko su borci za izgradnju i upotrebu sistema MiE?
• šta je to što motiviše one koji pokreću izgradnju MiE sistema?
• ko će imati koristi od sistema?
• ko neće imati koristi?
Uloge i odgovornosti
Sljedeće što je važno je identificirati ko je trenutno odgovoran za izradu podataka
u organizaciji i u drugim relevantnim organizacijama i ko su glavni korisnici
podataka. Pitanja koja treba razmotriti uključuju sljedeće:
• koje su uloge centralnih i linijskih ministarstava u procjeni učinka?

• koja je uloga krovne revizijske agencije?
• da li ministarstva i agencije međusobno razmjenjuju informacije?
• postoji li politička pozadina dobivenih podataka?
• ko u državi izrađuje podatke?
• gdje se na različitim nivoima u vladi koriste podaci?
Organizacioni kapaciteti
Ključni element koji upravlja spremnošću organizacije za MiE sistem zasnovan
na rezultatima odnosi se na vještine, resurse, i iskustvo koji su dostupni orga-
nizaciji. Pitanja koja treba razmotriti uključuju sljedeće:
• ko u organizaciji posjeduje tehničke vještine za dizajniranje i implementaciju

MiE sistema?
• ko ima vještine da upravlja takvim sistemom?
• koji sistemi podataka trenutno postoje u organizaciji i kojeg su kvaliteta?
• koja tehnologija je dostupna za podršku neophodnog sistema podataka? Kapa-
citet baze podataka, dostupnost analize podataka, softver za izvještavanje itd.
trebaju biti dijelovi procjene.
• koji fiskalni resursi su dostupni za dizajniranje i implementaciju MiE sistema?
• koje iskustvo organizacija ima sa sistemima izvještavanja o učinku?

Prepreke
Kao i kod svake organizacione promjene, važno je razmotriti šta to može stajati na
putu efektivnoj implementaciji. Pitanja koja treba razmotriti uključuju sljedeće:
• postoji li nedostatak fiskalnih resursa, političke volje, boraca za sistem, strate-
gije vezane za ishod, ili iskustvo?
• ukoliko postoje, kako se takve prepreke mogu prevazići?
Dobra praksa sugeriše da uspjeh u uspostavi efikasnog MiE sistema može ovi-
siti o raznim faktorima, uključujući sljedeće:
• jasan mandat za MiE na državnom nivou

• strateški dokumenti za smanjenje siromaštva, zakoni i propisi
• jako vodstvo i podrška na najvišim nivoima vlade
• pouzdane informacije koje se mogu koristiti za politiku u upravljanje u
donošenju odluka
• civilno društvo koje radi partnerski sa vladom u izgradnji i praćenju informa-
cija o učinku
• džepovi inovacija koji mogu služiti kao početna praksa ili pilot programi
Na kraju procjene spremnosti, visoki vladini zvaničnici suočavaju se sa pita-
njem da li krenuti naprijed sa izgradnjom MiE sistema. U suštini, pitanje je „ići ili
ne ići“ (sada, uskoro ili možda kasnije).
Korak 2: Usaglašavanje ishoda učinka za monitoring i evaluaciju
1 2 3 4 5 6 7 8 9 10
usaglašavanje
ishoda koje treba
pratiti i evaluirati
Važnije je stvoriti interes za procjenu ishoda i utjecaja koje organizacija ili vlada
nastoji ostvariti nego se fokusirati na pitanja implementacije (ulazni elementi,

aktivnosti i izlazni rezultati). Nakon svega, ishodi – kao što je poboljšanje pokrića
predškolskih programa ili poboljšanje učenja među djecom u osnovnoj školi –
ono je što otkriva jesu li ili nisu ostvarene određene koristi.
Strateški ishodi i utjecaji se trebaju fokusirati i upravljati raspodjelom resursa i
aktivnosti vlade i njenih razvojnih partnera. Ove utjecaje treba izvesti iz strateških
prioriteta države. Pitanja koja treba razmotriti kada se pravi lista ishoda uključuju
sljedeće:
• Postoje li državni/sektorski ciljevi (na primjer, Vizija 2016)?
• Jesu li data politička obećanja za određeno poboljšanje učinka u određenom
području?
• Da li građanski birački podaci (kao što su građanske bodovne kartice) indici-
raju određene interese?
• Je li donatorsko kreditiranje vezano za određene ciljeve?
• Je li prisutno odobravanje propisa?
• Je li vlada preuzela ozbiljne obaveze za ostvarenje Milenijskih razvojnih
ciljeva (MRC)?
Usaglašavanje ishoda je politički proces koji zahtijeva podršku i sagla-
snost ključnih interesnih strana. Brainstorming sesije, intervjui, ciljane grupe, i
istraživanja se provode kako bi se razumjele njihove potrebe.
Ishodi čine eksplicitnim namjeravane rezultate djelovanja („znati gdje ideš
prije nego kreneš“). Predstavljaju rezultate za koje se klijent nada da će ih ostva-
riti. Prije nego što ih bude moguće ostvariti moraju se prevesti u set ključnih indi-
katora. Jasno postavljanje ishoda – i izvođenje indikatora na osnovu njih – bitno
je za dizajniranje i izgradnju MiE sistema zasnovanog na rezultatima.
Korak 3: Odabir ključnih indikatora za monitoring ishoda
odabir ključnih
indikatora za
monitoring
ishoda
1 2 3 4 5 6 7 8 9 10

Ono što se izmjeri i uradi se. Precizna specifikacija onoga što se mjeri u cilju da
se ocijeni ostvarivanje ishoda ne samo da pomaže praćenju napretka nego također
može biti snažan motivacijski alat za fokusiranje napora i poravnavanje unutar
organizacije, ukoliko se to uradi dovoljno rano u procesu.
Indikator je mjera koja kada se tokom vremena sistematski prati ukazuje na
napredak (ili nepostojanje napretka) ka cilju. Odgovara na pitanje „Kako ćemo
prepoznati uspjeh kada ga vidimo?“ U novom MiE sistemu, svi indikatori trebaju
biti kvantitativni, kvalitativni indikatori dolaze kasnije kada je MiE sistem u zreli-
joj fazi. Indikator razvoja je osnovna djelatnost u izgradnji MiE sistema; upravlja
svim narednim prikupljanjima podataka, analizama, i izvještavanjima. Politička
i metodološka pitanja u izradi vjerodostojnih i odgovarajućih indikatora ne treba
potcijeniti. Schiavo – Campo (1999) primjećuju (smatraju) da indikatori trebaju
biti „CREAM“ tj.:
• jasni (precizni i nedvosmisleni);

• relevantni (odgovarajući datom subjektu);
• ekonomični (dostupni po razumnoj cijeni)
• adekvatni (u stanju osigurati dovoljnu osnovu za procjenu učinka) i
• moguće je vršiti monitoring (podložni nezavisnoj validaciji).
Nekad je moguće smanjiti troškove koristeći već dostupne indikatore (iako

evaluatori trebaju biti svjesni rizika pri korištenju takvih indikatora). Prije nego
što se to uradi važno je razmotriti koliko su relevantni indikatori. Neke indikatore
može biti potrebno prilagoditi ili dopuniti drugima koji su relevantniji za projekt,
program ili politiku koja se evaluira.
Broj indikatora zavisi o tome koliko ih je potrebno da bi se odgovorilo na
pitanje „Je li ishod ostvaren?“ Ovaj broj se kreće od dva do sedam. Jednom kad se
odaberu, ti indikatori nisu uklesani u kamen. Novi se mogu dodati a stari odbaciti
pošto se sistem monitoringa usmjerava i poboljšava tokom vremena.
Odabrane indikatore učinka i strategije prikupljanja podataka korištene pri
prikupljanju informacija o ovim indikatorima treba postaviti u stvarnost (Kusek i
Rist 2004). Faktori koje treba razmotriti uključuju:
• Koji sistemi podataka postoje?

• Koji podaci se trenutno mogu dobiti?
• Koliki kapacitet postoji za proširenje dubine i širine prikupljanja podataka i
analizu?
Kompletiranjem svake ćelije u matrici prikazanoj u Tabeli 3.2. dobijamo ideju
o izvodljivosti stvarne implementacije svakog indikatora. Primjeri indikatora su
prikazani u Tabeli 3.3.

• Evaluatori trebaju razviti vlastite indikatore da bi zadovoljili potrebe evalu-
acije koju provode.
• Razvoj dobrih indikatora zahtijeva više od pokušaja. Potrebno je vremena da
se dostignu konačni indikatori.
• Sve indikatore treba navesti neutralno a ne kao „povećanje“ ili „smanjenje“.
• Evaluatori trebaju raditi pilote, pilote, pilote!

Tabela 3.2 Matrica za odabir indikatora
Poteškoće Ko će
Metod Ko Učestalost Troškovi pri analizirati i Ko će
Izvor prikupljanja prikuplja prikupljanja prikupljanja prikupljanju iznositi koristiti
Indikator podataka podataka podatke? podataka podataka podataka podatke? podatke
1.
2.
3.
Tabela 3.3. Primjer okvira učinka: ishodi i indikatori

Ishod Indikatori Bazne linije Ciljevi
Poboljšanje pokrivenosti Procenat podobne urbane djece upisane
predškolskog programa u predškolsko
Procenat podobne ruralne djece upisane

u predškolsko
Poboljšani ishodi učenja u Procenat učenika 6 razreda sa 70 posto

osnovnoj školi bodova ili više na standardizovanim
testovima iz matematike i znanosti
Procenat učenika 6 razreda sa odličnim
standardizovanim testovima iz
matematike i znanosti u poređenju sa
podacima iz baznih linija

Korak 4: Prikupljanje baznih podataka o indikatorima
1 2 3 4 5 6 7 8 9 10
prikupljanje
baznih podataka
o indikatorima
Mjerenje napretka (ili nepostojanja istog) ka ishodima počinje određivanjem i

opisom početnog stanja. Prikupljanje baznih podataka u suštini znači određivanje
prvih mjera indikatorima kako bi odredili „Gdje smo danas“?
Bazna linija učinka pruža informacije (kvalitativne i kvantitativne) o učinku
indikatora na početku (ili neposredno prije) intervencije. Ustvari, jedna stvar
pri odabiru indikatora je dostupnost baznih podataka, što omogućava praćenje
učinka relativno do baznih linija.
Izvori baznih podataka mogu biti primarni (prikupljeni naročito za ovaj sistem
mjerenja) ili sekundarni (prikupljani u druge svrhe). Sekundarni podaci mogu
doći iz organizacije, od vlade ili iz međunarodnih izvora podataka. Korištenje
takvih podataka može uštedjeti vrijeme sve dok oni pružaju potrebne informacije.
Veoma je teško vratiti se i prikupiti primarne bazne podatke ako kasnije otkrijemo
da sekundarni izvor ne zadovoljava potrebe evaluacije.
Mogući izvori baznih podataka uključuju sljedeće:
• Pisane podatke (papirne ili elektronske)
• Pojedince angažovane na projektu, programu ili politici
• Javnost
• Obučeni posmatrači
• Mehanička mjerenja i testovi
• Geografski informacioni sistemi
Jednom kada se izvor baznih podataka za indikatore odabere, evaluator
odlučuje ko će prikupljati podatke i kako. Određuje i razvija instrumente za pri-
kupljanje podataka, kao što su oblici prikupljanja informacija iz fajlova ili zapisa,
protokolarnih intervjua, istraživanja, i opservacionih instrumenata. Pri razvijanju
instrumenata za prikupljanje, na umu imaju praktična pitanja:

• Jesu li dobri podaci trenutno dostupni (ili lahko pristupačni)?
• Mogu li se podaci osigurati u regularnom vremenskom roku kako bi se
omogućilo praćenje napretka?
• Je li planirano prikupljanje primarnih podataka izvodivo i ekonomično?
Postoji mnogo načina za prikupljanje podataka (kao što je obrađeno u poglavlju 9).
Mogu se rangirati od najmanje rigoroznih, najmanje formalnih, i manje skupih do
najrigoroznijih, najformalnijih i najskupljih (Ilustracija 3.4).
Tabela 3.4 pokazuje treći korak u razvoju rezultata za obrazovnu politiku:
uspostavljanje baznih linija.
Ilustracija 3.4 Spektar metoda prikupljanja podataka
intervjui sa ključnim panel

informatorima ankete
konverzacija intervjui sa
sa fokusnom grupom
dotičnim
zapažanja jednokratne
pojedincima
učesnika ankete
pregled cenzusi
zvaničnih podataka
intervjui (sistem upravljanja direktna
u zajednici informacijama i posmatranja
administrativni
terenske podaci) eksperimenti
posjete ankete na terenu
neformalni/manje strukturirani formalni/više strukturirani

Tabela 3.4 Primjer okvira učinka: ishodi, indikatori i bazne linije
Ishod Indikatori Bazne linije Ciljevi
Poboljšanje pokrivenosti Procenat podobne urbane 76 procenata u urbanim
predškolskog programa djece upisane u predškolski područjima u 1999.
odgoj
40 procenata u ruralnim
Procenat podobne ruralne područjima u 2000.
djece upisane u predškolsko
Poboljšani rezultati učenja u Procenat učenika 6 razreda U 2002. 47 procenata
osnovnoj školi sa 70 posto bodova ili više učenika osvojilo je 70 posto
na standardizovanim ili bolje u matematici a 50
testovima iz matematike i posto ili bolje u znanosti
znanosti U 2002. srednji rezultat za
Procenat učenika 6 razreda učenike 6 razreda bio je 68
sa odličnim posto u matematici i 53
standardizovanim testovima posto u znanosti.
iz matematike i znanosti u
poređenju sa podacima iz
baznih linija
Korak 5: Planiranje za poboljšanja: Izbor realnih ciljeva
planiranje
poboljšanja:
odabir realnih
ciljeva
1 2 3 4 5 6 7 8 9 10
Sljedeći korak – uspostavljanje ciljeva- je zadnji korak u izgradnji okvira učinka.

Prema Kuseku i Ristu (2004. str.91), „U suštini!“ ciljevi su kvantificirani nivoi
indikatora koje zemlja, društvo ili organizacija hoće da ostvare u datom vremenu“.
Većina rezultata i gotovo svi utjecaji u međunarodnom razvoju su kompleksni
i odvijaju se samo tokom dugog vremenskog perioda. Stoga postoji potreba za
uspostavljanjem srednjoročnih ciljeva koji određuju koliko napretka i rezultata
će se ostvariti, u kom vremenskom okviru, i na kom nivou raspodjele resursa.
Mjerenje učinka prema ovim ciljevima može uključivati direktne i zamjenske
indikatore, kao i upotrebu kvalitativnih i kvantitativnih podataka. Prema teoriji

promjene utjecaj se može smatrati dugoročnim ciljem koji intervencijom
ultimativno nastojimo ostvariti. Rezultati su set slijednih i izvodivih ciljeva
(relativno prema baznim podacima) za indikatore koje se nadamo ostvariti tokom
implementacije, unutar određenog, realnog (političkog i budžetskog) vremenskog
okvira. Drugim riječima, ako organizacija vremenom postigne svoje ciljeve,
ostvarit će svoje rezultate (pod uvjetom da ima dobru teoriju promjene i da je
uspješno implementira). Kada se postavljaju ciljevi za indikatore, važno je jasno
razumjeti sljedeće:
• osnovnu ili baznu startnu poziciju (na primjer, prosjek protekle tri godine,
prošla godina, prosječni trend);
• teoriju promjene i način disegregacije u set vremenski ograničenih ciljeva;
• nivoe finansiranja i personalne resurse u vremenskom okviru za cilj;
• količinu vanjskih resursa očekivanu za dopunu programskih trenutnih resursa;
• relevantne političke razloge;
• organizaciono (posebno menadžersko) iskustvo u realizaciji projekata i pro-
grama u ovom supstantivnom području.
Ilustracija 3.5 prikazuje kako identificirati ciljne vrijednosti koje treba ostvariti
kao jedan korak u lancu koji će vremenom dovesti do ostvarenja ishoda.
Samo jedna ciljna vrijednost treba biti određen za svaki indikator. Ako indika-
tor nikada prije nije bio upotrebljavan, evaluator treba biti pažljiv kod postavljanja
određenog cilja i umjesto toga treba postaviti parametre. Ciljeve treba postavljati
srednjoročno (ne više od tri godine) te uključiti realne vremenske okvire za ostva-
rivanje. Većina ciljeva se postavlja godišnje, ali se neki mogu postaviti kvartalno
ili na duže periode.
Ilustracija 3.5 Identifikacija očekivanog ili željenog nivoa poboljšanja zahtijeva

izbor ciljeva učinka
Nivo indikatora Željeni nivo Ciljani

bazne linije poboljšanja učinak
pretpostavlja konačni i Željeni nivo učinka koji treba
+ očekivani nivo ulaznih el, = dostići u određenom
Aktivnosti izlaznih vremenu
rezultata

Tabela 3.5 prikazuje posljednji korak u razvoju ishoda za obrazovnu politiku:
postavljanje ciljeva učinka. Ova kompletirana matrica sada postaje okvir učinka.
Definiše rezultate i osigurava plan za određivanje da li je program bio uspješan
u ostvarivanju ovih ishoda. Okvir definira dizajn MiE sistema zasnovanog na
rezultatima koji će početi pružati informacije o tome ostvaruju li se privremeni
rezultati na putu ostvarivanja dugoročnog ishoda.
Okvir pomaže evaluatorima dizajnirati evaluaciju. Također, može pomoći
menadžerima sa budžetom, raspodjelom resursa, angažiranjem osoblja te drugim
funkcijama. Menadžeri trebaju često konsultirati okvir kako bi osigurali da se
projekt, program ili politika kreću ka željenom ishodu.
Usmjeravanje učinka je kritično pri dostizanju ishoda politike. Koristeći par-
ticipativni proces koji uključuje bazne indikatore i željeni nivo poboljšanja tokom
vremena je ključ za MiE zasnovan na rezultatima.
Tabela 3.5 Primjer okvira učinka:

Ishod Indikatori Bazna linija Ciljevi
Poboljšanje pokrivenosti Procenat podobne urbane 76 procenata u urbanim 85 procenata u urbanim
predškolskog programa djece upisane u područjima u 1999. područjima do 2006.
predškolski odgoj
Procenat podobne ruralne 40 procenata u ruralnim 60 procenata u ruralnim

djece upisane u područjima u 2000. područjima do 2006.
predškolsko
Poboljšani rezultati učenja Procenat učenika 6 U 2002. 47 procenata Do 2006. 80 posto učenika
u osnovnoj školi razreda sa 70 posto učenika osvojilo je 70 će osvojiti 70 posto ili
bodova ili više na posto ili bolje u matematici bolje u matematici a 67
standardizovanim a 50 posto ili bolje u posto će osvojiti 70 posto
testovima iz matematike i znanosti ili bolje u znanosti.
znanosti
Procenat učenika 6 U 2002. srednji rezultat za U 2006. srednji rezultat će

razreda sa odličnim učenike 6 razreda bio je 68 biti 78 posto za
standardizovanim posto u matematici i 53 matematiku i 65 posto za
testovima iz matematike i posto u znanosti znanost
znanosti u poređenju sa
podacima iz baznih linija
Izvor Kusek i Rist 2004.

Korak 6: Monitoring rezultata
1 2 3 4 5 6 7 8 9 10
monitoring
rezultata
Monitoring sistem zasnovan na rezultatima prati implementaciju (ulazne ele-

mente, aktivnosti i izlazne rezultate) i rezultate (ishode i utjecaj). Ilustracija 3.6
prikazuje kako se svaki od ovih tipova monitoringa uklapa u model.
Svaki ishod ima broj indikatora, od kojih svaki ima cilj. Potrebno je koordi-
nirati i upravljati serijom aktivnosti i strategija kako bi se ostvarili ovi ciljevi
(grafika 3.7).
Povezivanjem monitoringa implementacije sa monitoringom rezultata je
veoma bitno. Ilustracija 3.8 je primjer za smanjenje smrtnosti djece.
Ilustracija 3.6 Ključni tipovi monitoringa
Utjecaji
Rezultati Monitoring rezultata
Ishodi
Izlazni rezultati
Monitoring implementacije
Implementacija Aktivnosti
(sredstva i strategije)
Ulazni elementi
Izvor: Prilagođeno iz Binnendijk 2000.

Ilustracija 3.7 Veze između monitoringa implementacije i monitoringa rezultata
Ishod
Monitoring rezultata.
Cilj 1 Cilj 2 Cilj 3
Sredstva i Sredstva i Sredstva i

strategije strategije strategije
(višegodišnji i (višegodišnji i (višegodišnji i Monitoring implementacije.
godišnji planovi godišnji planovi godišnji planovi

rada) rada) rada)
Ilustracija 3.8 Primjer povezivanja implementacije sa monitori-

ngom rezultata
Utjecaj Smanjenje oboljenja kod djece
Ishod Smanjiti smrtnost djece
Smanjenje slučajeva oboljenja probavnog sistema

Cilj u djetinjstvu za 20 procenata
u tri godine prema baznoj liniji
• poboljšanje programa prevencije kolere

Sredstva i
• osigurati dodatke vitamina A
strategije
• koristiti oralnu terapiju rehidracije

Rad sa partnerima je sve više norma u razvojnom poslu. Mnogi partneri na
najnižem nivou ove hijerarhije potencijalno doprinose ulaznim elementima,
aktivnostima, i krajnjim rezultatima kao dio strategije za ostvarenje ciljeva
(Ilustracija 3.9).
Ilustracija 3.9 Postizanje rezultata kroz partnerstvo
Utjecaj
Ishod Ishod Ishod
Cilj1 Cilj 2
Sredstva i Sredstva i Sredstva i

strategija strategija strategija
Partner 1 Partner 1 Partner 1

Jak MiE sistem mora biti podržan budžetom, planom angažiranja osoblja te
planiranjem aktivnosti. Izgradnja efektivnog MiE sistema uključuje administra-
tivne i institucionalne zadatke, uključujući sljedeće:
• uspostava prikupljanja podataka, analizu, i smjernice izvještavanja;
• određivanje ko će biti odgovoran za koju aktivnost;
• uspostavljanje načina kontrole kvaliteta;
• određivanje rokova i troškova;
• djelovanje kroz uloge i odgovornosti vlade, drugih razvojnih partnera, i
civilnog društva;
• uspostavljanje smjernica za transparentnost i razmjenu informacija i analiza.
Da bi bio uspješan svaki MiE sistem treba sljedeće:
• vlasništvo;
• menadžment;
• održavanje;
• kredibilitet.
Korak 7 Korištenje informacija evaluacije
korištenje
informacija
evaluacije
1 2 3 4 5 6 7 8 9 10
Evaluacija igra važnu ulogu u nadopuni informacija prikupljenih tokom monito-

ringa ka ishodima i utjecajima. Dok monitoring otkriva šta radimo u odnosu na
indikatore, ciljeve i ishode, evaluacija otkriva da li:
• radimo pravu stvar (strategija);
• stvari radimo ispravno (operacije);
• postoje bolji načini obavljanja tog posla (učenje).
Evaluacija može riješiti mnoga važna pitanja koja prevazilaze jednosta-
van monitoring sistem. Na primjer, dizajn mnogih intervencija je zasnovan na
određenim posljedičnim pretpostavkama o problemu ili pitanju koje treba riješiti.
Evaluacija može potvrditi ili preispitati ove posljedične pretpostavke koristeći

evaluaciju zasnovanu na teoriji i logičkim modelima (kao što je kazano u pogla-
vlju 4).
Evaluacija, također, može zalaziti dublje u interesantne ili problematične
rezultate ili trendove koji nastaju iz monitoring sistema (otkrivanje, na pri-
mjer zašto djevojčice ranije napuštaju seoske škole nego dječaci). Evaluacija
se može koristiti kao dodatak monitoringu
• uvijek kada postoji neočekivan rezultat ili netipični učinak koji zahtijeva
dodatno istraživanje;
• kada se vrši raspodjela resursa ili budžeta kroz projekat, program ili politiku;
• kada se donosi odluka da li ili ne proširiti pilot;
• kada postoji duži period bez napretka, a bez jasnog objašnjenja zašto je to
tako;
• kada slični programi ili politike pokazuju različite rezultate ili kada indikatori
za isti rezultat pokazuju različite trendove;
• kada pokušavamo razumjeti popratne efekte intervencija;
• kada učimo o zaslugama, vrijednosti, i značaju onoga što je urađeno i
• kada pažljivo posmatramo troškove u odnosu na koristi.
Ako se vlada i organizacije odluče osloniti na informacije prikupljene u MiE
sistemu, u tom slučaju će puno toga ovisiti o kvalitetu i vjerodostojnosti priku-
pljenih informacija.
Siromašne, netačne i pristrasne informacije nikome ne koriste.
Korak 8: Izvještavanje o nalazima
1 2 3 4 5 6 7 8 9 10
izvještavanje
o nalazima
Određivanje koje nalaze predočiti kome, u kom formatu, i u kojim intervalima je

kritičan dio MiE. Analiziranje i predočavanje podataka
• pruža informacije o statusu projekta, programa i politike;
• doprinosi indicijama za probleme;
• kreira prilike za razmatranje poboljšanja u implementaciji strategija;
• pruža važne informacije tokom vremena o trendovima i pravcima;

• pomaže pri potvrdi ili preispitivanju teorije promjene iza projekta, programa
ili politike. (Analiza podataka i izvještavanje su detaljno obrađeni u narednim
poglavljima).
Evaluator mora odrediti koje su glavne tačke odlučivanja na nivoima projekta,
programa ili politika, tako da je jasno kada će MiE nalazi biti najviše korisni
onima koji donose odluke. Ako podaci i analize dođu prekasno, neće biti u stanju
utjecati na odluke.
Svi važni rezultati moraju biti predočeni, bilo da su pozitivni ili negativni
(Tabela 3.6). Dobar MiE sistem treba osigurati sistem ranog upozorenja za detekci-
ju problema ili nekonzistentnosti, kao i demonstraciju vrijednosti intervencije.
Izvještaji o učinku trebaju uključivati objašnjenja o slabim ili razočaravajućim
ishodima i potrebno je dokumentirati svaki korak već poduzet na njihovom
rješavanju. Kada analizira i predstavlja podatke, evaluator treba
• porediti indikatore podataka sa baznim i ciljanim te tu informaciju pružiti u
jednostavno razumljivoj grafici (pogledati Poglavlje 13);
• porediti trenutne podatke sa prošlim te pogledati obrasce i trendove;
• biti pažljiv oko donošenja zaključaka koji su zasnovani na nedovoljnim info-
rmacijama (što se više podataka prikupi to evaluator može biti sigurniji da su
trendovi stvarni);
• zaštititi glasnika, ljude koji donose loše vijesti ne treba kažnjavati (neprijatni
nalazi mogu ukazivati na nove trendove ili obavijestiti menadžere o proble-
mima u ranoj fazi, omogućavajući im tako potrebno vrijeme za rješavanje ovih
problema).
Tabela 3.6 Primjer Tabele o izvještavanju o ishodima

Bazna Razlika
Indikator ishoda linija Trenutno Ciljano (ciljano-trenutno)
Stepen hepatitisa (N=6.000) 30 35 20 –5
Procenat djece sa poboljšanim ukupnim zdravstvenim 20 20 24 –4
stanjem (N=9.000)
Postotak djece koja pokazuju 4 od 5 pozitivnih 50 65 65 0
rezultata na fizičkim vježbama (N= 3.500)
Procenat djece sa poboljšanim nutritivnim statusom 80 85 83 2
(N=14.000)
Izvor Kusek i Rist 2004.

Korak 9: Korištenje nalaza
korištenje
nalaza
1 2 3 4 5 6 7 8 9 10
Srž MiE sistema nije jednostavno generiranje informacija zasnovanih na rezulta-

tima, nego dostavljanje tih informacija odgovarajućim korisnicima u razumnom
vremenskom roku tako da ih oni mogu uzeti u obzir (ili odabrati da ih ignorišu)
pri upravljanju projektima, programima ili politikama. Razvojni partneri i civilno
društvo imaju važne uloge pri korištenju informacija za jačanje odgovornosti,
transparentnosti, i procedure raspodjele resursa. Strategije za razmjenu informa-
cija koje mogu biti implementirane na bilo kom vladinom nivou uključuju
sljedeće:
• Ojačati medije. Mediji mogu pomoći kod širenja informacija prikupljenih u
MiE sistemu zasnovanom na rezultatima. Također mogu pomoći u iznošenju
primjera korupcije i pozivu za bolju upravu.
• Donošenje propisa o slobodi informacija. Sloboda informacija je moćan alat
koji se može koristiti za razmjenu informacija sa zainteresovanim stranama.
• Uspostaviti e-vladu. E-vlada uključuje upotrebu informacionih tehnologija za
osiguranje bolje dostupnosti, dosega, informacija i usluga. E-vlada omogućava
zainteresovanim stranama međusobnu interakciju direktno sa vladom kako bi
dobili informacije pa čak i obavljanje posla online.
• Dodavanje informacija u interne i eksterne internet fajlove. Informacije se
mogu razmjenjivati postavljanjem informacija, kao i objavljivanjem nalaza
o učinku, na internim (agencije ili vlade) i eksternim web stranicama. Mnoge
agencije također razvijaju baze podataka koje je moguće pretraživati za MiE
nalaze.
• Objavljivati godišnje izvještaje o budžetu. Najbolji način da se objavi kako
je novac poreznika potrošen je objavljivanje budžeta. Tako se građanima
omogućava posmatranje kvaliteta i nivoa usluga koje obavlja vlada i priori-
tetima koje vlada daje određenim uslugama ili programima.
• Uključivanje civilnog društva i grupa građana. Uključivanje civilnog društva
i grupa građana ohrabruje grupe da se više djelatno orijentišu, više odgovorno
i vjerovatnije prihvate informacije koje trebaju.
• Jačanje zakonodavnog nadzora. Zakonodavstvo u mnogim zemljama, razvi-
jenim i onim u razvoju traži informacije o učinku kao dio njihove nadzorne
funkcije. Zakonodavstvo traži da vide da se budžet koristi efektivno.

Jačanje ureda glavnog revizora. Ured glavnog revizora je ključni partner u
određivanju koliko efektivno funkcionira vlada. Kako revizijske agencije
traže sve više informacija o tome koliko dobro funkcionira javni sektor, pro-
grami, projekti i politike se efektivnije implementiraju.
Razmijeniti i porediti nalaze sa razvojnim partnerima. Kao rezultat uvođenja
državne strategije smanjenja siromaštva i sličnih strategija i politika, razvojni
partneri (posebno bilateralne i multilateralne agencije za pomoć) razmjenjuju
i porede rezultate i nalaze.
Razumijevanje korisnosti informacija o učinku za razne korisnike je ključni
razlog za izgradnju MiE sistema na prvom mjestu. Ključni potencijalni korisnici
u mnogim društvima, kao što su građani, NVO, i privatni sektor se često izosta-
vljaju iz toka informacija. MiE podaci imaju internu (vlada) i eksternu (društvo)
upotrebu koju treba prepoznati i legitimirati (Tekstualni okvir 3.3).
Tekstualni okvir 3.3 Deset upotreba rezultata nalaza

Rezultati nalaza se mogu koristiti da se:
1. odgovori na zahtjeve za odgovornost izabranih zvaničnika i javnosti
2. pomogne formuliranje i opravdanje budžetskih zahtjeva
3. pomogne pri odlukama o raspodjeli operativnih resursa
4. začne detaljno ispitivanje koji problemi učinka (teorijom promjene ili
implementacijom) postoje i koje korekcije su potrebne
5. pomogne u motiviranju osoblja da nastavi praviti poboljšanje programa
6. prati učinak izvođača radova i korisnika grantova (više nije dovoljno da oni
samo dokumentuju to što rade)
7. osiguraju podaci za posebnu detaljnu evaluaciju programa
8. pomogne praćenje vršenja usluga prema preciznim ciljevima ishoda (da
li stvari radimo ispravno?)
9. podrže strateški i drugi dugoročni napori u planiranju (da li činimo prave
stvari?)
10. komunicira sa javnošću da se izgradi javno povjerenje.
Izvor: Hatry 1999.

Korak 10: Održavanje MiE sistema unutar organizacije
1 2 3 4 5 6 7 8 9 10
održavanje
MiE sistema
unutar
organizacije
Osiguranje dugovječnosti i korištenja MiE sistema zasnovanog na rezultatima je

izazov. Šest komponenti su krucijalne za održivost:
• potražnja
• jasne uloge i odgovornosti
• povjerenje i pouzdane informacije
• odgovornost
• kapacitet
• poticaji.
Svaka komponenta treba stalnu pažnju sve vrijeme kako bi se osigurala održivost
sistema.
Potražnja
Potražnja za MiE se može izgraditi i održavati na nekoliko načina:
• Ugradnjom formalne strukture koja zahtijeva redovno izvještavanje o rezulta-
tima učinka (na primjer: zahtjevi godišnjeg izvještavanja za organizacione
jedinice).
• Publiciranje dostupnosti ovih informacija preko medija, tako stvarajući
potražnju od vladinih tijela, grupa građana, donatora i javnosti.
• Uvesti u praksu prevođenje strategija u određene ciljeve, tako da će oni zainte-
resovani za strateški pravac organizacije moći pratiti napredak ka ostvarenju
tih ciljeva.
Jasne uloge i odgovornosti

Jedna od najvažnijih strukturalnih intervencija za institucionaliziranje MiE
sistema je izrada jasnih, formalnih linija autoriteta i odgovornosti za prikupljanje,
analiziranje i izvještavanje informacija o učinku.

To zahtijeva:
• davanje jasnih smjernica ko je odgovoran za koju komponentu MiE sistema i
izgradnju odgovornosti u pojedinačne preglede učinka;
• izgradnju sistema koji povezuje centralno planiranje i finansijske funkcije
sa linijskim/sektorskim funkcijama da bi se podstakla veza između ciklusa
raspodjele budžeta i pružanja MiE informacija, a što je u suštini budžetski
sistem učinka i
• izgradnju sistema gdje postoji potražnja za informacijama na svakom nivou
sistema (to jest, ne postoji dio sistema gdje informacija samo prođe a da ne
bude upotrijebljena).
Pouzdane i vjerodostojne informacije

Sistem informacija o učinku mora biti u stanju proizvesti dobre i loše vijesti.
Prema tome, kreatori informacija trebaju zaštitu od političkih represalija. Informa-
cija dobivena u sistemu treba biti transparentna i predmet nezavisne verifikacije
(na primjer, revizija rada vlade od strane državnog revizijskog ureda ili bilo koje
nezavisne grupe univerzitetskih profesora).
Odgovornost
Potrebno je pronaći načine za razmjenu transparentnih informacija sa vanjskim
dionicima koji imaju interesa u učinku. Ključne interesne grupe koje treba uzeti
u obzir uključuju organizacije civilnog društva, medije, privatni sektor i vladu.
Kapacitet
Provođenje procjene spremnosti i fokusiranje na organizacione kapacitete je
jedna od prvih stvari koja se razmatra kod izgradnje MiE sistema. Ključni ele-
menti za izgradnju uključuju jake tehničke vještine u prikupljanju podataka i ana-
lizi, menadžmentske vještine u postavljanju strateških ciljeva i organizacionog
razvoja, prikupljanje postojećih podataka i sistem njihovog dobijanja, trenutna
dostupnost finansijskih resursa, i institucionalno iskustvo sa monitoringom i
evaluacijom.
Poticaji
Poticaje treba uvesti da bi se podstakla upotreba informacija o učinku. Uspjeh
treba priznati i nagraditi, a probleme rješavati. Glasnike ne treba kažnjavati, orga-
nizaciono učenje se mora vrednovati, a budžetske uštede raspodijeliti. Korumpi-
rani ili nedjelotvorni sistemi se ne mogu uzimati u obzir kada se prikupljaju
kvalitetne informacije i analize.

Zaključni komentari
Ne postoje obaveze da izgradnju MiE sistema treba vršiti po ovim koracima

(10 koraka) – mogu se razvijati strategije sa više ili manje koraka. Izazov je da
se ključne funkcije i aktivnosti prepoznaju, logički svrstaju i implementiraju
odgovarajućim slijedom.
MiE sistem zasnovan na rezultatima je moćan menadžmentski alat. Može
pomoći u izgradnji i poticanju primjena načina na koji vlade i organizacije rade.
Također mogu pomoći izgradnju baze znanja onoga što funkcionira i onoga što
ne funkcionira.
MiE sistem zasnovan na rezultatima treba biti ažuriran. Mora imati stalnu
pažnju, resurse i političku volju. Potrebno je vremena da se izgradi kulturna
promjena i da se nastojanja usmjere prema rezultatima, ali vrijeme, nastojanja
i nagrade su vrijedni truda. Potreba za izgradnju kapaciteta nikada ne prestaje,
jedini put kojim se organizacija može kretati je silazni. Nekoliko koraka može
pomoći da se osigura da MiE sistem opstane i da se održava:
• Čuvati one koji se za njeg bore na svojoj strani i pomoći im.
• Uvjeriti ministarstvo finansija i zakonodavstvo da MiE sistem treba dovoljno
resursa, kao što to treba i budžetski sistem (količina resursa dodijeljenih MiE
sistemu treba biti otprilike jednaka količini dodijeljenoj budžetskom sistemu).
• Iskoristiti svaku priliku da se informacije o rezultatima vežu za budžet i odluke
o dodjeli resursa.
• Početi sa pilot nastojanjima da se demonstrira efektivan MiE zasnovan na
rezultatima.
• Početi sa strategijom enklave (izgrađenih, na primjer, oko otoka inovacije)
prije nego sa pristupom gdje je uključena čitava vlada.
• Pratiti napredak ka implementaciji i ostvarenju rezultata.
• Dopuniti učinak monitoringa evaluacijom da se osigura bolje razumijevanje
javnih sektorskih rezultata.
Jednom kada se okvir razvije za evaluaciju (Korak 7), može se koristiti okvir
za izradu teorije promjene, odabrati pristup, početi pisanje pitanja i odabrati
dizajn evaluacije. Ova pitanja su obrađena u poglavljima 4 - 7.
Sažetak
MiE sistem zasnovan na rezultatima može biti vrijedan alat od pomoći kreato-
rima politika i onima koji donose odluke u praćenju ishoda i utjecaja projekata,
programa i politika. Za razliku od tradicionalne evaluacije, MiE zasnovan na

rezultatima prevazilazi isticanje ulaznih i izlaznih elemenata i fokusira se na
ishode i utjecaje. To je ključna arhitektura za svaki sistem mjerenja učinka.
MiE sistemi zasnovani na rezultatima
• koriste podatke baznih linija da opišu problem prije nego se krene sa
inicijativom
• prate indikatore za ishod koji treba ostvariti
• prikupljaju podatke o ulaznim elementima, aktivnostima, i izlaznim rezu-
ltatima te njihovom doprinosu u ostvarivanju ishoda
• procjenjuju robusnost i primjerenost angažirane teorije promjene
• uključuju sistemsko izvještavanje zainteresovanih strana
• izvode se sa strateškim partnerima
• prikupljaju informacije o uspjehu ili neuspjehu partnerske strategije u ostva-
rivanju predviđenih rezultata
• konstantno nastoje osigurati vjerodostojne i korisne informacije kao alat
menadžmenta
Preporučuje se deset koraka u dizajniranju i izgradnji MiE sistema zasnova-
nog na rezultatima:
1. provođenje procjene spremnosti
2. usaglašavanje ishoda učinka koje treba pratiti i evaluirati
3. odabir ključnih indikatora za monitoring ishoda
4. prikupljanje baznih podataka o indikatorima
5. planiranje poboljšanja: postavljanje realnih ciljeva
6. izgradnja monitoring sistema
7. upotreba informacija evaluacije
8. izvještavanje o nalazima
9. korištenje nalaza
9. održavanje MiE sistema unutar organizacije.
Izgraditi i održavati MiE sistema zasnovanog na rezultatima nije lahko. Zahti-
jeva stalnu posvećenost, borbu, vrijeme, nastojanje i resurse. Mogu se pojaviti
organizacioni, tehnički i politički izazovi. Originalnom sistemu može trebati
nekoliko revizija kako bi zadovoljio potrebe organizacije. Ali, taj posao je vrije-
dan truda.

Poglavlje 3 Aktivnosti
Aplikacijska vježba 3.1: Poredaj stvari logično
Koliko je spremna vaša organizacija da dizajnira i implementira MiE sistem
zasnovan na rezultatima? Ocijenite vašu organizaciju za svaku od sljedećih
dimenzija, te napišite komentare da objasnite vašu ocjenu. Razgovarajte sa
kolegom o bilo kakvim preprekama za implementaciju i o načinu na koji se
prepreke mogu riješiti.
1. Poticaji (zaokružite odgovarajuću ocjenu):
puno poticaja malo poticaja nekoliko nepovoljnosti
komentari:
strategije za poboljšanje:
2. Uloge i odgovornosti (zaokružite odgovarajuću ocjenu):

veoma jasne donekle jasne prilično nejasne
komentari:
strategije za poboljšanje
3. Organizacioni kapacitet (zaokružite odgovarajuću ocjenu):

odličan dovoljan slab
komentari:
4. Prepreke (zaokružite odgovarajuću ocjenu):

ne postoje ozbiljne prepreke veoma malo prepreka ozbiljne prepreke
komentari:

Aplikacijska vježba 3.2: Identificiranje ulaznih elemenata,
aktivnosti, izlaznih rezultata, ishoda i utjecaja
Identificirajte da li je svaka od sljedećih izjava ulazni element, aktivnost, izlazni

rezultat, ishod, ili dugoročni utjecaj. Ako je moguće, razgovarajte sa kolegom i
objasnite na osnovu čega ste kategorizirali svaku izjavu.
1. Mikro preduzeća u vlasništvu žena značajno doprinose smanjenju siromaštva
u zajednicama gdje obavljaju djelatnost.
2. Vlada je osigurala sredstva za pozajmice za mikro preduzeća.
3. Vlada je odobrila 61 aplikaciju za programe diplomanata.
4. Ministarstvo obrazovanja je odredilo trenere za kurs.
5. Sedamdeset dvije žene završile obuku.
6. Prihod diplomanata povećan za 25 procenata u prvoj godini nakon završetka
kursa.
7. Stotinu žena pohađalo obuku u upravaljanju mikropreduzećima.
8. Informacije o dostupnosti programa kredita za mikropreduzeća objavljene u
zajednicama.
Aplikacijska vježba 3.3: Razvoj indikatora
1. Identificirati program ili politiku koja vam je poznata. Šta je glavni utjecaj koji
nastoji ostvariti? Koja dva ishoda biste očekivali da vidite ako je intervencija
na putu da ostvari taj utjecaj?
Utjecaj:________________________________________________
Ishod 1:________________________________________________
Ishod 2:_________________________________________________
2. Počevši sa ishodima, identificirajte dva ili tri indikatora koja biste koristili za
praćenje napretka.
Ishod 1:_______________________________________________________
Indikator a:_____________________________________________
Indikator b:_____________________________________________
Indikator c:_____________________________________________

Ishod 2:_______________________________________________________
Indikator a:_____________________________________________
Indikator b:_____________________________________________
Indikator c:_____________________________________________
Utjecaj:________________________________________________
Indikator a:_____________________________________________
Indikator b:_____________________________________________
Indikator c:_____________________________________________

Napomene
1. Ovo poglavlje koje se uglavnom oslanja na Kuseka i Rista (2004), eksplicitno se bavi
monitoringom. Ostatak je isključivo posvećen evaluaciji.
Binnendijk, Annette. 2000. “Results-Based Management in the Development Coopera-

tion Agencies: A Review of Experience.” Paper prepared for the OECD/DAC Work-
ing Party on Aid Evaluation, Paris, February 10–11 (revised October 2000).
Boyle, R., and D. Lemaire, eds. 1999. Building Effective Evaluation Capacity. New
Brunswick, NJ: Transaction Books.
IFAD (International Fund for Agriculture Development). 2002. A Guide for
Project M&E: Managing for Impact in Rural Development. Rome.
www.ifad.org/evaluation/guide/.
Furubo, Jan-Eric, Ray C. Rist, and Rolf Sandahl, eds. 2002. International Atlas of Evalu-
ation. New Brunswick, NJ: Transaction Books.
Hatry, Harry P. 1999. Performance Measurement: Getting Results. Washington, DC:
Urban Institute Press.
Khan, M. Adil. 2001. A Guidebook on Results-Based Monitoring and Evaluation:
Key Concepts, Issues and Applications. Government of Sri Lanka, Ministry of Plan
Implementation, Monitoring and Progress Review Division, Colombo.
Kusek, Jody Zall, and Ray C. Rist. 2001. “Building a Performance-Based Monitoring
and Evaluation System: The Challenges Facing Developing Countries.” Evaluation
Journal of Australasia 1 (2): 14–23.
———. 2003. “Readiness Assessment: Toward Performance Monitoring and Evaluation
in the Kyrgyz Republic.” Japanese Journal of Evaluation Studies 31 (1): 17–31.
———. 2004. Ten Steps to Building a Results-Based Monitoring and Evaluation System.
Washington, DC: World Bank.
Malik, Khalid, and Christine Roth, eds. 1999. Evaluation Capacity Development in Asia.
United Nations Development Programme Evaluation Office, New York.
Osborn, David, and Ted Gaebler. 1992. Reinventing Government. Boston: Addison-
Wesley Publishing.
OECD (Organisation for Economic Co-operation and Development). 2002. Glossary of
Key Terms in Evaluation and Results-Based Management. Development Co-opera-
tion Directorate and Development Assistance Committee. Paris.
Schiavo-Campo, Salvatore. 1999. “‘Performance’ in the Public Sector.” Asian Journal of
Political Science 7 (2): 75–87.
UNPF (United Nations Population Fund). 2002. Monitoring and Evaluation Toolkit for
Program Managers. Office of Oversight and Evaluation.
www.unfpa.org/monitoring/toolkit.htm.

Valadez, Joseph, and Michael Bamberger. 1994. Monitoring and Evaluation Social
Programs in Developing Countries: A Handbook for Policymakers, Managers, and
Researchers. Washington, DC: World Bank.
Weiss, Carol. 1972. Evaluation Research: Methods for Assessing Program Effectiveness.
Englewood Cliffs, NJ: Prentice Hall.
Wholey, Joseph S., Harry Hatry, and Kathryn Newcomer. 2001. “Managing for Results:
Roles for Evaluators in a New Management Era.” American Journal of Evaluation 22
(3): 343–47.
World Bank. 1997. World Development Report: The State in a Changing World. Wash-
ington, DC.
Web stranice
IDRC (International Development Research Centre). 2004. Evaluation Planning in

Program Initiatives. Ottawa. http://web.idrc.ca/uploads/user-S/108549984812
guideline-web.pdf.
IFAD (International Fund for Agricultural Development). Practical Guide on
Monitoring and Evaluation of Rural Development Projects. http://www.ifad.org/
evaluation/oe/process/guide/index.htm.
Kellogg Foundation. 1998. Evaluation Handbook. http://www.wkkf.org/Pubs/Tools/
Evaluation/Pub770.pdf.
Specialist Monitoring and Evaluation Web Sites. http://www.mande.co.uk/
specialist.htm.
Uganda Communications Commission. 2005. “Monitoring and Evaluation.”
In Funding and Implementing Universal Access: Innovation and Experience from
Uganda. International Development Research Centre, Ottawa. http://www.idrc
.ca/en/ev-88227-201-1-DO_TOPIC.html.
World Bank. Core Welfare Indicators Questionnaire. Washington, DC. http://www4
.worldbank.org/afr/stats/cwiq.cfm.
———.2001. Tools: Capturing Experience Monitoring and Evaluation. Upgrading Urban
Communities Resource Framework, Washington, DC. http://web.mit
.edu/urbanupgrading/upgrading/issues-tools/tools/monitoring-eval.html#
Anchor-Monitoring-56567.
———. 2008. Online Atlas of the Millennium Development Goals: Building a Better
World. Washington, DC. http://devdata.worldbank.org/atlas-mdg/.

Poglavlje 4
Razumijevanje konteksta evaluacije

i programa teorije promjene
Ovo poglavlje je prvo od dva poglavlja koje istražuje planiranje evalu-

acije. Ovo poglavlje govori o početku evaluacije – kako početi. Vrlo je
vjerovatno da će evaluacija koja počinje dobro isplaniranim dizajnom
biti završena na vrijeme i u okviru budžeta te da će zadovoljiti potrebe
klijenta i ostalih zainteresovanih strana. “Front-end” analiza istražuje i
identificira lekcije iz prošlosti, potvrđuje ili preispituje teoriju koja je iza
programa, te postavlja kontekst koji utječe na program.

• “Front-end” analiza
• Identifikacija glavnih klijenata i ključnih dionika
• Razumijevanje konteksta
• Razdvajanje postojećeg znanja
• Izgradnja, korištenje i procjena teorije promjene
141
“Front-end” analiza
Gdje početi? Ukoliko želite stići na tačno odredište, najbolje je početi sa

pronalaženjem pravaca koji tamo vode i onoga šta su ostali već naučili o stazi
koja vodi ka tom odredištu. Htjet ćete prikupiti kritične informacije za odluke o
vremenskim okvirima, troškovima, opasnostima i procesima.
■■ “Front-end” “Front-end” analiza je istraživanje pitanja ili problema da se odredi šta je
analiza: poznato o njemu i kako nastaviti razvijati evaluativan pristup. To je ono što evalu-
Istraživanje ator radi da otkrije šta da radi. U “Front-end” analizi, evaluator istražuje sljedeće
pitanja ili
tipove pitanja:
problema da se
odredi šta se o • Ko je glavni klijent za evaluaciju? Ko su ostali važni dionici? Koja pitanja
njemu zna i
identificirati za evaluaciju?
kako nastaviti sa
razvojem • Kako će proračun vremena evaluacije u odnosu na implementaciju projekta,
evaluativnog programa ili politike utjecati na evaluaciju?
pristupa do • Koliko vremena ima za završetak evaluacije?
njega • Šta je priroda i opseg dostupnih resursa?
• Da li je teorija društvenih nauka relevantna za evaluaciju?
• Šta su evaluacije sličnih programa otkrile? Kakva su pitanja pokrenuta?
• Šta je teorija promjene iza projekta, programa, ili politike?
• Koji postojeći podaci se mogu koristiti za ovu evaluaciju?
Mnogi evaluatori su nestrpljivi da završe planiranje evaluacije i pohrle u pri-
kupljanje podataka. Pokušavaju obaviti istraživački posao u isto vrijeme kad i
prikupljanje podataka. Ali, kompletiranje dobre “Front-end” analize je kritično
za učenje o intervenciji. Može uštedjeti vrijeme i novac za evaluaciju, osigurati
da evaluacija zadovolji potrebe klijenta te da održi ili izgradi veze ne samo sa kli-
jentom nego i sa ključnim dionicima. Najvažnije je da dobra “Front-end” analiza
može osigurati da evaluacija rješava pravo pitanje da bi se dobile potrebne info-
rmacije, umjesto da se prikupljaju podaci koji nikada neće biti korišteni.
Na početku evaluacije, mnogi evaluatori tipično prave pretpostavke, od kojih
neke mogu biti netačne. Mogu na primjer, pretpostaviti da postoji bogata infra-
struktura podataka kada je ustvari samo nekoliko podataka dostupno. Mogu pre-
tpostaviti da će im iskusni konsultanti sa širokim znanjem o zemlji pomoći sa
evaluacijom, da bi poslije saznali da su ljudi na koje su računali ustvari zauzeti
vlastitim projektima. Period istraživanja je potreban da se sazna o dostupnosti
podataka i ostalih resursa. U fazi front-end analize također treba odrediti da
li je zajednička evaluacija potrebna i moguća. Ukoliko postoji interes i ako je
prikladan, partneri trebaju odrediti ko će preuzeti koju ulogu. Također, potrebno
je da se slože u vezi sa pitanjem kao što je određivanje vremena evaluacije.

Balansiranje očekivanih troškova i koristi evaluacije
Očekivani troškovi i koristi evaluacije i kako ih balansirati treba biti na dnevnom

redu tokom planiranja front-end analize. Koristi evaluacije mogu uključivati
sljedeće:
• donošenje odluka zasnovano na dokazima što vodi razumnim odlukama o
tome šta povećati u određenom razmjeru ili replicirati, šta unaprijediti, ili šta
ukinuti ili smanjiti u određenom razmjeru;
• doprinos toku znanja o tome šta radi (i pod kojim okolnostima), a šta ne i
• izgradnju lokalnog kapaciteta.
Troškovi evaluacije su također važni. O njima treba razmišljati u pogledu
• troškova programa (potrošiti 50.000 dolara da bi evaluirali program od 25.000
dolara nema smisla);
• terete evaluacije korisnicima programa i drugim od kojih se traži da provode
vrijeme pružajući informacije ili na drugi način pomažu evaluatorima i
• nastale štete u smislu gubitka reputacije evaluatora i evaluacijske zajednice
ako postoji vjerovatnoća da rezultati budu osporeni zbog evaluacije visoko
političkog, kontraverznog programa ili ako nije bilo dovoljno vremena da se
provede opsežna evaluacija.
Zamke u procesu planiranja “front-end” analize
Vjerovanje da se sve može biti isplanirano unaprijed - i ako uradimo “front-end”

analizu, evaluacija će proteći glatko – je potencijalna zamka procesa planiranja
“front-end” analize. Druge zamke uključuju sljedeće:
• otpor modificiranju originalnog plana (Leeuw 2003);
• McDonaldizacija društva – „proces u kom principi restorana brze hrane sve
više dominiraju sektorima američkog društva kao i u ostatku svijeta“ (Ritzer
1993, str.1) (ova fraza je naročito primjenjiva kada popisi, spisak stvari koje
treba uraditi, i okvire zamijene reflektivno razmišljanje);
• fiksna uvjerenja („truizmi“) koji iskaču kada se provodi planiranje “front-end”
analize („Randomizirani eksperimenti? Ni slučajno: previše komplikovano,
previše skupo, i previše teško provodivo u razvojnom kontekstu“);
• „grupno razmišljanje“ (kretanje sa pozicijom grupe kako bi se ostalo dijelom
grupe usprkos dilemama koje imamo u vezi sa pozicijom) i
• neproporcionalno vaganje pogleda moćnih (automatsko vaganje vrijednosti
sugestije prema statusu onoga ko sugestiju iznese).
Razumijevanje konteksta evaluacije i programa teorije promjene 143

Identificiranje glavnog klijenta i ključnih dionika
Važan dio “front-end” analize je identifikacija glavnih klijenata i ključnih

dionika projekta, programa, ili politike. Identificiranje dionika ne mora uvijek
biti jednostavno.
Glavni klijent
Tipično, jedan ključni dionik ili grupa dionika sponzoriše ili traži evaluaciju i
glavni je primalac njenih izlaznih rezultata. Ovaj dionik ili grupa dionika je glavni
klijent evaluacije. Potrebe ovog klijenta će imati veliki utjecaj na evaluaciju.
Glavni klijent može
• odobravati i finansirati program;
• odobravati i finansirati evaluaciju;
• biti odgovaran javnosti za intervenciju i
• biti strana kojoj su evaluatori odgovorni.
Postoji jedan glavni klijent. Važno se sresti sa glavnim klijentom (ili predsta-
vnikom, kao što je upravni odbor, u slučaju grupe klijenata) u ranoj fazi kako
bi se pomoglo u identificiranju pitanja za evaluaciju iz njegove perspektive.
Tokom ovog sastanka, evaluatori trebaju pitati o vremenskim potrebama klijenta
i namjeravanoj upotrebi evaluacije. Evaluator, koji prvo sluša i ispituje klijenta
da odredi pitanja koja su razlog zahtjeva za evaluaciju, može ponovo posjetiti
klijenta da predstavi više opcija o načinima na koje se može pristupiti evaluaciji
ili predložiti jedinstven preporučeni pristup evaluaciji.
Dionici
Dionici su ljudi i organizacije koji nisu klijent sa ulogom u intervenciji. Obično,

to su oni koje intervencija pogađa, bilo da je to tokom intervencije ili u godinama
koje dolaze. Važno je uključiti kao dionike one koji obično ne bi bili pitani da
učestvuju u evaluaciji.
Dionici mogu uključivati
■■ Dionik: osoba
ili organizacija • učesnike;
koja nije klijent • direktne korisnike;
koji ima ulogu u
• indirektne korisnike;
intervenciji
• razvojne organizacije koje osiguravaju sredstva;
• vladine zvaničnike, izabrane zvaničnike, vladine uposlenike sa relevantnim
interesima, kao što su planeri i bolničarke javnog zdravstva;
• direktore programa, osoblje, članove upravnog odbora, menadžere i volontere;
• kreatore politike i

• zajednice i interesne grupe ili asocijacije, uključujući one koje mogu imati
različit program od zvaničnika programa.
Dionici obično intervenciji pristupaju iz različitih perspektiva. Donator se
može pitati je li novac potrošen na odgovarajući način i je li intervencija efekti-
vna.. Program menadžer se brine upravlja li se intervencijom dobro i generišu li
se naučene lekcije. Učesnici programa mogu htjeti veću ili bolju uslugu. Kreatori
politike se mogu brinuti da li intervencija ima namjeravani utjecaj. Drugi u zaje-
dnici mogu htjeti replicirati ili proširiti intervenciju ili limitirati ono što smatraju
negativnim konsekvencama intervencije. Ova raznolikost interesa je dobra stvar,
što se može otkriti u početnoj diskusiji.
Uloga svakog pojedinca ili grupe u odnosu na evaluaciju i njenu potencijalnu
upotrebu treba biti jasno identificirana (Tabela 4.1).
Identifikacija i uključivanje ključnih dionika

Ključni dionici se mogu identificirati pregledom dokumenata o intervenciji i
razgovorom sa glavnim klijentom evaluacije, sponzorima programa, osobljem
programa, lokalnim zvaničnicima, i učesnicima programa. Dionici se mogu
intervjuirati inicijalno ili skupa u malim grupama. U kontaktiranju dionika o
evaluaciji, planer evaluacije mora biti jasan o tome šta je svrha razgovora sa
svakim dionikom (čineći ih svjesnim o predstojećoj evaluaciji, tražeći da identi-
ficiraju pitanja koja bi željeli da se riješe evaluacijom).
Povećanje upotrebe evaluacije je proces koji počinje sastancima sa glavnim
klijentom i uključivanjem glavnih dionika u dizajn evaluacije. To nije nešto što se
dešava kada je izvještaj o evaluaciji završen i pred objavljivanje. Za neke evalu-
acije sastanci sa ključnim dionicima se održavaju periodično ili se čak uspostavlja
formalnija struktura. Menadžer evaluacije može postaviti strukturu savjetodavnog
ili upravnog odbora.

Tabela 4.1 Uloga dionika u evaluaciji
Donijeti Osigurati
Kreirati operativne ulaz za Samo
Dionici politiku odluke evaluaciju Reagirati zainteresovani
Oni koji razvijaju program
Oni koji finansiraju program
Zvaničnici koji odobravaju, odbori, ili
agencije
Davaoci drugih resursa (objekti,
zalihe, naturalni doprinosi)
Čelnici agencija za implementaciju i
viši menadžeri
Program menadžeri odgovorni za
implementaciju
Osoblje programa
Osoblje monitoringa
Direktni korisnici programa
Indirektni korisnici programa
Potencijalni usvojitelji programa
Ljudi isključeni iz programa (prema
ulaznim kriterijima, na primjer)
Ljudi koji doživljavaju negativne
efekte programa ili evaluacije
Ljudi koji gube moć kao rezultat
programa
Ljudi koji gube prilike kao rezultat
programa
Članovi zajednice ili javnost
Ostali
Izvor: Autori
Uključivanje ključnih dionika u ranoj fazi daje evaluatorima bolje razumi-

jevanje intervencije, šta se nastoji ostvariti, te pitanja i izazove s kojima se pri tom
suočavaju. Evaluacioni tim će biti bolje informiran u vezi sa pitanjima koja se
pokrivaju evaluacijom kao i o određenim informacijama koje su potrebne, kada
će informacije biti potrebne, i ko ih može pružiti. Sastajanje sa ključnim dio-
nicima pomaže u osiguranju da evaluacija neće promašiti glavna kritična pitanja.
Također pomaže pri „pridobijanju“ za evaluaciju: uvjeravanjem dionika da će

pitanja koja postave biti pažljivo razmotrena prije će povećati njihovu podršku i
interes za evaluaciju. Ovako se gradi evaluacija.
Stepen do kog se dionici aktivno uključuju u dizajn i implementaciju evalu-
acije zavisi o nekoliko faktora, uključujući resurse i odnose. Dionici možda ne
budu u mogućnosti priuštiti slobodno vrijeme zbog njihovih stalnih obaveza,
na primjer, ili mogu postojati politički razlozi zašto evaluacija treba biti što je
moguće više nezavisna.
Provođenje analize dionika

Mnoga uputstva su razvijena da se pomogne sa analizom dionika. Na njihovoj
web stranici Vodič za upravljanje kvalitetom, nauke o menadžmentu za zdravlje
i Fond Ujedinjenih naroda (1998) iznose jedan takav proces za identificiranje i
procjenu važnosti ključnih ljudi, grupa ljudi, ili institucija koje mogu značajno
utjecati na uspjeh evaluacije. Oni također sugerišu nekoliko drugih razloga za
provođenje analize dionika:
• identificirati ljude, grupe, i institucije koje mogu utjecati na evaluaciju (pozi-
tivno ili negativno);
• predvidjeti koju vrstu utjecaja, pozitivnog ili negativnog, ove grupe će imati
na evaluaciju i
• razviti strategije da se dobije što je moguće efikasnija podrška za inicijativu i
da se smanje prepreke za uspješnu implementaciju evaluacije.
Tekstualni okvir 4.1 prikazuje jedan šablon za provođenje analize dionika.
Donekle slična Tabela 4.1 naglašava izgradnju podrške i smanjenje otpora evalu-
aciji. Koliko je važno biti inkluzivan, također, važno je da se ne bude previše
inkluzivan jer ponekad možemo iziritirati ljude koji su na periferiji intervencije
kad ih želimo uključiti.
Ponekad evaluatori direktno uključuju jednog ili više dionika u planiranje i
provođenje evaluacije. (Participativne evaluacije su obrađene u Poglavlju 5.)
U ovim situacijama, evaluator omogućava uključivanje dionika u
• formuliranju ToR-a (projektnog zadatka);
• izboru evaluacijskog tima;
• analiziranju podataka i
• identifikaciji nalaza i formuliranju zaključaka i preporuka (Mikkelsen 2005).

Tekstualni okvir 4.1 Kako provesti analizu dionika
• Razmjena ideja sa kolegama da se identificiraju ljudi, grupe i institucije
koje će utjecati na intervenciju ili biti pogođeni intervencijom. Navesti ih
u koloni dionika u tabeli.
• Identificirati specifične interese koje svaki dionik ima u evaluaciji. Razmo-
triti pitanja kao što su potencijalne koristi evaluacije za dionike, promjene
koje evaluacija može tražiti od dionika da ih učine, i projektne aktivnosti
koje mogu uzrokovati štetu ili napraviti konflikt dionicima. Zabilježiti ove
interese u kolonu pod nazivom „interesi dionika u projektu, programu ili
politici.“
• Identificirati koliko je važan interes svakog dionika za uspjeh evaluacije.
Razmotriti (a) ulogu koju ključni dionici moraju igrati da bi evaluacija bila
uspješna i mogućnost da dionici igraju tu ulogu i (b) vjerovatnoća utjecaja
negativne reakcije dionika na evaluaciju. Za svakog dionika zabilježiti
procjenu u kolonu pod nazivom „procjena potencijalnog utjecaja“ tako
što ćemo označiti sa „A“ veoma važno, sa „B“ prilično važno, i „C“ ne
tako važno.
• Razmotriti vrste akcija koje se mogu preduzeti da se dobije podrška dio-
nika i da se smanji otpor. Razmotriti kako pristupiti svakom dioniku. Koju
vrstu pitanja će dionici htjeti da evaluacija obradi? Koliko je važno uključiti
dionike u proces planiranja? Postoje li druge grupe pojedinaca koje mogu
utjecati na dionike da podrže evaluaciju? Zabilježite strategije za dobijanje
podrške ili smanjenje prepreka evaluaciji u posljednju kolonu tabele.
Tabela u okviru. Primjer obrasca za provođenje analize dionika

Procjena Potencijalne
potencijalnog strategije za
Interes dionika utjecaja dobijanje
za projekat, evaluacije na podrške ili
program ili dionike i dionika smanjenje
Dionik politiku na evaluaciju prepreka
Izvor: Management Sciences for Health and the United Nations Children’s Fund 1998

Razumijevanje konteksta
Front-end analiza također istražuje odnos između etapa programa i svrhe široke
evaluacije. Život projekta, programa, ili politike može se zamisliti kao progresija
gdje se različita evaluacijska pitanja postavljaju u različitim etapama. Na primjer,
ne bi imalo smisla evaluirati da li su ciljevi programa ostvareni samo nekoliko
mjeseci nakon što su osigurana sredstva. Pogodnije pitanje u ovoj ranoj fazi
moglo bi biti da li program ima ulazne elemente neophodne za implementaciju.
Pancer i Westhus (1989) predstavljaju tipologiju za ovu progresiju etapa pro-
grama i evaluacijska pitanja (Tabela 4.2). Pitanja koja su uključili su samo pri-
mjeri, mnoga potencijalna pitanja mogu biti postavljena u svakoj fazi.
Još jedan korak u “front-end” analizi je odrediti sadržaj politike. Istraživanje
može identificirati evaluacije provedene na sličnim programima. Evaluator
počinje prikupljanjem evaluacijskih izvještaja pregledajući ih za data pitanja,
odabrani tip pristupa, korištene instrumente, i nalaze. Ako je evaluacija za novu
intervenciju, evaluaciju možda treba dizajnirati bez mapa puta iz prethodnih
evaluacija. Međutim, ovo je rijedak slučaj.
Tabela 4.2 Pitanja koja treba postaviti u različitim fazama evaluacije

Etapa razvoja programa Evaluacijska pitanja koja treba
postaviti
1. Procjena socijalnih problema i U kom obimu su zadovoljene potrebe
potreba zajednice?
2. Određivanje ciljeva Šta se mora uraditi da se zadovolje te
potrebe?
3. Dizajniranje programskih Koje servise koristiti da se ostvare
alternativa željene promjene?
4. Odabir alternative Koji od mogućih pristupa programu je
najrobusniji?
5. Implementacija programa Kako program pustiti u rad?
6. Rad programa Radi li program kako je planirano?
7. Ishodi programa/efekti/utjecaji Ima li program željene efekte?
8. Efikasnost programa Jesu li efekti programa ostvareni u okviru
razumnih troškova
Izvor: Prilagođeno iz Pancer i Westhus 1989.

Korištenje postojećeg znanja
“Front-end” analiza istražuje postojeće teoretsko i empirijsko znanje o projektu,

programu, ili politici. Ovo je također poznato kao korištenje fonda znanja.
■■ Fond znanja Znanje koje dolazi iz evaluacija i ostalih istraživanja društvenih nauka,
Tijelo
uključujući ekonomske studije, se povećava svakodnevno. Žurnali koji sadrže
postojećeg
teorijskog i
članke koji sintetiziraju akumulaciju znanja o određenoj temi, kao što je utjecaj
empirijskog veličine razreda na učenje ili utjecaj nutritivnih programa budućih majki na težinu
znanja o novorođenčeta. Problemski usmjerena istraživanja o tome kako organizacione
projektu, funkcije kombinuju teorije i istraživanja iz tako raznolikih disciplina kao što je
programu, ili organizaciona sociologija, kognitivna psihologija, teorija javnog izbora, te pravo
politici
i ekonomija (Scott 2003; Swedberg 2003). Organizacije kao što je Campbell
Collaboration (http://www.campellcollaboration.org/) prikazuju kvalitet evalu-
acija na datu temu te ih sintetiziraju da bi zadovoljili njihove kriterije. Repozitoriji
nasumičnih eksperimenata u polju kaznenog pravosuđa i prevencije kriminala,
programa socijalnog blagostanja, te zdravstveni i obrazovni programi ukazuju
da se provodi više od 10.000 „eksperimenata“ (Petrosino i ostali 2003). U orga-
niziranju i planiranju evaluacije bitno je identificirati i pregledati relevantan
fond znanja (okvir 4.2).
Tekstualni okvir 4.2 Korištenje fonda znanja o prevenciji kriminala

Analize podataka o prevenciji kriminala sugerišu da je 29 programa uspjelo,
25 nije, a 28 je bilo obećavajuće (informacije o ostalih 68 programa nisu bile
jasne). Ovi nalazi su zasnovani na sintezi više od 600 evaluacija, uključujući
evaluaciju prevencije kriminala u školi i u porodici, programe smanjenja pro-
valnih krađa, hapšenja vezanih za droge, policijska žarišta, incijative zatvo-
renih krugova, nadzor susjedstva, monitoring program, i tipovi zatvorskih
sankcija i programa (upravljanje srdžbom, program obuke, kognitivni pro-
gram fokusirani na smanjenje recidiva, boot kampovi, i tako dalje).
Izvor: Sherman i ostali 2002.
Izgradnja, korištenje i procjenjivanje teorije promjene
Zadnji dio “front-end” analize je izrada teorije promjene i razumijevanje kako

je koristiti i procjenjivati. Osnovna logika ili teorija promjene je važna tema za
evaluaciju, bilo da je to tokom ex ante ili ex post faze studije. Ova sekcija se bavi

pitanjem zašto koristiti teoriju promjene, kako izraditi teoriju promjene, i kako
procijeniti teoriju promjene.
Iako definicije mogu varirati (vidjeti Poglavlje 3), jedna definicija teorije
promjene glasi da je to „inovativni alat za dizajn i evaluaciju inicijativa društvenih ■■ Teorija
promjena“ vrsta „nacrta sastavnih blokova“ potrebnih da se ostvare dugoročni promjene:
ciljevi inicijative društvene promjene (ActKnowledge and Aspen Institute Skica gradivnih
blokova koji su
2003). Teorija promjene se također može posmatrati kao prikaz načina na koji se
potrebni da se
očekuje da organizacija ili inicijativa ostvare rezultat i kao identifikacija osnovne dostignu
pretpostavke. dugoročni cilljevi
Teorija promjene mora inicijativa
društvene
• Opisati slijed ulaznih elemenata projekta, programa, ili politike koja će se promjene
koristiti; aktivnosti koje će ulazni elementi podržavati; izlazni rezultati ka
kojima se program, projekt ili politika budžetiraju (jedna aktivnost ili kombi-
nacija aktivnosti); i očekivani ishodi i utjecaji;
• Identificirati događaje ili uvjete koji mogu utjecati na ostvarivanje ishoda;
• Identificirati pretpostavke koje program čini o uzrocima i posljedicama;
• Identificirati kritične pretpostavke koje, na osnovi politike i okolišnog konte-
ksta i pregleda literature, evaluacija treba istražiti.
Identifikacija događaja ili uvjeta koji mogu utjecati da li će intervencija ostva-
riti željeni ishod je osobito data međupovezanost i kompleksnost razvojnih pro-
grama. Međunarodne razvojne institucije sada nude programsko zaduživanje, što
zemljama u razvoju daje veću diskreciju nego programsko finansiranje. Kao što
Pawson (2006) indicira:
Važna promjena u javnoj politici posljednjih godina bila je rast kompleksnosti,
višekriterijskih, višelokacijskih, više-agencijskih, višepredmetnih programa...
Razlozi su jasni. Korijeni socijalnih problema se prepliću. Zdravsteni nedostaci
možda potječu iz nepovoljnosti obrazovanja, nejednakosti tržišta rada, okolišnih
dispariteta, stambene isključenosti, različitih obrazaca žrtava kriminala itd. Oni koji
donose odluke su tako počeli razmišljati o tome da li se, pojedinačnim mjerama,
intervencijama koje tretiraju samo jedno pitanje, tretiraju samo simptomi.
Pawson vjeruje da u takvim slučajevima evaluatori trebaju

• Razumjeti osnovnu teoriju programa;
• Istražiti postojeće dokaze kroz sintezu istraživanja;
• Posmatrati kompleksan program kao lanac intervencija, sa jednim setom dio-
nika koji osiguravaju resurse (materijalne, socijalne, kognitivne, ili emotivne)
drugom setu dionika, očekujući da će uslijediti promjena u ponašanju.

Kada se evaluacija planira, mora se obratiti pažnja na pitanja kako će teo-
rija promjene koja stoji iza programa biti izgrađena i testirana. Potrebno
je koristiti vizualne dojmove da se pomogne pri pregledu ključnih komponenti
i interakcija projekta, programa ili politike. Treba pokazati uzroke i posljedice
projekta, programa, ili politike – veza u lancu rezoniranja o tome šta uzrokuje šta.
Željeni utjecaj ili cilj se često prikazuje kao posljednja veza u modelu.
Vrijednost teorije promjene je u tome da ona vizuelno prenosi vjerovanja o
tome zašto će projekt, program, ili politika vjerovatno uspjeti u dostizanju njiho-
vih ciljeva. Teorija promjene također određuje komponente programa i njihove
međusobne odnose. Osigurani su resursi koji omogućavaju organizaciji da počne
aktivnosti kako bi ostvarila određene ciljeve. Ovi resursi, aktivnosti, rezultati,
željeni ishodi, i utjecaji su međusobno povezani.
U nekim slučajevima, evaluatori mogu uvidjeti da intervencija već ima teoriju
promjene. Ako je to slučaj, trebaju je pažljivo pregledati. U mnogim slučajevima
će biti neophodno rafinirati ili preraditi postojeću teoriju promjene i potvrditi je
sa ljudima koji su već uključeni. Ukoliko ne postoji teorija promjene, evaluator
je treba izraditi i vrednovati je sa programskim menadžerom i osobljem, ukoliko
je to moguće.
Sa teorijom promjene, pretpostavke se također moraju identificirati.
Najkritičnije od ovih pretpostavki koju evaluacija treba testirati (na osnovu
preovlađujućeg političkog okruženja kao i iz pregleda literature) također treba
identificirati. Teorije promjene otvaraju „crnu kutiju“ da pokažu kako se od inte-
rvencije očekuje da konvertuje ulazne elemente, aktivnosti, i izlazne rezultate u
rezultate (Ilustracija 4.1).
Važno je identificirati šta se događa u širem kontekstu – to jest u okruženju u
kome program djeluje. Ovo okruženje (političko, makroekonomsko, i tako dalje)
utječe na sve dijelove sistema (Ilustracija 4.2).
Ilustracija 4.1 Put od ulaznih elemenata do rezultata
Rezultati
Ulazni el. Aktivnosti Izlazni rezu. Crna kutija Ishodi Utjecaji
Okruženje
Izvor: Autori.

Ilustracija 4.2 Potencijalni utjecaji okruženja na rezultate programa
Sadržaj politike Političko okruženje
Ulazni el. Aktivnosti Izlazni rezultati
Makroekonomska
slika Crna kutija Stanje javnosti
Ishodi Utjecaj
Pomoćni igrači Okruženje

Izvor: Autori.
Iza svakog projekta, programa, ili politike često postoji teorija promjene koja
čeka da bude artikulirana. Teorija vizualno može biti predstavljena na različite
načine, koristeći različite obrasce ili modele. Ovo predstavljanje se ponekad zove
teorija modela, logičkih modela, okviri promjena, logički okviri, modeli lanca
rezultata, te modeli ishoda. Svaki je varijacija na temu koja prikazuje teoriju
promjene. Teorija promjene treba izložiti neformalan lanac, pokazati utjecaje, i
identificirati ključne pretpostavke.
Zašto koristiti teoriju promjene?
Teorija promjene je vrijedna evaluatorima i dionicima zato što im omogućava

da zajedno rade na izgradnji „ svima razumljive vizije dugoročnih ciljeva,
kako dostići te ciljeve, i šta će se koristiti da se tokom rada mjeri napredak“
(ActKnowledge and Aspen Institute 2003).
Teorija promjene također se može koristiti za izvještavanje o rezultatima
evaluacije. Izvještaj Kellog Foundation (2004) razmatra važnost komunikacije
za uspjeh i održivost programa izvještavanja. Identificira tri primarna načina na
koja predstavljanje teorije promjene može podržati strateške marketinške napore:

• Opisivanje programa na jeziku jasnom i dovoljno specifičnom da se može
razumjeti i evaluirati;
• Fokusiranjem pažnje i resursa na prioritetne operacije programa i ključne
rezultate u cilju učenja i poboljšanja programa;
• Razvojem ciljanih komunikacija i marketinških strategija.
Globalno, artikuliranje teorije promjene za projekt, program, ili politiku ima

nekoliko koristi:
• Pomaže identificiranje elemenata programa koji su kritični za uspjeh.
• Pomaže izgradnju općeg razumijevanja programa i očekivanja među dioni-
cima zasnovano na zajedničkom jeziku.
• Osigurava osnovu za evaluaciju.
• Identificira mjere za određivanje napretka intervenirajućih varijabli od kojih
zavisi ishod.
• Identificira pretpostavke koje mogu postati jedna osnova za identifikaciju
evaluacijskih pitanja.
Izrada teorije promjene
Menadžeri često razvijaju teoriju promjene dok prave koncept projekta, programa
ili politike. Tokom ovog procesa mogu uključiti dionike. Teorija promjene nije
uvijek eksplicitna, i nije uvijek ili neophodno konzistentna od početka do kraja
za datu intervenciju. Za druge intervencije, teorija promjene može da ne postoji.
U ovom slučaju evaluator je treba izgraditi. Istraživanje teorije promjene treba
činiti osnovu svake evaluacije.
Prije početka pregleda ili izrade teorije promjene, evaluatori moraju imati
jasno razumijevanje svrhe i ciljeva projekta, programa ili politike.
Potrebno je razmotriti tri glavna pitanja:
• Da li istraživanje i evaluacija temelje projekt, program, ili politiku?

• Šta je logika ili lanac rezultata projekta, programa, ili politike?
• Koje su ključne pretpostavke postavljene?
Proces počinje učenjem, što je više moguće o sličnim intervencijama i evalu-

acijama. Sa novim informacijama počinje proces izvlačenja logike programa i
ključnih pretpostavki. Pošto je logika identificirana postavlja se u lanac događaja
i mapira se ili crta. Zatim se identificiraju ključne pretpostavke (Ilustracija 4.3).

Ilustracija 4.3 Proces izrade teorije promjene
Ključne
Logika
pretpostavke
Nalazi prethodnih
istraživanja
i evaluacija
Izvor: Autori.
Da li su nalazi ranijih istraživanja i evaluacija uključeni u program? Razvoj

teorije promjene počinje identifikacijom i pregledom istraživanja i evaluacijske
literature. Na primjer, prethodna istraživanja mogu pokazati da, kada se
kontroliraju ostali faktori, se postavlja pozitivan odnos između akademskog
učinka učenika i uključivanja roditelja u zadaće djeteta. Ili evaluacija ranijeg
programa obrazovanja u urbanom području zemlje u razvoju može pronaći
donekle uspješne nalaze za komponentu programa koja uključuje posjete učitelja
domovima učenika. Kada se završi pretraga literature i identificiraju bilo kakvi
relevantni nalazi, može se izraditi teorija promjene da se predvidi šta će se desiti
kao rezultat slične intervencije. Može biti neophodno izraditi teorije promjene
bez koristi od nalaza prethodnih istraživanja i evaluacija. U tom slučaju teorija će
zasigurno biti slabija.
Pregled evaluacijske literature treba početi sa širom identifikacijom mogućih
izvora istraživanja i evaluativnih informacija. Izvori uključuju sljedeće:
• Evaluacijske studije koje je provela vlastita organizacija
• Organizacija za ekonomsku saradnju i razvoj/Odbor za pomoć u razvoju
(OECD/DAC) spremište publikacija i dokumenata ili informacija po zemljama
• Evaluacijske studije koje su provele razvojne organizacije, razvojne banke,
nevladine organizacije (NVO), i ostali
• Članci u evaluacionim žurnalima
• Primjenjena istraživanja opisana u žurnalima i psihološkim, sociološkim,
obrazovnim, i ostalim poljima o određenim temama.
• Istraživanja o teorijama razvoja

Tekstualni okvir 4.3 Pregled literature o programima za
poboljšanje uspjeha učenika u regionu Južne Afrike
Evaluatori u razvojnoj organizaciji su angažovani da evaluiraju obrazovni pro-
gram u Africi čiji cilj je poboljšati uspjeh učenika u razredu. Rečeno im je da
su kućne posjete učitelja u nižim razredima u susjednoj zemlji povezane sa
boljim uspjehom učenika. Evaluatori su počeli sa pretraživanjem istraživačke
i evaluacijske literature. Prvo su posmatrali istraživanje o obrazovanju i
uspjehu u osnovnoj školi da bi utvrdili koji su nalazi bili dostupni pri sličnim
intervencijama. Fokusirali su se na International Journal of Educational
Research, teh American Education Research Journal, Early Childhood
Research and Practice, i Journal od Educational Research. Također su
provjerili Development Gateway, DAC Evaluation Resource Centre, i Educa-
tion Resources Information Center za evaluaciju. Tokom ovog procesa evalu-
atori su pronašli neka slična istraživanja i nekoliko projekata i programa koji
su izgledali slično. Evaluacijski tim je pročitao istraživačku i evaluacijsku litera-
turu kako bi što više naučili o pitanjima i nalazima iz sličnih programa u dru-
gim državama.
Izvor: Autori
Izvršni sažeci i zaključci ili naučene lekcije su dobro mjesto da se odredi

relevantnost evaluacijskih izvještaja. Kod istraživačkih članaka, sažeci se mogu
brzo pročitati. Zbog ograničenog vremena, evaluatori ih trebaju brzo pregledati
kako bi našli važne informacije. Kada evaluatori lociraju relevantna istraživanja i
nalaze evaluacije, potrebno ih je pažljivo istražiti (Tekstualni okvir 4.3).
Šta je logika programa?

Logika programa, politike, ili projekta gleda svrhu i ciljeve intervencije i posta-
vlja „ukoliko se desi X, onda se treba desiti Y.“ Određeni su detalji o prirodi
željene promjene: ciljane populacije, nivo promjene potreban da bi se signali-
zirao uspjeh i vremenski okvir u kom se očekuje da se takva promjena desi.
Lanac „ako-onda“ stavovi – teorija promjene – tada je formiran. Mali komadi
papira ili karte mogu se koristiti da se bilježe iskazi u lancu aktivnosti. Lahko ih
je pomjerati uokolo, dodavati ili uklanjati kako se lanac gradi.
Evaluatori često rade unazad od dugoročnog cilja, identificiraju logički lanac
događaja sve dok ne dođu do trenutne situacije. Ako je teorija promjene već

izrađena, evaluator mora proći kroz sličan proces da bi rekonstruirao teoriju
promjene.
Razmotrite primjer intervencije da se obuče ljudi u tehnici razvoja evaluacije
(Ilustracija 4.4). Očekivani rezultati ove intervencije bili bi izrada kvalitetnije
evaluacije i donošenje boljih odluka donesenih na osnovu dokaza. (Krajnji cilj
bio bi poboljšanje u razvoju, ali pošto toliko faktora utječe na razvoj, evaluatori
ne pokušavaju mjeriti ovaj krajnji ishod). Jednostavan lanac za ovu intervenciju
može uključivati sljedeće: ako su evaluatori bolje obučeni, onda će provoditi
bolje evaluacije, što će onda rezultirati korisnim informacijama za kreatore
politika, a što će zatim dovesti do donošenja odluka na osnovu dokaza. Korisne
informacije trebaju rezultirati boljim odlučivanjem onih koji donose odluke.
Ono što je do sada predstavljeno je linearni model. Dobra teorija promjene
ne pretpostavlja jednostavan odnos uzroka i posljedice; nego prikazuje komple-
ksne odnose koristeći okvire i strelice koje potonje vežu sa ranijim – ili poslije
sa kasnije – dijelovima teorije promjene. Oni također detaljišu ključne pretpo-
stavke na kojima počiva model, uključujući glavne kontekstualne ili okolišne
faktore ili događaje koji će vjerovatno imati utjecaja na intervenciju.
Šta su ključne pretpostavke?

Početni logički lanac često izgleda linearan. Kada evaluatori razmotre mnoge
faktore koji imaju utjecaja na njihov projekt, program ili politiku, teorija pro-
mjene postaje kompleksnija. Pri identifikaciji logike programa, također se moraju
identificirati pretpostavke koje evaluatori izvode u samom procesu promjene.
Pretpostavke koje imaju najveći rizik za uspjeh intervencije (ključne pretpo-
stavke) zatim mogu biti ispitane i testirane kao dio evaluacije.
Pretpostavke često možemo svrstati u jednu od četiri grupe:
Ilustracija 4.4 Jednostavna teorija promjene za poboljšanje donošenja

odluka Trening evaluatora
Kvalitetnije Korisnije Bolje

Obuka
evaluacije informacije odluke
Izvor: Autori.

• Navod o vezi između dugoročnog, srednjoročnog i ranog ishoda na mapi;
• Ostvarenje tvrdnje da su svi važni preduvjeti za uspjeh identificirani;
• Opravdanje veza između aktivnosti programa i ishoda koji se očekuje da ga
ostvare;
• Implicitna ili eksplicitna razumijevanja kontekstualnog ili faktora okruženja
koji bi vjerovatno podržali ili usporili napredak ka rezultatima i opseg u kom
su rezultati ostvareni.
Evaluatori proučavaju nastalu logiku i istražuju njene pretpostavke. Moguća
pitanja koja se mogu postaviti uključuju sljedeće:
• Je li ova teorija promjene vjerovatna? Vodi li slijed događaja vjerovatnom
dugoročnom cilju?
• Je li ova teorija promjene izvodiva? Postoje li mogućnosti i resursi da se
implementira strategija koja će ostvariti ishod?
• Može li se ova teorija testirati? Jesu li određene mjere kako će se odrediti
uspjeh? (Anderson 2004)
Također mogu pitati ovo:
• Šta se to još dešava u okruženju a da bi moglo pomoći ili kočiti intervenciju?
Pretpostavke se zapisuju a zatim uključuju u slijed događaja. Mogu se koristiti
komadići papira tako da se mogu reorganizirati da bi odgovarali teoriji koja se
pojavljuje.
Ne treba identificirati sve pretpostavke, lista bi bila predugačka. Međutim,
ključne pretpostavke – one koje predstavljaju najveći rizik za uspjeh programa, a
ispostavi se da su lažne – moraju se identificirati.
U primjeru programa obuke, ključne pretpostavke mogu uključivati sljedeće:
• evaluatori nemaju spremne dostupne izvore obuke koji mogu zadovoljiti
njihove potrebe;
• evaluatori mogu dobiti finansijske resurse za učešće u obuci;
• obuka je odgovarajuća njihovim potrebama evaluatora;
• evaluatori vrednuju obuku i motivirani su da uče;
• evaluatorima je data podrška i ostali resursi koji im trebaju tako da mogu
provesti u praksu ono što su naučili na obuci;
• evaluatori trebaju imati vještinu pisanja izvještaja potrebnu da informacije
efikasno prenesu vladinim agencijama;
• oni koji donose odluke u vladi koristit će njihove rezultate evaluacije da bi
donosili bolje odluke zasnovane na dokazima.

Da bi ovaj lanac bio efikasan, kritične pretpostavke moraju biti utvrđene.
Mogu se navesti skupa sa dijagramom teorije promjene ili ucrtane u dijagram
teorije promjene (grafika 4.5).
Šablon teorije promjene

Kellog Foundation (2004) sugeriše evaluatorima da koriste šablon da im pomogne
objasniti teoriju promjene (Ilustracija 4.6).
Da bi koristili šablon teorije promjene, Kellog Foundation sugeriše evaluato-
rima da počnu u sredini modela (problema ili pitanja). Ovo je srce šablona i srž
teorije promjene. U ovom prostoru evaluator piše jasnu izjavu o problemu ili
pitanju kojim će se intervencija baviti.
U drugom koraku, Potrebe zajednice/sredstva, evaluator određuje potrebe i
sredstva zajednice ili organizacije. Ukoliko je procjena potreba izvršena ili ako
su potrebe zajednice ili organizacije prioritizirane, tu informaciju treba uključiti
ovdje.
U trećem koraku, Željeni rezultati, Kellog sugeriše da evaluator identificira
šta se od intervencije očekuje da ostvari kako kratkoročno tako i dugoročno. Ovo
uglavnom može biti vizija za budućnost. Unosi u ovom okviru će postati, izlazni
rezultati, ishodi, i utjecaji.
Ilustracija 4.5 Dijagram jednostavne teorije promjene sa identificira-

nim ključnim pretpostavkama
Vještina pisanja
Zadovoljene
izvještaja adekvatna
potrebe
za komunikaciju sa
polaznika
vladom
Visoko kvalitetne Korisne Bolje

Obuka
evaluacije informacije odluke
Dovoljno
Dati resursi da se
vremena za učenje
prati šta su naučili
Izvor: Autori.

Ilustracija 4.6 Šablon teorije promjene
Strategije Pretpostavke
5 6
Problem ili pitanja Željeni rezultati

Utjecajni
faktori
1 (izlazni rezultati, ishodi,
i učinak)
4 3
Potrebe zajednice/sredstva
2
Izvor: Kellogg Foundation 2004.
U četvrtom koraku, Utjecajni faktori, Kellog od evaluatora traži da navede

potencijalne prepreke i podrške koji mogu utjecati na željenu promjenu. Ovo
mogu biti faktori rizika, postojeća politika u okruženju, ili drugi faktori (mogu
doći iz pregleda istraživanja i evaluacijske literature ili iz drugih izvora).
U petom koraku, Strategije, evaluator treba navesti opće uspješne strategije
koje je istraživanje identificiralo kao korisno u sličnim zajednicama ili orga-
nizacijama u ostvarenju vrste rezultata koje projekt, program, ili politika nastoje
izazvati („najbolja praksa“).
U posljednjem koraku, Pretpostavke, Kellog od evaluatora traži da navede
pretpostavke o tome kako će i zašto identificirane strategije promjene raditi u
zajednici ili organizaciji. To mogu biti principi, vjerovanja, ili ideje. Šablon teorije
promjene se zatim može koristiti da se napravi grafički prikaz teorije promjene.
Ako je grupa ljudi uključena u izradu teorije promjene, svaka osoba (ili grupa)
može dobiti prazan šablon koji će popuniti. Kada su svi šabloni popunjeni, grupa
može raspravljati o njima i postići saglasnost.

Ovo je jedna vrsta šablona. Može se revidirati ili prilagoditi da zadovolji
određene potrebe ili praksu organizacije. Na primjer, evaluator će htjeti ukazati ne
samo na uspješne strategije nego također i na neuspješne (koje treba izbjegavati).
Primjeri izrade teorije promjene

Dva primjera ilustruju kako evaluator izrađuje teoriju promjene. Prvi opisuje
program za poboljšanje akademskog uspjeha tako što učitelji posjećuju domove
učenika. Drugi opisuje program koji koristi participacijske radionice da se smanji
korupcija u vladi.
Poboljšanje uspjeha učenika preko posjeta učitelja domovima učenika
Razmotrite sljedeću situaciju. Zreo program treba evaluirati, ali nema teoriju
promjene. Evaluator je treba početi izrađivati tako što prolazi kroz istraživanja
i evaluacijsku literaturu (kao što je opisano u okviru 4.3). Željeni cilj programa
je poboljšanje akademskog uspjeha učenika. Intervencija je posjeta učitelja
domovima učenika. Logika situacije je sljedeća: ako učitelj (ulazni element)
posjeti (aktivnost) domove učenika (ulazni element) i razgovara sa roditeljima
(izlazni rezultat), oni će biti više osjećajni prema djetetu (ishod ). Roditelji će
bolje razumjeti školske potrebe u vezi sa završavanjem domaće zadaće na vrije-
me i potrebe da djeca pohađaju školu svaki dan (izlazni rezultat); kao rezultat
oni će se pobrinuti da se oboje desi (ishod). Zato što dijete radi zadaću i pohađa
školu redovno, te ima suosjećajnog učitelja, tada će se uspjeh učenika povećati
(utjecaj).
Evaluator koji izrađuje teoriju promjene počinje sa namjeravanim rezultatom
– veći uspjeh u čitanju – i mjestima na dnu dijagrama, u ovom slučaju (Ilustracija
4.7). Sljedeće, evaluator identificira intervenciju tako što piše „posjeta učitelja
domovima učenika“ na vrhu. Odatle evaluator identificira tri moguća rezultata
posjete domovima:
• učitelj stiće razumijevanje kućne kulture učenika;
• roditelji dobivaju informaciju o tome šta škola očekuje od učenika i
• učitelji i roditelji su u mogućnosti rješavati problem koji sprečava učenika da
ima dobre rezultate u školi.

Ilustracija 4.7 Teorija promjene za program poboljšanja uspjeha učenika u čitanju
preko posjeta učitelja njihovim domovima
Posjete učitelja domovima učenika
Razmjena stavova između učitelja i roditelja
Učitelji Znanje roditelja Identifikacija

razumijevaju o očekivanjima škole posebnih problema
kućnu kulturu za učenike koji onemogućavaju
uspjeh učenika
(zdravlje, emocije, ostalo)
Simpatije učitelja Podrška roditelja Podrška roditelja Znanje roditelja o

prema djeci i i podsticanje djece za redovnije očekivanju škole za
njihovom pogledu za zadaće i školske pohađanje škole učenike
na svijet zadatke
Podučavanje u Svijest učenika o Pohađanje Učenici primaju

smislu pogodnom i radu učenika posebnu pomoć
razumljivom za
učenike
Moral učenika Poboljšanje uvjeta

(zdravstvenih,
osjećajnih)
Uspjeh u čitanju
Izvor: Weiss 1972, 50.

Iz svakog od ova tri moguća rezultata, evaluator identificira ostale rezultate,
praveći lanac rezultata i interakciju rezultata. Na primjer, iz rezultata „učiteljevo
razumijevanje kućne kulture“, evaluator identificira lanac rezultata koji uključuje
sljedeće:
• tada učitelji imaju simpatiju za njihove učenike i njihov pogled na svijet;
• zatim učitelj počinje podučavati na način koji više odgovara učeniku;
• zatim se moral učenika poveća i
• zatim se učenikov uspjeh u čitanju poveća.
Evaluator zatim identificira ostale moguće rezultate iz svakog od origi-
nalnih mogućnosti, sve sa završetkom u uspjehu u čitanju. Neki od lanaca rezu-
ltata također međusobno djeluju sa drugim mogućim rezultatima.
Ova teorija promjene također identificira nekoliko pretpostavki, u ovom
slučaju, oni se navode umjesto da se unose u dijagram.
Ovo su pretpostavke koje evaluator identificira:
• djeca dolaze iz porodica sa dva roditelja i kućom;
• roditelji su dostupni u njihovim domovima kada su i učitelji dostupni;
• učitelji su voljni ići u posjetu;
• roditelji će poželjeti dobrodošlicu učiteljima u njihovim domovima;
• roditelji će se osjećati komforno i diskutirat će o njihovim pogledima na obra-
zovanje njihove djece;
• učitelji će bolje razumjeti kućnu kulturu i tako biti više suosjećajni sa
učenicima;
• učitelji će prilagoditi podučavanje i stilove podučavanja koristeći ono što su
naučili iz posjeta domovima;
• roditelji se hoće uključiti u učenje učenika i žele da njihova djeca pohađaju
školu, rade zadaće, te postignu akademski uspjeh;
• roditelji nemaju potrebu da njihova djeca rade i
• ništa drugo se ne dešava u školskom ili kućnom okruženju, a što bi moglo
uzrokovati poboljšanje uspjeha učenika.
Evaluacija bi bila izrađena da odgovori na ove pretpostavke koje su literatura
ili dionici identificirali kao kritične.
Koristeći participativne radionice za borbu protiv korupcije, razmotrite drugačiji

primjer.
Program namjerava uvesti participativne radionice kako bi se smanjila
korupcija u vladi. Da bi se izradila teorija promjene, evaluator počinje pisanjem
dugoročnog cilja za smanjenje korupcije na dnu dijagrama a intervenciju piše
na vrhu dijagrama. Glavni događaji predviđeni da se dese postavljaju se u slijed
događaja između ovo dvoje (Ilustracija 4.8) (Haaruis 2005).

Ilustracija 4.8 Teorija promjene za program za upotrebu na participativnoj radi-
onici o smanjenju korupcije u vladi
Antikorupcioni program koji naglašava participativnu radionicu
• potaknut će politiku dijaloga

• pomoći će u uspostavi procesa „razmjene i učenja” “najbolje prakse” i “dobrih primjera”
što će imati utjecaja na ponašanje (kao što je potpisivanje obećanja o integritetu)
• uključit će proces učenja koji će biti više nego ad hoc ili jednokratni napor i pomoći će
upravljanje “akcionog istraživanja”
• ojačat će učesnike
• uključit će partnerstvo i mreže sa različitim dionicima unutar civilnog društva
uspostavljajući (ili jačajući) socijalni kapital među partnerima
• objelodanit će kome se može vjerovati u borbi protiv korupcije, a kome ne
• realizacije “brzih pobjeda” ohrabrit će ostale da se uključe u borbu protiv korupcije

• aktivnosti, također, pomažu uspostavu „ostrva integriteta“ što će imati funkciju primjera
Razvoj lokalnog vlasništva dok se bave antikorupcionim aktivnostima
Postojanje efekta curenja iz ovih radionica u druge segmente društva
• povećana svijest javnosti o negativnostima korupcije

• povećati svijest o negativnosti korupcije unutar civilnog društva
• izgradnja institucija uspostavom ili jačanjem različitih stubova integriteta
• transparentno društvo i transparentna i odgovorna država

• izlazna strategija za Svjetsku banku
Pomoći će uspostavu (ili jačanje) državnog sistema integriteta
što će pomoći uspostavi dobre uprave
što će smanjiti korupciju

Izvor: Leeuw, Gils, and Kreft 1999.
164
Iako su mnoge pretpostavke identificirane, evaluator ograničava pretpostavke
koje će evaluacija istražiti na tri ključne, a koje su zasnovane na pregledu litera-
ture i diskusijama sa klijentom i dionicima:
• participativne radionice su efektivne i zadovoljavaju potrebe učesnika i
programa;
• učesnici imaju vještine, stav, i motivaciju da učestvuju u radionicama i
• učesnici će razviti smisao „lokalnog vlasništva“, stvarajući efekt curenja.
Terminologija i grafički prikaz teorije promjene
Kako je teorija programa narasla do glavne snage u evaluaciji, nastala je konfu-

zija u vezi sa terminologijom, uključujući termine kao što je logički modeli,
modeli ishoda, modeli teorije. Patton (2002), na primjer, razlikuje logički model
od teorije promjene, navodeći da je jedini kriterij za logički model da prikazuje
razuman, odbranjiv i dosljedan red od ulaznih elemenata preko aktivnosti do
izlaznih rezultata, ishoda, i utjecaja. Suprotno tome, teorija promjene također
mora odrediti i objasniti pretpostavljenu, hipoteziranu ili testiranu uzročnu pove-
zanost. Bez obzira na određenu terminologiju ili korišteni format, sve predstavke
teorije promjene trebaju prikazati uzročni slijed, pokazati utjecaje, i identificirati
ključne pretpostavke.
Modeli teorije promjene se mogu predstaviti vizualno dijagramima toka na
različite načine.
U ovom dijelu ilustriramo nekoliko formata.
Standardni dijagram toka

Dijagrami toka su najčešći format koji se koristi za ilustriranje teorije promje-
ne. Dijagram toka ilustrira slijed rezultata koji teče (ili rezultira) iz aktivnosti i
izlaznih elemenata (Ilustracija 4.9). To je veoma fleksibilan logički model sve
dok su predstavljene osnovne komponente – ulazni elementi, aktivnosti, izlazni ■■ Dijagram
rezultati i rezultati. Različiti nivoi rezultata (neposredni, srednji, finalni) mogu se toka: Dijagram
prikazati da se osigura da dijagram toka indicira kako su konačni rezultati ostva- koji ilustrira
slijed rezultata
reni. Kada se koristi ovaj format, evaluatori trebaju navesti svoje pretpostavke,
koji nastaju iz
uključujući faktore u vanjskom okruženju koji mogu utjecati na obim u kom aktivnosti i
intervencija ostvaruje namjeravane rezultate. izlaznih
Uzročno-posljedična veza može se objasniti koristeći „ako-onda“ izjave. Na elemenata.
primjer, „ako je aktivnost provedena, tada će nastati ovi izlazni rezultati. Ako
su izlazni rezultati ostvareni, onda će oni voditi do prvog nivoa neposrednih
rezultata.“

Ilustracija 4.9 Standardni grafikon toka
Ulazni
elementi
Aktivnosti
Izlazni
rezultati
Ishodi
Utjecaji
Pretpostavka
■■ Slijed 1.
rezultata:
2.
Uzročni slijed za
razvoj interven- 3.
cije koji utvrđuje
Izvor: Autori.
neophodni slijed
za ostvarenje
željenih ciljeva,
počevši sa Standardni dijagram toka sa naglaskom na pretpostavke
ulaznim elemen- Još jedan dizajn za teoriju promjene prikazan je u Ilustraciji 4.10. Ovaj model
tima, preko uključuje pretpostavke kao principe koji stoje iza dizajna inicijative.
aktivnosti i
izlaznih
Standardni slijed rezultata
rezultata, te
kulminacijom u Slijed rezultata – također poznat i kao slijed učinka – je sličan dijagramu toka,
ishode, utjecaje ali ne odgovara nužno određenim aktivnostima sa određenim izlaznim rezu-
i povratne ltatima ili rezultatima. Zato što ne pokazuje iste detalje kao dijagram toka u vezi
informacije sa uzročnim slijedom aktivnosti, izlaznih elemenata i rezultata, korisnik se treba

Ilustracija 4.10 Dijagram toka koji naglašava pretpostavke
Pretpostavka Ulazni elementi Aktivnosti Izlazni rezultati Ishodi
Počeci Planirani Rad Očekivani Rezultati

Izvor: Prilagođeno od Kellogg Foundation 2004.
uvjeriti da ono što je „pojednostavljeno“ ne zamijeni ono što je „standard“. Kao

i u drugim vizualnim prikazima, utjecaj vanjskih faktora je eksplicitno uzet u
obzir. Ulazni elementi, aktivnosti, i izlazni rezultati se često koriste kao mjera
efikasnosti; rezultati se koriste da odrede efikasnost programa (Ilustracija 4.11).
Ilustracija 4.11 Standardni lanac rezultata

Područje kontrole Izlazni rezultati Područje utjecaja
interno koji dopiru do izvan
organizaciji direktnih korisnika organizacije
Izlazni Ishodi Ishodi

Ulazni elem. Aktivnosti Utjecaji
rezultati (kratkoročni) (dugoročni)
Eksterni faktori
Izvor: Canadian Department of Foreign Affairs and International Trade 2005.

Mnogi primjeri gotovih modela dostupni su na Univerzitetu Wisconsin
Extension web stranici. Linkovi stranice su dati na kraju ovog poglavlja.
Logički okvir (logička matrica)

Varijanta modela teorije promjene je logički okvir, ili kako se obično
■■ Logički okvir naziva, logička matrica. Logička matrica povezuje aktivnosti, rezultate, svrhu,
(logička i ciljeve programa, politike, ili projekta u hijerarhiju. Za svaku komponentu
matrica): programa, projekta, ili politike, evaluator identificira indikatore učinka koji su
Matrica koja
povezuje
potrebni, izvore informacija za svaki indikator, i pretpostavku. Logičke matrice
aktivnosti, pojašnjavaju ciljeve projekta, programa ili politike i identificiraju uzročne veze
rezultate, svrhu između ulaznih elemenata, procesa, izlaznih rezultata, ishoda, i utjecaja. Mnoge
i ciljeve razvojne organizacije zahtijevaju upotrebu logičkih matrica i obučili su osoblje
programa, za njihovu upotrebu.
politike i
Logička matrica je u suštini 4 – 4 matrica koja sažima kritične elemente pro-
projekta u
hijerarhiju jekta, programa, ili politike. Pristup se bavi ključnim pitanjima na metodički
način, koristeći uzročnu logiku.
Logička matrica se može koristiti u različite svrhe:
• poboljšanje kvaliteta dizajna projekta, programa ili politike tražeći specifika-
ciju jasnih ciljeva, upotrebu indikatora učinka, i procjenu rizika;
• sažimanje dizajna kompleksnih aktivnosti;
• pomoć osoblju u pripremi detaljnih operativnih planova i
• osiguranje osnova za ciljeve za pregled aktivnosti, monitoring i evaluaciju
(World Bank 2004).
Logička matrica je temeljito kritikovana. Važne kritike uključuju sljedeće:
• Kada razvija logičku matricu, evaluator se može izgubiti u detaljima i izgubiti
iz vida veću sliku.
• Podaci baznih linija nisu naglašeni.
• Logičke matrice su često previše jednostavne, čak i za jednostavne dizajne
projekta. Kao što je Gasper (1997) primijetio „ne može se sve važno smjestiti
na jednu do tri stranice, dijagram od četiri pet nivoa“.
• Mnogi korisnici logičkih matrica ne uspijevaju prepoznati da matrica uključuje
neke stvari a druge izostavlja. Okvir je zamišljen kao pomoć pri provođenju
evaluacije, a ne kao zamjena evaluaciji.
• Logička matrica ne traga za nenamjeravanim ishodima; njen opseg je
ograničen na navedene ciljeve.
• Nakon što se logička matrica pripremi, nastoji je se popraviti, a ne ažurirati,
tako ona postaje „zaključana-matrica“ (Gasper 1997).
Logička matrica za dječiju kliniku može uključivati imunizaciju kao jednu od
svojih aktivnosti, sa ciljanim rezultatima imunizacije 50 procenata sve djece ispod

šest godina u određenoj oblasti (Tabela 4.3). Ako se ovaj cilj ostvari, slučajevi
dječijih oboljenja koja se mogu spriječiti trebali bi se smanjiti. Ovo smanjenje
treba ostvariti ukupni cilj smanjenja broja smrtnih slučajeva djece mlađe od šest
godina.
Druga kolona u Tabeli 4.3 identificira indikatore koji verificiraju obim do kog
je svaki cilj ostvaren. Treća i četvrta kolona određuju gdje će se prikupljati podaci
kako bi se procijenio učinak prema indikatorima i kako bi se napravile pretpo-
stavke o prirodi i dostupnosti tih podataka.
Procjena teorije promjene
Kada se teorija promjene izradi, evaluatori prave korak unazad i procjenjuju

kvalitet teorije sa različitih stajališta. Ova stajališta ili okviri uključuju procjenu
u odnosu na socijalne potrebe;
• logike i vjerodostojnosti;
• poređenjem sa istraživanjima i praksom;
• poredeći program teorije promjene sa jednom ili više relevantnih naučnih teo-
rija i
• preko preliminarnih opservacija (prilagođeno od Rossi, Freeman, i Lipsey
1999).
Teorija promjene treba biti u stanju odgovoriti na sljedeća pitanja:
• Je li model tačan prikaz programa?
• Jesu li svi elementi dobro definirani?
• Postoje li neke praznine u logičkom slijedu događaja?
• Jesu li elementi nužno dovoljni?
• Jesu li odnosi vjerodostojni i konzistentni?
• Je li realno pretpostaviti da će program rezultirati ostvarenjem zacrtanih
ciljeva na smislen način?
Kellog Foundation (2004) je razvila popis za procjenu kvaliteta logičkog
modela. Sljedeća lista kriterija je prilagođena iz te liste:
• Glavne aktivnosti potrebne za implementaciju programa su navedene;
• Aktivnosti su jasno vezane za određenu teoriju programa;
• Glavni resursi potrebni za implementaciju programa su navedeni;
• Resursi odgovaraju vrsti programa;
• Sve aktivnosti imaju dovoljno odgovarajućih resursa.

Tabela 4.3 Logički okvir za program smanjenja smrtnosti djece
170
Komponenta Indikatori učinka Verifikacija Pretpostavke
Cilj:Poboljšati ekonomsko i društveno stanje Poboljšanja u porodičnom dohotku Anketiranje
žena i njihovih porodica × procenat porodica koje učestvuju domaćinstava u vezi
Poboljšanje mjera poboljšanja ekonomskog socijalnog i
zdravstvenog stanja, stanja ishrane i zdravstnog stanja svih
učešća u obrazovanju članova
Cilj: Osigurati ženama mogućnosti da rade i uče • domovi dnevnog boravka Iz anketa: promjene u Drugi članovi
dok se njihova djeca nalaze u domovima centra funkicioniraju i osiguravaju zapošljavanju i porodice
za dnevni boravak dostupnu, brigu odgovarajućeg obrazovanju žena i održavaju ili
kvaliteta tokom radnih sati te tako njihova evaluacija su poboljšavaju
omogućavaju promjenu za omogućeni zaposlenje i
zapošljavanje žena i obrazovne Evaluacija kvaliteta njege primanja.
aktivnosti; se vrši na osnovu Ekonomski uvjeti
posmatranja.
ostaju stabilni ili se
popravljaju.
Izlazni rezultati: • njegovatelji obučeni; Podaci iz MIS o Porodični uvjeti
• obučeni njegovatelji, supervizori, i direktori; • kuće nadograđene i rade; polaznicima domovima i omogućavaju
• domovi dnevnog boravka se nadograđuju i materijalima majkama iz dnevnih
rade; • materijali napravljeni i podijeljeni; centara da nastave
• materijali se razvijaju; Evaluacija polaznika
• MIS funkcioniše; nakon osnovne obuke i pružati njegu
• postoji administrativni sistem i
• sistem upravljanja informacijama (MIS) tokom stalne obuke
postoji.
Aktivnosti: resursi Plan akcije, budžet, i

• odabrati njegovatalje i supervizore i pružiti budžet računovodstveni podaci.
osnovnu obuku; Studije koje pokazuju da
• nadogradnja kuća; tehnologija odabrani model i plan
• razvoj materijala; ljudski resursi rade.
• razvoj administrativnog sistema;
• pružanje njege u dnevenim centrima; Evaluacije da se odredi
• pružanje stalne obuke i supervizije i jesu li aktivnosti dobro
• razvoj MIS. provedene
Put do rezultata: dizajniranje i provođenje efektivne razvojne evaluacije

Izvor: Inter-American Development Bank (http://www.iadb.org/sds/soc/eccd/6example.html#ex1).
Sažetak
Evaluatori se moraju oduprijeti težnji da pohrle u evaluaciju bez plana. Front-

end analiza je vrijedan dio planiranja koji pomaže evaluatorima da dobiju veću
sliku projekta, programa ili politike. Front-end analiza može odgovoriti na važna
pitanja o evaluaciji, uključujući raspored vremena, vrijeme za završetak, ljude
koji su uključeni, resurse, dizajn, teoriju promjene i logiku te postojeće znanje.
Jedan dio analize prednjeg kraja je identificiranje ljudi ili grupa uključenih u
intervenciju. Analiza dionika je jedan način da se identificirijau ključni dionici
evaluacije i da se odredi šta oni znaju o evaluaciji, čime mogu doprinijeti, i šta
očekuju od evaluacije.
Drugi dio Front-end analize je posmatranje konteksta intervencije. Evaluatori
moraju identificirati i učiti iz sličnih istraživanja i iz evaluacija sličnih interve-
ncija. Evaluatori postavljaju različita pitanja u različitim fazama životnog ciklusa
intervencije, tako da je identifikacija faze intervencije važna.
Izrada teorije promjene na kojoj počiva intervencija pomaže evaluatorima i
dionicima da vizulaiziraju intervenciju i odrede pretpostavke na kojima počiva
program a koje će trebati istražiti u evaluaciji. Dok postoje različiti načini da se
grafički predstavi teorija promjene, sve treba biti zasnovano na nalazima sličnih
istraživanja i evaluacija, prikazano logičkim slijedom, identificirati događaje
koji mogu utjecati na rezultate i prikazati uzročni slijed događaja. Obično teorije
promjene prikazuju ulazne elemente, aktivnosti, izlazne rezultate i rezultate, kao i
njihov međusobni odnos te okruženje u kom se događa svaki od njih.

Aktivnost 4.1: primjena teorije promjene
Razmotrimo mikrokreditni program koji za cilj ima promovirati nove životne

uvjete i poboljšati dobrobit domaćinstava tako što će pomoći ženama, posebno
siromašnim ruralnim ženama da se zaposle i izgrade poduzetničke vještine, te
tako povećaju primanja u domaćinstvu. Dugoročni cilj je promovirati razvoj
privatnog sektora te povećati ekonomski rast. Krediti u prosjeku od US$225
maksimalno do US$500. Osigurani su kao ukupna suma za radni kapital ili ula-
ganje u mikrobiznise. Trajanje kredita se kreće od 1 do 10 godina sa prosjekom
od 2,3 godine. Grejs period od jedne godine je osiguran. Povezana komponenta
izgradnje kapaciteta pokriva osnovne knjigovodstvene i finansijske troškove.
Ilustracija A pokazuje pojednostavljen logički model koji prikazuje mikrokreditni
program. Ilustracija B prikazuje detaljniji grafički prikaz teorije promjene za isti
mikrokreditni program. Zaokružene stavke u Ilustraciji B prikazuju glavne
faktore u okruženju koji mogu utjecati na ostvarenje ciljeva programa. Razmi-
slite o pretpostavkama na kojima počiva ovaj program.
Navedite pet ključnih pretpostavki na kojima se temelji ovaj program:
1. ______________________________________________________
2. ______________________________________________________
3. ______________________________________________________
4. ______________________________________________________
5. ______________________________________________________
Ilustracija A
Jednostavna teorija promjene za mikrokreditni program
Prihodi i
Pristup početnom Poboljšani
zapošljavanje
kapitalu za životni uvjeti
lokalnog
male biznise
stanovništva
Finansijski Vještine u Smanjenje

menadžment poslovanju i siromaštva
savjeti i podrška finansijskom
menadžmentu

Ilustracija B Kompleksnija teorija promjene za mikrokreditni program
Žene imaju ograničen pristup ekonomskim

prilikama zbog manje mogućnosti pristupa
kreditima i ostalim proizvodnim resursima
te društvenoj kontroli Doznake
Radnicima
Slični programi koje

je finansirala vlada
Projekt nudi kredit, tehničku Drugi bilateralni
pomoć i grupne informacije mikrofinansijski
programi
Makroekonomsko
okruženje Žene pokreću biznis Fondacijski
programi
NVO
Žene stvaraju profit
programi
Kratkoročno poboljšanje Profiti se ponovo ulažu

stanja domaćinstva
Stalno poboljšanje u stanju Održavanje biznisa

domaćinstva
Utjecaj na Poboljšan smještaj

ishranu, zdravlje,
i odijevanje
Poboljšano obrazovanje Ekonomski napredak

djevojčica

Aplikacijska vježba 4.2: Analizirajte vaš program
Razmotrite program ili projekt na kome trenutno radite ili neki drugi program
koji poznajete, ali niste direktno uključeni. Razvijte grafiku koja prikazuje teoriju
promjene za ovaj program ili projekt. Provjerite jeste li identificirali pretpostavke
na kojima se temelji program ili projekt, posebno one koji se odnose na faktore
vanjskog okruženja.
ActKnowledge and Aspen Institute. 2003. Theory of Change. Roundtable on Community

Change.
http://www.theoryofchange.org/.
Anderson, Andrea, A. 2004. “The Community Builder’s Approach to Theory of Change:
A Practical Guide to Theory Development.” Presentation at the Aspen Institute
Roundtable on Community Change, New York.
http://www.aspeninstitute.org/atf/cf/ percent7BDEB6F227-659B-4EC8-8F84-8DF-
23CA704F5 percent7D/rcccommbuildersapproach.pdf.
Bell, P. 1997. “Using Argument Representations to Make Thinking Visible for Individu-
als and Groups.” In Proceedings of CSCL ’97: The Second International Conference
on Computer Support for Collaborative Learning, eds. R. Hall, N. Miyake, and N.
Enyedy, 10–19. Toronto: University of Toronto Press.
Bruning, R. H., G. J. Schraw, M. M. Norby, and R. R. Ronning. 2004. Cognitive Psychol-
ogy and Instruction. 4th ed. Upper Saddle River, NJ: Pearson Merrill Prentice-Hall.
Canadian Department of Foreign Affairs and International Trade. 2005. Six Easy Steps to
Managing for Results: A Guide for Managers. April. Evaluation Division, Ottawa.
CIDA (Canadian International Development Agency). 2005. Case Study #1: Jamaica
Environmental Action Program ENACT. Caribbean Division, Americas Branch. http://
www.acdi-cida.gc.ca/CIDAWEB/acdicida.nsf/En/EMA-218131811-PHY#1.
Eggen, P., and D. Kauchak. 1999. Educational Psychology: Windows on Classrooms. 4th
ed. Upper Saddle River, NJ: Merrill: Prentice-Hall.
tion: Alternative Approaches and Practical Guidelines. New York: Person Education.
Funnell, S. 1997. “Program Logic: An Adaptable Tool for Designing and Evaluating
Programs.” Evaluation News and Comment 6 (1): 5–7.
Gagne, R. M., and W. D. Rohwer Jr. 1969. “Instructional Psychology.” Annual Review of
Psychology 20: 381–418.
Gasper, D. 1997. “Logical Frameworks: A Critical Assessment Managerial Theory.”
Pluralistic Practice Working Paper 264, Institute of Social Studies, The Hague.
———. 2000. “Evaluating the ‘Logical Framework Approach’ towards Learning-Ori-
ented Development Evaluation.” Public Administration Development 20 (1): 17–28.

Haarhuis, Carolien Klein. 2005. “Promoting Anticorruption Reforms: Evaluating the
Implementation of a World Bank Anticorruption Program in Seven African Coun-
tries.”
http://igitur-archive.library.uu.nl/dissertations/2005-0714-200002/full.pdf.
Healy, A. F, and D. S. McNamara. 1996. “Verbal Learning Memory: Does the Modal
Model Still Work?” Annual Review of Psychology 47: 143–72.
Heubner, T. A. 2000. “Theory-Based Evaluation: Gaining a Shared Understanding
Between School Staff and Evaluators.” In Program Theory in Evaluation: Challenges
and Opportunities, eds. Patricia J. Rogers, T. A. Hacsi, A. Petrosino, and
T. A. Huebner, 79–90. New Directions for Evaluation No. 87. San Francisco, CA:
Jossey-Bass.
Kassinove, H., and M. Summers. 1968. “The Developmental Attention Test: A Prelimi-
nary Report on an Objective Test of Attention.” Journal of Clinical Psychology 24
(1): 76–78.
Kellogg Foundation. 2004. Logic Model Development Guide. Battle Creek, MI.
http://www.wkkf.org/Pubs/Tools/Evaluation/Pub3669.pdf.
Leeuw, Frans, Ger Gils, and Cora Kreft. 1999. “Evaluating Anti-Corruption Initiatives:
Underlying Logic and Mid-Term Impact of a World Bank Program.” Evaluation 5
(2): 194–219.
Leeuw, Frans L. 1991. “Policy Theories, Knowledge Utilization, and Evaluation.”
Knowledge and Policy 4: 73–92.
———. 2003. “Reconstructing Program Theories: Models Available and Problems to Be
Solved.” American Journal of Evaluation 24 (1): 5–20.
Mikkelsen, B. 2005. Methods for Development Work and Research: A New Guide for
Practitioners. Thousand Oaks, CA: Sage Publications.
MSH (Management Sciences for Health), and UNICEF (United Nations Children’s
Fund). 1998. “Quality Guide: Stakeholder Analysis.” In Guide to Managing for Qual-
ity.
http://ERC.MSH.org/quality.
Newman, David Kent. 2007. “Theory: Write-up for Conceptual Framework.”
http://deekayen.net/theory-write-conceptual-framework.
Ormrod, J. E. 2006. Essentials of Educational Psychology. Upper Saddle River, NJ:
Pearson Merrill Prentice-Hall.
Owen, J. M., and P. J. Rogers. 1999. Program Evaluation: Forms and Approaches. Thou-
sand Oaks, CA: Sage Publications.
Pancer, S. Mark, and Anne Westhues. 1989. “A Developmental Stage Approach to Pro-
gram Planning and Evaluation.” Evaluation Review 13 (1): 56–77.
Patton, M. Q. 2002. Qualitative Research and Evaluation Methods. 3rd ed. Thousand
Oaks, CA.: Sage Publications.
Pawson, Ray. 2006. Evidence-Based Policy: A Realistic Perspective. New Brunswick,
NJ: Sage Publications.
Petrosino, Anthony, Robert A. Boruch, Cath Rounding, Steve McDonald, and Iain
Chalmers. 2003. “The Campbell Collaboration Social, Psychological, Educational,
and Criminological Trials Register C20SPECTR.”
http://www.campbellcollaboration.org/papers/unpublished/petrosino.pdf.

Porteous, Nancy L., B. J. Sheldrick, and P. J. Stewart. 1997. Program Evaluation Tool
Kit: A Blueprint for Public Health Management. Ottawa-Carleton Health Department,
Ottawa.
http://www.phac-aspc.gc.ca/php-psp/tookit.html.
———. 2002. “Introducing Program Teams to Logic Models: Facilitating the Learning
Process.” Canadian Journal of Program Evaluation 17 (3): 113–41.
Prensky, Marc. 2001. “Digital Natives, Digital Immigrants.” On the Horizon 9 (5). http://
www.marcprensky.com/writing/Prensky percent20-percent20Digital
percent20Natives,percent20Digital percent20Immigrants percent20-
percent20Part1.pdf.
Ritzer, George. 1993. The McDonaldization of Society. Rev. ed. Thousand Oaks, CA:
Pine Forge Press.
Rogers, Patricia J., T. A. Hacsi, A. Petrosino, and T. A. Huebner, eds. 2000. Program
Theory in Evaluation: Challenges and Opportunities. New Directions in Evaluation
No. 87. San Francisco: Jossey-Bass Publishers.
Rossi, P., H. Freeman, and M. Lipsey. 1999. Evaluation: A Systematic Approach. Thou-
Scott, M. 2003. “The Benefits and Consequences of Police Crackdowns.” Problem-
Oriented Guides for Police, Response Guide 1. U.S. Department of Justice, Office of
Community-Oriented Policing Services, Washington, DC.
Scriven, Michael. 2007. Key Evaluation Checklist.
http://www.wmich.edu/evalctr/checklists/kec_feb07.pdf.
Shadish, W. R. Jr., T. D. Cook, and L. C. Leviton. 1991. Foundations of Program Evalu-
ation. Thousand Oaks, CA: Sage Publications.
Sherman, L. W., D. Farrington, B. C. Welsh, and D. L. MacKenzie, eds. 2002. Evidence-
Based Crime Prevention. London: Routledge.
Stufflebeam, Daniel L. 2001. Evaluation Models. New Directions for Evaluation No. 89.
San Francisco, CA: Jossey-Bass.
Stufflebeam, D. L., G. F Madaus, and T. Kellaghan, eds. 2000. Evaluation Models. 2nd
ed. Boston: Kluwer Academic Publishers.
Suthers, D. D., and A. Weiner. 1995. Belvédère.
http://lilt.ics.hawaii.edu/belvedere/index.html.
Suthers, D. D., E. E. Toth, and A. Weiner 1997. “An Integrated Approach to Implement-
ing Collaborative Inquiry in the Classroom.” In Proceedings of CSCL ’97: The Sec-
ond International Conference on Computer Support for Collaborative Learning, eds.
R. Hall, N. Miyake, and N. Enyedy, 272–79. Toronto: University of Toronto Press.
Swedberg, Richard. 2003. Principles of Economic Sociology. Princeton, NJ: Princeton
University Press.
Taylor-Powell, Ellen. 2005. Logic Models: A Framework for Program Planning and
Evaluation. University of Wisconsin Extension, Program Development and Evalua-
tion.
http://www.uwex.edu/ces/pdande/evaluation/pdf/nutritionconf05.pdf.
U.S. GAO (General Accounting Office). 1991. Designing Evaluations. Washington, DC.
http://www.gao.gov/special.pubs/10_1_4.pdf.

Weiss, Carol H. 1997. Evaluation: Methods for Studying Programs and Policies. Upper
Saddle River, NJ: Prentice-Hall.
World Bank. 1996. World Bank Participation Sourcebook. Washington, DC: World Bank.
———. 2004. Monitoring and Evaluation: Some Tools, Methods and Approaches. Opera-
tions Evaluation Department/Evaluation Capacity Development, Washington, DC.
http://lnweb18.worldbank.org/oed/oeddoclib.nsf/b57456d58aba40e585256ad
400736404/a5efbb5d776b67d285256b1e0079c9a3/$FILE/MandE_tools_
methods_approaches.pdf.
Worthen, Blaine. R., James R. Sanders, and Jody L. Fitzpatrick. 1997. Program Evalua-
tion. New York: Longman.
Web stranice
Campbell Collaboration. http://www.campbellcollaboration.org/.

Community Toolbox. A Framework for Program Evaluation: A Gateway to Tools. http://
ctb.lsi.ukans.edu/tools/EN/sub_section_main_1338.htm.
Evaluation Center, Western Michigan University. The Checklist Project. http://www
.wmich.edu/evalctr/checklists/checklistmenu.htm#mgt.
IDRC (International Development Research Centre). 2004. Evaluation Planning
in Program Initiatives Ottawa, Ontario, Canada. http://web.idrc.ca/uploads/user-
S/108549984812guideline-web.pdf.
Suthers, D., and A. Weiner. 1995.Groupware for Developing Critical Discussion Skills.
http://www-cscl95.indiana.edu/cscl95/suthers.html.
University of Wisconsin-Extension. Logic Model. http://www.uwex.edu/ces/pdande/
evaluation/evallogicmodel.html.
———. Examples of Logic Models. http://www.uwex.edu/ces/pdande/evaluation/eval-
logicmodelexamples.html.
Teorije promjene
Audience Dialogue. 2007a. “Enhancing Program Performance with Logic Models.”
http://www.uwex.edu/ces/lmcourse/, http://www.wkkf.org/pubs/tools/
evaluation/pub3669.pdf.
———. 2007b. “Program Logic: An Introduction.” http://www.audiencedialogue.org/
proglog.htm.
AusAid. 2005. “Section 3.3: The Logical Framework Approach and Section 2.2: Using
the Results Framework Approach.” http://www.ausaid.gov.au/ausguide/default.cfm.
BOND. 2001. Guidance Notes Series I: Beginner’s Guide to Logical Framework Analysis.
http://www.ngosupport.net/graphics/NGO/documents/english/273_BOND_Series_1.
doc.
Davies, Rick. 2003. “Network Perspective in the Evaluation of Development
Interventions: More than a Metaphor.” Paper presented at the EDAIS Conference

“New Directions in Impact Assessment for Development: Methods and Practice,”
November 24–25. http://www.enterprise-impact.org.uk/conference/Abstracts/Davies.
shtml and http://www.mande.co.uk/docs/nape.doc.
Department for International Development. 2002. Tools for Development: A Handbook
for Those Engaged in Development Activity Performance and Effectiveness. http://
www.dfid.gov.uk/pubs/files/toolsfordevelopment.pdf.
den Heyer, Molly. 2001a. A Bibliography for Program Logic Models/Logframe Analysis.
Evaluation Unit, International Development Research Centre. http://www
.idrc.ca/uploads/user-S/10553606170logframebib2.pdf and http://www.mande
.co.uk/docs/Phillips.ppt.
———. 2001b. “The Temporal Logic Model™: A Concept Paper.” http://www.idrc.ca/
uploads/user-S/10553603900tlmconceptpaper.pdf.
Inter-American Development Bank. http://www.iadb.org/sds/soc/eccd/bexample
.html#ex1.
International Fund for Agricultural Development. 2003. Annotated Example of a Project
Logframe Matrix. http://www.ifad.org/evaluation/guide/3/3.htm and
http://www.ifad.org/evaluation/guide/annexb/index.htm.
JISC infoNet. 2001. Engendering the Logical Framework. http://www.jiscinfonet
.ac.uk/InfoKits/project-management/InfoKits/infokit-related-files/
logical-framework-information.
———. 2004. Logical Framework (LogFRAME) Methodology. http://www.jiscinfonet
.ac.uk/InfoKits/project-management/InfoKits/infokit-related-files/
logical-framework-information.
Kellogg Foundation. 2004. Evaluation Logic Model Development Guide: Using Logic
Models to Bring Together Planning, Evaluation, and Action. http://www.wkkf
.org./Pubs/Tools/Evaluation/Pub3669.pdf.
Knowledge and Research Programme on Disability and Healthcare Technology. 2004.
Constructing a Logical Framework. http://www.kar-dht.org/logframe
.html.
McCawley, Paul F. 1997. The Logic Model for Program Planning and Evaluation. Uni-
versity of Idaho Extension. http://www.uidaho.edu/extension/LogicModel.pdf.
NORAD (Norwegian Agency for Development Cooperation). 1999. The Logical Frame-
work Approach: Handbook for Objectives-Oriented Planning. 4th ed.
http://www.norad.no/default.asp?V_ITEM_ID=1069.
PPM&E Resource. 2005. Logical Framework Approach. portals.wdi.wur.nl/ppme/index.
php?Logical_Framework_Approach.
Rugh, Jim. “The Rosetta Stone of Logical Frameworks.” http://www.mande.co.uk/docs/
Rosettastone.doc.
SIDA (Swedish International Development Agency). 2004. The Logical Framework
Approach: A Summary of the Theory behind the LFA Method. http://www.sida
.se/shared/jsp/download.jsp?f=SIDA1489en_web.pdf&a=2379.
Usable Knowledge, USA. 2006. Online Logic Model Training: An Audiovisual Presenta-
tion. http://www.usablellc.net/Logic percent20Modelpercent20percent
28Online percent29/Presentation_Files/index.html.

Weiss, Carol. 1972. Evaluation Research: Methods for Assessing Program Effectiveness.
Englewood Cliffs, New Jersey: Prentice Hall.
Wikipedia. 2006. “Logical Framework Approach.” http://en.wikipedia.org/wiki/
Logical_framework_approach.
Kritika logičkog okvira

Bakewell, Oliver, and Anne Garbutt. 2006. The Use and Abuse of the Logical Framework
Approach A Review of International Development NGOs’ Experiences. Swedish Inter-
national Development Agency. http://www.sida.se/shared/jsp/download.jsp?f=LFA-
review.pdf&a=21025.
MISEREOR. 2005. Methodological Critique and Indicator Systems. http://www
.misereor.org/index.php?id=4495.
Alternativne verzije logičkog okvira

Broughton, Bernard. 2005. A Modified Logframe for Use in Humanitarian Emergencies.
http://www.mande.co.uk/docs/EmergencyLogframeBroughton.doc.
Shaikh, Partha Hefaz. 2005. Intertwining Participation, Rights-Based Approach
and Log Frame: A Way Forward in Monitoring and Evaluation for Rights-Based
Work. http://www.mande.co.uk/docs/PIFA_Article_PDF.pdf. SIDA Civil Society
Centre. 2006. Logical Framework Approach, with an Appreciative Approach.
http://www.sida.se/shared/jsp/download.jsp?f=SIDA28355en_LFA_web
.pdf&a=23355.

Poglavlje 5
Razmatranje evaluacijskog
pristupa
Razvoj se sada ne fokusira na projekte nego na programe i politike, a

naglasak je na održivosti. Raznovrsni pristupi dizajniranju i provođenju
evaluacija koriste se u rješavanju ovih širih i kompleksnijih tema. Ovo
poglavlje posmatra neke od ovih pristupa.
U ovom poglavlju obrađuje se sljedeće:

• Opći pristupi evaluaciji
• Izazovi napredovanja
181
Opći pristupi evaluaciji
Od 1990-tih, međunarodna zajednica se polahko kreće od projekata ka progra-

mima ka partnerskim pristupima pomoći razvoju (vidjeti Tabelu 1.3). Partnerski
pristupi uključuju veliki broj dionika, koji su uključeni u većoj mjeri u komple-
ksnije operacije, kao što su sektorski pristupi finansiranju. Evaluacije velikih
programa su konsenkventno postale više participativne i združeno se provode,
iako su združene evaluacije još uvijek norma. Obnovljeni pozivi za povećano
nevezano finansiranje vladama – kao što su one izražene u Accri 2008. godine –
podrazumijevaju veće izazove evaluaciji u budućnosti.
Razvijeni su razni pristupi da bi se zadovoljila promjenjiva priroda razvoja
evaluacije. Izbor pristupa evaluaciji djelimično zavisi od konteksta. Pristupi nisu
nužno uzajamno isključivi, a evaluacije mogu kombinirati elemente dva ili više
pristupa. Pristupi uključuju sljedeće:
• prospektivnu evaluaciju;
• evaluativnu procjenu;
• evaluaciju zasnovanu na cilju;
• evaluaciju bez cilja;
• multilokacijsku evaluaciju;
• grupnu evaluaciju;
• socijalnu procjenu;
• socijalnu i okolišnu procjenu;
• participacijsku evaluaciju;
• mapiranje ishoda;
• brzu procjenu;
• sintezu evaluacija i meta-evaluacija i
• druge pristupe.
Koji god pristup da se odabere, moraju se preduzeti isti koraci planiranja:
definiranje pitanja evaluacije, identifikacija mjera, prikupljanje i analiza podataka,
izvještavanje na osnovu nalaza.
■■ Prospektivna
evaluacija: Prospektivna evaluacija
Evaluacija
vjerovatnih Prospektivna evaluacija se provodi ex ante, tj. predloženi program se pregleda
ishoda
prije nego što započne, u pokušaju da se analizira njegov vjerovatni uspjeh, pre-
predloženog
projekta, dvide troškovi te analiziraju alternativni prijedlozi i predviđanja. Prospektivnu
programa ili evaluaciju provode evaluacijske organizacije unutar zakonodavnih grana. Takav
politike primjer je Ured za odgovornost američke vlade

Tabela 5.1 Vrste dalekosežnih pitanja i način kako na njih odgovoriti
Svrha pitanja Kritika analiza drugih Provođenje vlastitih
analiza
Predvidjeti budućnost Koliko dobro je Koje su buduće potrebe,
administracija predvidjela troškovi, i konsekvence?
i buduće potrebe, troškove
i konsekvence?
Poboljšanje budućih Šta je vjerovatan uspjeh Koji pravac djelovanja

akcija administrativnog ili ima najveći potencijal za
kongresnog prijedloga? uspjeh?

Izvor: U.S. GAO 1990.
(GAO)—preimenovan kao takav 2004. – a odgovoran je američkom Kongresu.

GAO evaluatori ponekad pomažu vladi pri donošenju odluka osiguravajući
analitičke informacije o pitanjima i opcijama potencijalnih programa (U.S.
GAO1990).
GAO često pitaju o vjerovatnom uspjehu predloženih novih programa.
Oni pregledaju informacije o alternativnim prijedlozima i analiziraju rezultate
sličnih programa koji su u toku ili su završeni. Tabela 5.1 identificira četiri vrste
dalekosežnih pitanja koje se od GAO traže da ih istraži.
Većina prospektivnih evaluacija uključuje sljedeće vrste aktivnosti:
• kontekstualnu analizu predloženih programa ili politika;
• pregled evaluacijskih studija sličnih programa ili politika i sinteza nalaza i
lekcija iz prošlosti i
• predviđanje vjerovatnoće uspjeha ili neuspjeha, ako budući kontekst nije pre-
više različit od prošlog, i sugestije o jačanju predloženih programa i politika
ako oni koji donose odluke hoće ići naprijed (GAO 1990).
(Resursi i primjeri raznih vrsta procjena nalaze se u listi web stranica na kraju
ovog poglavlja).
■■ Procjena
Procjena evaluativnosti evaluativno-
sti:
Procjena evaluativnosti je kratka preliminarna studija koja se preduzima da se Kratka
odredi hoće li evaluacija biti korisna i izvodiva. Ovaj tip preliminarne studije preliminarna
studija
pomaže u pojašnjenju ciljeva programa, ili projekta, identificira dostupne resurse
preduzeta da se
podataka, ukazuje na nedostatke i identificira podatke koje treba razviti, identi- odredi da li bi
ficira ključne dionike i pojašnjava njihove potrebe za informacijama. Može se evaluacija bila
također redefinirati svrha evaluacije i metodi njenog provođenja. Ako interve- korisna i
nciju posmatramo kao implementiranu na osnovu implikacija za određivanje izvodiva
Razmatranje evaluacijskog pristupa 183

vremenskog rasporeda i dizajna evaluacije, procjena evaluativnosti može uštediti
vrijeme i pomoći da se izbjegnu skupe pogreške.
Wholey i njegove kolege su razvili pristup u procjeni evaluativnosti ranih
70-tih kako bi iznijeli vjerovanje da su mnoge evaluacije propale zbog neslaganja
između „retorike i realnosti“ (Nay i Kay 1982, str. 225). Procjenu evaluativnosti
su gledali kao sredstvo omogućavanja komunikacije između evaluatora i dionika.
Predložili su upotrebu procjene evaluativnosti kao sredstvo za određivanje je
li program „evaluativan“ i za fokusiranje na evaluaciju (Fitzpatrick, Sanders, i
Worthen 2004). Procjena evaluativnosti je prvobitno razvijena kao preteča suma-
tivnoj evaluaciji; njena se uloga od tada proširila da bi uključila pojašnjenje svrhe
formativne studije ili da funkcionira kao alat za planiranje (Smith 1989).
U procjeni evaluativnosti, evaluatori obavljaju preliminarne radove da odrede
može li se evaluacija provesti. Ako je, na primjer, predložena evaluacija zasno-
vana na cilju, nedostatak jasnih programskih ciljeva ili slaganja među dionicima
može biti problematičan. Sve dok ne postoje jasni ciljevi i slaganje, prerano je za
evaluaciju. Ponekad mjere nisu dostupne, u tom slučaju treba ih razviti prije nego
što intervencija može biti evaluirana.
Procjena evaluativnosti se stoga fokusira na izvodivost provođenja evalu-
acije. Ukoliko nije izvodivo da se dizajnira evaluacija iz dostupnih informacija
ili intervenciji nedostaje dosljedna teorija promjene, treba obaviti još prelimi-
narnih radova. Procjena evaluativnosti može pomoći u razjašnjenju intervencije i
željenih rezultata. Često se ostvari dijalog o ciljevima, izlaznim rezultatima,
ciljanoj populaciji, te namjeravanim ishodima intervencije tako da se može
postići saglasnost o onome što treba ostvariti.
Grupa često provodi procjenu evaluativnosti, uključujući dionike, kao što su
implementatori, administratori, kao i evaluatori. Da bi proveo procjenu evalu-
ativnosti tim:
• pregleda materijale koji definiraju i opisuju intervenciju;
• identificira modifikacije intervencije;
• intervjuira menadžere i osoblje o njihovom poimanju ciljeva intervencije;
• intervjuira dionike o njihovom poimanju ciljeva intervencije;
• razvija ili rafinira model teorije promjene;
• identificira izvore podataka i
• identificira ljude i organizacije koje mogu implementirati sve moguće pre-
poruke evaluacije.

Jedna od potencijalnih koristi procjene evaluativnosti je da može dovesti do
realnije i odgovarajuće evaluacije. Smith (1989) i Wholey (1987) također uka-
zuju da može poboljšati:
• sposobnost razlikovanja između neuspjeha intervencije i neuspjeha evaluacije;
• procjenu dugoročnih ishoda;
• ulaganje dionika u intervenciju;
• izvedbu intervencije;
• razvoj evaluacije i evaluativnih vještina osoblja;
• vidljivost i odgovornost za intervenciju;
• administrativno razumijevanje intervencije;
• izbore politika i
• stalnu podršku intervenciji.
Evaluacija zasnovana na cilju
Evaluacija zasnovana na cilju mjeri stepen u kojem je program ili intervencija

ostvarila jasne i određene ciljeve (Patton 1990). Fokus evaluacije je na posta- ■■ Evaluacija
vljene ishode (ciljeve) projekta, programa, ili politike. Ovo je tipična evaluacija zasnovana na
koja je većini ljudi poznata - osnova je evaluacionih sistema projekta kod većine cilju:
Evaluacija koja
razvojnih organizacija.
mjeri
Jedna kritika pristupa zasnovanog na cilju je da se koncentrira na ekono- opseg do kojeg
mske i tehničke aspekte umjesto na socijalne i humane aspekte evaluativnosti program Ili
(Hrschheim i Smithson 1988). Druga kritika je da se takva evaluacija fokusira intervencija
na zadane ciljeve. Ostvarenje drugih važnih ciljeva – koji mogu biti implicitni ostvaruje jasne i
specifične
prije nego eksplicitni ili se o njima može raspravljati tokom sastanaka odbora ili
ciljeve
odjela, ali da ne budu uključeni u zadane ciljeve projekta – se ne evaluira. Treća
kritika je da ne posmatra nenamjeravane efekte (pozitivne ili negativne).
Ovo mogu biti ozbiljni previdi. Evaluacija novog postrojenja za tretman vode,
na primjer, može se fokusirati na zadane ciljeve projekta, izgradnju, funkcioniranje
i održavanje postrojenja za tretman vode da bi se proizvela čista voda u određenoj
količini svakog dana i da zadovolji potrebe određenog broja domaćinstava ili
zajednica. Često se previde efekti koje intervencija ima na ljude, koji žive na
zemljištu na kom je planirana gradnja i koje treba preseliti. Neuspjeh da se artiku-
lira cilj za preseljenje koje ostavlja ljude sa poboljšanim, održivim sredstvima za
život, predstavlja ozbiljan propust. Evaluacija pravi problem ukoliko ne postavlja
pitanje o preseljenju zato što to nije formalni, eksplicitni cilj projekta.

Evaluacija treba tražiti nepredviđene pozitivne ili negativne efekte inter-
vencije. Iako specifični ciljevi možda nisu artikulirani, evaluacija može koristiti
da dokumentira smanjenje slučajeva oboljenja koji se prenose vodom u zajedni-
cama koje sada imaju čistu vodu.
Evaluacija zasnovana na rezultatima, metod koji je zastupljen u ovom tekstu,
traga za rezultatima koji su artikulirani ili koji nisu artikulirani kao ciljevi. Evalu-
acija zasnovana na ciljevima se može ojačati ukoliko je otvorena za neočekivane
pozitivne ili negativne rezultate.
Evaluacija bez cilja

Evaluacija bez cilja je razvijena kao reakcija na onu zasnovanu na cilju. Scriven
(1972b), koji je prvi predložio evaluaciju bez cilja, bio je i glavni zagovornik
ovog pristupa.
■■ Evaluacija U evaluaciji bez cilja, evaluator čini namjerne pokušaje da izbjegne svu
bez cilja: retoriku vezanu za ciljeve programa. Evaluatori ne raspravljaju o ciljevima sa
Evaluacija gdje osobljem i ne čitaju programske brošure ili prijedloge. Oni evaluiraju samo pro-
evaluatori čine
gramske uočljive ishode i efekte koji se mogu dokumentirati u odnosu na potrebe
namjerne
pokušaje da učesnika (Patton 2002). Kao što Scriven (1972b, str. 2) primjećuje:
izbjegnu svu Ukratko, meni izgleda da je razmatranje i evaluacija ciljeva ne samo nepotrebno
retoriku koja je
nego i mogući kontaminirajući korak.... Što manje eksterni evaluator čuje o
vezana za
ciljevima projekta, manje se razvija tunel-vizija, više će pažnje biti poklonjeno
ciljeve projekta
zasnivajući
posmatranju stvarnih efekata (nego provjeravanju navodnih efekata).
evaluaciju samo
Evaluacija bez cilja prikuplja podatke o efektima i efikasnosti programa bez
na stepenu na
kom ona
ograničenja uskim fokusom na ciljeve. Takva evaluacija bilježi stvarno iskustvo
zadovoljava učesnika programa u njihovim uvjetima. Zahtijeva se da evaluatori suspendiraju
potrebe sud o onome što program pokušava ostvariti i umjesto toga se fokusiraju na ono
učesnika što se stvarno dešava. Iz ovih razloga, ova evaluacija je posebno kompatibilna
sa kvalitativnim upitima, iako se mogu primijeniti i kvantitativne i kvalitativne
metode.
Scriven (1997) predlaže provođenje odvojenih evaluacija bez cilja i evaluacija
zasnovanih na cilju kako bi se povećala jačina i smanjile slabosti svakog pristupa.
Wholey, Harty, i Newcomer (1994) opisuju sljedeće karakteristike evaluacije
bez cilja:
• Evaluator izbjegava biti svjestan ciljeva programa.
• Predodređeni ciljevi ne smiju suziti fokus studije evaluatora.
• Evaluator ima minimalan kontakt sa menadžerom i osobljem programa.
• Fokus se postavlja na stvarne ishode prije nego na namjeravane ishode.

Generalno je teško u razvojnom kontekstu izbjeći poznavanje ciljeva interve-
ncije. Može biti neizvodivo i nepoželjno za evaluatora da ima minimalan kontakt
sa osobljem programa. Ipak, koristeći pristup zasnovan na rezultatima evaluator
može koristiti mnoge elemente evaluacije bez cilja.
Multilokacijske evaluacije
U intervencijama velikih razmjera, često je neophodno posmatrati impleme-
ntaciju intervencije na različitim lokacijama. Te evaluacije se nazivaju multilo- ■■ Multilokaci-
kacijske. Intervencija se može implementirati na isti način na svim lokacijama. jske evalu-
Multilokacijska evaluacija osigurava informacije o ukupnom iskustvu interve- acije:
Evaluacija koja
ncije kao i o dubljem razumijevanju nastalih varijacija.
istražuje
Multilokacijske evaluacije mogu odgovoriti na pitanja kao što su sljedeća: intervencije
• Koje osobine implementacije intervencije su zajedničke svim lokacijama? implementirane
na različitim
• Koje osobine variraju i zašto?
lokacijama
• Postoje li razlike u ishodima zasnovane na tim varijacijama?
Pribavljanje temeljitih informacija je ključ. Da bi to uradili evaluatori često
koriste studije slučaja za multilokacijske evaluacije. Lokacije se obično odabiru
za studiju zato što predstavljaju određene karakteristike (na primjer, veličina,
etnička pripadnost, socio-ekonomski status) što može rezultirati u sistemskim
razlikama u implementaciji intervencije i rezultatima. Naravno, može biti teško
odrediti jesu li varijacije u intervenciji uzrokovale te razlike. U nekim slučajevima,
intervencije pokazuju učinke zbog jedinstvenih razlika u postavkama, kao što su
jako vodstvo ili građanske aktivnosti. U drugim slučajevima, promjene se mogu
objasniti sistemskim razlikama, kao što su regionalne razlike. Ove razlike mogu
imati implikacije na replikaciju.
Multilokacijska evaluacija mora zabilježiti klimu u kojoj intervencija funkci-
onira kao i kulturne, geografske, ekonomske, razlike u veličini ili neke druge
sistemske razlike koje mogu imati varijacije u iskustvima i ishodima. Učešće
dionika je važno, zato što dionici mogu pomoći evaluatorima da bolje razumiju
lokalnu situaciju.
Multilokacijska evaluacija je tipično jača nego evaluacija jedinstvene interve-
ncije na jednoj lokaciji. Može se vjerodostojnije sažeti u većim populacijama,
zato što uključuje više primjera i raznovrsniji set situacija u intervenciji. Mogu
se izvesti „unutrašnje analize“ kao i „međuanalize“ lokacija. Ukupni nalazi, kao
i konzistentni nalazi u intervenciji, osiguravaju jače dokaze o efikasnosti interve-
ncije nego oni prikupljeni na jednom mjestu.

Poređenje intervencija kroz lokacije će vjerovatno osigurati raspon lekcija
i strategija koje se mogu koristiti u raznim situacijama. Dobra praksa također
može nastati iz multilokacijskih evaluacija. Važno je, međutim, imati na umu
da lokacije odabrane na osnovu procjene evaluatora, čak iako su odabrane da
predstavljaju određene karakteristike, ne predstavljaju statistički populaciju i ne
otkrivaju nužno svu dobru praksu.
U provođenju višelokacijske evaluacije, evaluatori moraju osigurati da je pri-
kupljanje podataka što više standardizirano. Isti podaci se moraju prikupljati na
isti način ako želimo da poređenje ima smisla. Ovo prikupljanje zahtijeva dobro
obučeno osoblje, dostupnost istih podataka na svim lokacijama te dovoljno info-
rmacija unaprijed da se dizajniraju instrumenti prikupljanja podataka.
Svaka lokacija je različita. Neki indikatori se mogu porediti, ali svaka lokacija
može imati neznatno drugačiji fokus. Politički, socijalni, ekonomski, i histori-
jski kontekst mogu oblikovati implementaciju projekta te tako i samu evaluaciju
(Johnston i Stout 1999).
Grupna evaluacija
■■ Grupna Grupna evaluacija je slična multilokacijskoj evaluaciji, ali je namjera različita

evaluacija: Generalno posmatra grupu sličnih ili srodnih intervencija koje skupa predstavljaju
Evaluacija koja skup intervencija. Posmatra ovu „grupu“ intervencija u jednoj ili više postavki.
posmatra grupu
Kao i multilokacijska evaluacija, grupna evaluacija ne namjerava odrediti da li
sličnih ili
srodnih intervencija radi kako bi osigurala odgovornost. Ne evaluira uspjeh ili neuspjeh
intervencija pojedinih intervencija niti identificira intervencije koje se prekidaju. Namjera joj
je naučiti šta se desilo u grupama te da se otkriju zajedničke teme i naučene
lekcije. Informacija se objavljuje samo skupno, tako da nijedan projekt nije
identificiran. Kao i u multilokacijskim evaluacijama učešće dionika je ključno.
Grupne evaluacije se razlikuju od multilokacijskih tako što se ne zanimaju
generalizacijom niti repliciranjem. Varijacije se posmatraju kao pozitivne, zato
što se pojedini projekti prilagođavaju njihovom kontekstu. Grupna evaluacija se
više fokusira na učenje nego na izvlačenje ukupnih zaključaka o kvalitetu ili vri-
jednosti programa.
Iako ne postoje određene metodologije za grupne evaluacije, takve evaluacije
često koriste kvalitativne pristupe da se dopune kvantitativni podaci. Moguće je
zamisliti grupne evaluacije kao višestruku studiju slučaja, uz razmjenu informa-
cija po slučajevima putem mrežnih konferencija što je značajna karakteristika
ovog pristupa.

Nedostatak grupnih evaluacija je da one ne pokazuju rezultate pojedinih
lokacija niti uzimaju u obzir planirane ili neplanirane varijacije. Podaci pokazuju
samo zbirne informacije.
Socijalna procjena
Socijalna procjena je postala važan dio mnogih evaluacija. Socijalna procjena

posmatra socijalnu strukturu, procese, i promjene unutar grupe ili zajednice.
Također, može posmatrati trendove koji imaju utjecaja na grupu.
Socijalna procjena je glavni instrument koji se koristi da se osigura da se
socijalni utjecaj razvojnih projekata, programa i politika uzmu u obzir. Koristi se ■■ Socijalna
za razumijevanje ključnih socijalnih pitanja i rizika te da odredi socijalne utjecaje procjena:
Procjena koja
intervencije na različite dionike. Posebna namjera socijalne procjene je da odredi
posmatra
je li vjerovatno da projekt uzrokuje štetan socijalni utjecaj kao što je raseljavanje socijalnu
stanovnika da se napravi mjesto za elektranu. Mogu se postaviti strategije da se strukturu,
ublaže štetni utjecaji ako su ti utjecaji poznati i potvrđeni. Te strategije kojim se procese i
ublažavaju štetni utjecaji se zatim mogu pratiti i procijeniti kao dio evaluacije. promjene
The World Bank Participation Sourcebook (1996) identificira sljedeće svrhe unutar grupe ili
zajednice
socijalne procjene:
• Identificirati ključne dionike i uspostaviti odgovarajući okvir za njihovo
učešće u odabiru projekta, dizajnu i implementaciji.
• Osigurati da ciljevi projekta i poticaji za promjenom budu prihvatljivi gru-
pama ljudi koji bi trebali imati koristi od toga te da su spolne i ostale socijalne
razlike odslikane u dizajnu projekta.
• Procijeniti socijalni utjecaj investicionih projekata, gdje su identificirani štetni
utjecaji, odrediti kako ih prevazići ili barem u dovoljnoj mjeri ublažiti.
• Razviti sposobnost na odgovarajućem nivou da se omogući učešće, razriješe
konflikti, dozvoli vršenje usluga te da se provedu mjere ublažavanja prema
potrebi.
Knjiga izvora identificira sljedeća česta pitanja koja se postavljaju tokom soci-
jalne procjene:
• Ko su dionici? Jesu li ciljevi projekta konzistentni sa njihovim potrebama,
interesima i kapacitetima?
• Koji socijalni i kulturni faktori utječu na mogućnost dionika da sudjeluju ili
imaju koristi od predloženih akcija?
• Koji je utjecaj projekta ili programa na razne dionike, posebno žene i osjetljive
grupe? Koji socijalni rizici (nedostatak posvećenosti ili kapaciteta te neko-
mpatibilnost sa postojećim uvjetima) mogu utjecati na uspjeh projekta ili
programa?

• Koji institucionalni sporazumi su potrebni za učešće u izradi projekta? Postoje
li adekvatni planovi za izgradnju potrebnog kapaciteta?
Alati i pristupi u socijalnoj procjeni uključuju sljedeće:
• analizu dionika;
• gender analizu;
• procjenu ruralnog učešća;
• posmatranje, intervjue, i fokusne grupe;
• mapiranje, analizu zadataka, i rangiranje imućnosti i
• radionice koje se fokusiraju na planiranje projekta orijentirane na ciljeve.
Primjeri ključnih indikatora za monitoring socijalnog utjecaja uključuju
sljedeće:
• stopa učešća po socijalnim grupama u dobrovoljnim testiranjima;
• stopa učešća po socijalnim grupama u aktivnostima savjetovanja;
• izvještaji o povećanoj upotrebi prezervativa i
• procenat članova zajednice koji učestvuju u brizi o ljudima koji imaju H I V /
AIDS i ljudi koji vode brigu o njihovim porodicama.
Tekstualni okvir 5.1 sadrži primjer inkorporacije socijalne procjene u projekt.
Socijalna i okolišna procjena
Sve više, razvojne organizacije prepoznaju potrebu za programima i projek-

tima koji se bave socijalnim i pitanjima okoliša, te potrebu da se evaluira ostva-
renje okolišnih i socijalnih ciljeva. Većina razvojnih organizacija se drži skupa
temeljnih okolišnih i socijalnih standarda te identificira potencijalne okolišne i
socijalne utjecaje kao dio programa ili kao dio procesa odobravanja projekta. Ako
se projekt ili program odobre, ovi potencijalni utjecaji se prate tokom impleme-
ntacije te se procjenjuju po završetku programa ili projekta. Socijalna i okolišna
procjena se posmatraju kao neodvojive jedna od druge.
Razvojne organizacije sada prepoznaju ulogu koju lokalno stanovništvo mora
imati u dizajnu, implementaciji i monitoringu intervencija koje imaju implikacije
na okoliš i prirodne resurse. Lokalno stanovništvo i drugi dionici su partneri u
očuvanju i upravljanju prirodnim resursima.
Socijalna i evaluacija okoliša može biti jedina svrha evaluacije ili može biti
jedna komponenta evaluacije.

Tekstualni okvir 5.1 Socijalna procjena kreditnog projekta i poljoprivrednog razvoja
Azerbejdžana
Projekt privatizacija farmi, koji je omogućio fleksibilnije i više prilagodljive kredite, implementiran je
da se područja farmi u Azerbejdžanu dovedu na prijašnji nivo proizvodnje. Projekt se fokusirao na
upis nekretnina, razvoj tržišta zemljom, te pružanje kredita i informacija o muškarcima i ženama,
posebno onima sa niskim primanjima.
Cilj socijalne procjene bio je osigurati da je predložena intervencija zasnovana na dioničkom
vlasništvu (obavezivanje) i da je očekivana korist socijalno prihvatljiva. Informacije prikupljene
procjenom pomogle su menadžerima da dizajniraju monitoring učešća i proces evaluacije.
Prva faza socijalne procjene uključila je sljedeće komponente:
• pregled sekundarnih podataka, uključujući ranije procjene;

• pregled domaćinstava i žena u tri od šest regiona, nakon čega je uslijedila kvalitativna brza
procjena;
• polustrukturirani intervjui pojedinaca (farmera, upravnika farmi, nezaposlenih radnika, predsta-
vnika zajednica, ženskih grupa, lokalnih udruženja, tehničara, vladinih zvaničnika);
• posmatranje na licu mjesta (član tima živio je sa porodicom na farmi da bi proveo posmatranje
na licu mjesta o utjecaju privatizacije farmi);
• pet fokusnih grupa sa homogenim grupama dionika;
• konsultacije sa kreatorima politike i administratorima kao i sa lokalnim i međunarodnim
NVO-ima;
• diskusije sa bivšim menadžerima državnih farmi i predstavnicima zajednice;
• seminar sa dionicima.
Procjena je organizirana oko četiri stuba:
• Socijalni razvoj. Ključni interes fokusiran na siromaštvo, gender, i socijalnu isključenost

• Institucije: baza moći ruralnih područja se mijenjala, otežavajući identifikaciju ključnih dionika.
Postojala su ograničena istraživanja socijalnih organizacija i nedostatak analiza o utjecaju rura-
lne migracije
• Učešće: konfuzija i nejasnoće u procesu zemljišne reforme su se pojavili. Raspodjela zemljišta
smanjila je siromaštvo, ograničen je utjecaj bivših upravnika farmi i pomogla je u jačanju ruralne
populacije. Povećao se pristup kreditima, ali je kamata ostala visoka (15-18 procenata).
• Monitoring/evaluacija: Indikatori djelovanja su korišteni u monitoringu implementacije. Indika-
tori su vezali ulazne elemente i aktivnosti kvantitativnim mjerenjem očekivanih izlaznih rezultata
i utjecaja.
Procjenom se, također, posmatrao utjecaj u obliku povećanja produktivnosti, povećanja pri-
hoda, smanjenja siromaštva te zadovoljstva učesnika.
Izvor: Kudat i Ozbilgin 1999.

Socijalnu i procjenu okoliša treba provoditi ne samo na projektima sa
očiglednim okolišnim efektima (fabrike papira i celuloze, naftovodi) nego i kod
intervencija kao što je izgradnja nove škole ili finansiranje kreditne linije.
Ako organizaciji nedostaju okolišni i socijalni standardi, evaluatori mogu
koristiti standarde države u kojoj organizacija funkcionira, Equator Principi ISO
■■ Ekvator 14031, Održive razvojne strategije: Knjiga resursa (Dalal Clayton i Ba 2002).
principi:
Industrijski Ekvator principi
pristup za Ekvator principi su set principa koji pomaže finansijskim institucijama pri
određivanje,
određivanju, procjeni i upravljanju okolišnim i socijalnim rizicima u projektu
procjenu, i
upravljanje
finansiranja projekata sa ukupnim kapitalnim troškovima od najmanje 10 miliona
okolinskim i dolara (smanjeno sa 50 miliona 2006). Principi služe kao zajednička osnova i
socijalnim okvir za implementaciju pojedinačnih, internih, okolišnih, i socijalnih procedura
rizicima u i standarda za razvojne projekte.
privatnom
sektoru ISO 14031
finansiranja
Međunarodne organizacije za standardizaciju (ISO) razvile su i održavaju
projekata
međunarodne standarde za upravljanje okolišem, poznate kao ISO 14031. Sta-
ndard, prvi put objavljen 1999. godine, proces je internog procesa upravljanja i
alat razvijen da osigura menadžerima pouzdane i verificirane informacije kontinu-
■■ ISO 14031: irano. Pomaže u određivanju da li okolišno djelovanje organizacije zadovoljava
Set kriterije koje je postavila uprava organizacije. Evaluacija okolinskog djelovanja
međunarodnih
i okolinske revizije pomažu menadžmentu da procijene status svog okolinskog
Standarda za
upravljanje
djelovanja te da identificiraju područja za poboljšanje (ISO 1999).
okolišem koji su Evaluacija okolinskog djelovanja pomaže uspostavljanjem procesa za:
razvile
• odabir indikatora;
Međunarodne
organizacije za • prikupljanje i analiziranje podataka;
Standardizaciju • procjenu informacija prema kriterijima okolinskog djelovanja (ciljevi);
• izvještavanje i komunikaciju i
• periodične preglede i poboljšanje ovog procesa.
Održive razvojne strategije: Knjiga resursa

Knjiga resursa koju je objavila Organizacija za ekonomsku saradnju i razvoj
(OECD) i Razvojni program Ujedinjenih naroda(UNDP) pružaju fleksibilno,
neobavezujuće vodstvo kako razviti, procijeniti i implementirati nacionalne
strategije za održivi razvoj u skladu sa principima zacrtanim u smjernicama
strategija za održivi razvoj (Dalal-Clayton and Ba 2002).

Knjiga sadrži ideje i studije slučaja o glavnim zadacima u procesu strategije.
Njene smjernice su namijenjene državama, organizacijama i pojedincima koji se
bave održivim razvojem na državnom i lokalnim nivoima, kao i međunarodnim
organizacijama koje se bave podrškom takvom razvoju.
Participacijska evaluacija
Participacijska evaluacija postavlja ideju uključenja dionika na novi nivo.

Uključuje raspodjelu odgovornosti za planiranje evaluacije, implementaciju i
izvještavanje uključujući dionike u definiranje pitanja evaluacije, prikupljanje i ■■ Participaci-
analizu podataka, izradu i pregled izvještaja. jska evalu-
Paulmer (2005, str. 19) opisuje participacijsku evaluaciju kao acija:
Evaluacija u
kolektivnu procjenu programa od strane dionika i korisnika. Oni su također akci- kojoj se
jski orijentirani i izgrađuju kapacitet dionika te omogućavaju saradnju i raspodjelu odgovornosti za
donošenja odluka za veću upotrebu rezultata evaluacije. Mogu postojati različiti planiranje,
nivoi učešća prema korisnicima u evaluaciji. implementaciju
i izvještavanje
Postoje dva primarna cilja u participaciji i participativnim pristupima: dijele između
dionika, koji
• Participacija kao proizvod gdje je čin učešća cilj i jedan od indikatora uspjeha. mogu pomoći
• Participacija kao proces kojim se ostvaruje zadani cilj. definirati pitanja
evaluacije,
Prema Pattonu (1997), osnovni principi participacijske evaluacije su sljedeći: prikupljati i
analizirati
• Proces evaluacije uključuje vještine učesnika u postavljanju cilja, prioriteta,
podatke te
odabiranju pitanja, analizi podataka te donošenju odluka o podacima. pripremiti
• Učesnici su vlasnici (posvećeni) evaluacije, pošto oni donose odluke i vlastite izvještaj
zaključke.
• Učesnici osiguravaju da se evaluacija fokusira na metode i rezultate koje sma-
traju važnim.
• Ljudi rade zajedno, omogućavaju i promovišu jedinstvo grupe.
• Svi aspekti evaluacije su razumljivi i značajni učesnicima.
• Samoodgovornost se visoko cijeni.
• Moderatori djeluju kao resursi za učenje: učesnici djeluju kao oni koji donose
odluke i kao evaluatori.

Konvencionalnim istraživanjima su razvijene i dokumentirane smjernice
za određene tehnike u pokušaju povećanja pouzdanosti i validnosti podataka.
Participacijska evaluacija ne funkcionira prema jasno zacrtanim pravilima koja
stručnjaci predaju onima koji prikupljaju podatke. Umjesto toga, smjernice za
prikupljanje podataka se razvijaju kroz koncenzus, refleksiju, dijalog i iskustvo
(Narayan 1996).
Pristup participacijske evaluacije prima sve više pažnje u razvojnom konte-
kstu. Sve se više koristi za razvojne projekte, posebno inicijative zasnovane u
zajednicama. Participacijska evaluacija je još jedan korak dalje od modela neza-
visne evaluacije ili evaluatora kao stručnjaka.
Participativni pristup identificira a zatim uključuje ljude, agencije i orga-
nizacije koje imaju interesa za dato pitanje. Ljudi podrazumijevaju djecu, žene, i
muškarce u zajednici, posebno one iz marginaliziranih grupa. Također uključuju
osoblje agencije, kreatore politike, i sve one na koje utječu odluke donesene u
procesu participativnog istraživanja (Narayan1996).
U participacijskoj evaluaciji, od dionika se može tražiti da vode dnevnike ili
žurnale njihovih iskustava sa intervencijom. Mogu pomoći sa intervjuima ostalih
u zajednici. Mogu također biti uključeni u analizu podataka, interpretaciju nalaza
i pomoći pri razvoju preporuka.
Planiranje odluka, kao što je identificiranje pitanja, mjera i strategije priku-
pljanja podataka, donose se skupa sa učesnicima. To je prije združeni proces nego
tradicionalni proces koji ide od vrha prema dolje. (Tabela 5.2).
Pristup učešća obično povećava kredibilitet rezultata evaluacije u očima oso-
blja programa, kao i vjerovatnoću da će se rezultati koristiti. Zastupnici partici-
pativne evaluacije istu vide kao alat za jačanje učesnika i povećanje lokalnog
kapaciteta za uključivanje u razvojni proces.
Tabela 5.2 Osobine tehnika participativne evaluacije i tradicionalne

evaluacije
Participacijska Tradicionalna
• fokus učesnika i vlasništvo • fokus i vlasništvo donatora
• fokus na učenje • fokus na odgovornost i procjenu
• fleksibilan dizajn • predodređeni dizajn
• više neformalne metode • formalne metode
• autsajderi kao moderatori • autsajderi kao evaluatori
Izvor: Autori.

Participacijska evaluacija predstavlja značajan izazov. Uključuje više transa-
kcijske troškove nego tradicionalna evaluacija, zato što održavanje sastanaka i
uvjeravanje da svi razumiju šta se očekuje uzima vrijeme i zahtijeva značajne
vještine. Grupe nastoje ići kroz proces u kojem su razlike pomirene i norme
grupe razvijene prije nego se grupa fokusira na ostvarenje datog zadatka. Ovaj
dinamični grupni proces se ponekad naziva „formiranje, talasanje, normiranje i
izvođenje“. Nakon formiranja, prirodno je da slijedi period konflikta (talasanje).
Ako grupa prođe kroz konflikte, uspostavit će specifičnije sporazume kako će
raditi zajedno (normiranje). Kada se sporazumi uspostave, krenut će se u izvedbu
datog zadatka (izvođenje).
Mogu također postojati izazovi u formiranju egalitarskog tima u kulturi gdje
različiti članovi imaju različit status u zajednici. Evaluator koji hoće provoditi
evaluaciju učešća mora imati moderatorske, vještine saradnje i vještine
upravljanja konfliktom (ili imati nekoga s tim vještinama ko će preuzeti
vodstvo). On ili ona moraju također imati sposobnost provesti pravovremenu
obuku o osnovnim vještinama i tehnikama vezanim za evaluaciju i grupne pro-
cese svojstvene u participaciji.
Ljudi obučeni za provođenje tradicionalne evaluacije mogu postaviti pitanje
objektivnosti participacijske evaluacije. Postoji rizik da oni najbliži intervenciji
neće biti u stanju vidjeti šta se stvarno dešava ako to nije ono što oni očekuju
da vide. Evaluacija stvarno može postati „zarobljena“ i izgubiti objektivnost.
Učesnici se mogu plašiti iznošenja negativnih pogleda, zato što se pribojavaju
da ih drugi u grupi mogu prognati ili da će se intervencija zaustaviti, rezultirajući
gubitkom novca za zajednicu ili da više nikad neće dobiti priliku da razvojna
organizacija radi sa njima. Pristupajući participatornoj evaluaciji iz perspektive
učenja može se pomoći u smanjenju ovih strahova. Evaluatori trebaju razmotriti
stepen do kojeg se kredibilitet može dovesti u kompromis (u pogledu autsajdera)
odabirući radije participativni nego nezavisni evaluacijski pristup.
Gariba (1998) opisuje kako riječ evaluacija uzrokuje pomiješane reakcije
među donatorima i implementatorima. Donatori mogu biti zabrinuti kako će
evaluacija utjecati na projekt (to jest, uzrokovati njeno proširenje ili gašenje).
Implementatori projekta se mogu pribojavati da bi evaluacija mogla omalovažiti
njihove pristupe menadžmentu projekta.
Gariba opisuje kako participativna evaluacija može biti uspješan i sistematičan
način učenja iz iskustva. Participativnom evaluacijom, partneri u razvojnoj
intervenciji mogu izvući lekcije iz njihove interakcije i preduzeti korektivne
akcije da poboljšaju efektivnost i efikasnost budućih aktivnosti.

Gariba (1998) Opisuje kritične elemente participativne evaluacije:
• Evaluacija je sredstvo učenja: ovaj princip čini glavnu paradigmu izbora.
Svrha nije istražiti nego napraviti priliku za sve dionike, uključujući donatore,
da se nauči iz njihovih uloga u vježbi razvojne intervencije.
• Evaluacija kao dio razvojnog procesa: aktivnost evaluacije nije diskretna i
odvojiva od samog razvojnog procesa. Rezultati i odgovarajući alati postaju
alati za promjenu prije nego historijski izvještaji.
• Evaluacija kao partnerstvo i raspodjela odgovornosti: u metodologiji procjene
participativnog utjecaja svi akteri imaju manje-više istu težinu (ovo je veliki
kontrast tendenciji za evaluatore da uspostave sindrom „mi“ profesionalci i
„oni“ akteri projekta i korisnici). Evaluator se transformira iz istraživača u
promotera i učesnika.
Prema Kanadskoj međunarodnoj razvojnoj agenciji (CIDA 2004), ako dionici
učestvuju u razvoju rezultata, oni će najvjerovatnije doprinijeti implementaciji
intervencije. CIDA vjeruje da participativna evaluacija također
• izgrađuje odgovornost unutar zajednice;
• daje više realističnu orijentaciju evaluaciji;
• povećava saradnju i
• jača lokalne učesnike uključujući ih u proces evaluacije.
Tekstualni okvir 5.2 ilustrira jednu tehniku korištenu u participativnoj
evaluaciji.
Mapiranje ishoda
Kanadski međunarodni istraživački centar (IDRC) je razvio inovativan pristup

evaluaciji. Pristup mapiranja ishoda nastoji ne zamijeniti tradicionalne oblike
evaluacije, nego ih dopuniti, fokusirajući se na srodnu promjenu u ponašanju.
Mapiranje ishoda se fokusira na jedan određen tip rezultata: promjena ponašanja.
Fokus je više na ishodima nego na ostvarenju razvojnih utjecaja, koji se sma-
traju „silaznim“ i koji reflektiraju mnoga nastojanja i intervencije. Pokušaj tačne
procjene doprinosa bilo koje organizacije utjecaju, IDRC smatra uzaludnim.
■■ Mapiranje Umjesto toga mapiranje ishoda traži da se posmatraju ponašanja, koja nastaju
ishoda: višestrukim nastojanjima, kako bi se poboljšala izvedba projekta, programa i
Mapiranje politike.
promjene u
ponašanju
Pod mapiranjem ishoda, granični partneri – pojedinci, grupe i organizacije
koje su u interakciji sa projektom, programom i politikom – identificirani su.
Mapiranje ishoda pretpostavlja da granični partneri kontrolišu promjenu. Također
pretpostavlja da je njihova uloga kao vanjskog posrednika da im osigura pristup

Tekstualni okvir 5.2 Izgradnja povjerenja kroz participacijsku
evaluaciju
U Maroku grupa medijatora je gradila povjerenje među ženama tražeći da se
okupe u krug i drže za ruke. Zatim je tražila od žena da se upetljaju a da ne
puštaju ruke. „Autsajder“ im je zatim naložio da se raspetljaju – vježba je
trajala šest minuta. Zatim su tražili da grupa ponovi vježbu. Drugi put ženama
je trebalo10 sekundi da se raspetljaju.
Medijator je pomogao grupi da donesu zaključak o ulogama „autsajdera“:
autsajderi generalno bolje funkcioniraju kao medijatori i katalizatori nego kao
lideri. Lokalni narod zna bolje kako naći rješenje njihovim problemima, zato
što ih oni žive.
Izvor: Svjetska banka 1996.
novim resursima, idejama ili prilikama u određenom vremenskom periodu.

Najuspješniji programi, prema onima koji zastupaju mapiranje ishoda, su oni koji
prebacuju ovlasti i odgovornosti ljudima koji djeluju unutar projekta ili programa.
Fokus mapiranja ishoda su ljudi. Predstavlja pomjeranje od procjene utjecaja
razvoja projekta ili programa prema opisivanju promjena u načinu kako se ljudi
ponašaju tokom aktivnosti bilo pojedinačno bilo unutar grupa ili organizacija.
Mapiranje ishoda osigurava put modeliranja onoga što program namjerava
učiniti. Razlikuje se od većine logičkih modela zato što prepoznaje da različiti
granični partneri funkcioniraju unutar različitih logičkih i sistema odgovornosti.
Mapiranje ishoda nudi metod za monitoring promjena kod graničnih partnera
i u programu kao organizaciji. Podstiče program da redovno procjenjuje kako
poboljšati učinak. Mapiranje ishoda se također može koristiti kao alat procjene
završetka programa kada je svrha evaluacije proučiti program kao cjelinu.
Zagovornici mapiranja ishoda vjeruju da se mnogi programi, posebno oni
koji se fokusiraju na izgradnju kapaciteta, mogu bolje planirati za procjenu
njihovog doprinosa razvoju fokusirajući se na ponašanje. Na primjer, cilj pro-
grama može biti da se osigura zajednici pristup čistoj vodi instaliranjem filtera za
prečišćavanje. Tradicionalni metod evaluacije može evaluirati rezultate prebroja-
vanjem instaliranih filtera i mjerenjem promjena u nivou kontaminata u vodi prije
i poslije nego su instalirani.
Pristup mapiranja ishoda bi se fokusirao na ponašanje. Počeo bi sa pretpo-
stavkom da voda ne ostaje čista ako je ljudi vremenom ne održavaju. Ishodi pro-
grama bi zatim bili evaluirani fokusiranjem na ponašanje onih koji su odgovorni
za čistoću vode – posebno, promjene u nabavci i upotrebi odgovarajućih alata,

vještina i znanja. Mapiranjem ishoda bi se evaluiralo kako ljudi prate nivo konta-
minacije, mijenjaju filtere ili dovode stručnjake kada je to potrebno.
Pjesma o mapiranju ishoda, koju je napisao Terry Smutylo, bivši direktor
evaluacija u Međunarodnom razvojnom centru, sažima neke od problema koje
nastoji riješiti (link snimku izvedbe „The Output Outcome Downstream Impact
Blues“Terryija Smutyloa, nalazi se na listi web stranica na kraju ovog poglavlja.)
Rezultat ishod silazni utjecaja blues

Rezultat, ishod, utjecaj: Za koga, od koga, kaže ko?
Ne traži utjecaj sa atribucijom
Postoji nestašna mala riječ sve više u upotrebi
U razvojnim programima koje hoće da zloupotrijebi
Postaje opsesija i sada svi u akciju
Zato što opstanak ovisi o tom nedostižnom utjecaju
REFREN I
Zato što utječe na svakom mjestu u svako vrijeme
Možeš ga naći iza ugla ili bilo gdje
Ali ako se desi na način koji nisi odabrao
Dobiješ te rezultate ishoda silaznog utjecaja blues.
Sada kad donatori utjecaj traže, šta uistinu hoće da vide

Je lijepa mala sličica njihove fantazije
E to je nešto što dobar evaluator nikada uradio ne bi
Koristio riječ utjecaj, a da o njoj dobro ne promisli.
Ali sada donatori često kažu i to je fakat

Idi tamo i utjecaj nam daj
Trebate promijeniti živote ljudi i pomoći nama preuzeti zasluge
Ili sljedeći put kada sredstva budete htjeli
Hm hm
Možda ih dobiti nećete moći
REFREN I
Zato što utječe na svakom mjestu u svako vrijeme
Možeš ga naći iza ugla ili bilo gdje
Ali ako se desi na način koji nisi odabrao
Dobiješ te rezultate ishoda silaznog utjecaja blues.

Brza procjena
Brza procjena zadovoljava potrebe brzih i i manje skupih evaluacija. Posebno

su korisne u evaluacijskom kontekstu zemalja u razvoju, gdje su vrijeme i drugi
resursi ograničeni. Ovi ograničeni resursi, nedostatak podataka baznih linija,
nizak nivo pismenosti, što upotrebu namjenskih upitnika čini neophodnim i
ograničeni budžet evaluacije, često otežavaju provođenje podrobnije evaluacije.
Dok ne postoji fiksna definicija šta je to brza procjena, generalno se opisuje
kao most između formalnog i neformalnog prikupljanja podataka – „prilično brz
i prilično čist“ pristup prije nego „brz i prljav“. Brza procjena se može opisati kao
sistematičan, polustrukturiran pristup kojeg obično na terenu provodi tim evalu-
atora. Idealan tim je raznolik tako da odslikava različite perspektive.
Brza procjena se najbolje koristi kada posmatramo proces, a ne ishode i
utjecaje. Generalno, nastoje se prikupiti samo najbitnije informacije – „što
se mora znati“ a ne „što bi bilo dobro znati“ – prikupljene kroz kvantitativni i
kvalitativni pristup. Osnovna orijentacija brze procjene u razvojnoj evaluaciji je
„tražiti da se razumije“, zato što će neosuđujući pristup vjerovatnije pokrenuti
otvorenu i iskrenu konverzaciju.
Vrše se posjete lokacijama, zato što posmatranje intervencije unutar njenih
postavki osigurava naznake koliko ona dobro funkcionira. Ključni zadatak
je identificirati ljude za intervenciju koji imaju raspon iskustava i perspektiva,
posebno onih koje bi evaluacija najvjerovatnije previdjela.
Mala, ali veoma raznolika, grupa ključnih informatora može biti veoma efekti-
vna u sagledavanju cjelokupnog stanja situacije. Vještine slušanja su veoma bitne.
Brza procjena može koristiti iste metode prikupljanja podataka i analize podataka
kao i bilo koji drugi tip evaluacije. Razlika je obično u djelokrugu. Obično je brza
procjena malog djelokruga, gdje se kontaktira nekoliko ključnih ljudi na malom
broju lokacija. Mora se koristiti više izvora informacija, zato što višestruki izvori
povećavaju kredibilitet, smanjuju sklonost te osiguravaju perspektivu cjeloku-
pnosti. Stoga, podatke iz intervjua ključnih informatora treba dopuniti informaci-
jama iz prethodnih izvještaja i studija, bilježaka i dokumenata kao i podataka
prikupljenih preko posmatranja, fokusnih grupa, grupnih intervjua i anketa. Što
su informacije iz ovih izvora konzistentnije, jače je povjerenje u nalaze.
U mjeri u kojoj se koriste kvalitativni metodi, velike vještine bilježenja su
jako bitne. Pomažu evaluatoru voditi žurnal u kom bilježi posmatranja, teme,
neravnine, interpretacije i sve što se dogodi za vrijeme terenske posjete. To zatim
treba razmijeniti sa ostalim članovima tima kako bi se pomoglo u identificiranju
zajedničkih tema.

■■ Brza Pri provođenju brze procjene, evaluatori trebaju imati sljedeće savjete na umu:
procjena:
Sistematičan, • Pregledati sekundarne podatke prije nego se krene na teren.
polustrukturiran • Kada se dođe na teren, posmatrati, slušati, pitati, i bilježiti.
pristup • Praviti dobre bilješke tokom procesa; ne samo da su dobre bilješke bitne za
evaluaciji koji na izvještaj nego također pomažu pri izvlačenju smisla iz informacija koje su
terenu obično
prikupili različiti članovi tima.
provodi tim
evaluatora
Strategije i naučene lekcije u provođenju brzih procjena indiciraju da sljedeće
treba razmotriti prije nego se preduzme brza procjena:
• Izraditi raznolik, višedisciplinarni tim sačinjen od muškaraca i žena.
• Kada je to moguće angažovati insajdera (neko ko je upoznat sa intervencijom
i lokalnim područjem) i autsajdera (neko ko će na stvari gledati na novi način).
• Koristiti male, a ne velike timove da se poveća interakcija.
• Podijeliti tim na one koji prikupljaju podatke i one koji izvlače smisao iz njih.
• Biti voljan ići gdje je potrebno (teren, tržnice, područja glavnog puta), a ne
samo ondje gdje je pogodno ići.
• Održavati fleksibilnost i prilagodljivost zato što nove informacije mogu pro-
mijeniti plan evaluacije (FAO 1997).
Sinteza evaluacija
Sinteza evaluacija je koristan pristup kada su već provedene mnoge evaluacije

rezultata sličnih intervencija. Omogućava evaluatoru da posmatra intervencije
koje se bave sličnim pitanjima ili teme koje identificiraju sličnosti. Korisno je
kada evaluacija nastoji pronaći ukupnu efikasnost intervencije.
Chelimsky i Morra (1984) su model donijeli u širi kontekst politike kada su
primijenili tehniku na predominantne kvalitativne kao i kvantitativne evaluacije
intervencije. Do tada se sinteza evaluacije koristila sa evaluacijama koje su
posuđivane predominantno kvantitativnim analizama, kao što su efekti nutri-
tivnih programa za mlade žene na težinu i smrtnost novorođenčadi ili efekat
veličine razreda na uspjeh učenika u obrazovanju.
Koncept iza nužnosti sinteze evaluacija je taj da pojedinačne evaluacije
mogu pružiti korisne informacije o određenim intervencijama. Tako, svaka
od pojedinačnih svaka od pojedinačnih evaluacija je previše specifična i u
određenom kontekstu, da bi omogućila opći stav o utjecaju intervencije.
Međutim, kada se kombinuju rezultati više studija, moguće je iznijeti generalne
stavove o utjecaju intervencije (pa čak i politike).
Jedna prednost sinteze evaluacija je da koriste dostupna istraživanja, čineći
ih tako manje skupim za provođenje od drugih tipova evaluacije. Druga

pre-dnost je da kreira veću bazu za procjenu utjecaja intervencije, povećavajući
pouzdanost donošenja generalnih stavova o utjecaju. Izazov je lociranje svih
relevantnih studija, objavljenih i neobjavljenih, određivanje kvaliteta svake
evaluacije i – kada je to primjenjivo – pribavljanje skupa podataka koji se
kombiniraju za sekundarnu analizu.
Sinteza evaluacija treba uključivati sljedeće:

• jasno postavljene procedure za identifikaciju evaluacija i definiranje njihovog
djelokruga;
• transparentan kriterij kvaliteta za donošenje odluka o uključivanju ili
isključivanju evaluacija iz sinteze;
• procedure za primjenu kriterija kvaliteta (koje često radi panel umjesto
pojedinac);
• navode za sve pregledane evaluacije;
• sažet opis svake evaluacije uključen u sintezu i nalaze o temama ili varijablama
■■ Sinteza
od interesa i evaluacija:
• propuste ili ograničenja sinteze. Pristup u kom
evaluator
Ponekad se koriste samo neki elementi sinteze evaluacija. U slučaju opisanom posmatra
u Tekstualnom okviru 5.3, na primjer, ne pojavljuju se izvještaji o pregledu intervencije koje
kvaliteta, što baca sumnju na nalaze sinteze. se bave sličnim
Termini sinteza evaluacije i meta-evaluacija se ponekad naizmjenično koriste pitanjima ili
u literaturi evaluacije. Mi pravimo razliku između ovo dvoje. Kao što se ovdje teme koje
identificiraju
koristi, sinteza evaluacija se odnosi na analitički sažetak rezultata evaluacija koje
sličnosti
zadovoljavaju minimum standardnih kvaliteta. Suprotno tome meta-evaluacija se

Tekstualni okvir 5.3 Korištenje sinteze evaluacija za mjerenje
koristi za okolinu
Odsjek za međunarodni razvoj U.K. (DfID) 2000. godine objavio je studiju
sinteze evaluacija o okolišnim projektima u 1990-tim, ali je imalo smisla da
su koristi za okoliš više „generalno pretpostavljene nego kritički ispitane“
(str.1). Studija okolinske sinteze je provedena da ispita 49 projekata koje je
podržao DfID u pet zemalja kako bi se procijenila implementacija i utjecaj
DfID bilateralnog projekta podrške za poboljšanje i zaštitu okoliša. Projekti
nisu bili primarno okolinski nego su pokrivali širok spektar okolinskih inte-
rvencija (efikasnost energije, industrije, šumarstva, biodiverziteta, poljo-
privrede, i urbanog poboljšanja).
Nakon posmatranja 49 studija, evaluatori su zaključili da postoji „praznina
između visokih prioriteta politike koje je DfID priključila pitanjima okoliša....
i onoga što je stvarno učinjeno u smislu pozitivnog okolinskog utjecaja“.
Izvor: DfID 2000, 1.
odnosi na stručni pregled jedne ili više evaluacija prema profesionalnim standa-
rdima kvaliteta.
■■ Meta-evalu-
acija: Stručni Drugi pristupi
pregled jedne
Drugi pristupi, teorije i modeli se također koriste u razvojnim evaluacijama.
ili više evalu-
acija prema Većina su varijacija na temu participativne evaluacije. Čitaoci će naći elemente
profesionalnim nekih modela u evaluaciji zasnovanoj na rezultatima, kao što je pouzdanost nekih
standardima teorija testiranja teorije promjene i fokusiranje na upotrebu od početka i tokom
kvaliteta procesa evaluacije identificirajući i uključujući dionike.
U ovom dijelu opisani su sljedeći pristupi:
• evaluacija fokusirana na upotrebu;
• evaluacija osnaživanja;
• realistična evaluacija;
• inkluzivna evaluacija ;
• korisnička evaluacija i
• horizontalna evaluacija.

Evaluacija fokusirana na upotrebu
Evaluacija fokusirana na upotrebu predlaže da evaluaciju treba cijeniti prema
njenoj upotrebi i kako se ustvari koristi. Patton (2002, p. 173), čija glavna knjiga
o evaluaciji fokusiranoj na upotrebi doživljava svoje četvrto izdanje (2008), istu
opisuje kao početak sa „identifikacijom i organizacijom određenih relevantnih
ljudi koji donose odluke i korisnika informacija (ne nejasnih pasivnih posmatrača)
koji će informacije koje evaluacija proizvede koristiti“. To je evaluacija foku-
sirana na namjensku upotrebu za namjenske korisnike. Namjenski korisnici su
oni koji imaju odgovornost da primijene nalaze evaluacije i implementiraju njene ■■ Evaluacija
preporuke. Evaluacija fokusirana na upotrebu pomaže primarnim korisnicima fokusirana na
da odaberu model sadržaj i metode evaluacije koji najviše odgovaraju njihovoj upotrebu:
situaciji. Evaluacija je
cijenjena po
tome kako je
Evaluacija osnaživanja
korisna i kako
Evaluacija osnaživanja je upotreba koncepata, tehnika i nalaza evaluacije da se ustvari koristi
se potakne napredak i samoodređenje. (Fetterman, Kaftarian, and Wandersman
1996).
Evaluacija osnaživanja potvrđuje visoko poštovanje ljudskih kapaciteta da
izrade znanje o svom vlastitom iskustvu i nađu rješenja za probleme sa kojima
se suočavaju. Pomažući ljudima da ostvare njihove ciljeve kao pojedinci i
članovi zajednice te da poboljšaju životne uvjete, ovlaštenje može stvoriti osjećaj
dobrostanja i pozitivnog rasta (Fetterman and Wanders-man 2004). ■■ Evaluacija
osnaživanja:
Upotreba
Fetterman and Wandersman (2004) opisuju ulogu evaluatora koji daje ovlast
koncepata,
kao ulogu „kritičkog prijatelja“. Oni zagovaraju da članovi zajednice vode evalu- tehnika i nalaza
aciju. Evaluator treba imati ulogu medijatora, koji će utjecati više nego kontroli- evaluacije da se
rati evaluaciju. potakne
Evaluacija osnaživanja ima neke karakteristike evaluacije fokusirane na napredak i
upotrebu. Oba pristupa su dizajnirana da budu od pomoći, konstruktivna i korisna samoodređenje
u svakoj fazi evaluacije (Fetterman and Wandersman 2004). Ali, Patton (1997)
iznosi svoj stav da dok se evaluacija jačanja preklapa sa participacijskim pristu-
pom u vezi sa vlasništvom, relevantnosti i izgradnji kapaciteta, njen definirajući
fokus je poticaj samoodređenja. Evaluacija jačanja prevazilazi i najviše partici-
pacijsku evaluaciju u tome da je evaluator-medijator zagovornik razvlaštenja i
promovira politički program promjene.
Opisujući razliku između evaluacije ovlaštenja i participacijske evaluacije,
Alkin i Christie (2004, str. 56) navode:
Pošto participacijska evaluacija nastaje iz upotrebnog okvira, cilj participativne
evaluacije je povećanje upotrebe kroz ove aktivnosti (dizajn, implementacija,
analiza, i interpretacija) nasuprot ovlaštenju onih koji su bili potlačeni, a što je
politički ili emancipativno u prirodi.

Realistična evaluacija
Pawson and Tilley (2004, str. 1) opisuju realističnu evaluaciju kao „vrstu evalu-
acije koju vodi teorija“. Oni je vezuju za teoriju promjene i programsku teoriju.
Da bi se izgradila teorija mora se razumjeti ukupni kontekst u kojem se dešava
intervencija, kako intervencija funkcionira u određenom kontekstu i da li radi.
■■ Realistična Prema Pawsonu and Tilley (2004, str. 22), realistična evaluacija omogućava
evaluacija: „koherentan i konzistentan okvir“ za način na koji evaluacija uključuje programe.
evaluacija koju
vodi teorija i
Prepoznaje važnost dionika da planiraju razvoj i izradu, ali drži pravac između
koja osigurava zanemarivanja dionika (zbog njihove sklonosti vlastitom interesu) i smatra ih
koherentan i sveznajućim i nepogrešivim (zbog njihovog poznavanja unutrašnjih prilika).
konzistentan Dionici se tretiraju kao stručnjaci koji mogu pogriješiti i čije razumijevanje treba
okvir za način formalizovati i testirati (Pawson i Tilley 2004).
na koji
Realistična evaluacije je izvedena iz širokog obima pristupa istraživanjima i
evaluacija
uključuje evaluaciji. Oslanja se na dijelove ili sve druge pristupe. Realistična evaluacija
programe, može biti kvalitativna i kvantitativna, često se kombiniraju oba metoda, ali se
tretira dionike ne određuje uzročni odnos između intervencije i ishoda eksperimentiranjem.
kao stručnjake Uzročni odnos je određen prikazom teorije iza koje intervencija radi.
koji mogu
Koraci se zatim postavljaju logičkim slijedom da se testira hipoteza kojom
pogriješiti, i
oslanja se na
se određuje šta bi kome moglo koristiti i u kojim okolnostima. Pawson i
druge pristupe Tilley (2004) indiciraju da realistična evaluacija može biti izazovna, zato što
evaluaciji. jednostavna formula ne osigurava jednostavne recepte za dobijanje nalaza.
Inkluzivna evaluacija
Inkluzivna evaluacija se fokusira na uključenje najmanje povlaštenih članova
populacije kao dio sistematičnog istraživanja zasluga ili vrijednosti projekta,
programa ili politike. Inkluzivna evaluacija se zasniva na podacima, ali poda-
cima prikupljenim od najmanje povlaštenih dionika, oni koji tradicionalno nisu
dovoljno predstavljeni. Inkluzivna evaluacija ne uključuje one koji su tradiciona-
lno uključeni u evaluacije (Mertens 1999).
Kao i evaluacija ovlaštenja, inkluzivna evaluacija je transformaciona
■■ Inkluzivna paradigma.
evaluacija: Inkluzivna evaluacija bi postavljala pitanja kao što su sljedeća:
Evaluacija koja
uključuje
• Koje su to važne razlike unutar populacije koju služi?
najmanje • Kako se vrše usluge unutar različitih podgrupa?
povlaštene • Na kojim vrijednostima počiva distribucija usluga?
članove
populacije Procjena korisnika
Procjena korisnika je kvalitativni alat za istraživanje koji se koristi za poboljšanje
utjecaja razvojnih operacija prikupljanjem stavova ciljanih korisnika u vezi sa
planiranom ili u vezi sa intervencijom koja je u toku“ (Salmen 1999, str. 1).

Kao i inkluzivna evaluacija, ovaj pristup nastoji uključiti grupe koje su često
zanemarene. Ovaj pristup fokusiran na projektu je razvila Svjetska banka kasnih
‘80-tih godina da bi dopunila svoj višetehnički i finansijski evaluacioni fokus.
Generalno se primjenjivala na projekte sa komponentom vršenja usluga.
Procjena korisnika uključuje ultimativnog klijenta i korisnike projekta, zato
što povećano učešće korisnika u pomoći pri oblikovanju dizajna projekta, osigu-
rava povratne informacije monitoringa. Također, osigurava da njihovi stavovi u
■■ Procjena
utjecaju povećaju njihovo vlasništvo, u njihovom razvoju, čineći ih tako ključnim
korisnika:
akterima u ostvarenju potrebnih i željenih promjena. Alat koji se
Cilj procjene korisnika je procijeniti vrijednosti aktivnosti onako kako ih vide koristi da se
korisnici projekta i integrirati te nalaze u projektne aktivnosti. Procjena korisnika poboljša utjecaj
zauzima centralni dio u socijalnoj procjeni pomažući u povezivanju kulture sa razvojnih
operacija
donošenjem odluka. (Salmen 1999).
prikupljanjem
stavova
Horizontalna evaluacija namjeravanih
Horizontalna evaluacija je relativno novi evaluativni pristup koji kombinuje pro- korisnika u vezi
ces interne procjene sa eksternim pregledom posmatrača. Kombinacija je dizajni- sa planiranom ili
rana da neutralizira „iskrivljene odnose moći koji preovladavaju u tradicionalnim u vezi sa
intervencijom
eksternim evaluacijama, stvarajući povoljniju atmosferu za učenje i subsekventno
koja je u toku.
poboljšanje programa“ (Thiele i ostali 2006, str. 1).
Horizontalna evaluacija se često koristi da se nauči i da se poboljšaju
istraživačke i razvojne metodologije koje stoje iza razvoja. Pristup se koristio
u Andean regionalnom programu pri razvijanju novih istraživačkih i razvojnih
metodologija i u Ugandi pri procjeni participativnog pristupa tržišnog lanca.
(Thiele and others 2006, str. 1).
Ključ pristupa horizontalnoj evaluaciji su dvije grupe dionika. Prva su lokalni
učesnici, koji predstavljaju kritični proces koji se istražuje i pružaju preporuke
kako ga poboljšati. Druga su posjetioci (kolege iz drugih organizacija ili pro- ■■ Horizontalna
evaluacija:
jekata koji rade na sličnim temama), koji procjenjuju proces, ukazuju na dobre
Evaluacija koja
i loše strane, te daju sugestije za poboljšanje (Thiele and others 2006). Kompo- kombinira
nenta horizontalne evaluacije je radionica koja dvjema grupama omogućava da internu procjenu
se sastanu. procesa sa
eksternim
pregledom
posmatrača

Sažetak
Pristup evaluaciji je način posmatranja ili konceptualiziranja evaluacije na opći

način. Često uključuje filozofiju i skup vrijednosti. Neki pristupi se koriste
godinama, dok su drugi razvijeni ili primjenjivani u relativno skorije vrijeme za
razvoj evaluacije. Ključne osobine pristupa evaluacije su sažeti u tabeli 5.3.
Opisani pristupi su uveliko korišteni na nivou pojedinačnih intervencija.
Poglavlje 11 se bavi kompleksnim evaluacijama kompleksnih razvojnih inte-
rvencija, koje sve više postaju norma.

Tabela 5.3 Svrha, karakteristike, prednosti i izazovi različitih pristupa evaluacije
Evaluativni
pristup Svrha/filozofija Karakteristike/aktivnosti Prednosti Izazovi
Prospektivna Pregleda inetrevenciju prije nego Pruža kontekstualnu analizu projekta, Upotreba sekundarnih Može se osloniti na
počne. programa ili politike. analiza smanjuje opus evaluativnih
Pregleda završene evaluacije sličnih troškove evaluacije. izvještaja o blisko-
programa da identificira lekcije i pitanja. Može se baviti i riješiti srodnim programima.
Odgovara na očekivana pitanja o
vjerovatnom uspjehu. Predviđa uspjeh ili neuspjeh i sugerira pitanja i time osnažiti
način jačanja predložene intervencije program prije nego
ukoliko se ide ka njenoj ralizaciji. počne.
Razmatranje evaluacijskog pristupa

Procjena Određuje da li bi evaluacija bila Pregleda materijale i dostupne podatke. Može voditi do realnije Može nepotrebno
evaluativnosti korisna i provodiva. Provjerava zajedničko razumijevanje i pogodnije evaluacije i odgoditi evaluaciju ako
Omogućava komunikaciju programskih ciljeva. bolje dizajniranih se primijeni na sve
između evaluatora i dionika. programa. programe prije nego
Intervjuira menadžere,dionike i ljude u se provede evaluacija.
Razjašnjava svrhu formativne intervenciji koji mogu implementirati Može izgraditi podršku
studije ili funkcionira kao alat za preporuke. dionika i poboljšati
planiranje. razumijevanje ciljeva
Razvija model teorije promjene.
Može spriječiti
troškove evaluacija
koje nisu u stanju
odgovoriti na data
pitanja zbog praznina u
podacima.
Zasnovana na Mjeri jesu li ciljevi zadovoljeni. Identificira ciljeve. Može pojednostaviti Može propustiti važne
cilju Služi kao osnova većini Procjenjuje da li intervencija dostiže evaluaciju jasnom efekte koji nisu
donatorski projektnih ciljeve (normativna evaluacija). metodologijom eksplicitno navedeni
evaluacijskih sistema. poređenjem stvarnog kao ciljevi.
sa standardnim.
Bez cilja Otvara opcije za prikupljanje Nastoji spriječiti da evaluatori postanu Povećava vjerovatnoću Omogućava ograničen
podataka o efektima i efikasnosti zarobljeni ciljevima programa limitirajući da će nepredviđeni kontakt sa osobljem
programa bez ograničenja uskim kontakt sa menadžerima i osobljem popratni efekti biti programa;
fokusiranjem na date ciljeve. programa. primijećeni. evaluatorima može biti
teško izbjegavati
upoznavanje sa
207
ciljevima programa.
Tabela 5.3 nastavak
Evaluativni
208
Multilokacijski Istražuje intervencije sa Izgrađuje učešće dionika. Često može voditi Zahtijeva
standardnom implementacijom u Prikuplja detaljnije informacije nego neki identifikaciji dobre standardizovano
svim lokacijama ili planiranim drugi pristupi. prakse. prikupljanje podataka.
varijacijama da bi se odredili uvjeti Prikuplja jače nalaze Zahtijeva dobro obučeno
u kojima program najbolje ostvaruje Odabire lokacije da predstavljaju određene
karakteristike koje mogu rezultirati u nego evaluacija osoblje, pristup svim
svoje ciljeve. pojedinačne intervencije lokacijama i dovoljno
sistematičnim razlikama u implementaciji i
Mora zabilježiti klimu u kojoj rezultatima intervencije. na pojedinačnoj lokaciji. informacija na vrijeme
intervencija funkcionira, kao i Može se baviti unutar i da bi se izradili
kulturne, geografske, ekonomske, Opisuje i poredi intervencije unutar instrumenti prikupljanja
njihovog konteksta kako bi se osigurao međulokacijskim
veličinske ili druge sistematske analizama. podataka.
razlike koje mogu utjecati na spektar lekcija i strategija za bavljenje
raznim situacijama. Može mjeriti visoko
varijacije. kontekstualno-
specifične nalaze po
lokacijama koje nisu
reprezentativne.
Klaster Posmatra grupu sličnih ili srodnih Izgrađuje učešće dionika. Fokusira se na učenje Pokazuje ukupne
intervencija koje zajedno Potiskuje generalizaciju i repliciranje. prije nego na izvlačenje rezultate, a ne rezultate
predstavljaju skup intervencija. općih zaključaka o sa pojedinih lokacija.
Varijaciju vidi kao pozitivnu stvar. kvalitetu ili vrijednosti
Ispituje „klaster“ intervencija u
jednoj ili višestrukoj postavci . Koristi višestruke studije slučajeva, uz programa.
razmjenu informacija među slučajevima.
Socijalna Posmatra razne socijalne Istražuje konzistentnost između ciljeva Identificira potencijalne Može izgubiti fokus na
procjena strukture, procese i promjene intervencije i potreba, interesa i štetne socijalne interakciju sa pitanjima
unutar grupe ili zajednice. kapaciteta dionika. utjecaje, tako da se okoliša baveći se samo
Djeluje kao glavni instrument da Bavi se efektima socijalnih i kulturnih mogu primijeniti jednim dijelom
se osigura da socijalni utjecaji faktora o sposobnosti dionika da strategije ublažavanja. jednačine.
razvojnih intervencija budu uzeti učestvuju ili imaju koristi od intervencije.
u obzir. Istražuje različite intervencije na
podskupove dionika.
Okolišna i Evaluira ostvarenja okolišnih i Fokusira se na socijalne i okolišne aspekte Naglašava Može zahtijevati
socijalna socijalnih ciljeva. svih intervencija, ne samo onih koje se preovladavajuću važnost tehničku stručnost.
procjena fokusiraju samo na okoliš ili samo na socijalnih i okolišnih
socijalne nejednakosti. aspekata intervencije.

Korisna je kada su socijalna procjena i
procjena utjecaja na okoliš jedina svrha
evaluacije.
Participativna Dijeli sa dionicima odgovornost za Uključuje učesnike u postavljanje ciljeva, Povećava kredibilitet Zahtijeva evaluatore sa
planiranje, implementiranje i uspostavljanje prioriteta, odabir pitanja, rezultata evaluacije u dobrim vještinama
izvještavanje o evaluaciji. analizu podataka i donošenje odluka o očima osoblja programa fasilitacije, saradnje i
Participaciju gleda kao proizvod podacima. i vjerovatnoću da će se upravljanja konfliktom,
gdje je čin participacije cilj i jedan Omogućava grupnu saradnju, jedinstvo rezultati koristiti. kao i vještine obuke
od indikatora uspjeha. grupe i samoodgovornost. Daje ovlaštenje učesnika u tehnikama
učesnicima i povećava evaluacije.
Participaciju također razmatra kao Ulogu evaluatora mijenja u ulogu
proces kojim se ostvaruju zadati medijatora i vodiča, gdje su učesnici ti koji lokalne kapacitete. Često posmatrana kao
ciljevi. donose odluke i vode evaluaciju. da nije nezavisna.
Mapiranje Dopunjava tradicionalnije oblike Posmatra ponašanja proistekla iz Proizlaze iz Ima potrebu za
ishoda evaluacije fokusirajući se na srodne višestrukih napora da se pomogne „Downstream Outcome evaluacijom utjecaja sa
Razmatranje evaluacijskog pristupa

promjene u ponašanju; fokus je na poboljšati izvedba projekta, programa ili Blues“ (vidjeti tekst). nezavisnošću i
ljudima i ishodima prije nego na politike osiguravajući nove alate tehnike i odgovornošću.
ostvarenju razvojnih utjecaja. resurse.
Identificira granične partnere da bi se
procijenio njihov utjecaj na promjene.
Opisuje promjene u načinu na koji se ljudi
ponašaju tokom aktivnosti kao pojedinci i
kao članovi grupa ili organizacija.
Brza procjena Zadovoljava potrebe brze i manje Obično se koristi sistematični, Služi kao veza između Obično je malog
skupe evaluacije; generalno traži polustrukturirani pristup. formalnog i neformalnog djelokruga.
prikupljanje samo najbitnijih Obično se koristi analiza dokumenata, prikupljanja podataka; Osigurava ograničene,
informacija da se osiguraju intervjui i kratke posjete lokacijama. najbolje se koristi kada uglavnom opisne
indikacije učinka. se posmatraju procesi i informacije.
Mora koristiti više od jednog izvora pitanja.
informacija.
Zahtijeva dobre vještine slušanja i
bilježenja.
Sinteza Locira i vrednuje kvalitet svih Locira sve relevante studije. Koristi dostupne Mogu se javiti
evaluacija relevantnih evaluacija i kombinira ili Uspostavlja kriterije za određivanje kvaliteta evaluacije i istraživanja, poteškoće pri lociranju
sažima njihove rezultate; korisna je studija. smanjujući troškove. svih relevantnih studija i
kada su već provedene mnoge Izrađuje veću i jaču pri prikupljanju
evaluacije o intervenciji. Uključuje samo kvalitetne studije. podataka.
osnovu za procjenu
Kombinira rezultate ili na drugi način utjecaja. Nosi ponešto rizika
sintetizira nalaze iz studija o ključnim pristrasnosti pri odabiru
mjerama.
„kvalitetnih“ evaluacija,
Može se koristiti sa kvalitativnim ili (ovi rizici se mogu
kvantitativnim podacima. ublažiti upotrebom
209
panela).
210
Tabela 5.3 nastavak
Evaluativni
Fokusirana na Sudi o intervenciji prema upotrebi i Počinje identifikacijom i organizacijom Ugrađuje upotrebu Naglašava primarnog
upotrebu načinu na koji se zaista koristi. određenih, relevantnih ljudi koji donose evaluacije fokusirajući klijenta; može ne
odluke i koriste informacije (ne se od početka na ciljanu uključivati druge dionike.
neodređene, pasivne posmatrače) koji će korist ciljanih korisnika.
koristiti informacije koje evaluacija
proizvede.
Osnaživanje Koristi koncepte, tehnike, i nalaze Ide iznad participacijske evaluacije odajući Daje prednost Mijenja ulogu evaluatora
evaluacije da potakne poboljšanje i duboko poštovanje kapacitetu ljudi da obespravljenim u zastupnika (evaluacija
samoodređenje. kreiraju znanje o vlastitim iskustvima i grupama. se može posmatrati kao
razviju rješenja problema s kojima se politička i pristrasna).
suočavaju.
Realistična Osigurava koherentan i Izvedena iz širokog spektra pristupa Ocrtava teoriju na kojoj Zna da svaki model
konzistentan okvir za programe istraživanjima i evaluacijama oslanja se na bi intervencija mogla programa treba
evaluacije kroz opis konteksta; dijelove ili cjelinu drugih pristupa. raditi, pod kojim pojedinačno odrediti.
posmatra kako program treba raditi Koristi kvalitativno istraživanje, uvjetima i za koga.
i da li postoji uzročni odnos između kvantitativno istraživanje ili oba.
programa i datog ishoda.
Inkluzivna Uključuje najmanje povlaštene Prikuplja podatke od najmanje povlaštenih Fokusira se na najmanje Mijenja ulogu evaluatora
dionike kao dio sistemskog dionika, ne uključuje one koji su povlaštene dionike i u zastupnika (evaluacija
istraživanja zasluga i vrijednosti tradicionalno uključeni u evaluacije. razliku u vršenju usluga. se može posmatrati kao
projekta, programa ili politike. politička i pristrasna).
Korisnička Poboljšava utjecaj razvojnih Uključuje korisnike projekta, povećavajući Koristi pristup saradnje Odvaja sagledavanje
operacija prikupljanjem stavova njihov osjećaj vlasništva. koji izgrađuje vlasništvo pitanja okoliša i socijalne
ciljanih korisnika u vezi sa i kapacitet, a povećava konsenkvence.
planiranom ili u vezi sa evaluacijom vrijednost evaluacije
koja je u toku. uzimajući u obzir
poglede korisnika.
Horizontalna Kombinira proces interne procjene Koristi se da se nauče i poboljšaju Kombinira snagu Razumije da pregledi
sa eksternim pregledom istraživačke i razvojne metodologije o samo-evaluacije i kolega mogu biti
posmatrača da bi se neutralizirali razvoju. pregleda eksternih uzajamno pozitivni.

iskrivljeni odnosi moći koji posmatrača.
preovladavaju u tradicionalnim
eksternim evaluacijama.
Izvor: Autori.
Aplikacijska vježba 5.1: Odabir pristupa evaluaciji koji najbolje

odgovara
Odaberite evaluacioni pristup za analizu svakog od ispod opisanih zadataka. Opi-

sati pristup, navesti koristi koje osigurava i izazove koje predstavlja, obrazložite
svoj izbor.
1. Procijenite strateški fokus tehničke pomoći zemlji na osnovu nalaza studija u
pet zemalja koje su uradile različite razvojne organizacije.
2. Identificira uspješnu obrazovnu intervenciju koja je implementirana u projekti-
ma i programima vaše organizacije kako bi se poboljšao obrazovni sistem u
regionu.
3. Evaluirajte najznačajnija pitanja u vezi prirodnih resursa zemlje i sektora
okoliša.
4. Procijenite razvoj sektora riže u zemlji, uključujući važnost riže u trenutnom
kulturnom, socijalnom i ekonomskom kontekstu; sistemi proizvodnje riže;
prepreke s kojima se suočavaju farmeri; provedena istraživanja i razvijene
tehnologije; budući prioriteti za budući razvoj riže.
5. Evaluirajte evaluaciju koju je provela razvojna organizacija koja je primila
milione dolara za finansiranje međunarodnog poljoprivrednog istraživanja
tokom proteklih 30 godina.

Napomena
1. Veći dio informacija u ovom dijelu je preuzet od Earl, Carden, and Smutylo
(2001).
Alkin, Marvin, and Christina Christie. 2004. “An Evaluation Theory Tree.” In Evaluation
Roots: Tracing Theorist Views and Influences, ed. M. Alkin. 12–65, Thousand Oaks,
CA: Sage Publications.
Chambers, R. 1991. “Shortcut and Participatory Methods for Gaining Social
Information for Projects.” In Putting People First: Sociological Variables in Rural
Development, 2nd ed., ed. M. M. Cernea, 515–37. Washington, DC: World Bank.
Chelimsky, E., and L. G. Morra. 1984. “Evaluation Synthesis for the Legislative User.”
In Issues in Data Synthesis, ed. W. H. Yeaton and P. M. Wortman, 75–89. New Direc-
tions for Program Evaluation No. 24. San Francisco: Jossey-Bass.
Christie, Christina, and Marvin Alkin. 2004. “Objectives-Based Evaluation.” In Ency-
clopedia of Evaluation, ed. Sandra Mathison. 281–85. Thousand Oaks, CA: Sage
Publications.
CIDA (Canadian International Development Agency). 2004. CIDA Evaluation Guide
2004. Ottawa.
Cousins, J. B., and L. M. Earl, eds. 1995. Participatory Evaluation in Education. Bristol,
PA: Falmer Press.
Dalal-Clayton, Barry, and Stephen Ba. 2002. Sustainable Development Strategies:
A Resource Book. Sterling, VA: Earthscan Publications.
http://www.nssd.net/res_book.html#contents.
DFID (Department for International Development). 2000. Environment: Mainstreamed
or Sidelined? Environmental Evaluation Synthesis Study EV626, January, London.
http://www.dfid.gov.uk/aboutdfid/performance/files/ev626s.pdf.
Duignan, Paul. 2007. Introduction to Strategic Evaluation: Section on Evaluation
Approaches, Purposes, Methods, and Designs.
http://www.strategicevaluation.info/se/documents/104f.html.
Earl, Sarah, Fred Carden, and Terry Smutylo. 2001. Outcome Mapping: Building Learn-
ing and Reflection into Development Programs. International Development Research
Centre, Ottawa.
http://www.dgroups.org/groups/pelican/docs/Mapping_M&E_capacity_
080606.pdf.
ECDPM (European Centre for Development Policy Management). 2006. Study on
Capacity, Change and Performance: Mapping of Approaches Towards M&E of
Capacity and Capacity Development. Maastricht.
Eerikainen, Jouni, and Roland Michelevitsh. 2005. “Environmental and Social Sus-
tainability. Methodology and Toolkit: Various Approaches.” International Program for
Development Evaluation Training (IPDET) presentation, Ottawa, July.

FAO (Food and Agriculture Organization of the United Nations). 1997. “Rapid Rural
Appraisal.” In Marketing Research and Information Systems Marketing and Agribusi-
ness. Rome.
http://www.fao.org/docrep/W3241E/w3241e09.htm.
Fetterman, David M. 2001. Foundations of Empowerment Evaluation. Thousand Oaks,
Fetterman, David M., S. Kaftarian, and A. Wandersman, eds. 1996. Empowerment Evalu-
ation: Knowledge and Tools for Self-Assessment and Accountability. Thousand Oaks,
Fetterman, David M., and Abraham Wandersman. 2004. Empowerment Evaluation Prin-
ciples in Practice. New York: Guilford Publications.
———. 2007. “Empowerment Evaluation: Yesterday, Today, and Tomorrow.” American
Journal of Evaluation 28 (2):179–98.
http://homepage.mac.com/profdavidf/documents/EEyesterday.pdf.
tion: Alternative Approaches and Practical Guidelines. New York: Pearson.
Gariba, Sulley. 1998. “Participatory Impact Assessment: Lessons From Poverty Allevia-
tion Projects in Africa.” in Knowledge Shared: Participatory Evaluation in Develop-
ment Cooperation, ed. Edward T. Jackson and Yussuf Kassam, 64–81. Bloomfield,
CT: Kumarian Press.
Gill, M., and A. Spriggs. 2002. The Development of Realistic Evaluation Theory through
the Evaluation of National Crime Prevention Programmes.
http://www.evaluationcanada/distribution/20021010_gill_martin_spriggs_angela. pdf.
Glass, Gene V., and Mary Lee Smith. 1979. “Meta-Analysis of Research on Class Size
and Achievement.” Educational Evaluation and Policy Analysis 1 (1): 2–16.
Hirschheim, R., and S. Smithson. 1988. “A Critical Analysis of Information Systems
Evaluation.” In IS Assessment: Issues and Changes, eds. N. Bjorn-Andersen and G.
B. Davis. Amsterdam: North-Holland.
ISO (International Organization for Standardization). 1999. Environmental Management:
Performance Evaluation Guidelines. ISO 14301, Geneva.
Johnston, Timothy, and Susan Stout. 1999. Investing in Health: Development in Health,
Nutrition, and Population Sector. World Bank, Operations Evaluation Department,
Washington, DC.
http://wbln0018.worldbank.org/oed/oeddoclib.nsf/6e14e487e87320f785256808006a0
01a/daf8d4188308862f852568420062f332/US$FILE/HNP.pdf.
Khon Kaen University. 1987. Proceedings of the 1985 International Conference on
Rapid Rural Appraisal. Rural Systems Research and Farming Systems Research
Projects, Khon Kaen, Thailand.
Kretzmann, John P., John L. McKnight, and Deborah Puntenney. 1996. A Guide to Mass-
ing Local Business Assets and Modulizing Local Business Capabilities. Skokie, IL:
ACTA Publications.
Kudat, Ayse, and Bykebt Ozbilgin. 1999. Azerbaijan Agricultural Development and
Credit Program.
http://lnweb18.worldbank.org/ESSD/sdvext.nsf/61ByDocName/Azerbaijan

AgriculturalDevelopmentandCreditProject/US$FILE/AzerbaijanAgricultural
DevelopmentandCreditProject424KbPDF.pdf.
Kumar, Krishna, ed. 1993. Rapid Appraisal Methods. Washington, DC: World Bank.
Light, R. J., and D. B. Pillemer. 1984. Summing Up: The Science of Reviewing Research.
Cambridge, MA: Harvard University Press.
Mertens, D. 1999. “Inclusive Evaluation: Implications of Transformative Theory for
Evaluation.” American Journal of Evaluation 20 (1): 1–14.
Narayan, Deepa. 1996. Toward Participatory Research. World Bank Technical Paper
307, World Bank, Washington, DC.
http:// www-wds.worldbank.org/external/default/WDSContentServer/WDSP/IB/1996
/04/01/000009265_3980625172923/Rendered/PDF/multi0page.pdf.
Nay, J., and P. Kay. 1982. Government Oversight and Evaluability Assessment. Lexing-
ton, MA: Heath.
OECD (Organisation for Economic Co-operation and Development). 1997. Searching
for Impact and Methods: NGO Evaluation Synthesis Study. Development Assistance
Committee, Paris.
http://www.eldis.org/static/DOC5421.htm.
Patton, Michael Q. 1990. Qualitative Evaluation and Research Methods. 2nd ed. Thou-
———. 1997. Utilization-Focused Evaluation: The New Century Text. Thousand Oaks:
———. 1997. “Toward Distinguishing Empowerment Evaluation and Placing It in a
Larger Context.” Evaluation Practice 18 (2):147–63.
———. 2002. Qualitative Evaluation and Research Methods, 3rd ed. Thousand Oaks,
———. 2008. Utilization-Focused Evaluation. 4th ed. Thousand Oaks, CA: Sage
Publications.
Paulmer, Hubert E. 2005. “Evaluation Guidelines of International Development Aid
Agencies: A Comparative Study.” International Rural Planning and Development,
School of Environmental Design and Rural Development, University of Guelph,
Ontario.
Pawson, Ray, and Nick Tilley. 2004. “Realistic Evaluation.” In Encyclopaedia of Evalua-
tion, ed. Sandra Matthieson, 359–67. Thousand Oaks, CA: Sage Publications.
Picciotto, Robert. 2007. “The New Environment for Development Evaluation.” Ameri-
can Journal of Evaluation 28: 509–21.
Preskill, Hallie, and Darlene Russ-Eft. 2005. Building Evaluation Capacity: 72 Activities
for Teaching and Training. Thousand Oaks, CA: Sage Publications.
Salmen, Lawrence F. 1999. Beneficiary Assessment Manual for Social Funds. World
Bank, Social Protection Team Human Development Network, Washington, DC.
http://lnweb18.worldbank.org/ESSD/sdvext.nsf/07ByDocName/Beneficiary
AssessmentManualforSocialFunds/US$FILE/ percent5BEnglish percent5D+
Beneficiary+Assessment+Manual.pdf.
Sanders, J. R. 1997. “Cluster Evaluation.” In Evaluation for the 21st Century: A Hand-
book, eds. E. Chelimsky and W. R. Shadish Jr., 396–401. Thousand Oaks, CA: Sage
Publications.

Scrimshaw, N., and G. R. Gleason. 1992. Rapid Assessment Procedures: Qualitative
Methodologies for Planning and Evaluation of Health Related Programs. Boston:
International Nutrition Foundation for Developing Countries.
Scriven, Michael. 1972a. “Objectivity and Subjectivity in Educational Research.” In
Philosophical Redirection Educational Research: The Seventy-First Yearbook of the
National Society for the Study of Education, ed. L. G. Thomas. Chicago: University
of Chicago Press.
———. 1972b. “Pros and Cons about Goal-Free Evaluation.” Evaluation Comment 3: 1–7.
———. 1991. Evaluation Thesaurus. 4th. ed. Thousand Oaks, CA: Sage Publications.
Smith, M. F. 1989. Evaluability Assessment: A Practical Approach. Boston: Kluwer
Academic Press.
Smith, Mary Lee, and Gene V. Glass. 1980. “Meta-Analysis of Research on Class Size
and Its Relationship to Attitudes and Instruction.” American Educational Research
Journal 17: 419–33.
Smith, Nick L., and Paul R. Brandon, eds. 2007. Fundamental Issues in Evaluation. New
York: Guilford Press.
Smutylo, Terry. “The Output Outcome Downstream Impact Blues.”
http://www.idrc.ca/en/ev-65284-201-1-DO_TOPIC.html.
Thiele, G., A. Devaux, C. Velasco, and D. Horton. 2007. “Horizontal Evaluation: Foster-
ing Knowledge Sharing and Program Improvement within a Network.” American
Journal of Evaluation 28 (4): 493–508.
Thiele, G., A. Devaux, C. Velasco, and K. Manrique. 2006. “Horizontal Evaluation:
Stimulating Social Learning among Peers.” International Potato Center, Papa Andina
Program, Lima, Peru. Draft of May 18.
http://www.dgroups.org/groups/pelican/docs/Hor_Evaln_18_05.doc?ois=no.
Tilley, Nick. 2000. Realistic Evaluation: An Overview. Paper presented at the Founding
Conference of the Danish Evaluation Society, Nottingham Trent University, Septem-
ber.
http://www.danskevalueringsselskab.dk/pdf/Nick percent20Tilley.pdf.
Turpin, R. S., and J. M. Sinacore, eds. 1991. Multisite Evaluations. New Directions for
Program Evaluation No. 50. San Francisco, CA: Jossey-Bass.
U.S. GAO (General Accounting Office) 1990. Prospective Evaluation Methods: The
Prospective Evaluation Synthesis. Washington, DC.
http://www.gao.gov/special.pubs/10_1_10.PDF.
———. 1992. The Evaluation Synthesis. Washington, DC.
http://www.gao.gov/special.pubs/pemd1012.pdf.
Wandersman, A., J. Snell-Johns, B. E. Lentz, D. M. Fetterman, D. C. Keener, M. Livet,
P. S. Imm, and P. Flaspoler. 2005. “The Principles of Empowerment Evaluation.” In
Empowerment Evaluation Principles in Practice, eds. D. M. Fetterman and A. Wan-
dersman, 27–41. New York: Guilford.
Wholey, J. S. 1987. “Evaluability Assessment: Developing Program Theory.” In Using
Program Theory in Evaluation, ed. L. Bickman, 77–92. New Directions for Program
Evaluation No. 33. San Francisco: Jossey-Bass.
Wholey, J. S., H. P. Hatry, and K. E. Newcomer, eds. 1994. Handbook of Practical Pro-
gram Evaluation. San Francisco: Jossey-Bass.

World Bank. 1996. World Bank Participation Sourcebook. Washington, DC.
http://www.worldbank.org/wbi/sourcebook/sba108.htm#D.
———. 2004. “Social Assessment.” In Turning Bureaucrats into Warriors. 135–38.
Washington, DC.
http://www.worldbank.org/afr/aids/gom/manual/GOM-Chapter percent2024.pdf.
Web stranice
Equator Principles. http://www.equator-principles.com/, http://www.ifc.org/ifcext/equa-

torprinciples.nsf/Content/ThePrinciples.
Frechtling, Joy, and Laure Sharp Westat, eds. 1997. User-Friendly Handbook for Mixed-
Method Evaluations. Washington, DC: National Science Foundation. http://www.nsf.
gov/pubs/1997/nsf97153/start.htm.
IFC (International Finance Corporation). Environmental and Social Policies and Guide-
lines. http://www.ifc.org/ifcext/enviro.nsf/Content/PoliciesandGuidelines.
ISO (International Organization for Standardization). ISO 14031. http://www.iso
.org/iso/catalogue_detail?csnumber=23149, http://www.iso-14001.org.uk/
iso-14031.htm, and http://www.altech-group.com/ftp/EPEarticle.pdf.
IUCN (World Conservation Union). Sustainability Assessment. http://www.iucn
.org/themes/eval/search/iucn/sustassess.htm.
World Bank. 2009. Social Analysis. http://web.worldbank.org/WBSITE/
EXTERNAL/TOPICS/EXTSOCIALDEVELOPMENT/EXTSOCIALANALYSIS/
0,,menuPK:281319~pagePK:149018~piPK:149093~theSitePK:281314,00.html.
Klaster evaluacija
AusAid. 2004. Governance in PNG: A Cluster Evaluation of Three Public Sector Reform
Activities. Evaluation and Review Series 35, Sydney. http://www.ausaid
.gov.au/publications/pdf/governance_in_png_qc35.pdf.
Evaluacija osnaživanja
Empowerment Evaluation Blog. http://www.eevaluation.blogspot.com/.
Socijalna i procjena okruženja

Lanco Amarkantak Thermal Power. Environmental & Social Review. Report prepared for
the IFC Board of Directors. http://www.ifc.org/ifcext/spiwebsite1
.nsf/1ca07340e47a35cd85256efb00700ceeC126975A64D3306E852572A000487BD.
Procjena evaluabilnosti
Lewin Group. 1997. An Evaluability Assessment of Responsible Fatherhood Programs.
http://fatherhood.hhs.gov/evaluaby/intro.htm.

Sinteza evaluacija
Kruse, S. E., T. Kyllönen, S. Ojanperä, R. C. Riddell, and J. Vielaj. Searching for Impact
and Methods: NGO Evaluation Synthesis Study. Institute of Development Studies,
University of Helsinki. http://www.eldis.org/static/DOC5421.htm.
Evaluacija zasnovana na cilju

IFAD (International Fund for Agricultural Development). Country Program Evaluation
of the People’s Republic of Bangladesh. http://www.ifad.org/evaluation/public_html/
eksyst/doc/country/pi/bangladesh/bangladesh.htm.
Evaluacija bez cilja

Evaluation Center, Western Michigan University. http://www.wmich.edu/evalctr/project-
pub.html.
Meta evaluacija
Campbell Collaboration Online Library. http://www.campbellcollaboration.org/frontend.
aspx.
Višelokacijska evaluacija
Australian HIV Test Evaluation Group. 1995. Multisite Evaluation of Four AntiHIV-1/
HIV-2 Enzyme Immunoassays. http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?cmd=R
etrieve&db=PubMed&list_uids=7882108&dopt=Abstract/.
SRI International. 2001. A Multisite Evaluation of the Parents as Teachers (PAT) Project.
http://policyweb.sri.com/cehs/projects/displayProject.jsp?Nick=pat.
Mapiranje ishoda
African Health Research Fellowship Program. Strengthening Leadership Capacity to
Improve the Production and Use of Health Knowledge in Africa. http://www.idrc
.ca/fr/ev-34425-201-1-DO_TOPIC.html.
Contra Costa Health Services. 2009. Preventing Chronic Disease: A Participatory Evalu-
ation Approach. http://www.cchealth.org/groups/chronic_disease/guide/evaluation.
php.
Community Integrated Pest Management. 2001. Picturing Impact: Participatory Evalua-
tion of Community IPM in Three West Java Villages. http://www.communityipm.org/
docs/Picturing percent20Impact/Picturing percent20
Impact percent20top percent20page.html.

Glewwe, Paul, Michael Kremer, and Sylvie Moulin. 1998. Textbooks and Test Scores:
Evidence from a Prospective Evaluation in Kenya. http://www.econ.yale
.edu/~egcenter/infoconf/kremer_paper.pdf.
Brza procjena
UNICRI (United Nations Interregional Crime and Justice Research Institute), and ACI
(Australian Institute of Criminology). Global Programme against Trafficking in
Human Beings, Rapid Assessment: Human Smuggling and Trafficking from the Phil-
ippines. http://www.unodc.org/pdf/crime/trafficking/RA_UNICRI.pdf.
Socijalna procjena
World Bank. 1996. “Morocco: Fez Medina Rehabilitation Project.” In World Bank Par-
ticipation Sourcebook. Washington, DC: World Bank. http://www.worldbank
.org/wbi/sourcebook/sba108.htm#D.
Evaluacija fokusirana na upotrebu

Evaluation Center, Western Michigan University. Utilization-Focused Evaluation Check-
list. http://www.wmich.edu/evalctr/checklists/ufechecklist.htm.

DIZAJNIRANJE I
PROVOĐENJE
“ Ne postoji granica do koje se stvari mogu iskomplicirati, jedna
stvar uvijek vodi ka drugoj“
—E. B. White
Poglavlje 6: Razvoj evaluacionih pitanja i početak dizajniranja

matrice
• Izvori pitanja
• Vrste pitanja
• Identificiranje i odabir pitanja
• Razvoj dobrih pitanja
• Dizajniranje evaluacije
Poglavlje 7: Izbor dizajna za uzrok i posljedicu, normativna, i

opisna evaluacijskih pitanja
• Povezivanje pitanja sa dizajnom
• Dizajn za uzročno-posljedična pitanja
• Dizajn za opisna pitanja
• Dizajn za normativna pitanja
• Potreba za rigoroznijim dizajnom
Poglavlje 8: Odabir i izrada instrumenata za prikupljanje podataka
• Strategije za prikupljanje podataka
• Karakteristike dobrih mjera
• Kvantitativni i kvalitativni podaci
• Alati za prikupljanje podataka
Poglavlje 9: Odabir strategije uzorkovanja

• Uvod u uzorkovanje
• Vrste uzoraka: slučajni i stratifikovani
• Određivanje veličine uzorka
Poglavlje 10: Planiranje i provođenje analize podataka

• Strategija analize podataka
• Analiziranje kvalitativnih podataka
• Analiziranje kvantitativnih podataka
• Povezivanje kvantitativnih podataka i kvalitativnih podataka

POGLAVLJE 6
Razvoj evaluacionih pitanja

i početak dizajniranja matrice
Ovo je prvo od pet poglavlja koja se bave određenim koracima u diza-

jniranju evaluacije. Ovo poglavlje razmatra vrste evaluacionih pitanja
i objašnjava kada koristiti koju vrstu. Poglavlje također obrađuje temu
kako pisati i strukturirati dobra pitanja.

• Izvori pitanja;
• Vrste pitanja;
• Identificiranje i odabir pitanja;
• Razvoj dobrih pitanja i
• Dizajniranje evaluacije.
221
Izvori pitanja
Zašto je odabir evaluacionih pitanja tako važan? Jedan razlog je da pitanja

usmjeravaju evaluaciju i odabrani dizajn evaluacije (ove implikacije podrobnije
obrađujemo u Poglavlju 6). Evaluaciona pitanja su kritični element koji pomaže
ključnim pojedincima i grupama da povećaju napore, donesu odluke, te javnosti
pruže informacije. Pažljiva refleksija i istraživanje su potrebni da se završi
kritični proces identificiranja i definiranja pitanja na koja će evaluacija odgovoriti
(Fitzpatrick, Sanders, i Worthen 2004).
Evaluatori postavljaju evaluaciona pitanja da bi naučili nešto o projektu, pro-
gramu ili politici koja se evaluira. Čest problem u razvoju pitanja je pretpostavka
da svako ko je uključen ima isto poimanje ciljeva intervencije. Ako je, na
primjer, pitanje „je li program pomogao učesnicima?“, različiti dionici mogu riječi
„pomoći“ i „učesnici“ drugačije interpretirati. Postizanje saglasnosti o teoriji pro-
mjene, što smo razmatrali u prethodnom poglavlju, može popraviti ovaj problem.
Fitzpatrick, Sanders i Worthen (2004) navode izvore koje bi evaluatori trebali
koristiti kako bi osigurali da su pribavili različita stajališta:
• pitanja, dileme, i vrijednosti dionika;
• modeli evaluacije;
• okviri i pristupi, uključujući heuristične (pokušaji i pogreške) pristupe;
• nalazi istraživanja i evaluacije te važna pitanja postavljena u literaturi;
• profesionalne standarde, liste provjere, smjernice, instrumente ili kriterije
razvijene i korištene negdje drugo;
• pogledi i znanja stručnih konsultanata i
• lični profesionalni sud evaluatora.
U Poglavlju 4 obradili smo identifikaciju i rad sa dionicima da se prikupe
njihovi stavovi o pitanjima za koja vjeruju da su vrijedna evaluacije. Također,
bilo je riječi o važnosti pregleda prethodnih istraživanja i evaluacionih studija
za identifikaciju pitanja. Naglasak je stavljen na razvoj i upotrebu modela teorije
promjene za pomoć pri identifikaciji područja od fokusa za evaluaciju. Pitanja
dolaze iz glavnih pretpostavki na kojima počiva model.
Ilustracija 6.1 prikazuje vrste evaluacionih pitanja koja treba postavljati na
raznim tačkama u uzročnom lancu. Generička pitanja i dno dijagrama prikazuju
da se formativna pitanja mogu izvući iz aktivnosti i izlaznih rezultata sumarnih
pitanja za srednjoročne i dugoročne rezultate. Pitanja izvedena iz kratkoročnih
rezultata se mogu pisati ili formativno ili sumarno. Pitanja trebaju proisteći iz
glavne pretpostavke postavljene u logičkom modelu o tome kako će program
raditi i koje koristi i ishodi će biti ostvareni. Pitanja će također proisteći iz pregleda
kompletne evaluacije sličnih programa, kao i iz različitih perspektiva dionika o
projektu, programu ili politici, kao što smo govorili u Poglavlju 4.

Ilustracija 6.1 Upotreba logičkog modela za formuliranje evaluacijskih pitanja
Područje kontrolne Izlazni rezultati Područje utjecaja

interno dospijevaju do eksterno
organizaciji direktnih korisnika organizaciji
Ulazni elem. Izlazni Kratkoročni Srednjoročni Dugoročni

Aktivnosti
(resursi) rezultati rezultati (direktni) rezultati (indirektni) rezultati
Eksterni faktori
Formativna evaluacija i/ili Sumarno
U kom obimu su Koji su aspekti Koja je naša Šta smo naučili

učesnici dobili situacije najviše procjena šta je o obavljanju ove vrste
potrebnu obuku u oblikovali rezultiralo iz posla u ovakvoj
razvojnim implementaciju? našeg rada u zajednici?
inicijativama u zajednici?
zajednici?
Vrste pitanja
Mnoga pitanja se mogu razmatrati pri planiranju evaluacije. Sva pitanja moraju
biti jasno definirana na mjerljiv način.
Pitanja se mogu grupirati u tri kategorije: opisna pitanja, normativna pitanja
i uzročno-posljedična pitanja. Vrste pitanja koja se postavljaju – skupa sa poda-
cima, vremenom i dostupnim novcem za provođenje evaluacije – će odrediti
vrstu odabranog dizajna.
Razvoj evaluacionih pitanja i početak dizajniranja matrice 223

Opisna pitanja
■■ Opisna Opisna pitanja nastoje odrediti ono što jest. Mogu opisivati aspekte procesa,
pitanja: uvjete, skup stavova ili skup organizacionih odnosa ili mreža. Patton (2002) uka-
Pitanja koja zuje na opisna pitanja kao temelj evaluacije.
nastoje odrediti
Opisna pitanja
šta jest
• nastoje razumjeti ili opisati program ili proces;
• „snimiti“ šta jest;
• su direktna (ko, šta, gdje, kada, kako, koliko);
• mogu se koristiti da opišu ulazne elemente, aktivnosti i izlazne rezultate i
• često se koriste za prikupljanje mišljenja klijenata programa.
Primjeri opisnih pitanja uključuju sljedeće:
• Šta su ciljevi programa iz perspektive različitih dionika?
• Šta su primarne aktivnosti programa?
• Kako ljudi ulaze u program?
• Gdje je program implementiran?
• Koje usluge program pruža muškarcima? Koje usluge pruža ženama?
• Koje efekte program ima na učesnike?
• U kom obimu program dizajnira reflektivne lekcije naučene iz sličnih pro-
grama u prošlosti?
• Kolike su razlike po lokacijama u tome kako je program implementiran?
• Koje su kvalifikacije vršioca usluga?
• Kada je program implementiran?
• Koliko žena je učestvovalo u programu?
• Koliki su troškovi programa u poređenju sa troškovima sličnih programa?
• Koji su neformalni kanali komunikacije unutar organizacije?
• Koliko korisnim učesnici smatraju program?
Evaluativna pitanja o kreiranju politike su često opisna pitanja. Rist (1994)
identificira „ciklus-politike“ sa tri faze, tokom kojih se postavljaju posebna
pitanja (Tabela 6.1).
Normativna pitanja
Normativna pitanja porede ono što jest sa onim što treba biti. Porede tre-
nutnu situaciju sa određenim ciljevima ili referencama. Ova pitanja su slična
po usklađenosti usmjerenja onim pitanjima koja se često postavljaju prilikom
revizije.

• Radimo li ono što bismo trebali raditi? ■■ Normativna
• Postižemo li dati cilj? pitanja:
• Jesmo li ostvarili ono što smo kazali da ćemo ostvariti? Pitanja kojima
se poredi šta
Ako program ima sistem monitoringa zasnovan na rezultatima, sa indikatorima
jest sa šta bi
i ciljevima, vremenskim okvirima za njihovo ostvarivanje, normativna pitanja se trebalo biti
mogu koristiti da se odgovori na pitanja o ulaznim elementima, aktivnostima, i
izlaznim rezultatima.
Ponekad program ima ciljeve, ali nema vidljiv kriterij za određivanje kako ih
mjeriti ili ostvariti. Indikatori ili ciljevi nisu uspostavljeni. U tom slučaju, evalua-
tor ima nekoliko opcija, neke bolje a neke lošije (Tekstualni okvir 6.1).
Potraga za standardima ili kriterijima obično počinje sa kriterijima koji se
nalaze u dokumentima kojima se odobrava program, kao što su legislativni ili
dokumenti upravnih odbora u kojima se daju odobrenja. Kriteriji mogu također
biti određeni kao indikatori sa određenim ciljevima u sistemu menadžmenta
zasnovanom na rezultatima. Drugi izvori koji mogu uspostaviti standarde
su sistem akreditacije, paneli plave-vrpce, profesionalne organizacije i druge
komisije.
Tabela 6.1 Kvalitativna pitanja koja se postavljaju tokom različitih faza ciklusa politike
Faza Primjeri
Formuliranje politike • Šta se prethodno desilo kao odgovor na ove uvjete ili problem?
• Šta je poznato o prethodnim naporima a što bi pomoglo onima koji
donose odluke da odaberu između mogućih opcija?
Implementacija politike • Koje informacije o problemu ili stanju su potakle reakciju politike ili
programa?
• Koje je napore organizacija ili institucija poduzela da odgovori na
inicijativu?
• Koje su kvalifikacije odgovornih za poduzimanje implementacije?
• U kojoj mjeri su menadžment i osoblje pokazali interes?
• Koje kontrole postoje u vezi dodjele resursa?
• Odslikava li organizaciona struktura adekvatno zahtjev da organizacija
reaguje na ovu inicijativu?
• Koji načini postoje u organizaciji za odabir između konkurentnih zahtjeva?
• Koje vrste sistema povratnih informacija postoje da bi pomogle
menadžerima?
Odgovornost politike • Koliko je relevantan program ili politika u trenutnim prilikama?
• Koliko jak je bio fokus na odgovornost?
Izvor: Prilagođeno od Rist 1994.

Tekstualni okvir 6.1 Evaluacija intervencije koja nema standarda
Razmotrimo višesektorski program čiji ciljevi uključuju sljedeće:
• Poboljšati rezultate čitanja djece u odabranim školskim oblastima.

• Povećati svijesti o HIV/AIDS i metodama prevencije u regionu.
• Povećati broj mikropreduzeća u selu, i povećati im profite.
Evaluator bi htio znati šta tačno ovi ciljevi znače (koji omjer djece će poboljšati
uspjeh u čitanju, čija svijest o HIV/AIDS će se povećati i kako ćemo znati,
koliko mikropreduzeća će se proširiti i u kojoj mjeri ?), ali program nije
definirao svoje ciljeve u tom smislu. Šta evaluator može uraditi u tim okol-
nostima?
Jedan pristup je raditi sa „vlasnicima“ programa – zvaničnicima koji su
administrativno odgovorni za program ili njegovu implementaciju. Ovi
zvaničnici bi trebali moći ukazati na razuman nivo učinka koji će taj program
ostvariti.
Problem sa ovim pristupom je da jedna grupa možda neće prihvatiti stan-
darde koje je postavila druga grupa. Članovi osoblja odgovorni za nadzor, na
primjer, se mogu ne slagati sa standardima koje su predložili implementa-
tori programa. Mogu smatrati da su standardi postavljeni suviše nisko.
Drugi pristup je dovesti jednog ili više stručnjaka koji će usaglasiti standard
koji se može koristiti. Potencijalni problem sa ovim pristupom je da standard
može odslikavati ličnu pristrasnost stručnjaka. To se može riješiti
angažovanjem nekoliko stručnjaka. U tom slučaju, važno je da se grupa
stručnjaka vidi kao politički neutralna ili balansirana i da stručnjaci nisu pre-
thodno bili uključeni u program.
Najslabija i alternativa sa najviše rizika je da evaluator postavi standard.
Ovaj pristup treba izbjegavati, pošto predstavlja teškoće za evaluatora.
Učesnici u programu mogu smatrati da su standardi previše visoki ili previše
niski ili da se takvi standardi ne mogu postaviti naknadno i koristiti u procjeni
njihovog učinka.
Izvor: Autori.
Primjeri normativnih pitanja uključuju sljedeće:

• Jesmo li potrošili onoliko koliko smo odredili?
• Jesmo li dostigli cilj prijema 5.000 studenata godišnje?

• Jesmo li vakcinirali 80 procenata djece, kako je zahtijevano?
• Jesmo li ostvarili cilj isušivanja 100.000 hektara zemljišta?
• Je li proces odabira učesnika bio fer i nepristrasan?
Uzročno-posljedična pitanja
Uzročno-posljedična pitanja određuju koju razliku pravi intervencija. Često se ■■ Uzročno-

posljedična
nazivaju pitanja ishoda, utjecaja ili atributivna pitanja. Uzročno-posljedična pitanja:
pitanja pokušavaju mjeriti šta je to intervencija promijenila. Uzročno Pitanja koja
posljedična pitanja traže da odrede efekte projekta, programa ili politike. određuju koje
To su „pa šta“ pitanja. Uzročno-posljedična pitanja koristimo kada želimo razlike
saznati jesu li ciljani rezultati ostvareni djelovanjem programa. intervencija
pravi
Modeli programske teorije promjene prikazuju željene ishode i utjecaje
intervencije, a ishodi mogu ali i ne moraju biti postavljeni kao uzročno-
posljedična pitanja. Na primjer, u programima kojima se farmerima uvodi novo
poboljšano sjeme, pitanje ishoda može biti jesu li prinosi povećani. Kako smo
rekli, ovo bi bilo opisno pitanje – jednostavno pita koliko je prinos povećan?
Ako evaluacija pita je li prinos povećan kao rezultat programa – a ne, na pri-
mjer, kao rezultat neobično idelanih vremenskih uvjeta za usjeve – onda se tu
radi o uzročno-posljedičnim pitanjima. Uzročno-posljedična pitanja impliciraju
poređenje učinka prema jednoj ili više mjera ili indikatora ne samo prije i poslije
intervencije nego također sa i bez iste.
Primjeri uzročno-posljedičnih pitanja uključuju sljedeće:
• Je li strategija partnerstva tri države bila efektivna u očuvanju biodiverziteta

pogođenog područja uz održanje životnih uvjeta?
• Imaju li učesnici programa obuke u poslu više plaćene poslove nego bi to
inače imali?
• Je li program mikropreduzeća smanjio stepen siromaštva u gradovima gdje je
proveden?
• Je li povećana taksa na gorivo popravila kvalitet zraka?
• Je li povećanje finansijskih kazni koje je vlada uvela za firme koje krše propise
smanjilo iskorištavanje maloljetnika u tekstilnoj industriji?
• Koje druge utjecaje ili popratne efekte (pozitivne ili negativne) je imala ova
intervencija na širu zajednicu?
Evaluatori trebaju postavljati takva pitanja u smislu uzroka i posljedice.

Zato što se mnoge aktivnosti dešavaju u isto vrijeme, teško je demonstri-
rati da su ishodi isključivo, ili barem primarno, rezultat intervencije. Kada
izrađujemo dizajn da odgovorimo na uzročno-posljedična pitanja, evaluatori

trebaju pokazati veliku pažnju da eliminiraju moguća objašnjenja za sve ono
što mijenja mjeru.
U Poglavlju 7 govori se o dizajnima koji se mogu koristiti da se odgovori
na uzročno-posljedična pitanja i ispitaju vrste analize potrebne za pripisivanje
uzročnog odnosa. Zato što je teže odgovoriti na uzročno-posljedična pitanja
nego na opisna ili normativna pitanja, važno je uvjeriti se u velikoj mjeri da je
ovaj oblik pitanja potreban.
Mnoge evaluacije koriste samo opisna i normativna pitanja, posebno ako su
to formativne evaluacije koje se fokusiraju na implementaciju intervencije. Eva-
luacije koje se fokusiraju na utjecaj postavljaju uzročno-posljedična pitanja,
ali obično uključuju i neka opisna i normativna pitanja. Tekstualni okvir 6.2
ilustrira kako evaluacija može uključiti različite vrste pitanja.
Tekstualni okvir 6.2 Evaluacija politika i intervencija koristeći

pitanja sa ponuđenim odgovorima
Poboljšanje preventivne zdravstvene zaštite

Politika: osigurati da sva djeca dobiju preventivnu zdravstvenu zaštitu
Cilj: smanjiti smrtnost novorođenčadi i predškolske djece
Evaluaciona pitanja:
1. Koji procenat djece je primio preventivnu zdravstvenu zaštitu otkako je
program počeo? (opisno pitanje)
2. Jesu li djeca iz ciljanih grupa sa niskim primanjima primila preventivnu
zdravstvenu zaštitu? (normativno pitanje)
3. Je li stepen smrtnosti djece smanjen kao rezultat programa? (uzročno-
posljedično pitanje)
Obuka srednjoškolaca za tržište rada

Politika: osigurati da srednje škole prenose znanja i vještine potrebne za
zapošljavanje na lokalnom tržištu
Cilj: osigurati da su maturanti u stanju dobiti dobro plaćene kvalificirane
poslove

1. Kako srednje škole pripremaju učenike za poslove na lokalnom tržištu?

(opisno pitanje)
2. Imaju li maturanti nakon jedne godine veće plate od onih koji nisu završili
program? (opisno pitanje)
3. U kojoj mjeri srednje škole donose odluke u vezi sa odabirom zanimanja,
a na osnovu tržišta rada? (normativno pitanje)
4. Koliko više maturanti zarađuju nego što bi zarađivali da nisu pohađali
program? (uzročno-posljedično pitanje)
Osiguravanje besplatne imunizacije za ospice

Intervencija: porodične klinike omogućavaju besplatnu imunizaciju ospica za
svu djecu ispod pet godina u tri regiona u državi u jednoj godini
1. Kako su klinike došle do roditelja da bi ih informirali o besplatnoj imuni-

zaciji za njihovu djecu? (opisno pitanje)
2. Je li program dostigao cilj u omogućavanju imunizacije ospica od 100
procenata sve djece ispod pet godina u tri regiona prošle godine? (norma-
tivno pitanje)
3. Je li program koristio inovativne metode da dospije do najugroženije
djece? (opisno pitanje)
4. Je li smanjen omjer djece sa ospicama kao rezultat programa? (uzročno-
posljedično pitanje)
5. Bilježi li se pad smrtnosti djece od komplikacija vezanih za ospice kao
rezultat programa? (uzročno posljedično pitanje)
Uvođenje nastavnog plana zasnovanog na tržištu

Intervencija: tri srednje škole unutar tri grada implementirale su nastavni
plan zasnovan na tržištu
1. Po čemu se plan razlikuje od onog koji se koristi u školama koje ne

učestvuju? (opisno pitanje)
2. Je li nastavni plan zasnovan na tržištu bio onakav kakav je trebao biti?
(normativno pitanje)
3. U kojoj su mjeri maturanti ovih škola ostvarili bolje plaćene poslove?
(opisno pitanje)
4. Dobijaju li maturanti škola, koje koriste plan zasnovan na tržištu, bolje
plaćene poslove nego bi to inače dobijali i je li to rezultat intervencije?
(uzročno-posljedično pitanje)
Izvor: Autori.

Odnos između vrste pitanja i teorija promjene
Kako se vrste pitanja uklapaju sa teorijama promjene razmatranim u pretho-

dnom poglavlju? Pitanja, jesu li pribavljeni ulazni elementi programa i dostignuti
ciljani rezultati su obično normativna pitanja: je li utrošenim sredstvima priba-
vljena zahtijevana količina sredstava i pružene usluge u određenom vremenskom
periodu? Pitanja koja se tiču ostvarenja ciljanih ishoda su također normativna
pitanja. Pitanje u kojoj su mjeri popravljeni rezultati u čitanju u datom vremenu
je opisno pitanje, a pitanje jesu li rezultati u čitanju povećani do razine cilja koji
su postavili menadžeri programa je normativno pitanje. Pitanja koja nastoje testi-
rati odnose postavljene u modelima teorije promjene i prednosti koje su nastale
zbog intervencije i ne bi nastale na drugi način su uzročno-posljedična pitanja.
Pitanja o prednostima koje vode do drugih posrednih ishoda ili utjecaja su također
uzročno posljedična pitanja.
Često su pitanja o promjenama u ishodima, opisna pitanja i slaborječiva pitanja
uzročno-posljedična pitanja. Ukoliko su zamišljena da budu uzročno posljedična
pitanja, može ih biti potrebno ponovo formulirati da se ukaže da pitanje nije samo
o tome koja je promjena nastala nego i da li tu promjenu možemo pripisati
intervenciji (to jest, promjena je veća nego što bi to bio slučaj da nije bilo inte-
rvencije). I drugi ishodi i utjecaji se mogu pripisati intervenciji, kao što je to
postavljeno u teoriji promjene.
Identifikacija i odabir pitanja
Kako evaluator odlučuje koje od mnogih potencijalnih pitanja postaviti?

Cronbach (1982) sugeriše korištenje dviju faza za identifikaciju i odabir pitanja,
divergentna faza i konvergentna faza.
Divergentna faza
U divergentnoj fazi evaluator razvija opsežnu listu potencijalno važnih pitanja i

■■ Divergentna problema. Nekoliko pitanja se eliminira, konsultiraju se mnogi izvori.
faza: Faza Cronbach (1982) sažima divergentnu fazu planiranja evaluacije kako slijedi:
evaluacije u
kojoj evaluator Prvi korak je otvaranje uma za pitanja koja će makar u maloj mjeri predstavljati
razvija opsežnu perspektivu za istraživanje. Ova faza i sama predstavlja čin evaluacije, gdje se
listu potenci- zahtijeva prikupljanje podataka, promišljena analiza i prosuđivanje. Veoma malo
jalno važnih ovih informacija i analiza je kvantitativno. Podaci dolaze iz neformalnih konverza-
pitanja i cija, uzgrednih posmatranja i pregleda postojećih zapisa.
problema

Naturalistički i kvalitativni metodi osobito odgovaraju ovom poslu zato što, u
pogledu percepcije učesnika i zainteresiranih strana, omogućavaju evaluatoru da
identificira nadanja i strahove koji se još nisu pojavili kao pitanja politike...
Evaluator treba pokušati vidjeti program očima raznih sektora zajednice koja
donosi odluke, uključujući profesionalce koji bi vodili program ako je prilagođen, i
građana kojima je program namijenjen.
U nekom trenutku ne nastaju nova pitanja. Tada, evaluator treba stati i ispitati
listu pitanja i početi ih organizirati.
Konvergentna faza
U konvergentnoj fazi evaluator sužava listu pitanja nastalih u divergentnoj fazi

kako bi identificirao najvažnija pitanja. Kako evaluator odlučuje koja su pitanja
najvažnija? Fitzpatrick, Sanders i Worthen (2004) predlažu sljedeći kriterij za
određivanje koja predložena evaluaciona pitanja treba istražiti: ■■ Konverge-
ntna faza:
• Ko bi koristio informaciju? Ko hoće da zna? Ko bi bio uznemiren ako bi se ovo Faza evaluacije
evaluacijsko pitanje izostavilo? u kojoj evaluator
• Da li bi odgovor na pitanje smanjio nesigurnost ili pružio informaciju koja sada sužava listu
pitanja nastalih
nije dostupna?
u divergentnoj
• Da li bi odgovor na pitanje polučio važne informacije? Da li bi bilo utjecaja na fazi kako bi
tok događaja? identificirao
• Da li ovo pitanje jednostavno prenosi interes na nekoga ili se fokusira na važne najvažnija
dimenzije stalnog interesa? pitanja
• Da li bi opseg ili sveobuhvatnost evaluacije bila ozbiljno ograničena ako se
ovo pitanje izostavi?
• Je li izvodivo odgovoriti na ovo pitanje uz date finansijske i ljudske resurse,
vrijeme, metode i tehnologiju?
Ova lista kriterija se može postaviti u matricu kako bi pomogla evaluatoru
i klijentu da suze originalnu listu pitanja na pogodan skup pitanja (Tabela 6.2).
Evaluator posebnu pažnju treba obratiti na pitanja koja postavljaju klijent i
ključni dionici. Ako postoji neslaganje o pitanjima, obično je važno riješiti ih u
ranoj fazi. Proces pomaže evaluatoru i klijentu, kao i drugim ključnim dionicima,
uspostaviti osjećaj zajedničkog vlasništva ili partnerstva što može biti vrijedno
tokom kasnijih faza evaluacije.

Tabela 6.2 Matrica za odabir i rangiranje evaluacionih pitanja
Evaluaciono pitanje
Hoće li evaluaciono pitanje 1 2 3 4 5 6 7 8 9 10
biti od interesa ključnoj publici?
umanjiti postojeću nesigurnost?
polučiti važne informacije?
biti od stalnog (a ne prolaznog
interesa?
biti kritično djelokrugu i
djelokrugu i sveobuhvatnosti
studije?
imati utjecaj na tok događaja?
biti odgovorivo uz date finansijske i
ljudske resurse, vrijeme, metode i
dostupnu tehnologiju?
Izvor: Prilagođeno od Fitzpatrick, Sanders, i Worthen 2004.
Razvijanje dobrih pitanja
Kako bi razvio dobra evaluaciona pitanja, evaluator počinje sa identifikaci-

jom glavnih tema kojima se bavi projekt, program ili politika. Kako smo ranije
primijetili, glavne teme su generalno identificirane pregledom date literature,
uključujući evaluacije sličnih programa, teoriju promjene i dokumente programa,
kao i kroz diskusije sa dionicima programa i klijentima koji finansiraju evaluacije.
Primjeri glavnih tema koje treba obraditi evaluacijom programa koji ima za
cilj smanjiti smrtnost novorođenčadi uključuje sljedeće:
• višestruke uzroke smrtnosti novorođenčadi;
• konkurentne programe koji su u toku;
• efikasnost metoda korištenih da se dospije do majki sa niskim primanjima i
• opseg i prirodu upotreba dodataka ishrani u neplanirane svrhe.
Kada se teme identificiraju, evaluator može postavljati pitanja koja će pomoći
u određivanju jesu li te teme bile pod utjecajem politike ili intervencije.
Primjeri pitanja pomoću kojih ćemo nešto saznati o temama uključuju sljedeće:
• Koje metode pomoći je program koristio?
• Koji metodi pomoći su bili najefikasniji?

• Koja je učestalost oboljenja novorođenčadi opasnih po život bila tokom
provedbe programa?
• Koliko se smanjila stopa smrtnosti?
• Koji su se još u to vrijeme napori činili na poboljšanju materinskog zdravlja?
Pitanja koja uključuju više od jedne teme – kao što je „koliko žena je obavilo
zdravstvene preglede i primilo dodatke ishrani? – treba izbjegavati. Umjesto
toga, pitanje treba podijeliti na dva pitanja („Koliko žena je obavilo zdravstveni
pregled? Koliko žena je primilo dodatke ishrani?“).
Pitanja o temi se mogu obrađivati koristeći sve tri vrste pitanja prilagođavanjem
načina izražavanja. Evaluacija programa kojim se namjeravaju smanjiti povrede i
smrtni slučajevi od mina, na primjer, može postaviti sljedeća pitanja:
• Gdje se nalazi najviše mina? (opisno)
• Je li program dostigao cilj uklanjanja 1.000 mina u datom području za dato
vrijeme? (normativno)
• Je li broj povrijeđenih ili poginulih ljudi smanjen kao rezultat intervencije?
(uzročno-posljedično pitanja)
Sljedeće sugestije mogu pomoći evaluatoru pri pisanju boljih pitanja:
• Uspostaviti jasnu vezu između svakog evaluacionog pitanja i svrhe studije.
• Uvjeriti se da evaluaciona pitanja tretiraju teme od najvećeg značaja.
• Uvjeriti se da je na sva pitanja moguće odgovoriti.
• Postaviti realan broj pitanja.
• Fokusirati se na važna pitanja, ona na koja se mora odgovoriti za razliku od
onih koja bi bilo lijepo istražiti.
• Uvjeriti se da je na pitanja moguće odgovoriti u datom evaluacionom vreme-
nskom okviru i dostupnim resursima.
• Razmotriti vremenske rasporede evaluacije u odnosu na ciklus programa.
Pitanja u vezi sa utjecajem, na primjer, najbolje se odgovore nakon što interve-
ncija funkcionira u punom obimu nekoliko godina.
Evaluaciona pitanja mogu se odnositi na projekt, program, sveobuhvatno
pitanje politike, određenu politiku ili određenu intervenciju povezanu sa poli-
tikom. Na primjer, ako je globalno pitanje (tema politike) smanjenje siromaštva,
mogu se pokrenuti brojne programske intervencije. Svaka politika biva preve-
dena u akciju kroz intervenciju dizajniranu da ostvari određene ciljeve.

Naposljetku, ako su politika i intervencija provedene efektivno i teorija promjene
je tačna, onda bi ukupni ishodi trebali biti ostvareni. Ako nisu, onda i intervenciju i
politiku treba ponovo ispitati. Jedno ili oboje možda treba promijeniti.
Dizajniranje evaluacije
Slično kako arhitekta projektuje zgradu, evaluator tako dizajnira evaluaciju.

Dizajn evaluacije je plan o tome šta će evaluacija uključivati. To nije potpuni plan
rada za studiju.
Dizajn evaluacije se sastoji od:
• glavnih evaluacionih tema ili pitanja;
• općeg evaluacionog pristupa;
• određenih evaluacionih pitanja i potpitanja;
• operacionalizacije (mjera ili indikatora), izvora podataka i metodoloških
strategija za vrstu prikupljanja podataka koja će se koristiti;
• planirane analize i
• strategije širenja.
Patton (1997) razlikuje dvije vrste pitanja dizajniranja: konceptualna pitanja
i tehnička pitanja. Konceptualna pitanja se fokusiraju na to šta ljudi koji su
uključeni misle o evaluaciji. Uključena su takva pitanja kao što je određivanje
svrhe evaluacije i njenih primarnih dionika, kao i politička pitanja koja treba uzeti
u obzir.
Tehnička pitanja se tiču plana za prikupljanje i analizu podataka. Ova tehnička
pitanja su srce matrice dizajna koju treba razviti za svaku evaluaciju. Za svako
pitanje ili obično potpitanje matrica dizajna zahtijeva:
• određivanje vrste pitanja ili potpitanja koje se postavlja (opisno, normativno,
uzročno-posljedično);
• određivanje mjere (indikator ili varijabla) prema kojoj će se na pitanje ili pot-
pitanje davati odgovori (na primjer, procenat rasta rješavanja lokalnih stam-
benih pitanja ili broj vakcinirane djece) ;
• identifikaciju metodološkog dizajna koji će pružiti odgovarajuće informacije
za davanje odgovora na opisna, normativna i uzročno-posljedična pitanja;
• identifikaciju izvora podataka za svako pitanje i potpitanje;
• određivanje je li potreban okvir uzoraka te, ako jeste, koju vrstu koristiti;
• identifikaciju vrste instrumenata prikupljanja podataka koja će se koristiti za
svako pitanje ili potpitanje i
• identifikaciju načina na koji će se analizirati i prezentirati podaci.

Ponekad je mjera po kojoj će se odgovoriti na pitanje usaglašena sa indikato-
rom koji ima jasan cilj i datum do kog će biti ostvaren. Ovo je idealna situacija;
to je najčešće slučaj kada je razvijen okvir monitoringa i evaluacije za interve-
nciju ili je intervencija dio većeg sistema monitoringa za sektor ili vladino mini-
starstvo, na primjer. Bilo da je cilj postavljen ili ne, mora se ukazati na prisustvo
ili odsustvo bazne linije.
Završena matrica evaluacije predstavlja dizajn evaluacije. Ovo nije kompletan
plan rada: ne ukazuje na sve zadatake niti identificira ko će obavljati koji zadatak
i kada. Kompletan plan rada obrađen je u Poglavlju 12.
Etape u procesu dizajna evaluacije
Idealno, proces evaluacije počinje ex ante sa početnim dizajnom programa. Zatim

se nastavlja u nekoliko posebnih i važnih etapa.
Etapa 1: Planiranje ili određivanje opsega evaluacije

Početno planiranje ili određivanje opsega evaluacije pojašnjava prirodu i djelo-
krug evaluacije. Tokom ove faze uspostavljaju se: glavna svrha evaluacije,
dionici koje treba konsultirati, osoba koja će provoditi evaluaciju i vremenski
okvir. Ovo je period istraživanja. Ključna pitanja su identificirana iz perspektive
glavnog klijenta i drugih dionika, pregleda literature i srodnih intervencija koje
mogu utjecati na program. Teorija promjene i pretpostavke na kojima ona počiva
su razvijene ili prerađene.
Etapa 2: Dizajniranje evaluacije

Na kraju faze početnog planiranja i određivanja opsega trebalo bi biti dovoljno
znanja o kontekstu za evaluaciju da bi se mogao odrediti generalni pristup. Srž
planiranja evaluacije je faza dizajna evaluacije, koja kulminira dizajniranjem
matrice evaluacije. Manjkav ukupni dizajn će ograničiti mogućnost izvlačenja
zaključaka o učinku intervencije.
Generalno je dobra praksa predstaviti i diskutirati o cjelokupnom dizajnu
sa sponzorima evaluacije (klijent) i ostalim ključnim dionicima prije nego se
analizira dizajn evaluacije. Tako ćemo osigurati da ne bude iznenađenja, a
također se dobiva podrška evaluaciji. Savjetodavna grupa i pregledi stručnjaka
su također dobri autoriteti da se osigura ispravnost dizajna evaluacije. U visoko
profitabilnim slučajevima nacrt dizajna se može postaviti na web stranicu radi
komentara.
Matrica dizajna se može koristiti kao osnova za razvoj odrednica. Odrednice
mogu služiti kao osnova za zahtjeve za prijedlozima ili kao vodič za evalu-
acijski tim ako se evaluacija provodi interno. Kada određivanje djelokruga i

posao u pozadini evaluacije vrše vanjski konsultanti, mudro bi bilo postaviti
matricu dostupnu za ovaj posao. Nakon toga, druge odrednice se mogu razviti za
implementaciju dizajna evaluacije.
Etapa 3: Provođenje evaluacije

„Faza rada“ evaluacije uključuje prikupljanje i analizu podataka. Obično ako
se prikupljaju različite vrste podataka (ili slični podaci prikupljani iz različitih
izvora) moraju se razviti i testirati različiti instrumenti. Analiza se često vrši
skupa sa prikupljanjem podataka.
Oko dvije trećine puta, prilikom prikupljanja podataka, evaluacijski tim treba
održavati raspravne konferencije da ispita do tada prikupljene nalaze i identi-
fcira proizašle teme i glavne poruke. Raspravna konferencija je koristan način
usaglašavanja tri do pet glavnih poruka. Svrha raspravne konferencije je u ranoj
fazi usaglasiti glavne teme i provjeriti da se tretira glavno pitanje koje stoji iza
evaluacije. (Dok se glavne crte izvještaja mogu organizirati oko evaluacionih
pitanja, organizacija glavnog izvještaja i njegovo predstavljanje onima koji donose
odluke preko poruka ili tema može biti efektivnije, pošto sva evaluaciona pitanja
po svoj prilici nisu od zajedničkog interesa).
Etapa 4: Izvještavanje o nalazima evaluacije

■■ Raspravna U fazi izvještavanja, početni nalazi ili izjave o činjenicama se mogu razmjenjivati
konferencija: i diskutirati sa „vlasnicima“ programa tako da se svaka činjenična greška može
Sastanak na
kome evaluaci-
ispraviti a svaka nova informacija razmotriti prije nego se uradi nacrt izvještaja i
jski tim diskutira razviju preporuke. Kada se analiza završi, rezultati se napišu, nacrti pregledaju,
i usaglašava komentari uključe na odgovarajući način i konačni izvještaj predstavi klijentu i
glavne teme i ključnim dionicima.
provjerava je li Izvještaj obično osigurava pozadinu i kontekst za evaluaciju, ukazuje na svrhu
glavno pitanje
evaluacije, opisuje djelokrug i metodologiju evaluacije i izvještava o nalazima
iza evaluacije
tretirano (uključujući namjeravane i nenamjeravane ishode). Obično uključuje informacije
o naučenim lekcijama i preporukama. Razumijevanje onoga što ne radi dobro
i zašto, važno je kao i razumijevanje onoga što radi dobro i zašto; oboje treba
biti jasno. Kada se piše izvještaj treba imati na umu onoga kome se šalje; ne
treba sadržavati žargone i treba biti lahko čitljiv. (Pisanje izvještaja obrađeno je
u Poglavlju 13.)
Etapa 5: Diseminacija i praćenje nalaza evaluacije

Planiranje evaluacije znači planirati je za komunikaciju cijelo vrijeme ne samo
sa klijentom i ključnim dionicima nego, također, i unutar evaluacijskog tima.
Evaluacija nije kompletna dok njena diseminacija nije završena: razvoj plana

diseminacije je, stoga, dio procesa planiranja. Nalaze ne treba uvijek predstavljati
u printanom obliku. Brifinzi su posebno korisni za predstavljanje nalaza dok je
evaluacija u toku, posebno kada su nalazi neočekivani ili kritični.
Mnoge evaluacije rezultiraju aktivnošću kojom se:
• modifikuje intervencija;
• uklanjaju barijere identificirane u evaluaciji;
• informira buduća politika ili intervencija (modifikuje teorija promjene);
• drugima pokazuje put u vezi naučenih lekcija i
• kojom se preoblikuje razmišljanje o prirodi problema.
Mnoge organizacije imaju sisteme praćenja kojima prate i formuliraju forma-
lne preporuke i sažimaju lekcije. Mogućnost pretrage takve baze podataka po
temi, sektoru, lokaciji i datumu povećava njenu iskoristivost. Bilo da postoje takvi
sistemi ili ne, evaluatori trebaju razmotriti slanje elektronske kopije izvještaja
samo za čitanje relevantnim evaluacionim bazama znanja. Također mogu razmo-
triti predstavljanje nalaza na evaluacijskim konferencijama ili slanjem članka o
evaluaciji na objavljivanje u profesionalnim žurnalima.
Odnos između etapa

Razne etape su sažete u Tekstualnom okviru 6.2. Odnos između različitih kompo-
nenti je prikazan u Ilustraciji 6.2. Ilustracija 6.2 prikazuje centralitet promovi-
ranja upotrebe evaluacije u čitavom procesu evaluacije. Promoviranje upotrebe
evaluacije je centar evaluacije odakle se upravlja drugim procesima i etapama, a
ne nešto o čemu se razmišlja na kraju evaluacije.

Tekstualni okvir 6.3 Pet etapa procesa evaluacije
Etapa 1: Planiranje ili određivanje djelokruga evaluacije

Stiče se podrobno razumijevanje programa, projekta ili politike.
•
Sastati se sa glavnim klijentima evaluacije.
•
Identificirati i sastati se sa drugim ključnim dionicima.
•
Istražiti kontekst programa i prikupiti dodatni materijal.
•
Tražiti srodne relevantne evaluacije.
•
Pregledati prethodne evaluacije da se identificiraju pitanja, dizajn
i korištene strategije prikupljanja podataka.
• Sastati se sa osobljem programa (ukoliko je izvan programa).
• Pregledati i preraditi ili razviti teoriju promjene za program.
Etapa 2: Dizajniranje evaluacije

Odrediti pitanja i teme.
• Sastati se sa klijentom, identificirati glavnu svrhu evaluacije, bitna

pitanja, i kritične potrebe vezane za vrijeme.
• Identificirati i sastati se sa drugim ključnim dionicima da se identifici-
raju pitanja i teme zbog mogućeg uključivanja u evaluaciju.
• Odrediti dostupne resurse za evaluaciju, kao što su budžet za konsu-
ltante i putovanja, članove tima i mješavinu vještina.
• Procijeniti potrebe dionika, uključujući vrijeme.
Pripremiti opis poslova i matricu evaluacije
•
Identificirati vrstu evaluacije.
•
Identificirati specifična evaluacijska pitanja i potpitanja.
•
Odabrati mjere za svako pitanje i potpitanje.
•
Identificirati izvore podataka za rješavanje svakog pitanja ili potpitanja.
•
Identificirati odgovarajući dizajn za svako pitanje ili potpitanje.
•
Razviti strategiju prikupljanja podataka, uključujući instrumente i
metode uzorkovanja koji će se koristiti za svako pitanje i potpitanje.
• Razviti strategiju za analizu podataka.
• Odrediti izvore i vremenske zahtjeve.
Etapa 3: Provođenje evaluacije
• Predstaviti klijentu i ključnim dionicima dizajn evaluacije.

• Pripremiti plan rada, uključujući pregled i testiranje metodologije,
uključujući instrumente predtestiranja, obuku onih koji će prikupljati

podatke i razvoj protokola.
• Prikupljanje podataka.
• Priprema podataka za analizu razvojem tabela (ukoliko to nije provedeno
kao dio dizajna evaluacije) i čišćenje podataka.
• Analiza podataka.
• Razvoj grafika.
• Formuliranje nalaza.
Etapa 4: Izvještavanje o nalazima evaluacije

• Održati raspravnu konferenciju.
• Identificirati glavne nalaze i teme: šta radi, šta ne radi i šta treba
unaprijediti.
• Napisati izvještaj.
• Upoznati klijenta sa nalazima i činjenicama.
• Upoznati zvaničnike i ključne dionike sa nalazima i činjenicama, te
uraditi eventualne korekcije.
• Omogućiti zvaničnicima programa da pregledaju i komentarišu nacrt
izvještaja.
• Razviti preporuke koje su jasne i određene i ukazuju ko šta i kada radi.
• Provjeriti da su preporuke vezane sa dokazima.
Etapa 5: Diseminacija i praćenje nalaza evaluacije
• Odrediti ko će primiti koju vrstu studije diseminacije proizvoda (na

pri-mjer, brifing, dvije do četiri strane sažetka, cjelokupan izvještaj,
detaljnu radionicu) i implementirati plan.
• Identificirati lekcije i mehanizme za razmjenu i zadržavanje.
• Pratiti formalne preporuke da se odredi implementacija.
• Priložiti elektronski fajl u read-only obliku u spremište znanja evaluacije.
• Razmotriti buduću diseminaciju putem profesionalnih organizacija
i žurnala.
Izvor: Autori

Ilustracija 6.2 Pristup razvoju evaluacije
Izraditi i dizajn i odabrati
metodologiju
• Koristiti evaluacijska pitanja.
• Razviti strategiju mjerenja.
Fokusiranje evaluacije • Usvojiti dizajn prikupljanja
• Identificirati i sastati se podataka.
sa dionicima. • Usvojiti strategiju prikupljanja
• Usaglasiti svrhu (sastanak sa podataka.
klijentom. • Usvojiti strategiju uzorkovanja
• Proučiti druge studije i • Razviti instrumente
programsku prikupljanja podataka.
dokumentaciju. • Razviti plan analize.
• Izraditi teoriju promjene. Promovirati upotrebu • Informirati klijenta i dionike.
• Odrediti evaluacijska pitanja. evaluacije • Uključiti dionike.
• Izraditi projektni zadatak. • Razviti strategiju
komuniciranja.
• Upoznati klijenta sa
dizajnom evaluacije.
• Upoznavati klijenta sa
napretkom evaluacije.
• Predočiti nalaze klijentu.
• Tražiti i uključiti povratnu
informaciju od klijenta.
• Donijeti odluke.
• Izraditi plan aktivnosti.
• Pratiti.
• Napraviti preporuke.
• Koristiti praćenje.
Izvijestiti o nalazima Prikupljanje i analiza
• Napisati izvještaj. podataka
• Pregledati nalaze i provesti • Instrumenti testiranja.
provjeru kvaliteta. • Razvoj protokola.
• Napraviti preporuke. • Obučavati, po potrebi.
• Uključiti povratne • Prikupljati podatke prema
informacije/preraditi nalaze. protokolu.
• Dostaviti. • Pripremiti podatke za analizu.
• Analizirati podatke.
• Interpretirati podatke.
• Održati konferenciju s
Izvor: Autori. porukom.
• Pripremiti nacrt izjave o nalazima

Matrica dizajna evaluacije
Matrica dizajna evaluacije je strogo preporučen organizacioni alat koji pomaže ■■ Matrica
pri planiranju evaluacije. Organizuje evaluaciona pitanja i planira prikupljanje dizajna
informacija potrebnih da se na ista odgovori. Matrica povezuje opisna, normativna evaluacije:
Matrica koja
i uzročno posljedična pitanja sa dizajnom i metodologijama. Izvan neposredne organizira
koristi kao alata za planiranje, matrica može pomoći pri promociji upotrebe eva- evaluaciona
luacije i ojačati saradnju između evaluatora i članova osoblja programa. pitanja i planira
Evaluatori trebaju alat da identificiraju neophodne dijelove evaluacije i da prikupljanje
se uvjere da je svaki korak jasno povezan. Koji alat će koristi da se pomogne inforamcija
potrebnih da se
razmišljanje o programu, koji je kontekst, koji su mjerljivi ciljevi, kakvo je pri-
na ista odgovori
kupljanje i analiza podataka, koje strategije će koristiti, sve to će varirati. Neki
evaluatori mogu odlučiti izraditi vlastite alate.
Svrha matrice dizajna je organizirati svrhu evaluacije i pitanja koja će odgo-
varati onome što će se evaluirati uz odgovarajuće tehnike prikupljanja podataka.
Matrica dizajna obično uključuje sljedeće povezane elemente:
• glavna tema evaluacije;
• opći pristup;
• pitanja i potpitanja;
• vrsta pitanja i potpitanja
• mjere ili indikatori;
• ciljevi ili standardi (ako su normativni);
• prisustvo ili odsustvo podataka baznih linija;;
• strategija dizajna;
• izvori podataka;
• primjerak ili cenzus;
• instrumenti prikupljanja podataka;
• analiza podataka i grafike i
• komentari.
Protokoli prikupljanja podataka i evaluacija radnih zadataka, rasporeda, opisa
poslova i planovi komunikacije se mogu dodati ili ostati kao odvojeni, ali pove-
zani alati.
Metod prikupljanja podataka može tretirati više od jednog pitanja ili nekoliko
metoda prikupljanja podataka se može koristiti da se tretira jedno pitanje. Matrica
dizajna uključuje poznate i planirane izvore informacija. Kako se proces kreće od
planiranja ka implementaciji, izvori se mogu proširiti i razjasniti.
Matrica evaluacije nije nešto što je uklesano u kamen. Kao i svaki drugi
alat planiranja, nedvojbeno će trebati modifikacije kako evaluacija napreduje.

Tokom evaluacije, evaluatori mogu pregledati matricu, ažurirati je te koristiti
je kao vodilju za implementaciju evaluacije. Dok planiranje unaprijed može
minimizirati nastanak problema, čak i najbolje planiranje ne može spriječiti
iznenađenja. Šablon za matricu dizajna je prikazan u Ilustraciji 6.3.
U matrici dizajna, pitanja su razložena na onoliko potpitanja koliko je potrebno.
Za svako je potrebno načiniti specifikaciju vrste pitanja (opisno, normativno ili
uzročno-posljedično pitanje); mjera (misli se na varijablu ili indikator) korištena
da se odgovori; cilj ili standard koji će se porediti sa AKO normativnim pitanjem;
indikacije ako postoje podaci baznih linija; izvor ili izvori podataka za odgovore
na potpitanja; specifikacija hoće li uzorak biti uzet i ako hoće koja vrsta; instru-
menti prikupljanja podataka koji će se koristiti; analiza koja će se provesti i bilo
kakvi zabilježeni komentari. Primjeri komentara uključuju bilješke za provjeru
skupa podataka, za indiciranje ograničenja dizajna i razvoj grafike iz podataka.
Matrica je često predstavljena na papiru „legal“ veličine ili sastavljanjem dva
komada papira jedan do drugoga. Neki evaluatori preferiraju matricu raditi verti-
kalno za svako potpitanje. Koji god da se format koristi, evaluatori moraju popu-
niti sve ćelije za svako potpitanje.
Kompletirana matrica dizajna će zauzimati nekoliko stranica. To je dokument

koji onima koji donose odluke omogućava da razumiju šta treba uraditi i kako će
se odgovoriti na evaluacijska pitanja. Sljedeće poglavlje detaljno razmatra popu-
njavanje kolona.
U ovom trenutku čitaoci, koji nastoje primijeniti matricu na dizajn evaluacije,
programa, politike ili projekta, mogu identificirati pitanja i potpitanja te mogu
indicirati vrstu potpitanja. Kolone za prisustvo ili odsustvo podataka baznih
linija, mjera ili indikatora, i ciljevi (ako je potpitanje normativno) također se
mogu popuniti.
Potpitanja za opisna pitanja će biti opisna. Potpitanja za normativna pitanja
mogu biti opisna, ali najmanje jedno potpitanje mora biti normativno. Uzročno-
posljedična pitanja moraju imati najmanje jedno potpitanje uzroka i posljedice, ali
mogu sadržavati i opisna i normativna potpitanja. Primjer kompletirane matrice
dizajna nalazi se u Dodatak B.

Ilustracija 6.3 šablon za matricu dizajna
Matrica dizajna za: _________________________________
Glavna evaluacijska tema: __________________________ Opći evaluacioni pristup:__________________________
Cilj ili Instrument

Vrsta Mjera ili standard Bazni Izvor Uzorak prikupljanja Analiza
Pitanje Potpitanje potpitanja indikator (normativ) podaci? podataka Dizajn ili cenzus podataka podataka Komentari
Razvoj evaluacionih pitanja i početak dizajniranja matrice

243
Sažetak
Evaluatori trebaju raditi sa glavnim klijentom i ključnim dionicima da identi-

ficiraju moguća pitanja. Nakon što se obavi pozadinsko istraživanje, sastanak sa
klijentom i ključnim dionicima, razvoj programske teorije promjene i identifici-
raju se glavne pretpostavke na kojima počiva program, evaluator može početi
praviti, a zatim odabirati evaluaciona pitanja sa duge liste napravljenih pitanja.
Evaluaciona pitanja treba provjeriti prema glavnoj temi evaluacije da se uvjeri
da se ista tretira.
Evaluatori koriste opisna pitanja, normativna pitanja i uzročno-posljedična
pitanja. Formulacija svakog pitanja je važna, zato što pomaže odrediti sredstva za
pronalaženje odgovora na pitanje.
Preporučeni način organizacije evaluacije je upotreba matrice dizajna. Matrica
pomaže organizirati pitanja, dizajne i strategije prikupljanja i analize podataka,
između ostalog. Sljedeća poglavlja pružaju uputstvo korak po korak za komple-
tiranje matrice dizajna.

Poglavlje 6 aktivnosti
Aplikacijska vježba 6.1: Vrste pitanja
Identificirati jesu li sljedeća pitanja o inicijativi za prevenciju zdravlja žena u

ruralnim područjima, opisna, normativna ili uzročno-posljedična pitanja. Ako
neka pitanja treba prepraviti da se razjasni njihova vrsta, uradite to (ovo je obično
slučaj u stvarnom životu).
1. Je li inicijativa pružila savjet, podršku i ostale usluge za 30 žena u ruralnom
području u prvom mjesecu djelovanja, onako kako je planirano?
2. Jesu li usluge pružene na lokaciji i vremenu koje je maksimiziralo broj žena
koje mogu učestvovati?
3. Koji su bili najbolji metodi za dospijevanje do žena u udaljenim područjima
i da se program učini dostupnim za njih?
4. Jesu li zdravstveni problemi među ženama u ruralnom području otkriveni
ranije kod žena koje su učestvovale u inicijativi za zdravlje žena?
5. Koliko je žena primilo koju vrstu usluge od početka programa?
6. Koliko je efikasna inicijativa za zdravlje žena u poređenju sa drugim interve-
ncijama za poboljšanje zdravlja kod žena u ruralnim područjima?
7. Koji je utjecaj zdravstvene inicijative na žene, njihove porodice i širu ruralnu
zajednicu u kojoj one žive?
8. Koliko su učesnici zadovoljni savjetima, informacijama, podrškom i drugim
uslugama koje su im pružene?
9. Zadovoljava li inicijativa za zdravlje žena u ruralnim područjima standarde
efikasnosti koje zahtijeva vlada?
10. Šta učesnici kažu da su utjecaji programa na njih?
11. U kom obimu žene kojima su pružene usluge zadovoljavaju zahtjeve
podobnosti?
12. Je li program zadovoljio svoj cilj povećanja znanja kod žena o tehnikama
prevencije?
Aplikacijska vježba 6.1: Modifikovanje vrsta pitanja
Napišite jedno opisno, jedno normativno i jedno pitanje uzroka i posljedice za

svaki od sljedećih programa:
1. Program stručne obuke kojim se obučavaju mladi ljudi
2. Program izgradnje puteva kojima se tri zajednice povezuju sa centralnom
tržnicom.

Cronbach, L. J. 1982. Designing Evaluations of Educational and Social Programs. San

Francisco: Jossey-Bass.
Feuerstein, M. T. 1986. Partners in Evaluation: Evaluating Development and Community
Programs with Participants. London: MacMillan, in association with Teaching Aids
at Low Cost.
tion: Alternative Approaches and Practical Guidelines. New York: Pearson Education
Inc.
Human Rights Resource Center. 2000. “Questions about Evaluation.” In The Human
Rights Education Handbook: Effective Practices for Learning, Action, and Change.
University of Minnesota, Minneapolis.
http://www1.umn.edu/humanrts/edumat/hreduseries/hrhandbook/part6B
.html.
OECD (Organisation for Economic Co-operation and Development). 2007. Criteria for
Evaluating Development Assistance. Development Assistance Committee. http://
www.oecd.org/document/22/0,2340,en_2649_201185_2086550_1_1_1_1,
00.html.
Patton, Michael Quinn. 1997. Utilization-Focused Evaluation. 3rd ed. Thousand Oaks,
———. 2002. Qualitative Research and Evaluation Methods. 3rd ed. Thousand Oaks,
Rist, R. C. 1994. “Influencing the Policy Process with Qualitative Research.” In Hand-
book of Qualitative Research, ed. N. K. Denzin and Y. S. Lincoln, 545–57. Thousand
Shadish, William 1998. “Some Evaluation Questions.” Practical Assessment, Research
& Evaluation 63.
http://PAREonline.net/getvn.asp?v=6&n=3.
Also available from ERIC/AE Digest at
http://www.ericdigests.org/1999-2/some.htm.
Web stranice
Kellogg Foundation. 2004. Evaluation Logic Model Development Guide. http://www
.wkkf.org/pubs/tools/evaluation/pub3669.pdf.
World Bank. 1996. Participation Sourcebook. http://www.worldbank.org/wbi/
sourcebook/sbhome.htm.

POGLAVLJE 7
Odabir dizajna za uzročno-posljedična,

opisna i normativna evaluaciona pitanja
Nakon odabira evaluacionih pitanja, evaluator potom odabire pristup

evaluacionom dizajnu koji najbolje odgovara za svako pitanje. Ovo
poglavlje predstavlja neke smjernice o dizajnu i identificira dobre i loše
strane različitih opcija dizajna. Međutim, važno je imati na umu da je
svaka situacija jedinstvena. Ne postoji savršen izbor dizajna te tako ni
„jedan i jedini“ način da se tretira evaluaciono pitanje

• Povezivanje pitanja sa dizajnom
• Dizajn za uzročno-posljedična pitanja
• Dizajn za opisna pitanja
• Dizajn za normativna pitanja
• Potreba za rigoroznijim dizajnom
247
Povezivanje pitanja sa dizajnom
Kada evaluiramo, tražimo odgovore na pitanja. U Poglavlju 6 ukazali smo da

postoje tri glavne vrste pitanja: opisna, normativna, i uzročno-posljedična pitanja.
Odabrani dizajn treba odgovarati vrsti pitanja koje postavljamo. Ako su na pri-
mjer postavljena uzročno posljedična pitanja, mora se usvojiti dizajn koji može
odgovoriti na uzročno posljedična pitanja.
Razvojne organizacije traže rješenja za pitanja o razvojnim temama, baš kao
što seljani traže rješenje problema koji hara njihovim selom (Tekstualni okvir
7.1). Međutim, ni evaluatori a ni seljani ne preduzimaju uvijek prave korake dok
pokušavaju odgovoriti na pitanja.
Prvi potencijalni pogrešni korak pri odgovaranju na pitanja je početi sa odabi-
rom strategije za prikupljanje podataka. Kako bi odgovorio na pitanje djevojčice
o slonovima, stariji seljanin bi mogao kazati: „Provedimo istraživanja da otkri-
jemo šta seljani kažu o tome zašto slonovi odlaze“. Počinjanje sa strategijom
prikupljanja podataka gotovo sigurno neće osigurati potrebne informacije.
Drugi potencijalni pogrešan korak je misliti da svaka evaluacija ima jedan
dizajn. Obično evaluacija nastoji odgovoriti na nekoliko pitanja, od kojih svako
zahtijeva odgovarajući dizajn. Evaluacija obično treba tretirati opisna i norma-
tivna pitanja, a ponekad uzročno-posljedična. Evaluator treba izbjegavati
primjenu tehnike „metod u pretrazi aplikacije“ (koja pitanja možemo odgovo-
riti provođenjem istraživanja fokusne grupe?) i razmišljanje da ako tretiramo
uzročno-posljedično pitanje ne treba također tretirati opisna i normativna pitanja.
U primjeru sa slonom moguće je da podrobna studija slučaja kretanja slonova
pokaže da udaranje u posude, a ni prašina nisu uzrok da su slonovi napustii selo.
Selo je možda jednostavno bilo na migracionoj stazi slonova.
Tekstualni okvir 7.1 Šta otjera slonove?

Dva puta svake godine, iz suprotnih pravaca, slonovi protutnje kroz afričko
selo. Svi seljani su bili uključeni u tjeranje slonova iz sela. Neki su lupali u
posude i tave; drugi su zviždali, vikali, ili vrištali. Drugi su dizali prašinu i
hodali uokolo kako bi pokazali ko je vlasnik zemljišta.
Nakon što su slonovi napustili selo, jedna djevojčica je upitala: „Zašto su
slonovi otišli?“ Seljani su odgovorili: „ Zato što smo ih otjerali“. Djevojčica je
zatim upitala: „Ali šta ih je otjeralo, zvuk posuđa, zviždanje ili drugi jaki zvu-
kovi ili možda prašina u zraku?“

Široke kategorije dizajna
Evaluatori imaju tri široke kategorije dizajna od kojih odabiremo: eksperime-

ntalni dizajn, kvazieksperimentalni dizajn i neeksperimentalni dizajn. Svaki je
opisan ispod.
Eksperimentalni dizajn
Mnogi evaluatori smatraju eksperimentalni dizajn – također poznat kao

nasumični ili istinski eksperiment – najjači i najrobusniji dizajn za evaluaciju. ■■ Eksperimen-
Ali se mnogi drugi ne slažu. Kao što smo naveli u Poglavlju 6, evaluatori talni dizajn:
Vrsta ex ante
trebaju stremiti ka što rigoroznijem dizajnu, ali pravi dizajn je onaj koji najbolje
evaluacionog
odgovara rješavanju evaluacionih pitanja. U pravom eksperimentalnom dizajnu dizajna koja
evaluatori moraju pokazati da nije bilo intervencije željeni rezultat ne bi bio zahtijeva
ostvaren. Koristeći primjer slona u selu, evaluator mora dokazati da slonovi ne bi slučajan
napustili selo da seljani nisu lupali o posuđe, zviždali i pravili buku. angažman popu-
lacije od
Da bi pokazali da je intervencija uzrok ishoda, eksperimentalni dizajn poredi
najmanje dvije
rezultate dviju grupa – jedna na kojoj se vrši intervencija, a druga na kojoj se grupe tako da
ne vrši. Glavni kriterij za razlikovanje eksperimentalnog dizajna od ostalih je svaki član
nasumično formiranje grupa. U nasumičnom formiranju oni dodijeljeni grupama populacije od
trebaju imati sličnu pozadinu, spol, kontekst, vremenski okvir i tako dalje. interesa ima
Ovdje prestaje naša analogija sa slonovima, zato što seljani nemaju načina da jednaku priliku
da bude
razdvoje slonove u dvije ili tri nasumično formirane grupe na kojima se mogu
dodijeljen
provesti različite intervencije ili pak ne provesti nikakva intervencija. interventnoj
Ali, da bi nastavili sa primjerom, recimo da je vlada upoznata sa problemom (tretman grupi)
30 sela u ruralnoj provinciji gdje slonovi uzrokuju destrukciju kuća i usjeva u ili neintervent-
selima. Vlada želi pomoći u rješavanju ovog problema na način gdje će slonovi noj (kontrolnoj
grupi)
i seljani živjeti u harmoniji. Angažovan je stručnjak za ponašanje životinja, ali
može raditi samo sa 20 sela u isto vrijeme. Donesena je odluka da će 20 sela koja
će primiti pomoć stručnjaka biti nasumično odabrano a 10 sela će služiti kao
kontrolna grupa. Provedena su istraživanja sa odraslim seljanima u svih 30 sela
kako bi se pribavili bazni podaci za grupu koja se tretira a i za kontrolnu grupu u
vezi stavova prema slonovima i u vezi procjene štete na usjevima kao i procjenu
drugih vrsta šteta.
Odabir dizajna za uzročno-posljedična, opisna i normativna evaluaciona pitanja 249

Prilikom odabira sela gdje će se vršiti intervencija imena svih 30 sela napisana
su na komad papira i stavljena u posudu.
Okupljene su starješine sela, a 10 najstarijih su izvukli po jedan papir iz posude.
Kako su imena sa papira čitana, ime sela bilo bi napisano na tabli. Kada je 10 sela
identificirano, uspostavljena je kontrolna grupa. Cilj biheviorističke intervencije
je smanjiti problem, popraviti stavove te smanjiti štetu i prateće troškove. Nakon
predodređenog vremenskog perioda, razlike između tretiranih i kontrolnih sela
se trebaju pojaviti u vezi ovih mjera, ako je biheviroizam efektivan i sve ostalo
■■ Kvazieksperi- ostane konstantno. U ovom primjeru, biheviorizam je intervencija.
mentalni
dizajn: Vrsta Kvazieksperimentalni dizajn
evaluacionog
Kvazieksperimentalni dizajn je sličan eksperimentalnom dizajnu, ali pojedince
dizajna gdje se
intervencija i
ne raspoređuje nasumično u grupe. Ti dizajni su često više izvodivi nego eksperi-
neintervencija ili mentalni dizajni, zato što su pravi eksperimentalni dizajni često teško izvodivi
grupe koje se a kvazieksperimentalni dizajni ne zahtijevaju nasumičnost nego jednostavno
porede formiranje uporednih grupa.
formiraju ili ex Kvazi eksperimentalni dizajn se može koristiti pri poređenju grupa koje su
ante ili ex post,
slične ali nisu iste. Grupe mogu postojati u različitim, ali sličnim, selima ili se
ali bez
nasumičnog ista grupa može koristiti u različito vrijeme (prije i poslije). U priči o slonovima
formiranja grupa u selu, na primjer, kvazieksperimentalnim dizajnom se mogu odabrati dva sela u
ili gdje se istom regionu, sa istom klimom, istim brojem slonova u području, sličnim brojem
ponovljene seljana, istim brojem kuća i tako dalje. Jedno selo će se tretirati (lupanje posuđa),
mjere vre-
a drugo neće.
menom
poduzimaju
Alternativno, mogu se odabrati dvije grupe gdje će se mijenjati ponašanje
seljana kada dođu slonovi. Kada slonovi prvi puta dođu u selo, seljani će lupati u
posuđe. Drugi put, kada slonovi dođu, neće lupati u posuđe. U tom slučaju imamo
dva primjera gdje poredimo reakciju slonova.
U oba primjera dvije grupe su slične, ali nisu jednake. U prvom primjeru
razlike između dvije grupe i njihovog okruženja mogu utjecati na rezultate. U
drugom primjeru razlika između dvije situacije je ponašanje seljana. Kvazie-
■■ Neeksperi- ksperimentalnim dizajnom evaluatori ne mogu definitivno povezati intervenciju
mentalni sa rješenjem ili pokazati uzročno-posljedičnu vezu sa sigurnošću koju imamo kod
(opisni)
prave nasumičnosti, ali se može naučiti puno toga i postaviti osnovno polazište o
dizajn: Vrsta
evaluacionog mogućim uzrocima i posljedicama.
dizajna gdje se
ne pokušavaju Neeksperimentalni dizajn
napraviti Neeksperimentalni, ili opisni, dizajni ne porede jednu grupu sa drugom.
intervencijske i
Umjesto toga pravi se opsežan opis odnosa između intervencije i njenih efekata.
neintervencijske
grupe, a
naglasak je na
opisu

Tabela 7.1 Dvije ključne karakteristike eksperimentalnih, kvazieksperimentalnih i neeksperi-
mentalnih eksperimenata
Uporedna grupa
Nasumično formirana nije nasumično Mjere se
Vrsta evaluacionog dizajna kontrolna grupa formirana ponavljaju
Eksperimentalni Da Ne Da
Kvazieksperimentalni Ne Vjerovatno Vjerovatno
Neeksperimentalni Ne Ne Ne
Izvor: Autori.
U neeksperimentalnoj studiji evaluator odabire, na primjer, kada da pravi uzorak,

s kim i gdje. Ne čine se napori da se naprave dva ili više jednaka ili slična primjera.
Neeksperimentalna evaluacija može, na primjer, koristiti analizu postojećih
podataka ili informacija, ankete ili fokusnih grupa gdje se prikupljaju podaci koji
su relevantni pitanjima evaluacije. Neeksperimentalni dizajni nastoje posmatrati
karakteristike, frekvenciju i povezanost ( Project STAR 2006).
Aneks 7.1 sažima tri ključne osobine svake od tri kategorije dizajna.
Označavanje dizajna
Evaluacioni dizajni se ponekad predstavljaju koristeći X i O. Gdje X predstavlja

intervenciju ili tretman, a O predstavlja opservaciju. Svaki tretman i opservacija
dobiju indeks koji ih identificira. Na primjer, oznaka za evaluacioni dizajn koji
ima jedan tretman iza kojeg slijedi opservacija je
X O1
Oznaka za evaluacioni dizajn koji ima jednu opservaciju iza koje slijedi
tretman iza kojeg slijede dvije opservacije bi bio
O1 X O2 O3
Svaka grupa u dizajnu dobije odvojeni red. Sljedeća oznaka pokazuje
označavanje evaluacionog dizajna koji ima dvije grupe, jednu koja je tretirana i
drugu koja nije. Obje grupe su posmatrane prije nego je tretirana testna grupa i
dva puta nakon toga:
O1 X O2 O3
O1 O2 O3

Dizajni za uzročno-posljedična pitanja
Uzročno-posljedična pitanja predstavljaju najveći izazov i da bi se na njih dao

odgovor potreban je veoma promišljen dizajn. U evaluacijama koje uključuju
uzročno-posljedična pitanja (to jest, pitanja o utjecajima i uzrocima uočenih
utjecaja) evaluacijski dizajn nastoji isključiti održiva objašnjenja za uočene
rezultate koji nisu intervencija, a da bi se zaključilo da je intervencija uzrokovala
utjecaj. Ukratko, izazov je odlučiti da li uočene promjene pripisati intervenciji ili
nekom drugom uzroku.
Kada se tretiraju uzročno-posljedična pitanja, evaluacioni dizajn je također
moguće uokviriti da tretira pitanje „Kakva bi situacija bila da se nije desila inte-
rvencija“? Ne bi bilo moguće precizno mjeriti kontračinjenice neintervenisanja,
ali je moguće procijeniti šta bi se moglo desiti da nije bilo intervencije.
Eksperimentalni dizajni
Eksperimentalni model svoje korijene ima u medicinskim istraživanjima, gdje

se često koristi za testiranje lijekova i protokola tretmana. Kada se ovaj dizajn
primjenjuje na evaluaciono pitanje vezano za zdravlje, razvojna organizacija koja
nastoji smanjiti broj slučajeva malarije u regionu može postaviti pitanje: „Koji je
najbolji način da se smanji broj slučajeva malarije u regionu?“ Potpitanje može
biti: „Da li se upotrebom tretiranih noćnih mreža smanjuje broj slučajeva malarije
u datom regionu?“
Eksperimentalni dizajn pitanje pretvara u prijedlog. U slučaju primjera sa
malarijom, prijedlog bi bio ovakav: ako ljudima u regionu damo tretirane noćne
mreže, tada će biti manje slučajeva malarije u regionu.
Kao što je predstavljeno u Poglavlju 4, potrebno je razviti teoriju promjene
za prijedlog. Slučajni odabir je najvažniji faktor u eksperimentalnom dizajnu.
Od volontera se može odabrati grupa pacijenata koji imaju istu vrstu oboljenja
u istoj fazi, istog su spola itd. te se nad njima vrše pokusi po slučajnom odabiru.
Pojedinci se zatim slučajnim odabirom režima tretiraju raznim lijekovima. Jedna
podgrupa može uzimati lijek koji predstavlja trenutno znanje, druga podgrupa
može uzimati neke nove obećavajuće lijekove. U dvostruko-slijepom ekspe-
rimentu, ni učesnici a ni članovi medicinskog osoblja ne znaju koji lijek je davan
kojim pacijentima.
Postoji blag, ali rastući, trend u razvoju evaluacije ka upotrebi eksperime-
ntalnog dizajna. Kretanje u ovom pravcu proizlazi iz frustracije od percipiranog
nedostatka dovoljnog znanja, unatoč mnogim godinama evaluacije i od onog što
funkcionira u razvojnom kontekstu i pod kojim uvjetima.

Klasični eksperiment ima šest koraka:
1. Formuliranje hipoteze.
2. Pribavljanje baznih podataka (to jest, mjere zavisne varijable).
3. Raspored učesnika metodom slučaja u grupe na kojima se provodi interve-
ncija i grupe na kojima se ne provodi (kontrolne).
4. Uvodi se tretman ili nezavisna varijabla u intervenciju.
5. Ponovo se mjeri zavisna varijabla (ponovni test).
6. Proračun razlika između grupa i testiranje za statistički značaj.
U primjeru malarije, pitanje je da li upotreba tretiranih noćnih mreža smanjuje

broj slučajeva malarije u regionu. Šest koraka bi postavili ovako:
1. Formuliranje hipoteze: Upotreba noćnih mreža tretiranih sredstvom koje

odbija komarce smanjuje broj slučajeva malarije.
2. Pribaviti bazne podatke: Tokom perioda od dva mjeseca, broj novih slučajeva
malarije bio je 172.
3. Rasporediti učesnike metodom slučaja u grupe na kojima se provodi interven-
cija i grupe na kojima se ne provodi (kontrolne).
4. Tretirati: Noćne mreže dati jednoj grupi (tretirana grupa), a drugoj ne (kontro-
lna grupa).
5. Ponovo mjeriti zavisnu varijablu: Nakon dva mjeseca intervencije, broj novih
slučajeva malarije bio je 65 u testnoj grupi , a 118 u kontrolnoj grupi.
6. Izračunati razliku između dvije grupe: Testna grupa je imala 53 slučaja manje
nego kontrolna grupa.
Oznaka dizajna za klasični eksperiment sa jednom tretman grupom i jednom

kontrolnom grupom izgleda ovako:
O1 X O2
O1 O2
U nekim slučajevima evaluatori također koriste R ispred reda za svaku grupu

da bi pokazali da je grupa imala slučajni odabir. Za eksperimentalni dizajn
kao što je ovaj gore opisani (dodjela noćnih mreža slučajnim odabirom nekim
učesnicima), oznaka bi izgledala ovako:
R O1 X O2
R O1 O2

Ljudska bića su kompleksna, a socijalne situacije je teško analizirati. Eksperi-
mentalni dizajn dobro radi kada se testiraju lijekovi na ljudskim tijelima, koja su
relativno slična. Kada posmatramo kompleksno ponašanje ljudi, treba biti opre-
zan zbog lažno pozitivnih i lažno negativnih slučajeva. Lažnopozitivni slučajevi
nastaju kada studija ukazuje da je intervencija bila uzrok posljedice, a u stvari to
nije tako. Lažnonegativni slučajevi nastaju kada studija ne pokazuje vezu između
intervencije i uspjeha a kada je ustvari intervencija uistinu povezana sa uspjehom.
Lažnopozitivni slučajevi se mogu javiti zato što su podaci iz domaćinstava
„samo-izvještavajući“. Ljudi u regionu mogu biti svjesni eksperimenta i tre-
tmana domaćinstava te ne prijavljivati slučajeve malarije kako bi ugodili vla-
dinim zvaničnicima.
Lažnonegativni slučajevi mogu biti češći. Može se desiti da nema razlike
između dvije grupe zato što je postinterventni dvomjesečni period mjerenja vršen
u sušnoj sezoni kada su slučajevi malarije rjeđi. Lažni negativni slučajevi se
mogu desiti zato što tretirana grupa domaćinstava ne koristi noćne mreže svaku
noć ili su oni u grupi gdje intervencija nije provođena sami sebi pribavili mreže.
Ako ova studija ne postavi dodatna pitanja, bit će teško interpretirati rezultate
čak i u ovoj jednostavnoj intervenciji slučajnog odabira. Da bi objasnili rezultate
bilo bi od pomoći da evaluatori također postave neka od sljedećih pitanja:
• Koje informacije su u domaćinstvima dobili o upotrebi noćnih mreža?
• Kako je sastav „domaćinstva“ određen i ko je ustvari spavao ispod mreže?
• Koja pitanja implementacije su se pojavila u interventnoj i neinterventnoj
■■ Kontrolna grupi?
grupa: Grupa • Koliko je slučajeva malarije bilo u poređenju sa istim periodima od dva
u eksperimentu
čiji članovi nisu
mjeseca u prošlosti?
izloženi ili je nad • Je li bilo drugih nastojanja u prevenciji malarije u regionu u vrijeme ove
njima intervencije?
provođena
intervencija Sva ova pitanja su opisna, što zahtijeva jednostavniji dizajn da bi se na njih
odgovorilo.
■■ Tretman
Kontrolne grupe
grupa:Grupa u
eksperimentu Eksperimentalni dizajn nastoji eliminirati ili kontrolirati druge faktore koji pre-
čiji su članovi dstavljaju konkurentna objašnjenja za rezultate u eksperimentu. Kada koristimo
izloženi ili je nad eksperimentalni dizajn, evaluatori porede ekvivalentne grupe. Kontrolna grupa
njima je grupa izložena uobičajenim uvjetima; njeni članovi nisu izloženi ili treti-
provođena
rani intervencijom. Grupu izloženu intervenciji možemo zvati tretman grupa.
intervencija
Upotreba intervenciji da ih se poredi sa grupama koje nisu bile izložene tretmanu.

Kontrolne grupe često uključuju uskraćivanje intervencije onima kojima
je potrebna. Ponekad se uskraćivanje intervencije pravda nedostatkom resursa da
se pomogne svima kojima je potrebno. Moguće je samo djelomično pokrivanje
populacije intervencijom ili se program podijeli u faze tokom vremena. U drugim
slučajevima, intervencija nije dokazana, tako da postoji mogućnost da su neke
vrijednosti uskraćene. Ako se pokaže da je intervencija efektivna, može biti teško
objasniti zašto je nekim ljudima zabranjen pristup istoj (Patton 2008).
Nasumični raspored
Eksperimentalni dizajn uključuje raspoređivanje potencijalnih učesnika u
grupe na kojima se provodi intervencija i grupe na kojima se ne provodi koristeći
metod slučajnog odabira a kako bi se povećala vjerovatnoća da su grupe identične
(ne postoji pristrasnost kod formiranja grupa) u smislu faktora koji mogu utjecati
na rezultate programa ili intervencije. Ovi faktori mogu uključivati starost, spol,
obrazovanje, stavove, historiju i druge faktore učesnika.
U idealnom svijetu bilo bi moguće nasumično odrediti ko podliježe interve-
nciji, a ko ne. Problem u stvarnom svijetu kod evaluacije je identificirati kredi-
bilnu kontrolnu grupu nad kojom se ne provodi intervencija. Jedan način da se
to uradi je dodjela resursa projekta ili programa metodom slučaja. Korisnici pro-
jekta ili programa su tada nasumičan uzorak populacije u cjelini. Ovaj uzorak
zatim možemo porediti sa drugim nasumično odabranim uzorkom grupe u kojoj
se nalaze oni koji nisu korisnici programa (kontrolna grupa) (White 2007).
Nasumični raspored može omogućiti upotrebu jakog dizajna za mjerenje
utjecaja. Također može biti više nepristrasan nego raspored drugim metodom –
pristrasnost ili favoriziranje nisu u igri kada je raspored u tretirane ili kontrolne
grupe zasnovan na slučajnom odabiru.
Iako je nasumični odabir više primjenjiv na razvojne intervencije nego što
se misli, nije baš uvijek prava opcija. Kao kod medicinskih testiranja, ponekad
nije etično nekoga izuzeti iz intervencije da bi se formirala kontrolna grupa, ali
ponekad nema dovoljno resursa da se tretiraju svi koji se prijave za učešće, tako da
je tada rezultat izostavljanje nekoga iz intervencije. Menadžer projekta će nekada
htjeti uključiti one sa najboljim šansama da se okoriste intervencijom. Ovo može
biti način da se najbolje iskoriste ograničeni dolari programa. Iz perspektive
evaluacije, međutim, ako su najbolji ljudi dodijeljeni programu, rezultat će biti
pristrasan zato što uzorci nisu nastali na nepristrasan nasumičan način.
Kada odabir slučajnim metodom nije moguć, postoje druge opcije da se pri-
kupe podaci o faktorima koji mogu činiti razliku među grupama i koji bi vjero-
vatno utjecali na ishod. Ove varijable se zatim mogu ugraditi u analizu podataka
kao kontrolne varijable. Upotreba kontrolnih varijabli omogućava evaluatoru
da eliminira neka alternativna objašnjenja čak i kada nasumični raspored nije
moguć.

■■ Kontrolna Pri odabiru grupa, evaluatori trebaju razmotriti problem pristrasnosti. U pri-
varijabla: strasnosti pri odabiru razlika između učesnika i ne-učesnika može se zasnivati
Strani faktor koji na neuočljivim razlikama između grupa prije nego na efektima intervencije.
je uvijek
konstantan tako Proces nasumičnog odabira prije intervencije osigurava da su tretman grupe i
da se mini- kontrolne grupe u prosjeku statistički ekvivalentne, prema svim karakteristikama.
miziraju mogući Nasumični eksperiment rješava problem pristrasnosti prilikom odabira tako što
efekti koje formira eksperimentalnu grupu od ljudi koji bi inače učestvovali u programu, ali su
može imati na
nasumičnim odabirom izostavljeni iz programa ili tretmana. Nasumični odabir ne
ishod interven-
uklanja pristrasnost pri odabiru nego ga balansira između grupa učesnika (tretman)
cije
i onih koji ne učestvuju (kontrolna), tako da se odstranjuje kada se proračunava
■■ Pristrasnost
pri odabiru: procjena srednjeg utjecaja. Sve razlike u prosječnim ishodima dvije grupe nakon
Deformacija intervencije se mogu pripisati intervenciji (World Bank 2008.)
dokaza ili
Pristrasnost pri odabiru se može javiti na dva načina. Prvi je kad učesnici samo-
podataka o
rezultatima stalno ulaze u program. U drugom menadžeri mogu odabrati učesnike s kojima
programske će ostvariti najvjerovatniji uspjeh. Na primjer, razmotrimo program tretiranih
intervencije noćnih mreža. Ako je intervencija bila uvesti tretirane noćne mreže na tržište po
zbog siste- veoma niskoj cijeni, tada bi postojala pristrasnost u odabiru zato što bi oni koji
matskih razlika
mogu priuštiti nabavku i nabavili su noćne mreže bili u tretman grupi; a oni koji
u karakteristi-
kama između
to ne bi mogli ili oni koji nemaju informacija o tretiranim noćnim mrežama ne
podskupa bi bili u tretman grupi. Pored toga bilo bi veoma teško porediti tretman grupu i
populacije koja kontrolnu grupu, zato što se ne vodi evidencija ko koristi noćne mreže a ko ne.
se tretira Da bi smanjili mogućnost da dođu u zabludu i nešto što nije istina smatraju
intervencijom i istinitim (lažno pozitivno), evaluator posuđuje podatke iz metoda socijalne nauke.
onih u istoj
Koristeći eksperimentalni evaluacioni dizajn, evaluatori čine sve što mogu kako
populaciji koje
intervencija ne bi kontrolirali implementaciju programa, politike ili projekta i okoline u kojoj
tretira se implementacija primjenjuje. Kada evaluacija u razumnim granicama može
kontrolirati sve osim intervencije, evaluatori mogu biti prilično sigurni da su sve
uočene razlike rezultat te intervencije. Razmotrimo evaluaciju intervencije gdje
se primjenjuje gnojivo da bi se povećali prinosi kukuruza. Projekt upravlja stak-
lenikom gdje seljani kontroliraju temperaturu, vodu i stanje tla. Kao dio evalu-
acionog dizajna, dva odvojena područja uzgoja su napravljena unutar staklenika.
Jedan koji je određen metodom slučaja će biti tretiran gnojivom; drugi služi
kao kontrolno područje. Oba područja imaju istu temperaturu, sunčevu svjetlost
i vodu, a kukuruz je zasijan na potpuno istoj mješavini zemljišta. Prilikom žetve
prinosi se mjere. Ako testno područje ima veći prinos nego kontrolno, evaluator
može zaključiti da je gnojivo napravilo razliku.
Zamislimo sada šta se dešava kada se intervencija primijeni na polju umjesto
na kontrolirano okruženje u stakleniku. Šta se dešava ako su dva područja blizu
jedno drugome te gnojivo pređe u područje koje se ne testira? Područje koje se ne
tretira se može pomjeriti u drugi dio polja – ali zemljište, svjetlost, temperatura ili
padavine tamo mogu biti nešto drugačije. Dva polja također mogu imati različit

nivo pažnje. Iako evaluacija još uvijek može mjeriti utjecaj, više uvjetno bi mogli
zaključiti da je samo gnojivo uzrokovalo veće prinose.
U kompleksnom svijetu gdje se dešavaju razvojne intervencije postaje teško
odrediti čemu pripisati utjecaj iz mnoštva faktora. U slučaju poljoprivrede, pre-
tpostavimo da je intervencija navodnjavanja implementirana u vrijeme idealnih
vremenskih uvjeta i velike potražnje za usjevima. Prihod u području gdje je
intervencija implementirana povećao se proteklih godina. Ali, da li je veći pri-
hod rezultat intervencije? Ili je uzrokovan drugim faktorima, kao što su povećane
padavine, dobra ekonomska vremena ili neuobičajen period političke stabilnosti?
Idealno, uzeli bi podobne za intervenciju navodnjavanja unutar definiranog
područja te bi neke od njih nasumično dodijelili interventnoj a neke neinterve-
ntnoj grupi. Ali koje su opcije kada nasumični raspored nije moguć te eksperi-
mentalni dizajn tako nije opcija?
U mnogim takvim slučajevima, koriste se kvazieksperimentalni dizajni.
U kvazieksperimentalnim dizajnima vrši se poređenje, ali bez nasumičnog
rasporeda u grupe. Chatterji (2007), Patton (2007), i Bamberger i White (2007)
imaju odlične radove o ograničavanju eksperimentalnog dizajna u stvarnom
svijetu.
■■ Interna
Interna validnost validnost:
Kada govorimo o eliminaciji drugih mogućih objašnjenja, govorimo o internoj Sposobnost
validnosti. Interna validnost se odnosi na sposobnost dizajna da odstrani druga dizajna da
objašnjenja za uočene rezultate. Evaluacioni dizajn sa jakom internom validnošću odstrani sve
druge potenci-
povećava samopouzdanje evaluatoru pri donošenju zaključaka o tome je li inte-
jalne alterna-
rvencija uzrokovala uočene rezultate ili ne. Dizajn sa slabom internom validnošću tivne faktore ili
otežava nastojanje da druge uvjerimo da je intervencija uzrokovala uočene rezu- objašnjenja za
ltate. Interna validnost se ovdje pojavljuje zato što se, u odsustvu nasumičnosti, uočene
validnost nalaza evaluacije može kompromitirati na razne načine. rezultate a koji
nisu intervencija
Ove prijetnje internoj validnosti nalaza evaluacije su samo moguća
konkurentna objašnjenja; ona ne moraju zaista postojati. Tako da je interna vali-
dnost vezana za kontekst. Kvazieksperimentalni dizajn treba riješiti te prijetnje
internoj validnosti.
Društvo za evaluaciju Ujedinjenog Kraljevstva (2003) internu validnost
definira na ovaj način:
Povjerenje koje možete imati u nečije zaključke o tome šta je intervencija
stvarno ostvarila. Prijetnja internoj validnosti je primjedba da evaluacioni dizajn
omogućava da uzročna veza između intervencije i uočenih efekata ostane nesi-
gurna. To možemo posmatrati kao pitanje sljedeće prirode: možemo li nešto drugo
mimo intervencije smatrati uzrokom nastale promjene nakon intervencije?

U klasičnom tekstu Cook i Campbell (1979) identificiraju nekoliko uobičajenih
prijetnji internoj validnosti:
• historija • odumiranje
• sazrijevanje • regresija ka sredini
• ponovljeno testiranje • instrumentacija.
■■ Efekt
• pristrasnost pri odabiru
historije:
Efekt događanja
nevezanih za Efekt historije
rezultate
intervencije
Efekt historije se odnosi na mogućnost da su događaji koji su se desili tokom
intervencije (ili između ponovljenih mjera koje nisu dio intervencije) na neki
način utjecali na rezultate. Historija će uvijek biti prijetnja longitudinalnom
istraživanju. To je možda prijetnja koju je najteže otkriti, zato što evaluator mora
istražiti događaje koji su se desili tokom intervencije a koji su mogli utjecati na
rezultate. Kada posmatramo rezultate za pojedince, historijski događaji koji utječu
na rezultate su prilično vjerovatni. Lična historija uključuje slijed događaja, od
kojih neki mogu imati svojstvo promjene. Za grupu pojedinaca, historijska pri-
jetnja internoj validnosti mora identificirati događaj koji u isto vrijeme pogađa
većinu ili barem neke od pojedinaca u dovoljnoj mjeri da značajno promijene
mjereno svojstvo. Kao što Brossart, Clay i Willson (2002) primjećuju:
Ako su svi pojedinci, članovi neke grupe, potraga za ovim događajem može biti
provedena putem intervjua ili posmatranja; ako su učesnici nezavisni, vjerovatnoća
takvog događaja koji u isto vrijeme mijenja svojstvo će biti mala ukoliko se ne desi
u uobičajenim okolnostima gdje su svi učesnici locirani, kao što je recimo bolnica.
Recimo, na primjer, da se tokom programa namijenjenog visoko rizičnoj

omladini dogodi krivično djelo koje je počinio maloljetni prijestupnik. Situacija
dovodi do toga da se od vlasti traže drastične mjere kao odgovor na slučajeve
maloljetničkog prijestupništva. Situacija može promijeniti vrstu ljudi na koje se
program odnosi i vjerovatno će utjecati na rezultate. Stavovi iz istraživanja su
posebno predmet utjecaja ove vrste, zato što su stavovi u velikoj mjeri formirani
pod utjecajem nedavnih dešavanja i medijskom predstavljanju aktuelnih pitanja.
(Office of Juvenile Justice and Delinquency Prevention 1989).
Razmotrimo intervenciju kao što je uvođenje novog sjemena ili obuku za
poboljšanu obradu zemljišta za farmere u provinciji. Zavisna varijabla ili mjera
ishoda može biti povećanje prihoda od usjeva relativna prethodnoj godini. Ali,
može biti da su farmeri ostali pri starom načinu obrade zemljišta, a da su pro-
bali sa novim sjemenom, a ipak su njihovi prihodi u prosjeku povećani. Dublje
istraživanje može pokazati da se radi o godini sa izvanrednim klimatskim uvjetima

za proizvodnju usjeva. Tako da je ustvari klima, a ne intervencija uzrok rezultata.
Događaji izvan intervencije utjecali su na rezultate. Prije i poslije dizajni često
podliježu efektu historije.
Efekt sazrijevanja
Efekt sazrijevanja nastaje kada su rezultati nastali kao uzrok starenja ili razvoja. ■■ Efekt
Kako ljudi stare oni tako i sazrijevaju. Kako sazrijevaju, mogu imati drugačije sazrijevanja:
mišljenje ili drugačije reagovati na situacije. Promjene koje prirodno nastaju Efekt starenja ili
kao rezultat protoka vremena uključuju starenje, ljudi postaju pametniji i stiču razvoja na
rezultate
iskustvo. Ovaj efekat nastaje među pojedincima i grupama. Djeca će, na prim-
jer, vjerovatnije bolje čitati tokom perioda od dvije godine čak i bez dodatnog
vježbanja. Organizacije se, također, razvijaju i mijenjaju. Ove promjene mogu
biti dio prirodnog ciklusa rasta i razvoja i nemaju ništa sa intervencijom. Prije i
poslije dizajn je često slab zbog efekta sazrijevanja.
Sazrijevanje možemo zamisliti kako nastaje u dva oblika: kratkoročno
i dugoročno. Kratkoročno sazrijevanje je predstavljeno radom i učenjem.
Dugoročno sazrijevanja se bavi psihofizičkim razvojem, kulturnim promjenama
i promjenama u okolini koje mogu utjecati na psihološku konstrukciju. Kada se
mjerenja vrše u razmaku od nekoliko mjeseci, dugoročno sazrijevanje je pote-
ncijalno važno.
Na primjer, evaluacija može istraživati efekte dvogodišnjeg programa čitanja
na uspjeh djece u osnovnoj školi. Nakon dvije godine kognitivne vještine djece će
se poboljšati sa ili bez programa čitanja. Kako evaluator može biti siguran da će
povećan uspjeh u čitanju odslikavati program čitanja, a ne sazrijevanje učenika?
Efekt ponovljenog testiranja

Efekt ponovljenog testiranja (kratkoročni) nastaje kada se ispitanicima daju isti ■■ Efekt
ponovljenog
testovi prije i poslije intervencije ili više puta. Ispitanici mogu naučiti kako da testiranja:
reaguju na pitanja, ugrožavajući tako validnost rezultata. Efekt na
Razmotrimo, na primjer, intervenciju kojom se nastoje poboljšati vještine rezultate
nastavnika u ruralnim školama. Nastavnicima se da test učinka na kraju svakog uzrokovan
mjeseca. Evaluiraju ih članovi evaluacione komisije koji koriste listu provjere i izlaganjem
ispitanika istom
mjesečne rezultate njihovog učinka. Nastavnici mogu poboljšati vještine prema
testu više puta
listi provjere prosto zbog ponavljanog testiranja vještina.
Pristrasnost pri odabiru

Pristrasnost pri odabiru nastaje kada se poredi grupa ljudi koja je samoodabi-
rom ušla u program sa grupom ljudi koja to nije. Dvije grupe nisu jednake, zato
što će pojedinci koji su sami ušli u program vjerovatno poboljšati svoje vještine
ili promjeniti stavove čak i bez intervencije za razliku od onih koji nisu oda-
brali da učestvuju. Pristrasnost pri odabiru može biti prisutna i kod onih koji su

■■ Pristrasnost odabrali da urade istraživanje za razliku od onih koji to nisu. Pristrasnost kod
pri odabiru: samoodabira je moguća u svakom programu u kom ljudi ili firme saznaju i prijave
Iskrivljenost
se za program. To je rizik kvazieksperimentalnog dizajna.
podataka o
rezultatima
programske Efekt odumiranja
intervencije Efekt odumiranja se odnosi na one koji otpadnu iz intervencije. Gubitak učesnika
zbog sistemskih može stvoriti efekt lažnog tretmana koji izgleda kao rezultat intervencije. Baš
razlika u kao što odabir može biti izvor pristrasnosti, tako to može biti i diferentna stopa
karakteristikama
onih učesnika koji napuštaju intervenciju. Iako postoji veliko iskušenje da se
podgrupe
populacije koja predstave rezultati samo onih koji su uspješno završili program, to bi rezultiralo
je tretirana pristrasnošću, zato što su oni koji su ispali iz programa vjerovatno imali lošiji
intervencijom i učinak od onih koji su ga završili. Iako su kompletiranje programa i prikupljanje
onih u istoj toj potpunih efekata tretmana važni ulazni elementi za evaluaciju, ipak ne smiju
populaciji koji
zakloniti poređenje sa učinkom grupe sa kojom se poredi.
nisu tretirani
Razmotrimo, na primjer, program za obrazovanja nastavnika sa 400 učesnika
gdje je korištena stopa diplomiranja kao jedan način da se odredi uspjeh pro-
■■ Efekt grama. Nakon trogodišnjeg programa, 25 učesnika je umrlo od AIDS-a. Gubitak
odumiranja: ovih učesnika vještački je smanjio stepen diplomiranja, stvarajući utisak da je
Efekt otpadanja
iz mjerenja
program bio manje uspješan nego što je inače mogao biti.
rezultata Pogledajmo drugi primjer, koristeći isti program za obrazovanje nastavnika.
intervencije Pretpostavimo da nastavnički fakultet koji sponzoriše program ima politiku da
trudnice ne mogu pohađati nastavu niti prisustvovati ispitima. Trudnice tako ne
bi bile uključene u stopu diplomiranja.
Efekt regresije ka sredini

■■ Regresija ka
Fenomen regresije pokazuje prirodnu tendenciju kod pojedinaca koji su imali
sredini:
Prirodna veoma visok ili veoma nizak rezultat da kada budu ponovo testirani rezultat bude
tendencija kod bliži sredini. Ovaj efekt je poznat kao regresija ka sredini. Ako mjera nije pou-
pojedinaca koji zdana, pojavit će se neke varijacije između ponovljenih mjera. Šanse su da će se
imaju ili veoma mjerenja pomjeriti ka sredini umjesto ka ekstremima. Tako, u programu gdje se
visoke ili veoma
odabiru pojedinci ili grupe na osnovu njihovih ekstremnih rezultata, promjene u
niske rezultate
da kod
učinku mogu se očekivati pošto će se „ekstremna“ grupa kretati prema sredini,
ponovnog bilo da je imala korist od programa ili ne.
testiranja imaju Recimo, na primjer, da program kojim se poboljšavaju vještine vođenja
rezultat bliže knjiga u mikrokreditnoj intervenciji odabere učesnike na osnovu rezultata
sredini testa aritmetičke sposobnosti, gdje se oni sa najboljim rezultatima odaberu da
učestvuju u programu. Ako se tim istim učesnicima da isti taj aritmetički test
nakon intervencije, njihovi rezultati mogu biti slabiji, zato što bi se kretali bliže
srednjem rezultatu.

Efekt instrumentacije ■■ Efekt
Efekt instrumentacije nastaje ako se promijeni pouzdanost instrumenata. Prom- instrumenta-
jene mogu reflektirati promjene u mjerenju uzroka (kao rezultat, na primjer, kali- cije: Efekt na
rezultate
bracijske greške). Na primjer, evaluacija programa kojim se pokušava povećati evaluacije
tjelesna težina kod odraslih pružanjem nutritivnih informacija može pokazati prouzrokovan
značajan efekt ako vage kojima se mjerila težina nisu kalibrirane ili ako postoji nedostatkom
razlika kada i kako su kalibrirane. pouzdanosti
instrumenata
korištenih za
Kvazieksperimentalni dizajn mjerenje istih
Metode kvazieksperimentalnog dizajna se mogu koristiti da se izvede evalu-
acija kada nije moguće formirati tretman ili kontrolne grupe koristeći nasumičan
raspored. Kvazieksperimentalni dizajn uključuje dizajne gdje se koriste usporedne
grupe sličnih karakteristika i dizajne gdje se koriste višestruke mjere, ali se ne ■■ Kvazieksper-
koriste usporedne grupe. Evaluator formira grupe koje su ekvivalentne prema imentalni
važnim karakteristikama (spol, prihodi, socioekonomska pozadina) koliko je god dizajn: Dizajn
to moguće. Učinak ovih ekvivalentnih grupa, koje se ponekad zovu usporedne gdje se grupe
sličnih
grupe, se zatim poredi (Tekstualni okvir 7.2). Ponekad evaluator može formirati
karakteristtika
usporedne grupe uklapanjem ključnih karakteristika. Drugi put, evaluator će naći porede ili se
usporednu grupu koja nije istovjetna kao grupa nad kojom je provedena interve- tokom vremena
ncija nego samo dovoljno slična da osigura nešto poređenja. uzimaju
Odabir kvazieksperimentalnog dizajna ex ante nije neophodan, ali je poželjan. višestruke
Rezultat obično bude jači dizajn ako se usporedne grupe mogu identificirati mjere iste
grupe
nego da se samo oslanja na višestruke mjere iste grupe tokom vremena. Idealno,
bazni podaci o usporednoj grupi prikupljeni su u isto vrijeme kada su prikupljeni
i za grupu koja podliježe intervenciji, a prije programa intervencije. U ex post
kvazieksperimentalnom dizajnu usporedna grupa se identificira nakon početka
programa, pa čak i nakon njegovog završetka. Ovo je očigledno izazovnija situ-
acija za evaluatora.

Tekstualni okvir 7.2 Funkcioniraju li škole kojima upravlja
zajednica? Evaluacija EDUCO programa u El Salvadoru.
Program škola u Salvadoru kojima upravljaju zajednice(EDUCO) a koji ima cilj
brzo proširiti obrazovanje u ruralnim područjima nakon građanskog rata.
Evaluacijom programa nastojali su se izmjeriti efekti prebacivanja odgovor-
nosti za obrazovanje na zajednice.
Pitanje je bilo da li se brza ekspanzija obrazovanja u ruralna područja desi-
la na uštrb učenja. Evaluacija je poredila mjere ishoda (rezultati zasnovani na
standardizovanim testovima iz matematike i jezika) učenika trećeg razreda u
EDUCO i tradicionalnim školama, kontrolišući karakteristike učenika i pri-
strasnost pri odabiru koristeći statističku kontrolu. Zato što bi rezultati testa
mogli ne reagovati u kratkom periodu, evaluatori su također posmatrali dane
u kojima nije bilo nastave zbog odsustva nastavnika.
Na razlike u ishodima obrazovanja može utjecati više faktora. Evaluatori
su trebali odrediti da li razlike u rezultatima testova reflektiraju razlike u vrsti
škola ili drugi faktori, kao što su karakteristike domaćinstva (obrazovanja,
veličina porodice, prihodi); karakteristike učenika (spol, starost, broj braće i
sestara); karakteristike škole (upis, kvalitet nastavnika, školske prostorije i
finansije); te karakteristike nastavnika (obrazovanje, godine iskustva).
Evaluatori su koristili podatke prikupljene u istraživanju koje je provelo
Ministarstvo obrazovanja pri izradi modela koji bi mjerio neovisan utjecaj
vrste škola dok se kontroliraju drugi faktori. Koristeći kompleksno statističko
modeliranje kojim su se kontrolirali svi gore nabrojani faktori, evaluatori su
donijeli zaključak da su rezultati koje su ostvarila djeca u EDUCO školama
otprilike isti kao i oni u tradicionalnim školama. Brza ekspanzija obrazovanja
nije imala negativan utjecaj na učenje. Drugim riječima, škole kojima upravlja
zajednica su isto tako efektivne kao i redovne škole.
Oznaka za kvazieksperimentalni dizajn je ista kao i za eksperimentalni. Raz-

lika je u tome da postoji neekvivalentan odabir u grupe kod kvazieksperime-
ntalnog dizajna. U nekim slučajevima, na početku reda za neekvivalentne grupe
je N kao što i stoji. Tako bi osnovni kvazieksperimentalni dizajn u kom postoje
tretman i usporedna grupa bio napisan kako slijedi:
N O1 X O2
N O1 O2

Da bi se odredilo je li intervencija načinila razliku, evaluacija treba pokazati
da je učinak prema ključnim mjerama ili indikatorima promijenjen kao rezultat
intervencije. Postoje mnogi kvazieksperimentalni dizajni; jedni jači od drugih.
Osam kvazieksperimentalnih evaluacionih dizajna je razmotreno ispod:
• prije i poslije dizajn bez usporedne grupe;

• prije i poslije neekvivalentni usporedni dizajn;
• samo poslije neekvivalentni usporedni dizajn;
• usporedni dizajn sa prekinutom vremenskom serijom;
• longitudinalni dizajn;
• panel dizajn;
• korelacioni dizajn koristeći statističke metode i
• sklonost podudaranja rezultata.
Prije i poslije dizajn bez usporedne grupe

Prije i poslije dizajn je jedan način mjerenja promjene. Izvodi se poređenjem
ključnih mjera nakon što je intervencija počela sa mjerama uzetim prije nego što ■■ Prije i poslije
je intervencija počela. Predtestovi i posttestovi su uobičajeni prije i poslije mjera dizajn: Dizajn
(„prije mjera” se često zove bazna linija). Prikupljanje podataka bazne linije se gdje se mjere
uzete nakon što
ponekad zove studija bazne linije.
je intervencija
Jednostavan prije i poslije dizajn je slabi kvazieksperimentalni dizajn po tome počela porede
što je to dizajn sa samo jednom prije i poslije mjerom koja nije dovoljna da sama sa onim
po sebi pokaže je li samo intervencija uzrokovala promjenu. Može biti da su ljudi mjerama uzetim
promijenili ponašanje zato što se posmatraju ili zato što se desilo nešto drugo u prije nego je
intervencija
isto vrijeme kad i intervencija i što je bilo stvarni uzrok uočene promjene.
počela
Gdje se uoči mala promjena u mjerenom učinku, evaluatori trebaju biti
oprezni pri donošenju zaključka da evaluacija nije uspjela. Razmotrimo, na pri-
mjer, intervenciju za smanjenje siromaštva. Ciljano područje je tako siromašno
da je svako pogodan za intervenciju tako da ne postoji usporedna grupa. Za
10 godina proporcija siromašnih ljudi nije promijenjena. Evaluator ne može
zaključiti da intervencija za smanjenje siromaštva nije uspjela zato što je moguće
da bi i bez intervencije (ovo je je pitanje ponovo uokvireno kao da pitamo o
kontračinjenicama) veća proporcija ljudi bila siromašna.
Obično se ne smatra da prije i poslije mjere doprinose vjerodostojnim odgovo-
rima na pitanja zato što ne kontroliraju druge faktore koji utječu na ishod; porede
se samo uvjeti prije i poslije. Ne postoji poređenje sa intervencijom i bez
intervencije. Ovaj element dizajna stoga treba koristiti samo sa drugim dizajn
elementima.

Oznaka za prije i poslije dizajn se piše kako slijedi:
O1 X O2
Prije i poslije neekvivalentni usporedni dizajn

Iako se učesnici u kvazieksperimentalnom dizajnu ne raspoređuju nasumično
u grupe, usporedna grupa se ipak može koristiti. Takve usporedne grupe onda
možemo nazvati neekvivalentne grupe. Grupe se još uvijek mogu porediti, ali
evaluatori trebaju pažljivo razmotriti prijetnje internoj validnosti o kojoj je već
bilo riječi.
Da bi se grupe učinile više ekvivalentnim, evaluatori pokušavaju spariti grupe
što je više moguće. Uparivanje se može uraditi, na primjer, prema demografs-
kim karakteristikama, testovima vještina, testovima učinka, prosudbom rezultata
i drugim sredstvima. Evaluatori svim učesnicima mogu dati predtest a zatim oda-
brati grupe koristeći rezultate testa. U intervenciji za povećanje svijesti o pitanju
spolova, na primjer, proveo bi se predtest o konceptima i principima svijesti o
spolovima. Rezultati se rangiraju od većih ka slabijim. Od dva najbolja rezultata
jedan se dodjeljuje jednoj grupi a drugi drugoj. Ova se procedura zatim koristi
dok se svi učenici ne rasporede u jednu od dvije grupe, od kojih jedna prolazi kroz
dodatnu obuku. Kasnije se grupe ponovo testiraju da se vidi ima li grupa koja je
imala dodatnu obuku, različite rezultate od grupe koja nije imala obuku.
Oznaka za spareno, neekvivalentno poređenje se piše kako slijedi:
N O1 X O1
N O2 O2
Samo postneekvivalentni usporedni dizajn

(dizajn koji se provodi samo poslije intervencije) Samo postneekvivalentni
usporedni dizajn je slabiji dizajn nego prije i poslije neekvivalentni dizajn. Kao i
kod prije neekvivalentnog i postneekvivalentnog dizajna postoji usporedna grupa.
Pa tako postoje i postinterventni podaci. Iako je i to bolje nego ne imati usporednu
grupu, glavni problem je da tretman ili interventna grupa i usporedna grupa nisu
počele na istom mjestu. Tako, dok znamo gdje su dvije grupe završile, ne znamo
gdje su počele. Razlike između interventne grupe i usporedne grupe mogu refle-
ktirati razlike u tome gdje su počele prije nego to mogu efekti intervencije. Ipak
ovo je možda najbolji dizajn koji ex post situacije dozvoljavaju.
N O1 X O2
N O2

Usporedni dizajn sa prekinutom vremenskom serijom
Usporedni dizajn sa prekidanjem vremenskih serija mjeri učinak jedne grupe više
puta prije intervencije, tokom intervencije i zatim mjeri učinak iste grupe više
puta nakon intervencije. Oznaka za dizajn prekinutih vremenskih serija unutar
grupe bi izgledala kako slijedi:
O1 02 03 X O4 O5 O6
Upotreba termina prekinuta dolazi iz činjenice da dok postoji stalno mjerenje
jednog ili više indikatora tokom vremena, mjerenje se prekida uvođenjem inte-
rvencije. Višestruka mjerenja prije i poslije intervencije su ono što razlikuje ovaj
dizajn od klasičnog prije i poslije dizajna. Također, može se koristiti sa jednom ili
više usporednih grupa.
Longitudinalni dizajn ■■ Longitudi-

nalni dizajn:
U longitudinalnom dizajnu, u formi vremenskih serija, učesnici se procjenjuju
Dizajn gdje se
na nekoliko tačaka tokom dugog vremenskog perioda. Svrha ovog dizajna je pojedinci prate
vidjeti kako se stvari mijenjanju tokom vremena. Polje zdravstvene zaštite, na na nekoliko
primjer, može biti zainteresirano za istraživanje dugoročnih zdravstvenih pro- tačaka tokom
blema za djecu čije su majke imale HIV/AIDS a koje su primile lijek za preven- dugog
vremenskog
ciju prenošenja virusa. Longitudinalna studija bi pratila djecu tokom vremena.
perioda
Rezultati bi bili ispitani da se odredi da li postoje neke sličnosti sa zdravstvenim
problemima među ovom djecom.
Longitudinalne studije mogu pružiti vrijedne informacije koje ne bi bilo
moguće pronaći korištenjem drugih vrsta dizajna. Skupi su i veoma teški za
provođenje, a također i pate od problema atricije (pošto učesnici umiru ili izgube
kontakt sa evaluatorima).
Oznaka za longitudinalni dizajn se piše kako slijedi:
X O1 O2 O3 . . . ■■ Panel dizajn:
Dizajn gdje se
Panel dizajn panel prati po
Jedan oblik longitudinalnog dizajna je panel dizajn. Umjesto praćenja pojedi- nekoliko tačaka
naca, kao u longitudinalnoj studiji, panel dizajn prati isti uzorak učesnika tokom tokom dugog
vremenskog
vremena. Na primjer, program može istraživati promjenjive stavove i obrasce
perioda
ponašanja o spolovima tokom vremena među učenicima određene škole. Panel
dizajn bi prikupio informacije o stavovima o spolovima svakog člana jednog raz-
reda od 1 do 6 razreda.
Oznaka za panel dizajn se piše kako slijedi:
XO1 02 03 O4 O5 O6

Korelacijski dizajn uz upotrebu statističke kontrole
Etički i praktični problemi ponekad čine nemogućim upotrebu eksperimentalnog
■■ Korelacioni dizajna za evaluaciju. Na najjednostavnijem nivou, korelacijski dizajn traga za
dizajn:
odnosima između dvije ili više varijabli koje ne mogu biti manipulirane i sma-
Istražuje odnose
između dvije ili tra se neeksperimentalnim dizajnom. To je taj jednostavni korelacijski dizajn za
više varijabli kojeg se često veže fraza „korelacija nije isto što i uzročnost“. Ali, važno je imati
kojima se ne na umu da dvije varijable moraju biti vezane da bi postojao uzrok i posljedica.
može manipuli- Danas se često koriste sofisticirane analitičke tehnike za formiranje uspored-
rati
nih grupa statistički tako da ih je moguće porediti. Johnson (2002) ukazuje da
se takve usporedne grupe koriste kod odgovora na pitanja o odnosima, poveza-
nosti ili uzrocima i posljedicama. Koordinacija longitudinalnog dizajna sa dije-
lom korelacijskih metoda je napredan način da se počne sa odvajanjem uzročnih
zaključaka.
Na primjer, korelacija se može istražiti između količine urađene zadaće i
učinka na testu, ako su svi članovi populacije od interesa imali istu motivaciju.
Zadatak je povezati dio kompletiranja zadaće koji nije povezan sa motivacijom
sa dijelom rezultata testa također nepovezanih sa motivacijom. Ako se može
povezati ili predvidjeti zavisna varijable sa tri nezavisne varijable, tada je održana
uzročna veza (Garbin 2009; psych.unl.edu/psycrs/942/q2/control.ppt).
Razmotrimo, na primjer, evaluaciju koja nastoji pronaći je li procenat žena
u politici povezan sa poštenijom vladom. Podaci o proporciji žena u politici u
različitim dijelovima zemlje i količina prijavljene korupcije se mogu prikupiti da
se odredi jesu li dvije varijable u korelaciji. Naravno, dokaz o korelaciji sam po
sebi ne može uspostaviti uzročnost, čak iako su vlade sa više žena povezane sa
manje korupcije, još uvijek bi bilo neophodno eliminirati sva ostala vjerovatna
objašnjenja za taj odnos.
Zato što se korelacijski dizajn može postaviti na različite načine, njegova
oznaka se može pojaviti u nekoliko oblika. Prva oznaka (a) ispod pokazuje dizajn
sa tri grupe i jednom opservacijom. Druga oznaka (b) pokazuje dvije grupe, jednu
koja je tretirana. Treća oznaka (c) pokazuje tri različita tretmana (X, Y, i Z), a
poslije svakog slijed opservacija.
(a) O1 (b) O1 (c) X O1
O2 X O2 Y O2
O3 Z O3

■■ Sklonost
podudaranja
rezultata:
Dizajn koji se
koristi za
Sklonost podudaranja rezultata mjerenje efekata
intervencije na
Sklonost podudaranja rezultata se koristi za mjerenje efekata programa na
učesnike u
učesnike programa u odnosu na neučesnike sa sličnim karakteristikama (White odnosu na
i Masset 2005). Da bi koristio ovu tehniku evaluator prvo mora prikupiti bazne neučesnike
podatke. Zatim mora identificirati uočljive karakteristike koje bi vjerovatno bile predviđajući
vjerovatnost
vezane za evaluaciona pitanja (na primjer, „Da li djevojčice koje žive bliže školi pripadnosti grupi
u većem stepenu završavaju školu, nego one koje pješače više od pet kilometara Npr. tretman
do škole?“). Uočljive karakteristike mogu uključivati spol, starost, bračno stanje, nasuprot
kontrolna grupa
udaljenost od kuće do škole, uvjete smještaja, broj braće i sestara koji završavaju – zasnovano na
srednju školu i redoslijed rađanja. Kada se varijable odaberu, tretman grupa i uočenim
usporedna grupa se mogu formirati sparivanjem svake osobe u tretman grupi prediktorima,
obično dobivenim
sa osobom u usporednoj grupi koja joj je najviše slična koristeći identificirane
iz logističke
uočljive karakteristike. Rezultat su parovi pojedinaca ili domaćinstava koji su regresije za
slični jedan drugom koliko je moguće, izuzev po varijabli tretmana. (White 2007). kreiranje
Dostupni su softverski alati koji će pomoći implementiranje sklonosti poduda- protučinjenične
grupe Također se
ranja rezultata. Stata je alat koji se najviše koristi (Aliendo i Kopeinig 2005). koristi za
podudaranje ili
Neeksperimentalni dizajn kao kovarijate -
same ili sa
Jednostavni dizajn poprečnog presjeka drugim
odgovarajućim
Jednostavni dizajn poprečnog presjeka pokazuje snimak situacije u jednoj vre- varijablama ili
menskoj tački. Ova vrsta dizajna se često koristi sa istraživanjem. Evaluatori su kovarijatama
zainteresirani za reakciju podgrupe unutar cjelokupnog uzorka. Podgrupa može ■■ Neeksperimen-
biti zasnovana na karakteristikama podgrupe kao što su starost, spol, primanja, talni dizajn:
Vrsta evalu-
obrazovanje, etnička pripadnost ili količina primijenjene intervencije. Svrha ovog acionog dizajna
dizajna je sistematično razgraditi podgrupu unutar uzorka tako da je evaluatori gdje se ne
mogu detaljno istražiti. nastoji formirati
interventna i
Istraživanje poprečnim presjekom odabire uzorak građana, korisnika inte-
neinterventna
rvencije ili bivših učesnika intervencije u jednoj tački u vremenu. Zatim od grupa a naglasak
njih prikuplja podatke i pravi izvještaj o tome (Tekstualni okvir 7.3). Ponekad je na opisu
pitanje može biti da se odredi trenutni status ljudi koji su učestvovali u inter- ■■ Jednostavni
dizajn
venciji prije nekoliko godina.
poprečnog
Jednostavni dizajn poprečnog presjeka može odgovoriti na pitanja kao što presjeka: Dizajn
su sljedeća: koji omogućava
sliku ili snimak,
• Imaju li učesnici različitog nivoa obrazovanja različite poglede na vrijednost fiksiran u
obuke? vremenu i u
• Jesu li žene i muškarci dobili različite usluge obuke? jednoj vremen-
skoj tački,
Na primjer, evaluaciono pitanje se može fokusirati na to jesu li podgrupe karakteristika
podskupa
građana ili korisnika intervencije zadovoljne uslugama koje su dobili ili zbog populacije;
čega ne koriste usluge. Evaluatori bi koristili ovaj dizajn da saznaju kako ponekad se
naziva i dizajn
„jednog snimka“

Tekstualni okvir 7.3 Upotreba dizajna poprečnog presjeka da se
odgovori na opisna pitanja
U evaluaciji programa dizajniranog da se ekonomski osnaže žene pokreta-
njem vlastitih malih preduzeća, evaluatori su htjeli vidjeti šta žene koje su
prošle kroz program o njemu misle. Njihova stajališta mogu osvijetliti ono
što su naučile u ekonomskom programu osnaživanja koji im je pomogao da
pokrenu održivo poslovanje, koja je vrsta posla u koju su ušle i je li ono što
su naučile u programu bilo od koristi za poslovanje. Uz ograničene resurse,
evaluatori su odlučili provesti kratko istraživanje među onima koji su neda-
vno završili program. Instrument istraživanja sadržavao je pitanja o demo-
grafskim karakteristikama učesnika, tako da se odgovori mogu porediti sa
nivoom obrazovanja, dobi i etničke pripadnosti.
izgledaju grupe kada se porede po varijablama kao što su dobivene usluge,

upotreba usluga, ili mišljenje o uslugama u jednoj tački u vremenu.
Oznaka za dizajn poprečnog presjeka se piše kako slijedi:
X O1
O2
O3
“
■■ Dizajn Dizajn jednog snimka

jednog Dizajn jednog snimka posmatra grupu nad kojom se vrši intervencija u jednoj
snimka: Dizajn
koji posmatra
tački u vremenu a nakon intervencije. Dizajn jednog snimka možemo zami-
grupu nad sliti kao fotografiju koja na sebi ima datum. Ovaj dizajn se može koristiti da
kojom se vrši se odgovori na pitanja kao što su „koliko žena je prošlo obuku?“ ili „koliko je
intervencija u učesnika imalo savjetovanje o poslu tokom određenog perioda?“
jednoj tački u Evaluatori mogu koristiti dizajn jednog snimka (a) da učesnicima programa
vremenu a
postave pitanje o tome koliko im se sviđa program ili (b) da otkriju kako su saznali
nakon interve-
ncije za usluge koje se nude. Oznaka za dizajn jednog snimka se piše kako slijedi:
X O1

Strategije praćenja uzroka
Mnoge od strategija za određivanje jesu li uočene promjene uzrokovane interve-
ncijom zahtijevaju strukturiranu i kvantitativnu strategiju prikupljanja podataka.
Za evaluatora koji provodi brzu procjenu ili evaluira veoma malu ili novu inte-
rvenciju, takve strategije nisu ni praktične ni preporučljiv. Iako je najbolje oda-
brati jak evaluacioni dizajn kad god je to moguće, u situacijama kao što su ove
ovdje opisane, slabiji dizajn koji koristi strategije praćenja uzroka može biti
jedina opcija.
Koje opcije su dostupne kada je veličina uzorka mala i kada su strategije ■■ Strategije
prikupljanja podataka uveliko otvorene ili sofisticirane statističke analize nisu praćenja
izvedive? Jedan ili više od osam logičkih argumenata se može postaviti da se uzroka: Vrsta
neeksperimen-
eliminiraju suparničke hipoteze. Argumenti imaju veze sa predstavljanjem logike talnog dizajna
oko uzročnosti i zovu se strategije za praćenje uzroka. koja se sastoji
od argumenata
1. Lista uzročnih zaključaka: Znamo da je određeni ishod gotovo uvijek uzro- za uzročne
kovan sa A, B, C, ili D. U jednoj prilici, B, C, i D se nisu pojavili, tako da odnose
možemo biti gotovo sigurni da je uzrok bio A. Ako ne možemo primijeniti zasnovane na
nasumičnost možemo izvesti zaključke iz studija koje to jesu uradile. modelima
teorije
U primjeru iz Tekstualnog okvira 7.1, seljani znaju da su slonovi pobjegli kad promjene i
su seljani zviždali (A), udarali u posuđe (B), vikali (C), i dizali prašinu (D). logičke
Ako su seljani radili samo A i uspješno otjerali slonove, mogu biti gotovo sigu- eliminacije
alternativnih ili
rni da zviždanje tjera slonove.
suparničkih
2. Modus operandi zaključak: Ova tehnika je korisna ako se desi više od jednog objašnjenja
uzroka. Recimo da znamo da je ishod gotovo uvijek uzrokovan sa A, B, C,
ili D, a da se ovom prilikom C i D nisu pojavili, uzrok se svodi na A ili B.
Pored toga, samo karakteristični uzročni lanac/modus operandi/nagovještajni
obrazac događaja za A je bio prisutan. Ovaj zaključak je pojačan ako je modus
operandi za A veoma različit od onog za B.
Ako su seljani saznali iz drugog sela da slonovi nisu pobjegli kada su seljani
tamo dizali prašinu, mogu biti gotovo sigurni da je uzrok odlaska slonova bilo
zviždanje. Ovaj rezultat je ojačan činjenicom da je zviždanje veoma različito
od dizanja prašine.
3. Vremensko prvenstvo: Uočeni efekt se desio samo nakon što je intervencija
počela, a ne prije.
Ako su slonovi došli, tada su seljani počeli zviždati, a zatim su slonovi
napustili selo, seljani mogu vjerovati da može postojati osnova. Ako su selja-
ni zviždali prije nego su slonovi došli, a slonovi su opet došli u selo, u tom
slučaju zviždanje vjerovatno nije uzrok odlaska slonova.

4. Stalna sprega: Efekt je uočen svugdje gdje je intervencija implementirana,
Recimo da su se seljani sreli sa ostalim seljanima iz čitavog regiona i razmije-
nili hipotezu da zviždanje uzrokuje da slonovi odu. Ostali seljani probaju ovu
tehniku i otkriju da slonovi zaista odu. Tada možemo biti gotovo sigurni da je
zviždanje uzrokovalo odlazak slonova iz sela.
5. Snaga povezivanja: Uočena promjena je bila puno jača ondje gdje je pro-
gram implementiran nego tamo gdje su postojali drugi mogući uzroci.
Ako se u selima u regionu koriste mnoge različite tehnike za tjeranje slonova
iz sela, a sela koja koriste zviždanje su najuspješnija u tome, tada možemo
povezati odlazak slonova sa zviždanjem.
6. Biološki gradijent: Što je više tretmana to su veće uočene promjene
Recimo da su seljani koristili više od jedne tehnike za tjeranje slonova iz sela.
Kada ih je više zviždalo veoma bučno, slonovi su odlazili. Kada su zviždali
pojedinačno, slonovi nisu odlazili. Tada možemo povezati odlazak slonova sa
jakim zviždanjem.
7. Koherentnost: odnos između intervencije i uočene promjene se logički uklapa
sa drugim stvarima koje znamo o intervenciji i ishodu.
Opasne životinje kao što su nilski konji, krokodili i hijene odlaze iz sela kada
seljani zvižde. Tada možemo logički zaključiti da zviždanje tjera opasne
životinje iz sela te se strategija može primijeniti i na slonove.
8. Analogija: Obrazac između intervencije i uočenih promjena liči dobro
uspostavljenom obrascu između srodne intervencije i njenih efekata.
Seljani su čuli priču o selu u Južnoj Americi gdje su koristili zvuk zviždaljki
visokog tona kada god su čuli da se puma nalazi u blizini. Južnoamerički selja-
ni vjeruju da buka drži pumu podalje od sela. Afrički seljani mogu povući
analogiju sa njihovim problemom i mogu zaključiti da bučni, oštri zvukovi
mogu otjerati slonove.
U svakom od ovih slučajeva, princip je isti: istraživač sistemski eliminira
alternativna objašnjenja, jedno po jedno, sve dok se ne uvjeri da je najviše vje-
rovatno da su uočene promjene uzrokovane ili nisu (primarno ili barem u bitnoj
mjeri) intervencijom.
Kada izrađuju strategiju prikupljanja podataka, evaluatori trebaju odrediti koji
od gore navedenih dokaza su izvodivi i neopohodno ih je prikupiti a zatim
planirati kako ih dobiti. Nisu svi potrebni da bi bilo moguće napraviti uzročnu
pripadnost; evaluatori prikupljaju ono što ima najviše smisla i što će zatim dati
dovoljno sigurnosti u vezi nalaza, a gdje će odluke biti zasnovane na evaluaciji.

Ali, kada ustanovimo da je više od jedne od ovih strategija praćenja uzroka
prisutno, to može osnažiti osnovu za donošenje zaključaka o uzročnosti.
Dizajn studije slučaja

Studija slučaja je neeksperimentalni dizajn. Ne koristi nasumični odabir niti ■■ Studija
kontrolne i usporedne grupe. Dizajn studije slučaja se često koristi kada evaluator slučaja:
Neeksperimen-
želi imati detaljno razumijevanje procesa, događaja ili situacije te objasniti zašto
talni dizajn koji
su rezultati nastali. Korisno je kada se pitanje bavi time kako nešto radi ili zašto omogućava
se nešto dešava. Posebno je korisno kada je intervencija inovativna ili eksperime- sveobuhvatan
ntalna ili nije dobro shvaćena. Studije slučaja stvari naglašavaju više nego opis, opis i razumi-
također, uključuju interpretaciju situacija onih koji imaju najviše znanja o njima. jevanje
intervencije u
Studije slučaja se često koriste pri evaluaciji razvojnih evaluacija. Dizajn
cjelini i njenog
studije slučaja je posebno koristan za opisivanje kako je implementacija inte- konteksta
rvencije izgledala na terenu i zašto su se stvari odvijale onako kako jesu. Opisna
studija slučaja se može koristiti za ispitivanja ekstrema programa ili tipične
intervencije.
Za prikupljanje podataka studije slučaja mogu koristiti kvalitativne metode,
kvantitativne metode ili obje metode. Mogu se sastojati od jednog slučaja ili
više slučajeva. Njihova namjera i cilj je fokusirati se na detaljno razumijevanje
efekata intervencije na organizacije, zajednice, programe, gradove ili države.
Da bi evaluirali javni prijevoz u državi, na primjer, možemo jednostavno pratiti
indikatore prema baznim podacima i ciljevima. Državna studija se može provesti
ako se kao indikatori postave: broj kilometara koji je prešao javni saobraćaj, broj
ljudi koji koriste sistem i dobijeni prihod. Međutim, ako su druge vrste pitanja
bile relevantne da se dobije detaljnije prikupljanje podataka, opcija bi bila
studija slučaja.
Na primjer, ako se od njeg traži da evaluira program za poboljšanje transpo-
rta u ruralnim područjima, evaluator može istraživati izbor ljudi o korištenju
javnog transporta. Dizajn može odrediti da se podaci prikupljaju direktno od
ljudi u ruralnim područjima. Više resursa bi trebalo da se ti podaci prikupe na
nivou države. Lakše ih je prikupiti na uže definiranom geografskom području
(jedan slučaj).
Alternativno, evaluatori mogu odabrati studiju više slučajeva, gdje se odabire
više ruralnih područja. Slučajevi mogu biti nasumično odabrani ili namjerno
odabrani na osnovu nekih određenih kriterija (najbolji slučaj, tipični slučaj,
najgori slučaj, uključujući samo izolirana ruralna područja, također, uključujući
ruralna područja u blizini velikih gradova). Iste strategije prikupljanja podataka
korištene u studiji jednog slučaja se mogu koristiti u studiji više slučajeva.

Studije slučaja imaju smisla u razvoju gdje je namjera razumjeti određene situ-
acije kako bi se kreirala ili prilagodila politika ili praksa. Ne samo da su studije
slučaja praktičnije nego li velike državne studije, nego omogućavaju detaljne
informacije koje su često od pomoći onima koji donose odluke (Tekstualni okvir
7.4). Komparativna studija slučaja upotrebe klinika za besplatnu imunizaciju, na
primjer, može pomoći da se objasni zašto je jedan pristup uspješniji od drugog.
Oznaka za dizajn studije slučaja se piše kako slijedi:
O1
O2
O3
Dizajni za opisna pitanja
Opisna pitanja uključuju pitanja kao što su „koliko?“ ili „koliko mnogo?“ Mogu
tražiti percepcije ili mišljenja. Opisna pitanja obično koriste opisni ili neeksperi-
mentalni dizajn. Kada se koriste da odgovore na opisna pitanja, ovi dizajni ne
uključuju usporednu grupu koja nije obuhvaćena intervencijom. Fokusiraju se
Tekstualni okvir 7.4 Primjer dizajna studije slučaja za opisna

pitanja
Studija koja istražuje mikrokreditni progam u Indiji koji nastoji istražiti načine
da žene koje su u njeg uključene konceptualiziraju i pokrenu njihove
marketinške ideje. Metod studije slučaja bira pet žena i njihove projekte te
prati njihov napredak tri godine.
samo na one koji su obuhvaćeni intervencijom. Neki od dizajna koji se koriste za

opisna pitanja su isti oni korišteni za uzročno-posljedična pitanja.
Da bi odgovorili na opisna pitanja, dizajni uglavnom uključuju sljedeće:
• jednostavni poprečni presjek;
• jedan snimak;
• prije i poslije;
• prekinute vremenske serije;

• longitudinalne i
• studije slučaja.
Ovdje razmatramo kako neki od ovih dizajna rade sa opisnim pitanjima.
Prije i poslije dizajn
Dizajn prije i poslije obrađen je u prethodnom dijelu gdje se govorilo o uzročno-

posljedičnim pitanjima. Ovaj dizajn se također može koristiti da se odgovori na
opisna pitanja. U prije i poslije dizajnu, koji se često naziva prije dizajn i postdizajn,
evaluatori pitaju o karakteristikama grupe prije i poslije intervencije, ne postoji
usporedna grupa (okvir 7.5). Na primjer, možemo upitati je li program povećao
znanje učesnika o roditeljskim tehnikama a zatim ih testirati pri ulasku u program
i nakon završetka programa. Oznaka za prije i poslije dizajn se piše kako slijedi:
O1 X O2
Tekstualni okvir 7.5 Upotreba prije i poslije dizajna da se odgovori

na opisna pitanja
Prije i poslije dizajn može posmatrati plate uzorka učesnika vokacijskog pro-
grama obuke prije intervencije i dvije godine nakon programa da bi se obra-
dila pitanja koliko su u prosjeku povećane plate. Ovaj dizajn je lahko transfo-
rmirati u prije i poslije dizajn poprečnog presjeka tako što se postavljaju
pitanja podgrupama ljudi različitih zanimanja kako bi se proučio odnos
povećanja plata u različitim vrstama zanimanja.
Tekstualni okvir 7.6 Primjer dizajna prekinutih vremenskih serija

za opisna pitanja
Stepen smrtnosti djece se može istraživati tokom vremena intervencije,
prije intervencije i poslije intervencije kojom se omogućavaju dodaci ishrani
majkama. Alternativno se promjene u stavovima učesnika tokom vremena
prema ženama poduzetnicama mogu istraživati prije i poslije početka kredi-
tnog programa za mikropreduzeća.

Dizajn prekinutih vremenskih serija
Dizajn prekinutih vremenskih serija smo spomenuli ranije kod dizajna za

uzročno-posljedična pitanja. Dizajn prekinutih vremenskih serija se također
može koristiti da se odgovori na opisna pitanja (okvir 7.6). Dizajn prekinutih
vremenskih serija posmatra promjene tokom vremena, obično da bi se identifici-
rali trendovi. Kada se koristi da odgovori na opisna pitanja, svrha mu je istražiti i
opisati promjene nastale tokom vremena intervencije, prije intervencije i poslije
intervencije. Tako se dizajn prekinutih vremenskih serija može koristiti da se
raspoznaju trendovi. Oznaka za dizajn prekinutih vremenskih serija se piše kako
slijedi:
O1 O2 O3 X O4 O5 O6 . . .
Longitudinalni dizajn
Longitudinalni dizajn je vrsta dizajna prekinutih vremenskih serija gdje se pono-

vljene mjere istih varijabli uzimaju od istih učesnika. Kada se koristi za opisna
pitanja, longitudinalni dizajn se može koristiti da se sazna, na primjer, da li djeca
koja pohađaju obogaćeni program vremenom održavaju stečena znanja.
Panel dizajn se također može koristiti da se odgovori na opisna pitanja. Panel
dizajn je posebna vrsta longitudinalnog dizajna gdje se manje grupe ljudi prate
na više tačaka u vremenu a njihova iskustva se bilježe veoma detaljno. Panel
dizajn gotovo uvijek koristi kvalitativne tehnike pitanja otvorenih istraživanja,
detaljne intervjue, opservacije kao i kvantitativne podatke. Panel dizajn može
dati dublju perspektivu o svakoj promjeni koju ljudi doživljavaju kao rezultat
intervencije. Oznaka za longitudinalni dizajn se piše kako slijedi:
■■ Longitudi-
nalni dizajn: X O1, Os, O3 . . .
Dizajn prekinu-
tih vremenskih
serija gdje se
ponovljene Dizajni za normativna pitanja
mjere istih
varijabli uzimaju Logika za normativna pitanja je slična onoj za opisna pitanja, izuzev što se norma-
od istih
tivna pitanja uvijek procjenjuju prema kriteriju ili standardu. Nalazi se porede sa
učesnika
tim standardom, koji može uključivati indikatore i ciljeve. Generalno, isti dizajn
radi za normativna kao i za opisna pitanja.
Revizija učinka tretira neke aspekte učinka organizacije (Mayne 2005, 2006).
Revizije učinka mogu biti veome slične normativnim evaluacijama,
Barzelay (1997) identificira sedam vrsta revizija učinka, a koje su zasnovane na
istraživanjima Organizacije za ekonomsku saradnju i razvoj (OECD) zemalja
članica. Tabela 7.2 prikazuje četiri najrelevantnije.

U Tekstualnom okviru 7.7 ilustrovan je stav iznešen ranije – da kada nije
moguće izraditi eksperimentalni evaluacioni dizajn sa nasumičnom kontrolnom
grupom, prihvatljivo je okretanje ka kvazieksperimentalnom evaluacionom
dizajnu sa usporednim grupama.
Dizajn za uzročno-posljedična pitanja
Eksperimentalni dizajni se generalno koriste da se tretiraju uzročno-posljedična

pitanja (vidjeti stranu 252).
Potreba za rigoroznijim evaluacionim dizajnom
Koji dizajni rade za uzročno-posljedična pitanja?

Lideri u polju međunarodne razvojne evaluacije raspravljali su o potrebi rig-
oroznijeg programa evaluacije (Davidson 2006).
Tabela 7.2 Četiri vrste revizije učinka

Vrsta Jedinica analize Fokus
Revizija efikasnosti Organizacija ili jurisdikcija; Identificirati prilike za smanjenje
proces ili programski element budžetskih troškova ostvarenja izlaznih
rezultata programa.
Revizija efektivnosti Politika, program ili glavni Procijeniti utjecaj javnih politika; evaluirati
programski element efektivnost politike ili programa.
Revizija kapaciteta Organizacija ili jurisdikcija Procijeniti kapacitet sistema i procedura

upravljanja učinkom pitanje javnog upravljanja jurisdikcije, organizacije ili programa u
ostvarenju namjeravanih ciljeva.
Revizija informacija Organizacija Atestirati kvalitet informacija o učinku koje
o učinku je dostavila organizacija
Izvor: Prilagođeno od Barzelay 1997.

Tekstualni okvir 7.7 Utjecaj programa obuke za posao na
otpuštene radnike
Mnoge zemlje u razvoju se suočavaju sa problemom prekvalifikacije radnika
kada se preduzeća u državnom vlasništvu smanjuju. Evaluacija takvog pro-
grama je izazovna, zato što imaju nekoliko različitih komponenti. Mogu
poslužiti raznim jedinicama i mjerenju ishoda na razne načine (zapošljavanje,
samozapošljavanje, mjesečne zarade, satnice). Da bi evaluirao program
obuke za posao, evaluator postavlja sljedeća pitanja:
• Jesu li učesnici programa imali više uspjeha u ponovnom pronalaženju

posla od onih koji nisu učestvovali?
• Koliko isplativ je bio svaki program obuke?
Učesnici koji su imali obuku uspoređeni su sa sličnom grupom koja nije
učestvovala u programu. Administrativni podaci, podaci istraživanja i
statističke tehknike su korištene da se izmjeri utjecaj programa obuke.
Moguće je da su ljudi koji su učestvovali različiti na neki način što je napravilo
razliku u smislu njihovih ishoda. Možda, su na primjer, bili više motivirani
nego ljudi u usporednoj grupi ili su imali više radnog iskustva, što im je
olakšalo da nađu novo zaposlenje. Da bi se ojačao ovaj dizajn, bilo bi neo-
phodno nasumično rasporediti one koji su pogodni za program kako bi se
eliminirala mogućnost različitih atributa za dvije grupe.
Izvor: Autori.
Scriven 2006; Bamberger i White 2007). Oni primjećuju da su većina eva-

luacija koje su provele zvanične razvojne agencije, procesne evaluacije koje se
fokusiraju na to koliko dobro program radi. Povećanje participativnih evaluacija
uključuje više mišljenja korisnika, ali „ne daje podatke pogodne kvantitativnoj
analizi utjecaja“ (Bamberger i White 2007, str. 58).
Pristupi zasnovani na rezultatu i fokus na Milenijske razvojne ciljeve (MDGs)
su potakli više poziva za demonstraciju utjecaja. Pozivi za evaluaciju utjecaja,
koji se bave rezultatima koje je uzrokovao projekt, program ili politika, proizašli
su iz raznih izvora, uključujući sljedeće:
• Konferencija o finansiranju za razvoj održana 2002. u Monterrey, gdje se
pozvalo na veću upotrebu menadžmenta zasnovanog na rezultatima u razvo-
jnim agencijama

• Pariski sporazum iz 2005, kojim su se podstakle multidonatorske operacije u
promociji evaluacija o utjecaju
• Poverty Action Lab, koja promoviše upotrebu nasumičnog dizajna i nudi pro-
grame obuke za ovaj dizajn
• Centar za globalni razvoj (CGD), koji se strogo zalaže za rigoroznije evalu-
acione dizajne, osobito u publikaciji When Will We Ever Learn? (CGD 2006).
CGD je također izdao poziv na akciju nezavisnih evaluacionih agencija da
se osiguraju nezavisnije i rigoroznije razvojne evaluacije (Bamberger i White
2007).
Pomjeranje granica trenutnog razmišljanja o međunarodnom razvoju i
razvojnim evaluacijama potiče upotrebu evaluacija utjecaja. Nastojanja vlade
Španije ilustruju ovo novo razmišljanje i upućuju ka rigoroznijim evaluacionim
dizajnima (Tekstualni okvir 7.8). Često se „rigorozno“ definira kao eksperi-
ment koji uključuje upotrebu nasumične kontrolne grupe. Ravallion, direktor
istraživačkog odjeljenja Svjetske banke, primjećuje da nasumičnost nije uvi-
jek odgovor, kako to ispočetka može izgledati, posebno u razvojnom konte-
kstu (Ravallion 2009). Na primjer, nasumično možemo pristupiti samo nekim
intervencijama relevantnim za razvoj. Kako nasumično rasporediti lokacije kod
infrastrukturnih projekata i srodnih programa? Ravallion govori o tome kako
Tekstualni okvir 7.8 Podrška Španije rigoroznom evaluacionom

dizajnu
Španija nastoji poboljšati efektivnost pomoći, promovirajući menadžment
zasnovan na rezultatima u svojim vlastitim razvojnim agencijama i partne-
rskim zemljama. Implementirali su novi program da bi podržali Svjetsku
banku u procjeni utjecaja inovativnih programa na poboljšanje ljudskih razvo-
jnih ishoda. Program – Trust fond Španije i Svjetske banke za evaluaciju
utjecaja (SIEF)—je najveći trust fond ikada uspostavljen u Svjetskoj banci a
fokusiran je na evaluaciju utjecaja i na rezultate (Svjetska banka 2007).
nasumični eksperimenti mogu imati ozbiljne probleme generalizacije pošto se

često rade samo za uske i diskretne intervencije pod određenim uvjetima.
On također opisuje efekte „prelijevanja“. To jest, oni koji odabiru dizajne
nasumičnosti često pretpostavljaju da oni koji ne učestvuju nisu ni pogođeni
programom. Ali, poznato je da su efekti prelijevanja sveprisutni u razvojnim
aplikacijama. Prelijevanje proizlazi iz kretanja subjekata iz tretiranog područja

i u njega te iz dugoročnog imitiranja, zato što će jedna grupa preuzeti praksu
druge grupe ako se ispostavi da ta praksa radi, a lokalne vlasti interveniraju
koristeći resurse koje su im dodijelile razvojne organizacije da bi proveli istu
intervenciju i sa grupom koja je određena da bude kontrolna.
Evaluacioni dizajn mora biti prilagodljiv svakoj situaciji i svakoj vrsti
evaluacionog pitanja koje se postavi. Patton (2007) razmatra različite vrste razvojnih
intervencija i primjećuje da „različite situacije utjecaja i različite svrhe evaluacije
imaju različite implikacije na metode“ (str.1). Evaluatori trebaju početi razjašnjavati
situaciju; dizajn će proisteći iz situacije. Kako Patton primjećuje, „Postoji više
razvojnih situacija sa utjecajem te tako i različiti pristupi evaluaciji utjecaja“ (str.2).
Bamberger i Patton (2007) nude sljedeće sugestije za jačanje evaluacionog
dizajna i rješavanje vremenskih i budžetskih ograničenja:
1. Izgraditi evaluacioni dizajn na čvrstom modelu programske teorije. To nam
može pomoći da objasnimo veze u uzročnom lancu i da identificiramo
pretpostavke. Također na taj način možemo identificirati lokalne ekonomske,
političke, institucionalne, okolinske i socio-kulturne faktore za objašnjenje
razlika u učinku i ishodima.
2. Usvojiti dobar dizajn sa miješanim metodama i kombinirati kvalitativne i
kvantitativne pristupe:
• Koristiti kvalitativne podatke za triangulaciju da bi se osigurali dodatni
dokazi za podršku kvantitativnim rezultatima, da bi se pomoglo uokviriti
istraživanje te da bi se pomogla interpretacija kvantitativnih rezultata.
• Maksimalno koristiti sekundarne podatke, uključujući podatke iz monito-
ringa programa.
• Kad god to vrijeme i budžet dozvoljavaju, prikupljati podatke sa dodatnih
tačaka u ciklusu projekta.
3. Pojednostaviti instrumente prikupljanja podataka.
4. Sekundarne podatke koristiti kreativno, koristeći podatke iz završenih
istraživanja za bazne podatke ili kontrolne ili usporedne grupe.
5. Razmotriti smanjenje veličine uzorka ako je uzorak od presudnog značaja.
6. Smanjiti troškove prikupljanja podataka koristeći manje skupe intervjue,
koristeći direktna posmatranja, a ne istraživanja domaćinstava, i koristeći
metod dodavanja na druge evaluacije ili sinhronizacije sa drugim evaluaci-
jama tako što se spoje planirana istraživanja.
Evaluatori moraju istražiti opcije za svaki dizajn kada nastoje osigurati najro-
busnije rezultate (Tabela 7.3). Odabir pravog dizajna je veoma bitan, zato što
„različite metode mogu proizvesti prilično različite nalaze. Izazov je otkriti koji
dizajn i metode najbolje odgovaraju, koji su najviše produktivni i korisni za datu
situaciju“ (Patton 2002, str. 255).

Tabela 7.3 Prednosti i nedostaci uobičajenog eksperimentalnog dizajna
Vrsta dizajna Prednosti Nedostaci
Eksperimentalni
Poređenje Kontrolira interne prijetnje validnosti Teško ih je provesti u javnom sektoru
Koristan pri posmatranju razlika između Odabir i atricija koji mogu biti prijetnje
grupa; kontrolira historiju i sazrijevanje ako
su usporedne grupe veoma slične
Kvazieksperimentalni
Prije i poslije Koristan u omogućavanju konteksta za Efekti testiranja, instrumentacije,
mjerenje promjene regresije ka sredini, atricije, historije i
sazrijevanje koji mogu biti prijetnja
Neeksperimentalni
Jedan snimak Koristan za rješavanje opisnih i normativnih Veoma slab za uzročno-posljedična
pitanja; više dizajna jednog snimka počinju pitanja
graditi slučaj
Izvor: Autori.
Evaluacija je i umjetnost i nauka. Pri donošenju odluka o dizajnu evaluatori

trebaju imati na umu da ne postoji savršen dizajn, sve evaluacije uključuju kompro-
mise u smislu vremena, troškova i praktičnosti. Kompromise treba potvrditi
osiguravajući procjenu njihovog mogućeg utjecaja na rezultate i zaključke.
Kako Ravallion (2009), kaže: pustimo evaluaciona pitanja da vode pristup.
Najvažnija pitanja mogu biti „Ko dobiva, a ko gubi intervencijom? Izgleda li
intervencija na terenu kao što je izgledala na papiru? Koje su promjenjivosti u
implementaciji? Koje varijacije treba izgraditi? Za koga i pod kojim uvjetima
intervencija radi?
U globalu, svako evaluaciono pitanje treba dizajn koji je eksperimentalan,
kvazieksperimentalan ili neeksperimentalan. Eksperimentalni dizajn nastoji
kontrolirati sve faktore u „eksperimentu“ da bi odredio ili predvidio šta se može
desiti. Eksperimentalni dizajn koristi nasumičan raspored učesnika u najmanje
dvije grupe, tretman grupu i kontrolnu grupu.
Kvazieksperimentalni dizajn je sličan eksperimentalnom dizajnu po tome što
koristi dvije ili više grupa, ali ne raspoređuje nasumično učesnike u svaku grupu.
Usporedna grupa se obično formira da omogući studiju jedne grupe gdje se pro-
vodi intervencija i slične grupe gdje se intervencija ne provodi. Neeksperimenta-
lni dizajni su više opisni. Tu se ne koristi niti nasumični raspored niti usporedna
grupa.

Za većinu razvojnih intervencija, teško je izraditi dizajn koji će odgovoriti na
uzročno-posljedična pitanja zbog kompleksnosti situacije. Teško je „dokazati“ da
je intervencija uzrokovala uočene efekte.
Evaluacioni dizajni mogu pomoći da se odredi utjecaj programa u obimu u

kom se evaluatoru daje kontrola nad implementacijom i mjerenjem programa.
Namjera je eliminirati druga moguća objašnjenja za ono što je uočeno.
Za uzročno-posljedična pitanja, evaluator treba razmotriti jednu ili više ovih
vrsta evaluacionog dizajna:
• spareni i neekvivalentni usporedni dizajn;
• dizajn prekinutih vremenskih serija;
• korelacioni dizajn uz upotrebu statističke kontrole;
• longitudinalni dizajn;
• panel dizajn;
• prije i poslije dizajn;
• dizajn poprečnog presjeka;
• sklonost podudaranja rezultata i
• praćenje uzroka.
Opisna pitanja se obično evaluiraju koristeći opisni i neeksperimentalni dizajn.
Dizajni za opisna pitanja se fokusiraju samo na odgovore na pitanja koja se ne
bave atribucijom ili podudaranjem učinka sa nekim kriterijem. Neki od dizajna
koji se koriste za opisna pitanja su isti oni koji se koriste za uzročno-posljedična
pitanja.
Da bi odgovorio na opisna pitanja, evaluator treba razmotriti jedno ili više
sljedećih vrsta evaluacionog dizajna:
• jedan snimak;
• poprečni presjek;
• prije i poslije dizajn;
• prekinute vremenske serije;
• longitudinalni dizajn i
• studija slučaja.
Logika za normativna pitanja je slična onoj za opisna pitanja, izuzev što se
normativna pitanja uvijek procjenjuju prema standardu ili kriteriju.
Mnoge vođe u međunarodnoj razvojnoj evaluaciji pozivaju na više rigoro-
znosti u evaluacionom dizajnu. Kako se projekti, programi i politike sve više
kreću ka menadžmentu zasnovanom na rezultatima, može se očekivati da vidimo
dizajne za evaluaciju koji nastoje riješiti pitanja atribucije.

Aplikacijska vježba 7.1: Odabir evaluacionog dizajna
Od vas se traži da izmjerite utjecaj izgradnje javne zdravstvene klinike gdje će

se roditelji učiti kako da tretiraju uobičajena porodična oboljenja i identifici-
raju probleme koji mogu biti ozbiljni. Cilj programa je povećati broj roditelja
sa osnovnim razumijevanjem preventivne zdravstvene zaštite, prve pomoći i
ranih strategija tretmana kao i smanjenje broja djece i starijih kod kojih se bolest
pogoršava.
1. Šta su željeni ishodi?
2. Napišite uzročno-posljedično pitanje, normativno pitanje i opisno pitanje za
ovu evaluaciju.
3. Koji biste dizajn koristili da istražite ova pitanja? Koje su prednosti i ograničenja
tog dizajna? Zašto je dizajn koji ste odabrali bolji od drugih mogućih dizajna?
Aplikacijska vježba 7.2: Odabir evaluacionog dizajna i strategije za

prikupljanje podataka
Od vas se traži da izradite evaluacioni dizajn za šestomjesečnu studiju za procjenu

efektivnosti kampanje o informacijama o preventivnom zdravlju u vašoj zemlji.
Kampanja se treba sastojati iz dvodnevnih seminara koje održavaju zdravstveni
profesionalci u zajednicama širom zemlje. Svrha vaše evaluacije je odrediti da
li je informaciona kampanja rezultirala poboljšanjem zdravstvene prakse. Imate
umjeren budžet i šest saradnika za istraživanje koji će vam pomoći da dizajnirate
i provedete evaluaciju.
1. Je li vaše primarno evaluaciono pitanje, opisno, normativno ili uzročno-
posljedično? Objasnite.
2. Treba li vaša strategija prikupljanja podataka biti strukturirana, otvorena ili
kombinacija ovog dvoga? Zašto?
3. Kako biste identificirali najvažnije ishode koje treba mjeriti i kako biste ih
mjerili?
4. Koji evaluacioni dizajn biste koristili?
5. Koje su dobre, a koje loše strane vašeg dizajna?

282
Aneks 7.1 Sažetak ključnih termina i atributa različitih vrsta dizajna
IPDET Termini Vrsta dizajna Vizuelni prikaz Ključne prednosti Ključni nedostaci
Eksperimentalni Eksperimentalni dizajn karakterizira nasumično formiranje kontrolne i intervencijske grupe
Nasumična O1 X O2 jaka interna validnost, identificira skup, etički obziri, težak
usporedna grupa O1 O2 promjene tokom vremena sa za generalizovati
inetrvencijom i bez nje
Samo poslije O3 dobra interna validnost, malo više ne identificira promjenu
nasumična X praktična, korisna za poređenje kroz vrijeme
usporedna grupa ishoda
O4
bez testa prije intervencije
Kvazieksperimentalna Svi kvazieksperimentalni dizajni su nešto slabiji od eksperimentalnih dizajna u odnosu na validnost ili
nisku internu validnost
Kvazieksperimentalni dizajni uključuju poređenje, ali bez nasumičnog rasporeda
Prije i poslije Unutar grupe O1 X O2 praktičan kontekst mora biti uzet u testiranje, prijetnje
Bez poređenja Prije i postdizajn obzir instrumentacije regresije
Prije i Prije i post N O1 X O1 kontekst se mora uzeti u obzir, eliminira efekt historije
postneekvivalentno poređenje Između grupa N O2 O4 veća pouzdanost nego kod teško se kontroliraju
(neekvivalentno) poređenja grupa sve varijable koje grupe
poređenje čine neekvivalentnim
Samo post Poredi samo podatke iz N O1 X O2 može biti najbolji dizajn za ne zna se gdje počinju
neekvivalentnom postintervencije N O2 ex post situacije tretman ili interventna
poređenje grupa
Samo post sa X O1 praktičan, mora se uzeti etički obziri,

neekvivalentnom X O2 u obzir, kontekst kontrola efekata odabir ugrožava validnost
testiranja, instrumentacija
usporednom grupom regresija, historija
Samo poslije sa X O1 mogu se porediti intervencije, preostanu mnoge

različitim tretman Y O2 mora uzeti u obzir kontekst prijetnje
Z O3
dizajnom

Poređenje prekinutih Vremenske serije (unutar O1O2O3XO4O5O6 opasnost historije djelimično opasnost od pristrasnosti
vremenskih serija (pogodno za grupe) kontrolirana, kontrolirano testiranja
opisna pitanja sazrijevanja
Poređenje vremenskih eliminira prijetnju historije, skup, uzima puno
serija između smanjena regresija ka sredini vremena teškoća
grupa (neekvivalentno) praćenja ljudi tokom
vremena
Longitudinalni Nema baznih podataka X O1O2O3... prati pojedince tokom vremena skup, teškoće pri
praćenju pojedinaca
tokom vremena
Panel Prati istu grupu X O1O2O3O4O5... detaljne informacije može biti skupo
tokom vremena
Korelacioni uz upotrebu O1 koristi statistiku da odredi zahtijeva velike uzorke ne

Statističkih kontrola O2 korelacije između slučajeva izolira postoji stav na kojem se
O3 određene prijetnje određuje važne može napraviti uzrok
odnose i potencijalno miješanje špekulativan
varijabli
Sklonost podudaranja rezultata Učesnici u intervenciji se upotreba za evaluaciju dobrovoljnih zahtijeva velike setove
porede sa sličnima koji programa—pouzdanija procjena podataka i mogućnosti
ne učestvuju efekata projekta ili programa na obračunavanja
učesnike
Neeksperimentalni Idealan za opis Svi neeksperimentalni dizajni su slabiji od eksperimentalnih
Odabir dizajna za uzročno-posljedična, opisna i normativna evaluaciona pitanja

Poprečni presjek Unutar i između X O1 jasna slika tačke u vremenu nema jasnih indikacija o
O2 tome šta se dešavalo
tokom vremena
O3
"
Jedan snimak X O1 lagan, praktičan mnoge prijetnje
validnosti, slab dizajn
Strategije praćenja uzroka Zalaže se za uzročni
odnos zasnovan na logici
i modelu teorije promjene
Studija slučaja O1 detaljne kontekstualne informacije uzima puno vremena
O2 malo interne validnosti
O3
283
Aliendo, Marco, and Sabine Kopeinig. 2005. Some Practical Guidance on the Implemen-
tation of Propensity Score Matching. Discussion Paper 1588, IZA, Institute for the
Study of Labor, Bonn.
http://ftp.iza.org/dp1588.pdf.
Bamberger, Michael, and Howard White. 2007. “Using Strong Evaluation Designs in
Developing Countries: Experience and Challenges.” Journal of Multidisciplinary
Evaluation 4 (8): 58–73.
Barzelay, M. 1997. “Central Audit Institutions and Performance Auditing: A Comparative
Analysis of Organizational Strategies in the OECD.” Governance:
An International Journal of Policy and Administration 103: 235–60.
Boruch, Robert.2004. “Ethics and Randomized Trials.” International Program for Devel-
opment Evaluation Training (IPDET) presentation, Ottawa.
Brossart, Daniel F., Daniel L. Clay, and Victor L. Willson. 2002. “Methodological and
Statistical Considerations for Threats to Internal Validity in Pediatric Outcome Data:
Response Shift in Self-Report Outcomes.” Journal of Pediatric Psychology 27 (1):
97–107.
Brown, Randall S., and Ellen Eliason Kisker. 1997. “Nonexperimental Designs and Pro-
gram Evaluation.” Children and Youth Services Review 19 (7): 541–66.
http://www.aei.org/publications/pubID.17770/pub_detail.asp.
Campbell, D. T., and J. C. Stanley. 1963. “Experimental and Quasi-Experimental Designs
for Research.” In Handbook of Research on Teaching, ed. N. L. Cage. Chicago:
Rand-McNally.
CGD (Center for Global Development). 2006. When Will We Ever Learn? Improving
Lives through Impact Evaluation. Washington, DC.
Chatterji, M. 2007. “Grades of Evidence: Variability in Quality of Findings in Effective-
ness Studies of Complex Field Interventions.” American Journal of Evaluation 283:
239–55.
Cohen, M. 2001. “Evaluating Microfinance’s Impact: Going Down Market.” In Evalu-
ation and Poverty Reduction, eds. O. N. Feinstein and R. Picciotto, 193–203. New
Cook, T. D., and D. T. Campbell. 1979. Quasi-Experimentation: Design and Analysis for
Field Settings. Boston: Houghton Mifflin.
Davidson, E. J. 2000. “Ascertaining Causality in Theory-Based Evaluation.” New Direc-
tions for Evaluation 87: 17–26.
———. 2006. “The RCT’s Only Doctrine: Brakes on the Acquisition of Knowledge?”
Journal of Multidisciplinary Evaluation 6: ii–v.
Garbin, Cal. 2009. Statistical Control. Lincoln, NE: University of Nebraska.
psych.unl.edu/psycrs/942/q2/control.ppt.
Grembowski, D. 2001. The Practice of Health Program Evaluation. Thousand Oaks,
Homer-Dixon, Thomas. 1995. Strategies for Studying Causation in Complex Ecological
Political Systems. Occasional Paper; Project on Environment, Population, and Secu-
rity. American Association for the Advancement of Science, Washington, DC, and the

University of Toronto.
http://www.library.utoronto.ca/pcs/eps/method/methods1.htm.
Mayne, John. 2005. “Ensuring Quality for Evaluation: Lessons from Auditors.” Cana-
dian Journal of Program Evaluation 20 (1): 37–64.
———. 2006. “Audit and Evaluation in Public Management: Challenges, Reforms, and
Different Roles.” Canadian Journal of Program Evaluation 21 (1): 11–45.
Miles, M. B., and A. M. Huberman. 1994. Qualitative Data Analysis: An Expanded
Sourcebook. 2nd ed. Thousand Oaks, CA: Sage Publications.
NIOSH (National Institute for Occupational Safety and Health). 1999. A Model for
Research on Training Effectiveness TIER. Centers for Disease Control, Atlanta. http://
www.cdc.gov/niosh/99-142.html.
Office of Juvenile Justice and Delinquency Prevention. 1989. Evaluating Juvenile Justice
Programs: A Design Monograph for State Planners. Report prepared for the U.S.
Department of Justice, Office of Juvenile Justice and Delinquency Prevention by
Community Research Associates, Inc.
Patton, Michael Q. 2002. Qualitative Research and Evaluation Methods. 3rd ed. Thou-
———. 2005. “The Debate about Randomized Controls in Evaluation: the Gold Standard
Question.” International Program for Development Evaluation Training (IPDET)
presentation, Ottawa, July.
———. 2007. Design Options and Matching the Type of Impact Evaluation and Attribu-
tion Issue to the Nature of the Intervention: Background Discussion on Impact Evalu-
ation for International Development Efforts. November.
———. 2008. “The Logic of Experimental Designs and 10 Common Criticisms: The
Gold Standard Debate.” In Utilization-Focused Evaluation. 4th ed. Thousand Oaks,
Powell, Keith D. 2004. “Research Methods on Psychological Science: Psychology 242.”
Powerpoint presentation, November 8. Department of Psychology, University of
Chicago, Chicago, IL.
Prennushi, Giovanna, Gloria Rubio, and Kalanidhi Subbarao. 2002. PRSP Sourcebook
Core Techniques. Washington, DC: World Bank.
http://go.worldbank.org/3I8LYLXO80.
Project STAR. 2006. Study Designs for Program Evaluation. Aguirre Division, JBS
International, Inc. Bethesda, MD.
http://www.nationalserviceresources.org/filemanager/download/performance
Measurement/Study_Designs_for_Evaluation.pdf.
Ravallion, Martin. 2009. “Should the Randomistas Rule?” The Economists Voice 6(2):
1–5.
Schweigert, F. J. 2006. “The Meaning of Effectiveness in Assessing Community Initia-
tives.” American Journal of Evaluation 27: 416.
http://aje.sagepub.com/cgi/content/abstract/27/4/416.
Scriven, Michael. 2006. “Converting Perspective to Practice.” Journal of Multidisci-
plinary Evaluation 6: 8–9.

———. 2007. Key Evaluation Checklist. February.
Stake, R. E. 1995. The Art of Case Study Research. Thousand Oaks, CA: Sage
Publications.
Stufflebeam, Daniel L. 2004. Evaluation Design Checklist. Western Michigan University,
Evaluation Center, Kalamazoo, MI.
http://www.wmich.edu/evalctr/checklists/evaldesign.pdf.
Stufflebeam, D. L., G. F. Mdaus, and T. Kellaghan, eds. 2000. Evaluation Models: View-
points on Educational and Human Services Evaluation. Boston: Kluwer.
Trochim, W. M. “The Research Methods Knowledge Base. http://www.socials
researchmethods.net/kb.
Trochim, W., and D. Land. 1982. “Designing Designs for Research.” Researcher 1 (1):
1–16.
http://www.socialresearchmethods.net/kb/desdes.htm.
United Kingdom Evaluation Society. 2003. Glossary of Evaluation Terms.
http://www.evaluation.org.uk/Pub_library/Glossary.htm.
Wadsworth, Y. 1997. Everyday Evaluation on the Run. St. Leonards, New South Wales,
Australia: Allen and Unwin.
White, Howard. 2007. “Challenges in Evaluating Development Effectiveness.” Working
Paper, World Bank, Washington DC.
White, Howard, and Edoardo Masset. 2005. “Quasi-Experimental Evaluation.” Power-
Point presentation, February 16.
World Bank. 1998. Do Community-Managed Schools Work? An Evaluation of El Salva-
dor’s EDUCO Program. Impact Evaluation of Education Reforms Paper 8, Develop-
ment Research Group, Washington, DC.
———. 2004. PovertyNet: Evaluation Designs. Washington, DC: World Bank.
http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTPOVERTY/
EXTISPMA/0,,contentMDK:20188242~menuPK:412148~pagePK:148956~piPK:
———. 2006a. Conducting Quality Impact Evaluations under Budget, Time, and Data
Constraints. Independent Evaluation Group, Washington, DC.
———. 2006b. Impact Evaluation: The Experience of the Independent Evaluation Group
of the World Bank. Independent Evaluation Group, Washington, DC.
———. 2007. PowerNet. Spanish Impact Evaluation Fund.
http://web.worldbank.org/wbsite/external/topics/extpoverty/
extispma/0,,contentmdk:21419502~menuPK:384336~pagePK:148956~piPK:
———. 2008. PovertyNet: Impact Evaluation, Methods and Techniques, Evaluation
Designs. Washington, DC: World Bank.
EXTISPMA/0,,contentMDK:20188242~menuPK:415130~pagePK:148956~piPK:
Yin, R. K. 1984. Case Study Research. Thousand Oaks, CA: Sage Publications.

Web stranice
Campbell Collaboration. http://www.campbellcollaboration.org/.

Schweigert, F. J. 2006. “The Meaning of Effectiveness in Assessing Community Initia-
tives.” American Journal of Evaluation 27: 416. http://aje.sagepub.com/cgi/content/
abstract/27/4/416.
Scriven, Michael 2007. Key Evaluation Checklist. http://www.wmich.edu/evalctr/check-
lists/kec_feb07.pdf.
Stufflebeam, Daniel L. 2004. Evaluation Design checklist. Western Michigan University,
Evaluation Center, Kalamazoo, MI. http://www.wmich.edu/evalctr/checklists/evalde-
sign.pdf.
University of Northern Iowa, Department of Psychology. http://www.psych.uni
.edu/psycrs/457/e2/control.ppt.
World Bank. Doing Impact Evaluation Series. http://web.worldbank.org/WBSITE/
EXTERNAL/TOPICS/EXTPOVERTY/EXTISPMA/0,,menuPK:384336~page
PK:149018~piPK:149093~theSitePK:384329,00.html#doingIE.

POGLAVLJE 8
Odabir i izrada instrumenata za

prikupljanje podataka
U prethodnim poglavljima razmatrana su evaluaciona pitanja i evalu-

acioni dizajni koji odgovaraju tim pitanjima. Ovo poglavlje se bavi
načinom prikupljanja podataka da se odgovori na evaluaciona pitanja.

• Strategije prikupljanja podataka
• Karakteristike dobrih mjera
• Kvantitativni i kvalitativni podaci
• Alati za prikupljanje podataka
289
Strategije prikupljanja podataka
Podaci se mogu prikupiti iz raznih izvora, uključujući postojeće bilješke,

elektromehaničke mjere, opservacije, istraživanja, fokusne grupe i procjenu
stručnjaka. Nije najbolje koristiti samo jedan način. Kao što je ilustrirano u Tabeli
8.1, odluka koji metod koristiti zavisi od:
• onog šta treba znati;
• gdje se podaci nalaze;
• dostupnog vremena i resursa;
• kompleksnosti podataka koje treba prikupiti;
• frekvencije prikupljanja podataka i
• namjeravanog oblika analize podataka
Izbor metoda dijelom ovisi o evaluacionom pitanju na koje treba odgovoriti,
dijelom o tome koliko dobro je intervencija shvaćena i dijelom o dostupnom vre-
menu i resursima. Postoji balans između detaljnog razumijevanja koje dolazi iz
studije slučaja (intenzivno prikupljanje podataka), na primjer, i validnosti rezu-
ltata prikupljenih istraživanjem (ekstenzivno prikupljanje podataka). Intenzivno
prikupljanje podataka obično koristi polustrukturiran pristup koji omogućava efi-
kasnost kod mnogih ispitanika.
Tabela 8.1 Primjer tabele Odluka za metod prikupljanja podataka

Ako trebaš znati: Onda razmotri:
Pišu li seljani niskog nivoa pismenosti • Prikupljanje uzoraka pisanja prije i
koji su učestvovali u programu bolje poslije intervencije
nego oni seljani niskog nivoa • Korištenje rezultata testova prije i
pismenosti koji nisu učestvovali u poslije inetrvencije
programu
Jesu li učesnici aktivnije uključeni u • Posmatranje interakcije roditelj-dijete
obrazovanje njihove djece prije i poslije intervencije
• Da pitaš djecu, roditelje i nastavnike o
uključenju roditelja prije i poslije
intervencije
Jesu li učesnici programa zadovoljni • Korištenje strukturiranih intervjua
kvalitetom radionice za opismenjavanje učesnika
i testom • Sprovođenje ankete da se odredi je li
nivo pismenosti dovoljno visok
Izvor: Autori.

Tekstualni okvir 8.1 Pravila za prikupljanje podataka
Evaluatori trebaju primjenjivati sljedeća pravila pri prikupljanju podataka:
• Koristiti više metoda prikupljanja podataka kad je moguće.

• Koristiti dostupne podatke ako je moguće (to je brže, manje skupo i lakše
nego prikupljanje novih podataka).
• Ako koristite dostupne podatke, saznajte kako su prethodni evaluatori
prikupljali podatke, definirali varijable i osigurali tačnost podataka. Pro-
vjerite količinu podataka koji nedostaju.
• Ako se moraju prikupiti originalni podaci, uspostavite procedure i slijedite
ih (protokol); vodite tačne bilješke definicija i kodiranja; predtestirajte,
predtestirajte, predtestirajte, te verificirajte tačnost kodiranja i unosa
podataka.
Izvor: Autori.
Da bi odredili koju vrstu podataka prikupljati, evaluatori trebaju odlučiti šta

je najvažnije glavnom klijentu za evaluaciju. Je li klijent više zainteresiran za
numeričke podatke o uvjetima u državnim školama ili za detaljnije razumijevanje
situacije u najsiromašnijim urbanim područjima? Ponekad je oboje važno,
ali dostupnost resursa zahtijeva da se jednome mora dodijeliti prioritet. Koju
god vrstu podataka da koriste, evaluatori trebaju primijeniti određena pravila
(Tekstualni okvir 8.1).
Strukturirani pristup
■■ Strukturirani
Strukturirani pristup prikupljanja podataka zahtijeva da se svi podaci pristup
prikupe na potpuno isti način. Ovo je posebno važno za višelokacijske i grupne prikupljanja
podataka:
evaluacije. U ovim evaluacijama evaluatori trebaju biti u mogućnosti porediti
Pristup
nalaze na različitim lokacijama kako bi izvukli zaključke o tome šta gdje radi prikupljanja
(Tekstualni okvir 8.2). Struktura je također važna da se odredi koja intervencija je podataka gdje
efektivnija kad se porede alternativne intervencije. se svi podaci
Strukturirani pristupi prikupljanja podataka se koriste za prikupljanje kvantita- prikupljaju na
potpuno isti
tivnih podataka kada evaluator:
način
• treba riješiti opseg pitanja;
• ima veliki uzorak ili populaciju;
• zna šta treba mjeriti;
• rezultate treba predstaviti numerički i
• treba vršiti poređenja na raznim lokacijama i intervencijama.
Odabir i izrada instrumenata za prikupljanje podataka 291

Tekstualni okvir 8.2 Korištenje strukturiranog pristupa za evaluaciju poljoprivredne
intervencije
Razmotrimo primjer evaluacije poljoprivredne intervencije. Da bi tretirali pitanje evaluatori odlučuju
koristiti sadržaj vlage u zemljištu kao mjeru uspješnog isušivanja tla. Nakon toga planiraju prikupiti
mjere sadržaja vlage zemljišta sa nekoliko lokacija u regionu, prije i poslije isušivanja, tokom istog
perioda (i pod istim vremenskim uvjetima).
Da bi tretirali sljedeće pitanje, evaluatori koriste strukturirani intervju da pitaju farmere o njihovim
pogledima na efekte projekta. Na osnovu intervjua evaluatori sagledavaju procenat ispitanika koji su
izložili različite stavove (takvi tabelarni rezultati su poznati kao tačke frekvencije). Pitanja za strukturi-
rani intervju treba usko fokusirati a riječi precizno složiti, a potrebno je i osigurati i odgovore sa
višestrukim izborom. Svim ispitanicima treba postaviti ista pitanja na potpuno isti način te im ponu-
diti da izaberu iz potpuno istog skupa odgovora.
Da bi istražili treće pitanje, evaluatori planiraju koristiti evidenciju proizvodnje i cijena usjeva
tokom vremena, prije i poslije intervencije, u isušenom području i sličnom području u regionu gdje
zemljište nije isušeno. Da bi istražili četvrto pitanje, evaluatori će ispitati uzorak 100 od 2.600
učesnika o njihovim stavovima o projektu i njegovim efektima. Za ove intervjue evaluatori planiraju
koristiti polustrukturirana pitanja. Namjeravaju istražiti odgovore prema potrebi da bi razumjeli izne-
sene stavove.
Izvor: Autori.
Polustrukturirani pristup
■■ Polustruk- Polustrukturirani pristup prikupljanja podataka može biti sistematičan i sli-

turirani jediti opće procedure, ali se podaci ne prikupljaju na isti način svaki put. Polustru-
pristup kturirani intervjui su često zasnovani na predodređenom setu širih pitanja, ali
prikupljanja
podataka: redoslijed postavljanja često zavisi od okolnosti. Pored toga, neki dati odgovori
Pristup se istražuju dodatnim pitanjima razvijenim tokom intervjua. Ovi pristupi su više
prikupljanja otvoreni i tečni nego strukturirani pristup.
podataka gdje Omogućavaju ispitanicima da evaluatorima kažu ono što žele na njihov vla-
se podaci ne stiti način. Polustrukturirani metodi prikupljanja podataka su obično kvalitativni.
prikupljaju na
Koriste se kada evaluator:
isti način svaki
put • vrši istraživačke radove na novom razvojnom području;
• nastoji razumjeti teme i pitanja;
• želi narativne ili detaljne informacije od učesnika;
• želi detaljne, bogate, „zakulisne“ informacije i
• nastoji razumjeti rezultate strukturiranog prikupljanja podataka koji su
neočekivani i nisu dobro shvaćeni ili da jednostavno pribavi bogate primjere
da dopuni nalaze iz strukturiranog prikupljanja podataka.

U evaluaciji razvojnih projekata koje vodi zajednica, na primjer, evaluatori
mogu odabrati polustrukturirani pristup prikupljanja podataka. Zato što takvi
programi kontrolu donošenje odluka o planiranju daju lokalnim grupama, evalu-
atorima je pogodno koristiti polustrukturirani pristup da bi saznali kako se donose
odluke kao i da saznaju stavove članova zajednice o procesu i ishodima projekta.
Karakteristike dobrih mjera
Evaluatori mjere vjerovanja, stavove, mišljenja, znanje, vještine, učinak, i

običaje. Pri odlučivanju kako mjeriti varijable od interesa i prikupiti podatke
evaluatori trebaju imati četiri ključne stvari na umu:
• Je li mjera relevantna? Mjeri li ono što je uistinu važno ili mjeri ono što je
najlakše izmjeriti?
• Je li mjera kredibilna? Hoće li pružiti informacije o stvarnoj situaciji?
• Je li mjera validna? Hoće li mjerenje oslikati ono što je evaluator mjerio?
• Je li mjera pouzdana? Ako su podaci mjerenja prikupljeni na isti način iz istog
izvora koristeći ista pravila svaki put, hoće li se dobiti isti rezultati?
Relevantno se odnosi na stepen u kojem je ono što se mjeri bitno. Evaluatori
trebaju izbjegavati mjerenje onog što je lahko mjeriti umjesto da mjere ono što
je potrebno. Također trebaju izbjegavati previše mjeriti. Matrica dizajna je alat
kojim se uvjeravamo da će prikupljeni podaci biti relevantni.
Kredibilno je termin koji se koristi da se ukaže koliko su prikupljeni podaci
vjerodostojni ili vjerovatni za namjeravani auditorij ili evaluacijski izvještaj.
Mišljenja nastavnika, na primjer, ne mogu se posmatrati kao baš kredibilna mjera
da se sazna zašto je stopa napuštanja škole visoka. Mišljenja onih koji napuštaju
ili mišljenja njihovih prijatelja mogu se posmatrati kao kredibilnija mjera.
Validnost je mjera koja se koristi da se ukaže mjeri li se uistinu ono što se
treba mjeriti. Daju li pitanja tačne informacije? Lista čekanja, na primjer, je malo
validna kao mjera za potražnjom za određenim programima obrazovanja u ranom
djetinjstvu, zato što su te liste često zastarjele a roditelji djecu stavljaju na više
listi za čekanje. Kada se djeca negdje upišu, njihova imena se ne uklanjaju uvijek
sa drugih listi za čekanje.
Dvije vrste validnosti su spoljna validnost i validnost sadržaja:
• Spoljna validnost se bavi stepenom u kojem sadržaj testa ili procedure

provjerava mjeri li ono što bi trebao mjeriti. Na primjer, ako se evaluacijom

mjeri fizička spremnost, mjera koliko brzo neko trči 100 metara može izgle-
dati kao validna mjera fizičke spremnosti.
■■ Spoljna
validnost: • Validnost sadržaja se bavi sadržajem u kojem sastav testa ili procedure
Stepen u kojem adekvatno mjeri varijablu od interesa. Ako, na primjer, evaluatori pokušavaju
sadržaj testa ili razviti mjeru zdravstvenog stanja, mogu konsultirati profesionalce da bi osigu-
procedure rali da odabrana mjera ima visok sadržaj validnosti. Mjera stvarne proporcije
provjerava mjeri sala kod pojedinca, na primjer, je generalno validnija mjera nečije forme nego
li ono što bi
je to informacija o običajima u vezi sa zdravom prehranom koju je dao sam
trebao mjeriti
■■ Validnost ispitanik. Test znanja o zdravoj prehrani može biti validniji nego podaci koje
sadržaja: daju sami ispitanici. Međutim, to može da ne bude mjera visoke validnosti,
Stepen u kojem zato što ispitanici mogu ne prakticirati znanje o zdravoj ishrani. Rezultati
sadržaj testa ili mogu pokazivati uljepšanu sliku onog što je ustvari istina.
procedure
adekvatno mjeri Pouzdanost je termin koji se koristi da se opiše stabilnost mjerenja – stepen
varijablu od u kojem mjeri istu stvar, na isti način, ponovljenim testovima. Alati mjerenja na
interesa sportskim događajima, na primjer, trebaju biti veoma pouzdani. Vrpca kojom se
■■ Pouzdanost:
mjeri daljina skoka mora mjeriti daljinu na isti način svaki put kad se koristi. Ako
Stepen u kojem
se mjeri ista je to slučaj, onda se smatra pouzdanom mjerom. Ako nije, mjera može biti
stvar, na isti manjkava a rezultati događaja upitni.
način, ponov- Težina novorođenčadi je primjer pouzdane mjere, pod pretpostavkom da su
ljenim testovi- vage ispravno kalibrirane. Stepen pohađanja škole je primjer mjere male pouzda-
ma
nosti, zato što može varirati ovisno kada je u školskoj godini mjera uzeta.
Kvantitativni i kvalitativni podaci
Podaci mogu biti klasificirani kao kvantitativni ili kvalitativni. Kvantita-

■■ Kvantitativni tivni podaci su podaci u numeričkom obliku, kvalitativni podaci su podaci u
podaci: Podaci nenumeričkom obliku.
u numeričkom Kvantiativni podaci su podaci koji se mogu precizno mjeriti. Primjeri
obliku
uključuju podatke o godinama, troškovima, dužini, visini, području, zapremini,
■■ Kvalitativni
podaci: težini, brzini, vremenu i temperaturi.
Podaci u Kvalitativni podaci se bave opisivanjem. To su podaci koje je moguće posma-
nenumeričkom trati ili koje ispitanici sami dostavljaju, ali se ne mogu toliko precizno mjeriti.
obliku Primjeri kvalitativnih podataka su podaci o odnosima i ponašanju.
Razmotrimo evaluaciju mikrokreditnog programa. Kvantitativni podaci za
ovaj program uključuju broj učesnika, po spolu, dobi i broju djece; prihodu;
inventaru proizvoda; cijeni proizvoda i prodaji. Kvalitativni podaci za ovaj pro-
gram mogu uključivati opise proizvoda, odnosa u porodici, ponašanje učesnika,
odnose sa zajednicom i osjećaj kontrole.
Patton (2002) identificira tri metoda prikupljanja podataka koji mogu polučiti
kvalitativne nalaze:

• detaljni, otvoreni intervjui;
• direktne opservacije (koristeći narativne opise) i
• analiza pisanih dokumenata.
On zatim opisuje vrste informacija koje evaluatori dobivaju iz svakog od tri
metoda:
• Otvoreni intervjui daju direktne citate o iskustvima, mišljenjima, osjećajima i
znanju;
• Direktne opservacije mogu pružiti detaljne opise: aktivnosti, ponašanja,
radnji i čitav raspon međuljudskih odnosa i organizacionih procesa;
• Analiza dokumenta može dati isječke, citate ili čitave odlomke iz zapisa,
memoranduma i korespondencija, zvaničnih publikacija i izvještaja, dnevnika
i otvorenih pisanih odgovora na upitnike i istraživanja.
Većina kvalitativnih podataka se prikupi provodeći vrijeme u okruženju iza
studije. Evaluator iz prve ruke posmatra aktivnosti i interakcije, ponekad se sam
uključuje u aktivnosti kao učesnik posmatrač. Obimne bilješke od prikupljenih
podataka su sirovi materijal. Ovi podaci se zatim organiziraju u čitljiv narati-
van opis sa glavnim temama, kategorijama i ilustrativnim primjerima slučajeva
(Patton 2002).
Kvalitet kvalitativnih prikupljenih podataka ovisi o evaluatoru. Prema Pattonu:
Sistemske i rigorozne opservacije zahtijevaju daleko više nego da se samo bude
prisutno i razgleda uokolo. Vješto intervjuiranje zahtijeva mnogo više od pukog
postavljanja pitanja. Analiza sadržaja u značajnoj mjeri zahtijeva više nego samo
čitati ono što piše. Pribavljanje korisnih i kredibilnih kvalitativnih nalaza opse-
rvacijom, intervjuiranjem i analizom sadržaja zahtijeva disciplinu, znanje, obuku,
praksu, kreativnost i puno rada. (2002, str. 5)
Patton (1987) je razvio listu provjere od 20 pitanja koja evaluatorima pomažu

da odluče odgovaraju li kvalitativni metodi strategiji evaluacije (Tekstualni okvir
8.3). Ako je odgovor na bilo koje pitanje „da“, onda će prikupljanje barem nekih
kvalitativnh podataka biti odgovarajuće.

Tekstualni okvir 8.3 Pattonova Kvalitativna lista provjere od 20
pitanja
1. Da li program naglašava individualne ishode – to jest, da li se
očekuje da će različiti učesnici biti pogođeni na kvalitativno različite
načine? Postoji li potreba ili želja da se opišu i evaluiraju ti individu-
alizirani ishodi?
2. Jesu li oni koji donose odluke zainteresirani za razjašnjenje i razu-
mijevanje interne dinamike programa – snaga programa, slabosti
programa i ukupnih procesa programa?
3. Je li potrebna detaljna, dubinska informacija o određenim
slučajevima ili programskim lokacijama klijenta (na primjer, izuzetno
uspješni slučajevi, neobični neuspjesi ili kritično važni slučajevi) iz
programskih, finansijskih ili političkih razloga?
4. Postoji li interes za fokusiranje na raznolikost, posebnost i jedin-
stvene kvalitete pojedinih klijenata i programa (što je suprotno
poređenju svih klijenata ili programa prema standardiziranim,
uniformnim mjerama)?
5. Je li potrebna informacija o detaljima implementacije programa:
Šta doživljavaju učesnici u programu? Koje se usluge pružaju
klijentima? Kako je program organiziran? Šta rade članovi osoblja?
Da li oni koji donose odluke trebaju znati šta se dešava u programu
i kako je razvijen?
6. Jesu li osoblje programa i drugi dionici zainteresirani za prikupljanje
detaljnih, opisnih informacija o programu u svrhu poboljšanja pro-
grama (to jest, postoji li interes za formativnu evaluaciju)?
7. Postoji li potreba za informacijama o nijansama kvaliteta programa –
opisne informacije o kvalitetu programskih aktivnosti i ishoda, a ne
samo nivoi, količine ili iznosi aktivnosti programa i ishoda?
8. Da li program zahtijeva sistem osiguranja kvaliteta specifičan za taj
slučaj?
9. Jesu li zakonodavci i ostali koji donose odluke ili finansijeri zainte-
resirani da evaluatori provedu program posjete lokaciji tako da
evaluacija može biti oči i uši onima koji donose odluke a previše su
zauzeti da sami čine takve posjete lokacijama i kojima nedostaje
vještine posmatranja i slušanja koju imaju obučeni evaluatori? Je li
zakonodavni monitoring potreban na osnovi slučaj-po-slučaj?
10. Je li nametljivost evaluacije problem? Hoće li upravljanje stan-
dardiziranim mjernim instrumentima (upitnici i testovi) biti previše
nametljivo u poređenju sa prikupljanjem podataka putem prirodnih
opservacija i otvorenih intervjua? Hoće li prikupljanje kvalitativnih
podataka proizvesti manje reakcije među učesnicima nego priku-
pljanje kvantitativnih podataka? Postoji li potreba za nenametljivom
opservacijom?

11. Postoji li potreba i želja da se personalizira proces evaluacije
koristeći metode istraživanja koje naglašavaju lični, licem u
lice kontakt sa programom – metodima koji se mogu shvatiti
kao „humanistički“ i lični zato što ne označavaju i numeriraju
učesnike, te se oni osjećaju neutralno, neformalno, i razumljivi su
učesnicima?
12. Je li reagirajući evaluacioni pristup odgovarajući – to jest pristup koji
je posebno osjetljiv na prikupljanje opisnih podataka i informacija u
smislu razlikovanja perspektive dionika na osnovu direktnog, ličnog
kontakta sa različitim dionicima?
13. Jesu li ciljevi programa nejasni, opći i neodređeni, ukazujući na
mogućnost davanja prednosti evaluaciji bez cilja koja bi prikupila
informacije o tome koje ustvari efekte ima program a ne da se
mjeri ostvarenje ciljeva?
14. Postoji li mogućnost da program utječe na klijente ili učesnike na
nepredviđen način i/ili ima neočekivane popratne efekte, ukazujući
na potrebu za metodom istraživanja koji će otkriti efekte koji pre-
vazilaze ono što je osoblje programa formalno postavilo kao nešto
što želi ostvariti (ponovo ukazivanje na potrebu za nekom vrstom
evaluacije bez cilja)?
15. Postoji li nedostatak kvantitativne instrumentacije za važne
programske ishode? Je li stanje nauke o mjerenju takvo da ne
postoje validni, pouzdani i vjerovatni standardizirani instrumenti ili
barem neki instrumenti koji mogu biti brzo spremni za razvoj da bi
izmjerili kvantitativno ishode određenog programa za koji su podaci
potrebni?
16. Je li evaluacija istraživačka? Je li program u predevaluacionoj fazi,
gdje se ciljevi i sadržaj programa još razvijaju?
17. Je li potrebna procjena da se odredi sumarni evaluacioni dizajn?
18. Postoji li potreba da se dodaju detalji i značenja statističkim
nalazima ili potreba za generalizacijom istraživanja?
19. Je li prikupljanje kvantitativnih evaluacionih podataka postalo toliko
rutinsko da niko više ne obraća pažnju na rezultate, sugerirajući
moguću potrebu da se prekine stara rutina i koriste novi metodi za
stjecanje novog uvida u program?
20. Postoji li potreba da se razvije teorija programa zasnovana na
opservacijama programskih aktivnosti i utjecaja i odnosa između
tretmana i ishoda?
Izvor: Patton 1987.

Prikupljanje podataka obično uključuje kvantitativne i kvalitativne podatke,
ali jedan pristup može biti dominantan. Dva pristupa se mogu karakterizirati na
sljedeće načine. Kvantitativni pristup je:
• više strukturiran;
• naglašava pouzdanost;
• teži je za razvijanje;
• lakši za analiziranje.
Kvalitativni pristup je:
• manje strukturiran;
• lakši je za razvijanje;
• može pružiti „bogate podatke“(osobito podatke za svaku jedinicu koja se
proučava);
• zahtijeva više intenzivnog rada da se prikupe i analiziraju podaci;
• naglašava validnost.
Koji će se pristup koristiti zavisit će od ciljeva evaluacije (Tabela 8.2).
U praksi, kvantitativni i kvalitativni podaci su srodni. Prema Trochimu (2006),
„svi kvantitativni podaci (su) zasnovani na kvalitativnim sudovima, i svi kvalita-
tivni podaci se mogu opisati i manipulirati numerički.“ Uistinu, kompjuterizirane
analize (analize sadržaja) pisanih dokumenata fokusiraju se na učestalost raznih
riječi, vrsta riječi, struktura, prebacujući kvalitativne podatke u kvantitativne.
■■ Nametljivi Podaci se mogu prikupljati nametljivo i nenametljivo. Nametljivi metodi i
metod: Metod opservacije se vrše sa znanjem učesnika. Takvi metodi se koriste da se mjeri perce-
koji se koristi da
pcija, mišljenja i stavovi kroz intervjue, istraživanja i fokusne grupe. Opservacije
se posmatraju
učesnici uz
provedene sa znanjem onih koji se posmatraju su također nametljive.
njihovo znanje
Tabela 8.2 Kada koristiti kvantitativni i kvalitativni pristup
Ako onda koristite ovaj pristup
Hoćete provesti statističku analizu
Hoćete biti precizni
Kvantitativni
Znate šta hoćete mjeriti
Hoćete pokriti veliku grupu
Hoćete narativne ili detaljne informacije
Niste sigurni šta ste u stanju mjeriti Kvalitativni
Ne trebate kvantificirati rezultate
Izvori: Autori.

Tekstualni okvir 8.4 Mjerenje popularnosti umjetničkih izložbi
koristeći nametljive i nenametljive metode
Direktorica muzeja htjela je saznati koji od muzejskih eskponata su najpopu-
larniji. Da bi to otkrila, mogla je intervjuirati ljude koji izlaze iz muzeja i pitati
ih šta su vidjeli. Ovakvo izvještavanje može dovesti u zabludu zato što ispi-
tanici mogu ukazati na najpoznatije eksponate samo zato što su to jedini
eksponati kojih se u tom trenutku mogu sjetiti, ili mogu namjerno iskriviti
odgovore iz želje da onaj ko ih intervjuira misli da su im to najdraži eksponati.
Da bi se izbjegli ovi problemi, jedna legendarna studija analizirala je popular-
nost eksponata u muzeju mjereći istrošenost pločica na podu ispred ekspo-
nata. Ovim nenametljivim metodom izbjegla se devijacija rezultata koja nas-
taje kada ispitanici sami daju odgovore na pitanja.
Ako evaluacija koristi upitnike da prikupi podatke, ispitanici znaju da ih se

proučava, što može proizvesti vještačke rezultate. Prema Pattonu (1987, str. 33),
„sam instrument može načiniti reakciju koja, zbog svoje nametljivosti i miješanja
sa normalnim operacijama programa i funkcioniranjem klijenta, ne uspijeva
tačno odslikati šta se ostvarilo programom.“
Oni koje proučavaju mogu promijeniti svoje ponašanje ili reakcije. Nastavnik
čiju lekciju posmatra najviši školski savjetnik, na primjer, može predavati sasvim
drugačije nego kad ga savjetnik ne posmatra.
Nenametljivi metodi su opservacije koje se izvode bez znanja učesnika.
Primjeri nenametljivih metoda uključuju korištenje podataka iz dokumenata ili ■■ Nenametljivi
arhiva i posmatranje učesnika bez njihovog znanja (Tekstualni okvir 8.4). metod: Metod
koji se koristi da
se učesnici
posmatraju bez
Alati za prikupljanje podataka njihovog znanja
Odabrana tehnika prikupljanja podataka će zavisiti od sitaucije. Nije bitno koji

metod je odabran da se podaci prikupe od ljudi, sve prikupljene informacije su
potencijalno podložne pristrasnosti. Pristrasnost je kada se od ispitanika traži ■■ Pristrasnost:
da pruže informacije o sebi ili drugima, mogu ili ne reći cijelu istinu, namjerno Namjerno ili
ili nenamjerno. Mogu iskriviti istinu zato što se ne sjećaju najbolje ili boje nenamjerno
iskrivljivanje
posljedica pružanja istinitog odgovora. Razlog može biti stid ili nelagodnost kod
podataka u
priznavanja stvari za koje osjećaju da neće biti društveno prihvatljive. Svi podaci smislu
koje pružaju ispitanici su osjetljivi na ovaj problem. prikupljanja,
Ispitanici se mogu stidjeti da istinito odgovore na pitanja u vezi sa upotrebom analiziranja ili
zaštite tokom seksualnog čina ili datuma posljednje posjete ljekaru, na primjer. izvještavanja

Može se desiti da će prije opisati ono za šta misle da evaluator želi čuti nego ono
što je istina.
Pristrasnost pri odabiru – činjenica da ljudi koji odaberu da učestvuju u pro-
gramu mogu biti različiti od onih koji odaberu da ne učestvuju – može također
postojati (ovo pitanje je razmatrano u Poglavlju 5). Ovo je čest problem u
istraživanjima, intervjuima i fokusnim grupama. Oni koji dobrovoljno učestvuju
mogu sistematski biti drugačiji od onih koji ne učestvuju.
Obično se koristi više od jednog pristupa prikupljanju podataka da se odgov-
ori na različita evaluaciona pitanja ili da se osigura više izvora podataka kod
odgovora na jedno evaluaciono pitanje. Evaluacija može, na primjer, prikupljati
dostupne podatke iz evidencija o prinosu usjeva farmera, intervjua kupaca proi-
zvoda sa farme i iz anketa farmera. Ponekad evaluatori koriste fokusne grupe ili
provode studije slučaja da pomognu pri razvoju tema za upitnik ili da rezultate
ankete učine smislenim. Prikupljanje istih informacija koristeći različite metode
da se poveća tačnost podataka zove se triangulacija metoda. Evaluatori koriste
■■ Triangula- metod triangulacije da ojačaju nalaze. Što se više informacija prikupi korištenjem
cija metoda: različitih metoda koje podržavaju nalaze, to je jači dokaz.
Prikupljanje istih
Metod triangulacije nije jedina vrsta triangulacije. Denzin (1978) identificira
informacija
koristeći nekoliko vrsta triangulacije, uključujući triangulaciju izvora. Triangulacija
različite metode evaluatora, gdje je više evaluatora uključeno u istraživanje, još je jedna vrsta
kako bi se triangulacije.
povećala Ispitanici u studiji nisu jedini ljudi koji mogu utjecati na rezultate evaluacije.
tačnost
Evaluatori i postavke evaluacije također mogu imate efekte. Žene, na primjer,
podataka
■■ Triangulacija
mogu odgovarati drugačije ako ih intervjuira muškarac nego kad to radi žena;
izvora: također mogu reagirati drugačije ako se intervjuiraju sami ili sa supružnicima.
Prikupljanje istih U sljedećem dijelu opisano je devet alata za prikupljanje podataka:
informacija iz
raznih izvora • Alat 1: participativno prikupljanje podataka;
kako bi se • Alat 2: analiza zapisa i sekundarna analiza;
povećala • Alat 3: opservacija;
tačnost • Alat 4: ankete i intervjui;
podataka
• Alat 5: fokusne grupe;
■■ Triangulacija
evaluatora: • Alat 6: dnevnici, žurnali i subjektivne liste provjere;
Prikupljanje istih • Alat 7: procjena stručnjaka;
informacija od • Alat 8: delfi tehnika i
više evaluatora • Alat 9: ostali alati mjerenja.
kako bi se
povećala
tačnost
evaluacije

Alat 1: Participativno prikupljanje podataka
Participativni pristup prikupljanja podataka u velikoj mjeri uključuje grupe ili

zajednice u prikupljanje podataka. Primjeri participativne tehnike prikupljanja
podataka su sastanci zajednice, mapiranje i obilasci.
Sastanci zajednice
Jedan od najčešćih metoda participacijskog prikupljanja podataka je posre-
dstvom sastanaka u zajednici. Ovi sastanci omogućavaju članovima zajednice da
postavljaju pitanja, komentiraju i diskutiraju o pitanjima od važnosti za zajednicu.
Da bi sastanci proizveli korisne podatke, moraju biti dobro organizirani. Evalu-
ator i dionici se moraju usaglasiti o svrsi sastanka i posvetiti se prisustvovanju na
sastancima. Prije sastanka evaluator treba uspostaviti i iznijeti osnovna pravila.
Stavke koje treba razmotriti su kako identificirati govornike, koliko vremena
dodijeliti govornicima i format za pitanja i odgovore. Ako je populacija dovoljno
pismena, osnovna pravila treba napisati i pripremiti ih i za one koji kasne.
Sastanke zajednice treba najavljivati, putem letaka, oglasa u novinama i na
radio stanicama. Članovi zajednice također mogu biti odgovorni za širenje vijesti
o sastanku. Evaluatori se ne trebaju primarno oslanjati na lokalne zvaničnike da
pozovu ljude, zato što oni mogu pozvati samo pristrasno odabrane ljude koji zastu-
paju njihove stavove. Lokaciju sastanka treba odabrati sa idejom ohrabrivanja
učesnika i da se zadovolji udobnost, pristup i sigurnosne potrebe učesnika
(Minnesota Department of Health 2007).
Održavanje sastanaka u zajednici ima nekoliko prednosti:
• Sastanci mogu podići kredibilitet procesa pojačavajući otvorenost i inkluziju;
• Održavanje sastanaka u zajednici je manje skupo i relativno lahko se organizira;
• Sastanci u zajednici omogućavaju širu participaciju;
• Opuštenije okruženje može povećati participaciju zajednice;
• Sastanci u zajednici mogu podići nivo svijesti i razumijevanja evaluacije i
izgraditi njenu podršku;
• Mogu povećati znanje evaluatora o važnim pitanjima programa;
• Mogu otkriti pitanja koja će naložiti dodatno istraživanje.
Sastanci u zajednici imaju i nedostatke (Tabela 8.3). Na primjer, član zaje-
dnice koji odabere da učestvuje možda nije predstavnik zajednice, a neki ljudi sa
dobrim idejama ili jasnim razumijevanjem pitanja možda ne žele prisustvovati
ili govoriti na takvim događajima. Oni koji prisustvuju mogu biti oni koji imaju
najviše osjećaja za program (pozitivnih ili negativnih). Oni koji govore mogu biti
oni koji imaju pozicije moći u zajednici. Ovisno o vremenu u kojem se sastanak
održava pitanje spolova može utjecati na prisustvo. Prisustvo i učešće žena se

Tabela 8.3 Prednosti i izazovi sastanaka u zajednici
Prednosti Omogućava članovima zajednice da nauče o intervenciji i

diskutiraju o pitanjima
Mogu podići svijest i kredibilnost
Nisu skupi
Mogu povećati znanje evaluatora o važnim pitanjima
Izazovi Mogućnost netačnog predstavljanja zajednice zbog pitanja spolova
ili moći
Izvor: Autori.
vjerovatno može povezati sa kulturom. Zbog ovih pitanja sastanci u zajednici

nikad ne trebaju biti primarni metod za prikupljanje podataka za evaluaciju.
Mapiranje
Izrada ili upotreba postojećih mapa – proces koji se zove mapiranje kada se
primjenjuje na prikupljanje podataka – može se koristiti da pokrene diskusiju o
■■ Mapiranje:
Izrada ili prioritetima lokalnog razvoja i stepena u kojem je taj razvoj zadovoljen. Može se
upotreba koristiti za verifikaciju sekundarnih izvora informacija. Mapiranje također može
postojećih zabilježiti promjene ili uočene promjene tokom vremena (prije i poslije interve-
mapa kao dio ncije, na primjer). Dok se proces mapiranja često primjenjuje kod planiranja
prikupljanja
intervencije, također se može koristiti i u evaluaciji.
podataka
Mapiranje se može raditi sa pojedincima ili grupama. Kao grupni alat koristan
je za participativne evaluacije koje uključuju dionike, zato što im osigurava način
da rade zajedno. U isto vrijeme, mapiranje može svima povećati razumijevanje
zajednice. Ovo je posebno važno kada ljudi imaju različito razumijevanje zaje-
dnice zasnovano na njihovom statusu i iskustvu. Mapiranje je također koristan
alat za prikupljanje za upotrebu sa grupama gdje je pismenost problem.
Vrste mapiranja uključuju sljedeće:
• mapiranje resursa; • socijalno mapiranje;

• mapiranje bogatstva; • demografsko mapiranje;
• historijsko mapiranje; • mapiranje zdravlja.
• mapiranje korištenja zemljišta;
Mapiranje resursa se često koristi za prikupljanje i nacrt informacija o distri-

buciji, pristupu i upotrebi resursa unutar zajednice. Može se koristiti prije i poslije
intervencije da se identificiraju promjene.

Mape se mogu razvijati na mnoge načine. Za programe sanitacije i snabdi-
jevanja vodom, na primjer, evaluatori mogu razviti jednostavne crteže olovkom na
papiru, gdje su prikazani izvori vode, mjesta za toalet, primarna ekološka svojstva
i obrasci naselja. Evaluatori mogu zatim pitati seljane da koriste druge materijale
koje imaju, kao što su konac, slamke, traka, i konopac, da obilježe koje porodice
koriste koje izvore za vodu za piće i za toalet. Bojice, tinta ili voštane bojice se
mogu koristiti da se nacrtaju tačke koje označavaju distribuciju posebnih grupa,
kao što su siromašne žene, bogati, ili vođe (Narayan 1996).
Primjeri upotrebe mapiranja na participacijski način uključuju sljedeće:
• pitati školsku djecu da mapiraju njihovu zajednicu crtajući njihove kuće i kuće
njihovih komšija;
• pitati grupu muškaraca i žena da koriste lokalno dostupne materijale – glinu,
travu, blato, kamenje i štapove – da izrade model njihove zajednice i označe
sve vodene (ili druge) resurse i
• pokretanje diskusije i uključivanje ljudi u proces razvoja mape zajednice
tokom sastanka grupe (Narayan 1996).
Socijalno mapiranje uključuje „crtanje“ konceptualne slike elemenata koji
čine zajednicu, uključujući resurse i sredstva, te njihov međusobni odnos. Soci-
jalno mapiranje se može koristiti da se predstave informacije o rasporedu sela,
infrastrukturi, demografiji, etnolingvističkim grupama, objektima zajednice,
zdravstvenim obrascima, zdravlju i drugim pitanjima zajednice. Ovaj pristup ■■ Socijalno
okuplja članove zajednice da bi bolje razumjeli zajednicu i kako se tu uklapa mapiranje:
intervencija (ili ne uklapa). Može se koristiti kao dio bilo kojeg pristupa ako odgo- „crtanje
konceptualne
vara pitanjima evaluacije. Također se može koristiti da se poredi situacija prije i
slike elemenata
poslije intervencije. koji čine
Drugi alati mapiranja uključuju zračno snimanje, uključujući Google Earth zajednicu,
(Tekstualni okvir 8.5); snimanja zemljišta; mape koje su izradili profesionalni uključujući
kartografi; i mape koje su pripremili radnici na terenu koji hodaju kroz zajednicu resurse i
sredstva, te
i traže pomoć od ključnih ljudi. Informacije dobivene na ovaj način se mogu
njihov
koristiti u planiranju aktivnosti više zajednica (Narayan 1996). međusobni
odnos
Obilasci
Hodanje kroz područje koje se proučava se veoma razlikuje od gledanja snimka
iz zraka. Umjesto da koristi kameru, onaj koji obilazi područje pješke koristi
vještine posmatranja da bi razvio razumijevanje područja. Prateći staze kojima
se članovi zajednice kreću može otkriti zašto žene donose vodu samo jednom
dnevno ili zašto koriste druge staze kada počne kiša. Obilasci mogu dovesti do
razumijevanja društvene podjele u zajednici, kao što su moć i podjela među
kastama. Također može pomoći identificirati prostornu organizaciju, arhitekto-
nske stilove, upotrebu prostora, okolinsku sanitaciju, pretjeranu ili nedovoljnu

Tekstualni okvir 8.5 Korištenje Google
Eartha za mapiranje
Google Earth, program koji se može besplatno
preuzeti sa interneta, mapirao je čitav planet
postavljajući slike dobivene sa satelita i slike iz
zraka i geografskih informacionih sistema na
trodimenzionalni globus. Mnogi veliki gradovi
su dostupni u rezoluciji dovoljno oštroj da se
vide pojedine zgrade, kuće, čak i automobili.
Stepen rezolucije je unekoliko zasnovan na
tačkama od interesa.
Google Earth može biti koristan za priku-
pljanje baznih podataka i podataka o trendovi-
ma. Evaluatori mogu locirati područje Google Google Earth slika: Dacca, Bangladeš
Earthom, snimiti slike i printati ih. Prikupljeni
podaci se kasnije mogu porediti sa baznom slikom, kako bi se pokazale promjene tokom vremena
u, na primjer, putevima ili osiguranju električne energije ruralnim područjima.
upotrebu objekata i aktivnosti oko objekata vodosnabdijevanja i sanitacije

(Narayan 1996).
Obilazak je vrsta hoda koji evaluator obavlja po zajednici kako bi izveo
reprezentativnu opservaciju ljudi, okoline i resursa. Obilasci su vrsta prosto-
rnog alata za prikupljanje podataka. Obilasci mogu trajati od jednog sata pa do
čitavog dana.
Obilazak se planira crtanjem „linije obilaska“ na mapi zajednice. Linija
■■ Obilazak: treba ići kroz, ili presjecati, sve zone zajednice kako bi se osigurao reprezenta-
Hodanje koje tivni pogled zajednice.
obavlja kako bi
Evaluator, u društvu sa nekoliko članova zajednice, hoda duž područja koje
se posmatrali
ljudi, okolina i
je predstavljeno linijom presjeka na mapi. On ili ona razgovaraju sa članovima
resursi u zajednice dok osmatraju uvjete, ljude, probleme i prilike (Academy for Educa-
zajednici tional Development 2002).
Ovo što slijedi su primjeri aspekta zajednice koji mogu biti uočeni tokom
obilaska:
• uvjeti smještaja;
• prisustvo djece sa ulice;
• priroda dječijeg rada;
• neformalna ulična trgovina i prostitucija;

• dostupnost javnog transporta;
• vrste nevladinih organizacija (NVO) i vjerskih organizacija;
• vrste prodavnica;
• vrsta hrane koja se prodaje na otvorenim tržnicama;
• sanitarni uvjeti;
• međusobni odnosi muškaraca i žena;
• prisustvo zdravstvenih objekata i
• zajednički objekti (Academy for Educational Development 2002).
Obilasci omogućavaju evaluatoru „veliku sliku“ zajednice. Pomažu pri identi-
fikaciji problema koje treba dodatno istražiti.
Alat 2: Analiza zapisa i sekundarnih podataka
Ponekad se podaci koji su već prikupljeni mogu koristiti da se odgovori na evalu-

aciona pitanja. Kada koristimo podatke koje su prikupili drugi, neophodno je
razumjeti kako su podaci prikupljeni, kako definirane varijable, i kako su podaci
kodirani i očišćeni, uključujući kako su tretirani slučajevi sa podacima koji
nedostaju, nepostojanje odgovora i slabog stepena odziva. Izvori sekundarnih
podataka uključuju ne samo setove podataka iz prethodnih aktivnosti prikupljanja
podataka nego također i novinske članke, televizijske emisije, web stranice,
blogove i internet grupe.
Korištenje zapisa
Vladine organizacije, klinike, škole, udruženja i razvojne organizacije su samo
neke od organizacija koje prave zapise. Ovi zapisi mogu biti glavna podrška
evaluacije.
Organizacioni zapisnici su uobičajen izvor evaluacionih informacija. Većina
organizacija je već prikupila i organizirala podatke od klijenata i zajednica.
Moguće da su sumirali i prenijeli informacije u obliku internih menadžment
izvještaja, budžetskih dokumenata, izvještavanja javnosti ili finansijskih agencija,
ili u obliku evaluacionih ili monitoring izvještaja.
McCaston (2005) predstavlja uzorkovanje vrsta sekundarnih podataka i info-
rmacija obično povezanih sa analizom siromaštva:
• demografski (populacija, stopa rasta populacije, ruralno/urbano, spol, etničke
grupe, migracioni trendovi);
• diskriminacija (spolna, etnička, starosna);
• jednakost spolova (po starosti, etnička);
• okolinska politika;
• ekonomsko okruženje (rast, razmjer duga, uvjeti trgovine);
• nivoi siromaštva (relativni i apsolutni);

• zapošljavanje i plaće (formalno i neformalno; pristup varijablama);
• egzistencijalni sistemi (ruralni, urbani, na farmi, izvan farme, neformalni);
• poljoprivredne varijable i praksa (padavine, usjevi, vrste tla i upotreba,
navodnjavanje);
• zdravlje (pothranjenost, smrtnost djece, stopa imunizacije, stopa plodnosti,
stopa upotrebe kontracepcije);
• zdravstvene usluge (broj, nivo, objekti u odnosu na populaciju; pristup prema
spolu, etnička pripadnost);
• obrazovanje (stopa nepismenosti kod odraslih, stopa upisa u škole, stopa
napuštanja škole, odnos muškarci-žene, etnički odnos);
• škole (broj i nivo, broj škola u odnosu na populaciju, pristup prema spolu,
prema etničkoj pripadnosti);
• infrastruktura (putevi, struja, telekomunikacije, voda, sanitacija);
• status i problemi okoliša i
• štetna praksa u kulturi.
Gornje informacije se mogu naći u:
• fajlovima i zapisnicima;
• kompjuterskim bazama podataka;
• industrijskim izvještajima;
• vladinim izvještajima;
• drugim izvještajima, uključujući evaluacije;
• podacima o cenzusu i istraživanju domaćinstava;
• elektronskim mailing listama i grupama na forumima;
• dokumentima (budžeti, politike i procedure, organizacioni dijagrami, mape) i
• novinskim i televizijskim izvještajima.
Da bi se ekstraktovale informacije iz dokumenata zasnovanih na papiru,
evaluatori razvijaju instrument za prikupljanje podataka koji tačno određuje koje
podatke prikupiti iz fajla ili zapisnika i kako ih kodirati. Cilj je razviti instrument
koji je jasan i jednostavan. Kada se instrument razvije, treba ga predtestirati.
Razmotrimo, na primjer, evaluaciju slučaja gdje treba utvrditi jesu li medicin-
ske sestre koje su obučavane u programu obuke koji je sponzorirala vlada efekti-
vnije od drugih sestara. Instrument za prikupljanje podataka se može koristiti da
se sistemski prikupe relevantni podaci iz njihovih fajlova (Ilustracija 8.1). Evalu-
atori mogu odabrati uzorak klinike u kojoj su jedna ili više sestara prošle obuku u
vladinom programu i pregledati podatke svih sestara. Ovi podaci uključuju njih-
ovu obrazovnu pozadinu, vrijeme provedeno kao sestra i ocjenu njihovog učinka.
Kada se radi sa dokumentima koji opisuju trenutne aktivnosti ili praksu, evalu-
ator se treba uvjeriti da dokumenti tačno odslikavaju praksu. Opservacije (ako je
program još u toku) i intervjui mogu pomoći u tome.

Ilustracija 8.1 Primjer instrumenta za prikupljanje podataka
Datum______________________
ID #_______________
1. Najviši završeni nivo obrazovanja:__________________
2. Kvalificirana med. sestra? Da___________ Ne___________
3. Završena vladina obuka? Da___________ Ne___________
4. Ako jest, godina završetka obuke? _____________________
5. Koliko godina staža na ovoj klinici? _____________________
6. Koliko godina staža na drugim mjestima? _______________
7. Ocjena rada za proteklih pet godina:
Godina:____________ Ocjena:____________
Godina:____________ Ocjena:____________
Godina:____________ Ocjena:____________
Godina:____________ Ocjena:____________
Godina:____________ Ocjena:____________
8. Nagrade za rad primljene u proteklih pet godina:
________Da________Ne
Ako jeste, broj nagrada primljenih u posljednjih pet godina:_______
9. Spol: _________Muški_________Ženski
10. Komentari:_________________________________________________________
______________________________________________________________________
______________________________________________________________________
Izvor: Autori.
Na primjer, kada koristimo dokumente koji opisuju program obuke, evaluator

može provjeriti jesu li se časovi održavali pet dana u sedmici, je li materijal bio
dostupan, a učesnici bili raznoliki kao što dokument pokazuje. Ova verifikacija
može doći iz nekoliko intervjua ljudi koji imaju znanje o programu, njegovoj
historiji i implementaciji. Zavisno od slučaja, može biti važno potražiti ljude
koji imaju različite uloge, uključujući osoblje budžeta i klijente, čija perspe-
ktiva može osvijetliti prikupljene informacije i pružiti uvid u nepisanu histo-
riju. Kada ni opservacije niti intervjui nisu izvodivi, evaluator informacije može
verificirati identificirajući i pregledajući ostale dokumente koji govore o sličnim
informacijama.
Obično je neophodno čitati i analizirati zvanične dokumente pored fajlova.
U evaluaciji programa da se poboljša reakcija vladinih zvaničnika na telefonske

pozive građana, na primjer, evaluatori bi pogledali zvanične dokumente da odrede
sljedeće:
• Kada je program odobren?
• Koji ciljevi su postavljeni za program u dokumentu kojim se taj program
odobrava?
• Koliko vladinih radnika će biti uključeno?
• Koje agencije ili odjeli bi bili uključeni?
• Tokom kojeg perioda bi program bio implementiran?
• Koje mjere učinka ili indikatore su određene ili implicirane?
• Koji budžet je bio za program?
• Koje aktivnosti je trebalo implementirati?
Korištenje postojećih setova podataka

Elektronski setovi podataka koje je prikupila jedna organizacija često preuzima
i ponovo analizira druga organizacija da bi odgovorila na nova pitanja. Ova
vrsta analize se zove sekundarna analiza podataka. Evaluatori često koriste
velike kompjuterske baze podataka koje sadrže, na primjer, podatke o anketi
domaćinstava ili kredite koje su finansijski posrednici dali malim i srednjim
preduzećima. Pri obavljanju analize sekundarnih podataka evaluatori moraju
ostati fokusirani na svrhu i dizajn evaluacije.
Ključna pitanja koja treba razmotriti pri određivanju da li pribaviti i koristiti
podatke za sekundarnu analizu uključuju sljedeće:
• Jesu li dostupni podaci validni?
• Jesu li dostupni podaci pouzdani?
• Jesu li dostupni podaci tačni?
• Koja je stopa saradnje i podataka koji nedostaju?
McCaston (2005) sugeriše da se također provjere:
■■ Analiza
sekundarnih • akreditivi organizacije koja čuva bazu podataka;
podataka: • metode i pravila korištena za čišćenje podataka;
Analiza • starost informacija u bazi podataka (važeći ili zastarjeli?) i
podataka koje • provjeriti imaju li podaci smisla i jesu li konzistentni sa podacima iz ostalih
nisu prikupili izvora.
evaluatori nego
su prikupljeni iz Razmotrimo, na primjer, evaluacijsku jedinicu koja razmatra upotrebu
drugih izvora podataka iz velikog kompjuteriziranog menadžment informacionog sistema sa
podacima o univerzitetskim kreditima datim u vladinom programu. Kao uvjet
za ovaj program, prihod studenata mora biti ispod zahtijevanog nivoa. Evalu-
atori koji razmatraju korištenje ovih podataka moraju provjeriti da podaci poka-
zuju da studenti koji nisu ispunjavali uvjete nisu primili sredstva. Ako pronađu

da su studenti koji nisu ispunjavali uvjete ipak primili sredstva, treba odrediti
je li problem u pogrešno unesenim podacima (tačnost) ili u nepravilnoj imple-
mentaciji uvjeta. Evaluatori, također, moraju provjeriti da studentima koji su
ispunjavali uvjete sredstva nisu uskraćena ili da studenti nisu primili više od
jednog kredita. Evaluatori mogu prvo pokrenuti podatke da odrede prirodu i
stepen ovih problema u bazi podataka. Da bi verificirali podatke mogu telefoni-
rati nekim studentima da potvrde da su primili sredstva i pohađali školu. Evalu-
atori također mogu provjeriti u školama da odrede da li njihovi podaci pokazuju
da su studenti pohađali školu i primili sredstva iz programa.
Sljedeći proces treba slijediti kada se koriste sekundarni podaci:
• Pronaći šta je potrebno da se podaci prebace na vaš kompjuter. Ponekad će
organizacija koja ima bazu podataka htjeti provesti analizu za vas, i to je jedina
opcija. (Ako je moguće i praktično, poželjno je prebaciti fajl);
• Provjeriti ima li virusa prije nego prebacite podatke na vaš kompjuter;
• Pribaviti strukturu baze podataka, rječnike podataka i sheme kodiranja;
• Verificirati tačnost podataka testiranjem i validacijom;
• Podatke prebaciti na način koji sprečava nove greške (nema ponovnog kucanja
teksta). Manuelno provjeriti neke od podataka da se osigura da su prebačeni
kako je planirano;
• Pravilno referencirati sve sekundarne podatke (datum objavljivanja, pravilne
citate autora).
Tabela 8.4 sumira prednosti i izazove korištenja dostupnih podataka.
Tabela 8.4 Prednosti i izazovi korištenja dostupnih podataka
Prednosti Podaci su obično manje skupi i brži nego prikupljanje

originalnih podataka
Izazovi Podaci možda nisu tačno onakvi kakvi nam trebaju
Može biti teško održati dugoročni pristup podacima
Validnosti i pouzdanost podataka treba verificirati i kodirane
greške ispraviti
Izvor: Autori.
Alat 3: Opservacija
Opservacija može biti moćan alat za prikupljanje podataka. Koristeći samo

oči možemo posmatrati, na primjer, saobraćajne obrasce, obrasce korištenja
zemljišta, raspored grada i ruralnog okruženja, kvalitet stanovanja, stanje puteva
ili ko dolazi u ruralne zdravstvene ustanove na medicinske preglede.

Opservacija je koristan alat za prikupljanje podataka kada je svrha evaluacije
odrediti mjeru i prikupiti opisne podatke ili dokumentirati aktivnosti programa,
procese, i ishode. Primjenjiva je u raznim situacijama (Tabela 8.5).
Opservacije mogu biti strukturirane i polustrukturirane:
• Strukturirane opservacije prije početka precizno određuju šta će se posmatrati
tokom kojeg vremenskog intervala. Posmatrači obično koriste liste provjere da
broje događaje ili primjere ili mjere vrijeme aktivnosti.
• Nestrukturirane opservacije odabiru metod ovisno o situaciji, bez prethodno
koncipiranih ideja ili planova o tome šta posmatrati ili koliko dugo posmatrati.
Posmatrač gleda i bilježi razvoj situacije.
• Polustrukturirane opservacije se provode kada evaluator ima generalnu ideju
šta posmatrati, ali nema određeni plan. Evaluator može jednostavno zabilježiti
ono što smatra interesantnim, tipičnim, neobičnim ili važnim. Evaluator se
može upustiti u stalno bilježenje transakcija onako kako one nastaju ili se
može fokusirati na određene aktivnosti.
Strukturirane opservacije
Korištenjem strukturiranog pristupa opservaciji Stake (1995) je razvio obrazac
opservacije zasnovan na temi ilustracija (Ilustracija 8.2). Mnogi obrasci za stru-
kturirane opservacije koriste skraćenice i simbole da omoguće više prostora na
obrascu za prikupljanje podataka. Obrasci se mogu modificirati da zadovolje
potrebe određenih evaluacija.
Ilustracija 8.3 prikazuje primjer obrasca koji se koristi za strukturirane opserva-
cije, ovaj alat se koristi za prikupljanje podataka o vještinama komunikacije kod
djece.

Tabela 8.5 Razlozi za korištenje i primjeri opservacije
Razlog za
korištenje
opservacije Primjeri
Da se dobiju Nasumične posjete školama, kućama, farmama ili drugim lokacijama i
direktne posmatranje a ne ispitivanje ljudi.
informacije Osmatranje operacija i procedura u uredima, školama, bolnicama ili drugim
lokacijama, a ne oslanjati se samo na izvještaje.
Nenametljivo bilježiti broj slučajeva, kao što su etničke, spolne ili starosne grupe
uključene u određenu aktivnost.
Razumjeti trenutno Posmatranje i opisivanje šta je urađeno u svakoj fazi projekta ili programa.
ponašanje, proces, Posmatranje međusobnog odnosa djece na igralištu, postupanja roditelja sa
razvoj situacije ili djecom, učitelja sa učenicima, zdravstvenih radnika sa pacijentima, menadžera sa
događaja uposlenicima.
Posmatranje menadžera kako vode poslovne sastanke prije i poslije programa
obuke.
Istražiti fizičke Posmatranje hrane i drugih stvari koje se prodaju na tržnici.
dokaze, proizvode Periodično osmatranje obale jezera koja je uključena u program čišćenja.
ili izlazne rezultate
Imati tim stručnjaka staviti tačku na kraju
Ispitivanje vrtova, biltena, projektnih knjiga i tako dalje.
Osigurati Nekoliko učesnika dobrovoljaca osmatra i izvještava o izvršenju programa, a ne
alternativu kada da svi učesnici ispunjavaju upitnike.
pisane ili druge Posmatranje dinamike i problema izraženih tokom radionice za nove imigrante.
procedure
prikupljanja Treneri posmatraju časove jedni drugima; bilježe dinamiku; pitanja i nivo učešća.
podataka mogu biti
neizvodive ili
nepogodne
Izvor: Prilagođeno iz University of Wisconsin Cooperative Extension 1996.
Ilustracija 8.2 Primjerak obrasca opservacije zasnovane na temi
Vrijeme opservacije:
Posmatrač: Škola: Datum:
od do
Nastavnik: muški ženski Godina 25 35 50 65 Razred: Vrijeme pisanja:
Iskustvo nastavnika: 0 - - Direktne instrukcije

# učenika: Predmet
Mjeseci Nisko - - Visoko
Komentari na naučno obrazovnu temu:

1. reakcija na rezanje budžeta
Sinopsis lekcije, aktivnost: 2. mjesto autoriteta
3. priprema nastavnika
4. priručni materijali
Opis prostorije Pedagoška orijentacija Cilj nastavnika napravljene reference na
Mjesto učenja L - - H udžbenik L - - H didaktički L - - H naučni metod 0 - - M
Mjesto nauke L - - H stdzd testiranje L - - H heuristički L - - H tehnologija 0 - - M
Mjesto kompetencije L - - H rješavanje problema L - - H filetički L - - H etika, relig 0 - - M
Izvor: Prilagođeno od Stake 1995.
311
Ilustracija 8.3 Primjer Obrasca strukturirane opservacije
Indikator rana Ime djeteta ili # Datum testa (MM/DD/YY)

Trajanje testa -
komunikacija Min sec
Oblik: kuća ili štala promjena uvjeta (vidjeti listu ispod):
Primarni koder: Ispitivač:
Lokacija (zaokružiti jednu): kuća centar drugo (objasniti u bilješkama)
Rano djetinjstvo Jezik:
Istraživački Ako ima pouzdanost, ime kodera pouzdanosti:
institut mjerenje Bilješke:
rast i razvoj
Geste Vokalizacija Pojedinačne Više Lista uvjeta

riječi riječi Prevodilac
Jezik intervencije pribor
Početak G V W M Medicinske intervencije (npr.
0:00 epruvete)
Savjetnici za mentalno
Sec. zdravlje
1:00 G V W M Milje ili incidentno podučavanje
Ništa
Nutricionisti
Ostali
Sec. Fizioterapeuti
2:00 G V W M Vršioci primarne njege
Kvalificirane med. sestre
Reaktivna interakcija
Socijalni radnik
Sec. Terapeut govora/jezika
3:00 G V W M
Sec.
4:00 G V W M
Sec.
5:00 G V W M
Sec.
6 min G V W M
Kraj
Ukupno

Geste Vokalizacije Pojedine Više Ukupno
riječi riječi
Primarni
koder
ukupni
procent
Koder Slaganje
pouzdanosti
Slaganje
A/A≠D
Neslaganje
Procenat
Određivanje pouzdanosti:
1. Zabilježiti rezultate primarnog kodera u prvi red;
2. Zabilježiti rezultate kodera pouzdanosti u drugi red;
3. Zabilježiti broj o kojem su se složili u treći red;
4. Zabilježiti broj o kojem se nisu složili u četvrti red;
5. Izračunati procenat slaganja za svaki ključni element kategorije;
6. Izračunati ukupni procenat slaganja koristeći ukupne rezultate;
7. Izračunati ukupni prosjek slaganja po kategorijama (dodati slaganja
i neslaganja po kategorijama (treći i četvrti red).
Izvor: Early Childhood Research Institute on Measuring Growth and Development 2008.

Polustrukturirane opservacije
Polustrukturirane opservacije mogu ne posjedovati određeni plan. Umjesto toga,
može se identificirati koju vrstu stvari posmatrati (Tabela 8.6).
Bilježenje opservacija
Opservacije možemo bilježiti na najmanje tri načina:
• Vodič opservacije: printani obrazac koji pruža prostor za bilježenje opse-
rvacija. [Primjeri za vodiče opservacija mogu se naći u (1995),
University of Wisconsin Cooperative Extension (1996), i Yin (2003).]
• Lista bilješki ili lista provjere: Obrazac koji se koristi za bilježenje opserva-
cije u da/ne obliku ili prema rang listi. Liste bilješki se koriste kada postoje
određene stavke koje je moguće posmatrati, činioci ili atributi koje treba
posmatrati.
Tabela 8.6 Upotrebe polustrukturirane opservacije
Opservacija Primjeri
Karakteristika učesnika Spol, starost, profesija/zanimanje, odijevanje, izgled,
(pojedinačno i kao etnička pripadnost
grupa) Stav prema predmetu, prema drugima, o sebi
Vještine, navike i znanje
Interakcije Nivo učešća, interesi
Odnosi moći, donošenje odluka
Opća klima za učenje, rješavanje problema
Nivoi podrške, saradnje nasuprot konflikta
Neverbalno ponašanje Izrazi lica
Gestikulacije
Stavovi
Vođe programa, Jasnoća komunikacije
prezenteri Vještine vođenja grupe, podsticanje učesnika
Svijest o klimi u grupi
Fleksibilnost, prilagodljivost
Znanje o predmetu, upotreba pomagala, druge tehnike
podučavanja/učenja
Slijed aktivnosti
Fizičko okruženje Soba (prostor, komfor, podesnost)
Pogodnosti (osvježenja i tako dalje)
Razmještaj sjedenja
Proizvodi programa Demonstracije, objekti, plan
Brošure, uputstva, bilteni
Izvor: Clouter i drugi 1987.

• Bilješke sa terena: Najmanje strukturirani način da se bilježe opservacije.
Opservacije se bilježe narativnim, opisnim stilom kada posmatrač primijeti ili
čuje nešto važno.
Bilješke sa terena sadrže „podatke koji se prikupljaju. Sastoje se iz opisa ■■ Bilješke sa
doživljenog i uočenog, citati posmatranih ljudi, osjećaji i reakcije posmatrača o terena: Opisi
uočenom, te uvidi i interpretacije nastale na terenu.“ (Patton 2002, p. 305). onog što se
doživi i šta se
Prema Lofl (1971, str. 102), bilješke sa terena su „najvažnija determinanta
uoči, citati
za uspjeh kvalitativne analize. Bilješke sa terena osiguravaju raison d’ ętre posmatranih
posmatrača. Ako ih ne prakticira, posmatra, može i da ne bude prisutan“. ljudi, osjećanja i
Patton (2002) razmatra tehnike vođenja bilješki sa terena za opservacije. reakcije
Opisuje važnost opisivanja svega za šta posmatrač vjeruje da bi bilo vrijedno posmatrača na
bilježenja, a ne da se pouzda u sjećanje. Što je prije moguće posmatrač treba uočeno i uvidi i
interpretacije
zabilježiti svaku informaciju koja mu je pomogla da razumije kontekst, postavke
nastali na
i ono što se dešavalo. Bilješke sa terena trebaju sadržavati opisne informacije terenu
koje će tokom analize evaluatoru omogućiti da se mentalno vrati u opservaciju
da bi iskusio opservaciju. Patton sugerira bilježenje osnovnih informacija, kao
što su gdje je opservacija obavljena, ko je bio prisutan, kako je izgledalo fizičko
okruženje, kakve društvene interakcije i koje aktivnosti su se desile.
Naglašava važnost upotrebe određenih a ne uopćenih termina:
riječi kao što su siromašan, ljut i nelagodnost nisu dovoljno opisne. „Takve
interpretativne riječi više prikrivaju ono što se uistinu događalo nego što otkrivaju
detalje situacije“, prema Pattonu.
Obuka i priprema posmatrača

Patton (2002, str. 260) spominje da samo zato to što je osoba „opremljena funkci-
onalnim čulima ne čini je vještim posmatračem. Razmatra važnost obuke i pri-
preme posmatrača, identificira šest komponenti obuke za posmatrače:
• Naučiti obraćati pažnju, vidjeti ono što se ima vidjeti, čuti ono što se ima čuti;
• Vježbanje opisnog pisanja;
• Stjecanje discipline u prikupljanju bilješki na terenu;
• Znati kako odvojiti detalj od beznačajnosti da bi se prvo dobilo bez utjecaja
drugog;
• Koristiti rigorozne metode i triangulirane opservacije i
• Prijaviti jačinu i ograničenja vlastite perspektive, što zahtijeva samopozna-
vanje i samorazotkrivanje.

Tabela 8.7 Prednosti i izazovi opservacionog prikupljanja podataka
Prednosti Prikupljanje podataka o stvarnom ponašanju, a ne
subjektivni izvještaji ili poimanja
Prikupljanje podataka u stvarnom vremenu a ne
retrospektivno
Izazovi Uzorkovanje kao i bilježenje i interpretacija podataka može
biti teško
Prikupljanje podataka može zahtijevati intenzivan rad
Izvor: Autori.
Kad god je izvodivo, treba koristiti više posmatrača. Svi posmatrači trebaju
biti obučeni tako da posmatranje vrše prema ustanovljenim procedurama.
Procedura opservacionog prikupljanja podataka treba biti testirana pilotom
prije nego se koristi za evaluaciju. Da bi se ovo uradilo najmanje dva posmatrača
moraju ići u isto područje i uraditi bilješke na terenu na kodnim obrascima i rang
listama. Nakon što završe liste, te liste treba uporediti. Ako postoje velike razlike,
treba provesti više obuke i klasifikacije. Ako su razlike male, procedura se može
usvojiti.
Tabela 8.7 sumira prednosti i izazove prikupljanja opservacionih podataka.
Alat 4: Ankete i intervjui
Ankete su odličan alat za prikupljanje podataka o percepcijama, mišljenjima i

idejama ljudi. Manje su korisni u mjerenju ponašanja, zato što ono što ljudi kažu
da rade možda ne odslikava ono što oni stvarno rade.
Ankete mogu biti strukturirane i polustrukturirane, vođene lično ili telefonom,
poluvođene tako što ljudi odgovaraju pomoću web obrasca ili im se isti šalje
poštom. Anketirati se može uzorak populacije ili čitava populacija (za diskusiju o
uzorkovanju vidjeti Poglavlje 9).
Strukturirane i polustrukturirane ankete

Strukturirane ankete: Anketa koja uključuje više mogućnosti izbora odgovora,
jedan ili više od kojih ispitanici odabiru.
■■ Strukturirane
ankete: Anketa Strukturirane ankete su ankete koje uključuju više mogućnosti izbora odgo-
koja uključuje vora, jedan ili više od kojih ispitanici odabiru. Svim ispitanicima se postavljaju
više mogućnosti potpuno ista pitanja na potpuno isti način i daje im se potpuno isti izbor odgovora
izbora odgovo- na pitanja.
ra, jedan ili više
Koliko opcija odgovora treba koristiti? Za nominalne odgovore, kao što je
od kojih
ispitanici
region zemlje, primarno zanimanje ili starost grupe, broj odgovora treba pokriti
odabiru broj mogućih odgovora. Kada koristimo skalu da indiciramo odgovore, broj

opcija odgovora treba generalno biti neparan broj (3, 5 ili 7) tako da su neutra-
lni odgovori odmah očigledni ispitaniku. (Ponekad se koriste i skale sa parnim
brojevima, kada se od ispitanika traži da izabere između „satisfakcijskog“ i
(„djelimično nesatisfakcijskog“ ocjenjivanja.) Polustrukturirane ankete posta-
vljaju isti generalni set pitanja, ali omogućavaju otvorene odgovore za sve ili
većinu pitanja (Tekstualni okvir 8.6).
Polustrukturirane ankete su ankete koje predominantno postavljaju
otvorena pitanja. Posebno su korisne kada evaluator želi steći dublje razumi- ■■ Polustruk-
jevanje reakcija i iskustava ili razumjeti razloge zašto su ispitanici imali određene turirane
stavove. Polustrukturirane ankete trebaju imati jasno definiranu svrhu. Često je ankete:
Ankete, često
praktičnije intervjuirati ljude o koracima u procesu, ulozi i odgovornosti raznih
vođene,
članova zajednice ili tima, ili opisati kako program radi nego pokušati razviti postavljaju
pisanu anketu koja bilježi sve moguće varijacije. Ako potencijalni ispitanici predominantno
osjećaju prisnost i postavljaju im se interesantna pitanja, mogu biti voljni da ih se otvorena pitanja
intervjuira sat i više vremena. Suprotno tome, malo bi ljudi bilo voljno provesti sat
vremena ispunjavajući upitnik. Idealno dvoje ljudi treba provoditi svaki intervju
Tekstualni okvir 8.6 Pitanja za strukturiranu i polustrukturiranu

anketu
Primjeri strukturiranih pitanja uključuju sljedeće:
1. Je li ova radionica bila korisna i pomogla da naučite kako evaluirati

program?
• Malo ili nikako
• U nekoj mjeri
• U srednjoj mjeri
• U velikoj mjeri
• U veoma velikoj mjeri
• Nemam mišljenje
• Nije primjenjivo
2. Imjau li svi ljudi u selu izvor čiste vode unutar 500 metara od njihovih
kuća?
• Da
• Ne
Primjeri polustrukturiranih pitanja uključuju sljedeće:
1. Šta ste naučili iz radionice programa evaluacije koju ste koristili na

poslu?
2. Gdje su izvori čiste vode za seljane?

Tabela 8.8 Prednosti strukturiranih i polustrukturiranih anketa
Strukturirane ankete Polustrukturirane ankete
Teže za razvijanje: ankete trebaju Lakše za razvijanje: anketa može uključiti
pokriti sve moguće informacije široko otvorena pitanja koja bilježe bilo šta
što je propušteno u strukturiranom dijelu,
smanjuje se opasnost izostavljanja.
Lakše ih je završiti: obilježavanje Teže ih je završiti: opterećenje za ljude da
kvadratića uzima manje vremena urade upitnike koje moraju sami voditi.
nego pisanje narativnih odgovora
Lakše ih je analizirati Teže ih je analizirati, ali osiguravaju
bogatiji izvor podataka; interpretacija
otvorenih odgovora je predmet
pristrasnosti.
Efikasnije kada se radi sa velikim
brojem ljudi
Izvor: Autori
tako da mogu uporediti bilješke. Ako koristimo dvoje ljudi za intervju lakše ćemo
i rješavati eventualne sporove o onome šta je kazano.
Suprotno tome, malo bi ljudi bilo voljno provesti sat vremena ispunjavajući
upitnik. Idealno dvoje ljudi treba provoditi svaki intervju tako da mogu uporediti
bilješke. Ako koristimo dvoje ljudi za intervju lakše ćemo i rješavati eventualne
sporove o onome šta je kazano.
Tabela 8.8 Obilježava prednosti strukturiranih i polustrukturiranih anketa.
Načini vođenja ankete

Najčešći načini za provođenje anketa su:
• telefonski upitnici;
• upitnici dostavljeni poštom, e-mailom ili na webu koje ispitanici sami rade i
• vođeni upitnici (uobičajeni u razvojnom kontekstu).
Telefonske ankete su korisne za razumijevanje iskustva, mišljenja ili

pojedinačnih ličnih opisa procesa. Lične i telefonske ankete su slične; razlikuju
se samo u načinu dostave.
Polustrukturirani upitnici se mogu dostaviti ispitanicima lično ili poštom,
e-mailom, ili putem weba. Ispitanici odgovaraju na pitanja na obrascu a zatim
ih vraćaju urađene. Poluvođene ankete trebaju biti kratke i trajati ne više od
20 minuta (kraće je bolje). Od svih pristupa istraživanje sugerira da će ljudi

najvjerovatnije dati iskrene odgovore na osjetljiva pitanja u anonimnoj anketi
koju sami rade.
Korištenje pošte, e-maila ili weba je manje skupo nego provođenje anketa
lično. Ankete se mogu poslati u bilo koje područje gdje potencijalni ispitanici
imaju pristup ovim metodama distribucije. Ako se u području pošta ne dosta-
vlja redovno ili su telefon i internet ograničenih mogućnosti, tada neučešće
u anketi ne bi bilo dobro, pojavio bi se glavni izvor pristrasnosti. Nizak nivo
pismenosti ovaj pristup čini nepogodnim u mnogim razvojnim kontekstima.
Vođene ankete, koje su tipične za razvojni kontekst, mogu biti strukturi-
rane, polustrukturirane ili mješovite. Ove pisane ankete čita onaj koji priku-
plja podatke i bilježi odgovore. Generalno je poželjnije koristiti zatvorena
pitanja, ali na kraju uključiti i jedno ili dva otvorena pitanja. Ova otvorena
pitanja često čine da se ljudi osjećaju komforno, pošto mogu dodati bilo šta
za šta misle da je anketa izostavila ili lično komentirati anketu. Jedno ili dva
otvorena pitanja na kraju je sve što je potrebno; više pitanja bi samo otežalo
situaciju. Otvoreni odgovori mogu uzeti puno vremena da ih se analizira, ali
mogu pružiti koristan uvid i citate za ilustriranje glavnih tema evaluacije.
Telefonski intervjui uz pomoć kompjutera (CATI) koriste interaktivni
kompjuterski sistem koji pomaže u intervjuu kada se pitanja postavljaju tele-
fonom. Intervju se započne, a kompjuterski program kontrolira grananje ili ■■ Telefonski
preskakanje pitanja. Izbor pitanja zasnovan na odgovorima na druga pitanja intervjui uz
omogućava više personalizirane i sofisticirane intervjue nego je to moguće pomoć
kompjutera:
sa upitnicima na papiru. Tokom intervjua podaci se unose skupa sa jedno-
(CATI):
stavnim kodiranjem direktno u kompjuterski sistem. Većina pitanja su pitanja Intervju gdje se
sa višestrukim izborom, tako da se jednostavno označi tačan odgovor; koristi intera-
kompjuterski sistem prevodi podatke u kod i pohranjuje ih u bazu podataka ktivni kompjute-
(UNESCAP 1999). rski sistem da
pomogne u
Tabela 8.9 sumira prednosti i izazove korištenja anketa.
intervjuu kada
se pitanja
postavljaju
telefonom
Tabela 8.9 Prednosti i izazovi anketa

Prednosti Ispitanici iskazuju šta misle, vjeruju ili doživljavaju.
Izazovi Ljudi se nekad ne mogu tačno prisjetiti svog ponašanja u
određenim situacijama ili će nevoljko otkriti ponašanje,
posebno ako je nelegalno ili stigmatizirano.
Šta ljudi misle da rade ili kažu da rade nije uvijek isto kao
ono što ustvari rade.
Izvor: Autori.

Razvoj anketnih pitanja:
Razvoj anketnih pitanja uključuje
• odabir pitanja
• sastavljanje pitanja i odgovora
• redoslijed pitanja
• odabir rasporeda ankete
• pregled, prevođenje i predtestiranje pitanja.
Odabir pitanja. Evaluator može koristiti otvorena ili zatvorena pitanja. Na

otvorena pitanja se ne može odgovoriti jednostavnim odgovorom ili odabirom.
Ispitanicima je često neugodno ili nisu uvijek voljni odgovarati na otvorena
pitanja pismenim putem.
Na zatvorena pitanja se može odgovoriti jednostavnom informacijom. Pitanje:
„koji je datum tvog rođenja?“, zatvoreno je pitanja, zato što se na njega može
odgovoriti samo datumom rođenja, bez detalja, samo jednostavna informacija.
Drugi oblik zatvorenog pitanja je dihotomno pitanje, kao što su da/ne ili tačno/
netačno pitanja. Treći oblik zatvorenih pitanja je pitanje sa više opcija. Mnogi
stručnjaci savjetuju upotrebu uglavnom zatvorenih pitanja, ali da se na kraju
uključi jedno ili dva otvorena pitanja (Burgess 2001) ili da se ostavi mjesto za
komentar nakon svakog pitanja.
Upotreba previše različitih oblika pitanja može zbuniti ispitanike. Jackson
Agrawal (2007) sugeriraju upotrebu ne više od tri oblika pitanja u većini anketa.
Prema studiji Living Standards Measurement Survey Study (LSMS) (World
Bank 1996), dobro je razviti anketna pitanja u nivoima (Tabela 8.10). Na ovaj
način dobija se dobro izbalansiran upitnik.
Razlučivanje vrsta pitanja goni evaluatora da bude jasan o onome šta se pita i
pomaže ispitaniku da odgovori na najbolji način. Patton (2002) opisuje šest vrsta
pitanja:
• Pitanja iskustva i ponašanja: šta osoba radi ili namjerava raditi, poticanje
ponašanja, iskustava, radnji i aktivnosti;
• Pitanja mišljenja i vrijednosti: usmjerena na razumijevanje kognitivnih i inte-
rpretacijskih procesa ljudi (a ne radnji i ponašanja) i
• Pitanja osjećanja: usmjerena na isticanje emocija ljudi na iskustva i misli,
traženje odgovora sa pridjevom, kao što je nervozan, sretan, uplašen, zastrašen
i uvjeren. Pitanje treba ukazati osobi koja se intervjuira da je pitanje o
mišljenjima, vjerovanjima i razmatranju sudova, a ne osjećajima.

Tabela 8.10 Nivoi usavršavanja kod određivanja sadržaja ankete
Nivo Opis
Definiranje Definirati ciljeve (proučiti siromaštvo; da se razumiju efekti vladine politike o
sveobuhvatnih ciljeva domaćinstvima).
Određivanje balansa Definirati koje su teme najvažnije (slučaj subvencija cijena hrane, efekti
između sekcija promjena u pristupu ili cijeni državnih zdravstvenih i obrazovnih usluga, efekti
promjene u ekonomskoj klimi kao rezultat strukturalnog prilagođavanja ili
tranzicije iz centralizirane u tržišnu ekonomiju.
Određivanje balansa Unutar obrazovnog sektora, na primjer, definirati koje od sljedećeg je
unutar sekcija najvažnije za državu i trenutak: nivoi i determinante upisa, slabo pohađanje,
učenje, razlike u muško-ženskim indikatorima; utjecaj broja godina školovanja
na zaradu u formalnom sektoru i poljoprivredi i razlikuju li se i kako; koja djeca
imaju udžbenike ili primaju školsku užinu ili stipendiju; koliko roditelji trebaju
platiti školarinu.
Napisati pitanja za U studiji pristupa udžbenicima, na primjer, evaluator treba znati koliko
studiju određenih tema predmeta udžbenik pokriva, dijele li se knjige svakom djetetu ili ih koriste
ili programa zajedno; mogu li se knjige nositi kući ili su samo za upotrebu u školi; dobivaju
li se knjige besplatno ili se plaćaju; kada su knjige dostupne; jesu li knjige
kupljene u knjižarama bolje ili gore od onih koje osigura škola.
• Pitanja znanja: pitanja koja se tiču ispitanikovih činjeničnih informacija – šta

ispitanik zna;
• Senzorska pitanja: pitanja o tome šta se vidjelo, čulo, dodirnulo, okusilo i
pomirisalo i
• Demografska pitanja: starost, obrazovanje, zanimanje i druge karakteristike
osobe koja se intervjuira.
Formuliranje pitanja i opcija odgovora. Svako od Pattonovih šest vrsta pitanja

možemo postaviti u sadašnjem, prošlom ili budućem vremenu. Na primjer, evalu-
ator može pitati:
• Šta ste znali o HIV/AIDS tretmanu prije pet godina? (prošlo vrijeme);
• Šta ste danas naučili iz prezentacije o HIV/AIDS? (sadašnje vrijeme) i
• Šta biste htjeli naučiti o HIV/AIDS? (buduće vrijeme) (Patton 2002).

Tekstualni okvir 8.7 Savjeti za formuliranje anketnih pitanja
Sljedeći savjeti mogu pomoći evaluatorima kada pišu anketna pitanja tako da
ispitanik zna koje se informacije od njega traže:
• Koristiti jednostavne riječi koje imaju isto značenje za sve ispitanike;

• Pitanja i kategorije odgovora učiniti karakterističnim;
• Izbjegavati pitanja i opcije odgovora koji su dvosmisleni (Izbjegavati pita-
nja i odgovore koji sadrže riječi „i“ ili „ili“.);
• Izbjegavati pitanja koja pretpostavljaju znanje. Ako je neophodno, osigu-
rati relevantne informacije pri uvodu u pitanje;
• Biti oprezan u vezi sa dvostrukim negacijama u kombinacijama pitanje-
odgovor (na primjer, izbjegavati upotrebu „ne“ u da/ne pitanjima);
• Opcije odgovora napraviti međusobno isključivim;
• Izbalansirati opcije odgovora;
• Izbjegavati neugodna, nametljiva ili snishodljiva pitanja. Izvor: TC Evalua-
tion Center 2007. For other useful sources, see Foddy (1993), Fowler
(2002), and Sue and Ritter (2007).
Izvor: TC Evaluation Center 2007. Za druge korisne izvore vidjeti Foddy (1993), Fowler
(2002), and Sue and Ritter (2007).
Evaluaciona pitanja moraju biti jasna (Tekstualni okvir 7.8). Ukoliko nisu,
ispitanik se može osjećati neprijatno, kao neznalica, zbunjeno ili neprijateljski.
Evaluatori moraju naučiti termine koji ljudi koje intervjuiraju koriste kada govore
o projektu, programu ili politici i moraju te riječi koristiti pri izradi ankete.
Evaluator mora biti pažljiv da ne navodi ispitanika da mu da odgovor na
pitanje koji on želi. Razmotrimo na primjer, sljedeće pitanje:
„U kojem je obimu, ako jeste, povećan vaš profit nakon obuke?“ „Ako je profit
povećan malo, srednje, dovoljno ili u velikoj mjeri, da li to povećanje pripisujete
obuci?“
Jasno da ova pitanja „navode svjedoka“ stazom kojom evaluator želi da on ide.
Bolje bi bilo pitati o trendovima profita tokom dužeg perioda zatim pitati ako je
bilo povećanja, čemu se ono može pripisati.
Neznatne promjene u načinu formuliranja pitanja mogu imati značajan utjecaj
na to kako ljudi odgovaraju.
Nekoliko istražitelja posmatralo je efekte modificirajućih pridjeva i priloga. Riječi
kao što su obično, često, ponekad, s vremena na vrijeme, rijetko, se „uobičajeno“
koriste u anketama, iako je jasno da nemaju isto značenje za sve ljude.

Neki pridjevi imaju visok varijabilitet a drugi nizak. Sljedeće fraze imaju visoko
varijabilno značenje i treba ih izbjegavati u anketama: jasan mandat, najviše, bro-
jni, značajna većina, manjina, velika proporcija, znatan broj, mnogo, značajan
broj, nekoliko. Druge fraze proizvode manje varijabilnosti i generalno imaju isto
značenje. To su puno, gotovo sve, praktično sve, zamalo sve, većina, koncenzus,
mali broj, ne tako puno, gotovo niko, jedva ko, par i nekoliko (StatPac 2007).
Frary (1996) nudi nekoliko sugestija za dizajniranje efektivnih upitnika. Među

njegovim sugestijama za gradirane odgovore su sljedeće:
• Odgovore poredati od nižeg nivoa ka višem sa lijeva na desno: 1) nikad 2)
rijetko 3) povremeno 4) često
• Razmotriti kombiniranje kategorija odgovora ako nije vjerovatno da će ispi-
tanici označiti „nikad“ i ako „rijetko“ pretpostavlja gotovo ekvivalentan nivo
aktivnosti: 1) rijetko ili nikad 2) povremeno 3) često.
• Tražiti od ispitanika da ocijene i pozitivnu i negativnu stimulaciju (odgovori
sa obje strane skale). Na ovaj način ispitanici moraju evaluirati svaki odgovor
umjesto da se samo svi slože ili ne slože sa svim odgovorima.
• Ako je moguće, smanjiti broj mogućih odgovora. Na primjer, ako je vjero-
vatno da će odgovori ispitanika biti jasni, koristiti jednostavno 1) slažem se
2) ne slažem se. Kada mišljenja ispitanika nisu tako jaka ili dobro formirana,
koristiti više opcija: 1) slažem se 2) uglavnom se slažem 3) uglavnom se ne
slažem, 4) ne slažem se
Nakon što napiše pitanja, evaluator treba pročitati svako pitanje i odgovor i
provjeriti jezik i logiku. Je li gramatika ispravna? Da li odgovori prate logiku
pitanja?.
Pisanje anketnih pitanja je teško zato što moraju biti razumljiva svima. Riječi
imaju više značenja i konotacija. Ako se pitanje postavi na način koji ljudi ne razu-
miju ili ga razumiju na više načina, različito će odgovarati na pitanja. Također,
postoji rizik od prikupljanja beskorisnih podataka. Na primjer, šef agencije hoće
pronaći koliko obuke na kompjuterima su imali ljudi u njegovoj organizaciji.
Sljedeća pitanja se mogu postaviti:
• Jeste li imali ikakvu obuku u protekla tri mjeseca?
• Jeste li imali ikakvu obuku u proteklih šest mjeseci?
• Jeste li imali ikakvu obuku u protekloj godini?
Problem kod postavljanja ovakvog seta pitanja je da će svi koji su imali obuku
u posljednja tri mjeseca na sva pitanja odgovoriti sa „da“.

Bolje dizajnirana pitanja bi bila: „Koliko kurseva obuke ste pohađali u svakom
od sljedećih vremenskih perioda?“
a. u posljednjih 1-3 mjeseca:_________________
b. u posljednjih 4-6 mjeseci: ________________
c. u posljednjih 6-9 mjeseci:_________________
d. u posljednjih 10-12 mjeseci:_______________
e. u posljednjih 12-24 mjeseci: _______________
Slabo formulirana pitanja mogu frustrirati ispitanike, uzrokujući da nagađaju
oko odgovora ili čak da odbace anketu. Pošto se slabo konstruirana pitanja ne
mogu iskoristiti u analizi, pitanja je potrebno dobro napisati. Evaluatori stoga
trebaju ostaviti dovoljno vremena za pregled i predtestiranje ankete.
Tajnost i anonimnost treba osigurati i zaštititi. Tajnost je etički princip koji
informaciju štiti i pristup je dozvoljen samo onima koji su ovlašteni. Anoni-
mnost znači da lični identitet ili lične informacije osobe neće biti dijeljene. Mnogi
evaluatori uključuju izjave kao što je: „Vaši odgovori će se tretirati u tajnosti, sve
vrijeme podaci će biti predstavljeni na način da se vaš identitet ne može povezati
sa određenim objavljenim podacima“ (Burgess 2001).
Redoslijed pitanja. Raspoređivanje pitanja u sljedeći raspored može poboljšati

šanse da se anketa ispuni:
• Početi pitanjima koja su od interesa za ispitanika;
• Tok pitanja održavati logičnim redom i izbjegavati kompleksna razgranavanja;
• Grupirati slična ili srodna pitanja, pokušati uspostaviti logički slijed pitanja
(Burgess 2001);
• Početi lahkim i interesantnim ka težim i nelagodnim, od općih ka specifičnim
(Jackson i Agrawal 2007);
• Postaviti pitanja hronološkim redom (Jackson i Agrawal 2007);
• Važna pitanja postaviti dvije trećine od početka ankete, zato što neki ispitanici
možda neće završiti anketu (Jackson i Agrawal 2007);
• Lična ili povjerljiva pitanja postaviti na kraj ankete – ako ih postavimo na
početak, neki ispitanici možda neće nastaviti (Frary 1996);
• Napraviti prioritet pitanja i razmotriti izostavljanje pitanja niskog prioriteta
(Jackson i Agrawal 2007).
Jackson i Agrawal (2007) sugeriraju da većina anketa koje se rade samo-

stalno ne treba prelaziti jednu stranicu. Za ispitanike sa univerzitetskim
obrazovanjem,anketa može biti na dvije stranice.

Odabir izgleda za anketu. Izgled printane ankete zaslužuje pažnju:
• Anketa treba imati naslov i datum verzije;

• Ne treba biti pretrpana i treba biti bez nepotrebnih zaglavlja;
• Treba sadržavati kontakt i informacije o vraćanju ankete;
• Treba sadržavati kratku uvodnu izjavu (u slučaju da je popratno pismo izgu-
bljeno koja ukazuje na svrhu ankete i objašnjava kako da se koristi;
• Pitanja i izbor odgovora trebaju biti formatirani i formulirani konzistentno.
Svako pitanje treba biti numerirano;
• Anketa treba sadržavati instrukcije kako odgovarati na pitanja. Instrukcije tre-
baju ukazivati koliko odgovora se može odabrati (samo jedno ili sva) i kako
ukazati na odabir pitanja (označite kvadratić, zaokružite odgovor, napišite
kratak odgovor) (Burgess 2001).
Jackson i Agrawal (2007) sugeriraju postavljanje kvadratića za označavanje

ili redova za odgovore, sa dovoljno prostora između tako da evaluator može
identificirati koji je odabir napravljen. Također, razmatraju važnost profesiona-
lnog izgleda ankete.
Popratno pismo treba biti uz anketu. Ovo pismo identificira sponzora i
učesnicima daje informaciju o svrsi upitnika. Jackson i Agrawal (2007) sugeriraju
da popratno pismo identificira sljedeće:
• Svrha ankete (i zašto je u interesu ispitanika da je uradi);

• Na koji način je osoba odabrana za anketu;
• Kako će se podaci koristiti;
• Hoće li anonimnost biti zadržana;
• Vrijeme potrebno da se uradi anketa;
• Eventualni poticaji;
• Kontakt informacije za više informacija ili za objašnjenja.
Ako je anketa poslana poštom, treba osigurati kovertu sa povratnom adresom i

markicom ili uspostaviti neku drugu proceduru za vraćanje ankete.
Pregled, prevođenje i pilot testiranje pitanja

Proces razvoja ankete je iterativan. Kada se uradi početna verzija, zainteresirane
strane trebaju taj nacrt pažljivo pregledati. Tokom tog pregleda trebaju praviti
bilješke i razmijeniti kritike i prijedloge. Zatim se radi revizija ankete. Ovaj pro-
ces nekad može biti potrebno ponavljati nekoliko puta prije nego anketa bude
spremna za pilot testiranje.
Gdje je potrebno više od jednog jezika da se prikupe podaci, anketa se mora
prevesti. Oni koji su odgovorni za anketu moraju se uvjeriti da su instrumenti
tačno prevedeni. Kada se prevodi anketa, obučena osoba koja poznaje oba jezika

i upoznata je sa predmetom upitnika treba uraditi prvi prijevod (vidjeti Beh-
ling i Law 2000). Kada je anketa prevedena na lokalni jezik, druga osoba je
treba ponovo prevesti na original. Ovim procesom se provjeravaju praznine ili
pogrešno razumijevanje onoga što je prevedeno. Ovo je jedini način da se osigura
tačan prijevod. Nedostatak slaganja o svim dijelovima ankete treba poravnati
prije nego se može uraditi pilot testiranje.
U većini slučajeva ankete su printane samo na zvaničnom jeziku zemlje, a
timovi sa vještinom komuniciranja na lokalnim jezicima se koriste za priku-
pljanje podataka. U ovim slučajevima nekoliko ključnih pitanja ili fraza se pre-
vede na lokalne jezike i predstavi u anketi. Lokalni prevodioci mogu biti potrebni
da anketiraju ispitanike koji govore druge jezike.
Anketna pitanja uvijek treba formulirati jednostavnim terminima na jeziku
koji se najviše govori. Pitanja ne bi trebalo pisati akademskim ili formalnim
jezičkim stilom. U lokalnim jezicima razlika između govornog i pisanog jezika i
teškoća balansiranja jednostavnosti i preciznosti može biti velika. Ovo je posebno
tačno za jezike koji se obično ne koriste u pisanju.
Kada se anketa usaglasi, treba je testirati na terenu ili izvršiti pilot testiranje sa
malim brojem učesnika. Prema rezultatima testa na terenu, vjerovatno će trebati
uraditi dodatne revizije. Ako prvi test na terenu sugerira mnoge promjene, bit će
potrebno uradti još jedan test na terenu kojim će se pokriti nešto ili čitava anketa,
posebno ako postoje problemi sa višestrukim prijevodima.
Za sve ankete i intervjue veoma je bitno testiranje na terenu ili pilot testiranje
(predtestiranje) instrumenata prikupljanja podataka u ranoj fazi. Ovo znači tražiti
od malog ali reprezentativnog uzorka potencijalnih ispitanika da urade anketu i
označe područja gdje je potrebno nešto dodatno razjasniti. Korisna strategija je
da se sjedne sa ispitanicima i uradi anketa te da se naglas daju objašnjenja dok
se popunjava anketa. Ovom vježbom se stiče uvid u to kako potencijalni ispi-
tanici interpretiraju pitanja. Često stvari koje smatramo kristalno jasnim ispadnu
zbunjujuće ili nejasne na način koji nikad nismo predvidjeli. Ako ispitanici
pogrešno razumiju pitanja, evaluatori ga trebaju izmijeniti i ponovo testirati prije
nego implementiraju instrument.
Cilj testiranja na terenu je osigurati da je anketa u stanju prikupiti informacije
koje se njom namjeravaju prikupiti. Dobar pilot test će anketu posmatrati na tri
nivoa:
• Kao cjelinu: Jesu li svi dijelovi ankete konzistentni? Ima li područja gdje se
postavljaju ista pitanja?
• Svaku sekciju: Ako anketa ima više sekcija, da li informacija koja se traži u
svakoj sekciji prikuplja potrebne podatke? Jesu li glavne aktivnosti uzete u
obzir? Postoje li neka pitanja koja nisu relevantna?

• Pojedinačna pitanja: Je li jezik jasan? Omogućavaju li pitanja nejasne odgo-
vore? Postoje li alternativne interpretacije?
Kada se provodi test na terenu ili pilot test, važno je testirati anketu među
ljudima iz različitih područja i svih glavnih jezika i društveno-ekonomskih
grupa. Ovo može uključivati ruralne i urbane stanovnike, ljude zaposlene
u formalnom i neformalnom sektoru i ljude koji govore sve ključne jezičke
grupe.
Ako se pilot test provodi samo na jednom jeziku, obično je potrebna jedna
sedmica da se završi. Ako se konačna anketa provodi na više od jednog jezika,
trebat će više vremena nego za pilot, zato što verziju na svakom jeziku treba
testirati na terenu.
Na kraju pilot testa treba odvojiti jednu ili dvije sedmice da se pregledaju
rezultati.
Tim koji radi test na terenu se treba sastati i raspraviti i složiti se o potre-
bnim promjenama. U tipičnoj anketi velikih razmjera rade se tri ciklusa pilot
testiranja.
Tekstualni okviri 8.8 i 8.9 nude smjernice za provođenje anketa. U prvom
je naglašen administrativni proces. U drugom se fokusira na pisanje dobrih
pitanja.
■■ Kartice
Kartice građana građana:
Kartice građana, ponekad nazivane kartice ocjena građana, vrsta je ankete koja Vrsta ankete
kojom se mjeri
mjeri učinak javnih službi. Sve više se koriste u razvoju. U Bangaloreu, Indija, na
učinak javnih
primjer, grupa građana ih koristi da ukaže na probleme sa javnim službama (Paul službi
i Thampi 2008). Kartice građana se već mnogo godina koriste u Americi da se
ocijeni učinak javnih agencija.

Tekstualni okvir 8.8 Opće smjernice za provođenje anketa
Ono što slijedi su opće smjernice za provođenje anketa:
• Da budu jednostavne, jasne, lahke i kratke;

• Locirati ljude koji su provodili vrstu evaluacije za koju ste zainteresirani.
Naći i proučiti ankete slične onoj koju mislite da hoćete provesti;
• Uvjeriti se da ljudi znaju zašto od njih tražite da učestvuju (ali na način koji
neće izazvati pristrasne odgovore);
• Postavljati pitanja na koja je lahko odgovoriti i ne frustrirati želju ispitanika
da bude jasan;
• Ne tražiti od ispitanika informaciju koja od njega zahtijeva da ide po fajl ili
drugi izvor. Ako to morate uraditi, potrebno je da ih unaprijed obavijestite
tako da se materijal može prikupiti prije nego se anketa počne provoditi;
• Poštujte privatnost ispitanika. Ankete tretirajte povjerljivo, imati procedure
za osiguranje privatnosti. Nikada ne obećavajte tajnost ako je ne možete
ostvariti;
• Poštujte vrijeme i inteligenciju ispitanika;
• Recite ispitanicima kako su odabrani i zašto je njihovo učešće važno;
• Ne činite štetu: odgovore čuvajte povjerljivo. U izvještaju koristite skupne
odgovore. Podacima dodijelite identifikacioni broj i uništite vezu sa imenom
osobe;
• Recite ispitaniku hoće li dobiti kopiju završnog izvještaja koji je koristio rezu-
ltate upitnika.
Izvor: Autori.
Tekstualni okvir 8.9 Savjeti za pisanje upitnika

Sljedeći savjeti mogu pomoći evaluatorima pri pisanju upitnika:
1. Ako je moguće, koristite postojeće upitnike kao vodić. Modificirajte po

potrebi da odgovara vašoj situaciji. Lakše je modificirati nego praviti novu
ispočetka.
2. Pratite sljedeće osnovne smjernice:
• Koristite jednostavan, jasan jezik odgovarajući za ispitanike.
• Postavljajte jedno po jedno pitanje, na primjer: „ u kojem obimu, ako je
uopće materijal jasan“ a ne „U kojem obimu, ako je uopće materijal
jasan i koristan“ (ako je materijal jasan ali nije koristan, ne postoji
način da osoba da tačan odgovor.)

• Pitanja pišite tako da svi ispitanici osjećaju da su njihovi odgovori prihva-
tljivi. Pitanja počinjite davanjem opsega: „U kojem obimu, ako ikako“,
ili „Koliko važno ili koliko nevažno je.“
• Osigurajte odgovarajuće kategorije odgovora koje su uzajamno
isključive. Ako pitate o starosnim grupama, napravite kategorije;
20-30, 31-40, 41-50 a ne 20-30, 30-40, 40-50.
• Kada je to moguće, napišite pitanja tako da odgovori idu od nega-
tivnog ka pozitivnom:
U kojem obimu, ako je uopće, bilo.... Veoma nekorisno <... > Veoma
korisno.”
• Izbjegavajte da/ne odgovore kada odgovor nije dihotoman. Umjesto

toga pokušajte obuhvatiti opseg stavova pitajući ispitanike da odgo-
varaju po skali. Na primjer, ponudite skalu od pet tačaka koja ide od „u
malom ili bez ikakvog obima“ do „veoma velikog obima.“
• Izbjegavajte apsolutnosti na bilo kojem kraju skale (mali broj ljudi ima
apsolutno mišljenje o bilo čemu). Omekšajte krajeve koristeći „uvijek
ili gotovo uvijek“ na jednom kraju skale i „nikada ili gotovo nikada“ na
drugom kraju skale.
• Postavljajte pitanja o trenutnoj situaciji. Memorija vremenom slabi. Osta-
viti izlaze (koristite „nema osnova za ocjenu“ i „nemam stav“ kategorije).
Ako ne ponudite izlaz, ispitanici mogu davati besmislene odgovore.
• Izbjegavajte upotrebu dvostrukih negacija.
3. Anketu napravite lahkom za ispunjavanje. Napravite kvadratiće koji se
označavaju. Pružite dovoljno instrukcija tako da ispitanici znaju šta raditi:
naznačite „označiti samo jedno“ ili „označite sve za koje smatrate da
važe“ kada to odgovara.
4. Prvo postavljajte opća pitanja, zatim određenija pitanja, zatim jedno ili dva otvo-
rena pitanja, kao što su „komentari ili bilo šta drugo što bismo trebali znati?“
5. Pitajte samo o demografskim informacijama koje ćete koristiti. Imajte
osjećaj da neki ljudi mogu biti identificirani po demografiji. Demografska
pitanja postavljajte pri kraju ankete.
6. Neka nacrt pitanja pregledaju stručnjaci.
7. Ako pitanja treba prevesti, uradite to, a zatim uradite povratni prijevod na
originalni jezik da bi se provjerio prijevod.
8. Predtestirajte, predtestirajte, predtestirajte! Neka tipični ispitanici odgo-
vore na pitanja a ne samo da ih čitaju. Zatim prođite sva pitanja da dobi-
jete povratne informacije. Je li svako pitanje jasno? Jesu li razumjeli šta
se pita? Postoje li nepoznate riječi ili nejasne fraze? Postoji li bolji način
da se postavi svako pitanje?
Izvor: Autori.

Kartice građana se koriste da se:
• Prikupe povratne informacije građana o javnim službama od stvarnih
korisnika usluga
• procijeni učinak pojedinih vršilaca usluga ili da se poredi učinak po vršiocima
• izradi baza podataka povratnih informacija o uslugama koje se zatim mogu
postaviti na javnu domenu (ADB and ADBI 2004).
Tabela 8.11 prikazuje primjer kartica građana o ukupnom zadovoljstvu u vezi
sa uslugama.
Izvještaji građana prikupljaju povratne informacije o sljedećim faktorima:
• dostupnost usluge;
• pristup usluzi;
• pouzdanost usluge;
• ukupni kvalitet usluge;
• zadovoljstvo uslugom;
• reakcija vršilaca usluga;
• prikriveni troškovi;
• korupcija i sistemi podrške i
• volja za plaćanjem (World Bank 2006).
Kartice građana se mogu koristiti na više načina (Tabela 8.12). Također se
mogu provoditi na raznim nivoima vlade.
Tabela 8.13 sumira prednosti i izazove kartica građana za prikupljanje
podataka.
Intervjui
Intervju je dijalog između obučenog anketara i osobe koju se intervjuira. Cilj je
dobiti informacije koje se mogu koristiti da se odgovori na evaluaciono pitanje
(Tekstualni okvir 8.10). Kvalitet informacija koje su prikupljene uveliko zavisi od
Tabela 8.11 Rezultati kartica građana o zadovoljstvu

uslugama infrastrukture
Broj korisnika
među Procenat Procenat
ispitanicima zadovoljnih nezadovoljnih
Agencija (u hiljadama) korisnika korisnika
Struja 1.024 43 15
Voda 775 41 19
Telefon 203 87 12
Policija 98 45 36
Izvor: Autori.

Tabela 8.12 Upotrebe kartica građana
Vrsta studije ili projekta Primjer
Studije zadovoljstva urbanim Sedam indijskih gradova; Kampala,
studijama usluga Uganda
Studije zadovoljstva u provinciji i Indija, Filipini, Uganda
državi vršenjem usluga
Studije sektora Javne bolnice u Bangaloreu, Indija
Evaluacije programa Sigurnost ruralne hrane u Tami Nadu,
ruralni vodovod i sanitacija u Maharashtra,
Indija
Projekti reforme uprave Bangladeš, Peru, Filipini, Šri Lanka,
Ukrajina, Vijetnam
Tabela 8.13 Prednosti i izazovi kartica

građana za prikupljanje podataka
Prednosti • Osiguranje sumarnih povratnih informacija o učinku
• Strukturirane su za jednostavnu komunikaciju
• Pomažu u smanjenju pristrasnosti kod prikupljanja podataka
Izazovi • Zahtijevaju kapacitet za razumijevanje ove vrste procjene
• Ograničene su za poređenje po uslugama
• Potreban veliki uzorak za heterogenu populaciju za usluge koje
koristi mali procenat populacije
• Nedostatak predvidivosti o tome kako će reagirati vladini
zvaničnici
Izvor: Autori.
vještine i ličnosti anketara (Lofl and and Lofl and 1995). Ključ za dobar intervju
je dobro slušati i dobro postavljati pitanja.
Svaka kultura ima vlastite vrijednosti i običaje: pitanje ili gesta mogu uvrije-
diti ljude u jednoj kulturi a u drugoj opet ne. Kulturna kompetencija je stoga
nešto što anketar mora imati, mora obratiti pažnju na reakciju ispitanika tokom
intervjua da se uvjeri da ga nije nehotično uvrijedio (Tekstualni okvir 8.11).
Dok radi sa ljudima iz svih kultura, anketar mora imati na umu sljedeće:
• Svaka osoba cijeni kad se tretira sa poštovanjem;
• Čak i ljudi koji dolaze iz kultura poznatih po samopožrtvovanju i jednoo-
braznom razmišljanju imaju osjećaj vlastite vrijednosti i cijene kad ih se tretira
kao pojedince;
• Svaka osoba cijeni osjećaj ako njeno mišljenje vama nešto znači;

Tekstualni okvir 8.10 Savjeti za vođenje intervjua
Sljedeći savjeti mogu pomoći evaluatoru da vodi inervju:
1. Upoznaj ispitanike:
• koja je svrha i vremenski raspored studije;
• zašto ih se intervjuira;
• kako su odabrani;
• kako će se podaci koristiti;
• je li intervju povjerljiv;
• koliko će intervju trajati;
• koji je sadržaj intervjua (unaprijed podijeliti pitanja);
• hoćete li htjeti ponovo razgovarati s njima;
• hoće li dobiti primjerak konačnog izvještaja i
• hoće li sažetak vaših bilješki biti dostupan ako to žele.
2. Pokušajte odabrati vrijeme i mjesto kad je tiho i neće biti ometanja.
3. Idealno bi bilo imati još jednu osobu koja će praviti bilješke.
4. Razmotrite snimanje intervjua. Ako to namjeravate raditi, pitajte ispitanika za dozvolu prije
snimanja.
5. Držite se vaše skripte. Ako postavljate zatvorena pitanja, postavljajte ih tačno onako kako su
napisana. Ako postavljate otvorena pitanja, „pustite da vas situacija vodi“ a ne da je vi uvijek
usmjeravate.
6. Budite svjesni kulturnih normi, kao što je vizuelni kontakt, direktna pitanja i pitanja spolova;
7. Održavajate balans: ako ispitanike pitate o tome šta misle da je glavna podrška projektu, na
primjer, neka sljedeće pitanje bude šta misle da su glavne prepreke.
8. Pokušavajte izbjegavati „zašto“ pitanja, ako se na to gleda kao agresivno ili kritično.
9. Sve što ispitanik kaže prihvatite suosjećajno i bez osude.
10. Pravite dobre bilješke a da ne ometate konverzaciju:
• održavajte kontakt očima dok pišete;
• pišite ključne riječi ili fraze, ne doslovni zapis intervjua i
• ako ispitanik govori nešto što hoćete zabilježiti, tražite da vam osoba to ponovi ili završite
pisanje prije nego postavite sljedeće pitanje;
• Ako ispitanik kaže nešto što se može citirati, pitajte možete li koristiti njegove doslovne riječi.
11. Napišite intervju:
• Imajte na umu da je svaka riječ i ideja potencijalno vrijedna;
• Odvojite vrijeme da vaše bilješke pišete što pažljivije i što je detaljnije moguće;
• Uradite barem kratko čišćenje bilješki odmah nakon intervjua (ostaviti dovoljno vremena
između intervjua) i
• Napišite pune bilješke u danu intervjua.
12. U osjetljivim situacijama, razmotrite razmjenu bilješki sa ispitanikom da se prisjetite odgovora
i usaglasite o rečenom.
Izvor: Autori.

Tekstualni okvir 8.11 Savjeti za provođenje intervjua u raznim
kulturama
Sljedeći savjeti mogu pomoći evaluatorima da vrše intervjue u razvojnom
okruženju:
1. Prije svakog intervjua naučite nešto o kulturi osobe koju ćete

intervjuirati.
2. Razmotrite tehnike intervjua sa nekim ko poznaje kulturu ili uzmite ispi-
tanika iz iste kulture za intervju.
3. Saznajte što je više moguće o kulturnim karakteristika kao što su:
• koliko prostora treba ostaviti između sebe i ispitanika;
• koliko dugo možete gledati u oči ispitanika;
• značaj glasovnih modulacija, pokreta glavom i drugih vrsta govora tijela
tokom konverzacije;
• odgovarajući način oblačenja;
• odgovarajući oblik pozdravljanja i
• uloge spolova;
Pitanja spolova su posebno važna. U nekim kulturama, na primjer, bilo bi

neprikladno za muškog anketara da bude sam u sobi sa ženom ispitanikom.
U određenim kulturama muškarci se mogu povući u sebe ako ih intervjuira
žena. Koristeći anketare istog spola ili imati prisutnog svjedoka suprotnog
spola je neophodna procedura u takvim situacijama.
Tabela 8.14 sumira prednosti i izazove intervjua
Tabela 8.14 Prednosti i izazovi Intervjua

Prednosti • Mogu biti strukturirani, polustrukturirani, nestrukturirani ili
kombinirani, ali su obično polustrukturirani;
• Mogu detaljno istražiti kompleksna pitanja;
• Greške se mogu oprostiti: nejasna pitanja se mogu razjasniti
tokom intervjua te promijeniti za sljedeći intervju;
• Mogu trajati sat ili više, ovisno o važnosti i interesu;
• Mogu evaluatoru pružiti intuitivni osjećaj situacije;
Izazovi • Mogu biti skupi, naporni i uzeti puno vremena;
• Mogu ne ukazivati zašto različiti ljudi imaju različita stanovišta;
• Kao rezultat selektivnog slušanja anketari mogu propustiti
informacije koje se ne slažu sa prethodnim uvjerenjem;
• Zahtijeva kulturnu osjetljivost, posebno u vezi sa pitanjem
spolova.
Izvor Autori.

Stope odziva
■■ Stopa odziva: Stopa odziva je procenat ljudi koji su uistinu učestvovali podijeljen sa ukupnim
Procenat ljudi brojem ljudi od kojih se tražilo da učestvuju. Dobra evaluacija osigurava mnogo
koji je ljudi (ili jedinica, kao što su organizacije) koje se anketira; broj onih koji su se
učestvovao u
odazvali; stopa odziva; i opis napora učinjenih da se ta stopa poveća (telefonski
istraživanju
podijeljen sa pozivi, pisma).
ukupnim brojem Niska stopa odziva može sugerirati pristrasan uzorak. Ovo je problem zato što
ljudi od kojih se ljudi koji odaberu da učestvuju mogu biti drugačiji od onih koji odaberu da ne
to tražilo učestvuju. Recimo na primjer, organizacija provodi istraživanje o stavu svih upo-
slenika, ali se samo 30 posto odazove. Ako je većina nezadovoljnih uposlenika
odlučila uraditi anketu a oni koji su zadovoljni nisu, podaci neće otkriti stavove
svih tipova uposlenika. Bila bi greška donositi odluke na osnovu ovih rezultata
bez prikupljanja još informacija o tome ko se odazvao a ko ne. Ankete sa stopom
odziva ispod 70 procenata ne treba uzimati u obzir ukoliko evaluator nije ana-
lizirao pristrasnost odziva i demonstrirao validnost ankete (Jackson i Agrawal
2007).
Evaluator može gledati demografiju ispitanika da vidi podudara li se sa
većinom populacije u smislu onih karakteristika kao što su starost i spol. Ako se
podudaraju, evaluator može nastaviti, ali samo sa odgovarajućom kvalifikacijom
rezultata. U nekim slučajevima evaluator može nastaviti direktno sa nekim od
onih koji se nisu odazvali da ustanovi postoji li obrazac. Ako se demografija onih
koji su se odazvali razlikuje od demografije onih koji nisu, rezultati ankete se
moraju kvalificirati na odgovarajući način. Evaluatori moraju izvijestiti o takvim
analizama onih koji se nisu odazvali i kako to potencijalno utječe na nalaze.
Rezultati anketa sa niskom stopom odziva se moraju uvijek saopćiti i navesti

broj ispitanika, imajući na umu da ovi rezultati mogu ili ne mogu tačno odslika-
vati situaciju u većoj grupi. To jest, podatke treba izraziti kao „od 87 ispitanika“
ili „75 procenata (N=60) od ispitanika ankete izjasnilo se... „ Procente ne treba
■■ Fokusna
koristiti ako je ukupan broj onih kojima je anketa poslana manji od 50. Proporcija
grupa:
Metodologija kao što je „75 procenata onih koji su se odazvali“ kada se primijeni na ukupan
kvalitativne broj od 45 ispitanika je prilično različito od 75 procenata od 3.000 ispitanika.
evaluacije u
kojoj se okupi
mala grupa ljudi Alat 5: Fokusna grupa
da raspravlja o
određenim Fokusna grupa je metodologija kvalitativne evaluacije u kojoj se okupe male
temama pod grupe ljudi da raspravljaju o određenim pitanjima pod vodstvom moderatora.
vodstvom Struktura fokusne grupe može izgledati neformalno, ali, ustvari, koristi se skripta
moderatora koja uključuje set otvorenih pitanja. Obučen moderator vodi diskusiju i istražuje
ili postavlja dodatna pitanja kako to nalaže situacija.

Grupni proces
U grupnom procesu se može dobiti više informacija nego iz pojedinačnih
intervjua, zato što ljudi izražavaju drugačija gledišta i ulaze u dijalog jedni sa dru-
gima. Ali fokusna grupa nije jednostavan grupni intervju. Moderator vodi dijalog
i istražuje rezone i osjećanja članova grupe. Konverzacija je često nelinearna;
učesnici mogu iznositi informacije ili različite perspektive u bilo koje vrijeme.
Fokusna grupa se koristi za prikupljanje podataka o sljedećem:
• interakcija grupe;
• kompleksnosti resursa;
• „kako“ i „zašto“ a ne „da li“ i „koliko“;
• kontekstualni odgovori, a ne da/ne odgovori;
• neposredne povratne informacije;
• kompleksnost ponašanja i motivacija;
• intenzitet mišljenja i
• stavovi o osjetljivim pitanjima (Billson i London 2004).
Može se koristiti za triangulaciju metoda. Također je korisna kada ispitanici
nisu komforni sa „papir i olovka“ metodima.
Fokusne grupe se ne trebaju koristiti za prikupljanje statističkih podataka.
Također su neprikladne gdje:
• su jezičke barijere nepremostive;
• evaluator ima malo kontrole nad grupom;
• se povjerenje ne može uspostaviti;
• se slobodno izražavanje ne može osigurati i
• gdje je povjerljivost kritična (Billson 2004).
Fokusna grupa obično uključuje 6-12 ljudi. Sastav grupe zavisi od svrhe.
Većina grupa je homogena, uključujući ljude sličnog statusa (nastavnici u
jednoj grupi, učenici u drugoj; supervizori u jednoj grupi, uposlenici u drugoj).
Ko treba a ko ne treba biti u istoj fokusnoj grupi zavisi od situacije i kulture.
Odabir učesnika ne smije rezultate evaluacije učiniti pristrasnim ni na koji
predvidiv način. Ne treba previdjeti ni jednu kategoriju potencijalnih učesnika
ako se može očekivati da njihovi odgovori promijene ili prošire rezultate. U
ovom slučaju potencijalne dodatne grupe od značaja, potrebno je održati još
jednu fokusnu grupu.
Fokusna grupa treba osigurati:
• ugodno, sigurno okruženje (osnovno);

• osvježenje (osnovno);
• novčani poticaj (po izboru);
• prijevoz ili brigu o djeci (po izboru);

• obučenog moderatora (osnovno) i
• zapisničara (po izboru).
Sesije se snimaju, a idealno bi bili da se svaki stenografski izvještaj pripremi

za svaku sesiju. Fokusna grupa počinje jasnim objašnjenjem:
• šta je svrha fokusne grupe

• zašto su važni stavovi učesnika
• kako su učesnici odabrani
• šta je to fokus grupa
• koja su pravila procesa, uključujući ključno pravilo: šta se kaže u sobi ostaje u
sobi.
Moderator vodi proces, drži grupu fokusiranom i osigurava da svi učesnici

imaju priliku iskazati svoje mišljenje i da nekolicina ljudi ne dominira konve-
rzacijom. Moderator postavlja mali broj pitanja koristeći uputstvo posebno
razvijeno za sesiju. Sva pitanja su otvorena. Konverzacija kreće od laganih
konverzacijskih pitanja ka ozbiljnijim pitanjima. Završava sumiranjem i
završnim pitanjima koja omogućavaju da se impresije korigiraju ako je to
potrebno i zabilježe bilo kakvi dodatni komentari i ideje.
Evaluatori su odgovorni za sve aspekte fokusne grupe, uključujući:
• ko treba u njoj biti;

• koliko sesija će se održati;
• gdje će se sesije održati;
• kada će se sesije održati;
• šta pitati učesnike i
• kako analizirati i prezentirati podatke.
Tipični program fokusne grupe zahtijeva šest do osam sedmica pripreme.

Potrebno vrijeme zavisi od logističkih faktora, kompleksnosti ili urgentnosti pro-
jekta, dostupnosti onih koji donose odluke i lahkoće kojom se učesnici mogu
regrutirati.
Evaluacijska fokusna grupa najbolje radi ako se vodi na sljedeći način (Billson
2004):
• Korak 1: Razjašnjenje ključnih evaluacijskih pitanja. Ako klijentima i evalua-
torima nisu jasna ključna pitanja na koja fokusna grupa treba odgovoriti, čitav
proces će biti frustrirajući;
• Korak 2: Dizajniranje evaluacionog pristupa. Koristeći svrhu evaluacije
i ključna pitanja dizajnirati opći pristup i tok tema da se dođe do ključnih
pitanja;

• Korak 3: Razviti vodič za moderatora koji mora uključivati sve od potre-
bnih protokola (strukturu ili kodeks ponašanja) za evaluaciju bez pristrasnih
odgovora, ali da grupu usmjerava prema ključnim pitanjima;
• Korak 4: Regrutiranje učesnika;
• Korak 5: Odrediti tehnike moderacije. Identificirati i koristiti dobre tehnike
moderacije tokom sesija fokusne grupe;
• Korak 6: Ispitati posmatrače, evaluatore i klijente i zabilježiti dodatne info-
rmacije. Odmah nakon svake fokusne grupe, kada imamo tek dobivene
podatke, razmijeniti uvide stečene tokom fokusne grupe sa klijentima i dru-
gim zainteresiranim stranama. Zabilježiti dodatne informacije o kojima
nije otvoreno diskutirano (impresije, zaključke i tako dalje) za upotrebu u
sljedećem koraku;
• Korak 7: Analizirati podatke. Ako je fokusna grupa dobro radila, proizvest će
planinu riječi i ideja. Ovi kvalitativni podaci zahtijevaju posebne analitičke
tehnike, posebno analizu sadržaja (vidjeti Poglavlje 10) i
• Korak 8: Predstaviti nalaze. Izvijestiti o nalazima na način koji je smislen i
koristan drugima, posebno klijentu. Koristiti audio pisane ili video formate ili
kombinaciju bilo kojeg od njih.
Sesije fokusne grupe normalno traju jedan do dva sata. Za većinu projekata
100 minuta omogućava vrijeme da se prati svaka glavna linija ispitivanja bez
iscrpljivanja ili dosađivanja učesnika ili moderatora (Billson 2004). Fokusna
grupa ne treba biti previše učestala. Dvije ili tri sesije fokusne grupe u jednom
danu su maksimum koji moderator može izdržati.
Fokusna grupa treba biti održavana u neutralnom okruženju, ako je moguće.
Lokacija također treba biti lahko dostupna. Obično, učesnici sjede oko stola ili na
stolicama poredanim u krug da bi se omogućila konverzacija među učesnicima.
Moguće je da nekoliko posmatrača bude prisutno u sobi dok se održava fokusna
grupa. Na početku ih treba predstaviti i objasniti razlog njihovog prisustva.
Audio ili video rekorderi su ekstremno korisni za osiguranje tačnog transkripta
sesije. Većina učesnika brzo zaboravi da ih se snima. Ako sesija nije snimana, dva
zapisničara trebaju biti prisutna da dokumentiraju sesiju. Bilježenje na laptopu
može ubrzati analizu početnih podataka i pisanje izvještaja. Moderator ne treba
praviti bilješke.
Ne postoji fiksno pravilo o tome kako se vode fokusne grupne sesije. Opće je
pravilo voditi ih sve dok se teme ne počnu ponavljati ili se više ne pojavljuju nove
informacije. Ovo se obično desi nakon tri do šest sati sesija. Može koristiti ako se
postave temeljni setovi pitanja svakoj fokusnoj grupi a zatim različita pitanja koja
su ekstenzivnija onda kada postane jasno da su teme konzistentne. Evaluatori

se trebaju međusobno konsultirati nakon svake sesije tako da se mogu donijeti
odluke o prilagođavanju protokolu u sljedećoj sesiji.
Dnevne aktivnosti učesnika treba razmotriti: evaluatori moraju imati osjećaja
za vrijeme učesnika, uključujući vrijeme prijevoza; učešće u sesiji može trajati
pola dana ili više. Fokusna grupa planirana u kasno poslijepodne može ometati
pripremu večere, ograničavajući tako broj ljudi koji su voljni učestvovati.
Fokusna grupa zahtijeva znatne pripreme i vrijeme potrebno za realizaciju.
Tekstualni okvir 8.12 nudi savjete za pisanje pitanja za fokusne grupe.
Sesija fokusne grupe se može podijeliti na četiri različite faze. Ovi i koraci u
svakoj fazi su prikazani u Tabeli 8.15.
Tekstualni okvir 8.12 Savjeti za dizajniranje pitanja za fokusnu grupu

Sljedeći savjeti mogu pomoći evaluatorima da dobiju najviše od sesije fokusne grupe:
• Prvo razmisliti o informacijama prikupljenim od fokusne
Lijevak protokola
grupe koje će se koristiti; Uvjeriti se da će sva pitanja
voditi direktno ili indirektno ka upotrebljivim
informacijama;
• Izbjegavati nejasno, zbunjujuće formuliranje; Široka konceptualizacija
• Postavljati jedno po jedno pitanje; Ključna evaluacijska
pitanja
• Postavljati otvorena pitanja; Opća pitanja
• Izbjegavati pretpostavke koje vode ili zavode; Određena
• Izbjegavati pitanja koja uvode pristrasnost, iskrivljujući pitanja
odgovore;
• Izbjegavati pružanje alternativnih odgovora;
• Učiniti interesantnim. Mehanička pitanja proizvode mehaničke
odgovore;
• Koristiti „lijevak protokola“ koji počinje pitanjima o širim
konceptualnim temama a završava sondirajućim pitanjima.
Izvor: Billson 2004: 29.

Tabela 8.15 Četiri faze fokus grupe i aktivnosti moderatora
Faza Aktivnosti
I Preambula ili Moderator opušta učesnike tako što počinje postavljati pitanja.
otvaranje Moderator objašnjava svrhu fokus grupe.
Moderator objašnjava glavna pravila.
Svako u sobi se predstavlja.
II Uvod i Iskustva i uloge učesnika u vezi sa temom.
zagrijavanje Moderator stimulira interakciju u grupi i razmišljanje o temi.
Moderator počinje najmanje opasnim i jednostavnim pitanjima.
III Glavna ili Moderator ide prema opasnijim ili osjetljivim i kompleksnim pitanjima.
grupna Moderator izmamljuje dublje odgovore.
diskusija
Nastali podaci se povezuju da se izradi kompleksna, integrirana osnova za analizu.
Šire sudjelovanje je osigurano.
IV Zatvaranje Moderator završava tipom pitanja kojima se zatvara sesija.
Moderator sumira i precizira ključne teme.
Moderator predstavlja teorije, impresije i traži reakciju, potvrdu ili klasifikaciju i
korekciju od članova grupe.
Moderator poziva učesnike da iznesu finalne komentare ili spoznaje („ključne
naučene lekcije“) plus „zadnje misli“, bilo šta što je propušteno i bilo šta što bi
učesnici htjeli da evaluacioni tim zna.
Moderator zahvaljuje učesnicima i dijeli, ukoliko je obećano nešto u vidu poticaja.
Izvor: Autori.
Tekstualni okvir 8.13 Primjeri pitanja u fokus grupi

Sljedeća skripta može koristiti pri modeliranju pitanja koja se postavljaju
tokom fokusne grupe.
Uvod: Počnimo predstavljanjem. Molim da spomenete vašu titulu i gdje

radite, kao i prirodu vašeg iskustva sa uslugama iz ovog programa
zdravstvene klinike, uključujući i to zašto ste išli tamo.
O percepcijama: Kritike besplatnih programa zdravstvenih klinika kažu da
one pružaju njegu niskog kvaliteta. Kakvo je vaše iskustvo sa uslugama u
besplatnim klinikama?
O upravi: Posljednja istraživanja sugeriraju da trenutni budžet u distrikti-
ma ne dospijeva do lokalnih klinika. Koja je vaša procjena ovih problema
na osnovu vaših iskustava sa uslugama u klinici?
Izvor: Prilagođeno od Billson 2004.

Tabela 8.16 Prednosti i izazovi fokusnih grupa
Prednosti Mogu se provesti relativno brzo i lahko;
Zahtijevaju manje osoblja, vremena i detaljnih, ponaosobnih
intervjua;
Omogućava fleksibilnost za pravljenje promjena u procesu i
pitanjima;
Mogu istražiti različite perspektive;
Mogu biti zabavne učesnicima;
Izazovi Analiza zahtijeva puno vremena;
Može se desiti da učesnici nisu predstavnici populacije i tako
omogućiti pristrasnost podataka;
Moderator ili dominantni članovi grupe mogu utjecati na grupu.
Izvor: Autori.
Pitanja fokusne grupe u Tekstualnom okviru 8.13 su zamišljena da ilustriraju

vrstu pitanja koje evaluator može postaviti kada koristi ovaj alat.
Tabela 8.16 sumira prednosti i izazove fokusne grupe.
Alat 6: Dnevnici i subjektivne liste provjere
Još jedan metod prikupljanja podataka je upotreba dnevnika i subjektivnih lista

provjere.
■■ Dnevnik:
Pisani subjek-
Dnevnici ili žurnali
tivni izvještaj
učesnika,
Dnevnik (ili žurnal) je pisani subjektivni izvještaj učesnika, obično se vodi sva-
obično se vodi kodnevno. Dnevnici se koriste da se zabilježe detaljne informacije o događajima
svaki dan iz svakodnevnog života ljudi. Mogu se koristiti da se proučavaju takvi fenomeni
kao što su društvene mreže; zdravlje, bolesti, i srodna ponašanja; dijeta i prehrana;
rad na farmi; navike učenja; upotreba kontracepcije; i praksa dječije njege. Pored
zapisivanja aktivnosti od interesa u određenom vremenskom okviru, dnevnici
mogu uključivati karakterizaciju aktivnosti. Na primjer, pušači uključeni u pro-
gram odvikavanja od pušenja mogu pisati dnevnike da zabilježe kada imaju jaku
potrebu za pušenjem, gdje su je imali i šta su radili u to vrijeme. Ideja je da ako su
nam obrasci poznati, učesnici mogu poduzeti nešto u vezi s tim. Ako je završetak
jela okidač, mogu prekinuti obrazac tako što će brzo ustati od stola nakon jela.
Dnevnici se koriste na širem državnom nivou kao i kod manjih programa
(Stafford 2006). Dnevnici su korisni alati kao dodatak ostalim izvorima podataka
(Tabela 8.17). Vođenje dnevnika obično zahtijeva pismenost i volju da se izdvoji
vrijeme za to. U nekim slučajevima, međutim, dnevnici mogu biti u obliku liste
provjere da bi se smanjila potreba za pismenošću. Na primjer, slikovni dnevnik se

Tabela 8.17 Smjernice za korištenje dnevnika i žurnala
Radnja Detalji
Regrutiranje ljudi licem u Podstaći učešće korištenjem visoko motiviranih,
lice personalnih anketara;
Apelirati na altruizam, pomaganje;
Osigurati povjerljivost;
Osigurati poticaj za obavljanje posla;
Osigurati brošuru svakom Početi jasnim instrukcijama kako pisati dnevnik;
učesniku Uključiti primjerak urađenog dnevnika;
Uključiti kratke podsjetnike;
Objasniti sve termine, kao što su događaj ili sesija;
Na zadnjoj strani, pitanje je li ovo tipičan ili netipičan
vremenski period i za komentare ili razjašnjenja;
Uključiti kalendar, ukazati do kada treba završiti;
Razmotriti vremenski Ako je period previše dug, može postati teret ili
period za prikupljanje monotono za učesnike;
podataka Ako je period previše kratak, dnevnik može
propustiti neko ponašanje ili događaj.
Izvor: Autori.
koristi za prikupljanje podataka o potrošnji u domaćinstvu u Tanzaniji i Gambiji

(Wiseman, Conteh, i Matovu 2005).
Koji je pravi vremenski period za korištenje liste provjere? Generalno,
potrebna je najmanje jedna sedmica da se dobije dovoljno velik primjerak
ponašanja a više od mjesec je previše. Nakon toga, vođenje dnevnika postaje
monotono, a pravljenje bilješki se smanjuje.
Obično, učesnicima se daju brošure koje sadrže jasan set instrukcija kao i
primjer ispunjenog dnevnika. Svi neuobičajeni termini se objasne. Zadnja stranica
brošure sadrži pitanje pokriva li dnevnik tipični ili netipični period. Također osi-
gurava priliku za učesnike da daju komentare koji nisu u dnevnim unosima.
Subjektivna lista provjere

Subjektivna lista provjere je nešto između upitnika i dnevnika. Učesnici prate ■■ Subjektivna
određeni skup aktivnosti ili događaja koji su na listi, tako da ih mogu lahko lista
obilježiti. Liste provjere se mogu popunjavati dnevno ili sedmično ili svaki put provjere: Lista
određenog
kada se događaj ili aktivnost desi.
skupa aktivnosti
Lista provjere se može koristiti, na primjer za bilježenje vremena uzimanja ili događaja koje
tableta za malariju ili praćenje koliko puta i kada se ide po vodu. učesnik
označava ako je
potrebno

Subjektivne liste provjere su korištene u studiji o babicama u Indoneziji
(Abdallah 2002). Projekt je bio zasnovan na teoriji da su vršioci trebali pojačanje
nakon obuke u promjeni ponašanja. Cilj je bio popraviti kvalitet savjetovanja koje
babice vrše o planiranju porodice. Babice koje su učestvovale uradile su sedmicu
subjektivne procjene o određenim interpersonalnim komunikacijskim vještinama
kako bi se povećalo njihovo razumijevanje vlastitih komunikacijskih obrazaca,
kako bi ih analizirali a zatim preduzeli neke radnje da ih poboljšaju.
Subjektivne liste provjere je lakše uraditi i analizirati nego dnevnik. Izrada lista
provjere, međutim, zahtijeva da evaluator razumije situaciju veoma specifično.
Tabela 8.18 sumira prednosti i izazove dnevnika i subjektivnih lista provjere.
Alat 7: Procjena stručnjaka
Ponekad ima smisla angažirati stručnjake kao izvor informacija ili mišljenja.
Razmotrimo ulogu književnog ili filmskog kritičara. Ljudi koriste njihova
mišljenja da bi zasnovali vlastite odluke ili izbore. Vladine radne grupe su oblik
procjene stručnjaka.
Procjena stručnjaka se može pribaviti od pojedinog stručnjaka ili panela
stručnjaka. Panel stručnjaka može izvršiti pregled bolnice proveden kao dio
procesa akreditacije. Ova grupa stručnjaka posjećuje bolnicu da istraži njen pro-
gram, objekte i osoblje. Pojedinačni stručnjak (kao što je školski inspektor) može
posjećivati škole da evaluira škole, administraciju i nastavnike.
Tabela 8.18 Prednosti i izazovi dnevnika i subjektivnih lista provjere

Prednosti Mogu zabilježiti detaljne podatke („bogate podatke“) koji bi inače
mogli biti zaboravljeni;
Mogu se prikupljati podaci o tome kako ljudi koriste vrijeme;
Mogu se prikupljati osjetljive informacije;
Mogu dopuniti intervjue, osigurati bogatije podatke;
Izazovi Zahtijeva pismenost;
Mogu promijeniti ponašanje, zato što ljudi znaju da se njihovo
ponašanje posmatra;
Zahtijevaju predanost i samodisciplinu, taćnost i iskrenost prilikom
bilježenja informacija; učesnici mogu da se tačno ne prisjete
ponašanja;
Zabilježeni podaci mogu biti nekompletni ili su učesnici čekali da
zabilježe informacije i ne mogu se tačno sjetiti („sutrašnji
dnevnici“);
Čitanje rukopisa može biti teško;
Fraze u dnevnicima koje mogu biti teško razumljive.
Izvor: Autori.

Procjena stručnjaka može koristiti prethodno uspostavljene profesionalne ■■ Procjena
kriterije i procedure ili se može uraditi ad hoc. Kada se u procjeni stručnjaka stručnjaka:
Mišljenje
koriste uspostavljeni kriteriji, oni su obično objavljeni standardi i instrumenti koji
pojedinog
osiguravaju da stručnjaci postavljaju pitanja i evaluiraju na konzistentan način. stručnjaka ili
Na primjer, finansijska agencija može htjeti evaluirati kvalitet programa obuke panela
za koju je uspostavljen nastavni plan, sa zadanim ciljevima i ishodima. Stručnjak stručnjaka
koji je potpuno obučen za plan, ciljeve i ishode ispituje program obuke i evalu-
aciju zasniva na dokumentaciji.
Ad hoc pregledi se rade prema nepravilnom rasporedu, kako to okolnosti
nalažu. Obično se provode sa određenom svrhom. Takvi pregledi obično ne
predodređuju standarde koji stručnjaci koriste. Stručnjaci određuju standarde za
procjenu. Primjer ad hoc pregleda je kada direktor programa posjeti lokaciju pro-
grama za tretman vode da bi dobio uvid kako program napreduje.
Odabir stručnjaka treba proći razuman test ličnosti: da li bi razumna osoba

smatrala da su ovaj stručnjak ili grupa stručnjaka kredibilni? Stručnjaci trebaju
odslikavati raznolik skup pogleda, iskustava i uloga.
Važno je uspostaviti kriterije za odabiranje stručnjaka na osnovu ne samo
priznatosti stručnjaka nego i na osnovu sljedećih vrsta kriterija:
• područje ekspertize; • raznoliki politički pogledi i
• raznolike perspektive; • raznolika tehnička stručnost.
Obrazloženje za izbor svih stručnjaka treba biti naznačeno u evaluacionom
izvještaju.
Međunarodni savjet za sigurnosti i razvoj (2006) koristio je panel stručnjaka
za pregled efektivnosti Međunarodnog odbora za kontrolu narkotika. U ovom
slučaju bilo je naročito važno imati ne samo priznate stručnjake nego se također i
uvjeriti da su odabrani iz različitih dijelova svijeta, posebno onih dijelova gdje su
poznati veliki problemi sa narkoticima.
Tabela 8.19 Prednosti i izazovi procjene stručnjaka

Prednosti Brzina, relativno manje skupo;
Izazovi Slab za evaluaciju utjecaja;
Može uveliko biti zasnovan na percepciji;
Vrijednost prikupljenih podataka zavisi koliko je
kredibilna grupa.
Izvor: Autori.

Iako se panel stručnjaka ne smatra jakim evaluacijskim pristu-
pom, u nekim okolnostima to može biti najbolji pristup sa datim vremenskim
ograničenjima i ograničenju u resursima. Paneli stručnjaka prikladniji su kod
dizajniranja programa ili projekta i u ranim i srednjim fazama implementacije
■■ Delfi tehnika: nego za evaluaciju utjecaja. Posebno su korisni za brze procjene.
Tehnika koja Tabela 8.19 pokazuje prednosti i izazove procjene stručnjaka.
prikuplja
informacije i
sud učesnika Alat 8: Delfi tehnika
kako bi se
omogućavalo Tehnika Delfi omogućava stručnjacima koji žive na različitim lokacijama
rješavanje da se uključe u dijalog i postignu konsenzus posredstvom iterativnog procesa.
problema, Stručnjacima se postavljaju određena pitanja; njihovi se odgovori šalju ka centra-
planiranje i
lnom izvoru, sažimaju i povratne informacije šalju stručnjacima. Stručnjaci zatim
donošenje
odluka bez komentiraju sažetak. Slobodni su postaviti pitanje o određenim stavovima ili
suočavanja sa dodati nove perspektive pružajući dodatne informacije. Zato što niko ne zna ko je
učesnicima šta rekao, izbjegava se konflikt.
licem u lice Delfi tehnika prikuplja informacije i sud od učesnika kako bi se omogućilo
rješavanje problema, planiranje i donošenje odluka bez suočavanja sa učesnicima
licem u lice (Dunham 1996). Stručnjaci razmjenjuju informacije poštom,
faksom ili e-mailom. Ovaj metod može pomoći grupama da postignu konse-
nzus o pitanjima, strategijama i prioritetima. Koristi se u predviđanju turističkog
potencijala Južne Afrike (Kaynak, Bloom, i Leibold 1994); da se postigne
konsenzus o prioritetima za državnu politiku o lijekovima u zemljama u razvoju
(Rainhorn, Brudon-Jakobowicz, i Reic 1994); uspostave prioriteti za iskorje-
njivanje šistosomijaza (pužja groznica) u Keniji (Kirigia 1997).
Delfi tehnika zahtijeva koordinatora koji identificira stručnjake kao učesnike,
organizira zahtjeve za informacijama, sažima primljene informacije i komunicira
sa učesnicima. Posao koordinatora može uzimati puno vremena. Koordinacija
Delfi tehnike e-mailom sa 20 učesnika i tri runde upitnika može uzeti 30-40 sati
koordinatoru.
Proces tehnike Delfi uključuje sljedeće korake:
1. Identificirati i pozvati stručnjake da učestvuju. Odrediti potrebne kriterije kod
stručnjaka, obično grupa sa raznolikom ekspertizom. Pozvati stručnjake da se
pridruže;
2. Identificirati pitanja i ideje. Na primjer, pitati „Koje akcije mogu biti poduzete
da se osigura brža reakcija na zahtjeve pacijenata između posjeta?“ Pripremiti
i poslati prvi upitnik u kojem se od svakog učesnika traži da se uključi u indi-
vidualno razmišljanje da se generira što je više moguće ideja za rješavanje
problema;

3. Dati učesnicima da urade prvi upitnik. Ideje ne trebaju biti u potpunosti razvi-
jene – ustvari poželjno je da se svaka ideja izrazi jednom rečenicom ili fra-
zom, bez pokušaja evaluacije ili opravdanja ideja. Učesnici zatim vraćaju listu
koordinatoru;
4. Izrada i slanje drugog upitnika. Koordinator priprema i šalje drugi upitnik
učesnicima koji sadrži sve ideje poslane kao odgovor na prvi upitnik. (Samo
koordinator zna koji stručnjak je dao koju ideju.) Ostavljen je prostor da
učesnici dorade svaku ideju, komentiraju snagu i slabost svake ideje i da se
identificiraju nove ideje;
5. Prikupljanje odgovora na drugi upitnik. Učesnici anonimno bilježe odgovore
na drugi upitnik i vraćaju ih koordinatoru;
6. Izrada i slanje trećeg upitnika. Koordinator izrađuje i šalje treći upitnik koji
sažima unose iz prethodnih koraka i traži dodatna razjašnjenja, snagu, slabosti
i nove ideje;
7. Nastavak procesa. Po želji, koordinator ponavlja proces sve dok se ne prestanu
pojavljivati nove ideje a sve snage, slabosti i stavovi su identificirani;
8. Postizanje odluke. Odluka se može postići na jedan od dva načina:
• Ako se pojavi konsenzus o dominantnoj ideji koja je evaluirana, vježba se
proglasi završenom. Krajnji proizvod je lista ideja sa naznačenim snagama
i slabostima;
• Ako ne postoji konsenzus, koordinator provodi formalnu procjenu stavova
grupe o vrijednosti ideja. Postoji više načina da se provede formalna evalu-
acija. Jedan pristup je da koordinator pripremi upitnik koji navodi sve ideje i
od učesnika traži da ocjene svaku. Može se koristiti skala od sedam tačaka od

Tabela 8.20 Prednosti i izazovi Delfi tehnike
Prednosti Omogućava učesnicima da ostanu anonimni;
Nije skupa;
Slobodna od društvenog pritiska, utjecaja ličnosti i dominacije
pojedinaca;
Pogodna je za nezavisno mišljenje i postepenu formulaciju;
Omogućava razmjenu informacija i objašnjenja među
učesnicima;
Izazovi Može biti nereprezentativna;
Ima tendenciju da eliminira ekstremne pozicije i nametne
konsenzus srednjeg puta;
Zahtijeva vještinu pisane komunikacije;
Zahtijeva vrijeme i posvećenost učesnika.
Izvor: Michigan State University Extension 1994.
0 (nema potencijala da riješi pitanje) do 7 (veliki potencijal da riješi pitanje).

Ako se koristi ovaj pristup, učesnici šalju obrazac sa ocjenama koordinatoru,
koji sastavlja rezultate i pravi redoslijed ideja prema ocjenama a na osnovu
evaluacije. Drugi pristup je da koordinator od člana traži da identificira pet
najboljih ideja te da ideji koja najviše obećava dodijeli pet poena, sljedećoj
četiri poena i tako dalje. Glasovi se vraćaju koordinatoru koji evidentira
rezultate i priprema izvještaj. Izvještaj sadrži redoslijed ideja na osnovu
ukupnog broja bodova i pokazuje broj ljudi koji su glasali za svaku ideju
(Dunham 1996).
Tabela 8.20 pokazuje prednosti i izazove Delfi tehnike.
Alat 9: Drugi alati mjerenja
Za neke projekte ili programe evaluatori će naići na druge alate za mjerenje, kao
što su elektronski, hemijski i mehanički uređaji. Alati kao što su testovi na papiru
olovkom i testovi vještina ili procjene se mogu koristiti da se prikupe podaci za
neke projekte i programe. Ono što slijedi su primjeri nekih drugih alata koji se
koriste za prikupljanje podataka.
Mnogi projekti i programi (posebno oni u zdravstvenom sektoru) zahtijevaju
mjerenje psihološkog statusa da se odrede efekti intervencije. Vage se koriste
da se prikupe podaci o težini. Visina, dužina i obim se mogu mjeriti mjernom
vrpcom, mjernim štapovima i drugim uređajima. Štoperice se mogu koristiti da
se odredi dužina vremena potrebna da se izvrši zadatak. U nekim slučajevima
koriste se specijalni alati da se prikupe dodatni psihološki podaci o holesterolu,

krvnom pritisku, šećeru u krvi, sastavu tijela, kapacitetu pluća, aerobičnim
mogućnostima, snazi mišića, fleksibilnosti zglobova i drugih varijabli.
Hemijski testovi bunarske vode i tla se mogu koristiti da se odredi kvalitet
vode i tla. Drugi testovi mogu mjeriti tačku topljenja, pritisak pare i biokonce-
ntraciju faktora da se odrede fizičke i hemijske osobine svake specifične hemi-
kalije. Testovi kao što su ovi pomažu u identifikaciji okolišnih i zdravstvenih
opasnosti (U.S. EPA 2007). Kada koristimo mjerne uređaje, važno je provjeriti
kalibraciju instrumenata i napraviti potrebne korekcije. Projekti i programi koji
se bave ishranom mogu koristiti procjenu hemijskih i hranjivih sastojaka hrane.
Testovi talenta ili dostignuća se mogu koristiti da se procijene znanje i
činjenice. Obično se koriste u programima obuke i obrazovanja, ali su također
primjenjivi i u mnogim drugim poljima.
U prošlosti mnogi testovi su rađeni korištenjem papira i olovke. Sada se mogu
raditi elektronski, uključujući i internet.
Prije odabira testa važno je razumjeti vrstu testa koja najbolje mjeri ono što
evaluator hoće da sazna. Postoje četiri pristupa testiranju dostignuća
• referentan normi;
• referentan kriteriju;
• referentan ciljevima i
• referentan domenu (Fitzpatrick, Sanders, i Worthen 2004).
Testovi referentni normi se primarno koriste da se uporedi uspjeh učenika
sa uspjehom drugog učenika koji radi isti test. Testovi referentni normi se
često koriste da se procijeni napredak. Mnogi školski distrikti koriste testiranje
refe-rentno normi da uporede svoje učenike sa učenicima u drugim školskim
distri-ktima prema općeprihvaćenom znanju i vještinama. Slabost testiranja refe-
rentnog normi je identifikacija „opće prihvaćenog znanja i vještina.“ Različite
kulture, društva i okruženja mogu imati veoma različite instrukcionalne ciljeve
(Fitzpatrick, Sanders, i Worthen 2004).
Testovi referentni kriteriju se koriste da se mjeri uspjeh prema nekom apsolu-
tnom kriteriju. Zemlja može uspostaviti kriterije prema kojim će procijeniti
uspjeh u školama ili školskim distriktima (a ne uspjeh pojedinih učenika) te ih
koristiti da uporede škole ili školske distrikte. Kriterij se često koristi da se proci-
jeni nastavni plan ili program (Fitzpatrick, Sanders, i Worthen 2004).
Testovi referentni ciljevima se zasnivaju na ciljevima ili ishodima koje je identi-
ficirao obrazovni ili program obuke. Stavke za test su zasnovane na zadanim
ciljevima ili ishodima. Testovi referentni ciljevima se koriste da se dobiju forma-
tivne evaluacione povratne informacije da pomognu nastavnicima ili trenerima
da istraže područja koja zadovoljavaju ciljeve ili ishode i područja gdje treba
poboljšanje (Fitzpatrick, Sanders, i Worthen 2004).

Testovi referentni domenu su povezani sa sadržajem domena koji se mjeri, kao
što je znanje o historiji ili matematici. Ovi testovi su skupi za razvoj, ali mogu
pružiti vrijedne informacije kao što su: „Koliko naši učenici znaju o svjetskoj
geografiji?“ ili „Koliko polaznici znaju o spolovima?“ (Fitzpatrick, Sanders, i
Worthen 2004).
Testovi referentni normi i kriteriju pružaju standarde za procjenu uspjeha.
Testovi referentni ciljevima i domenu ne pružaju standarde. Oni pružaju opisne
podatke o uspjehu učenika bez procjene učenika ili škola (Fitzpatrick, Sanders, i
Worthen 2004).
Mnogi standardizirani testovi su dostupni na internetu (vidjeti linkove na kraju
ovog poglavlja). Mogu pomoći pri procjeni ličnosti, vokacijskih interesa, talenta,
dostignuća, razvoja, inteligencije, čitanja i vještina učenja.
Neki dionici mogu htjeti da znaju više o intervenciji od rezultata učesnika
na standardiziranom testu znanja. Učinak vještine se može evaluirati koristeći
simulacijske uređaje, razvoj portfolija, usmene prezentacije i debate. Važno je
povezati potrebnu vještinu sa testom koji najbolje demonstrira željeni učinak.
Testovi vještine mogu biti korisni kada se evaluira bilo koja intervencija koja
nastoji uvesti nove vještine (praksu sanitacije majkama, poljoprivrednu praksu
farmerima, praksu vođenja bilješki vladinim uposlenicima). Razvojne evalu-
acije često pokušavaju procijeniti da li je korištena nova praksa, ali mogu da ne
procijene da li je vješto korištena. Subjekti su rangirani prema tome koliko zado-
voljavaju postavljene kriterije. Fotografija i videografija se mogu koristiti da se
dokumentira učinak.
Sažetak
Ne postoji jedan najbolji način za prikupljanje podataka. Koji od mnogih metoda

opisanih u ovom poglavlju treba koristiti zavisi od potreba evaluacije i određenih
pitanja koja se rješavaju.
Evaluacije trebaju koristiti više od jedne tehnike prikupljanja podataka. Odluke
o tome koju tehniku prikupljanja podataka koristiti treba zasnivati na:
• Šta evaluator treba znati?
• Gdje su podaci?
• Koliko vremena i resursa je dostupno?
• Koliko su kompleksni podaci koje treba prikupiti?
• Učestalost prikupljanja podataka.

Aplikacijska vježba 8.1: Prikupljanje informacija iz fajlova
Od vas se traži da koristite fajlove sa upisa da odredite kvalifikacije i iskustvo

učenika koji su se prijavili za radionicu o obuci o hortikulturi. Razvijte kratak
obrazac od pet pitanja koji se može koristiti za prikupljanje podataka iz fajlova.
Aplikacijska vježba 8.2: Prikupljanje informacija iz intervjua
Od vas se traži da razvijete pitanja za kratki intervju za evaluaciju reakcija učesnika

na kvalitet radionice na osnovu konferencije kojoj ste nedavno prisustvovali.
Razvijte pet otvorenih pitanja koja se tiču sadržaja, nivoa i izvedbe radionice.
Ako je moguće, nađite partnera koji je pohađao istu radionicu ili konferenciju.
Intervjuirajte vašeg partnera i neka partner intervjuira vas koristeći instrumente
koje ste razvili. Zatim napišite detaljan sažetak intervjua. Neka partner iznese
kritike o tačnosti, čitljivosti i pokrivenosti.
Aplikacijska vježba 8.3: Prikupljanje informacija od fokusnih grupa
Od vas se traži da dizajnirate fokusnu grupu za evaluaciju utjecaja serije radionica

i paketa finansijske pomoći za pomoć ženama da osnuju mala preduzeća. Razvijte
set od pet pitanja za fokusnu grupu koja bi bila pogodna da se postave ženama
koje su završile program prije šest mjeseci. Saznajte kakve je namjeravane efekte
program imao i na koji način je utjecao na živote učesnika, njihovih prijatelja i
porodice.

Abdallah, H. 2002. Cost-Effectiveness of Self-Assessment and Peer Review in Improving

Family Planning Provider-Client Communication in Indonesia. Quality Assurance
Project Case Study. Study conducted for the U.S. Agency for International Develop-
ment by the Quality Assurance Project, Bethesda, MD.
Academy for Educational Development, Population Communication Services. 2002.
“Session 10 Transect Walks and Observation.” Empowering Communities: Participa-
tory Techniques for Community-Based Programme Development, vol. 2, Participant
Handbook. Washington, DC: Academy for Educational Development.
http://pcs.aed.org/manuals/cafs/handbook/sessions10-12.pdf.
ADB (Asian Development Bank), and ADBI (Asian Development Bank Institute). 2004.
Improving Local Governance and Service Delivery: Citizen Report Card Learning
Tool Kit.
http://www.citizenreportcard.com/index.html#.
BBC (British Broadcasting Corporation). 2008. “Data Validation and Verification.”
GCSE Bitesize.
http://www.bbc.co.uk/schools/gcsebitesize/ict/databases/3datavalidationrev1
.shtml.
Behling, Orlando, and Kenneth S. Law. 2000. Translating Questionnaires and Other
Research Instruments: Problems and Solutions. Quantitative Applications in the
Social Sciences, Series 07-133. Thousand Oaks, CA: Sage Publications.
Billson, Janet Mancini. 2002. The Power of Focus Groups for Social and Policy
Research. Barrington, RI: Skywood Press.
———. 2004. The Power of Focus Groups: A Training Manual for Social, Policy, and
Market Research: Focus on International Development. Barrington, RI: Skywood
Press.
Billson, Janet, and N. T. London. 2004. “The Power of Focus Groups.” International
Program for Development Evaluation Training (IPDET) presentation, Ontario, July.
Burgess, Thomas F. 2001. Guide to the Design of Questionnaires, ed. 1.1. University of
Leeds, United Kingdom.
http://www.leeds.ac.uk/iss/documentation/top/top2/top2-5.html.
Cloutier, Dorothea, Bill Lilley, Devon Phillips, Bill Weber, and David Sanderson. 1987.
A Guide to Program Evaluation and Reporting. University of Maine Cooperative
Extension Service, Orono.
CNCSTE (Chinese National Centre for Science and Technology Evaluation), and IOB
(Policy and Operations Evaluation Department). 2006. Country-Led Joint Evalu-
ation of the ORET/MILIEV Programme in China. Amsterdam: Aksant Academic
Publishers.
Cnossen, Christine. 1997. Secondary Research. Learning Paper 7, School of Public
Administration and Law, Robert Gordon University, Aberdeen, United Kingdom.
Dawson, Susan, and Lenor Manderson. 1993. Methods for Social Research in Disease: A
Manual for the Use of Focus Groups. International Nutrition Foundation for Develop-
ing Countries, Boston.
http://www.unu.edu/Unupress/food2/UIN03E/uin03e00.htm.
Denzin, K. 1978. The Research Act. New York: McGraw-Hill.

Dunham, Randall B. 1996. The Delphi Technique.
http://www.medsch.wisc.edu/adminmed/2002/orgbehav/delphi.pdf.
Early Childhood Research Institute on Measuring Growth and Development. 2008. Early
Communication Indicator (ECI). http://cehd.umn.edu/ceed/projects/ecri/.
EuropeAid Co-operation Office. 2005. Evaluation Methods.
ec.europa.eu/europeaid/evaluation/methodology/egeval/index_en.htm.
tion: Alternative Approaches and Practical Guidelines. New York: Pearson.
Foddy, William. 1993. Constructing Questions for Interviews and Questionnaires. New
York: Cambridge University Press.
Fowler, Floyd J. Jr. 2002. Applied Social Research Methods Series, vol. 1 Survey
Research Methods. 3rd. ed. Thousand Oaks, CA: Sage Publications.
Frary, Robert B. 1996. “Hints for Designing Effective Questionnaires.” Practical Assess-
ment, Research & Evaluation 5 (3).
Hofstede, G. 2001. Culture’s Consequences. 2nd ed. Thousand Oaks, CA: Sage
Publications.
Jackson, Gregg, and Rashmi Agrawal. 2007. “Guidelines for Developing Survey Instru-
ments as a Part of the Designing and Conducting Surveys Workshop.” International
Program for Development Evaluation Training (IPDET) presentation, Ottawa,
Ontario.
Kaynak, Erdener, Jonathan Bloom, and Marius Leibold. 1994. “Using the Delphi Tech-
nique to Predict Future Tourism Potential.” Marketing Intelligence and Planning 12
(7): 18–29.
http://www.emeraldinsight.com/Insight/viewContentItem.do;jsessionid=372
EF38765D6F8133CDF8DABFB2071B4?contentType=Article&hdAction=lnkpdf&c
ontentId=854271.
Kirigia, J. M. 1997. Economic Evaluation in Schistosomiasis Using the Delphi Technique
to Assess Effectiveness.
http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?cmd=Retrieve&db=PubMed&
list_uids=9107365&dopt=Abstract.
Krueger, R. A., and M. A. Casey. 2000. Focus Groups. 3rd ed. Thousand Oaks, CA: Sage
Publications.
Kellogg Foundation. 2008. “Tips on Using Tests and Assessments.” Evaluation Toolkit.
http://www.wkkf.org/Default.aspx?tabid=90&CID=281&ItemID=2810034&NID=28
20034&LanguageID=0.
Lofland, John. 1971. Analyzing Social Settings. Belmont, CA: Wadsworth.
Lofland, John, and L. H. Lofland. 1995. Analyzing Social Settings: A Guide to Qualita-
tive Observation and Analysis. 3rd ed. Belmont, CA: Wadsworth Publication.
McCaston, M. Katherine. 2005. Tips for Collecting, Reviewing, and Analyzing Secondary
Data. Partnership and Household Livelihood Security Unit.
http://pqdl.care.org/pv_obj_cache/pv_obj_id_8F453F01C87B8BB24774628B95B42
BBCBD020200.
McNamara, Carter. 2007. General Guidelines for Conducting Interviews.
http://www.managementhelp.org/evaluatn/intrview.htm#anchor615874

Michigan State University Extension. 1994. Delphi Technique.
http://web1.msue.msu.edu/msue/imp/modii/iii00006.html.
Miles, Matthew B., and A. Michael Huberman. 1994. Qualitative Data Analysis an
Expanded Sourcebook. Thousand Oaks, CA: Sage Publications.
Minnesota Department of Health. 2007. Community Engagement: Community Forums
and Public Hearings.
http://www.health.state.mn.us/communityeng/needs/needs.html.
Narayan, Deepa. 1996. Toward Participatory Research. World Bank Technical Paper
307, Washington, DC.
http://www-wds.worldbank.org/external/default/WDSContentServer/WDSP/
IB/1996/04/01/000009265_3980625172923/Rendered/PDF/multi0page.pdf.
O’Brien, G. 2001. Data Flow, Application of Data Quality Flags, and Data Validation
Processes for CCAQS. Preliminary draft.
http://www.arb.ca.gov/airways/Documents/reference percent20tables/March per-
cent2006, percent202001/DataFlow_PrelimDraft.pdf.
Patton, Michael Q. 1987. How to Use Qualitative Methods in Evaluation. Thousand
———. 2002. Qualitative Evaluation and Research Methods. 3rd ed. Thousand Oaks,
CA. Sage Publications.
Paul, Samuel, and Gopakumar K. Thampi. 2008. “Monitoring Public Service Delivery:
Citizen Report Cards Score in India.” Capacity.org. 35 (December). United Nations
Development Programme, New York.
http://www.capacity.org/en/journal/tools_and_methods/citizen_report_cards_
score_in_india.
Phuyal, Kamal. 2006. “Sharing Some Practical Experiences on Participatory Apprecia-
tive Planning Approach (PAPA): An Appreciative Approach to Working in Partnership
with Community People.” Paper presented at the international workshop on “Action
Learning: Lessons from the Field,” organized by the Faculty of Policy Studies, Chuo
University, Tokyo, October.
http://www.scn.org/cmp/modules/emp-papa.htm.
Kit: A Blueprint for Public Health Management. Ottawa: Ottawa-Carleton Health
Department.
Rainhorn, J.-D. P. Brudon-Jakobowicz, and M. R. Reich. 1994. “Priorities for Pharma-
ceutical Policies in Developing Countries: Results of a Delphi Survey.” Bulletin of
the World Health Organization 72(2): 257–64. 72 (2): 257–64.
http://74.125.47.132/search?q=cache:D1zbVUz7oG0J:whqlibdoc.who.int/bulle-
tin/1994/Vol72-No2/bulletin_1994_72(2)_257-264.pdf+Use+of+the+
delphi+technique+in+developing+countries&cd=3&hl=en&ct=clnk&gl=us&
client=firefox-a.
Sanders, J. R. 2000. Evaluating School Programs. 2nd ed. Thousand Oaks, CA: Sage
Publications.
Stafford, Frank P. 2006. Timeline Data Collection and Analysis: Time Diary and Event
History Calendar Methods. Department of Economics, University of Michigan, Ann
Arbor.
http://www.atususers.umd.edu/wip2/papers_i2007/Stafford_Diaries.pdf.

Stake, Robert E. 1995. The Art of Case Study Research. Thousand Oaks, CA: Sage
Publications.
StatPac. 2007. Survey Software, Question Wording.
http://www.statpac.com/surveys/index.htm#toc.
Sue, Valerie M., and Lois A. Ritter. 2007. Conducting Online Surveys. Thousand Oaks,
TC Evaluation Center. 2007. Wording Questions: Some General Guidelines. University
of California, Davis.
http://ucce.ucdavis.edu/files/filelibrary/5715/27621.pdf.
Trochim, William M. K. 2006. Types of Data, Research Methods Knowledge Base. http://
www.socialresearchmethods.net/kb/datatype.php.
UNESCAP (United Nations Economic and Social Commission for Asia and the Pacific).
1999. Guidelines on the Application of New Technology to Population Data Collec-
tion and Capture.
http://www.unescap.org/stat/pop-it/pop-guide/capture_ch04.pdf.
University of Wisconsin, Cooperative Extension. 1996. Program Development and
Evaluation, Collecting Evaluation Data: Direct Observation.
http://learningstore.uwex.edu/pdf/G3658-5.pdf.
U.S. EPA (U.S. Environmental Protection Agency). 2007. CTSA-Chapter 2: Data Col-
lection.
http://www.epa.gov/dfe/pubs/lithography/ctsa/ch02/ch02.html.
Wadsworth, Y. 1997a. Do It Yourself Social Research. 2nd ed. St. Leonards, New South
Wales, Australia: Allen and Unwin.
———. 1997b. Everyday Evaluation on the Run. St. Leonards, New South Wales, Aus-
tralia: Allen and Unwin.
Wengraf, Tom. 2001. Qualitative Research Interviewing: Biographic Narrative and
Semi-Structured Methods. Thousand Oaks, CA: Sage Publications.
Wiseman, V., L. Conteh, and F. Matovu. 2005. “Using Diaries to Collect Data in
Resource-Poor Settings: Questions on Design and Implementation.” Health Policy
and Planning 20 (6): 394–404.
http://heapol.oxfordjournals.org/cgi/reprint/20/6/394.
World Bank. 1996. “A Manual for Planning and Implementing the Living Standards
Measurement Study Survey.” Working Paper 126, Washington, DC.
———. 2006. “Citizen Report Cards: A Presentation on Methodology.” Participation and
Civic Engagement Group, Social Development Department, Washington, DC.
http://info.worldbank.org/etools/docs/library/94360/Tanz_0603/Ta_0603/
CitizenReportCardPresentation.pdf.
———. 2007. “Community-Driven Development.” Washington, DC.
http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTSOCIAL
DEVELOPMENT/EXTCDD/0,,menuPK:430167~pagePK:149018~piPK:149093~
theSitePK:430161,00.html.
Yin, Robert K. 2003. Case Study Research: Design and Methods. 3rd ed. Thousand

Web stranice
Alphabetical List of Aptitude or Achievement Tests. http://www.yorku.ca/psycentr/tests/

alpha.html.
Evaluation Portal. http://www.evaluation.lars-balzer.name/.
International Council on Security and Development. 2006. “Think tank announces expert
panel to review effectiveness of International Narcotics Control Board.” http://www.
icosgroup.net/modules/press_releases/narcotics_control_board.
Measurement Group. Evaluation/Research Tools. http://www.themeasurement
group.com/evalbttn.htm.
Nielsen, J. 1997. The Use and Misuse of Focus Groups. http://www.useit.com/papers/
focusgroups.html.
Standardized Monitoring and Assessment of Relief and Transitions. Instruments and
Tools. http://www.smartindicators.org/IT.php?page=80.

POGLAVLJE 9
Odabir strategije
uzorkovanja
U ovom poglavlju se govori o tome kako odrediti koliko podataka pri-

kupiti. Također se bavi time kako odabrati izvore podataka tako da jasno
odslikavaju populaciju i pomognu odgovoriti na evaluacijska pitanja.
Ovo poglavlje ima tri glavna dijela:

• Uvod u uzorkovanje
• Vrste uzoraka: nasumični i nenasumični
• Određivanje veličine uzorka
355
Uvod u uzorkovanje
■■ Populacija: Kada se evaluatori odluče prikupljati podatke iz određene populacije (ljudi,

Ukupni skup zdravstvenih klinika, škola, ili drugih jedinica), trebaju odlučiti da li podatke
jedinica o
prikupljati od svih jedinica od interesa ili od podskupa tih jedinica. Prikupljanje
kojima evaluator
hoće donijeti podataka od svih jedinica zove se cenzus. Prikupljanje podataka iz podskupa svih
zaključak jedinica zove se uzorak. Ako je populacija mala i troškovi prikupljanja podataka
■■ Cenzus: su niski, obično je cenzus poželjniji. Kada je populacija velika ili troškovi pri-
Prikupljanje kupljanja podataka visoki, obično je neophodno prikupiti podatke o uzorku.
podataka iz
Uzorkovanje se također ponekad koristi da se smanji teret na ispitanike.
čitave popu-
lacije
Ljudi koriste uzorke sve vrijeme. Kada vam testiraju krv da provjere vaše
■■ Uzorak: zdravlje, na primjer, laboratorij uzme uzorak a ne svu vašu krv. Testovi se rade
Podskup koristeći taj uzorak i pretpostavlja se da ono što je pronađeno u uzorku tačno
populacije o reflektira ono što se nalazi u čitavoj krvi.
kojoj se Uzorkovanje nije samo nešto što je primjenjivo na velike, kvantitativne studije.
prikupljaju
Čak i kada se vrši visoko kvalitativna, jednosedmična posjeta na terenu da se
podaci
procijeni program koji je raširen na velikom geografskom regionu, evaluatori ipak
trebaju pažljivo razmisliti o tome koje područje tog regiona istraživati. Pristra-
snost se može pojaviti ako zvaničnici programa koji žele pokazati najbolju sliku,
odaberu lokacije i učesnike koje treba proučiti. Ta pristrasnost se može izbjeći
nasumičnim izborom uzorka. Razumijevanje osnovnog koncepta uzorkovanja
može povećati obim u kojem evaluacija tačno reflektira ono što se uistinu dešava
u programu.
Vrste uzoraka: nasumični i nenasumični
■■ Nasumični Kada se podaci ne mogu prikupiti iz svake zemlje, od svake osobe, sa svake
uzorak: farme, evaluatori odabiru podskup ili uzorak da ga proučavaju. Uzorci mogu biti
Uzorak gdje nasumični i nenasumični.
svaka jedinica u
populaciji ima
jednaku šansu Nasumično uzorkovanje
da bude
odabrana
Nasumični uzorci su uzorci gdje svaka jedinica u populaciji ima jednaku šansu
■■ Pristrasnost da bude odabrana. Loto je primjer nasumičnog uzorka, zato što svaki broj ima
pri odabiru: jednaku šansu da bude odabran kao pobjednički broj.
Iskrivljavanje Jedna prednost nasumičnog uzorkovanja je da eliminira pristrasnost pri
dokaza izboru ili iskrivljivanje podataka proisteklo iz načina na koji su podaci priku-
uzrokovanih
pljeni. Ako se ne uzme u obzir, pristrasnost pri odabiru može rezultirati da svaki
načinom na koji
su podaci zaključak izvučen iz podataka može biti pogrešan. Zato što svako ili sve ima
prikupljeni jednaku šansu da bude odabrano, pristrasnost pri odabiru se eliminira. Postoje

različiti oblici pristrasnosti pri odabiru. Uobičajena je pristrasnost kod subjekti-
vnog odabira, koji sam ima nekoliko oblika. Pristrasnost kod subjektivnog
odabira se javlja u svakom programu za koji se ljudi dobrovoljno prijave a čak
se nađe i kod ljudi koji dobrovoljno odgovore na anketu. Izvor pristrasnosti je da
dobrovoljci i ispitanici često imaju osobine kojih nema kod onih koji nisu dobro-
voljci ili se nisu odazvali na anketu.
Nasumični uzorak bi bio predstavnik populacije u cjelini. Takav uzorak
omogućava evaluatoru da generalizira populaciju iz koje je uzorak uzet.
Kompletna lista svake jedinice u populaciji od interesa, koja se zove okvir
uzorkovanja, potrebna je da bi se odabrao nasumični uzorak. Svakoj jedinici ■■ Okvir
u populaciji treba dodijeliti jedinstveni identifikacioni broj. Jedinice se zatim uzorkovanja:
Kompletan skup
odabiru iz ukupne populacije koristeći nasumičan raspored kao što je nasumična
jedinica iz kojeg
tabela sa brojevima. To je tabela sa skupom brojeva (npr. 0, 1, 2, 3. . . ) poredanih se uzima uzorak
nasumično. Web izvori za tabele sa nasumičnim brojevima se nalaze u refere-
ncama ovog poglavlja. Mnogi ljudi koriste nasumični generator brojeva zasnovan
na webu da bi dobili nasumične brojeve. Izvori kao što su Stattrek pitaju koliko
nasumičnih brojeva je potrebno i koji minimum i maksimum vrijednosti je potre-
ban, zatim se generiraju nasumični brojevi.
Postoji šest vrsta nasumičnih uzoraka:
• jednostavni nasumični uzorci;
• nasumični intervalni uzorci;
• nasumični početni i fiksni intervalni uzorci;
• slojeviti nasumični uzorci;
• nasumični grupni uzorci i
• višeetapni nasumični uzorci.
Jednostavni nasumični uzorci

Jednostavni nasumični uzorak je najčešći i najjednostavniji tip uzorka od
nasumičnih uzoraka. Koristi se kada je primarni cilj izvesti zaključak o čitavoj
populaciji a ne o određenoj potpopulaciji.
Jednostavni nasumični uzorci su dobri za uzimanje uzoraka od 50 do 500 od
homogene populacije ili većih uzoraka od više heterogenih populacija (Jackson
2008). Mogu se uzeti na razne načine. Na primjer, evaluator zainteresiran za posma-
tranje aktivnosti u učionici mjereći količinu vremena koju učenici provode vršeći
praktične aktivnosti može nasumično odabrati učionicu, doba dana ili dane u
sedmici. Evaluatori koji hoće posmatrati količinu saobraćaja na putu od sela
do većeg grada mogu nasumično odabrati doba dana ili dane u sedmici, doba u
godini ili tačke posmatranja duž puta.
Odabir strategije uzorkovanja 357

Procedura za uzimanje jednostavnog nasumičnog uzorka izgleda kako slijedi
(Jackson 2008):
1. Pažljivo definirati populaciju, indicirati šta ona uključuje a šta isključuje;

2. Pronaći ili izraditi okvir uzorkovanja gdje se na listi svih jedinica u populaciji
svakoj dodjeljuje jedinstven broj, brojevi ne moraju biti susjedni, ali uzi-
manje uzorka će ići brže ako ne postoje velike praznine između dodijeljenih
brojeva;
3. Odlučiti o veličini uzorka;
4. Odrediti broj cifri u najvećem dodijeljenom broju;
5. Pribaviti nasumičnu tabelu sa brojevima;
6. Odlučiti se za fiksni obrazac čitanja brojeva (na primjer, od vrha prema dnu
a zatim desno prema sljedećoj koloni, čitajući prve brojeve);
7. Naslijepo odabrati početnu tačku u tabeli;
8. Čitati brojeve prema odabranom obrascu, uvijek čitati broj znamenki određen
u koraku 4.;
9. Svaki put kad se pročita znamenka koja odgovara broju jedinice u okviru
uzorkovanja, tu jedinicu obilježiti za odabir;
10. Nastaviti dok se ne odaberu brojevi potrebnih jedinica;
11. Ako naiđete na broj koji je isti kao broj koji je već iskorišten, idite na sljedeći
Ili, na primjer, evaluacioni tim odabere 100 fajlova iz populacije od 500.
Svi fajlovi su redoslijedom označeni od 001 do 500 i poredani numeričkim
redom. Tim zatim može koristiti nasumični generator indicirajući da je 100
brojeva potrebno i da je minimalna vrijednost 001 a maksimalna 500.
Nasumični intervalni i nasumični start i fiksni intervalni uzorci

Nasumično intervalno uzorkovanje se može koristiti kada postoji sekvenci-
jalna populacija koja nije već popisana i bilo bi teško ili bi uzelo puno vremena
da se popiše. Kao jednostavni nasumični uzorak, nasumični intervalni uzorak
■■ Nasumični koristi nasumičnu tabelu brojeva. Međutim, umjesto korištenja tabele da se oda-
intervalni beru jedinice za uzorak, koristi se tabela da se odabere interval (razmak između
uzorak:
brojeva) prema kojem se odabere jedinica.
Uzorak odabran
koristeći Sljedeći koraci se mogu koristiti da se uzme nasumični intervalni uzorak
nasumično (Jackson 2008):
određenu
udaljenost 1. Procijeniti broj jedinica u populaciji;
između brojeva 2. Odrediti željenu veličinu uzorka;
3. Podijeliti procijenjeni broj jedinica na željenu veličinu uzorka. Zaokružiti ovaj
broj na dva decimalna mjesta da se dobije prosječna nasumična dužina inte-
rvala potrebna da se dobije željena veličina uzorka kada se uzorkuje čitava
populacija;

4. Pomnožiti rezultat iz koraka 3 sa jednom petinom i zaokružiti na dva deci-
malna mjesta da se dobije „množilac“;
5. Naslijepo dodijeliti početnu tačku u populaciji;
6. Koristiti nasumičnu tabelu brojeva da se odabere jednocifreni nasumični broj,
pomnožiti ga sa množiocem, zaokružiti na najbliži cijeli broj, odbrojati od
početne tačke toliko mjesta, odabrati tu jedinicu za uzorak i postaviti marker
ondje gdje je uzet;
7. Uzeti sljedeći jednocifreni nasumični broj, pomnožiti ga sa množiocem,
zaokružiti ga na najbliži cijeli broj i odbrojati toliko mjesta;
8. Nastaviti na isti način kroz čitavu populaciju dok se ne stigne do tačke sa koje
se počelo;
9. UPOZORENJE: Važno je vratiti jedinicu na njenu originalnu poziciju, uvjeriti
se da je svako mjesto iz kojeg je uzet fajl obilježeno fajl identifikatorom, tako
da fajlove možemo vratiti na njihova odgovarajuća mjesta.
Nasumični intervalni uzorci se mogu također generirati koristeći kompjute-
rske programe. Ponekad nije moguće provesti istinski nasumični odabir. U tom
slučaju sistematična tehnika uzorkovanja se može koristiti, počevši sa nasumičnog
mjesta odabirući svaki n-ti slučaj.
Nasumični početni i fiksni intervalni uzorci se ponekad smatraju
kvazinasumični uzorci, zato što je početna tačka nasumična, ali interval nije. Dok
je ova tehnika uzorkovanja donekle jednostavnija nego nasumično intervalno
uzorkovanje, ima ozbiljnih slabosti u određenim uvjetima. Razmotrimo, na pri- ■■ Nasumični
mjer, evaluaciju koja zahtijeva da uzorkujemo dnevnu evidenciju tržnice koja je početni i
otvorena svaki dan u sedmici. Populacija se procjenjuje da ima 700 primjeraka fiksni
intervalni
evidencije, a potreban je uzorak od 100. U ovom slučaju fiksni interval bi bila
uzorak:
svaka sedma evidencija, što bi rezultiralo da se sve evidencije uzimaju isti dan u Asistematična
sedmici. To ne bi predstavljalo sve dane u sedmici. Da bi izbjegli takve situacije, tehnika
ako postoji bilo kakva šansa da fiksni interval uzrokuje pristrasan uzorak, koristiti uzorkovanja
nasumičnu intervalnu proceduru. gdje je početna
tačka
Nasumični početni i fiksni intervalni uzorak se odabire na sljedeći način:
nasumična, ali
1. Procijeniti broj jedinica u populaciji; se zatim svaki
n-ti slučaj
2. Odrediti željenu veličinu uzorka;
odabire
3. Odvojiti korak (1) po korak (2) da se dobije interval;
4. Naslijepo odredite početnu tačku u populaciji;
5. Odbrojati određeni interval i odabrati tu jedinicu za uzorak;
6. Nastaviti odbrojavanje istog intervala i izbor jedinica dok se ne vratimo na
početak.

■■ Nasumični
Slojeviti nasumični uzorci
intervalni
uzorak: Često je važno uključiti određene grupe u uzorak koji može biti slabo predsta-
Uzorak odabran vljen korištenjem jednostavnog nasumičnog uzorka. Da bi osigurali da su takve
koristeći grupe uzorkovane, evaluatori mogu podijeliti populaciju na slojeve na osnovu
nasumično nekih značajnih karakteristika, kao što su spol, dob, etnička pripadnost ili druge
određenu
karakteristike. Ova vrsta uzorka se zove slojeviti nasumični uzorak.
udaljenost
između brojeva
Recimo da evaluatori hoće posmatrati efekte intervencije na urbane i ruralne
stanovnike. Ako su ruralni stanovnici predstavljeni samo u maloj proporciji od
ukupne populacije u području, jednostavni nasumični uzorak može da ih ne
uključi dovoljno kako bi se omogućilo provođenje značajne analize.
Slojeviti nasumični uzorak se uzima tako što se populacija podijeli u grupe
■■ Slojeviti koje se ne preklapaju (strata, sloj) (n1, n2, n3 ... ni, such that n1 + n2 + n3 + ... ni, =
nasumični n), a zatim se uzima jednostavan nasumični uzorak iz svakog sloja. Broj odabran
uzorak: u svakom sloju treba biti ekvivalentan proporciji sloja od ukupne populacije.
Uzorak gdje se
okvir uzorkova-
nja dijeli na dva Nasumični uzorci grupa
ili više slojeva Nasumični uzorak grupe je uzorak uzet iz grupa koje se prirodno pojavljuju
(podpopulacije) iz jedinica analize. Domaćinstva (ili domovi) su grupe ljudi, gradovi su grupe
iz kojih se domaćinstava. Grupe trebaju biti uzajamno isključive i kolektivno iscrpne. Uzorci
učesnici
grupe se često koriste u sljedećim situacijama:
nasumično
odabiru • Ne postoje kompletne liste svega u populaciji od interesa, ali postoji komple-
tna lista grupa u kojima se pojavljuju.
• Postoji kompletna lista, ali su imena na listi toliko rasuta da bi to uzelo previše
vremena i bilo bi skupo poslati nekoga da prikupi podatke za provođenje
■■ Nasumični
jednostavnog nasumičnog uzorkovanja.
uzorak
grupe: Uzorak U nasumičnom uzorku grupe grupa se nasumično uzorkuje i podaci priku-
uzet iz grupa
pljaju o svim ciljanim jedinicama. Ova tehnika je posebno korisna kada su ciljane
koje nastaju
prirodno iz jedinice locirane daleko jedna od druge (Tekstualni okvir 9.1).
jedinica analize Glavna mana nasumičnog uzorka grupe je vjerovatnoća da će dati manje tačne
procjene parametara populacije (karakteristika) nego jednostavni nasumični
uzorci ili slojeviti nasumični uzorci istog broja jedinica od interesa. Moguće je
da klinike odabrane u Tekstualnom okviru 9.1 brinu o pacijentima koji se razli-
kuju po ekonomskim ili vjerskim karakteristikama od onih koji nisu uključeni
u uzorak. Ako je ovo slučaj, rezultati uzorka će proizvesti pristrasne procjene
cjelokupne populacije AIDS pacijenata o kojima se brinu klinike u regionu.

Tekstualni okvir 9.1 Upotreba grupnog uzorkovanja za
identifikaciju ljudi sa AIDS-om za intervju
Evaluacioni tim treba intervjuirati oko 200 ljudi sa AIDS-om koji žive u regionu.
Ne postoji lista ljudi u regionu koji imaju AIDS. Pokušaj izrade takve liste bi bio
veoma skup, a sam proces izrade bi mogao pokrenuti neka etička i povjerljiva
pitanja. U regionu 25 zdravstvenih klinika pruža usluge a evaluatori znaju da
većina klinika brine o oko 50 pacijenata sa AIDS-om. Stoga su odlučili da
nasumično uzorkuju klinike i proučavaju sve AIDS pacijente u tim uzorkovanim
klinikama. Zdravstvene usluge pruža 25 zdravstvenih klinika rasutih u velikom
regionu sa slabim putevima. Evaluatori znaju da većina klinika brine o oko 50
AIDS pacijenata. Stoga oni odabiru uzorak od 4 klinike od ukupno 5 i proučavaju
sve pacijente sa AIDS-om u tim klinikama, dobivajući uzorak od oko 200
pacijenata.
Višeetapni nasumični uzorci

Višeetapni nasumični uzorak kombinira dva ili više oblika nasumičnog
uzorkovanja. Proces obično počinje nasumičnim uzorkovanjem grupa a zatim
se primjenjuje jednostavno nasumično uzorkovanje ili slojevito nasumično
uzorkovanje. U primjeru iz Tekstualnog okvira 9.1 višeetapni nasumični uzorak
bi na početku uzeo grupni uzorak osam klinika. Zatim bi uzeo jednostavni
nasumični uzorak 25 pacijenata iz svake klinike. Ova tehnika bi osigurala uzorak
od 200 pacijenata, baš kao i u gornjem primjeru, ali bi oni dolazili iz velikog broja
klinika.
Moguće je kombinirati nenasumično i nasumično uzorkovanje u višeetapnom
uzorkovanju. Na primjer, klinike u Tekstualnom okviru 9.1 mogu biti uzorkovane
nenasumično a AIDS pacijenti zatim uzorkovani nasumično iz svake klinike.
Nedostatak višeetapnog i grupnog uzorkovanja je da pružaju unekoliko manje
preciznu procjenu populacije nego jednostavno nasumično uzorkovanje. U pri-
mjeru AIDS klinika, na primjer, samo 8 klinika je nasumično uzorkovano od
ukupno 25 klinika; te one možda nisu dovoljan predstavnik 25 klinika.

Nenasumično uzorkovanje
Kada nasumično uzorkovanje nije moguće, mora se koristiti drugi pristup.

■■ Svrsishodni
uzorci: Uzorci Nenasumični uzorci se obično klasificiraju u tri vrste: svrshishodni, grudva sni-
kod kojih se jega i praktični.
odabir vrši na Nenasumične tehnike uzorkovanja omogućavaju evaluatoru samo ograničenu
osnovu mogućnost generaliziranja nalaza veće populacije. Takvi uzorci ipak mogu ojačati
predodređenih
rezultate evaluacije.
kriterija
■■ Uzorak
tipičnog Svrsishodni uzorci
slučaja U svrsishodnom uzorku (koji se također naziva i uzorak procjene) odabir se
(srednji):
pravi da bi zadovoljio posebne svrhe studije. Odabir se zasniva na predodređenim
Svrsishodni
uzorak u kojem kriterijima koji će prema procjeni evaluatora osigurati potrebne podatke.
se jedinice Najčešće upotrebljavani oblici svrsishodnih uzoraka (Jackson 2008):
uzimaju iz
srednjeg • Uzorak tipičnog (srednjeg) slučaja: Jedinice se svjesno uzimaju iz tipičnih
područja ili najčešćih karakteristika populacije (oni u srednjem području zvonolike
distribucije krivulje). Svrha studije je pobliže posmatrati tipične stavke, a ne one koje su
■■ Uzorak netipične;
maksimalne
varijacije • Uzorak maksimalne varijacije (heterogenost): Jedinice se uzimaju da se pre-
(heterogeni): dstavi čitavo područje karakteristika od interesa. Uzimaju se iz svih dijelova
Svrsishodni zvonolike krivulje;
uzorak u kojem • Kvota uzorak: Jedinice se uzimaju tako da postoji jednak broj ili jednaka
se jedinice proporcija iz svakog sloja. Na primjer, evaluator odabere pet jedinica iz prve
uzimaju da
trećine, pet jedinica iz srednje trećine i pet jedinica iz niže trećine distribucije;
predstavljaju
čitavo područje • Uzorak ekstremnog slučaja: Jedinice se uzimaju iz ekstremnih slučajeva
parametra distribucije. Jedinice bi bile odabrane iz lijevog i desnog kraja zvonolike
■■ Kvota krivulje. Uzorci ekstremnih slučajeva posmatraju jedinicu koja se najmanje
uzorak: javlja;
Svrsishodni
• Uzorci slučajeva koji potvrđuju i slučajeva koji ne potvrđuju: Jedinice se
uzorak u kojem
se odabere
uzimaju iz slučajeva koji su poznati da potvrđuju ili su kontradiktorni sa kon-
određen broj vencionalnim shvatanjem, principom ili teorijom (na primjer, iz dobro pri-
različitih vrsta premljenih projekata koji su uspjeli i dobro pripremljenih projekata koji nisu
jedinica uspjeli).
■■ Uzorak
eskstremnog
slučaja: Uzorci snježne grudve
Svrsishodni Uzorci snježne grudve (također poznati kao lančano referentni uzorci) se koriste
uzorak u kojem kada evaluator ne zna koga ili šta uključiti u uzorak. Koriste se kada su gra-
se jedinice
nice populacije nepoznate i ne postoji okvir uzorkovanja. Uzorci snježne grudve
uzimaju sa
lijevog i desnog
se često koriste u intervjuima. Evaluatori koji koriste ovu vrstu svrsishodnog
kraja distribucije

uzorkovanja mogu pitati ljude koji zadovoljavaju kriterije za uključenje u studiju ■■ Uzorci
s kim još treba razgovarati. slučajeva koji
Uzorci snježne grudve sadrže ozbiljnu potencijalnu pristrasnost u oslanjanju potvrđuju i
slučajeva koji
na referentnu tvrdnju. Jedan primjer njihove upotrebe opisan je u Nambiar (2008). ne potvrđuju:
Treba ih pažljivo koristiti.
Svrsishodni
uzorak u kojem
Praktični uzorci se jedinice
Kod praktičnih uzoraka odabir se pravi na osnovu praktičnosti za evaluatora. uzimaju iz
Česti primjeri praktičnih uzoraka u razvojnoj evaluaciji uključuju sljedeće: slučajeva
poznatih da
• posjeta lokaciji projekta koja je najbliža aerodromu; potvrđuju ili su
• intervjuiranje onih projekt menadžera koji su dostupni na dan posjete kontradiktorni
evaluatora; konvenciona-
lnom shvatanju,
• posmatranje bilo kojeg fizičkog područja koje zvaničnici projekta odaberu
principu ili teoriji
pokazati; ■■ Uzorak
• razgovor sa predstavnicima bilo koje nevladine organizacije (NVO) i gra- snježne
dskim prvacima na koje se naiđe (Jackson 2008). grudve:
Uzorak uzet
Praktični uzorci su ekstremno slabo sredstvo za donošenje bilo koje vrste tako što se
dokaza ili obrazaca iz podataka, zato što ne postoji način da se zna koliko su ispitanicima
različiti ovi uzorci od relevantne populacije u cjelini. postavi pitanje
koga još
Nedostaci nenasumičnog uzorkovanja intervjuirati
■■ Praktični
Iako nenasumični uzorci imaju legitimnu upotrebu u razvojnoj evaluaciji, oni
uzorci: Uzorci
također imaju nekoliko nedostataka: odabrani na
• Kreatori politike ponekad ih doživljavaju kao manje kredibilne od nasumičnih osnovu
praktičnosti za
uzoraka;
evaluatora
• Zato što ne zadovoljavaju pretpostavke inferencijske statistike, testovi od
statističkog značaja i proračuni povjerljivih intervala se nikada ne trebaju
primijeniti u nenasumičnim uzorcima,
• Nenasumični uzorci mogu biti predmet svih vrsta pristrasnosti.
Bez nasumičnog uzorkovanja ne može se generalizirati veća populacija.
Podaci mogu biti veoma korisni, a mogu biti i najbolji dostupni uz date prepreke.
Kombinirano uzorkovanje
Metodi nasumičnog i nenasumičnog uzorkovanja se mogu kombinirati. Evalua-

cioni tim koji prikuplja podatke o školama na primjer, može odabrati dvije škole iz
najsiromašnijih zajednica i dvije iz najbogatijih. Iz ove četiri škole se zatim mogu
nasumično odabrati učenici za uzorak.

Određivanje veličine uzorka
Čak i kada koristimo nasumični uzorak, postoji mogućnost greške; uzorak može
biti drugačiji od populacije. Statistika se koristi da se procijeni vjerovatnoća da
su rezultati uzorka predstavnici populacije u cjelini. Statističari su razvili teorije
i formule za vršenje tih procjena i određivanje odgovarajuće veličine uzorka. U
ovom dijelu fokusiramo se na razumijevanje osnovnih koncepata statističke anal-
ize i kako ih primijeniti na dizajniranje evaluacije.
Pri odabiru veličine uzorka evaluatori moraju odlučiti koliko uvjereni tre-
■■ Veličina baju biti da rezultati uzorka uistinu reflektiraju čitavu relevantnu populaciju. Nivo
uzorka: Broj uvjerenosti koji se obično koristi je 95 procenata. Nivo 95 procenata znači 95 puta
posmatranja u od 100, rezultati uzorka će tačno reflektirati populaciju u cjelini.
uzorku
Ako su evaluatori voljni da budu 90 procenata sigurni, onda mogu koristiti
manji uzorak. Ako hoće da budu 99 posto uvjereni, onda im treba veći uzorak.
Nakon što odaberu veličinu uzorka, evaluatori trebaju odrediti koliko precizne
njihove procjene trebaju biti. Za razliku od pristrasnosti, greška uzorkovanja se
može izračunati. To je prosjek razlike između svih procjena za sve moguće pri-
mjere i vrijednosti prikupljene da je čitava populacija obrađena. Ovo se ponekad
zove greška uzorkovanja ili margina greške. Anketa može otkriti da 48 pro-
cenata populacije podržava povećanje poreza a 52 procenta se protivi, uz grešku
■■ Greška uzorkovanja od +/-3 posto poena. Ovo znači da ako bi svi u populaciji bili ispi-
uzorkovanja tani, stvarna proporcija bi bila 45-51 procenata (48 +/-3) za i 49-55 procenata (52
(ili margina +/- 3) protiv povećanaj poreza. ± 3 procenat se zove interval uvjerenosti (ne treba
greške):
ga zamijeniti sa nivoom uvjerenja). Primijetit ćete da se dva intervala djelimično
Procjena greške
uzrokovane preklapaju. To znači da ne možemo biti sigurni, na nivou od 95 procenata, da se
posmatranjem više ljudi u populaciji protivi povećanju poreza nego što ih se zalaže za to. Rezul-
uzorka a ne tati iz uzorka su isuviše blizu.
cjeline Veličina uzorka je funkcija veličine populacije od interesa, nivo željene sigu-
■■ Interval
rnosti i željeni nivo preciznosti. Prikladna veličina uzorka se može odrediti na
povjerenja:
Područje u
dva načina. Prvi u kojem se koristi formula. Drugi u kojem se koristi tabela koja
kojem leži pokazuje veličinu uzorka potrebnu za dati nivo sigurnosti (Tabela 9.1).
istinska Što je populacija manja, to je veća veličina uzorka relativnog populaciji u
vrijednost cjelini. Ako je na primjer populacija 300, veličina uzorka je 169 – nešto malo više
populacije uz od pola od ukupne populacije – potrebno je da se ostvari nivo sigurnosti od 95
datu
posto. Populacija od 900 zahtijeva uzorak veličine 269 – manje od trećine ukupne
vjerovatnoću
populacije. Ako populacija prelazi

Tabela 9.1 Minimalna veličina uzorka potrebna na nivou sigurnosti od 95
procenata uz 5 procenata margine greške
Veličina Veličina uzorka Veličina Veličina uzorka
populacije populacije
10 10 550 226
20 19 600 234
40 36 700 248
50 44 800 260
75 63 900 269
100 80 1.000 278
150 108 1.200 291
200 132 1.300 297
250 152 1.500 306
300 169 3.000 341
350 184 6.000 361
400 196 9.000 368
450 207 50.000 381
500 217 100.000+ 385
Izvor: Krejcie i Morgan 1970.
100.000, potreban je uzorak 385, tj. samo 0,385 procenata od ukupne popu-
lacije bi bilo potrebno.
Kada se uzorkuju jedinice (kao što su distrikti, škole, nastavnici, roditelji
ili građani) za dobrovoljno učešće u evaluaciji, ne postoji sigurnost da će svi
odabrani odgovoriti na zahtjev za učešće ili potvrdno odgovoriti da učestvuju u
evaluaciji. Zbog ovog fenomena mnogi evaluatori koriste više uzoraka nego je
potrebno da bi na kraju završili sa veličinom uzorka koja im je potrebna. Kada se
stvarna stopa odziva razlikuje od planirane za 10 procenata ili više, vjerovatnoća
pristrasnosti odziva je visoka i zahtijeva analizu (vidjeti poglavlje Instrumetni
prikupljanja podataka).
Tabela 9.2 pokazuje veličinu uzorka za veoma velike populacije (1 milion i ■■ Stopa odziva:
više). Mnoge državne ankete koriste uzorke od oko 1.100, što ostavlja marginu Procenat
namjeravanog
greške od +/- 3 procenata poena sa nivoom sigurnosti od 95 procenata.
uzorka iz kojeg
Alati dostupni na internetu identificiraju veličinu populacije koja je potrebna se podaci
da se ostvari dati nivo sigurnosti i margina greške. Linkovi do ovih izvora dati su ustvari
na kraju ovog poglavlja. prikupljaju

Tabela 9.2 Veličina uzorka za populacije od 1 milion i više
Margina greške Nivo sigurnosti

(u procentima) 99 procenata 95 procenata 90 procenata
±1 16.576 9.604 6.765
±2 4.144 2.401 1.691
±3 1.848 1.067 752
±5 666 384 271
Izvor: Jackson 2007.
Da sumiramo:
• Tačnost i preciznost se mogu poboljšati povećanjem veličine uzorka.;
• Standard kojem treba stremiti je 95 procenata nivo sigurnosti (margina greške
od +/-5 procenata);
• Što je veća margina greške, to je manja preciznost rezultata;
• Što je manja populacija, to je veći odnos veličine uzorka sa veličinom
populacije.
Ako evaluacija zahtijeva kompleksnu višeetapnu strategiju uzorkovanja,
evaluatori mogu razmotriti traženje pomoći. Američka statistička asocijacija
ima direktorat statističkih konsultanata. Savez statističkih konsultanata nudi
pomoć u upravljanju podacima, analizi podacima i konsultacije u vezi sa
tezom, kao i statističku obuku i podučavanje. HyperStat Online nudi linkove
ka mnogim drugim resursima koji nude pomoć sa statistikom. Linkovi do
ovih web stranica su na kraju ovog poglavlja.
Sažetak
Obično je nemoguće ili nepraktično prikupiti podatke iz svakog izvora podataka.

Iz ovog razloga evaluatori prikupljaju podatke iz uzorka izvora.
Postoje dva oblika uzorkovanja - nasumično uzorkovanje i nenasumično
uzorkovanje. Nasumični uzorci su uzorci gdje svaka jedinica u populaciji ima
jednaku šansu da bude odabrana. Nasumično uzorkovanje istražuje podskup
populacije i generalizira rezultate na veću populaciju.
Postoji šest vrsta nasumičnih uzoraka:
• jednostavni nasumični uzorci;
• nasumični intervalni uzorci;
• uzorci nasumičnog početka i fiksnog intervala;

• slojeviti nasumični uzorci;
• nasumični uzorci skupine i
• višeetapni nasumični uzorci.
Postoje tri vrste nenasumičnih uzoraka:
• svrsishodni uzorci;
• uzorci grudve snijega i
• praktični uzorci.
Evaluacija ne treba koristiti samo jednu vrstu uzorkovanja. Mogu se koristiti
kombinacije tehnika uzorkovanja.
Veličina uzorka je funkcija veličine populacije od interesa, željeni nivo sigu-
rnosti i željeni nivo preciznosti. Čak i kada se koriste nasumični uzorci, postoji
mogućnost greške. Evaluatori koriste razne statističke pristupe da odrede nivo
sigurnosti i interval sigurnosti.

Aplikacijska vježba 9.1: Uzorkovanje
Grad koji proučavate ima populaciju od 300, svi su uvedeni u gradski registar,
svaki ima jedinstven identifikacioni broj. Imate vremena i resursa da uzorkujete
do 50 ljudi u gradu. Trebate napraviti generalizaciju iz uzorka za čitavu popu-
laciju od 300. Hoće li to biti moguće? Koju vrstu uzorka biste odabrali? Objasnite
vašu odluku.
Aplikacijska vježba 9.2: Upotreba nasumične tabele sa brojevima
Malo selo koje proučavate ima 90 kuća. Imate listu brojeva kuća iz koje trebate
odabrati jednostavni nasumični uzorak od 10. Kako možete koristiti nasumičnu
tabelu sa brojevima da odaberete uzorak?
44 14 12 12 03 12 73 72 62 33 35 62 80 34 77
69 59 54 90 01 50 04 93 76 69 43 95 47 60 80
23 95 24 95 24 55 69 89 41 18 12 94 43 21 43
40 76 50 38 18 05 44 23 72 61 58 67 99 05 75
54 05 51 52 04 34 25 64 90 95 02 86 51 14 37
36 82 03 65 38 93 49 64 06 93 01 30 62 05 68
96 19 97 24 16 26 94 14 17 45 22 51 09 92 16
75 85 18 50 50 60 80 52 42 11 05 70 89 53 38
57 78 12 98 55 51 48 77 54 07 66 15 33 44 64
58 20 10 51 62 06 25 56 63 67 73 73 79 05 65
55 84 17 67 52 38 16 29 05 24 12 05 35 87 31
92 44 84 04 17 47 18 78 54 40 02 59 74 06 73
86 96 79 86 75 67 31 41 40 20 87 17 85 98 70
78 84 03 69 43 38 43 98 90 75 56 49 88 52 78
25 05 76 72 06 59 37 56 24 36 95 05 30 62 02
26 67 04 13 77 37 21 57 77 41 82 30 32 80 09

Aplikacijska vježba 9.3: Strategija uzorkovanja
Rad u malim grupama je moguć, identificirajte odgovarajuću mjeru ili stati-

stiku za svako od sljedećih evaluacionih pitanja. Zatim odlučite koju strategiju
uzorkovanja biste koristili za svaku od ovih situacija i objasnite zašto biste je
odabrali.
1. Kakav je kvalitet puteva u selima u sjeverozapadnoj Kambodži neposredno
poslije kišne sezone?
2. Koja proporcija djece u Tamil Nadu dobije malariju najmanje jednom prije
nego napune 10 godina?
3. Koje su demografske karakteristike ljudi koji posjećuju zdravstvenu kliniku u
ruralnom području Šri Lanke?

Easton, V. J., and J. H. McColl. 2007. Statistics Glossary: Sampling.

http://www.stats.gla.ac.uk/steps/glossary/sampling.html.
Guba, E., and Y. S. Lincoln. 1989. Fourth Generation Evaluation. Thousand Oaks, CA:
Sage Publications.
Henry, G. T. 1990. Practical Sampling. Thousand Oaks, CA: Sage Publications.
Jackson, Gregg B. 2007. Sampling for IEG Managers. Presentation at George Washing-
ton University, Washington, DC, December 18.
———. 2008. Sampling in Development Evaluations. International Program for Develop-
ment Evaluation Training (IPDET) presentation, Ottawa, June 30 and July 1.
Kish, L. 1995. Survey Sampling. New York: John Wiley & Sons.
Krejcie, R. V., and D. W. Morgan. 1970. “Determining Sample Size for Research Activi-
ties.” Educational and Psychological Measurement 30: 607–10.
Kumar, R. 1999. Research Methodology: A Step-by-Step Guide for Beginners. Thousand
Laws, S., with C. Harper and R. Marcus 2003. Research for Development: A Practical
Guide. Thousand Oaks, CA: Sage Publications.
Levy, P., and S. Lemeshaw. 1999. Sampling of Populations. 3rd ed. New York: John
Wiley & Sons.
Lipsey, M. W. 1990. Design Sensitivity: Statistical Power for Experimental Research.
Thousand Oaks, CA: Sage Publications.
Lohr, S. 1998. Sampling: Design and Analysis. Pacific Grove, CA: Duxbury Press.
Nambiar, Devaki. 2008. “The Delhi Snowball: Sampling Escapades in Urban India.”
Paper presented at the Annual Meeting of the International Communication Associa-
tion, Montreal, May 22–26.
Neuman, W. Lawrence. 2006. Social Research Methods: Qualitative and Quantitative
Approaches. 6th ed. Boston: Allyn and Bacon.
Patton, M. Q. 2002. Qualitative Research and Evaluation Methods. Thousand Oaks, CA:
Sage Publications.
Scheyvens, R., and D. Storey, eds. 2003. Development Fieldwork: A Practical Guide.
Stattrek. http://stattrek.com/tables/randon.asph.
Tryfos, P. 1996. Sampling Methods for Applied Research. New York: John Wiley & Sons.

Web stranice
Alliance of Statistics Consultants. http://www.statisticstutors.com/#statistical-analysis.

American Statistical Association Directory. http://www.amstat.org/consultant
directory/index.cfm.
Dr. Drott’s Random Sampler. http://drott.cis.drexel.edu/sample/content.html.
HyperStat Online. “Chapter 11: Power.” http://davidmlane.com/hyperstat/power
.html.
HyperStat Online: Help with Statistics: Statistical Consultants and Tutors. http://davidm-
lane.com/hyperstat/consultants.html.
Probability Sampling. http://www.socialresearchmethods.net/kb/sampprob.htm.
Power Analysis. http://www.statsoft.com/textbook/stpowan.html.
Research Randomizer. http://www.randomizer.org.
StatPages.net. Web Pages that Perform Statistical Calculations, http://www.Stat
Pages.net.
Survey Research Methods Section. http://www.fas.harvard.edu/~stats/survey-soft/survey-
soft.html.
The Survey System: Sample Size Calculator. http://www.surveysystem.com/sscalc
.htm.
UCLA Statistics Calculator: http://calculators.stat.ucla.edu.

POGLAVLJE 10
Planiranje i provođenje
analize podataka
Kada se podaci prikupe, evaluatori ih trebaju ispitati da pronađu

značenje. Ovaj proces počinje strategijom analize podataka. Kvalita-
tivni i kvantitativni podaci zahtijevaju različite strategije i tehnike.

• Strategija analize podataka
• Analiziranje kvalitativnih podataka
• Analiziranje kvantitativnih podataka
• Povezivanje kvantitativnih podataka i kvalitativnih podataka
373
Strategija analize podataka
Razvoj strategije analize podataka je važan dio procesa planiranja. Evaluatori

trebaju biti svjesni opcija za analizu podataka – i njihovih snaga i slabosti – kada
planiranju evaluaciju. U matrici dizajna cilj treba biti određen i treba indicirati
analizu i grafiku koja će rezultirati iz prikupljenjih podataka. Najčešća greška je
prikupljanje ogromnih količina podataka koji se nikad ne koriste.
Bilo da evaluacioni dizajn naglašava uglavnom kvalitativne podatke ili
uglavnom kvantitativne podatke, prikupljanje i analiza podataka će se preklapati.
Na početku prikupljanja podataka malo vremena se provodi na analizi podataka,
posebno ako je pilot test prethodno proveden. Kako evaluacija nastavlja, više
vremena se provodi analizirajući podatke a manje prikupljajući ih.
Kvalitativna analiza je prikladna u situacijama gdje je, na primjer, korišten
polustrukturirani intervju da bi se dobio detaljan uvid u intervenciju. Koristio bi
se da se analiziraju odgovori na pitanja, kao što su sljedeća:
• Na koje je poteškoće naišlo osoblje?
• Šta učesnici kažu zašto su napustili program ranije?
■■ Kvalitativna • Kakvo je iskustvo za učesnike?
analiza
podataka: Kvantitativna analiza bi se koristila da se odgovori na pitanja za koja su
Procedura koja korišteni strukturirani instrumenti prikupljanja podataka, kao što je anketa. Mogu
se koristi da se se koristiti da se odgovori na pitanja kao što su sljedeća:
analiziraju
informacije • Koji je srednji rezultat za različite grupe učesnika?
prikupljene u • Kako učesnici ocjenjuju relevantnost intervencija na skali od jedan do pet?
nenumeričkom • Koliko varijabilnosti postoji u odgovorima na stavku?
obliku, kao što
• Jesu li razlike između dvije grupe statistički značajne?
su narativni,
pisani ili
snimljeni
odgovori na Analiziranje kvalitativnih podataka
polustrukturi-
rane intervjue i
Analiza kvalitativnih podataka se koristi da se da smisao nenumeričkim
posmatranja ili
drugi dokumen-
podacima prikupljenim u evaluaciji. Analiziranje polustrukturiranih posmatranja,
ti i mediji, da bi otvorenih intervjua, pisanih dokumenata i zapisnika sa fokusnih grupa zahtijeva
se razumjelo i upotrebu kvalitativnih tehnika.
interpretiralo Analiza kvalitativnih podataka počinje još dok smo na terenu, kada se mogu
ponašanje i pojaviti neke naznake. Dio rada na terenu je bilježenje i praćenje analitičkih
situacije;
naznaka koje su nastale tokom prikupljanja podataka. Analiza i prikupljanje
procedura
uključuje podataka se trebaju preklapati sve dotle dok evaluator vodi računa da ne dozvoli
identifikaciju da početne interpretacije razgraniče analitičke mogućnosti (Tabela 10.1). Kako
tema Patton (2002, p. 436) primjećuje:

Kod prikupljanja podataka zasnovanog na anketama, standardiziranim
testovima i eksperimentalnim dizajnima, linija između prikupljanja podataka i
analize je jasna. Ali, tečna i pojavna priroda naturalističkih upita pravi razliku
mnogo manje apsolutnom između prikupljanja i analize podataka. U toku rada na
terenu ideje o pravcima analize će nastati. Obrasci dobivaju svoj oblik. Moguće
teme padaju na pamet. Pojavljuju se hipoteze koje daju informacije o daljem radu
na terenu. Dok su ranije etape rada na terenu više generativne i pojavne, kako se
krećemo tamo gdje nas informacije vode kasnije faze će donijeti zatvaranje i kre-
tati se ka potvrdnom prikupljanju podataka – produbljavajući uvid i potvrđujući
(ili ne potvrđujući) obrasce koji su se pojavili.
Ponekad se tokom analize pronađu praznine ili nejasnoće. Ako raspored,
budžet i drugi resursi dozvoljavaju, evaluator se može vratiti na teren da prikupi
još podataka kako bi se potvrdili odgovori ili izvršila nova posmatranja. Kod
prikupljanja podataka članovi tima se često sastaju dnevno ili sedmično da disku-
tiraju o nastalim temama i da prilagode protokole, kako je to naznačeno.
Tabela 10.1 Savjeti za prikupljanje i analizu kvalitativnih podataka

Zadatak Savjeti
Prikupljanje • Voditi dobre bilješke; .
podataka • Pisati intervjue, utiske i bilješke iz fokusnih grupa odmah
nakon što su podaci prikupljeni;
• Praviti stalno poređenje kako napredujemo;
• Sastajati se redovno sa timom da se uporede bilješke,
identificiraju teme i izvrše prilagođavanja;
Sažimanje • Napisati jednu stranicu sažetka odmah nakon svakog većeg
podataka intervjua ili fokusne grupe;
• Uključiti sve glavne teme;
• Identificirati najinteresantnija, poučna ili važna pitanja koja;
su razmatrana ili za koja su prikupljene informacije;
• Identificirati nova pitanja koja treba istražiti;
Korištenje alata • Izraditi poseban fajl za vlastite reakcije tokom studije,
za praćenje uključujući osjećanja, slutnje i reakcije;
• Zabilježiti ideje kako nastaju;
• Imati fajl citata iz procesa prikupljanja podataka za upotrebu
kada se prisjećamo razgovora dok pišemo izvještaj;
Pohrana • Pobrinite se da su sve informacije na jednom mjestu;
podataka • Napravite kopije svih informacija, a originale čuvajte u
centralnom fajlu;
• Koristiti kopije da na njih pišete, isijecate i lijepite po
potrebi.
Izvor: Autori.
Planiranje i provođenje analize podataka 375

Pravljenje dobrih bilješki
Kada se prikupljaju kvalitativni podaci, važno je tačno zabilježiti sva posma-

tranja; dobre bilješke su veoma bitne. To znači da se obrati posebna pažnja na
ono što ljudi kažu i na način kako to kažu. Kada pravi bilješke, evaluator treba
nastojati da ne interpretira ono što ljudi kažu. Umjesto toga treba pisati ono što
uoči, uključujući govor tijela i bilo šta što je potencijalno relevantno a desilo se
tokom prikupljanja podataka (na primjer, prekidi tokom intervjua). Evaluator
treba zabilježiti neposredne misli, reakcije i interpretacije te ih treba držati u
odvojenom dijelu bilježnice.
Važno je evaluatoru osigurati vrijeme odmah nakon intervjua, opservacije,
vježbe mapiranja ili fokusne grupe da pregleda, doda i napiše bilješke tako da
bi bilo moguće izvući smisao iz njih kasnije. Iznenađujuće je kako je teško razu-
mjeti bilješke koje smo napravili samo dan ranije, ako nisu jasno napisane.
Čak i ako je sesija snimana, evaluatori trebaju odvojiti malo vremena da pre-
liminarno urade zabilješke dok su utisci svježi. To može uštedjeti sate slušanja,
gledanja ili pregledanja zapisnika.
Triangulacija je upotreba tri ili više teorija, izvora, vrsta informacija ili vrsta
analiza da se verificira i potkrijepi procjena unakrsnom provjerom rezultata.
Triangulacija je korisna u analizi kvalitativnih podataka.
Razmotrimo, na primjer, sljedeće primjere podataka iz miješanih izvora:
• intervjui, fokusne grupe i upitnici;
• upitnici, postojeći podaci i paneli stručnjaka;
■■ Triangula
- cija: upotreba • opservacije, evidencije programa i mapiranje;
tri ili više teorija, • intervjui, dnevnici i postojeći podaci.
izvora, vrsta
informacija ili Kombinacija nalaza iz bilo koja tri izvora čini dokaz za obrazac.
vrsta analiza da
se verificira i
potkrijepi
Organiziranje kvalitativnih podataka za analizu
procjena
Nakon prikupljanja kvalitativnih podataka evaluator će dobiti puno stranica
unakrsnom
provjerom bilješki i prepisa opservacija, intervjua i ostalih izvora podataka. Organizacija i
rezultata izvlačenje smisla iz ovih informacija može biti izazovno.
Uspostavljene su smjernice kako podatke treba organizirati. Dokumentiranje
ovog procesa je važno da bi se pokazala validnost nalaza (IDRC 2008).
Da počnu organiziranja evaluatori trebaju:
• uvjeriti se da su svi podaci kompletni;
• napraviti nekoliko kopija podataka i
• organizirati podatke u različite fajlove (IDRC 2008).

Evaluator može organizirati fajlove na različite načine koristeći čvrste kopije
ili elektronske fajlove, od kojih neki mogu biti skenirani dokumenti. Neki evalu-
atori prave četiri fajla: prvi, u koji pohranjuju podatke hronološkim redom; drugi,
u kojem čuvaju analitičke fajlove ili bilješke žurnala; treći, u kojem čuvaju rele-
vantne bilješke o metodologiji istraživanja i četvrti koji sadrži kopije svih bilješki
(IDRC 2008).
Patton (2002) predstavlja druge opcije za organiziranje i izvještavanje o kvali-
tativnim podacima. Patton podsjeća evaluatore da analiza podataka treba proisteći
iz evaluacionih pitanja. Izbor organiziranja podataka treba stremiti da odgovori
na evaluaciona pitanja.
• Narativni pristupi prezentiranja podataka su hronološki (pričanje priče od
početka do kraja) ili retrospektivno (početi od kraja i ići unazad da se opiše
kako je nastupio kraj).
• Pristupi studije slučaja predstavljaju informacije o ljudima ili grupama; kritični
događaji se obično predstavljaju redoslijedom pojavljivanja.
• Analitički okviri uključuju opise procesa, osvjetljavanje ključnih pitanja
(često ekvivalentnih primarnim evaluacionim pitanjima), organizacija pitanja
i diskusije o ključnim konceptima, kao što su vodstvo nasuprot slijeđenja.
Čitanje i kodiranje kvalitativnih podataka
Identifikacija i upotreba kategorija za organiziranje informacija su početni koraci.

Sljedeći korak je čitanje podataka. Nakon nekoliko čitanja evaluator bi trebao
vidjeti potencijalne teme. Patton (2002) primjećuje da je uspostava centralnih
tema kao izrada indeksa za knjigu ili označavanje sistema fajlova. Sugerira da
evaluatori pogledaju to što imaju i svakoj temi daju ime ili oznaku. Kada su podaci
organizirani u teme, potrebno ih je kodirati (Tekstualni okvir 10.1). „Kodovi su
efikasna sredstva za označavanje podataka i pronalaženje podataka. Osnažuju i
ubrzavaju analizu“ (Miles i Huberman 1994, str. 65).
Kodiranje je iterativan proces. Iako je izrada liste kodova prije rada na terenu
korisna, evaluatori će trebati pregledati, preraditi, redefinirati, dodati a ponekad
i odbaciti podatke kako evaluacija napreduje i kako bilješke sa terena sugeriraju
više empirijski upravljane oznake.

Tekstualni okvir 10.1 Primjer kodiranja
Ono što slijedi su primjeri kodova uspostavljenih za evaluaciju obrazovnog
programa. P označava učesnike, S osoblje.
Kod: Ps Re Prog (reakcija učesnika na program)

Kod: Ps Re Ps (reakcija učesnika na druge učesnike)
Kod: Ob PP (opservacije interakcije učesnika)
Kod: Ob SS (opservacije interakcije osoblja)
Kod: Ob SP (opservacije interakcije između osoblja i učesnika)
Kod: Phil (izjave o filozofiji programa)
Kod: Prc (primjeri procesa programa)
Kod: P/outs (efekti programa na učesnike, ishod)
Kod: S-G (formiranje podgrupa)
Kod: GPrc (grupni procesi)
Kod: C! (konflikti)
Kod: C-PP (konflikti među učesnicima)
Kod: C-SP (konflikti među osobljem i učesnicima)
Kod: C-SS (konflikti među osobljem)
Ako se kodiranje obavlja manuelno, skraćenice se pišu na margine dire-

ktno pored relevantnih pasusa ili citata podataka. Pune oznake u zagradama
imaju svrhu da razdvoje fajlove koji sadrže sve slično kodirane pasuse.
Izvor: Patton 2002.
Provođenje analize sadržaja

■■ Analiza
sadržaja: Analiza kvalitativnih podataka zove se analiza sadržaja. Identificira i kodira
Vrsta sistemske
analize
prisustvo određenih riječi, fraza ili koncepata unutar teksta, govora ili dru-
kvalitativnih gih medija. To je sistemski pristup koji identificira i sažima poruke skrivene u
podataka koja podacima.
identificira i Analiza sadržaja se odnosi na analizu knjiga, brošura, prijepisa, novin-
kodovima skih izvještaja, drugih pisanih dokumenata, govora i vizuelnih medija. Primje-
obilježava
njuje se na naraciju kao i na dnevnike i žurnale kao i kvalitativne odgovore na
prisustvo
određenih riječi, otvorena pitanja u anketama, intervjuima i fokusnim grupama. Analiza sadržaja
fraza ili se može koristiti, naprimjer, da se ispitaju dječiji udžbenici da bi se odredilo da
koncepata li pokrivaju neophodni materijal za učenje određenog predmeta, je li materijal na
unutar teksta, odgovarajućem nivou čitanja i prezentiran na način konzistentan sa kontekstom u
govora i/ili
kojem djeca žive i uče. Dublja analiza bi mogla istražiti prenose li udžbenici neku
drugih medija
određenu političku poruku ili pristrasno interpretiraju historiju.

Analiza sadržaja obično počinje kodiranjem podataka. Proces pretpostavlja da
riječi i fraze koje se najčešće pojavljuju reflektiraju važne stvari. Stoga, analiza
sadržaja počinje riječima, frekvencijom, mjerenjem prostora (centimetri kolone
u slučaju novina), dodijeljenim vremenom (za radio i televiziju) i učestalošću
ključnih riječi.
■■ Konceptualna
Analiza sadržaja je daleko više od pukog prebrojavanja riječi. Možemo anali- analiza
zirati sadržaj, riječi se kodiraju i organiziraju u kategorije pogodne za obradu. sadržaja:
Kod ovih novih kategorija ispituje se učestalost odgovora i odnosi (Tekstualni Analiza koja
okvir 10.2). posmatra
Analiza sadržaja se može klasificirati u dvije vrste, konceptualna analiza učestalost
ponavljanja
i odnosna analiza. Konceptualni sadržaj posmatra učestalost pojavljivanja
odabranih
odabranih termina u tekstu. Analiza odnosnog sadržaja ide iznad određivanja termina u tekstu
učestalosti i istražuje odnose među identificiranim konceptima (Busch i ostali ■■ Odnosna
2005). analiza
Na primjer, analiza koncepta može identificirati kategorije koristeći sljedeću koncepta:
Analiza koja ide
listu:
iznad
• zajednički jezik o temi (šta se uzima zdravo za gotovo a šta trebaju razjasniti određivanja
ostali učesnici); učestalosti da
istraži odnose
između
identificiranih
koncepata
Tekstualni okvir 10.2 Upotreba analize sadržaja da se identificira

percipirana korist od ručnih pumpi
Da bi saznali kako seljani doživljavaju upotrebu ručnih pumpi za pumpanje
vode, evaluatori su intervjuirali 100 seljana. Rezultate analiziraju koristeći
sljedeći proces:
1. Čitaju svaki drugi odgovor i zapisuju svaki odgovor;

2. Odabiru najčešće odgovore i kratko navode svaki. Grupiraju svaki veći
odgovor u kategoriju. Ako, na primjer, odgovori uključuju „ručne pumpe
je puno lakše koristiti“ i „voda je uvijek čista i pumpa se nikad ne kvari“,
evaluator može identificirati sljedeće kategorije: lahkoća upotrebe, osigu-
ranje čiste vode, pouzdanost;
3. Osigurati da su sve kategorije uzajamno isključive i da će koderi biti u
mogućnosti identificirati koji odgovor pripada kojoj kategoriji;
4. Uraditi proceduru kodiranja;
5. Tabelirati učestalost svakog odgovora.
Izvor: Narayan 1996.

• vjerovanja i mitovi o zajedničkoj temi, šta je uzeto zdravo za gotovo, a šta se
osporava;
• poziv za argumente učesnika kada su njihovi pogledi osporeni;
• izvori informacija pozvanih učesnika da opravdaju svoje poglede i iskustva i
način na koji su drugi reagirali na njih;
• argumenti, izvori i vrste informacija koji stimuliraju promjene mišljenja ili
interpretaciju iskustva;
• boja glasa, govor tijela i stepen emotivnog angažmana uključenog kada
učesnici razgovaraju o temi (Catterall i Maclaran 1997).
Prema Kripendor (2004), analiza sadržaja mora odgovoriti na šest pitanja:
• Koji podaci su analizirani?
• Kako su podaci definirani?
• Iz koje populacije su uzeti podaci?
• Prema kojem kontekstu su podaci analizirani?
• Koje su granice analize?
• Šta je cilj zaključaka?
Kada se pitanja riješe, mogu se napraviti izbori o relevantnim i nerelavantnim
podacima.
Neuendorf (2006) predstavlja dijagram toka koji prikazuje proces analize
sadržaja (Ilustracija 10.1). Počinje razmatranjem teorije i razloga za analizu.
Izazov je analizu sadržaja uraditi dobro. Evaluatori trebaju biti svjesni poten-
cijalnih problema pri njenoj primjeni (Tabela 10.2).
Analiza sadržaja uz pomoć kompjutera

Ako koristimo kompjutere da izvršimo analizu sadržaja, sve informacije moraju
biti u fajlovima koje kompjuterski program može čitati. Može biti potrebno da
evaluatori unose, skeniraju ili ponovo izrade fajlove podataka.
Mnogi softverski paketi mogu pomoći da se organiziraju podaci izvedeni iz
opservacija, intervjua ili fokusnih grupa. Ovo uključuje menadžere tekstualnih
baza podataka, programe za obradu teksta i softver automatskog indeksiranja. Ovi
programi su razvijeni specijalno za rad sa tekstualnim aplikacijama. Neki od softve-
rskih programa analize sadržaja se mogu koristiti sa drugom vrstom medija.

Ilustracija 10.1 Dijagram toka za istraživanje analize sadržaja
1. Teorija i razlozi: Koji sadržaj i zašto? Imate li pitanja iz istraživanja? Hipoteze?
2. Odluke o konceptualizaciji: Koje varijable će se koristiti u studiji?

Kako ih konceptualno definirate?
3. Operativne mjere: Mjere trebaju odgovarati konceptualizaciji (internoj validnosti);

Koju jedinicu prikupljanja podataka ćete koristiti? Može postojati više od jedne jedinice;
Jesu li varijable mjerene na visokom nivou mjerenja, kategorijama koje su iscrpive i
uzajamno isključive? Apriori shema kodiranja koja opisuje sve mjere koje treba izraditi;
Vanjska validnost i validnost sadržaja se mogu procijeniti u ovom trenutku.
Manuelno kodiranje Kompjutersko kodiranje
4a. Sheme kodiranja: 4b. Sheme kodiranja: I kod kompjuterske analize

Izraditi sljedeće sadržaja potrebna je knjiga kodova – potpuno
(1) Knjigu kodova (sa svim objašnjenje rječnika i metoda njihove primjene; Možete
varijablama mjera potpuno koristiti rječnike da definirate ključne riječi; Kada se
objašnjenim) (2) Oblik kodiranja izrađuju originalni rječnici, prvo treba izraditi listu
učestalosti iz primjerka teksta i istražiti ključne
riječi i fraze.
5. Uzorkovanje: Je li moguć cenzus sadržaja? (Ako jest, idite na 6.) Kako ćete nasumično uzorkovati
podskup sadržaja (po vremenskom periodu, pitanju, stranici, kanalu ili drugim sredstvima)?
6. Obuka i početna pouzdanost: Tokom sesija obuke u kojima koderi rade

skupa ustanoviti da li se mogu složiti o kodu varijabli; Zatim, u nezavisnom
testu kodiranja zabilježite pouzdanost svake varijable; U svakoj fazi preradite
knjigu kodova/oblike kodiranja, ako je potrebno.
7b. Kodiranje (manuelno): Koristiti najmanje

7a. Kodiranje (kompjutersko): Primijeniti dva kodera kako bi se uspostavila
rječnike na uzorak teksta da se generira pouzdanost među koderima;
učestalost po jedinici za svaki rječnik; Kodiranje treba raditi nezavisno.
Uraditi provjeru nekih tačaka zbog validacije.
8. Konačna pouzdanost: Izračunajte pouzdanost za svaku varijablu.
9. Tabeliranje i izvještavanje: Može se uraditi na mnogo različitih načina; Može prikazivati brojke i
statistiku jedno po jedno ili unakrsno-tabelarno; Također se mogu koristiti trendovi.
Izvor: Neuendorf 2006. 381

Tabela 10.2 Potencijalna snaga i izazovi analize sadržaja
Potencijalna snaga Potencijalni izazovi
Posmatra direktno komunikaciju koristeći tekstove ili Može uzimati veoma mnogo vremena;
transkripte te tako dobiva centralni aspekt društvene Predmet je greške, posebno kada se odnosna
interakcije; analiza koristi da se postigne viši nivo
Može omogućiti kvantitativne i kvalitativne operacije; interpretacije;
Može osigurati vrijedan historijski/kulturni uvid Često se lišava teoretske osnove ili pokušava izvući
analizom teksta tokom vremena; smislene zaključke o odnosima i utjecajima previše
Može se koristiti za interpretaciju tekstova u takve slobodno impliciranim u studiji;
svrhe kao što je razvoj stručnih sistema (zato što Inherentno je reduktivna, posebno kada se radi sa
znanje i pravila mogu biti kodirani u terminima kompleksnim tekstovima;
eksplicitnih izjava o odnosima između koncepata); Često se sastoji samo od brojanja riječi;
Nenametljivo je sredstvo analiziranja interakcija; Često zanemaruje kontekst u kojem je nastao
Osigurava uvid u kompleksne modele ljudskog tekst, kao i stanje stvari nakon što je tekst nastao;
razmišljanja i upotrebe jezika. Teško se kompjuterizira.
Izvor: Busch i ostali 2005.
Kompjuterski softver za analizu kvalitativnih podataka (CAQDAS) —

poznat i kao softver za analizu kvalitativnih podataka (QDAS or QDA softver)
■■ Kompjuterski — traži, organizira, kategorizira i obilježava tekstualne i vizuelne podatke
softver za (Teksutalni okvir 10.3). Programi ovog tipa omogućuju evaluatorima da vizua-
analizu liziraju odnose i teoretske konstrukcije i pomažu im izgraditi teorije. Paket
kvalitativnih
uključuje Ethnograph, Qualpro, Hyperqual, Atlas-ti, QSR’s N6 (nekadašnji
podataka
(CAQDAS): NUD*IST) i NVivo 8, AnSWR, HyperRESEARCH, Qualrus, i druge.
Upotreba Web stranica Američkog udruženja za evaluaciju ima javnu sekciju za resurse.
kompjutera da Jedna od kategorija u resursima je „softver za analizu kvalitativnih podataka“.
se traže, U ovoj kategoriji nalaze se kratki opisi dostupnog softvera, često sa troškovima i
organiziraju,
obimom ili vrstom medija, kao i linkovima do stranica softver provajdera. Opisi
kategoriziraju i
obilježe podaci
također bilježe mogućnost besplatnog preuzimanja ili besplatnih testnih verzija.
Manuelna analiza kvalitativnih podataka

Porteous, Sheldrick i Stewart (1997) pružaju vrijedne sugestije za analizu
kvalitativnih podataka manuelno. Naravno, ako je prikupljena velika količina
podataka, preporučuje se upotreba kompjuterskog softvera. Počinje se priku-
pljanjem sljedećeg materijala:
• nekoliko markera (različita boja za svako evaluacijsko pitanje);
• radni list za svako evaluacijsko pitanja (Ilustracija 10.2);
• podaci, uključujući bilješke, transkripte i snimke sa intervjua ili fokusne grupe;
• alati prikupljanja za upitnike, registracijske obrasce, opservacije ili grafičke
preglede.

Tekstualni okvir 10.3 Strategije za elektronsko kodiranje podataka
Sljedeći savjeti su korisni pri upotrebi CAQDAS-a:
• Podsjetnici su najosnovniji način za bilježenje podataka. Mali elektronski

etikete omogućavaju korisnicima da obilježe podatke;
• Slobodno kodiranje omogućava evaluatorima da obilježe i dodijele kod
sekciji podataka;
• Procedure automatskog kodiranja rade na različite načine. Najčešći način
je da kompjuterski program automatski kodira rezultate pretrage. Podaci
se također mogu automatski ponovo kodirati na osnovu prethodno
određenih upita;
• Softverski generirane sugestije za kodiranje su novo svojstvo Qualrusa
gdje algoritam sugerira kodove na osnovu kodova koji su se prethodno
pojavljivali;
• Multimedijalno kodiranje koje nudi N6, HyperRESEARCH i Qualrus.
Ovi programi omogućavaju kodiranje sekvenci audio i video fajlova i
dijelova slike. Neki drugi CAQDAS programi omogućavaju povezivanje sa
eksternim multimedijalnim fajlovima;
Izvor: Loughborough University Department of Social Sciences 2007.
Ilustracija 10.2 Nepopunjen radni list za analizu kvalitativnih podataka
Tema/broj referenci Citati Nalazi
Izvor: Porteous, Sheldrick, i Stewart 1997.

Koristiti najmanje jedan radni list za svako evaluaciono pitanje. Napisati svako
evaluaciono pitanje u za to namijenjeni prostor na vrhu svakog radnog lista. Za
svako pitanje odaberite kod za identifikaciju podataka. To može biti boja olovke
ili markera ili to može biti simbol. Zabilježite boju ili simbol na drugo mjesto na
vrhu svakog radnog lista.
Da popunite radni list idite kroz bilješke i prikupljeni materijal i kodirajte
informacije koristeći sljedeću proceduru:
• Pročitajte sve kompletirane alate ili bilješke i transkripte odjednom;
• Koristite markere različitih boja za obilježavanje dijelova gdje se govori o
svakom evaluacionom pitanju;
• Vratite se i pažljivo pročitatje sve podatke koji se odnose na prvo evaluaciono
pitanje;
• U koloni „Teme“ u radnom listu napišite svako mišljenje, ideju ili osjećaj koji
se odnosi na očekivanja za to evaluaciono pitanje;
• Ostavite prostor između svake teme za praćenje učestalosti ponavljanja svake
tačke;
• Označavajte koliko puta se ponavlja mišljenje, ideja ili osjećanje;
Ostatak radnog lista uradite na sljedeći način (Ilustracija 10.3):
• Iz bilješki izvucite i umetnite citate koji najbolje predstavljaju svaku temu;
• Donesite preliminarni zaključak o određenim tačkama i zapišite ih u kolonu
„Nalazi“;
• Organizirajte nalaze prema tipu ili kategoriji;
• Koristite broj odgovora (N=x) da se dobije preciznost i osjećaj važnosti.
Kada se koriste podsjetnici pri analizi kvalitativnih podataka, cilj je običnim
riječima, frazama, temama ili obrascima sumirati šta se vidjelo ili čulo. Nove
teme se mogu pojaviti prije ili kasnije, materijal može biti potrebno ponovo čitati
da se provjeri jesu li teme zaista bile tamo od početka ali nisu primijećene zato
što njihov značaj tada nije bio jasan.
Kada identificirate riječi, pitanja, teme ili obrasce, obilježite gdje se nalaze
kako biste bili u mogućnosti ponovo ih pronaći ako bude potrebno verificirati
citate ili kontekst. Ovo može biti zamorno kada se radi prvi put, ali sa iskustvom
postaje lakše brzo locirati potencijalno važne informacije.

Ilustracija 10.3 Kompletiran
Topic/number of referencesradni list za analizu kvalitativnih podatakaFindings
Quotations
Tema/broj referenci Citati Nalazi
Parents decide on topics I think the There was a strong feeling that
Roditelji Naracija:
process of Mislim daparents should be morejak osjećaj da
će Postojao je
proces odlučivanja biti roditelji trebaju biti više
deciding would involved in the choice of topics.
vrijedan uključeni u odabir teme
be valuable.
Cover several topics per session Sometimes we Many participants (38 of 52
Pokriva nekoliko tema po sesiji Ponekad
just samo
got into a što interviewed)
dođemo Mnogi thoughtučesnici (38
there od 52
do teme,
topic and vrijeme
then it jeshould intervjuiranih)
da se be more time for smatrali su da
ide ilitime
was da se
topređe na nešto
discussion. je trebalo biti više vremena
drugo
leave or move to za diskusiju
Not enough time spent on each topic
Dovoljno vremena za temu something
Treba nam else.više vremena
za diskusiju
We need more
time to discuss.
Izvor: Porteous, Sheldrick, i Stewart 1997.
Povremeno, stav manjine je važan i treba o njemu izvijestiti. Koristiti vla-

stitu procjenu, ali uvijek objasniti da je samo jedan ili nekoliko ispitanika izrazilo
takvo mišljenje. Kako na web stranici Univerziteta West of England primjećuju:
Život je rijetko uredno spakovan u uredne svežnjeve. Postoje uvijek neke čupave
vreće, teme koje nestaju ili su nekonzistentne jedne sa drugima. Iskušenje je u kvali-
tativnom istraživanju ignorirati rasparene kategorije koje se ne uklapaju u poja-
vnu teoriju. Ovi ostaci su kao neparna čarapa koju nađete u ladici. Svi kvalitativni
istraživački projekti će imati ostatke koji prkose karakterizaciji; ne treba ih prikri-
vati na slici, nego ih treba predstaviti kao dio cjeline.
Interpretiranje kvalitativnih podataka
Evaluatori opisuju podatke i interpretiraju ih. Prije nego što kvalitativni podaci
mogu biti analizirani, treba ih jasno predstaviti na opisan način. Interpre-
tiranje podataka znači pronalaženje mogućih uzročnih veza, praveći zaključke,
pridavajući značenja i radeći sa slučajevima kontradiktornim analizi.
Mnogi ljudi se boje koristiti statistiku. Stoga postoji tendencija mišljenja da je
korištenje kvalitativnih metoda unekoliko lakša opcija.
Ustvari, dobra analiza kvalitativnih podataka zahtijeva više od oka običnog
posmatrača. Analiziranje kvalitativnih podataka može biti naporan posao koji
uzima puno vremena, ali može otkriti uvide u ponašanja ili procese koji nisu ostva-
rivi iz kvantitativnih podataka. Evaluatori trebaju planirati dovoljno vremena da
to urade dobro.

■■ Induktivna Kvalitativni metodi mogu biti moćni alati za istraživanje uzročnosti. (Izvrstan
analiza: izvor sa korak po korak uputstvom za provođenje sistemske analize kvalitativnih
Analiza
podataka je Miles i Huberman 1994.) Patton (2002) opisuje dvije vrste kvalita-
podataka koja
uključuje
tivne analize: induktivna i deduktivna. Induktivna analiza uključuje otkrivanje
otkrivanje obrazaca, tema i kategorija u podacima. Deduktivna analiza uključuje analizu
obrazaca, tema i podataka koristeći postojeći okvir. Tipično, kvalitativni podaci se induktivno ana-
kategorija liziraju u ranoj fazi (otkrivanje kategorija, obrazaca i tema). Kada se te kategorije,
■■ Deduktivna obrasci i teme uspostave, može se izvršiti deduktivna analiza. Deduktivna faza
analiza:
uključuje testiranje i potvrdu autentičnosti i prikladnosti induktivne analize.
Analiza
podataka Postoji rizik pristrasnosti kada se radi sa kvalitativnim podacima (ako se
koristeći ne koristi softver za analizu sadržaja); ljudi često vide ono što hoće vidjeti a
postojeći okvir propuštaju stvari koje se ne podudaraju sa njihovim očekivanjima. Pomaže (ali ne
popravlja baš uvijek situaciju) da još jedna osoba analizira podatke. Poređenjem
dvije analize evaluatori mogu identificirati nove teme ili naći različite načine
razumijevanja podataka.
Kada se izvještava o kvalitativnim podacima, nije uvijek moguće ili pametno
predstaviti zbir koliko procenata je kazalo ili uradilo nešto. Zato što svim
učesnicima nije postavljeno isto pitanje, teško je znati kako se svi osjećaju u vezi
sa tim pitanjem. Drugi način kontrole pristrasnosti je da dva kodera pregledaju
iste dokumente i kodiraju ih u smislu tema. Ako su evaluatori dobro obučeni a
operativne definicije i sistem ocjenjivanja jasni i unaprijed usaglašeni, oba evalu-
atora će imati visoku stopu saglasnosti pri ocjenjivanju materijala. Visok nivo
pouzdanosti među ocjenjivačima bi bio indikator kredibilnosti. Nizak nivo pouzda-
nosti među ocjenjivačima bi ukazivao na potrebu revizije operativnih definicija,
sistema ocjenjivanja ili oboje.
Tabela 10.3 sažima sugestije za organiziranje i interpretaciju kvalitativnih
podataka.
Izvještavanje o kvalitativnim podacima
Mnoge evaluacije koriste kvalitativne i kvantitativne podatke. Ako se koristi

mješoviti metod (kvalitativni i kvantitativni) pristupa prikupljanja podataka,
evaluator treba pronaći komentare koji razjašnjavaju i osvjetljavaju neke od
kvantitativnih podataka. Ako je, na primjer, 55 procenata ispitanika nezadovoljno
pristupnošću intervencije, korisno je uključiti reprezentativnu mješavinu kome-
ntara koja ilustrira izvore nezadovoljstva.
Evaluator će napraviti „citate koji se mogu citirati“. Izjave učesnika treba iza-
brati zato što jasno predstavljaju temu ili važno stajalište vrijedno naglašavanja.
Postoji snaga u ovim riječima: mnogi ljudi koji čitaju izvještaj zapamtit će citat,
ali ne stranicu opisa. Da bi se izbjegla pristrasnost, evaluatori trebaju uključiti
citate koji pokazuju više pitanja i perspektiva o istoj temi.

Tabela 10.3 Organiziranje i interpretacije kvalitativnih podataka
Zadatak Sugestije
Razviti • Koristiti teme, ideje, riječi i fraze koje se ponavljaju;
kategorije • Koristiti kategorije koje su dovoljno velike da pokriju područje
pogleda, ali ne toliko velike da budu beznačajne;
• Napraviti kategorije koje se razlikuju jedna od druge;
Kodirati • Razviti shemu kodiranja;
kategorije • Razviti pravila odlučivanja za kodiranje koje je iscrpno i jasno;
• Obučiti kodere da koriste shemu kodiranja;
Provjeriti • Provesti predtestiranje sa malim uzorkom kvalitativnih
pouzdanost podataka;
kada se • Provjeriti međusobnu pouzdanost ocjenjivača – da li ljudi mjere
koristi više od iste stvari, na isti način, dobivaju iste rezultate?
jednog
posmatrača • Ako postoje problemi, riješiti ih; zatim uraditi predtest ponovo;
Analizirati • Urediti podatke;

podatke • Razmotriti postavljanje podataka na kartice;
• Razmotriti postavljanje podataka na radni list;
• Razmotriti upotrebu kompjutera za pomoć pri analizi podataka;
• Sortirati podatke da se otkriju obrasci i teme;
Interpretirati • Kada je moguće, imati timove od najmanje dvoje ljudi za
podatke pregled i kategorizaciju podataka kako bi se poredili nalazi i
pregledali i preradili ako se razlikuju;
• Tražiti značenje i značaj u podacima;
• Povezati teme i kategorije sa procesima programa, ishoda ili sa
procesima i jednog i drugog. Prevladavaju li neke teme kada
ispitanici raspravljaju o pitanjima procesa? Jesu li neke teme
više relevantne kada ispitanici diskutiraju o pitanju ishoda?
Potražiti alternativna objašnjenja i druge načine razumijevanja
podataka;
Razmijeniti i • Razmijeniti informacije rano i često sa ključnim informatorima;
pregledati • Neka drugi pregledaju rane nacrte sa namjerom pribavljanja
informacije informacija, pitanja, drugih načina interpretacije podataka i
drugih mogućih izvora podataka;
Napisati • Opisati glavne teme (tematski pristup) ili predstaviti materijal
izvještaj kako odslikava šta se vremenom dešavalo (prirodni historijski
pristup);
• Označiti interesantne perspektive čak iako su ih primijetili samo
jedno ili dvoje ljudi;
• Ostati fokusiran: sa velikom količinom podataka lahko se izgubi;
• Uključiti samo važne informacije. Pitati se da li informacije
odgovoraju na evaluaciona pitanja i hoće li informacije biti
korisne dionicima?
Izvor: Prilagođeno od Porteous 2005.

Analiziranje kvantitativnih podataka
Analiza kvantitativnih podataka sumira numeričke informacije prikupljene

kao dio evaluacije. Evaluatori unose podatke u kompjuterski fajl podataka da
bi pomogli u organizaciji podataka ili koriste softverske pakete da analiziraju
podatke dok ih unose.
Kodiranje podataka
Kvantitativne podatke treba kodirati za analizu, to je jednostavnije uraditi

nego provesti analizu sadržaja kvalitativnih podataka. Kodiranje kvantitativnih
podataka se koristi kada podatke treba transformirati u numerički odgovor. Kodi-
ranje omogućava da se podaci obrađuju na smislen način. Podaci o karakteri-
stikama kao što su visina, težina, dob i broj dana odsustva iz škole ne trebaju
kodiranje, zato što su već brojčani. Druge vrste podataka – kao što su da li ispi-
tanik ima bankovni račun – trebaju numeričke kodove da bi se omogućila analiza.
Evaluator može kodirati odgovore koristeći 1 za da i 2 za ne.
Drugi podaci se mogu prikupiti u opsegu ili mišljenju. Recimo, na primjer, da
je pitanje „Kojoj starosnoj grupi pripadate?“ Svakoj starosnoj grupi može se dati
kod (ispod 18 = 1, 18-25 = 2, 26-35 = 3, i tako dalje). Neki savjeti za održavanje
kvantitativnih podataka mogu biti korisni (Tekstualni okvir 10.4).
Svaka osoba ili zapis zovu se „slučaj“. Fajlovi podataka su sačinjeni od vari-
jabli i vrijednosti za svaku varijablu. Varijable su svaka od stavki koju treba
analizirati.
Ekstremno je važno za evaluatore da naznače kako je svaka varijabla kodirana
i u koju kategoriju je postavljena. Kodove treba unijeti u knjigu kodova (koja
Tekstualni okvir 10.4 Savjeti za održavanje kvantitativnih

podataka
• Uvijek se uvjerite da su varijable označene;
• Uvjerite se da su rječnici podataka ažurirani za svaku promjenu naprav-
ljenu u označavanju podataka ili kodova odgovora. Dobra dokumentacija je
veoma bitna!
• Uradite sigurnosnu kopiju seta podataka za hitne slučajeve. Izradite
privremene i stalne setove podataka mudro. Razmišljajte šta uraditi ako se
podaci izgube;
• Uvijek čuvajte kopiju originalnog seta podataka.
Izvor: Child and Adolescent Health Measurement Initiative 2009.

se ponekad zove rječnik podataka). Koderi moraju imati pristup knjizi kodova i
trebaju biti obučeni da je koriste.
Čišćenje podataka
Čišćenje podataka (također se zove i ribanje podataka) je proces uklanjanja

grešaka i nedosljednosti iz podataka da bi im se popravio kvalitet (Rahm and
Do 2000).
Podaci sa greškama ili nedosljednostima se često zovu „prljavi podaci“.
Analitičari podataka procjenjuju da se polovina vremena potrebnog za analizu ■■ Čišćenje
provede u čišćenju podataka. Obično je to vrijeme potcijenjeno. Kada su podaci podataka:
Proces
čisti, analiza je jasna (P.A.N.D.A. 2000).
uklanjanja
Česti izvori grešaka u bazama podataka uključuju sljedeće: grešaka i
• nedostaju podaci nedosljednosti
iz podataka
• “neprimjenjivi“ ili prazni odgovori
kako bi im se
• greške pri kucanju kod unosa podataka popravio kvalitet
• nepravilno formatirani podaci
• pomjeranje kolone (podaci za kolonu jedne varijable unose se u susjednu
kolonu)
• krivotvoreni podaci
• greške kodiranja
• greške pri mjerenju i intervjuima
• zastarjeli podaci (P.A.N.D.A. 2000).
U nekim slučajevima ispitanici ne znaju odgovor na pitanje ili ga odbijaju dati.
U drugim slučajevima ispitanici mogu nehotice propustiti pitanje. Konvencija
koju mnogi evaluatori koriste za ovakve odgovore je sljedeća:
• ne zna = 8 i
• odbijeni ili podaci koji nedostaju = 9.
Razmotrimo, na primjer, slučaj gdje podatke u bazu podataka unosi nekoliko
različitih ljudi. Jedan koder unosi podatke koristeći velika slova, drugi unosi
početna slova prezimena velikim slovima a sve ostalo malim. Jedan koder svaku
adresu unosi kao jedan unos, drugi adresu ulice kao jedan unos, adresu grada kao
drugi i države kao treći unos. Pored toga podaci se spajaju sa podacima iz evalu-
acije provedene 10 godina ranije. Novi instrumenti istraživanja uključili su više
pitanja nego stari, tako da stariji podaci ne sadrže odgovore na mnoga od pitanja.
Još jedan problem sa podacima je da su mnogi ispitanici bili zbunjeni nekim
pitanjima. Ljudi koji su bilježili odgovore radili su što su najbolje mogli sa
ovakvim odgovorima, ali je svaki koristio drugačija pravila za kodiranje. U neko-
liko slučajeva od ispitanika je traženo da odaberu na skali od 1 do 5 koristeći
decimalne brojeve (na primjer 2,5). Neki koderi su zaokruživali takve brojeve

na bliži cijeli broj, drugi su zaokruživali na 2, a neki su odgovore tretirali kao
podatke koji nedostaju.
Svi ovi problemi uzrokovani su ljudskom greškom pri davanju odgovora
ili pri unosu podataka. Mnogi od ovih problema mogu se minimalizirati ako
se uspostave i striktno provode pravila za kodiranje podataka pri unosu. Iz tog
razloga unos podataka treba provjeriti. Evaluatori trebaju postaviti pitanja za
kodiranje odgovora i praćenje originalnih upitnika (kao referencu kada se identi-
ficiraju moguće greške). Evaluatori trebaju ispitati podatke i pokušati identifici-
rati prljave podatke.
Kada se podaci unesu, treba ih pregledati i očistiti prije analize. Razmotrimo,
na primjer, podatke zasnovane na školskoj dokumentaciji. Na pitanje o spolu
postoje samo dva moguća odgovora: 1 za muški i 2 za ženski. Ako se pronađu
drugi odgovori, moraju se smatrati greškom. Za pitanje o tome jeste li imali
fizički test jedine moguće vrijednosti bile bi 1 za da i 2 za ne, 8 za ne zna i 9
nedostaju podaci ili odgovor nije dat. Svi drugi odgovori smatrali bi se greškom
pri kodiranju. Da bi otkrio moguće greške u podacima u visini, evaluator može
pogledati vrijednosti koje su daleko iznad ili ispod očekivanih za dob učenika
(O’Rourke 2000b).
Ako postoji zabrinutost o tačnosti podataka, evaluator se može vratiti na
originalnu listu podataka da verificira tačnost (ili netačnost) kodiranih podataka.
(Chapman [2005] nudi koristan primjer principa i metoda čišćenja podataka.
Poziva se na nekoliko online resursa i dostupnih softvera. Iako se specifično bavi
pitanjima biodiverziteta, mnoge informacije su za opću upotrebu. Da bi demo-
nstrirao tehnike čišćenja podataka, Cody [n.d.] nudi vježbu. Link do ove vježbe
nalazi se na kraju ovog poglavlja.
Kompjuterski softverski programi su dostupni za čišćenje podataka. Program
provjerava podatke koji su izvan opsega. Jedan primjer je WinPure. Ključan je za
vođenje evidencije o donesenim odlukama o čišćenju podataka.
Upotreba statistike
Kvantitativni podaci se analiziraju koristeći statistiku. U ovom dijelu upozna-

jemo neke od najvažnijih statističkih koncepata koje ljudi koji provode ili čitaju
razvojne evaluacije trebaju znati.
Statističari statistiku dijele u dvije velike kategorije:
• Opisna statistika, koja (u najužoj definiciji) opisuje i sumira kvantitativne
podatke;
• Inferencijalna statistika, koja se obično koristi za analizu nasumičnih uzo-
raka podataka predviđajući opseg vrijednosti populacije za kvantitativne ili
kvalitativne varijable, na osnovu informacija za tu varijablu iz nasumičnog

uzorka. Dio predviđanja uključuje izjavu o pouzdanosti koja iznosi mogućnost ■■ Opisna
da prava vrijednost populacije leži unutar određenog opsega vrijednosti. statistika:
Statistika koja
se koristi da se
Opisna statistika
opišu i sumiraju
Obično se podaci sumiraju koristeći dvije vrste opisne statistike: kvantitativni
• Mjere centralne tendencije: način opisivanja grupe podataka da se ukaže na podaci
■■ Inferencijalna
centralnu tačku;
statistika:
• Mjere disperzije: način opisivanja grupe podataka da se ukaže koliko su Statistika koja
podaci rašireni. se koristi da se
iz uzorka
Mjere centralne tendencije. Tri mjere centralne tendencije ponekad se nazivaju donesu zaključci
tri Ms. o populaciji
Grupa podataka se često postavi u grafički oblik koji se zove distribucija ■■ Mjere
centralne
učestalosti da bi se sumirali podaci, tako da se ukaže na učestalost svake varijable
tendencije:
u grupi. Zatim se odredi centralna vrijednost koristeći jednu ili više od tri mjere Statističke
centralne tendencije: srednja, medijan i mod. mjere koje
pokazuju
Mod: najučestaliji odgovor. sličnost između
Medijan: srednja tačka vrijednosti u distribuciji – veće vrijednosti su u jednoj karakteristika
polovini, a manje u drugoj. U setovima podataka sa isto brojeva medijan se ■■ Mjere
definira kao prosjek dva srednja slučaja. disperzije:
Statističke
Sredina: zbir svih prikupljenih vrijednosti podijeljen sa brojem prikupljenih mjere koje
vrijednosti (veličina uzorka). pokazuju koliko
su različite
Dvije najčešće korištene statistike su sredina i medijan. karakteristike
Tabela 10.4 predstavlja podatke o proporciji populacije u 16 zemalja koja je
urbana. Pretpostavimo da hoćemo sumirati ove informacije i pronaći srednju
vrijednost urbanosti (prosjek) za ovu grupu zemalja. Sredina bi bila zbir urbane
proporcije podijeljeno sa brojem zemalja: (90 + 64 + 84 . . . + 93)/16 = 1141/16 =
71.3. Dva srednja slučaja ispod kojih i iznad kojih se nalazi 50 posto slučajeva su
71 i 73, što čini medijan 72 (73 + 71 = 144/2 = 72). Mod je 47.6. Primijetit ćete da
su u ovom slučaju sredina i medijan blizu, ali je mod puno drugačiji.

Tabela 10.4 Procenat urbanizacije po državama za Latinsku Ameriku i
Centralnu Ameriku
Procenat Procenat
populacije koja populacije koja živi
živi u urbanim u urbanim
Država područjima u 2007. Država područjima u 2007.
Argentina 90 Honduras 47
Bolivija 64 Meksiko 76
Brazil 84 Nikaragva 59
Čile 88 Panama 71
Kolumbija 73 Paragvaj 59
Kostarika 62 Peru 73
Ekvador 63 Urugvaj 92
■■ Nominalni
podaci: Gvatemala 47 Venecuela 93
Podaci koji
Izvor: World Bank. World Development Indicators 2008, 162-64.
spadaju u jednu
od više kategori- Koju mjeru centralne tendencije koristiti zavisi od vrste podataka: nominalni,
ja koje se ne
ordinalni ili interval/odnos (Tabela 10.5).
preklapaju, kao
što su spol, • Nominalni podaci, koji se ponekad nazivaju kategorični podaci, podaci su
religija ili zemlja
koji spadaju u jednu od više kategorija koje se ne preklapaju, kao što su spol,
porijekla
■■ Redni podaci: religija ili zemlja porijekla.
Podaci koji se • Redni podaci su podaci koji se mogu postaviti na skalu koja ima redoslijed,
mogu postaviti ali „udaljenost“ između konsekutivnih odgovora nije nužno ista. Skale koje
na rednu skalu idu od „najvažnije“ do „najmanje važno“ ili „slažem se u potpunosti“ do „ne
■■ Intervalni ili slažem se“ ilustriraju redne podatke. Rednim podacima nedostaje nulta tačka.
podaci
• Interval/odnos podaci su realni brojevi. Ovi podaci imaju nultu tačku
odnosa:
Podaci sa i fiksne intervale, kao linijar, te se mogu podijeliti i porediti sa drugim bro-
nultom tačkom i jevima odnosa.
fiksnim
intervalima, kao Za interval/odnos podatke izbor će također zavisiti od distribucije. Ako je distri-
kod linijara, koji bucija u obliku zvona, sredina, medijan i mod trebaju biti veoma blizu. U ovom
se mogu slučaju sredina bi bila najbolja mjera centralne tendencije. U suprotnom, ako u
podijeliti i rezultatima ima jako visokih i jako niskih rezultata, sredina više neće biti blizu
porediti sa
centra. U ovoj situaciji medijan bi bio bolja mjera centralne tendencije.
drugim
brojevima
odnosa Mjere disperzije. Dvije mjere se obično koriste da se mjeri raširenost kvantita-
■■ Raspon: tivnih varijabli: raspon i standard devijacije. Raspon je razlika između najviše i
Razlika između najniže vrijednosti varijable.
najviših i
najnižih
vrijednosti
varijable

Koristeći podatke iz Tabele 10.4 raspon za procenat Tabela 10.5 Preporučene mjere
urbane populacije je 93 - 47 = 46. centralne tendencije po tipu podataka
Raspon ne otkriva puno zato što je određen ekskluzi- Vrsta Najbolja mjera
podataka centralne tendencije
vno po dvije opservacije; svi drugi slučajevi se ignori-
raju. Kada su dva kraja vrijednosti ekstremna, raspon ne Nominalni Mod
pruža osjećaj gdje se nalaze ostali rezultati. Redni Mod ili medijan
Najčešće korištena mjera disperzije za interval ili Interval/Odnos Mod, medijan ili
sredina
odnos podataka je standardna devijacija. Standardna
devijacija je mjera rasprostranjenosti rezultata na bilo Izvor: Autori.
kojoj strani sredine. Što se rezultati više razlikuju od sre-
dine to će biti veći standard devijacije.
Da bismo bolje razumjeli pojam standardne devijacije, važno je razumjeti
normalnu distribuciju (Ilustracija 10.4), koja se ponekad naziva zvonolika kri- ■■ Normalna
vulja zato što ima oblik zvona. U normalnoj distribuciji većina podataka spada distribucija:
Stalna
u sredinu distribucije. Sve je manje i manje podataka na krajevima distribucije.
vjerovatnoća
Podaci nemaju uvijek normalnu distribuciju. Neke distribucije imaju ravniju distribucije koja
krivulju, druge strmiju krivulju ili krivulje koje se dižu na jednom ili drugom opisuje podatke
kraju (Ilustracija 10.5) koji se grupiraju
Standardna devijacija mjeri koliko blizu sredini su se grupirali podaci. Mjeri oko sredine
udaljenost od sredine. U normalnoj distribuciji jedna standardna devijacija od sre-
dine u bilo kojem pravcu na horizontalnoj osi zahvata oko 68 procenata podataka
(Ilustracija 10.6). Dvije standardne devijacije od sredine zahvataju približno
95 posto podataka. Tri standardne devijacije od sredine zahvataju oko 98 posto
podataka.
Ilustracija 10.4 Normalna distribucija

y
Frekvencija
x
O Vrijednost
Izvor: Autori.

Ilustracija 10.5 Nenormalne distribucije
y y y
x x x
O O O
Izvor: Autori.
Ilustracija 10.6 Standardne devijacije u normalnoj distribuciji
Sredina Jedna standaradna devijacija

od sredine
Dvije standardne devijacije

od sredine
Tri standardne devijacije

od sredine
x
O
68
95
98
Izvor: Autori.
Ako je krivulja seta podataka ravnija, standardna devijacija bi bila veća. Vrije-
dnost standardne devijacije ukazuje kako su rasprostranjeni podaci od sredine
(Tekstualni okvir 10.5).
Ako svi na testu imaju 75, sredina bi bila 75, a standardna devijacija bi bila 0.
Ako svi imaju rezultate između 70 i 80, sa srednjim rezultatom od 75, standardna
devijacija bi bila manja nego kad bi svi imali rezultat 40 i 90 (sa sredinom od 75).

Tekstualni okvir 10.5 Izračunavanje standardne devijacije
Standardna devijacija distribucije se računa ovako:
1. Izračunati sredinu za podatke;

2. Oduzeti sredinu od svake tačke podataka da se nađe devijacija;
3. Podići na kvadrat svaki rezultat devijacije;
4. Sabrati sve kvadrate devijacija;
5. Oduzeti 1 od broja tačaka podataka;
6. Podijeliti zbir svih kvadrata devijacija sa rezultatom iz koraka pet (broj
stavki na listi minus 1);
7. Izvaditi kvadratni korijen rezultata iz koraka 6.
Ovo je formula za izračunavanje standardne devijacije:
σ=
(x − x )
N −1
(x − x )
σ =
Gdje je = standardna
N −1 devijacija, =
σσ ==
( )
−xx−)i x = sredina.
( xzbir
Čak i za mali uzorak izračunavanje −1
Nstandardne devijacije uzima puno vre-
N −1
mena. Srećom, većina statističkih programa, uključujući Excel i SPSS za
Windows, može vršiti ta izračunavanja.
Drugim riječima:
Mala standardna devijacija = nema puno disperzije.
Velika standardna devijacija = puno disperzije.
Standardna devijacija je superiornija od raspona, zato što za svaki slučaj
omogućava da ima utjecaj na svoju vrijednost.
Često korištena opisna mjerenja. Ponekad pitanje traži određena prebrojavanja

(„Koliko koza imate? Koliko često koristite usluge banke?“). Odgovori na takva
pitanja se prenose apsolutno i u vidu postotaka.
Drugi put, od ljudi se traži da daju mišljenja prema skali. Na primjer,
evaluator može pitati jesu li ispitanici bili u stanju primijeniti ono što su
naučili, dajući im skalu od pet tačaka koja se kreće od „nismo nikako“ do „da
puno“. Kada se analizira ovakva vrsta podataka, treba uspostaviti pravilo za
odlučivanje: koncentrirati se na procenat onih čiji su odgovori na ekstremnim
krajevaima skale, na one koji su odgovorili na stranama srednje kategorije ili
na prosječne odgovore. Iako ne postoje čvrsta pravila, neke smjernice mogu
biti od koristi (Tekstualni okvir 10.6).

Tekstualni okvir 10.6 Smjernice za analizu kvantitativnih
podataka ankete
Sljedeće smjernice mogu pomoći evaluatorima da analiziraju kvantitativne
podatke ankete:
1. Odabrati standardni način analize podataka i dosljedno ga primjenjivati;

2. Ne kombinirati srednju kategoriju sa kategorijama sa krajeva skale;
3. Ne prikazivati „slažem se“ ili „ne slažem se“ kategoriju a da se također
ne prikazuju „u potpunosti se slažem“ ili „u potpunosti se ne slažem“
kategorije (ako su korištene);
4. Analizirati i prikazati i postotke i brojeve;
5. Osigurati ispitanike kao referentnu tačku;
6. Ako postoji malo razlike u rezultatima, postaviti mjerilo: kako izgledaju
rezultati kada je fokus na pitanja gdje je većina odgovorila sa „veoma
zadovoljni“ ili „u potpunosti se ne slažem“?
7. Zapamtite da je analiza podataka umjetnost i vještina; postaje lakše uz
trening i praksu.
Izvor: Autori.
Razmotrimo anketu klijenata zdravstvenog centra (Tabela 10.6). Jedan način

analize ovih podataka je prikazati da se polovina ispitanika slaže ili slaže u potpu-
nosti da su dobili dobru zdravstvenu njegu, a 55 procenata se slaže ili slaže u
potpunosti da je osoblje klinike voljno odgovoriti na pitanja. Međutim, 60 proce-
nata se slažu ili slažu u potpunosti da puno vremena provedu čekajući na pregled.
U ovoj analizi evaluator odlučuje prikazati kombinirane procente za odgovore:
slažem se i slažem se u potpunosti.
Ako su podaci različiti, evaluator može koristiti drugačiju strategiju.
Razmotrimo, na primjer, rezultate predstavljene u Tabeli 10.7.
Analiza u ovom slučaju može pokazati da se 80 procenata ispitanika slaže ili
slaže u potpunosti da su imali dobru zdravstvenu njegu, a 70 procenata se slaže
ili slaže u potpunosti da su puno vremena čekali na pregled. Najveća snaga ana-
lize je spremnost osoblja da odgovori na pitanja, gdje je 95 procenata ispitanika
odgovorilo da se slažu u potpunosti ili se slažu da imaju dobru zdravstvenu njegu.

Tabela 10.6 Stavovi klijenata o uslugama zdravstvene njege u lokalnoj
klinici (procenat ispitanika)
1. Imajući u vidu vaše iskustvo sa lokalnom zdravstvenom klinikom, slažete li se ili
ne sa sljedećim izjavama?
U Niti se
potpunosti slažem niti
se ne Ne se ne Slažem U potpunosti
Izjava slažem slažem se slažem se se slažem
Puno vremena
čekam na pregled 10 20 10 35 25
Osoblje je voljno
odgovoriti na moja
pitanja 5 10 30 30 25
Na klinici imam
dobru zdravstvenu
njegu 15 25 10 25 25
Izvor: Autori.
Napomena: N = 36
Tabela 10.7 Stavovi klijenata o uslugama zdravstvene njege u lokalnoj klinici (procenat
ispitanika)
1. Imajući u vidu vaše iskustvo sa lokalnom zdravstvenom klinikom, slažete li se ili ne sa
sljedećim izjavama?
U Niti se
potpunosti slažem niti
se ne Ne se ne Slažem U potpunosti
Izjava slažem slažem se slažem se se slažem
Puno vremena
čekam na pregled 50 20 10 15 5
Osoblje je voljno
odgovoriti na moja
pitanja 0 5 0 30 65
Na klinici imam
dobru zdravstvenu
njegu 0 20 0 55 25
Izvor: Autori.
Napomena: N = 36

■■ Unakrsno Opisivanje dvije varijable u isto vrijeme. Ponekad evaluator hoće opisati dvije
tabeliranje: varijable u isto vrijeme. Pretpostavimo, na primjer, da hoće opisati sastav
Spoj distribucije praktične nastave i predavanja. Za svaki čas želi znati procenat dječaka i procenat
dvije ili više
djevojčica. Analiza podataka pokazuje da praktične časove pohađa 55 procenata
varijabli, obično
predstavljeno u dječaka i 45 procenata djevojčica, a tradicionalne časove sa predavanjima pohađa
tabeli 55 procenata djevojčica i 45 procenata dječaka.
Unakrsno tabeliranje prikazuje spoj distribucije dvije ili više varijabli,
obično predstavljeno u formatu matrice, gdje frekvencija distribucije osigurava
distribuciju jedne varijable, a tabela kontingencije opisuje distribuciju dvije ili
više varijabli simultano. Svaka ćelija pokazuje procenat i broj ispitanika, što daje
određenu kombinaciju odgovora.
Podaci o pohađanju časova mogu se interpretirati kako slijedi: u ovom uzorku
■■ Nezavisna dječaci će prije (55 procenata) nego djevojčice (45 procenata) pohađati praktičnu
varijabla: nastavu. Ovi nalazi sugeriraju odnos između spolne pripadnosti i odabira časova.
Varijabla koja Ali koliko su snažni ti nalazi? Kada posmatramo mjere asocijacije, važno je
objašnjava
razumjeti koncepte nezavisnih i zavisnih varijabli.
promjenu u
drugoj (zavisnoj) Nezavisne varijable su varijable koje objašnjavaju promjenu u drugoj (zavi-
varijabli snoj) varijabli. U evaluaciji kursa obuke, na primjer, nezavisne varijable mogu
■■ Zavisna uključivati iskustvo instruktora, pozadinu učesnika, nastavni plan koji se koristi,
varijabla: dužinu obuke, korištene modalitete, i tako dalje.
Varijabla koju
Zavisne varijable su varijable koje treba objasniti. Na kursu obuke zavisne
treba objasniti
varijable mogu biti: rezultati na testu znanja, ocjene na matrici dizajna za evalu-
aciju ili poboljšanje dizajna evaluacije.
Evaluatore često interesira postoji li razlika u prosječnim vrijednostima kva-
ntitativnih varijabli za par uzoraka. Može ih, na primjer, interesirati istraživanje
pitanja kao što su sljedeća:
• Je li prosječan prinos usjeva veći nakon projekta navodnjavanja nego što je bio
prije projekta?
• Otkrivaju li ankete pacijenata u starijoj bolnici i pacijenata u bolnici izgrađenoj
u razvojnom projektu razlike u procentu pacijenata koji su zadovoljni njegom?
Evaluatori trebaju odrediti da li neke očigledne razlike ukazuju na stvarne
razlike u sredini populacije ili nasumičnoj varijaciji u uzorcima uzetim iz dvije
populacije. U statističkom testu obično se pretpostavlja da ne postoji razlika
između sredine dvije populacije (ili proporcije). Ovo pitanje je razmotreno u
dijelu o inferencijalnoj statistici.

Mjere asocijacije (ili odnosa) ukazuju koliko su varijable srodne. Jednostavne ■■ Mjere
asocijacije ne dokazuju uzrok. Mogu samo generalno sugerirati mogućnost asocijacije:
Mjere koje
uzročnog odnosa ako je mjera u asocijaciji jaka.
ukazuju koliko
Mjere asocijacije se obično prikazuju u vidu skale koja se kreće od -1 do +1. su varijable
Mjera sa pozitivnim znakom znači da se varijable mijenjaju u istom pravcu: srodne
obje idu gore ili idu dolje. Ovo se naziva direktni odnos. Savršen pozitivan
odnos bi bio +1. ■■ Direktni
odnos: Odnos
Negativni znak ukazuje da varijable imaju obrnut odnos, znači da se kreću u u kojem se
suprotnim pravcima (na primjer, kako se povećavaju godine, zdravstveni status varijable kreću u
se smanjuje). Savršen negativni odnosi bi bio -1. Što je mjera bliže nuli, odnos je istom pravcu
slabiji (odnos koji uopće ne pokazuje asocijaciju bio bi 0); što je mjera bliže +1 (obje idu gore ili
ili -1, to je odnos jači). dolje)
■■ Obrnuti
odnos: Odnos
u kojem se
Inferencijalna statistika varijable kreću u
Inferencijalna statistika omogućava evaluatorima da prave procjene o populaciji suprotnim
na osnovu nasumičnog uzorka odabranog iz te populacije. Najveća bojazan pri pravcima
korištenju nasumičnog uzorka je da rezultati ne odslikavaju neku devijaciju
uzorka i tako ne otkrivaju tačnu sliku populacije. Ako su evaluatori odabrali
različit uzorak, da li bi rezultati bili prilično slični ili prilično različiti?
Test statističkog značaja mjeri vjerovatnoću dobivanja istih rezultata ako
uistinu nije bilo razlike u populaciji u cjelini. Evaluatori ovo zovu nulta hipoteza;
uvijek se zasniva na nultoj razlici u populaciji.
Pretpostavimo anketu zasnovanu na nasumičnom uzorku ljudi u Pakistanu koja
pokazuje postojanje razlike od 5.000 rupija u godišnjem prihodu između žena i
muškaraca. Test se može izraziti na ovaj način: ako zaista ne postoji razlika u
populaciji, koja je mogućnost pronalaženja razlike od 5.000 rupija u nasumičnom
uzorku? Ako postoji 5 procenata šanse (0.05) ili manje, zaključujemo da je rezu-
ltat uzorka tačna procjena populacije, da postoji razlika od oko 5.000 rupija i da
je razlika statistički značajna.
P-vrijednost (vjerovatnoća greške) od 5 procenata znači da je evaluator 95
procenata siguran da rezultati uzorka nisu uzrok slučajnosti. To znači da su rezu-
ltati statistički značajni na 0.05 nivou.
Svi testovi statističkog značaja su djelimično zasnovani na veličini uzorka.
Ako je uzorak veoma veliki, male razlike su vjerovatno statistički značajne.
Evaluatori trebaju odlučiti jesu li razlike važne u datoj prirodi istraživanja. Tri
često korištena statistička testa su hi-kvadrat test, t-test i analiza varijacija test.
Svaki je ukratko opisan u nastavku.

■■ Hi-kvadrat Hi-kvadrat test. Iako nije najjača mjera za asocijaciju, hi-kvadrat test je jedan
test: Statistički od najpopularnijih statističkih testova, zato što ga je lahko izračunati i interpre-
test koji se
tirati. Cilj hi-kvadrat testa je odrediti razlikuju li se značajno posmatrane frekve-
koristi da se
odredi razlikuju
ncije od očekivanih slučajnih frekvencija. Ovaj test se koristi da se uporede dvije
li se posma- nominalne vrijednosti (na primjer, bračno stanje i vjersko opredjeljenje). Također
trane frekve- se koristi da se porede dvije redne varijable (odgovori prema skali) ili kombi-
ncije od nacija nominalnih i rednih varijabli.
očekivanih Hi-kvadrat statistika je zbir kontribucija iz svake od pojedinih ćelija u tabeli
slučajnih
podataka. Svaka ćelija u tabeli doprinosi nečim ukupnoj hi-kvadrat statistici.
frekvencija
Ako se data ćelija značajno razlikuje od očekivane frekvencije za tu ćeliju,
tada je kontribucija te ćelije ukupnoj hi-kvadrat statistici velika. Ako je ćelija
blizu očekivane frekvencije za tu ćeliju, tada je kontribucija te ćelije ukupnom
hi-kvadratu niska. Velika hi-kvadrat statistika ukazuje da se – negdje u tabeli-
posmatrane frekve-ncije značajno razlikuju od očekivanih frekvencija. Ne govori
nam koja ćelija (ili ćelije) uzrokuje visok hi-kvadrat, nego samo da one postoje.
Hi-kvadrat mjeri jesu li dvije varijable neovisne jedna o drugoj na osnovu
posmatranih podataka.
Hi-kvadrat test mjeri značaj unakrsnog tabeliranja. Hi-kvadrat vrijednosti
ne treba računati u procentima. Unakrsne tabele se moraju konvertirati nazad
u apsolutni zbroj (brojeve) prije nego se izvede test. Hi-kvadrat test je također
problematičan kada bilo koja ćelija ima frekvenciju manju od pet. (Za detaljnu
diskusiju o ovom pitanju pogledajte Fienberg 1980.)
■■ T-test:
Statistički test
koji se koristi da T-test
se odredi jesu li Kada su posmatrali razlike između rezultata za dvije grupe, evaluatori su
numerički procjenjivali razliku između sredine relativne raširenosti varijabiliteta njihovih
rezultati jedne rezultata. T-test radi upravo to. Koristi se da se odredi je li jedna grupa numeričkih
grupe statistički
rezultata statistički viša ili niža od druge grupe rezultata. Ova analiza je pogodna
veći ili manji od
rezultata druge kad god se sredine dviju grupa porede. Evaluatori koriste t-statistiku da porede
grupe sredinu rezultata grupe na koju je utjecao projekt sa sredinom rezultata kontrolne
grupe.
■■ Analiza Analiza varijacije (ANOVA)

varijacije: T-test je nezgrapan za upotrebu kada se poredi tri ili više grupa. Kada evalu-
(ANOVA): acija treba porediti sredine nekoliko različitih grupa u isto vrijeme, najbolje je
Statistička
tehnika za
koristiti analizu varijacije (ANOVA).
procjenu razlike ANOVA je statistička tehnika za procjenu razlika između setova podataka. Uz
između setova pomoć EXCEL-a koristi se za simultana poređenja između dvije ili više sredina
podataka da se odredi je li uočena promjena nastala usljed slučajne varijacije ili kao faktor
ili kombinacija testiranih faktora. ANOVA stoga procjenjuje kako nominalne

nezavisne varijable utječu na stalnu zavisnu varijablu. Pretpostavlja da populacija
za sve grupe koje se porede ima jednaku standardnu devijaciju (pretpostavka
homogenosti varijacije) i da su uzorci nasumično odabrani iz populacije.
Važno je provjeriti da ove pretpostavke stoje prije korištenja ANOVA-e.
Testovi u ANOVA-i su zasnovani na F-omjeru – varijaciji nastaloj pri eksperi-
mentalnom tretmanu ili efektu koji se dijeli sa varijacijom nastalom usljed
eksperimentalne greške. Nulta hipoteza je da je omjer jednak 1.0 (to jest, efekti
tretmana su isti kao eksperimentalna greška). Ova hipoteza se odbacuje ako je
F-omjer dovoljno veliki tako da je mogućnost izjednačavanja 1.0 manja nego
neki unaprijed dodijeljeni nivo, kao što je 0.05 (1 u 20).
Povezivanje kvalitativnih i kvantitativnih podataka
Miles i Huberman (1994) razmatraju kako se mogu povezati kvalitativni i kvanti-

tativni podaci. Diskusiju počinju citatom Freda Kerlingera, visoko cijenjenog kva-
ntitativnog istraživača: „Ne postoji nešto što se zove kvalitativni podaci. Sve je 1 ili
0.“ Oni zatim iznose drugačiji stav: svi podaci su u osnovi kvalitativni.
Spor u vezi sa kvantitavnim i kvalitativnim podacima traje godinama u
Sjedinjenim Državama; međutim, to generalno nije bio problem u razvoju.
Razvojne evaluacije koriste i kvantitativne i kvalitativne podatke za razumijevanje
svijeta: „kvantitet je od kvaliteta, i mjereni kvalitet je samo magnituda izražena u
svojoj mjeri“ (Miles i Huberman 1994). Kvalitativni metodi pružaju više konteksta;
kvantitativni pristupi omogućavaju generalizaciju nalaza na druge situacije.
Miles i Huberman primjećuju da povezivanje kvantitativnih i kvalitativnih
podataka u studiji dizajna omogućava evaluatoru da:
• potvrdi ili potkrijepi svaku vrstu podataka kroz triangulaciju;
• elaborira ili razvije analizu, osiguravajući više detalja i
• pokrene nove linije razmišljanja obraćanjem pažnje na iznenađenja ili para-
dokse, „okrećući ideje“ i pružajući svježi uvid.
Greene, Caracelli i Graham (1997) opisuju epistemologičnu i političku vrije-
dnost miješanja metoda u evaluaciji:
• epistemologična: nešto možemo znati bolje ako mu pristupimo sa više strana;
• politička: svi načini saznavanja su parcijalni, stoga višestruke, različite načine
saznavanja treba vrednovati i cijeniti.
Oni primjećuju da „dobro izmiješani metodi evaluacije aktivno traže različite
načine razmišljanja i vrednovanja koji zajedno rade ka boljem razumijevanju“
a „različite vrste metoda najbolje odgovaraju kada se uči o različitim vrstama
fenomena.“

Hawkins (2005) navodi sljedeće koristi upotrebe integriranog pristupa evalu-
aciji mješovitim metodom:
• Provjere konzistentnosti se mogu ugraditi procedurama triangulacije koje dozvo-
ljavaju da se urade dvije ili više nezavisnih procjena ključnih varijabli;
• Mogu se pribaviti različite perspektive. Na primjer, evaluatori mogu prihod
ili potrošnju smatrati ključnim indikatorima dobrobiti domaćinstva, ali studije
slučaja mogu otkriti da žene više brinu o ugroženosti, nemoći ili izloženosti
nasilju;
• Analize se mogu provesti na različitim nivoima. Metodi ankete mogu osigu-
rati dobru procjenu dobrostanja pojedinaca, domaćinstava i zajednica, ali su
mnogo manje efikasni kod analize društvenih procesa (na primjer, socijalni
konflikt) ili za provođenje institucionalne analize (na primjer, koliko efektivno
rade javne službe ili koliko efektivno rade u očima zajednice). Mnoge kvalita-
tivne metode su dizajnirane da analiziraju pitanja kao što su društveni procesi,
institucionalno ponašanje, društevna struktura i konflikti;
• Mogu se osigurati prilike za povratne informacije koje će evaluatorima pomoći
da interpetiraju nalaze. Izvještaji anketa često uključuju reference ka očiglednim
nekonzistentnostima u nalazima ili interesantnim razlikama između grupa koje
se ne mogu objasniti analiziranjem podataka. U većini kvantitativnih evalu-
acija, kada se završi faza prikupljanja podataka, nije moguće vratiti se na teren
i prikupiti dodatne podatke;
• Anketni evaluatori često ukazuju na upotrebu kvalitativnih metoda za provjeru
krajnosti. U mnogim slučajevima analitičari trebaju donijeti arbitrarne odluke
kao što su: treba li isključiti ispitanike čiji odgovori ukazuju na uvjete koji su
znatno iznad ili ispod norme;
• Uočene koristi od integriranih pristupa zavise od pozadine evaluatora. Iz perspe-
ktive kvantitativnog evaluatora, kvalitativna komponenta će pomoći identi-
fikaciju ključnih pitanja koja treba tretirati u evaluaciji; postavit će pitanja
tako da odgovaraju pogledima ispitanika; i pružit će informacije o socijalnom,
ekonomskom i političkom kontekstu u kojem se evaluacija obavlja. Također je
moguće vratiti se na teren i pratiti interesantne nalaze. Metodi uzorkovanja se
mogu koristiti da se omogući generaliziranje nalaza na širu populaciju. Odabir
uzorka se može koordinirati sa tekućom ili ranijom anketom tako da se nalazi
iz kvalitativnog rada mogu uporediti sa nalazima ankete. Statistička analiza se
može koristiti za kontrolu karakteristika domaćinstva i socioekonomske uvjete
različitih područja studije, tako se eliminiraju alternativna objašnjenja uočenih
promjena.

Hawkins (2005) obrazlaže kada ne koristiti pristup mješovitih metoda.
Po njemu, mještovite metode treba koristiti u sljedećim okolnostima:
• kada je neophodno detaljno razumijevanje intervencije i njenog konteksta i
• kada postoji ograničen budžet i značajna vremenska ograničenja, a triangu-
lacija može pomoći validaciji informacija prikupljenih iz različitih izvora,
gdje su korišteni različiti metodi i mali uzorci.
Mješovite metode ne treba koristiti u sljedećim okolnostima:

• Kada se na pitanja može odgovoriti korištenjem pristupa sa jednim metodom;
• Kada je potrebna generalizacija nalaza, indikatori ili mjere su neposredni;
• Kada evaluatori sa ekspertizom u odabranim metodima nisu dostupni za čitavu
studiju (bolje je koristiti samo one metode za koje je ekspertiza dostupna);
• Kada je posvećenost ključnih dionika određenoj paradigmi toliko jaka da ih
pristup mješovitim metodima neće razuvjeriti, ma koliko dobar bio;
• Kada je vrijeme za analizu i fazu interpretacije veoma ograničeno.
Sažetak
Analiza kvalitativnih podataka se koristi za nenumeričke podatke. Kvalitativni

podaci se mogu prikupljati, na primjer, upotrebom nestrukturiranih opservacija,
otvorenih intervjua, analizom pisanih dokumenata i transkripcijom fokusnih
grupa. Bilješke napravljene tokom prikupljanja kvalitativnih podataka su veoma
važne, tako da moraju biti detaljne.
Analiza sadržaja je proces za analizu kvalitativnih podataka. Analiziranje
kvalitativnih podataka je intenzivan i dugotrajan posao, ali se tako mogu otkriti
vrijedne informacije.
Nakon prikupljanja kvalitativnih podataka evaluatori ih trebaju organizirati,
podaci se mogu sortirati tako da se ukažu obrasci i sličnosti. Kada se sortiraju
(manuelno ili elektronski), podaci se mogu kodirati a zatim interpretirati.
Kvantitativni podaci se analiziraju koristeći opisnu i inferencijalnu statistiku.
Opisna statistika sumira podatke i opisuje centralnu vrijednost kroz 3 M – sre-
dina (mean), medijan i mod. Zajednička mjera disperzije je raspon i standardna
devijacija. Ostale često korištene statistike uključuju distribuciju frekvencije, pro-
cente, ocjene, razmjere i stope promjene.
Inferencijalna statistika omogućava evaluatorima da prave procjene o popu-
laciji na osnovu nasumičnog uzorka odabranog iz populacije. Uobičajeni alati
inferencijalne statistike su hi-kvadrat test, t-test i ANOVA.

Evaluatori obično koriste i kvalitativne i kvantitativne metode. Korištenje
više od jednog metoda ima mnoge koristi u mnogim slučajevima. U slučajevima
gdje se postavlja samo nekoliko pitanja na koja je relativno lahko odgovoriti,
preporučuje se jedan pristup.

Aplikacijska vježba 10.1: Kodiranje i analiziranje kvalitativnih

podataka
Prikupite nekoliko dužih novinskih članaka o razvojnim pitanjima. Koristeći

ove članke napravite tabelu, označite kolone: „članak“ i „isječak“. Zatim unesite
isječke iz članaka koje smatrate važnim. Pošto identificirate teme iz članaka, une-
site ih kao dodatni naslov kolone. Zatim označite odgovarajuću ćeliju gdje isječak
sadrži svaku temu. Narativno napišite sažetak nalaza iz članaka.
Aplikacijska vježba 10.2: Izbjegavanje čestih grešaka pri

interpretaciji kvantitativnih podataka
1. Osamdeset procenata ispitanika program smatra korisnim. Koji način bi bio

bolji da se ovi nalazi interpretiraju, „Program je koristan“ ili „Učesnici pro-
gram smatraju korisnim“? Ispitanici u anketi su trebali identificirati prepreke i
potpore programu. Šta je problem sa predstavljanjem rezultata u smislu dobrih
i loših strana?
2. Anketa od učenika traži da ocijene razne komponente kursa. Većina učenika
je svaku od komponenti ocijenila pozitivno. Šta je problem da se predstavi da
70 procenata učenika osjeća da je kurs bio uspješan?
3. Četrdeset procenata žena i 30 procenata muškaraca su za promjenu nastavnog
plana.
Je li tačno predstaviti da je većina žena za promjenu nastavnog plana?
4. Pedeset jedan procenat ispitanika je za promjene nastavnog plana. Je li tačno
predstaviti da je više od polovine ispitanika za promjenu nastavnog plana?
5. Anketu je uradilo 5 od 20 instruktora na kursu. Svih 5 je izjavilo da su dobro
pripremljeni za održavanje kursa. Je li tačno kazati da su svi instruktori bili
dobro pripremljeni? Je li tačno kazati da je 25 posto instruktora bilo dobro
pripremljeno?
6. Broj žena političkih zastupnika se povećao sa 2 na 4 u zastupništvu sa 50
osoba. Je li tačno predstaviti da je to povećanje od 100 procenata?
7. Učesnici programa obuke zaradili su 20 posto više od onih koji nisu u pro-
gramu. Je li tačno predstaviti da je program uzrokovao povećanje zarade od
20 procenata?

Aplikacijska vježba 10.3: Analiziranje rezultata upitnika
Uradite ovu anketu i neka je urade najmanje dvoje vaših kolega. Prikupite ankete
i evidentirajte rezultate. Sami ili sa drugima, sažmite rezultate u narativnom
obliku, izvedite neke zaključke o ukupnim nalazima.
1. U kojem obimu smatrate da imate analitički kapacitet da uradite sve što slijedi?
U malom
ili Veoma
nikakvom U određenom Umjerenom Velikom velikom
Vještina obimu obimu obimu obimu obimu
a. Dizajnirati
evaluaciju
b. Analizirati podatke
c. Razviti anketu
d. Provesti fokusnu
grupu
e. Održati sastanak
dionika
f. Napisati
evaluacijski
izvještaj
g. Pripremiti usmeni
brifing

2. U ovom trenutku programa obuke slažete li se ili ne sa svakom od sljedećih
izjava:
Niti se
Ne slažem
slažem se Ne niti se ne Slažem Slažem se u
Izjava uopće slažem slažem se potpunosti
a. Materijal je nov
za mene
b. Materijal je
interesantan
c. Količina
vremena
posvećena
lekcijama je
dovoljna
d. Količina
vremena
posvećena
diskusijama u
razredu je
dovoljna
e. Vježbe su
korisne
f. Učim o
materijalu koji
mogu koristiti u
svom poslu
3. Ukoliko imate neke komentare u vezi sa kursom molimo da ih napišete.

Babbie, E., F. Halley, and J. Zaino. 2000. Adventures in Social Research. Thousand Oaks,
CA: Pine Forge Press.
Busch, Carol, Paul S. De Maret, Teresa Flynn, Rachel Kellum, Sheri Le, Brad Meyers,
Matt Saunders, Robert White, and Mike Palmquist. 2005. Content Analysis. Writ-
ing@CSU, Colorado State University, Department of English, Fort Collins, CO.
http://writing.colostate.edu/guides/research/content/.
Child and Adolescent Health Measurement Initiative (CAHMI). 2006. “Promoting
Healthy Development Survey: Implementation Guidelines.” Portland, OR: Oregon
Health and Science University, Department of Pediatrics.
———. 2009. “Step 4: Monitor Survey Administration and Prepare for Analysis.”
http://www.cahmi.org.
Catterall, M., and P. Maclaran. 1997. “Focus Group Data and Qualitative Analysis
Programs: Coding the Moving Picture as Well as the Snapshots.” Sociological
Research Online 2 (1).
http://www.socresonline.org.uk/socresonline/2/1/6.html.
Chapman, Arthur D. 2005. Principles and Methods of Data Cleaning: Primary Species-
Occurrence Data. Report for the Global Biodiversity Information Facility, Version
1.0, Copenhagen.
http://www2.gbif.org/DataCleaning.pdf.
Cody, Ronald. n.d. “Data Cleaning 101.” Robert Wood Johnson Medical School,
Piscatawy, NJ.
http://www.ats.ucla.edu/stat/sas/library/nesug99/ss123.pdf.
Constable, Rolly, Marla Cowell, Sarita Zornek Crawford, David Golden, Jake Hartvig-
sen, Kathryn Morgan, Anne Mudgett, Kris Parrish, Laura Thomas, Erika Yolanda
Thompson, Rosie Turner, and Mike Palmquist. 2005. Ethnography, Observational
Research, and Narrative Inquiry. Writing@CSU, Colorado State University, Depart-
ment of English, Fort Collins, CO.
http://writing.colostate.edu/guides/research/observe/.
Dehejia, Rajeev H., and Sadek Wahba. 2002. “Propensity Score-Matching Methods for
Nonexperimenal Causal Studies.” Review of Economics and Statistics 84 (1): 151–61.
http://www.nber.org/~rdehejia/papers/matching.pdf.
Denzin, N., and Y. Lincoln, eds. 2000. Handbook of Qualitative Research. 2nd ed. Thou-
Fienberg, S. E. 1980. The Analysis of Cross-Classified Categorical Data. 2nd ed. Cam-
bridge, MA: MIT Press.
Firestone, W. 1987. “Meaning in Method: The Rhetoric of Quantitative and Qualitative
Research.” Educational Researcher 16 (7): 16–21.
http://edr.sagepub.com/cgi/content/abstract/16/7/16.
Gao, Jie, Michael Langberg, and Lenard J. Schulman. 2006. Analysis of Incomplete Data
and an Intrinsic-Dimension Helly Theorem.
http://www.cs.sunysb.edu/~jgao/paper/clustering_lines.pdf.
Glass, G., and K. Hopkins. 1996. Statistical Methods in Education and Psychology. 3rd
ed. Boston: Allyn and Bacon.

Greene, J. C., and V. J Caracelli. 1997. Advances in Mixed Method Evaluation:
The Challenges and Benefits of Integrating Diverse Paradigms. New Directions for
Greene, J. C., V. J. Caracelli, and W. F. Graham. 1989. “Toward a Conceptual Framework
for Mixed-Method Evaluation Designs.” Educational Evaluation and Policy Analysis
11 (3) 255–74.
Hawkins, Penny. 2005. “Thinking about Mixed Method Evaluation.” International Pro-
gram for Development Evaluation Training (IPDET) presentation, Ottawa, July.
IDRC (International Development Research Centre). 2008. Qualitative Research for
Tobacco Control, Module 6: Qualitative Data Analysis. Ottawa, Canada.
http://www.idrc.ca/en/ev-106563-201-1-DO_TOPIC.html.
Jaeger, R. M. 1990. Statistics: A Spectator Sport. 2nd ed. Thousand Oaks, CA: Sage
Publications.
Krippendorf, Klaus. 2004. Content Analysis: An Introduction to Its Methodology. 2nd ed.
Loughborough University Department of Social Sciences. 2007. New Methods for the
Analysis of Media Content. CAQDAS: A Primer. Leicestershire, United Kingdom.
http://www.lboro.ac.uk/research/mmethods/research/software/caqdas_
primer.html#what.
Miles, Mathew. B., and A. Michael Huberman. 1994. Qualitative Data Analysis an
Expanded Sourcebook. 2nd ed. Thousand Oaks, CA: Sage Publications.
Morse, Janice M., and Lyn Richards. 2002. “The Integrity of Qualitative Research.” In
Read Me First for a User’s Guide to Qualitative Methods, ed. J. M. Morse and
L. Richards, 25–46. Thousand Oaks, CA: Sage Publications.
Narayan, Deepa. 1996. “Toward Participatory Research.” World Bank Technical Paper
307, Washington, DC.
http://www-wds.worldbank.org/external/default/WDSContentServer/WDSP/
IB/1996/04/01/000009265_3980625172923/Rendered/PDF/multi0page.pdf.
NCSTE (Chinese National Centre for Science and Technology Evaluation), and IOB
(Policy and Operations Evaluation Department. 2006. Country-Led Joint Evalu-
ation of the ORET/MILIEV Programme in China. Amsterdam: Aksant Academic
Publishers.
Neuendorf, Kimberly A. 2006. The Content Analysis Guidebook Online.
http://academic.csuohio.edu/kneuendorf/content/index.htm.
O’Rourke, Thomas W. 2000a. “Data Analysis: The Art and Science of Coding and Enter-
ing Data.” American Journal of Health Studies 16 (3): 164–66.
http://Findarticles.com/p/articles/mi_m0CTG/is_3_16/ai_72731731.
———. 2000b. “Techniques for Screening and Cleaning Data for Analysis.” American
Journal of Health Studies 16: 217–19.
http://Findarticles.com/p/articles/mi_m0CTG/is_4_16/ai_83076574.
P.A.N.D.A. (Practical Analysis of Nutritional Data). 2000. “Chapter 2: Data Cleaning.”
http://www.tulane.edu/~panda2/Analysis2/datclean/dataclean.htm.
Patton, Michael. Q. 2002. Qualitative Research and Evaluation Methods. 3rd ed. Thou-

Porteous, Nancy. 2005. “A Blueprint for Public Health Management: The ToolKit’s
Approach to Program Evaluation.” Presentation at the International Program for
Development Evaluation Training, June–July 2005. Ottawa, Ontario.
Kit: A Blueprint for Public Health Management. Ottawa-Carleton Health Department,
Ottawa.
http://www.phac-aspc.gc.ca/php-psp/tookit.html.
Rahm, Erhard, and Hong Hai Do. 2000. “Data Cleaning: Problems and Current
Approaches.” University of Leipzig, Germany.
http://homepages.inf.ed.ac.uk/wenfei/tdd/reading/cleaning.pdf.
Rossman, G. B., and B. L. Wilson. 1994. “Numbers and Words Revisited: Being ‘Shame-
lessly Methodologically Eclectic.’” Quality and Quantity 28: 315–27.
Sieber, S. D. 1973. “The Integration of Fieldwork and Survey Methods.” American Jour-
nal of Sociology 78 (6):1335–59.
Smith, J. A. 1991. The Idea Brokers: Think Tanks and the Rise of the New Policy Elite.
New York: Free Press.
StatSoft. 2008. Electronic Textbook. http://www.statsoft.com/textbook/glosp.html.
Stemler, Steve 2001. “An Overview of Content Analysis.” Practical Assessment,
Research & Evaluation 7 (17).
Swimmer, Gene. 2006. “Qualitative Data Analysis, Part I.” IPDET Handbook 2005.
International Program for Development Evaluation Training (IPDET) presentation,
Ottawa, July.
University of the West of England. 2006. Analysis of Textual Data. Bristol.
http://hsc.uwe.ac.uk/dataanalysis/qualTextData.asp.
U.S. GAO (General Accounting Office). 1996. Content Analysis: A Methodology for
Structuring and Analyzing Written Material. GAO/PEMD-10.3.1. Washington, DC.
(Available free of charge.)
Washington State University. 2000. A Field Guide to Experimental Designs: What Is an
ANOVA? Tree Fruit Research and Extension Center. Wenatchee, WA.
http://www.tfrec.wsu.edu/ANOVA/basic.html.
Weber, Robert Philip 1990. Basic Content Analysis. 2nd ed. Thousand Oaks, CA: Sage
Publications.
Weiss, Christopher, and Kristen Sosulski. 2003. Quantitative Methods in Social Science:
QMSS E-lessons. Columbia Center for New Media Teaching and Learning, Columbia
University, New York.
http://www.columbia.edu/ccnmtl/projects/qmss/anova_about.html.
Wolcott, H. F. 1990. “On Seeking—and Rejecting—Validity in Qualitative Research.” In
Qualitative Inquiry in Education: The Continuing Debate, eds. E. W. Eisner and A.
Peshkin, 121–52. New York: Teachers College Press.

Web stranice
Online tekstovi i vodiči

CAQDAS (Computer-Assisted Qualitative Data Analysis Software). 2008. http://caqdas.
soc.surrey.ac.uk/.
Lane, D. M. Hyperstat Online Textbook. http://davidmlane.com/hyperstat/index
.html.
Statistics at Square One. http://bmj.bmjjournals.com/collections/statsbk/index
.shtml.
Stat Primer. http://www2.sjsu.edu/faculty/gerstman/Stat Primer.
Kompjuterski softveri i kvalitativni podaci

AEA (American Evaluation Association). http://www.eval.org/Resources/QDA.htm.
AnSWR. http://www.cdc.gov/hiv/topics/surveillance/resources/software/answr/index.htm
(developer site), http://www.cdc.gov/hiv/software/answr/ver3d.htm (free download
site).
Atlas-ti. http://www.atlasti.com/.
CDC EZ-Text. http://www.cdc.gov/hiv/topics/surveillance/resources/software/
ez-text/index.htm (developer site), http://www.cdc.gov/hiv/software/ez-text.htm (free
trial download site)
Ethnograph. http://www.qualisresearch.com/default.htm.
Friese, Susanne. 2004. Overview/Summary of Qualitative Software Programs. http://
www.quarc.de/software_overview_table.pdf.
Hyperqual. http://home.satx.rr.com/hyperqual/.
QSR Software. NVivo 8. http://www.qsrinternational.com/.
Qualpro. http://www.qualproinc.com/.
Kompjuterski softveri
SPSS. http://www.spss.com.
OpenStat. Version 4. http://www.statpages.org/miller/openstat/.
Tutorial for SPSS v. 11.5. http://www.datastep.com/SPSSTraining.html/.
Getting Started with SPSS for Windows. http://www.indiana.edu/~statmath/stat/spss/
win/.
WinPure. Data Cleaning Software. http://www.winpure.com.
Primjeri analize podataka

Carleton University. Canadian Foreign Policy Journal. http://www.carleton.ca/npsia/
cfpj.
IISD (International Institute for Sustainable Development). http://www.iisd.org/measure/
default.htm.

IMF (International Monetary Fund). http://www.imf.org/external/pubs/res/index
.htm.
———. http://www.imf.org/external/np/sta/index.htm.
North-South Institute. http://www.nsi-ins.ca/ensi/research/index.html.
OECD (Organisation for Economic Co-operation and Development). http://www
.oecd.org/dac/.
UNDP (United Nations Development Programme). Human Development Report 2002.
http://www.undp.org/hdr2002.
UNEP (United Nations Environmental Programme). http://www.grid.unep.ch.
UNESCO (United Nations Educational, Scientific, and Cultural Organization). http://
www.uis.unesco.org/en/stats/stats0.htm.
UNHCR (United Nations High Commission for Refugees). http://www.unhcr.ch/cgi-bin/
texis/vtx/home.
UNSD (United Nations Statistics Division). http://unstats.un.org/unsd/databases
.htm.
USAID (U.S. Agency for International Development.) http://www.usaid.gov/educ_train-
ing/ged.html.
———. http://www.dec.org/partners/eval.cfm.
U.S. Census Bureau. http://www.census.gov/ipc/www/idbnew.html.
WHO (World Health Organization). http://www.who.int/health-systems-performance.
———. Statistical Information System (WHOSIS). http://www.who.int/topics/statistics/
en/.
World Bank. http://www.worldbank.org/data.
———. World Development Indicators 2005. http://worldbank.org/data/wdi2005.

SUOČAVANJE SA
IZAZOVIMA
“Kada radimo najbolje što možemo, nikad ne možemo znati koje čudo
će se desiti u našem životu ili u životu drugih.“
—HELEN KELLER
Poglavlje 11: Evaluacija kompleksnih intervencija

• Šira slika razvojne evaluacije
• Združene evaluacije
• Evaluacije državnog programa
• Evaluacije sektorskih programa
• Tematske evaluacije
• Evaluacija globalnih i regionalnih partnerskih programa
POGLAVLJE 11
Evaluacija kompleksnih
intervencija
Razvojne intervencije postaju sve kompleksnije stvarajući nove izazo-

ve, očekivanja, paradigme borbe sa siromaštvom, metode i klijente za
evaluatore. Ovo poglavlje razmatra evaluaciju na združenom, državnom,
tematskom, sektorskom i globalnom nivou.
Ovo poglavlje ima šest glavnih dijelova:

• Šira slika razvojne evaluacije
• Združene evaluacije
• Evaluacije državnog programa
• Evaluacije sektorskog programa
• Tematske evaluacije
• Evaluacije globalnih i regionalnih partnerskih programa
415
Šira slika razvojne evaluacije
Evaluacija ponekad mora posmatrati širu sliku. To znači da treba ići iznad eva-
luacije jednog projekta, programa ili politike da bi se također evaluirali srodni
projekti, programi i politike.
Pogled na širu sliku može se baviti ukupnim iskustvom i utjecajem razvojnih
intervencija unutar sektora, kao što je zdravstveni, obrazovni ili sektor transpo-
rta. Ministarstvo, na primjer, može htjeti odrediti ukupni utjecaj intervencije
kao i lekcije koje će se naučiti iz intervencije čiji je cilj poboljšati dobrostanje
djece ili žena; donator će možda htjeti ispitati efektivnost strategije obrazovnog
sektora.
Sve više, kao reakcija na Parisku deklaraciju i Accra Accord, donatorski pro-
grami se zasnivaju na sektorskim pristupima (SWAps). Kompleksni ekonomski,
politički i društveni faktori utječu na razvojne aktivnosti i evaluacije. Razvoj i
razvojne evaluacije sve više postaju pluralistički poduhvati, uključujući učešće
nevladinih sudionika, kao što je privatni sektor, neprofitne implementacije i
zastupničke agencije, te civilno društvo u cjelini.
Razvojne intervencije se ne kreću po linearnom lancu. Iako postoje „ako-
onda“ razlozi iza razvojne intervencije, mnogi faktori – ekonomski, politički,
klimatski i socijalni – uzajamno djeluju na program te mogu utjecati na njegov
ishod. Evaluatori trebaju identificirati ove faktore i dizajnirati evaluacije koje
izdvajaju utjecaj.
Kako se kompleksnost evaluacije povećava, interakcija ovih faktora također
postaje kompleksnija. Države i njihovi partneri nastoje odrediti kumulativne
efekte prikupljanja promjena u sektoru, u državi, ili poprečnom presjeku pitanja
kao što su klimatske promjene.
Evaluatori trebaju upravljati evaluacijama prema ovim kompleksnostima.
Ali, kompleksnost evaluacija se ne povećava jednostavno zbog proširenja
djelokruga onog što se evaluira. Uz povećanu svijest o teretu evaluacije na
slabe kapacitete države, Pariska deklaracija i Accra Accord su pojačale potrebu
za multipartnerskim evaluacijama kvaliteta pomoći u državi i evaluaciju rezu-
ltata te pomoći.
Razvoj je evoluirao ka opsežnijem programu, sve se više bavi reformom
državne politike, izgradnjom kapaciteta i globalnim pitanjima. S druge strane,
evaluacija je proširena ka:
• preusmjeravanju fokusa sa nivoa projekta, programa ili aktivnosti na nivo
države, sektora, tematski nivo, regionalni ili globalni;

• određivanju najboljeg načina skupljanja ishoda intervencije na državnom
nivou i nivou aktivnosti kako bi se mogli procijeniti globalni rezultati ili rezu-
ltati čitavog programa;
• pronalaženju načina da se procijeni utjecaj dizajna programa, pristupa partne-
rstva i upravljanja ukupnim rezultatima;
• traženju mogućnosti repliciranja na viši nivo i mogućnosti primjene na siste-
mski nivo (Heath, Grasso i Johnson 2005).
Državne evaluacije su jedan način da se dobije ukupno razumijevanje onog što
se događa i da se osigura uvid u ukupne efekte i iskustvo razvoja unutar države.
Ali kako provesti ove evaluacije nije uvijek tako jasno. Sektorske ili tematske
evaluacije – jedne ili više država – također mogu otkriti širu sliku. Pri njiho-
vom provođenju uglavnom se koristi više metoda, uključujući neke kombinacije
dostupnih podataka, intervjua, terenskih posjeta, anketa i fokusnih grupa.
U ovom poglavlju posmatramo pet vrsta pogleda na širu sliku:
• združene evaluacije;
• evaluacije državnih programa;
• evaluacije sektorskih programa;
• tematske evaluacije i
• evaluacije programa globalnog i regionalnog partnerstva.
Združene evaluacije
Združene evaluacije: Evaluacije u kojima učestvuje više od jedne organizacije ■■ Združene

evaluacije su
Postoje različiti stupnjevi „združivanja“, ovisno od opsega u kojem pojedini evaluacije u
partneri sarađuju u procesu evaluacije, spajaju resurse evaluacije i kombiniraju kojima
izvještavanje o evaluaciji. Združene evaluacije mogu pomoći pri prevladavanju učestvuje više
problema atribucije u procjeni efektivnosti programa i strategija, kompleme- od jedne
ntarnosti napora koje podržavaju različiti partneri, kvaliteta koordinacije pomoći, i organizacije
tako dalje (OECD 2002, str. 26).
Združene evaluacije se provode još od ranih 1990-tih. Kvalitet i broj združenih

evaluacija je povećan od izdavanja Pariske deklaracije 2005. i Accra Accorda
2008. Međutim, zamišljeni koncept oslanjanja na državne sisteme za podatke
zasnovane na rezultatima je i dalje slab. Evaluacija Pariske deklaracije ukazuje da
se združene evaluacije povećavaju, a sve više ih je boljeg kvaliteta i korisnije su.
Međutim, donatori koji nisu u mogućnosti računati na robusne državne sisteme
za podatke, još se suočavaju sa pritiskom da izvještavaju o rezultatima prema
vlastitim sistemima. Združene evaluacije mogu provoditi:
Evaluacija kompleksnih intervencija 417

• donator + donator;
• donator + država partner;
• multidonatori + multipartneri i
• partner + partner (Chen i Slot 2007).
Breier (2005) identificira tipologiju za združene evaluacije zasnovane na
modelu rada. Prema klasičnom multipartnerskom uređenju, mogu učestvovati svi
zainteresirani partneri koji aktivno učestvuju i doprinose pod jednakim uvjetima.
Prema kvalificiranom multipartnerskom uređenju, učešće je dozvoljeno samo
onima koji zadovoljavaju određene uvjete, kao što su npr. pripadnost određenoj
grupi (kao što je Evropska unija) ili onima koji imaju visok ulog u predmetu koji
se evaluira.
Planiranje združene evaluacije je kritično za njen uspjeh. Prema Breieru:
Jedna od skoro univerzalnih lekcija naučenih iz skorijeg iskustva sa združenim
evaluacijama je da je njihov imperativ omogućiti dovoljno vremena na početku
procesa da se razvije i usaglasi okvir zajedničkog razumijevanja predložene svrhe,
ciljeva, fokusa i djelokruga evaluacije. Kada se ovo ne uradi u neophodnom vre-
menu i strpljivo, kao što je to slučaj u brojnim analiziranim evaluacijama, postoji
velika šansa da će proces evaluacije kasnije naići na poteškoće. (2005, str. 40)
Kada združena evaluacija uključuje samo nekoliko agencija, struktura

menadžmenta može biti jednostavna:
• Evaluatori mogu odlučiti da se redovno sastaju i učestvuju u svim odlukama
upravljanja;
• Evaluatori mogu odlučiti da sve agencije budu jednako uključene u mena-
džment, ali da se jedna ili više agencija postave u ulogu voditelja;
• Evaluatori mogu odlučiti da delegiraju odgovornost upravljanja jednoj
agenciji omogućavajući drugim agencijama da pregledaju ključne ishode
(OECD 2006).
Za veće združene evaluacije najčešća struktura menadžmenta je:
Dvorazinski sistem, koji se sastoji od (a) upravnog komiteta šireg članstva i (b) manje
menadžment grupe koja vodi svakodnevni posao evaluacije. Unutar ove strukture
postoji značajna sloboda odlučivanja o tome hoće li neke agencije učestvovati kao
tihi partneri, na kojem nivou detalja će upravni komitet biti uključen u donošenje
odluka i koliko partnera treba biti u menadžment grupi i koliko odgovornosti će im
biti dodijeljeno. (OECD 2006, str. 20)
Druga opcija je fleksibilni decentralizirani pristup. Svaka agencija može

upravljati diskretnim potkomponentama ukupne evaluacije u nekoj vrsti slagalice.
Također je moguće usvojiti mješoviti pristup u kojem se neki dijelovi obrađuju
združeno a druge opet poduzimaju određeni partneri (OECD 2006).

Decentralizirana i centralizirana struktura imaju svoje snage i slabosti.
Decentralizirani menadžment evaluacije olakšava delegiranje ili raspodjelu
odgovornosti, rezultirajući efikasnijim procesom upravljanja. Decentralizirane
strukture, međutim, također mogu kreirati dupliciranje napora ili uzrokovati
propuštanje važnih pitanja. Upotreba decentralizirane strukture menadžmenta
omogućava svakom partneru utjecaj na sve komponente evaluacionog procesa,
ali ono što nedostaje je osjećaj vlasništva i urgentnosti koja dolazi sa decentra-
liziranom strategijom. Partneri trebaju razmotriti pluseve i minuse svake stru-
kture a zatim odlučiti koja najbolje odgovara potrebama evaluacije.
DAC identificira sljedeća ključna područja o kojima evaluacioni partneri
moraju postići saglasnost:
• osnovna pravila za upravljanje evaluacijom;
• opis poslova za evaluaciju;
• tehnike prikupljanja i analiziranja podataka;
• načini odabira evaluacionog tima (ponude i ugovori);
• budžetiranje, troškovi i finansiranje i
• predstavljanje nalaza, uključujući pravila objelodanjivanja (OECD 2006).
Breier (2005) razmatra načine suočavanja sa pravnim pitanjima za združenu
evaluaciju. Ta pitanja uključuju sljedeće:
• ugovorne potrebe raznih partnera;
• usaglašavanje procedura koje normalno odslikavaju pravni sistem, uvjeti i
uspostavljena praksa agencije koja preuzima vodstvo u interesu grupe;
• paušalne sporazume nasuprot napravljenim ugovorima, uključujući klauze
prekida (zbog loše izvedbe);
• odredbe o dostavi izvještaja o napretku koji pokazuju da se sredstva troše
namjenski.
Kada se postavi formalna struktura i osnovna pravila, vodstvo združene
evaluacije se treba okrenuti ka operativnim i upravnim pitanjima. Freeman
(2007) opisuje 16 pravila za organiziranje i upravljanje eksternim evaluacionim
timom (Tabela 11.1). Još jedan vrijedan resurs je DAC-ov Vodič za upravljanje
združenim evaluacijama (Guidance for Managing Joint Evaluations). (Link do
web stranice nalazi se na kraju ovog poglavlja.)

Tabela 11.1 Odabir i upravljanje eksternim evaluacionim timom i predstavljanje rezultata
Tema Pravilo
Odabir eksternog • Osigurati da je osnovna stručnost u kompleksnim evaluacijama velikih razmjera
evaluacionog razvojne saradnje što solidnija.
tima • Da organizacija bude što je moguće jednostavnija i kad god je to moguće da se
radi sa organizacijom s kojom ste radili prije.
• Integrirati državne konsultante u međunarodni konkurenti proces ponuda i
uključiti ih u metodologiju odabira i dizajna.
• U studijama više država neka svaki tim na terenu kombinira resurse iz različitih
organizacija u konzorcij, a ne da se svaka organizacija specijalizira geografski ili
institucionalno.
Upravljanje • Razjasniti opredjeljenje za evaluaciju na nivou odbora glavne eksterne
eksternim evaluacione organizacije.
evaluacionim • Održati evaluacione timske radionice za razvoj zajedničkog pristupa mjerama i
timom izvještavanju.
• Kad god je moguće, napraviti menadžment grupu koja je odgovorna glavnom
upravnom odboru evaluacije.
• Omogućiti dovoljno vremena na sastancima upravnog odbora za punu diskusiju i
pronalaženje zajedničkih pozicija.
• U združenim evaluacijama osigurati da eksterni evaluatori rade otvoreno i
transparentno i direktno povezuju metode sa prikupljenim dokazima, nalazima,
zaključcima i preporukama.
• Kod pregovora o dodatnim resursima, kada je to potrebno, neka evaluacioni tim i
upravna grupa počnu tako što će se usaglasiti o raspodjeli posla koji treba
poduzeti kao rezultat originalnog ugovora (i koristeći originalnu omotnicu resursa)
i posla koji je rezultat novih pitanja i interesa ili pitanja koja su nastala kao rezultat
nepredvidivih okolnosti. Da bi to uradio tim treba pripremiti detaljne vremenski
vezane planove za svaki novi potrebni posao.
Organiziranje • Osigurati da je vodeća organizacija u konzorciju veoma predana i da će pratiti
eksternog evidenciju evaluacije međunarodne razvojne saradnje. Projekt treba prirodno
menadžment odgovarati svom osnovnom poslovanju i tržištu.
tima • Osigurati da dionici održe snažnu pozitivnu orijentaciju tokom operacije.
• Osigurati da eksterni evaluacioni tim koji radi sa svim članovima upravnog odbora
izbjegava demonstraciju institucionalne pristrasnosti i da se ponaša kao da su svi
jednaki.
• Uložiti znatan dio budžeta u diseminaciju i popratne aktivnosti.
Predstavljanje • Predstaviti preliminarne nalaze prije predstavljanja samog nacrta izvještaja.
rezultata • Neka evaluatori i članovi upravnog odbora diskutiraju o nacrtu otvorenih stavova
eksternog ka poboljšanjima koja se mogu napraviti, pritom osigurati da su evaluatori u
menadžment mogućnosti i voljni održati objektivnu odgovornost za nalaze i zaključke
tima evaluacije.
Izvor: Zasnovano na Freeman 2007.

Evaluacije državnih programa
Pogled na širu sliku se često fokusira na državnu pomoć. Program državne evalu- ■■ Evaluacije
acije (koji se ponekad naziva evaluacija državne pomoći ili evaluacija državnog državnih
programa) procjenjuje cjelokupni program pomoći jednoj državi. programa:
Evaluacija
Evaluacija državnog programa je velikim dijelom normativna studija kojom se
čitavog
poredi ono što je urađeno sa onim što je planirano. Može nastojati da: programa
pomoći jednoj
• procijeni stratešku relevantnost programa državne pomoći u odnosu na potrebe
državi
države;
• testira implementaciju širokih ishoda agencije da se odredi jesu li namjeravani
ishodi ostvareni;
• identificira uspjehe i neuspjehe u različitim sektorima ili različitim pristupima
koji se koriste u državi i da identificira faktore koji doprinose učinku i
• identificira efektivnost donatorske pomoći datoj državi (OECD 1999).
Evaluacije državne pomoći se obično fokusiraju na DAC kriterije releva-
ntnosti, efikasnosti, utjecaja i održivosti. Mogu posmatrati djelovanje donatora,
djelovanje države ili djelovanje i jednog i drugog (Tekstualni okvir 11.1).
Evaluacije državnih programa mogu se suočavati sa značajnim izazovima:
• Ukupnoj državnoj pomoći mogu nedostajati suvisli ciljevi i dobro artikulirani
ishodi, te se umjesto toga reflektira oportunistički pristup;
• Slične razvojne intervencije se mogu finansirati iz nekoliko izvora, otežavajući
tako atribuciju. (Napomena: sufinansiranje je jedna stvar; donatori koji finansi-
raju slične intervencije druga.)
• Obično ne postoji mapiranje unutar državne pomoći, što čini težim da se zna
šta ostali rade u području intervencije;
• Kao i u bilo kojoj evaluaciji, „reputacija je u pitanju a strah od posljedica može
ugroziti moral i predanost osoblja i partnera programu. Evaluacija državnog
programa, kao i svaka evaluacija, mora se provoditi sa osjećajem.“ (OECD,
1999, str .18).
DAC mreža razvojnih evaluacija daje sljedeće preporuke:
• Veći dio evaluacije treba obaviti združeno, uz puno i aktivno učešće primalaca
pomoći i drugih partnera;
• Zemlje u razvoju trebaju pokazati veću inicijativu u preuzimanju vodstva u
planiranju, koordinaciji i rasporedu evaluacija;
• Zemlje u razvoju treba podržati da izgrade institucionalne kapacitete za pokre-
tanje i vođenje združenih evaluacija;

Tekstualni okvir 11.1 Primjer metodologije evaluacije državnog programa
Od 1995. Nezavisna evaluaciona grupa (IEG) Svjetske banke preduzela je više od 70 evaluacija
državnih programa i razvila jasno artikuliranu metodologiju (World Bank 2008). IEG metodologija
evaluacije je „od dna do vrha i od vrha do dna“ pristup. Za svaki od glavnih ciljeva evaluacija
državne pomoći evaluira:
• relevantnost ciljeva;
• relevantnost strategije banke ka ostvarenju cilja, uključujući balans između kreditnih i nekredit-
nih instrumenata;
• efikasnost kojom je strategija implementirana i
• ostvarene rezultate.
Evaluacija se provodi u dva koraka. Prvi je pregled od vrha do dna je li program banke ostvario
određene ciljeve banke ili planirani ishod i je li imao dovoljan utjecaj na razvoj zemlje. Drugi pregled
je pregled od dna prema vrhu proizvoda i usluga banke (kreditiranje, analitičke i usluge savje-
tovanja, te koordinacija pomoći) koje su korištene da se ostvare ciljevi. Ova dva koraka skupa testi-
raju konzistentnost nalaza iz proizvoda i usluga i dimenzija razvojnog utjecaja. Nakon toga vrši se
procjena relativnog doprinosa rezultatima koje je ostvarila banka, drugi donatori, vlada i egzogeni
faktori.
Kada IEG evaluira očekivani utjecaj razvoja na program pomoći, mjeri stepen u kojem su glavni
strateški ciljevi bili relevantni i ostvareni. Tipično, programi izražavaju svoje ciljeve koristeći ciljeve
višeg reda, kao što su Milenijski razvojni ciljevi i smanjenje siromaštva. Strategija državne pomoći
također može postaviti srednjoročne ciljeve, kao što su poboljšano usmjeravanje socijalnih usluga
ili promocija integriranog ruralnog razvoja. Također može specificirati kako se od programa očekuje
da doprinese ostvarenju ciljeva višeg reda.
Evaluacija nastoji validirati jesu li srednji ciljevi proizveli zadovoljavajuću neto korist i je li lanac
rezultata određen u strategiji državne pomoći bio validan. Ondje gdje uzročna povezanost nije
određena, evaluator mora pokušati rekonstruirati uzročni lanac iz dokaza. Evaluator također treba
ocijeniti relevantnost, efikasnost i ishod srednjih i ciljeva višeg reda.
Evaluatori također procjenjuju stepen u kojem klijenti demonstriraju vlasništvo međunarodnih
razvojnih prioriteta. Primjeri takvih prioriteta uključuju: MGDs, zaštitu ljudskih prava, demokra-
tizaciju, spolove i okoliš. Idealno, ova su pitanja identificirana i obrađena u strategiji državne
pomoći, omogućavajući evaluatoru da se fokusira na to jesu li pristupi prilagođeni ovoj pomoći bili
odgovarajući. Moguće je da je strategija prešla preko nekih konflikata ili je izbjegla rješavanje razvo-
jnih ograničenja kod ključnih klijenata, potencijalno smanjujući relevantnost programa i vlasništvo
klijenata te da je povećala nepoželjne popratne efekte, kao što je ugrožavanje prava. Svi ovi faktori
se moraju uzeti u obzir pri ocjenjivanju ishoda programa. Važno je istaći da čak iako je projekt
Svjetske banke izveden dobro, a država nije dobro uradila, pomoć se tada može ocijeniti
nezadovoljavajućom, ili obratno.

• Bolja koordinacija i razmjena znanja je potrebna među raznim partnerima i
zemljama koje primaju pomoć. Mreže državnog monitoringa i evaluacije i pro-
fesionalna udruženja treba izgraditi i proširiti;
• Kada se velike združene evaluacije preduzimaju uz učešće nekoliko zemalja u
razvoju, treba omogućiti da se zemlje u razvoju sastanu da koordiniraju stavove
i ulazne elemente (OECD 2005, str. 7).
Evaluaciona grupa za saradnju multilateralnih razvojnih banaka objavila je
nedavno standarde dobre prakse za evaluaciju država. Cilj ovih standarda je da
dalje harmoniziraju evaluacione kriterije, procese i procedure te rezultate evalu-
acije učine uporedivim. Link za web stranicu za verziju ovih standarda iz 2003.
godine se može naći na kraju ovog poglavlja (Evaluation Cooperation Group
2008).
Evaluacija državnog programa treba početi jasno definiranim projektnim
zadatkom koji su zajedno razvili država i razvojna agencija da bi se tačno odredilo
šta dionici očekuju. Vremenski period koji treba pokriti treba biti određen. Proje-
ktni zadatak treba:
• jasno navesti svrhu evaluacije, kriterij evaluacije i način na koji će nalazi biti
korišteni;
• odrediti originalne prioritete organizacije za državni program (na primjer,
smanjenje siromaštva, povećana proizvodnja usjeva);
• odrediti izvještavanje, diseminaciju i popratne procedure; potpuno objelo-
danjivanje nalaza je idealno.
Zbog teškoće pronalaska protučinjenica sistemsko vrednovanje je važno u
evaluaciji državnog programa. Poređenja se obično vrše sa sličnim državama,
obično u istom regionu. Pošto je sve više evaluacija državnog programa otvoreno
za javnost, sve više poređenja među organizacijama će biti izvodivo. Kako je
naznačeno u GPS-u, kompleksnost državnih evaluacija se povećava. Kao rea-
kcija na Parisku deklaraciju i Accra Accord, na primjer, javlja se potreba da se ■■ Evaluacija
multipartnerske evaluacije državne pomoći prošire izvan MDB-a i da uključe sve sektorskog
izvore vanjske pomoći, za koju su evaluacijski izazovi znatno veći. programa:
Evaluacija
provedena na
glavnom
Evaluacije sektorskih programa sektorskom
programu, kao
Evaluacije sektorskih programa su evaluacije koje se provode na glavnim sekto- što je obra-
rskim programima, kao što su obrazovanje, zdravstvo, stambena politika ili zovanje,
transport. Evaluacione smjernice Međunarodne organizacije za migracije (IOM) zdravstvo,
stambena
definiraju sektorsku evaluaciju kao „evaluaciju raznih aktivnosti pomoći gdje su
politika ili
sve aktivnosti locirane u jednom sektoru, bilo da je to u jednoj državi ili je to transport
između država.

Sektor pokriva određeno područje aktivnosti kao što su zdravstvo, industrija,
obrazovanje, transport ili poljoprivreda“ (IOM 2006, str. 30).
Zato što evaluacije sektorskih programa posmatraju više projekata koji imaju
različite ciljeve i različite donatore kompleksnije su nego evaluacije projekata;
mogu biti isto toliko kompleksne kao i evaluacije državnih programa. Sektorske
evaluacije su generalno normativne.
Korisno je porediti evaluacije državnih programa i evaluacije sektorskih pro-
grama na IEG-u. Na državnom nivou IEG obično provodi pregled čitavog porto-
folija projekata Grupe Svjetske banke tokom relevantnog vremenskog perioda za
državu. U sektorskoj evaluaciji IEG provodi pregled portfolija svih projekata u
sektoru tokom relevantnog vremenskog perioda u odabranim državama. Međutim,
u slučaju sektorskih pregleda IEG često ima definiciona pitanja. Ako je, na primjer,
projekt višesektorski, uključuje li IEG samo projekte za koje je sektor od interesa
bio glavni sektor ili također uključuje i one za koje je to bilo drugostepeno ili
trećestepeno pitanje? Ako IEG uzme širi set, vaga li rezultate po procentu resursa
koji idu u taj sektor u odnosu na druge sektore? Stoga, iako i državne i sektorske
evaluacije uključuju preglede portfolija, pitanja mogu biti kompleksnija za sektor-
ske preglede.
Slična pitanja se mogu postaviti o evaluacionom dizajnu i metodima. Za Grupu
Svjetske banke, a sve više i za ostale kreditore i donatore, metodi državne evalu-
acije su postali više standardizirani. Nasuprot tome, sektorske evaluacije nastoje
biti više sui generis, sa dizajnom i metodima koji su odredila specifična evalu-
aciona pitanja i resursi dostupni za studiju. Iako većina uključuje studije državnih
slučaja, to nije neophodno. Kada se koriste studije slučajeva, postoje važna pitanja
odabira slučaja i metoda koje treba riješiti.
Vlasništvo i odgovornost partnera su ključna pitanja u evaluacijama sektorskih
programa (Danish Ministry of Foreign Affairs 1999). Razvojne organizacije i
partnerske institucije interesira poboljšanje dostave pomoći, odgovornosti i
održivosti u sektoru. Kratak opis združenih evaluacija u zdravstvenom sektoru
Tanzanije označava te ključne interese (Tekstualni okvir 11.2).
■■ Tematske
evaluacije: Tematske evaluacije
Evaluacija
odabranih
Tematske evaluacije se bave „odabranim aspektima ili temama u brojnim razvo-
aspekata ili
tema u brojnim jnim aktivnostima“ (Danish Ministry of Foreign A airs 1999, str. 30). Ove teme
razvojnim se javljaju iz stavova politike. Razvoj organizacije može odlučiti, na primjer, da
aktivnostima svi projekti ili programi tretiraju određeno pitanje ili pitanja – spolovi, okolinska
i socijalna održivost ili ublaženje siromaštva. Svako od ovih pitanja se mora treti-
rati u svim etapama projekta ili programa i za sve oblike pomoći.

Tekstualni okvir 11.2 Združene eksterne evaluacije zdravstvenog
sektora Tanzanije od 1999 do 2006
Tokom 90-tih zdravstveni sektor u Tanzaniji suočavao se sa periodom stagna-
cije. Lokalne zdravstvene službe je karakterizirao veliki nedostatak osnovnih
lijekova, opreme i zaliha, a tu je bila i dotrajala infrastruktura, slaba uprava,
nedostatak nadzora i nedostatak motivacije osoblja. Sektor se suočio sa
stagnacijom ili pogoršanjem bolničke njege. Bilo je malo saradnje u vršenju
zdravstvene službe između javnog sektora, vjerskih organizacija i vršilaca
privatnih usluga. Zdravstvena služba je imala veoma mali budžet, gdje se na
sektor javnog zdravstva trošilo US$3,46 po stanovniku. Također je postojalo
malo dokaza o koordinaciji podrške javnom sektoru razvojnih partnera.
Vlada Tanzanije i njeni razvojni partneri (Belgija, Kanada, Danska,
Njemačka, Holandija i Švicarska) odgovorili su na ovu situaciju procesom koji
je počeo združenom misijom planiranja koji je organizirala vlada sredinom
desetljeća. Do 1999. ovaj proces rezultirao je prvim većim strateškim pla-
nom za zdravstveni sektor - Program rada zdravstvenog sektora (POW) i
sporazumom da će podrška zdravstvenom sektoru biti u okviru sektorskog
pristupa (SWAp). POW i naknadni Strateški plan 2 za zdravstveni sektor
(HSSP2) artikulirali su proces reforme zdravstvenog sektora s ciljem da se
riješe očigledni nedostaci u sektoru i ostvare određeni ciljevi u zdravstvu,
kako je to iskazano Milenijskim razvojnim ciljevima (MDGs) i državnom
strategijom za razvoj i smanjenje siromaštva (NSGRP)/MKUKUTA).
POW i HSSP2 identificirali su nekoliko prioritetnih područja strateške
intervencije:
• jačanje oblasnih zdravstvenih službi i reforma i jačanje regionalnih i

državnih bolnica;
• transformacija uloge centralnog Ministarstva zdravstva i socijalne zaštite
u organizaciju koja potiče izradu politike;
• poboljšanje centralnog sistema podrške (uključujući infrastrukturu, informa-
cione sisteme zdravstvenog menadžmenta, zalihe lijekova, transport i
komunikacione i informacione tehnologije);
• usvajanje i implementacija državne strategije za borbu sa HIV/AIDS-om
kao eksplicitnim elementima HSSP2;
• poboljšanje odnosa vlade i razvojnih partnera da bi se unaprijedila harmoni-
zacija i usklađivanje eksternih i domaćih resursa Tanzanije u efektivnije
partnerstvo.
Nastavlja se

Tekstualni okvir 11.2 Nastavak
Evaluacija se fokusirala na četiri područja:
• relevantnost strategija zdravstvenog sektora i planova implementacije za

ostvarenje MDG-a u zdravstvu i NSGRP ciljeva zdravstvenog sektora i
prikladnost i relevantnost eksterne podrške;
• stepen napretka i ostvarenje prema svakom od devet strateških priorite-
ta procesa reforme zdravstvenog sektora;
• ostvarenja u poboljšanju pristupa, kvaliteta usluga i ishoda u zdravstvu
tokom perioda evaluacije i
• promjene u partnerstvu tokom perioda evaluacije, uključujući evaluaciju
napora za harmonizaciju i usklađivanje te upotrebu različitih modaliteta
pomoći.
Evaluaciju je od decembra 2006. do septembra 2007. proveo tim od

osam međunarodnih zdravstvenih i evaluacijskih konsultanata, od kojih su tri
bila iz Ugande i Malavija. Glavne metodologije koje su korištene uključuju
sljedeće:
• ekstenzivan pregled dokumentacije;

• intervjue ključnih informanata na državnom nivou;
• vlastitu procjenu oblasti koju je provelo osoblje Ministarstva zdravstva i
socijalne zaštite u 16 oblasti u Tanzaniji;
• detaljne studije slučaja u šest oblasti (uključujući rasprave sa pripadnici-
ma zajednice) koje je proveo evaluacijski tim;
• analizu toka finansijskih i drugih resursa u zdravstvenom sektoru na
državnom, regionalnom i nivou vijeća;
• pregled državnih zdravstvenih podataka ishoda.
Evaluacione informacije svih metodologija koje su korištene testirane su

i triangulirane da se identificiraju sličnosti i snage validnosti nalaza i
zaključaka.
Izvor: Dansko ministarstvo inostranih poslova 2007.
Kao i kod državnih i sektorskih evaluacija, pristup tematskih evaluacija je od dna

prema vrhu i od vrha prema dnu. Teme se evaluiraju na projektu po projektnoj
osnovi; informacije iz ovih evaluacija pružaju izvor za informacije za tematske
evaluacije. Pored toga, tematske evaluacije prelaze nivo projekta i posmatraju

sve projekte; također, obično odabiru države za detaljnu studiju (studije slučaja).
Tematska evaluacija posmatra mnoge različite vrste informacija (Tekstualni okvir
11.3). Zatim uzima skupljene informacije iz tih izvora.
Jedan od ključnih nalaza tematske evaluacije o djeci koja skupljaju otpatke jeste
uloga spola: većina djece su djevojčice, a skoro sve odrasle osobe su žene. Ova
studija se izdvaja po osjetljivosti koju je pokazala za pitanja u vezi sa spolom.
Tekstualni okvir 11.3 Primjer tematske evaluacije procjene djece

sakupljača otpada u Africi, Aziji i Evropi
WASTE je organizacija koja radi na održivom poboljšanju uvjeta života
siromašnih u urbanim sredinama i urbanog okruženja generalno.
Međunarodna organizacija rada (ILO) angažirala je organizaciju da provede
tematsku evaluaciju dječijeg rada na prikupljanju otpada. Cilj evaluacije je
bio osigurati smjernice za ILO kako da se najbolje bore protiv iskorištavanja
djece u ovom sektoru.
Tematska evaluacija je identificirala i kritički procijenila prikupljanje otpa-
da i razne pristupe u rješavanju problema dječijeg rada u odnosu na priku-
pljanje otpada. Informacije su izvučene iz raznih projekata koje je u ovom
sektoru proveo Međunarodni program za eliminaciju dječijeg rada kao i iz
sličnih napora drugih agencija, institucija ili vlada. Evaluacija je rezultirala
strateškom procjenom i preporukama za ILO. (Evaluacija, Addressing the
Exploitation of Children in Scavenging (Waste Picking): A Thematic Action
Agenda on Child Labour se može preuzeti sa ILO web stranice.)
WASTE istraživači na terenu, u Egiptu, Indiji, Rumuniji, Tanzaniji i Tajlandu,
napisali su dodatne izvještaje na osnovu ključnih nalaza. U Tanzaniji, na primjer,
izvještaj je uključio pregled relevantnih dokumenata, intervjua sa
menadžmentom i osobljem projekta, intervjue ostalih dionika, terenske
posjete na dvije transfer tačke u gradu i glavnom otpadu u Dar es-Salamu i
intervjue sa sakupljačima otpada i predstavnicima udruženja prikupljača
otpada.
Izvor: Duursma 2004; WASTE 2005
Osobite karakteristike pristupa osjetljivog na spol su:

• konceptualni okvir koji prepoznaje spolnu prirodu razvoja i doprinos jedna-
kosti spolova ekonomskom i društvenom razvoju i

• izrada podataka o spolovima na državnom, sektorskom ili lokalnom nivou
koji spaja podatke koji se odnose na spol i identificira ključna pitanja spolova
koja treba tretirati u dizajnu i tematskoj evaluaciji projekta.
Nedostatak spolno disagregiranih podataka se često koristi da se opravda

nedostatak pažnje koja se poklanja pitanju spolova. Kada podaci nisu svrstani
po spolovima, važno je definirati strategije za razvoj prikladne baze podataka
koja će omogućiti provođenje bolje analize spolova u budućnosti. Takve strate-
gije uključuju sljedeće:
• osigurati da metodi prikupljanja podataka generiraju informacije o muškarcima
i ženama i da su ključna pitanja spolova (kao što je raspored rada prema spolu,
analiza korištenja vremena, kontrola resursa i donošenje odluka na nivou
domaćinstva i zajednice) uključena u dizajn istraživanja;
• osigurati da se prikupe informacije o različitim članovima domaćinstva i od
različitih članova domaćinstva i da „glava domaćinstva“ (obično definirana
kao muškarac) nije jedini izvor informacija;
• komplementiranje konvencionalnih metoda prikupljanja podataka sa meto-
dama uključenja spolova, gdje je to prikladno;
• osigurati da istraživački tim uključi balans između muškaraca i žena i
• osigurati da se dionici konsultiraju tokom dizajna, analize i diseminacije evalu-
acije i da te konsultacije uključe grupe koje predstavljaju i žene i muškarce
(World Bank 2007e).
Planiranje razvoja i evaluacija često koriste „spolno neutralne“ pristupe koji

pretpostavljaju da žene i muškarci imaju iste razvojne potrebe. U većini društava
muškarci nastoje dominirati u donošenju odluka u zajednici i domaćinstvu,
tako da „spolno neutralni“ pristupi uveliko reagiraju na prioritete muškaraca
ignorirajući da će potrebe i kapaciteti žena značajno smanjiti efikasnost i jedna-
kost politike i programa. Načini na koji se primjenjuju mnogi razvojni alati plani-
ranja i evaluacije nisu spolno osjetljivi, tako da čak i kada konsultacije ili ankete
u domaćinstvu namjeravaju sagledati stavove svih sektora zajednice, problemi
žena često ostanu u potpunosti neprimjećeni.

Evaluacija globalnih i regionalnih partnerskih
programa
Globalni i regionalni partnerski programi (GRPPs) su sve više važan modalitet ■■ Evaluacija
za kanaliziranje i pružanje razvojne pomoći u rješavanju hitnih globalnih i regio- globalnih i
nalnih pitanja. Većina GRPPs je specifična za sektor ili temu, kao što je poljo- regionalnih
privreda, okoliš, zdravstvo, finansije ili međunarodna trgovina. partnerskih
programa
GRPPs je programsko partnerstvo u kojem: (GRPP):
Programska
• partneri daju i udružuju (finansijske, tehničke, ljudske i reputacione) resurse
partnerstva u
kako bi ostvarili usaglašene ciljeve; kojima partneri
• su aktivnosti programa globalne, regionalne ili međudržavne u svom djelo- doprinose i
krugu i udružuju
• partneri uspostavljaju novu organizaciju sa upravnom strukturom i jedinicom resurse da
uprave da bi se izvele ove aktivnosti (World Bank 2007f ). ostvare
usaglašene
Novi GRPP se obično uspostavlja nakon što grupa globalnih ili regionalnih ciljeve koji imaju
aktera identificira problem ili priliku koja zahtijeva javno djelovanje, ali koja globalni
regionalni ili
prelazi državne suverene granice. Akteri mogu biti donatori ili korisnici a mogu
multidržavni
dolaziti iz javnog ili privatnog sektora. djelokrug
Razmotrimo primjer upravljanja vodenim resursima u Mekongu ili bazenu
rijeke Nil. Problemi ili mogućnosti se ne mogu efektivno riješiti samo na nivou
jedne države zato što su mnoge države – 6 u bazenu Mekonga, 19 u bazenu Nila
– uključene u upravljanje bazenima. Pored toga, zamašne ekonomije nastaju
iz kolektivnog djelovanja na globalnom i regionalnom nivou (nastanak novih
tehnologija ili dobre prakse relevantne razvoju u mnogim zemljama).
GRPPs se često fokusira na proizvodnju i zaštitu globalnih javnih dobara
(na primjer, istraživanje kojim se dobije poboljšana tehnologija sjemena ili se
povećava biodiverzitet) ili smanjenje globalnih javnih problema (na primjer, HIV/
AIDS ili zagađenje). Globalna javna dobra su dobra koja su nerivalska (snabdi-
jevanje jedne osobe ili države ne umanjuje zalihe drugoj) i nisu isključiva (kada
se jednom opskrbi neka država ili osoba, svi imaju korist) i čija korist prelazi
državne granice.
Partneri GRPPs obično imaju različite perspektive i pobude. Formalna upravna
struktura se uspostavlja da se postave formalni ciljevi, kriteriji članstva ili učešća,
procedure donošenja odluka, a ponekad i kriteriji raspoređivanja.
Oko 150 multipartnerskih GRPPs je uspostavljeno. Nivo isplate je od nekoliko
miliona dolara do više od milijarde godišnje.
Njihove aktivnosti mogu biti ograničene na razmjenu znanja i umrežavanje
ili također mogu sadržavati tehničku pomoć, ulaganje i tržišne aktivnosti.
Pri-mjeri GRPPs uključuju Konsultativnu grupu za međunarodno istraživanje

u poljoprivredi, Program transporta i HIV/AIDS u Zapadnoj Africi, Globalno
partnerstvo za vodu, Integrirani okvir za trgovinu i Ulaganje u lijekove za malariju.
Svojstva GRPPs koja ih čine kompleksnim za evaluaciju uključuju sljedeće:
• Priroda programa kao partnerstva ima dvije implikacije. Prva, različite perspe-
ktive različitih partnera treba uzeti u obzir. Drugo, efektivnost same upravne
strukture treba evaluirati prema unutrašnjim kriterijima koji se odnose na
dobru praksu u partnerstvu i u smislu doprinosa rezultatima programa (pozi-
tivnog ili negativnog);
• Za razliku od projekata GRPPs nemaju fiksni vremenski okvir u kojem treba
ostvariti ciljeve. Ustvari, ciljevi i strategije često evoluiraju kako se finansi-
ranje povećava (ili smanjuje), sastav donatora ili partnerstva se mijenja ili se
mijenjaju vanjski uvjeti;
• Troškovi nastaju i korist se obračunava na različitim nivoima (lokalnom,
državnom i globalnom). Evaluacija efektivnosti treba razmotriti doprinos i
međuzavisnost među različitim nivoima; ovo konstrukciju lanca rezultata čini
kompleksnom i predstavlja problem agregacije rezultata;
• Globalne i regionalne dimenzije javnih dobara GRPPs znači da postoji razlika
između troškova i koristi nastalih na državnom i globalnom nivou. Ovo evalu-
aciju efektivnosti troškova čini kompleksnom i procjenu efektivnosti globalne
državne koordinacije i povezanosti veoma bitnom;
• Zbog otvorenog i dužeg vremenskog okvira od evaluatora se često traži da
razmotre napredak prema kompleksnim srednjoročnim strateškim ciljevima,
kao što su mobilizacija resursa usmjerena na postepeno povećavanje, prijenos
na lokalne implementatore, nezavisnost od domaćih agencija, zatvaranje ili
izlaz ili promijenjeni obrasci saradnje sa novonastalim globalnim programima.
Uz dato rastuće učešće Grupe Svjetske banke u GRPPs i njihove sve više
važnosti u ostvarivanju globalnih održivih razvojnih rezultata u 2006. Nezavisna
evaluaciona grupa Svjetske banke (IEG) pokrenula je dvije nove aktivnosti za
podršku nastavka ispitivanja i poboljšanja njihovog učinka. Prvo, kao odgovor na
zahtjev OECD/ DAC evaluacione mreže (uz podršku Evaluacione grupe Ujedinje-
nih naroda (UNEG) i Evaluacione grupe kooperacije multilateralne Razvo-
jne banke), IEG predvodi napore za razvoj principa konsenzusa i standarda za
evaluaciju GRPPs. Prvi proizvod ovog rada bila je Knjiga izvora za evaluaciju
programa globalnih i regionalnih partnerskih programa (World Bank 2007f ).
Nastavljaju se radovi na istraživanju koje će doprinijeti objavljivanju pratećeg
izvještaja koji će dati detaljnije smjernice i primjere.
Drugo, IEG je počeo pregled nezavisnih evaluacija GRPPs u kojima je
uključena banka kako bi se procijenio kvalitet evaluacije i dale povratne informa-
cije, pružila nezavisna procjena nalaza i preporuka i procijenio učinak banke

kao partnera. Sedam pregleda globalnih programa objavljeno je u javnosti, kao i
naučene lekcije.
Evaluacija i pregled globalnog programa Ulaganje u lijekove za malariju
MMV je primjer takvog pregleda. Uspostavljen 1999, MMV nastoji smanjiti
teret malarije u zemljama gdje je oboljenje endemično otkrivajući, razvijajući i
opskrbljujući nove priuštive antimalarijske lijekove kroz efektivno javno privatno
partnerstvo. Kumulativni doprinos u 2006. je bio US$151 milion. Sekretarijat
programa, koji je organiziran kao neprofitna organizacija prema švicarskom
zakonu je u Ženevi, a njegov satelit postoji u New Delhiju. MMV upravni odbor
se sastoji od 11 istaknutih pojedinaca iz industrije, akademije, Svjetske
zdravstvene organizacije i Bill & Melinda Gates fondacije koja osigurava 60
procenata finansiranja.
MMV donatori proveli su eksternu evaluaciju 2005. Odbor je sarađivao
sa evaluacijom iako je nije provodio. Evaluaciju je izvršio tim od četiri člana,
predvođen istaknutim afričkim profesorom javnog zdravstva.
Projektni zadatak tražio je upotrebu standardnih kriterija evaluacije sa evalua-
cionim pitanjima koja su istraživala detaljnije aspekte specifične za GRPPs uopće
i prirodu aktivnosti koje je finansirao MMV posebno. Sljedeća diskusija ilustrira
kako se takvi kriteriji primjenjuju u kompleksnoj GRPP evaluaciji:
Relevantnost. Postavljena su pitanja o relevantnosti ciljeva programa: je li posto-

jao međunarodni konsenzus o problemu koji se rješava i potreba da ga program
tretira? Evaluacija je ukazala na relevantnost programa za ostvarenje MDGa u
prevenciji širenja prenosivih bolesti, što je također globalno javno dobro. Evalu-
aciona procjena relevantnosti je također primijenjena na supsidijarni princip
kriterija, koji kaže da program treba implementirati na što je više moguće lokal-
nom nivou. Evaluacija je tražila da vidi osigurava li program usluge koje se ne
mogu pružati na državnom ili lokalnom nivou? Zbog toga što se radi o glo-
balnom javnom dobru evaluacija zaključuje da je program zadovoljio princip
supsidijarnosti.
Evaluacija je razmatrala MMV vrijednost dodanu u odnosu na druge izvore
snabdijevanja i usluga (uzimajući u obzir druge programe u vezi sa malarijom
i čisto privatni sektor razvojnih programa za lijekove). Također je procijenjena
relevantnost ciljeva programa za potrebe korisnika. Program je prosuđivan rele-
vantno prema ovom kriteriju, zato što se ne bavi samo razvojem lijeka nego
također i pitanjem opskrbe i dostupnosti.
Evaluacija je također postavila i sljedeća pitanja: Jesu li programska strategija
i dizajn relevantni? Je li izbor intervencije relevantan i prikladan? Koji je bio
geografski opseg i domet? Kako je korišteno javno-privatno partnerstvo? Da li bi
alternativni dizajn za vođenje strategije programa bio relevantniji?

Efektivnost (ostvarenje ciljeva). Evaluacija je ispitala ostvarene izlazne rezultate
i ishode u odnosu na očekivanja, kao i faktore koji su pomogli ili kočili ostva-
renje ciljeva. Ovaj aspekt evaluacije je uveliko ovisan o kvalitetu okvira monito-
ringa i evaluacija (MiE) i o prikupljanju podataka. Doprinos sljedećih faktora je
procijenjen:
• uključenje dionika;
• efektivnost portfolio menadžmenta;
• efektivnost menadžmenta javno-privatnog partnerstva;
• upotreba naučnog pristupa;
• efektivnost ključnog pristupa proizvodu i
• nenamjeravani ishodi.
Efikasnost. Iako to nije eksplicitno odvojen kriterij u smislu referenci, evalu-

atori su prepoznali važnost razmatranja oportunitetnih troškova kao efikasnijeg
sredstva vršenja usluga. Analizirali su troškove menadžmenta i administracije u
odnosu na troškove programa i trendove tokom vremena te ih poredili prema
mjerilu kao što je trošak razvoja lijekova za druge bolesti i troškove procesa
razvoja tipičnog proizvoda u velikoj privatnoj farmaceutskoj kompaniji.
Upravljanje. Evaluacija je procijenila legitimnost MMV-ovog upravljanja

posmatrajući zastupljenost endemičnih država u upravnom tijelu; upotrebu
naučne ekspertize, kao što su istraživači iz Svjetske zdravstvene organizacije i
endemičnih država; dokaz povjerenja među partnerima u kampanjama uspješne
mobilizacije resursa i reakcijama na evaluaciju. Evaluacija je također procijenila
efektivnost uprave u vršenju sljedećih važnih funkcija:
• postavljanje strategije (koliko dobro je upravna struktura informirala o novom
načinu pristupa lijekovima na državnom nivou);
• saradnja sa drugim agencijama koje imaju sličan mandat (evaluacija
preporučuje više pažnje ovom aspektu) i
• mobilizacija resursa (evaluacija preporučuje da se djeluje više proaktivno, da
se pribave potrebni resursi i da se diverzificira podrška donatora).
Održivost/srednjoročna strateška pitanja. Evaluacija je istražila hoće li koristi

programa biti održive u trenutnim uvjetima, gdje se održivost posmatra u uvjetima
potrebe finansiranja i neprekidnog zastupanja i podrške ciljevima. Također je
procijenila mogu li se napraviti neke promjene koje bi okolnosti učinile povo-
ljnijim za održivost. (Treba li promijeniti razmjer programa? Mogu li odnosi
sa drugim organizacijama biti efektivniji? Treba li razmotriti alternativno orga-
nizaciono ili upravno uređenje?) Evaluacija se također bavila poboljšanjem MiE.

Projektni zadatak nalagao je evaluatorima da testiraju šablon koji su postavili
donatori za procjenu efektivnosti javno-privatnog partnerstva. Pored toga, evalu-
atori su napravili preporuke za poboljšanje monitoringa za podršku budućih inici-
jativa monitoringa i evaluacije. Metodologija evaluacije uključivala je pregled
dokumenata o programu, ekstenzivne intervjue sa dionicima na nivou programa i
aktivnosti, opservacije sastanaka naučno-savjetodavnog odbora i posjete lokaci-
jama u državi.
Pregled globalnog programa procijenio je nezavisnost i kvalitet evaluacije.
Razmotreno je ko je proveo evaluaciju i kako je evaluacijom upravljano s ciljem
procijene stepena neovisnosti. Istraženo je da li je evaluacija pokrila sve aspekte
rada prema projektnom zadatku. Također je posmatran kvalitet evaluacije i njen
konačni utjecaj (stepen u kojem je menadžment programa implementirao prepo-
ruke). Pregled je pružio nezavisnu procjenu nalaza evaluacije. Potvrđeno je da je
postavljena čvrsta osnova za naredne aktivnosti menadžmenta programa i banke.
Pregled globalnog programa procijenio je učinak Svjetske banke kao partnera,
razmotrivši upotrebu sakupljanja snaga da se pomogne uspostava programa;
naknadna finansijska podrška, koja je u početku važna ali se tokom vremena
smanjuje u odnosu na ostale donatore; i učešće banke u prosuđivanju upravnih
tijela i odbora. Identificira pitanja koja se tiču uloge banke u programu za koji se
smatra da bi se mogao pojaviti u budućnosti. Pregled sažetih lekcija iz evaluacije
uključuje: one za sam program (potreba da se uspostavi prikladan okvir moni-
toringa i evaluacije), lekcije koje se mogu primijeniti na druge GRPPs (potreba
za efektivnom koordinacijom i konsultacijom sa drugim ključnim akterima na
globalnom i državnom nivou), i one primjenjive na druge instrumente pomoći
(lekcije za projekte koji se oslanjaju na javno-privatno partnerstvo za pružanje
usluga).

Sažetak
Odnedavno evaluatori nastoje istražiti efekte mnogih intervencija sa konceptu-

alnim fokusom na sektor, državu ili temu. Ovi pristupi pokušavaju odrediti kako
intervencije utječu na širu sliku. Kompleksniji pristupi posmatraju više projekata,
programa ili politika da identificiraju interakciju i načine razmjene resursa. Takve
evaluacije uključuju združene evaluacije, evaluacije državnih programa, evalu-
acije sektorskih programa, tematske evaluacije i evaluacije globalnih i regiona-
lnih partnerskih programa.

ADB (Asian Development Bank). 2006a. Indonesia: Capacity Building Project in the
Water Resources Sector. Project Performance Evaluation Report for Indonesia. http://
www.adb.org/Documents/PPERs/INO/26190-INO-PPER.pdf.
———. 2006b. Private Sector Development and Operations: Harnessing Synergies with
the Public Sector.
AfDB (African Development Bank). 2005. Morocco: Evaluation of Bank Assistance to
the Education Sector.
Bamberger, Michael. 2005. IPDET Handbook for Evaluating Gender Impacts of Devel-
opment Policies and Programs. International Program for Development Evaluation
Training, Ottawa.
Bamberger, Michael, Mark Blackden, Lucia Fort, and Violeta Manoukian. 2001.
“Integrating Gender into Poverty Reduction Strategies.” In The PRSP Sourcebook.
335–74. Washington, DC: World Bank.
http://povlibrary.worldbank.org/files/4221_chap10.pdf.
Breier, Horst. 2005. Joint Evaluations: Recent Experiences, Lessons Learned and
Options for the Future. Draft report to the Development Assistance Committee
Network on Development Evaluation, Organisation for Economic Co-operation and
Development, Paris.
Chen, Jhaoying, and Hans Slot. 2007. “Country-Led Joint Evaluation: Dutch ORET/
MILIEV Programme in China.” Presentation at the sixth meeting of the Development
Assistance Committee Network on Development Evaluation, Paris, June.
http://www.oecd.org/dataoecd/63/28/38851957.ppt.
Compton, Donald W., M. Baizerman, and S. H. Stockdill, eds. 2002. The Art, Craft, and
Science of Evaluation Capacity Building. New Directions for Evaluation 93 (Spring)
(publication of the American Evaluation Association).
Danish Ministry of Foreign Affairs. 1999. Evaluation Guidelines. 2nd ed. Copenhagen.
http://www.um.dk/NR/rdonlyres/4C9ECE88-D0DA-4999-9893-371CB351C
04F/0/Evaluation_Guidelines_1999_revised.pdf.
———. 2006. Evaluation Guidelines. Copenhagen.
———. 2007. Joint External Evaluation: The Health Sector in Tanzania 1999–2006.
Duursma, M. 2004. Child Labour in Scavenging, Tanzania, Dar es Salaam. Updated
August 16, 2005.
http://www.waste.nl/page/724.
“Evaluation of the Implementation of the Paris Declaration. Synthesis Report.: 2008, 26.
Freeman, Ted. 2007. “Joint Evaluations.” International Program for Development Evalu-
ation Training (IPDET) presentation, Ottawa, June–July.
Fullan, M. 1993. Change Forces. London: Falmer Press.
GTZ (Gesellschaft für Technische Zusammenarbeit). 2004. National Monitoring of
Sustainable Poverty Reduction Strategy Papers PRSPs. Eschborn, Germany. http://

siteresources.worldbank.org/INTISPMA/Resources/Training-Events-and-Materials/
summary_MainReport.pdf.
Heath, John, Patrick Grasso, and John Johnson. 2005. World Bank Country, Sector, and
Project Evaluation Approaches. International Program for Development Evaluation
Training (IPDET) presentation, Ottawa, July.
House, Ernest R. Guiding Principles for Evaluators. 1995. New Directions for Program
IOM (International Organization for Migration). 2006. IOM Evaluation Guidelines.
Office of the Inspector General.
http://www.iom.int/jahia/webdav/site/myjahiasite/shared/shared/mainsite/about_iom/
eva_techref/Evaluation_Guidelines_2006_1.pdf.
Johnson, John. 2007. “Confronting the Challenges of Country Assistance Evaluation.”
International Program for Development Evaluation Training (IPDET) presentation,
Carleton University, Ottawa, June 26–27.
Mackay, Keith. 1999. Evaluation Capacity Development: a Diagnostic Guide and
Action Framework. ECD Working Paper 6 (January), World Washington, DC. http://
lnweb18.worldbank.org/oed/oeddoclib.nsf/a4dd58e444f7c61185256808006a0008/7f2
c924e183380c5852567fc00556470?OpenDocument.
———. 2006. Institutionalization of Monitoring and Evaluation Systems to Improve
Public Sector Management. World Bank, Independent Evaluation Group, Washing-
ton, DC.
http://siteresources.worldbank.org/INTISPMA/Resources/ecd_15.pdf.
———. 2007. How to Build M&E Systems to Support Better Government. World Bank,
Washington, DC.
http://www.worldbank.org/ieg/ecd/docs/How_to_build_ME_gov.pdf.
Mertens, D. M. 1994. “Training Evaluators: Unique Skills and Knowledge.” New Direc-
tions for Program Evaluation 62: 17–27.
MLB (Multilateral Development Bank), EC (Evaluation Cooperative Group), and
WGEC (Working Group on Evaluation Criteria and Ratings for Public Sector Evalu-
ation). 2003. Good Practice Standards for Evaluation of MDB Supported Public
Sector Operations.
http://www.ifc.org/ifcext/oeg.nsf/AttachmentsByTitle/MDB-ECG/US$FILE/MDB-
ECG_Good-Practice.pdf.
OECD (Organisation for Economic Co-operation and Development). 1999. “Evaluat-
ing Country Programmes,” Development Assistance Committee, Vienna Workshop,
March 11–12.
———. 2002. OECD Glossary of Key Terms in Evaluation and Results Based Manage-
———. 2005. Workshop on “Challenging the Conventional Wisdom: The View from
Developing Country Partners,” Network on Development Evaluations, Development
Assistance Committee, Nairobi, April 20–21.

———. 2006. DAC Evaluation Series: Guidance for Managing Joint Evaluations. Devel-
opment Assistance Committee, Paris.
Porteous, Nancy L., Barbara J. Sheldrick, and Paula J. Stewart. 1999. “Enhancing
Managers’ Evaluation Capacity: A Case Study for Ontario Public Heath.” Canadian
Journal of Program Evaluation. Special Issue: 137–54.
http://www.phac-aspc.gc.ca/php-psp/pdf/toolkit/enhancing_managers_
evaluation%20_capacity%20_CJPE_1999.pdf.
UNFPA (United Nations Population Fund). 2005. State of World Population 2005.http://
www.unfpa.org/swp/2005/english/notes/index.htm.
WASTE. 2005. Thematic Evaluation on Child Labour in Scavenging Africa, Asia, and
Europe Assessment. Gouda, the Netherlands.
http://www.waste.nl/page/720.
World Bank. 2001a. Design Paper for a Multipartner Evaluation of the Comprehensive
Development Framework. Comprehensive Development Framework Secretariat,
Washington, DC.
http://www.worldbank.org/evaluation/cdf/cdf_evaluation_design_paper.pdf.
———. 2001b. Engendering Development—through Gender Equality in Rights,
Resources and Voice. Washington, DC: World Bank.
———. 2001c. The PRSP Sourcebook.
EXTPRS/0,,menuPK:384207~pagePK:149018~piPK:149093~theSitePK:384201,00
.html.
———. 2005. Evaluation of World Bank’s Assistance to Primary Education. Operations
Evaluation Department, Washington, DC.
http://www.worldbank.org/oed/education/evaluation_design.html.
———. 2007a. Country Assistance Evaluation: CAE Retrospective. Independent Evalua-
tion Group, Washington, DC.
http://www.worldbank.org/ieg/countries/cae/featured/cae_retrospective.html.
———.2007b. Global Program Review: Medicines for Malaria Venture. Independent
Evaluation Group, Washington, DC.
http://lnweb18.worldbank.org/oed/oeddoclib.nsf/24cc3bb1f94ae11c85256808006a00
46/d591aea3bbb897de852573130077a0cb?OpenDocument.
———. 2007c. Impact Evaluations: Bangladesh Maternal and Child Health. Indepen-
dent Evaluation Group, Washington, DC.
http://www.worldbank.org/oed/ie/bangladesh_ie.html.
———. 2007d. Poverty Monitoring Systems.
EXTPAME/0,,contentMDK:20203848~menuPK:435494~pagePK:148956~piPK:
———. 2007e. PRSP Sourcebook. Washington, DC.
EXTPRS/0,,contentMDK:20175742~pagePK:210058~piPK:210062~theSitePK:
384201,00.html.
———. 2007f. Sourcebook for Evaluating Global and Regional Partnership Programs:
Indicative Principles and Standards. Independent Evaluation Group, Washington,

DC.
http://siteresources.worldbank.org/EXTGLOREGPARPRO/Resources/sourcebook.
pdf.
———. 2008. CAE Methodology. Independent Evaluation Group, Washington, DC.
http://web.worldbank.org/WBSITE/EXTERNAL/EXTOED/EXTCOUASSEVA/
0,,contentMDK:21107046~menuPK:3098030~pagePK:64168445~piPK:64168309~t
heSitePK:2832047,00.html.
Web stranice
International Labour Organization. http://www.ilo.org.

Stufflebeam, D. L. 1999. Evaluation Plans and Operations Checklist. http://www
.wmich.edu/evalctr/checklists/plans_operations.htm.
———. 2001. Guiding Principles Checklist. http://www.wmich.edu/evalctr/checklists/
guiding_principles.pdf.
World Bank. ADePT: Stata Software Platform for Automated Economic Analysis. http://
econ.worldbank.org/programs/poverty/adept.
———. Core Welfare Indicators Questionnaire (CWIQ). http://www4.worldbank.org/afr/
stats/cwiq.cfm.
———. Global and Regional Partnership Programs. http://www.worldbank.org/ieg/grpp.

RUKOVOĐENJE
“ Akcija treba kulminirati mudrošću“
—BHAGAVAD GITA
Poglavlje 12: Upravljanje evaluacijom

• Upravljanje matricom dizajna
• Dodjeljivanje evaluacije
• Uloge i odgovornosti različitih aktera
• Upravljanje ljudima, zadacima i budžetom
Poglavlje 13: Prezentiranje rezultata

• Osnovi komunikacije
• Pisanje evaluacijskog izvještaja za vašu publiku
• Upotreba vizuelnih informacija
• Pravljenje oralnih prezentacija
Poglavlje 14: Usmjeravanje evaluatora: Evaluaciona etika, politika,
standardi i vodeća načela
• Etično ponašanje;
• Politika i evaluacija i
• Evaluacioni standardi i vodeća načela
POGLAVLJE 12
Upravljanje evaluacijom
Evaluacija može biti komplikovan poduhvat, može biti izazovno

voditi računa da svi rade svoj posao, zadovoljiti rokove i vršiti visoko-
kvalitetan posao. U ovom poglavlju razmatramo načine na koje evalua-
tor može planirati, upravljati, zadovoljiti standarde kvaliteta i razmijeniti
rezultate tako da kreatori politike koriste te evaluacije da bi utjecali na
promjenu.

• Upravljanje matricom dizajna
• Dodjeljivanje evaluacije
• Uloge i odgovornosti različitih aktera
• Upravljanje ljudima, zadacima i budžetom
441
Upravljanje matricom dizajna
Ključ uspješne razvojne evaluacije je planiranje. Ako je evaluacija slabo plani-

rana, nema joj spasa bez obzira koliko je kasnije analizirali i koliko je ta analiza
sofisticirana. Prema kineskoj poslovici: „Čak i putovanje od hiljadu milja mora
početi prvim korakom“. Vjerovatnoća da će se dospjeti na odredište je puno veća
ako prvi korak i naredni koraci putnika vode u pravom smjeru. Lutati okolo bez
jasnog smisla i svrhe ili pravca uzima vrijeme, energiju, i resurse ne samo putniku
nego i evaluatoru. Također se umanjuje mogućnost da se uopće stigne na cilj.
Stoga je mudro pripremiti se za putovanje, pribaviti neophodne mape, proučiti
alternativne rute; procijeniti vrijeme; troškove i opasnosti na koje se može naići.
Kao što smo vidjeli u prethodnim poglavljima, matrica evaluacionog dizajna
je vizuelni način mapiranja evaluacije. Fokusira se na svaku od glavnih kompo-
nenti u dizajniranju evaluacije. Šablon matrice nije nešto što je uklesano u
kamen, može se prilagođavati da na najbolji način odgovara potrebama evalu-
acije. Kao i svaki plan, proći će kroz iterativni proces ažuriranja i revizija. Kako
prikupljamo nove informacije, bit će potrebno revizirati neke ideje i pristupe.
Dobra matrica dizajna evaluacije nije sve što nam je potrebno da provedemo
dobru evaluaciju. Najbolji dizajni mogu rezultirati evaluacijom niskog kvaliteta
ako je, na primjer, pokušaju implementirati ljudi bez potrebnih vještina i ako
se evaluacija obavi prekasno da bi utjecala na kritične odluke ili ako budžet
istekne tokom prikupljanja podataka.
Dodjeljivanje evaluacije
Menadžer evaluacije je odgovoran za identifikaciju i popunjavanje praznina u

vještinama kod osoblja dostupnog za evaluaciju. Potražnja za osobljem sa evalu-
acionim vještinama može biti velika, a ponuda mala. Iz tog razloga, razvojne
evaluacije se često dodjeljuju konsultantskim firmama ili pojedinačnim konsu-
ltantima. Neke institucije, kao što je Evropska unija, većinu svojih evaluacija
dodjeljuje specijalistima. Da bi se osiguralo da se objektivnost ne kompromituje,
konsultanti ne bi trebali imati prethodno učešće u programu koji se evaluira.
Korištenje izvođača ima prednosti i nedostatke. Prednosti uključuju činjenicu
da izvođač može imati veliko znanje o sektoru i vrsti programa koji se evaluira;
može govoriti lokalnim jezikom i imati lokalno znanje; i ako se koristi konkurentni
proces, može biti najisplativiji dostupni evaluator. Nedostaci uključuju činjenicu
da je dodjeljivanje posla nekome skupo (proces tendera može koštati više nego
sam ugovor) i značiti da se unutarnji kapaciteti ne povećavaju.

Zahtjevi za ponude
Proces angažovanja konsultantske firme, a ponekad pojedinačnog konsultanta,

obično počinje razvojem zahtjeva za ponude (RFP). Zavisno o organizaciji i
pravilima i procedurama ugovaranja, ugovor se može dodijeliti na osnovu jedi-
nog izvora, upućivanjem poziva više izvođača, ili putem otvorenog nadmetanja.
Pobjedničku ponudu može odabrati menadžer evaluacije ili imenovani panel koji
pravi prijedloge na osnovu prethodno specificiranih kriterija.
Hawkins (2005) sugeriše da RFP uključuje sljedeće stavke:
• svrhu evaluacije; ■■ Zahtjev za
• pozadinu i kontekst studije; ponudu: Poziv
• uvjete ključnih informacija; za učešće u
projektu
• ciljeve evaluacije;
• uvjete isporuke;
• vremenski okvir;
• kriterij za odabir tendera;
• ugovorne detalje za projekt menadžera;
• rok za ponude te
• budžet i ostale resurse.
Odabir pobjedničke ponude treba uraditi panel u kojem učestvuju ljudi sa
evaluacionim znanjem i iskustvom, poznavanjem područja programa, pozna-
vanjem kulture, i vlasništva nalaza i njihove upotrebe. Ovaj panel treba odabrati
ponudu koristeći kriterij u RFP. Treba voditi dobre bilješke kod procesa odabira.
Hawkins savjetuje korištenje sljedećih kriterija za odabir konsultanta:
• Je li RFP adekvatno obrađen?
• Postoji li detaljno objašnjenje kako će evaluacija biti implementirana?
• Koje strategije komunikacije i izvještavanja se predlažu?
• Postoji li dokaz o kompetenciji? Postoji li zapis o dostignućima?
• Koji su troškovi? Jesu li detaljno specificirani?
Kada se izvođač odabere, menadžer evaluacije još uvijek ima odgovornost

prema izvođaču i evaluaciji. To uključuje sljedeće:
• održavanje jasnih ciljeva;
• održavanje vlasništva studije;
• monitoring rada i pružanje pravovremenih povratnih informacija;
• donošenje odluka - pravovremenih i
• biti otvoren za pregovore sa izvođačem ako su potrebne izmjene ugovora.
Upravljanje evaluacijom 443

Projektni zadatak
Projektni zadatak (TOR) je izjava o pozadini, ciljevima, svrsi evaluacije,

pojedinačnim obavezama i odgovornostima članova evaluacijskog tima te roko-
vima dostave. Projektni zadatak obično opisuje cjelokupnu evaluaciju i usposta-
vlja početne sporazume. To može biti sporazum između klijenta i menadžera
evaluacije, menadžera evaluacije i izvođača, ili menadžera evaluacije i osoblja
evaluacije. Svi članovi evaluacionog tima trebaju imati jasno, pisano razumi-
jevanje njihovih određenih odgovornosti za evaluaciju, koje je obično napisano
kao projektni zadatak.
Projektni zadatak realistično definira šta treba uraditi u defniranom vremen-
skom periodu.
■■ Projektni Projektni zadatak može uključiti matricu dizajna, ili razvoj matrice dizajna
zadatak može biti jedna od prvih isporuka. Također može odslikavati sporazume o etici i
(TOR): Izjava standardima u provođenju i izvještavanju evaluacije (vidjeti Poglavlje 14 disku-
o pozadini,
ciljevima, i svrsi
sija o etici i standardima).
evaluacije; Proces razvoja cjelokupnog projektnog zadatka može biti koristan u osigura-
pojedinačne vanju uključenja dionika u diskusiju i donošenje odluka o tome koja evaluaciona
obaveze i pitanja bi trebalo obraditi. Projektni zadatak uspostavlja osnovne smjernice, tako
odgovornosti da svi uključeni razumiju očekivanja za evaluaciju (Tekstualni okvir 12.1).
članova
Prema Glosaru ključnih termina u evaluaciji i menadžmentu zasnovanom na
evaluacionog
tima; i rokovi rezultatima (OECD 2002), projektni zadatak za evaluaciju je pisani dokument
dostave koji predstavlja:
• svrhu i djelokrug evaluacije;
• metode koji će se koristiti;
• standard prema kojem će se procjenjivati učinak i vršiti analize;
• dodijeljeno vrijeme i resurse i
• uvjete izvještavanja.

Tekstualni okvir 12.1 Savjeti za pisanje projektnih zadataka za
evaluaciju
Sljedeći savjeti mogu koristiti pri pisanju projektnog zadatka za evaluaciju:
• Jasno navesti ciljeve evaluacije i identificirati sljedeće:

- opće teme i preliminarna evaluaciona pitanja koja treba obraditi,
- ključne dionike i upotrebu evaluacije koju oni očekuju,
- okvirni evaluacioni pristup koji treba usvojiti,
- očekivane proizvode iz evaluacije, do kada svaku potrebu treba
dostaviti i kada će se svaka koristiti,
- potrebna stručnost članova evaluacionog tima,
- logističko uređenje.
• Ne navoditi ciljeve jednostavno u tehničkim ili procesnim terminima.
Razjasniti kako se očekuje da će evaluacija pomoći organizaciji;
• Fokusirati se na preliminarna pitanja koja treba obraditi;
• Izbjegavati odabir previše pitanja. Bolje je da evaluacija istraži nekoliko
tema detaljno nego da površno posmatra širok raspon tema.
Izvor: prilagođeno iz UNDP 2006.
Projektni zadatak obično uključuje sljedeće:

• kratak opisan naslov;
• opis projekta ili programa;
• razloge i očekivanja evaluacije;
• izjavu o djelokrugu i fokusu evaluacije (teme koje treba obraditi, pitanja na
koja treba odgovoriti);
• identifikacija uključenja dionika (ko će biti uključen, ko će šta raditi, proces
odgovornosti);
• opis procesa evaluacije (šta će se uraditi);
• lista dostavljanja (plan rada evaluacije, privremeni izvještaj, konačni izvještaj,
prezentacija);
• identifikaciju neophodnih kvalifikacija (obrazovanje, iskustvo, vještine, i
potrebne sposobnosti) i
• procjena troškova, na osnovu aktivnosti, vremena, broja ljudi, stručnih
naknada, putovanja, i svih drugih troškova.
Projektni zadatak se piše kao dodatak, a ne umjesto, matrice dizajna evalu-
acije. Projektni zadatak se fokusira na odgovornosti. Matrica dizajna je plan za
provođenje evaluacije.

Uloge i odgovornosti različitih aktera
Mnogi ljudi rade na evaluaciji. Imaju različite kapacitete, uloge i odgovornosti.

Ključne uloge su one koje imaju klijent (tražitelj), dionici, menadžer evaluacije
i evaluator (ugovorni evaluator ili evaluator član osoblja). Angažovani ljudi sa
ograničenim ulogama i odgovornostima uključuju analitičare podataka, savje-
tnike, stručni nadzor i one koji prikupljaju podatke. Uloge i odgovornosti svih
uključenih u evaluaciju treba jasno definirati i usaglasiti.
Glavni klijent
Evaluacija može imati mnoge dionike, ali obično ima samo jednog glavnog kli-
jenta koji zahtijeva i obično finansira evaluaciju. Određena pitanja koja klijent
traži da se obrade, upotreba evaluacije koju je planirao klijent i odgovarajuće
vremenske implikacije, obično uokviruju evaluaciju.
Evaluatori se podstiču da se što ranije sretnu sa klijentom da diskutuju o
sljedećim temama:
• priroda i kontekst zahtjeva;
• potreba, tema, ili interesi koji vode do evaluacionog zahtjeva;
• kritično vrijeme potrebno za evaluaciju nalaza;
• pitanja od glavne važnosti koje evaluacija treba obraditi i
• raspored i frekvencija komunikacije.
Scriven (2007) u Ključnoj listi provjere evaluacije opisuje važnost sastanka
sa klijentom prije početka evaluacije da bi se identificirali detalji zahtjeva onako
kako ih klijent vidi ili da se klijent podstakne da razjasni mišljenje o detaljima.
Scriven sugeriše postavljanje pitanja kao što su sljedeća:
• Šta tačno treba evaluirati?
• Koliko konteksta treba uključiti?
• Evaluira li evaluator efekte programa u cjelini ili doprinos svake od njegovih
komponenti? Evaluira li teoriju klijenta o tome kako komponente rade?
• Treba li evaluacija razmotriti utjecaj u svim relevantnim pogledima ili samo u
nekim pogledima?
• Hoće li evaluacija biti formativna, sumativna, i/ili opisna?
Kao što smo vidjeli u Poglavlju 4, evaluacioni tim upravlja odnosom sa
glavnim klijentom i djelomično razvojem plana komunikacije.
Plan komunikacije pomaže evaluatoru da radi sa klijentom, kao i sa ključnim
dionicima, medijima i javnosti. Definira: zašto, šta, gdje i kako za davanje i

primanje informacija. Uspostavlja plan komunikacije, koji obično uključuje
različite medije za različitu publiku. Uspostava plana komunikacije je posebno
važna ako evaluacija uključuje osjetljive informacije.
Evaluator često zamišlja komunikaciju kao nešto što se događa na kraju
procesa, kada je izvještaj urađen. Ustvari, komunikacija i razvoj strategije
komunikacije se treba obraditi na početku i dorađivati kroz proces. Komuni-
kaciju treba koristiti za izgradnju podrške evaluaciji, poboljšanje evaluacije i
njene metodologije, i promociju upotrebe nalaza.
Dionici
Kako je definirano u Poglavlju 4, dionici su ljudi i organizacije koji nisu klijent,

a imaju ulog u intervenciji. Obično, oni su ti koje intervencija pogađa, bilo da je
to tokom djelovanja intervencije ili u godinama nakon intervencije.
Dionici mogu biti unutar ili izvan organizacije. Njihova uloga u evaluaciji se
može kretati od identifikacije pitanja za evaluaciju do pružanja podataka.
U participativnim evaluacijama, dionici mogu preuzeti odgovornosti na
raznim nivoima za evaluaciju. Takve evaluacije mogu uključiti odabrane dio-
nike kao dio evaluacionog tima, uključujući ih u pitanja razvoja, prikupljanje
podataka i u analizu. Dionici će prije podržati evaluaciju i djelovati prema
rezultatima i preporukama ako su uključeni u proces evaluacije. (Za diskusiju o
participativnim evaluacijama, vidjeti Poglavlje 5.)
Evaluacija se može koristiti da se uključe kritičari projekta, programa ili
politike koja se evaluira u evaluaciji. Do stepena u kom mogu identificirati teme
koje su važne za evaluaciju (i mogu stvarno diskreditirati evaluaciju ako se ne
obrade), učešće kritičara jača proces evaluacije (CDC 2001).
Knjiga izvora učešća Svjetske banke pruža korisna uputstva o uključivanju
dionika koja su osobito relevantna za participativne evaluacije (World Bank
1996). Kada su dionici identificirani, treba ih angažovati. Evaluatori traže da
rade sa dionicima kroz razne pristupe. Specijalne mjere su često potrebne kako
bi se osiguralo da se čuje glas grupe koja je normalno isključena iz procesa
donošenja odluka. Da bi se ovo ostvarilo, evaluatori prvo trebaju organizirati
„bezglasno“, uređenje predstavljanja, održati participativne sesije sa njima i
koristiti tehnike koje će omogućiti da se čuje glas dionika sa svih nivoa.
Mnogim dionicima stranac, koji nudi „participativnu evaluaciju“, može
biti sumnjiv. Iskustvo sa javnim agencijama, javnim službenicima i dona-
torskim projektima može kreirati negativne impresije koje treba ispravljati.
Povjerenje se može izgraditi razmjenom informacija radeći preko posrednika,
tako što se počne rano i u punom obimu. Jedan način izgradnje povjerenja je
razmjena informacija o tome šta se evaluacijom namjerava. Evaluatori ovo

mogu uraditi kroz pojedinačne sastanke ili sa velikim grupama kao što su
gradski sastanci. Tokom ovih sastanaka, evaluatori mogu razmijeniti informacije
o tome „zašto i kako evaluacija“. Učesnici na sastancima imaju mogućnost izra-
ziti svoja očekivanja i bojazni. Ako je evaluacija participativna, kada se uspostavi
povjerenje, učesnike možemo pozvati da formiraju vlastite odbore koji će raditi
na evaluaciji.
Postavljanje pristupnih dokumenata na web stranice i poziv za postavljanje
komentara je način otvaranja komunikacije sa akademskom i istraživačkom
zajednicom, nevladinim organizacijama (NVO) i zainteresiranim građanima.
Naravno, ovo se mora uraditi kada se novi ulazni elementi još uvijek mogu
razmatrati i napraviti revizije. Najefektivnije je kada evaluatori postavljaju
odgovore sažimajući komentare i preduzete aktivnosti (ili razloge za nepri-
hvatanje sugestija).
U nekim prilikama, nepovjerenje je toliko da je potrebno uključiti posre-
dnike da premoste prazninu između evaluatora i dionika. U takvim slučajevima,
strana koju dionici poštuju može biti u mogućnosti iskoristiti svoju poziciju da
spoji evaluatore i dionike.
Evaluatori također trebaju posjetiti dionike, posebno kada su direktno
pogođeni intervencijom, zatim se mogu predstaviti i pitati dionike jesu li čuli
za evaluaciju i šta misle o njoj. Ove neformalne povratne informacije se mogu
porediti sa onim što evaluator čuje kroz druge kanale. Služi kao način verifi-
kacije konzistentnosti i provjere pristrasnosti.
Kada se da glas dionicima u dizajniranju kolektivne evaluacije, povećavaju
se šanse rješavanja razlika i postizanje konsenzusa o temama. Rano uključivanje
dionika tako može biti mjera za izbjegavanje konflikta. Za one koji u dizajnu
evaluacije vide lični gubitak jedini mogući stav može biti protivljenje, a što je
gubitak veći, jače će biti protivljenje. Kada se opozicija mobilizira, teško je –
ako ne i nemoguće – razriješiti spor.

Menadžer evaluacije
Menadžer evaluacije je osoba koja upravlja dizajnom, pripremom, imple- ■■ Menadžer

mentacijom, analizom, izvještavanjem, diseminacijom i praćenjem evaluacije. evaluacije:
Menadžer može upravljati sa nekoliko evaluacija u isto vrijeme. U nekim Osoba koja
upravlja
slučajevima evaluator će i upravljati i provoditi evaluaciju.
dizajnom,
Odgovornosti menadžera evaluacije se mogu grupirati u tri faze: pripremom,
priprema, implementacija i praćenje (UNFPA 2007). Priprema uključuje pre- implementaci-
thodni posao definiranja evaluacije i razvoj RFP-a, projektnog zadatka i razvoj jom, analizom,
matrice dizajna evaluacije te bavljenje logistikom. Od menadžera zahtijeva da izvještavanjem,
uradi sljedeće: diseminacijom i
praćenjem
• Odrediti svrhu i identificirati korisnike rezultata evaluacije; evaluacije
• Odrediti ko treba biti uključen u proces evaluacije;
• Sresti se sa ključnim dionicima;
• Definirati djelokrug, pristup, matricu dizajna evaluacije, kao i uključiti pitanja;
• Izraditi nacrt projektnog zadatka i odrediti vremenski okvir za evaluaciju;
• Identificirati mješavinu vještina i iskustava potrebnih da se provede evaluacija;
• Pratiti razvoj i prethodno testiranje instrumenata prikupljanja podataka i
pratiti prikupljanje postojećih informacija. Koristiti selektivnost i osigurati da
su postojeći izvori informacija pouzdani i dovoljno kvalitetni da mogu dati
značajne evaluacione rezultate – prikupljene informacije trebaju biti obradive;
• Odabrati, angažirati i upoznati evaluatore sa svrhom evaluacije, matricom i
planom rada, a zatim ih po potrebi obučiti;
• Osigurati da se potrebna dokumentacija/materijali prikupe i dostave dovoljno
prije izvođenja evaluacije tako da evaluacioni tim ima vremena klasificirati
materijal;
• Vršiti nadzor plana terenskih posjeta;
• Osigurati dostupnost sredstava za izvršenje evaluacije.
Implementacija je stvarno provođenje evaluacije, uključujući analizu, izradu
nacrta i izvještavanje. Od menadžera zahtijeva da uradi sljedeće:
• Osigura da evaluatori imaju potpuni pristup fajlovima, izvještajima, publikaci-
jama i svim drugim relevantnim informacijama;
• Prati napredak evaluacije – pruži povratne informacije i usmjerava evaluatore
tokom svih faza implementacije;
• Procijeni kvalitet izvještaja evaluacije i diskutira o snazi i ograničenjima sa
evaluatorima da osigura da nacrt izvještaja zadovoljava projektni zadatak, da
su nalazi evaluacije odbranjivi, a preporuke realne;
• Organizuje sastanak sa evaluatorima i ključnim dionicima na kom se diskutira
i komentira o nacrtu projekta;

• Odobri krajnji proizvod i osigura prezentaciju evaluacionih rezultata
dionicima.
Finalna faza, praćenje, odnosi se na procjenu učinka, diseminaciju rezu-
ltata, praćenje preporuka i provođenje obdukcije. Tokom ove faze, odgovornosti
menadžera uključuju sljedeće:
• Evaluaciju učinka evaluatora i pohranjivanje u bazu;
• Diseminaciju rezultata evaluacije ključnim dionicima i drugoj publici;
• Promoviranje implementacije preporuka i upotrebu evaluacionih rezultata u
trenutnom i budućem programiranju, promovirati redovni monitoring kako bi
se osiguralo djelovanje prema preporukama;
• Predvodi tim pri pregledu u kom se identificira šta je bilo dobro i šta treba
ponoviti i šta se moglo uraditi drugačije.
Tokom sve tri ove faze menadžer evaluacije može biti medijator tokom sasta-
naka tima omogućavajući svim učesnicima da razmijene stavove i ideje. Kao
medijator, menadžer je odgovoran za:
• postavljanje dnevnog reda;
• pomoć da se grupa drži dnevnog reda;
• osiguranje da se svi stavovi čuju i
• nadgledanje procesa za donošenje odluka (konsenzusa ili procesa glasanja).
Evaluator
Evaluatori su ljudi koji vrše glavni posao u evaluaciji. Broj evaluatora ovisi o
veličini i djelokrugu evaluacije, budžetu i broju dostupnih ljudi.
Razvojni program Ujedinjenih naroda (UNDP 2006) identificira sljedeće kara-
kteristike dobrog evaluatora:
• ekspertiza u određenom polju;
• poznavanje ključnih razvojnih pitanja, posebno onih koja se odnose na glavne
ciljeve ili onih koji se odnose na mogućnost da se vidi „šira slika“;
• poznavanje poslovanja organizacije i načina na koji se posao obavlja;
• evaluacijske vještine dizajniranja, prikupljanja podataka, analize podataka i
pripreme izvještaja i
• vještine korištenje informacionih tehnologija.
Populacioni fond Ujedinjenih naroda (UNFPA 2007) identificira potencijalne

odgovornosti evaluatora:
• Osigurava ulazne elemente potrebne za evaluacioni dizajn, dorađuje i određuje
evaluacione ciljeve i pitanja;
• Provodi evaluaciju;

• Pregleda informacije/dokumentaciju;
• Dizajnira/dorađuje instrumente za prikupljanje dodatnih informacija po
potrebi, provodi ili koordinira prikupljanje dodatnih informacija;
• Obavlja posjete lokacijama, provodi intervjue;
• U participativnim evaluacijama omogućava učešće dionika;
• Osigurava redovno izvještavanje/brifiranje menadžeru evaluacije;
• Analizira i spaja informacije, interpretira nalaze, razvija i diskutira o
zaključcima i preporukama te izvlači naučene lekcije;
• Učestvuje u diskusijama o nacrtu izvještaja evaluacije, ispravlja ili popravlja
činjenične greške ili pogrešne interpretacije;
• Vodi osvrte/diskusije da omogući prezentaciju nalaza evaluacije na seminarima/
radionicama;
• Finalizuje izvještaj evaluacije i priprema prezentaciju rezultata evaluacije.
Mnoge organizacije nastoje uspostaviti kriterij profesionalne konkurencije za

pojedince koji se uključuju u evaluaciju. U toku su također diskusije za uspostavu
certificiranja evaluatora. (Kompetencija i certifikacija evaluatora je obrađena u
Poglavlju 15.)
Upravljanje ljudima, zadacima i budžetom
Vršena su mnoga poređenja u opisu upravljanja projektom. Neka porede upra-

vljanje projektom sa žongliranjem, zato što projekt menadžer mora pratiti mnogo
stvari u isto vrijeme (ljude, zadatke, vrijeme, budžet, kvalitet). Druga opet porede
projekt menadžment sa dirigovanjem orkestrom, zato što menadžer stoji na odsto-
janju i upravlja mnogim komponentama ljudi sa različitim vještinama.
Upravljanje ljudima
Osigurati da evaluacioni tim radi dobro i timski zahtijeva razne vještine. U

ovom dijelu opisana su rješavanja konflikata i izgradnja timskih vještina kojima
menadžer mora ovladati.
Menadžeri također trebaju upravljati strahom „vlasnika“ programa. Neke
ljude može brinuti da će se evaluacija fokusirati na negativno, a to je ono što
privlači pažnju. Mogu strahovati da će neki negativni nalazi evaluacije biti štetni
za program koji je uglavnom dobar. Može postojati strah da će nedostatak utjecaja
programa, koje je teško mjeriti, rezultirati pogrešnim zaključcima da je program
neefektivan, što dovodi do negativnih posljedica po njegovo finansiranje.
Način na koji evaluatori mogu riješiti pitanje straha vlasnika programa od
evaluacije je taj što će ih uključiti u identifikaciju pitanja koja bi evaluacija

obrađivala. Evaluatori im također trebaju pružiti priliku da pregledaju planove
rada evaluacije, nalaze i preporuke.
Vještine rješavanja konflikta

Konflikt se često javlja među ljudima koji rade u grupama. Dvije najpotre-
bnije vještine u rješavanju konflikta su vještina komunikacije i vještina slušanja.
Važna vještina komunikacije uključuje korištenje „ja“ izjava, umjesto „ti“ jezika.
Vještina slušanja uključuje potvrdu da je slušalac ispravno razumio govornika
(„Čujem da ti pričaš... Je li to tačno?“).
Ne moraju svi konflikti završiti sa pobjednikom i gubitnikom. Većina
konstruktivnih konflikata završava „pobjedom“ svih strana (Tekstualni okvir 12.2).
Tekstualni okvir 12.2 Savjeti za rješavanje konflikta

Menadžeri mogu pomoći da se konflikt riješi na razne načine:
• Sakupiti one koji su u konfliktu na sastanak. Omogućiti svakoj strani da

ukratko sažme svoju tačku gledišta, bez prekidanja. Ako jedna osoba ne
dozvoljava drugoj da završi ili počne kritikovati, potrebno ju je zaustaviti;
• Omogućiti ljudima da iznesu svoja osjećanja. Tako se prijeđe dugi put ka
smanjenju konflikta;
• Pitati svaku osobu koja je uključena da opiše radnje koje bi željela da druga
osoba preduzme;
• Saslušati obje strane. Upitati se postoji li bilo šta u radnoj situaciji što bi
moglo uzrokovati ovaj konflikt. Ako postoji, razmotriti način izmjene
radne situacije da bi se konflikt riješio;
• Ne stavljati se na strane. Podsjetiti učesnike na cilj evaluacije i nastojati
pronaći način da se obje strane pomognu u dostizanju cilja;
• Tražiti od učesnika da rade na rješavanju spora. Omogućiti im da se i dalje
sastaju da bi riješili konflikt. Odrediti vrijeme za pregled napretka.

Vještine izgradnje tima
Rad u timu zahtijeva razne vještine. Ove vještine uključuju sljedeće:
• Slušanje: članovi tima trebaju razviti i koristiti dobre vještine aktivnog slušanja.
Ove vještine mogu biti najvrjednije sredstvo tima;
• Postavljanje pitanja: članovi tima trebaju postavljati pitanja da razjasne i ela-
boriraju ono što drugi imaju reći;
• Uvjeravanje: članovi tima trebaju razmjenjivati ideje, elaborirati, braniti, i
promišljati o idejama;
• Poštivanje: članovi tima trebaju poštivati mišljenja drugih i podsticati i
podržavati njihove ideje i nastojanja;
• Pomaganje: članovi tima trebaju se međusobno pomagati nudeći pomoć kada
je potrebno.
Upravljanje timom zahtijeva i neke dodatne vještine (Tekstualni okvir 12.3).
Razne tehnike se mogu koristiti da se dobije najviše od tima. Razmjena
ideja se koristi da se prikupe ideje od grupe ljudi u kratkom vremenu. Svaka ■■ Razmjena
osoba doprinosi idejom za evaluaciono pitanje, koje se piše na prezentacijskoj ideja: Tehnika
koja se koristi
mapi. Jedna osoba iznosi ideju, druga osoba daje drugu ideju. Medijator kruži
za prikupljanje
po grupi sve dok se javljaju ideje. Osnovno pravilo je da se svaka ideja piše na ideja od grupe
prezentacijskoj mapi – nema loših ideja. Nema diskusije o idejama. Na ovaj ljudi u kratkom
način sve ideje se čuju. Grupa u cjelini zatim počinje identificirati zajedničke vremenu
ideje i kreira se nova lista.
Tekstualni okvir 12.3 Savjeti za poboljšanje timskog rada

Sljedeći savjeti mogu pomoći menadžerima da poboljšaju način na koji
članovi tima rade zajedno:
• Predstaviti svrhu i važnost određenog posla;

• Uključiti se u aktivno slušanje, pomoći drugima da iznesu mišljenje kroz
efektivno parafraziranje;
• Sarađivati sa kolegama i drugima u pozitivnoj praksi ispitivanja, vredno-
vati jedinstven doprinos i tačku gledišta svake osobe;
• Ostaviti po strani ličnu pristrasnost radi traženja odgovora na teška pita-
nja za dobrobit ljudi pogođenih projektom, programom ili evaluacijom;
• Staviti na stranu odbrambene stavove kad se suočava sa nalazima
evaluacije.
Izvor: NEIR TEC 2004.

Mapiranje koncepta je moderirani grupni proces koji se koristi da se traže ideje
od svih učesnika i zatim grupiraju i postave redoslijedom po važnosti. Počinje
■■ Mapiranje generiranjem ideja, preko razmjene ideja ili dijagramiranje afiniteta. Svaka ideja
koncepta: se piše na odvojenu karticu i postavlja se na zid.
Moderirani Kada više nema ideja, od učesnika se traži da pogledaju ideje i postave kartice
grupni proces
u grupe koje predstavljaju sličan koncept ili temu. Učesnici zatim identificiraju
koji se koristi da
se traže ideje odgovarajuću oznaku za svaki koncept/temu. Moderator zatim vodi diskusiju o
od svih važnosti svake teme i zašto je ili zašto nije svaka važna. Neki relativno nevažni
učesnika i da se koncepti ili teme mogu otpasti u ovoj fazi, a ideje koje spadaju u tu grupu se isto
grupiraju i mogu odbaciti ili prebaciti u drugu rubriku. Dok učesnici pregledaju grupiranje
postave
na zidu, mogu od moderatora tražiti da neke ideje premjesti u druge kategorije.
redoslijedom po
važnosti
Kada su učesnici zadovoljni konceptima/temama i grupiranjem, moderator
prelazi na njihovo rangiranje. Svakom učesniku da se određen broj naljepnica,
ovisno o broju koncepata/tema koje moderator hoće označiti kao važne. Ako ih
je pet onda svaki učesnik dobije pet naljepnica. Učesnici zatim postavljaju nalje-
pnice do svakog od pet koncepata/tema koje smatraju najvažnijim. Moderator
zatim identificira pet koncepata/tema sa najvećim brojem naljepnica i postavlja
ih prema broju naljepnica koje su dobili. Proces se može ponavljati sa idejama iz
svakog koncepta/teme, ako je potrebno.
Upravljanje zadacima
Upravljanje zadacima ponekad izgleda lakše nego upravljanje ljudima, ali ovaj
proces ima svoje izazove. Ključno je ostati fokusiran na cilj evaluacije i najvažnije
zadatke.
Mapa zadataka na kojoj se nalaze svi zadaci skupa sa datumom početka i
završetka (Tabela 12.1). Ganttov dijagram je također koristan alat monitoringa.
■■ Mapa Stub svakog zadatka se može ispuniti tako da pokazuje stvarni napredak u odnosu
zadatka:
na ono što je planirano. Grafikon također može pokazati ovisnost jednog zadatka
Tabela koja
identificira o završetku drugog zadatka ili uskog grla gdje se spaja završetak više zadataka.
zadatake, lične Mnogi softverski paketi imaju Gantt grafikon šablone.
odgovornosti, i Aktivnosti se moraju pratiti da se osigura da je zadatak završen prema raspo-
datume početka redu. Ako se očekivani napredak ne postiže, evaluator treba identifikovati pre-
i završetka
preke i odlučiti kako ih ukloniti. Važno je da se članovi tima osjećaju slobodno
■■ Ganttov
grafikon: prijaviti probleme, pošto je probleme lakše riješiti ako se ranije otkriju.
Grafikon koji se Iako je važno imati plan, također je važno ostati fleksibilan kada se suočava sa
koristi da se preprekama. Prilagodbe se mogu napraviti dodjelom više vremena ili resursa ili
ilustrira smanjenjem broja uključenih zadataka.
raspored
projekta

Tabela 12.1 Primjer mape zadataka
Odgovorna osoba Datum Datum
Zadatak ili ljudi početka završetka
Provesti pregled eksterne literature, i identificirati srodna Anna, Miguel i Kabir 7/1 7/4
interna i eksterna pitanja;
Pregledati dokumentaciju projekta(na primjer, dokumente Kabir 7/5 7/23
odbora, dokumente odluka, izvještaje supervizije)
specifične za intervenciju;
Zakazati i održati sastanak sa klijentom; Anna 7/15 7/31
Identificirati ključne dionike i zakazati sastanke; Kabir i Miguel 7/15 7/17
Napisati sažetak sastanka sa klijentom i donijete odluke; Anna 8/1 8/3
Provesti sastanke sa dionicima, sažeti pitanja; Anna i Miguel 8/5 8/15
Izraditi početni dizajn evaluacije. Anna 7/1 8/31
Izvor: Autori.
Ilustracija 12.1 Primjer Ganttovog grafikona
Sedmica Sedmica Sedmica Sedmica Sedmica Sedmica Sedmica

Zadatak
1 2 3 4 5 6 7
Provođenje
pregleda
literature
Održavanje
sastanaka
sa
dionicima
Nacrt teorije
promjene
Izvor: Autori.

Upravljanje budžetom
Prema Sandersu (1983), budžet evaluacije obično uključuje 10 kategorija:
• plate i naknade osoblja evaluacije;

• konsultanti;
• putovanja i dnevnice (za osoblje i konsultante);
• komunikacija (pošta, telefon i tako dalje);
• printanje i kopiranje;
• obrada podataka;
• printani materijali;
• zalihe i oprema;
• podugovori i
• dodatni (prostorije, komunalije).
Horn (2001) nudi detaljnu listu provjere za uspostavljanje budžeta evaluacije.

Lista provjere razlaže elemente troškova prema vrsti ili iznad navedenim kate-
gorijama. Evaluacioni menadžer može izračunati troškove za svaku od kategorija
da procijeni troškove evaluacije.
Ako se pokaže da je budžet za evaluaciju visok, može biti neophodno razmi-
sliti o nekim mjerama uštede koje su razvili Fitzpatrick, Sanders, i Worthen
(2004):
• Koristiti volontere ili manje skupe radnike;

• Koristiti lokalne specijaliste za prikupljanje podataka da se smanje troškovi
putovanja;
• Obučiti manje skupo osoblje za izvršenje odabranog zadatka;
• Posuditi opremu, ljude, materijal, i zalihe;
• Tražiti doprinos u naturi od organizacije gdje je eksterni evaluator zaposlen;
• Smanjiti djelokrug evaluacije (možda neke dijelove ostaviti za budućnost);
• Koristiti postojeće mjere, podatke ili izvještaje;
• Koristiti manje skupo prikupljanje podataka kada preciznost može biti
žrtvovana bez velikih posljedica;
• Koristiti javne medije za diseminaciju rezultata;
• Povećati efikasnost kroz dobar menadžment.
Proporcija budžeta programa ili projekta dodijeljenog evaluaciji ovisi o
mnogo faktora, uključujući preglednost projekta ili programa, planiranog
djelokruga evaluacije i rizika po reputaciju ako evaluacija ostavi praznine.
The Kellogg Foundation’s Evaluation Toolkit (1998) ukazuje da budžet evalu-
acije treba predstavljati 5-10 procenata ukupnog budžeta projekta.

Drugi evaluacioni specijalisti sugerišu da 1-3 procenta troškova programa ili pro-
jekta treba dodijeliti evaluaciji (procenat je manji za veće projekte).
Upravljanje projektima
Upravljanje projektima je vezano za upravljanje svim aspektima projekta –

uključujući vremenski raspored, djelokrug, troškove, i dostupne resurse – u isto
vrijeme. Upravljanje projektima je proces koji uključuje više faza. Postoje mnogi
modeli upravljanja projektima i nekoliko programa certifikacije u upravljanju
projektom. Michael Greer (2001), jedan od autoriteta u upravljanju projektima,
razvio je model koji naglašava aktivnosti i rezultate. Njegov model upravljanje
projektom dijeli na pet faza:
• započinjanje;
• planiranje;
• izvršenje;
• kontrola i
• zatvaranje.
Svaka faza je podijeljena na korake, koje Greer naziva aktivnosti. Identificira
20 aktivnosti koje treba izvršiti kroz 5 faza (Tabela 12.2).

Tabela 12.2 Greerovih 20 aktivnosti upravljanja projektom
Faza/aktivnost Rezultati uspješnog učinka
Započinjanje faze
1. Demonstracija • Dokument koji potvrđuje potrebu za predmetima
potreba i provodivosti isporuke projekta i u širem smislu opisuje predmete
projekta isporuke, sredstva za izradu predmeta isporuke,
troškove izrade i implementacije predmeta isporuke i
koristi koje će se dobiti implementacijom predmeta
isporuke;
2. Pribavljanje • “Ide – ne ide” odluka koju donosi sponzor;
odobrenja za projekt • Imenuje se projekt menadžer koji formalno priznaje
projekt i projekt menadžeru se daje ovlaštenje da
primjenjuje resurse na projektne aktivnosti; Izrađuje
se povelja projekta kojom se (a) formalno priznaje
projekt, (b) izdaje je menadžer koji je izvan projekta i
na dovoljno visokom nivou u organizaciji da može
dodijeliti resurse potrebama projekta i (c) daje
ovlaštenje projekt menadžeru da koristi resurse za
projektne aktivnosti;
3. Pribavljanje • “Ide-ne ide” odluku donosi sponzor; Menadžeru
odobrenja za fazu projekta se daje ovlaštenje da koristi resurse
organizacije na aktivnosti određene faze;
• Pisano odobrenje za fazu, koja je izrađena i kojom se
(a) formalno priznaje postojanje faze i (b) koju izdaje
menadžer koji je izvan projekta i na dovoljno visokom
nivou u organizaciji da može zadovoljiti potrebe
projekta.
Faza planiranja
4. Opisivanje djelokruga • Izjava o djelokrugu projekta;
projekta • Djelokrug menadžment plana;
• Struktura podjele posla;
5. Definiraju se • Lista aktivnosti koje treba izvesti;
aktivnosti i pravi se • Ažuriranje strukture podjele posla;
redoslijed projekta
• Mrežni dijagram projekta;
6. Procjenjuje se • Procjena vremena potrebnog za svaku aktivnost i

trajanje aktivnosti i pretpostavke vezane za svaku procjenu;
potrebni resursi • Izjava o potrebnim resursima;
• Ažuriranje liste aktivnosti;
7. Pravi se raspored • Detalji podrške, kao što je upotreba resursa tokom
projekta vremena, procjena toka novca, plan narudžbe/
dostave, i tako dalje;

8. Procjenjuju se • Procjena troškova za završetak svake aktivnosti;
troškovi • Detalj podrške, uključujući pretpostavke i prepreke;
• Plan upravljanja troškovima koji opisuje kako će se
postupati sa varijacijama u troškovima.

9. Izrada budžeta i plana • Osnovica troškova ili budžet u vremenskim fazama
potrošnje za mjerenje/monitoring troškova;
• Plan trošenja, iskaz koliko će biti potrošeno na koji
resurs i u koje vrijeme;
10. Izrada formalnog • Plan upravljanja kvalitetom, uključujući operativne
plana kvaliteta definicije;
(neobavezno) • Lista provjere verifikacije kvaliteta;
11. Izrada formalnog • Plan upravljanja komunikacijom, uključujući strukturu
plana komunikacija prikupljanja, strukturu distribucije, opis informacija
projekta koje će biti diseminirane, lista rasporeda nastanka
(neobavezno) informacija, metod ažuriranja plana komunikacije;
12. Organizacija i • Raspodjela uloga i odgovornosti;
angažovanje osoblja • Plan osoblja;
• Organizacioni grafikon, sa odgovarajućim detaljima;
• Osoblje projekta;
• Direkcija projektnog tima;
13. Identificirati rizike i • Dokument koji opisuje potencijalne rizike, uključujući
planirati reakcije izvore, simptome, i načine njihovog rješavanja;
(neobavezno)
14. Plan i pribavljanje • Plan upravljanja nabavkama koji opisuje kako će
vanjskih resursa izvođači biti angažirani;
(neobavezno) • Izjava o radu ili izjava o zahtjevima koji opisuju stavku
(proizvod ili uslugu) koja će biti nabavljena;
• Dokumenti ponude;
• Kriterij evaluacije (način ocjene ponuda ponuđača);
• Ugovor sa jednim ili više dobavljača roba ili usluga;
15. Organizacija plana • Sveobuhvatan plan projekta koji sakuplja sve izlazne
projekta elemente prethodnih aktivnosti planiranja;
16. Zatvaranje faze • Plan projekta koji je odobrio, pismeno, sponzor
planiranja projekta („zeleno svjetlo“ da se počne raditi na projektu);
17. Ponovni pregled • Uvjerenje da je detaljni plan za izvršenje određene
plana projekta i faze još uvijek tačan i da će efektivno ostvariti
izmjene po potrebi rezultate kako je planirano.
nastavlja se

Tabela 12.2 Nastavak
Faza izvršenja
18. Izvršenje projektnih • Rezultati rada (predmeti isporuke);
aktivnosti • Zahtjevi za promjenom (na osnovu proširenja ili
ograničenja projekta);
• Periodični izvještaji o napretku;
• Procjena i poboljšanje (ako je potrebno) učinka tima;
• Traženje ponuda za predmete isporuke, odabir
izvođača (dobavljača), i ponovna uspostava ugovora;
• Provođenje ugovora da se ostvare željeni rezultati
rada.
Kontrolna faza
19. Kontrola projektnih • Odluka da se prihvate ispitani predmeti isporuke:
aktivnosti • Korektivne radnje, kao što je dorada predmeta;
isporuke, prilagođavanje procesu rada, i tako dalje
• Ažuriranje projektnog plana i djelokruga;
• Lista naučenih lekcija;
• Poboljšani kvalitet;
• Kompletirana lista provjere evaluacije (ukoliko je
primjenjivo).
Faza zatvaranja
20. Aktivnosti zatvaranja • Formalno prihvatanje, pisani dokumenti, koje
projekta sponzor prihvata kao proizvod ove faze ili aktivnosti;
• Formalno prihvatanje proizvoda rada i aktivnosti
izvođača;
• Formalno prihvatanje proizvoda rada i ažuriranje
fajlova izvođača;
• Ažurirana projektna evidencija spremna za arhivu;
• Plan praćenja i/ili predaje proizvoda rada.
Izvor: Greer 2001. Printano uz dozvolu.
Sažetak
Planiranje je neophodno da se osigura da evaluacija ostvari svoje ciljeve. Svaki

evaluator koji radi na evaluaciji treba razumjeti svoju ulogu i odgovornosti u
odnosu na ostale koji rade na evaluaciji. Projektnim zadatkom se ove odgovo-
rnosti stavljaju na papir svima na uvid.
U rješavanju pitanja osoblja, vremena, zadataka i troškova, menadžeri moraju
imati na umu cilj evaluacije. Svaka odluka treba biti zasnovana na dostizanju cilja
evaluacije.

Aplikacijska vježba 12.1: Projektni zadatak

Pročitajte sljedeći projektni zadatak i slijedite instrukcije koje se nalaze iza.
Prema sugestiji Svjetske trgovinske organizacije (WTO), međuagencijska grupa koja
upravlja programom integriranog okvira tražila je od Svjetske banke da preuzme
vodstvo u provođenju pregleda implementacije programa tokom protekle dvije godine.
Združeni poduhvat nekoliko agencija – Integrisani okvir nastoji pomoći najnerazvi-
jenijim zemljama da iskoriste prilike koje nudi međunarodni trgovinski sistem. Sistem,
koji je nastao na seminarima o pravilima WTO-a za poboljšanje luka i pristaništa,
pruža pomoć u vezi sa trgovinom. Funkcionira tako što pojedinim državama pomaže
da identificiraju svoje potrebe i zatim program tražene pomoći donesu za okrugli sto
za podršku donatora.
Pregled treba pokriti sljedeće teme:
• percepcija ciljeva Integrisanog okvira (ostvaruje se istraživanjem stavova
uključenih strana);
• pregled pomoći koja se odnosi na trgovinu (izgradnja institucija, izgradnja
ljudskih i poduzetničkih kapaciteta i infrastrukture);
• razmatranje politike, uključujući povećanja Integrisanog okvira i trgovinsko i
makroekonomsko političko okruženje;
• upravljanje Integrisanim okvirom i
• preporuke za budućnost.
Pri obradi ovih tema, konsultant treba procijeniti relevantnost operacija Integri-
sanog okvira za njegove ciljeve. Također evaluator treba procijeniti isplativost Okvira
u ostvarenju svojih ciljeva i efektivnost koordinacije između centralnih agencija koje
nadgledaju Okvir i procjenjuje isplativost okruglih stolova i ostalih aktivnosti.
Od konsultanta se očekuje da istraži dokumentaciju o implementaciji, provede
intervjue sa operativnim osobljem svih uključenih agencija i traži pregled pre-
dstavnika najnerazvijenijih država kao i vlada i poslovnih predstavnika u najmanje
dvije najnerazvijenije države koje su imale koristi od Integrisanog okvira, od kojih
jedna treba biti iz Afrike (predlažu se Bocvana i Uganda). Predstavnike ključnih
donatora također treba konsultirati. Izvještaj treba biti oko 20 stranica, ne uključujući
dodatke ako su potrebni.
Raditi u paru, ako je moguće, pregledati i kritikovati projektni zadatak i

odgovoriti na sljedeća pitanja:
1. Uključuje li projektni zadatak sve neophodne elemente?
2. Koji elementi su kompletni?
3. Koji elementi se mogu poboljšati?

Aplikacijska vježba 12.2: Jeste li spremni da budete menadžer?
Pročitajte listu karakteristika menadžera (Reh 2007). Identificirajte vještine koje

imate i one koje treba unaprijediti.
Kao osoba:
• Imate pouzdanje u sebe i svoje mogućnosti. Zadovoljni ste onim što ste, ali još
uvijek učite i nastojite biti bolji;
• Otvoreni ste. Ne morate biti centar zabave, ali ne možete biti ni djevojka koju
niko ne zove na ples. Menadžment je ljudska vještina – to nije posao za nekoga
ko ne uživa sa ljudima;
• Časni ste i neposredni. Vaš uspjeh ovisi uveliko o povjerenju drugih;
• Uključujete, a ne isključujete. Druge uvodite u ono što radite. Ne isključujete
druge zato što im nedostaju određeni atributi;
• Prisutni ste. Menadžer mora voditi. Efektivne vođe posjeduju određeno svo-
jstvo tako da ljudi primijete kad oni uđu u prostoriju.
Na poslu:
• Konzistentni ste ali ne rigidni. Pouzdani ste, ali možete promijeniti mišljenje.
Donosite odluke, ali sa lahkoćom prihvatate sugestije drugih;
• Pomalo ste ludi. Razmišljate izvan kutije. Pokušavate nove stvari, i ako ne
uspiju, priznajete grešku, ali se ne izvinjavate što ste pokušali;
• Ne bojite se „računati“. Pravite planove i rasporede i radite prema njima;
• Okretni ste i možete brzo promijeniti planove, ali niste površni;
• Informacije vidite kao sredstvo koje treba koristiti, a ne kao snagu koju treba
gomilati.

Bemelmans Videc, M. L., R. C. Rist, and E. Vedung. 1997. Sticks, Carrots, and Sermons:
Policy Instruments and Their Evaluation. Piscataway, NJ: Transaction Publishers.
Billson, Janet Mancini. 2004. The Power of Focus Groups: A Training Manual for
Social, Policy, and Market Research: Focus on International Development. Burling-
ton, RI: Skywood Press.
CDC (U.S. Centers for Disease Control and Prevention). 2001. Introduction to Program
Evaluation.
http://www.cdc.gov/tobacco/tobacco_control_programs/surveillance_
evaluation/evaluation_manual/00_pdfs/Chapter1.pdf.
Chelimsky, E. 1987. “The Politics of Program Evaluation.” Social Science and Modern
Society 25: 24–32.
de Regt, Jacomina. 1996. “Mozambique: Country Implementation Review.” In World
Bank Participation Sourcebook, 83–88. Washington, DC: World Bank.http://www.
worldbank.org/wbi/sourcebook/sb0211.pdf.
ESRC (Economic and Social Research Council). 2007. “Welcome to ESRC
Today. Top Ten Tips.”
http://www.esrc.ac.uk/ESRCInfoCentre/Support/Communications_toolkit/communi-
cations_strategy/index.aspx.
Feuerstein, M. T. 1986. Partners in Evaluation: Evaluating Development and Community
Programs with Participants. London: MacMillan, in association with Teaching Aids
at Low Cost.
Fitzpatrick, Jody L., James R. Sanders, and Blaine R. Worthen. 2004. Program Evalu-
ation: Alternative Approaches and Practical Guidelines. New York: Pearson
Education.
Greer, Michael. 2001. “20 Key Project Manager Actions and Results.” In The Project
Manager’s Partner. Amherst, MA: HRD Press.
http://www.michaelgreer.com/20-actns.htm.
———. 2008. Michael Greer’s Project Management. http://www.michaelgreer.com.
Hawkins, Penny. 2005. “Contracting Evaluation.” International Program for Develop-
ment Evaluation Training (IPDET) presentation, Ottawa, June 30–July 1.
Horn, Jerry 2001. A Checklist for Developing and Evaluating Evaluation Budgets. http://
www.wmich.edu/evalctr/checklists/evaluationbudgets.pdf.
Kellogg Foundation. 1998. Evaluation Handbook. Battle Creek, MI.
http://www.wkkf.org/Pubs/tools/Evaluation/Pub770.pdf.
King, Jean A., Laurie Stevahn, Gail Ghere, and Jane Minnema. 2001. “Toward a Tax-
onomy of Essential Evaluator Competencies.” American Journal of Evaluation 222:
229–47.
http://www.nbowmanconsulting.com/Establishing percent20Essentialpercent
20Programpercent20Evaluator percent20Competencies.pdf.
Kirkhart, K. E. 2000. “Reconceptualizing Evaluation Use: An Integrated Theory
of Influence.” In The Expanding Scope of Evaluation Use, ed. V.J. Caracelli and
H. Preskill, 5–24. New Directions for Evaluation No. 88. San Francisco: Jossey-Bass.
Evaluation System. Washington, DC: World Bank.

Leeuw, Frans. 1991. “Policy Theories, Knowledge Utilization and Evaluation.” OECD
World Forum on Statistics: Knowledge and Policy, vol. 4, 73–91. Organisation for
Economic Co-operation and Development, Paris.
McNamara, C. 1999. Checklist for Program Evaluation Planning.
http://www.managementhelp.org/evaluatn/chklist.htm.
Muir, Edward. 1999. “They Blinded Me with Political Science: On the Use of Non–Peer
Reviewed Research in Education Policy.” Political Science and Politics 32 (4):
762–64.
NCSTE (Chinese National Centre for Science and Technology Evaluation), and IOB
(Policy and Operations Evaluation Department [the Netherlands]). 2006. Country-Led
Joint Evaluation of the ORET/MILIEV Programme in China. Amsterdam: Aksant
Academic Publishers.
NEIR TEC (Northeast and the Islands Regional Technology in Education Consortium).
2004. Gathering Together and Planning: Exploring Useful Skills for Educators to
Develop Through Collaborative Evaluation.
http://www.neirtec.org/evaluation/PDFs/Gathertogether3.pdf.
OECD (Organisation for Economic Co-operation and Development). n.d. DAC Evalua-
tion Quality Standards for Test Phase Application. Development Assistance Commit-
tee, Paris.
———. 2002. OECD Glossary of Key Terms in Evaluation and Results-Based Manage-
Patton, Michael Q. 1977. “In Search of Impact: An Analysis of the Utilization of Federal
Health Evaluation Research.” In Using Social Research in Public Policy Making, ed.
C. H. Weiss, 141–64. Lexington, MA: Lexington Books.
———. 1997. Utilization-Focused Evaluation. 3rd ed. Thousand Oaks, CA: Sage
Publications.
———. 2005. “Qualitative Methods and Analysis for Development Evaluation.” Interna-
tional Program for Development Evaluation Training (IPDET) presentation, Ottawa,
June 27–29.
Reh, F. John. n.d. “How to Be a Better Manager.”
http://management.about.com/cs/midcareermanager/a/htbebettermgr.htm.
———. 2007. “Management Tips.”
http://management.about.com/cs/generalmanagement/a/mgt_tips03.htm.
Rist, Ray C., and N. Stame. 2006. From Studies to Streams: Managing Evaluative Sys-
tems. Piscataway, NJ: Transaction Publishers.
Rossi, Peter Henry, Howard E. Freeman, and Mark W. Lipsey. 1999. Evaluation:
A Systematic Approach. Thousand Oaks, CA: Sage Publications.
Rutman, L. 1980. Planning Useful Evaluations: Evaluability Assessment. Thousand
Sanders, James R. 1983. “Cost Implications of the Standards.” In The Cost of Evaluation,
eds. M. C. Alkin and L. C. Solman, 101–17. Thousand Oaks, CA: Sage Publication.
Schwartz, R. 1998. “The Politics of Evaluation Reconsidered: A Comparative Study of
Israeli Programs.” Evaluation 4: 294–309.

Schwartz, R., and J. Mayne. 2004. Quality Matters: Seeking Confidence in Evaluating,
Auditing, and Performance Reporting. Piscataway, NJ: Transaction Publishers.
Scriven, Michael. 2007. “Key Evaluation Checklist.”
http://www.wmich.edu/evalctr/checklists/kec_feb07.pdf/.
Stufflebeam, Daniel L. 1999. “Evaluations Plans and Operations Checklist.”
http://www.wmich.edu/evalctr/checklists/plans_operations.pdf.
Tilley, Nick. 2004. Applying Theory-Driven Evaluation to the British Crime Reduction
Programme: The Theories of the Programme and of Its Evaluations. Thousand Oaks,
UNFPA (United Nations Population Fund). 2007. “Tool No. 5: Planning and Managing
an Evaluation.” Programme Manager’s Planning, Monitoring and Evaluation Tool-
kit. New York. http://www.unfpa.org/monitoring/toolkit/5managing.pdf.
Weiss, Carol H. 1973. “Where Politics and Evaluation Research Meet.” Evaluation 1:
37–45.
———. 2004. Identifying the Intended Uses of an Evaluation. International Program for
Development Evaluation Training (IPDET) presentation, Ottawa, July. http://www.
idrc.ca/ev_en.php?ID=58213_201&ID2=DO_TOPIC.
Wholey, J. S. 1979. Evaluation: Promise and Performance. Washington, DC: Urban
Institute.
———. 1994. “Assessing the Feasibility and Likely Usefulness of Evaluation.” In Hand-
book of Practical Program Evaluation, eds. Joseph S. Wholey, Harry P. Hatry, and
Kathryn E. Newcomer, 15–39. San Francisco: Jossey-Bass.
Widavsky, A. 1972. “The Self-Evaluating Organization.” Public Administration Review
32: 509–20.
World Bank. 2006. The World Bank Participation Sourcebook. Washington, DC: World
Bank. http://www.worldbank.org/wbi/sourcebook/sbhome.htm.
Web stranice
Canadian Evaluation Society. Professional Designation Project. http://www

.evaluationcanada.ca/site.cgi?s=5&ss=6&_lang=EN.
Conflict Resolution Information Source. http://www.crinfo.org/index.jsp.
Conflict Resolution Network. http://www.crnhq.org/.
EIB (European Investment Bank Group). 2008. “What Is the EIB Group?” http://www.
eib.org/attachments/general/whatis_eibgroup_2008_en.pdf.
ESRC (Economic and Social Research Council). “ESRC Society Today: Communication
Strategy.” http://www.esrc.ac.uk/ESRCInfoCentre/Support/
Communications_toolkit/communications_strategy/index.aspx.
Europe Aid Co-operation Office. 2005. Evaluation Methods. http://ec.europa.eu/
europeaid/evaluation/methodology/index_en.htm.
———. 2006. Methodological Bases. http://ec.europa.eu/europeaid/evaluation/
methodology/methods/mth_en.htm.
European Commission. 2008. Evaluation Network. http://ec.europa.eu/regional_
policy/sources/docgener/evaluation/tech_en.htm.

Evalnet. 2000. http://www.evalnet.co.za/services/.
IBSTPI (International Board of Standards for Training, Performance, and Instruction).
Competencies for Internal Staff and External Consultants Conducting Evaluations in
Organizational Settings. http://www.ibstpi.org/Competencies/evaluatorcompetencies.
htm.
IDRC (International Development Research Centre). 2004. Evaluation Planning in Pro-
gram Initiatives. http://web.idrc.ca/uploads/user-S/108549984812guideline-web.pdf.
MSH (Management Sciences for Health), and UNICEF (United Nations Children’s
Fund). “Quality Guide: Stakeholder Analysis.” In Guide to Managing for Quality.
http://bsstudents.uce.ac.uk/sdrive/Martin percent20Beaver/Week percent
202/Quality percent20Guide percent20- percent20Stakeholder percent20
Analysis.htm.
Treasury of Board of Canada Secretariat. 2005. Improving the Professionalism of Evalua-
tion. http://www.tbssct.gc.ca/eval/dev/Professionalism/profession_e.asp.
UNDP (United Nations Development Programme). 2006. Planning and Managing an
Evaluation Website. http://www.undp.org/eo/evaluation_tips/evaluation_
tips.html.
UNFPA (United Nations Population Fund). 2004. Programme Manager’s Plan-
ning, Monitoring and Evaluation Toolkit. http://www.unfpa.org/monitoring/
toolkit/5managing.pdf.
Weiss, Carol. Identifying the Intended Use(s) of an Evaluation. International Develop-
ment Research Centre. http://www.idrc.ca/ev_en.php?ID=58213_201&ID2=
DO_TOPIC.
Western Michigan University Evaluation Center. Evaluation Checklists. http://www.
wmich.edu/evalctr/checklists/checklistmenu.htm.
———. The Checklist Project. http://evaluation.wmich.edu/checklists.
Primjeri projektnih zadataka

ADB (Asian Development Bank). 2008. Model Terms of Reference Diagnostic City
Water Assessment (Links). http://www.adb.org/Water/tools/City-Water-
Assessments.asp.
CIDA (Canadian International Development Agency). Model for Evaluation Terms of
Reference. http://www.acdicida.gc.ca/INET/IMAGES.NSF/vLUImages/
Performancereview4/US$file/tor_sample_text.pdf.
FAO (Food and Agriculture Organization of the United Nations). FAO Model Terms of
Reference for a Joint Evaluation Mission. http://www.fao.org/pbe/pbee/
common/ecg/233/en/torseng.doc.
UNDP (United Nations Development Programme). 2002. Handbook on Monitoring and
Evaluating for Results. http://www.undp.org/eo/documents/HandBook/ME-Hand-
Book.pdf.

POGLAVLJE 13
Prezentiranje rezultata
Kada su prikupljanje podataka i analiza uveliko završeni, vrijeme je

podijeliti preliminarne rezultate i napraviti planove predstavljanja
konačnih rezultata. Razmjena onog što se naučilo je jedan od najvažnijih
dijelova evaluacije. To je kritičan preduvjet za efektivnu promjenu.
Predstavljanje rezultata se može uraditi u pisanoj formi (kroz izvještaje
i dopise) ili usmeno (kroz brifinge i prezentacije).

• Izrada Strategije Komunikacije
• Pisanje Evaluacionog Izvještaja
• Vizuelno Prikazivanje Informacija
• Pravljenje Usmene Prezentacije
467
Izrada strategije komunikacije
Evaluacija koja se ne koristi da se informiraju odluke je od male vrijednosti. Kada

se dizajnira evaluacija, kritično je imati na umu cilj pružanja korisnih informacija
dionicima što vodi odlukama. Evaluacija ne traži znanje radi znanja. Ovo je
ključna razlika između evaluacije i istraživanja. Neophodno je rezultate evalu-
acije predstaviti jasno, tačno i na način koji publici omogućava najbolju upotrebu
informacija.
Strategija komunikacije je neophodna komponenta razvojne evaluacije. U
ovom tekstu smo naglašavali da dobra komunikacija počinje na samom početku
i nastavlja se tokom evaluacije. To nije aktivnost koja se dešava samo na kraju
evaluacije. Klijent i glavni dionici trebaju biti uključeni ne samo u planiranje
evaluacije nego i u razvoj procesa i načina predstavljanja nalaza kao i u traženje
povratnih informacija.
Strategiju komunikacije treba razviti od samog početka. Strategija treba
identificirati:
• ko treba primiti informaciju o evaluaciji;
• koje informacije su potrebne;
• koji format informacija treba biti;
• kada treba dostaviti informaciju i
• ko je odgovoran za dostavu informacija.
Dobra strategija komunikacije pokriva sve faze i proizvode evaluacije. Koristi
više oblika komunikacije prilagođenih potrebama određenih dionika.
Strategija komunikacije za evaluaciju može početi istraživačkom raspravom
o pitanjima sa naručiocem evaluacije, nakon čega slijedi rasprava sa lokalnim
grupama dionika (Tabela 13.1). Nakon diskusije sa naručiocem može uslijediti
formalni brifing o preliminarnom dizajnu evaluacije. Grupi lokalnih dionika
može se poslati obavještenje e-mailom da se preliminarni dizajn nalazi na web
stranici i da je otvoren za javne komentare. Neformalna komunikacija je vrijedna
tokom evaluacije. Klijenti i ključni dionici mogu, na primjer, biti informirani o
napretku evaluacije telefonskim pozivima ili e-mailovima.
Konačni rezultati mogu se diseminirati različitim stranama u različitim obli-
cima. Donator se, na primjer, detaljno informira o nalazima evaluacije, nakon
čega slijedi formalni konačni izvještaj. Lokalnom osoblju programa može se dati
na pregled izvještaj i brifing.

Tabela 13.1 Primjer liste provjere strategije komunikacije za preliminarnu i dizajn fazu evaluacije
Publika Aktivnost Oblik komunikacije Ko je odgovoran Datum
Preliminarni rad
Klijent Diskusija o pitanjima Sastanak Vođa tima 6/1
programa i vremenskim
potrebama
Državne i lokalne Diskusija o pitanjima Sastanak Član tima B 6/5
nevladine programa
organizacije
Osoblje programa Diskusija o pitanjima Sastanak Član tima C 6/11
programa
Zvaničnici lokalne Diskusija o pitanjima Sastanak Član tima B 6/10
vlade programa
Savjetodavni Identificira i šalje E-mail Član tima A 6/14
odbor pozivnice
Planira i održava Sastanak Član tima B 6/25
sastanak o pitanjima savjetodavnog odbora
Zajednica razvojne Poziv za komentare o E-mail obavještenja o Član tima C 6/25
evaluacije pitanjima otvorenoj web stranici
evaluacije
Dizajn
Savjetodavni Pregled i diskusija o Sastanak Član tima A 7/15
odbor nacrtu dizajna savjetodavnog odbora
Slanje finalnog dizajna E-mail Član tima A 7/30
Klijent Predstavljanje finalnog Usmeni brifing Vođa tima 7/22
dizajna Vođa tima
Zajednica razvojnih Pregled nacrta dizajna Web stranica Član tima B 7/31
evaluatora (praćenje komentara)
Izvor: Autori.
Za konačni izvještaj evaluatori mogu koristiti brifinge, prezentacije i pisane

izvještaje. Saopćenja za javnost mogu se koristiti za diseminaciju informacija
široj publici. Ako su javno saopćenje ili konferencija za štampu planirani, vrijeme
održavanja i upravljanje treba raspraviti sa glavnim dionicima.
Važno je uključiti proces povratnih informacija da se skupe dionici i evaluatori
da diskutiraju o nalazima, uvidima, alternativnim radnjama i narednim koracima.
Ako će se održati velika grupna diskusija, evaluatori trebaju identificirati sve iza-
zove predstavljanja rezultata simultano različitim grupama dionika.
Prezentiranje rezultata 469

Čak i oni koji pišu izvještaje tehničkih evaluacija slažu se da to nije najefekti-
vniji način predstavljanja nalaza evaluacije (Torres, Preskill, i Piontek 1997).
Evaluatori možda trebaju koristiti alternativne alate komunikacije, kao što su
brošure, video, novinska izdanja i kratki sažeci sa grafikonima i dijagramima, da
bi se poslala poruka (Tekstualni okvir 13.1).
Tekstualni okvir 13.1 Upotreba inovativnih tehnika komunikacije

za povećanje interesa za rezultate evaluacije
Da bi diseminirali rezultate dionicima, Lawrenz, Gullickson i Toal (2007) kori-
stili su razne inovativne tehnike.
1. Pisali su naracije o slučajevima, koje su diseminirali na razne načine,

uključujući internet, da bi zadovoljili potrebe svoje audijencije. U naraciji
slučaja opisane su posjete timova evaluatora na 13 projektnih lokacija.
Razmotrene su ne samo potrebe klijenta nego također i potrebe drugih
koji bi mogli imati korist od nalaza;
2. Organizirali su rezultate evaluacije u devet članaka (obrađujući saradnju,
diseminaciju, razvoj materijala, profesionalni razvoj, poboljšanje pro-
grama, angažman i retenciju, održivost, savjetodavne odbore, i evaluaci-
ju) te ih postavili na web stranicu. Ovi članci sintetiziraju izvještaje sa
posjeta lokacijama, podatke iz anketa i prethodna istraživanja;
3. Da bi izgradili interes za ove članke, izradili su brošuru kao reklamu.
Brošura je proizvela toliko interesovanja za članke tako da su izdali puni
set članaka u žurnalu, diseminirajući rezultate široj publici nego što je pr-
vobitno planirano;
4. Postavili su online priručnik za posjetu lokacijama, koji sadrži procedure
koje se koriste za provođenje posjeta lokacijama. Nakon što su ih posta-
vili na web stranicu, otkrili su da su mnoge organizacije i istraživači
zainteresirani za njih;
5. Razvili su brošuru sa ključnim koracima djelovanja za održivost programa
koji su proučavali, a koja je zatim postavljena na web sajt u PDF formatu.
Ova brošura naišla je na dobar prijem na terenu, zato što je bila lahka za
upotrebu i pružala je značajne informacije o poboljšanju projekata;
6. Održavali su videokonferencije omogućavajući detaljne diskusije o nekim
od njihovih ideja;
7. Povezali su linkovima videokonferencije sa web stranicom. Informacije
na stranici sadržavale su: veze sa informacijama o autorima studije,
ključnim predavačima na videokonferenciji, prateću dokumentaciju i video
materijal. Sve ove informacije su postavljene na web stranicu i dostupne
su na CD-u.

Pisanje evaluacionog izvještaja
Svrha izvještaja je komunikacija sa čitaocima. Da bi to uradili razmotrite sljedeće

savjete:
• Imajte svrhu i publiku na umu kada pišete izvještaj. Naučite što je više moguće
o publici i izvještaj pišite na način kojim ćete najbolje dospjeti do njih;
• Koristiti riječi koje su:
- jednostavne,
- aktivne,
- pozitivne,
- poznate i
- primjerene kulturi;
• Izbjegavajte skraćenice i akronime što je više moguće;
• Ograničite dodatne informacije na onoliko koliko je potrebno da najavite
izvještaj i kontekst učinite jasnim. Dodatni kontekst se može uključiti kao
aneks ako je potrebno;
• Osigurati dovoljno informacija o dizajnu evaluacije i metodima tako da
čitaoci imaju povjerenje u kredibilitet izvještaja, ali i da prepoznaju njegovu
ograničenost. Upozoriti čitaoce o interpretaciji nalaza na način koji može ne
biti validan. Ponovo, detalji mogu biti postavljeni u aneks;
• Napisati izvršni sažetak;
• Organizirati materijal u formi izvještaja u sekcije koje obrađuju glavne teme ili
odgovaraju na ključna evaluaciona pitanja;
• Postaviti glavne tačke u svaku sekciju, sa manjim tačkama kasnije u sekciji.
Otvoriti svaki paragraf navodeći temu koju obrađuje;
• Poduprijeti zaključke i preporuke dokazima;
• Postaviti tehničke informacije, uključujući matricu dizajna i instrumente
ankete, u dodatak;
• Ostaviti vrijeme za reviziju, reviziju i reviziju!
■■ Izvršni
• Pronaći nekoga ko nije vidio materijal da uradi korekturu nacrta. Tražiti od
sažetak: Kratki
korektora da identificira sve što je izostavljeno ili nije jasno; sažetak
• Ako je moguće, neka eksterni revizor stručan za temu i koji poznaje izvještaja koji
metodologiju evaluacije pregleda finalni nacrt i sugeriše promjene dokumenta identificira
ako je potrebno. Ako pregled stručnjaka nije provodiv, zamolite kolegu koji obrađena
evaluaciona
nije povezan sa evaluacijom da pregleda izvještaj.
pitanja, opisuje
korištene
Izvršni sažetak metodologije i
sažima nalaze
Izvršni sažetak izvještaja identificira obrađena evaluaciona pitanja, opisuje izvještaja,
korištenu metodologiju i sažima nalaze izvještaja zaključke, preporuke. Osigu- zaključke i
rava način čitaocu da brzo obuhvati glavne poruke izvještaja. Izvršni sažetak nije preporuke

jednostavno skraćena verzija zaključka izvještaja. To nije marketinški prospekt
koji obećava da će se informacije otkriti kasnije. Mora služiti kao samostalan
dokument za čitaoce koji su suviše zauzeti da čitaju glavni izvještaj.
Prema Scrivenu (2007, p. 1), cilj izvršnog sažetka je sažeti rezultate, a ne
samo proces:
Tokom cijelog procesa evaluacije, pitajte se kako će izgledati ukupni sažetak, na
osnovu onog što ste do sad naučili i kako se to odnosi na potrebe klijenta, dionika
i publike; ovo pomaže da se fokusira na ono što još uvijek treba uraditi da bi se
naučilo šta je najvažnije.
Izvršni sažetak treba biti kratak: dvije stranice je odlično, više od četiri je
previše. Ovo treba ponoviti: dvije stranice sa jednostrukim proredom je odlično,
a više od četiri je previše!
Izvršni sažetak treba uključiti sljedeće komponente:
• Kratak pregled ili uvodni paragraf u kojem se navodi svrha studije i obrađene
teme, pisano na način koji će privući pažnju čitaoca;
• Opis evaluacije, gdje se navode glavna obrađena pitanja, plus kratki navod
djelokruga i metodologije evaluacije;
• Dovoljno pozadinskih informacija koje studiju postavljaju u kontekst;
• Sažetak glavnih nalaza izvještaja. Prosuditi koji su nalazi najvažniji publici;
• Način na koji se čitaocu ukazuje na broj stranice na kojoj je informacija u
tekstu;
• Glavni zaključci i preporuke.
Tijelo izvještaja
Tijelo evaluacionog izvještaja treba sadržavati sljedeće komponente, obično

podijeljene na četiri poglavlja (sekcije u kraćem izvještaju):
• uvod;
• opis evaluacije;
• nalazi;
• zaključci i
• preporuke.
Uvod izvještaja uključuje sljedeće komponente:
• svrhu evaluacije;
• pozadinske informacije;
• ciljeve programa, prikazane kroz model teorije promjene i
• evaluaciona pitanja.

Kratak opis evaluacije uključuje sljedeće komponente:
• svrha;
• djelokrug;
• pitanja;
• metodologija;
• ograničenja i
• ljudi koji su uključeni (savjetodavni odbor, konsultantska firma).
Nalazi slijede opis evaluacije. Pri pisanju ovog dijela, evaluator treba:
• prezentirati nalaze na način koji publika može jasno razumjeti;
• uključiti samo najvažnije nalaze;
• organizirati nalaze u vezi sa pitanjima studije, u vezi sa glavnim temama ili
pitanjima i
• koristiti grafikone, tabele i druge grafičke elemente da se označe glavne tačke.
Zadnji dio izvještaja su zaključci i preporuke, koje čitaoci često prvo čitaju.
Evaluatori često teško razlikuju nalaze od zaključaka. Nalazi opisuju šta je evalu-
acija pronašla. Mogu se odnositi na to je li kriterij zadovoljen ili ne. Nalaze treba
poduprijeti dokazima.
Zaključci se zasnivaju na profesionalnoj procjeni nalaza. Treba ih donijeti za
svaki evaluacioni pomoćni cilj kao i za ukupni cilj projekta, programa ili politike.
Nove informacije ne treba predstavljati u dijelu sa zaključkom.
Preporuke zagovaraju djelovanje i ukazuju šta se izvještajem predlaže kli-
jentima ili drugim ključnim dionicima da rade. Često je teško izraditi nacrt pre-
poruka. Ne trebaju biti previše preskriptivne i tako smanjiti prerogative uprave
da ukažu na određena rješenja za identificirane probleme. Evaluacija može, na
primjer, preporučiti razvoj politike određivanja cijena za aktivnosti tehničke
pomoći. Ne bi se pravio nacrt politike niti bi se odredili detalji uvjeta politike.
Međutim, mogle bi se odrediti ključne komponente koje treba uključiti u politiku
određivanja cijena.
U isto vrijeme, preporuke ne mogu biti toliko generalne tako da „ne pokazuju
zube“. Preporuke trebaju biti jasne i dovoljno specifične tako da svi razumiju šta
treba uraditi kako bi se one zadovoljile, koja organizacija ili jedinica treba predu-
zeti akciju i kada to treba uraditi.
Izvještaji ne trebaju uključiti „liste pranja“ preporuka. Bolje je grupirati prepo-
ruke tako da su podesne za upravljanje (tri do četiri) sa poddijelovima, ako je
potrebno. Ton preporuka treba razmotriti. Važno je zapamtiti da izvještaji ne donose
odluke – donose ih ljudi.

Preporuke nemaju svrhe ako se u skladu s njima ne djeluje. Jedan način da
se slijede preporuke je uspostaviti sistem praćenja preporuka. Takav sistem
omogućava dionicima da prate implementaciju preporuka evaluacije. Prati se
svaka preporuka iz evaluacije i ostvareni napredak u implementaciji preporuka,
uključujući;
• datum preporuke;
• ko je odgovoran da preduzme aktivnosti i
• reakciju/napredak.
Tabela 13.2 pokazuje jednostavnu matricu koja se može koristiti u sistemu
praćenja preporuka. U ovoj matrici, evaluatori mogu ispuniti prve dvije kolone,
ali menadžeri prate i osiguravaju da se preporuke slijede.
Međunarodna finansijska korporacija (IFC), ogranak privatnog sektora
Svjetske banke, predstavlja drugi primjer.
IFC ima svoj sistem praćenja preporuka. Evaluacioni izvještaji, koje je pri-
premila Nezavisna evaluaciona grupa (IEG) IFC-a, uključuju preporuke za IFC
menadžment i za IFC-ovo upravljanje reakcijama.
Ove preporuke se raspravljaju na IFC-ovom Upravnom komitetu za razvoj
efektivnosti (CODE). CODE očekuje periodične statusne izvještaje o prepo-
rukama uključujući nivo usvajanja i status. IEG sa IFC upravom, razvio je
Menadžment aktivnosti evidencije praćenja (MATR).
MATR je zamišljen da održava integritet procesa izvještavanja, gdje IEG, a
ni IFC, ne može promijeniti konačnu ocjenu. Ilustracija 13.1 prikazuje dvije faze
MATR-a. U prvoj fazi IEG i IFC usaglašavaju indikatore za procjenu impleme-
ntacije svake nove preporuke. U drugoj fazi, status i nivo usvajanja svake aktivne
preporuke se periodično ažurira i predstavlja CODE-u. IEG i IFC ocjenjivanja
ne trebaju biti ista. Kada su preporuke implementirane, zamijenjene, ili više nisu
relevantne, deaktiviraju se. IEG-ove preporuke koje ne prihvati IFC uprava se ne
prate.
Tabela 13.2 Sistem praćenja preporuka

Preporuka Izvor Datum Ko je odgovoran Reakcija/napredak
1.
2.
3.
4.
Izvor: Autori.

Ilustracija 13.1 IFC-ov MATR od dvije faze za praćenje preporuka
Faza jedan
Ciklus indikatora
IEG Reakcija Menadžment

preporuka menadžmenta Drugi korak postavlja
menadžera zadatka
Tim na zadatku Menadžer zadatka

Prvi korak komentira odabire tim i
predložene predlaže
indikatore indikatore
Odbija
IEG Menadžment
Prihvata prihvata ili Prihvata prihvata ili
MATR
odbija predložene odbija predložene
indikatore indikatore
Odbija
Faza dva
Monitoring ciklusa
Menadžment
IEG
postavlja
preporuka
menadžera zadatka
Eksterna
publikacija Menadžer zadatka
(samo ocjene) Tim na zadatku odabire tim
pruža i predlaže status
komentare plus nivo
Interna usvajanja (LOA);
publikacija komentari
Odbija
menadžmenta
IEG dostavlja status; Menadžment

MATR
LOA i IEG komentari prihvata ili odbija
Prihvata
Izvor: Independent Evaluation Group of the International Finance Corporation 2008. 475
Vizuelno predstavljanje informacija
Vizuelne informacije mogu izvještaj učiniti interesantnim, prenositi informacije

jasnije nego tekst i privući pažnju čitaoca na određene tačke.
Efektivno korištenje grafike može, tako, povećati utjecaj evaluacionog
izvještaja.
Ilustracije
Ilustracije mogu pomoći da smisao iz teksta bude jasniji. Treba ih uvijek koristiti
sa razlogom, ali nikad za ukras. Ilustracije na naslovnoj strani izvještaja mogu
se odnositi na okvirnu temu, ilustracije unutar izvještaja trebaju imati određen i
konkretan razlog zašto su tu.
Sve ilustracije treba navesti u tekstu, tako da ukazuju na ono što čitalac treba
vidjeti na slici. Primjeri ilustracija koje se mogu koristiti u evaluaciji uključuju
mape, skice, linijske crteže i fotografije. Gdje je neophodno, treba pribaviti
dozvolu za korištenje ilustracija.
Mape
Mape se mogu koristiti u izvještaju da:
• ukažu na lokaciju programa;
• pruže kontekst;
• ukažu na geografski domet ili raširenost programa;
• pokažu osnove za nacrt primjera i
• ukažu na stepen ili nivo pomoću topografije područja koristeći obrasce ili izo-
hipse (Cummings 2003).
Izrada većine mapa zahtijeva:
• da se osigura da su lahke za čitanje i razumijevanje (obrasci i sjenčenja moraju
se jasno isticati);
• upotrebu najnovije verzije;
• identifikaciju izvora i
• uključivanje strelice kompasa koja ukazuje na skalu, gdje je prikladno.
Skice i crteži
Kao dio prikupljanja podataka, evaluatori od učesnika ponekad traže da naprave
skice (Ilustracija 13.1). Takve skice se mogu koristiti da:
• izvještaj učine interesantnijim;
• personaliziraju izvještaj;
• reflektuju metodološki pristup;

• zamijene sofisticiranije ilustracije ako tehnički kapaciteti za izradu takvih ilu-
stracija ne postoje;
• dodaju humora i
• omoguće direktan pogled na impresije učesnika.
Crteži se mogu koristiti da se ilustrira kako nešto radi ili kako je jedan objekt
povezan sa drugim. Veoma su korisni kada se opisuje proces ili situacija.
Fotografije
Fotografije mogu biti korisni dodaci izvještaju i mogu:
• osigurati kontekst;
• ukazati na opseg rada na terenu (napredak);
• snimiti direktne opservacije (na primjer, vrstu kuća, prenapučene uvjete u
susjedstvu);
• upoznati publiku sa situacijom na terenu i
• pružiti dokaze (Cummings 2003).
Kao i druge vrste ilustracija, fotografije nikad ne treba koristiti za puku
dekoraciju. Levin, Anglin, i Carney (1987) pregledali su i saželi informacije o
korištenju slika i ilustracija u materijalima. Oni su zaključili dvije stvari o efe-
ktima koje slike imaju na proces učenja iz svakidašnjice:
• Kada su ilustracije relevantne sadržaju, tada se mogu očekivati umjereni do
dovoljni rezultati u učenju;
• Kada ilustracije NISU relevantne sadržaju, ili čak i gore od toga, konfliktne su,
NE očekujte rezultate u učenju nego možda čak i konfuziju.
Slika 13.1 Dječiji doživljaj sela prije intervencije i nakon intervencije
Izvor: Cummings 2003.

Stoga, fotografije i ostale slike koje se koriste u izvještaju trebaju imati
određene i konkretne razloge zašto su tu.
Grafikoni i dijagrami
Grafikoni i dijagrami pružaju vizuelno predstavljanje podataka. Idealno, sami po

sebi kazuju priču, bez potrebe za naracijom.
■■ Organizacioni Organizacioni dijagram

dijagram: Organizacioni dijagram ilustrira hijerarhiju unutar organizacije (Ilustracija
Dijagram kojim 13.2). Takvi dijagrami jasno i koncizno identificiraju odgovornosti i strukturu
se ilustrira izvještavanja.
hijerarhija i
Organizacioni dijagrami se često uključuju u evaluacione izvještaje, zato što
struktura
izvještavanja razumijevanje strukture entiteta može biti prvi korak u njegovom razumijevanju.
unutar Većina programa za obradu teksta ima mogućnost izrade takvih dijagrama.
organizacije
Ilustracija 13.2 Primjer organizacionog dijagrama
Predsjednik Savjetodavni odbor
Evaluacija
Direktor (1) Direktor (2) Direktor (3) Interna revizija
i monitoring
Pomoćnik Pomoćnik Pomoćnik

direktora (1) direktora (2) direktora (3)
Menadžer Menadžer Menadžer

Izvor: Autori.

Ganttov dijagram
Ganttov dijagram se često koristi za planiranje (Ilustracija 13.3). Posebno su ■■ Ganttov
korisni za projektni menadžment, osobito za planiranje projekta. dijagram:
Dijagram koji se
koristi da se
Grafikoni
ilustrira
Grafikon treba prenijeti jasnu poruku uz malo ispitivanja. raspored
Svaki grafikon mora imati naslov, broj i liniju izvora. Naslov grafikona treba projekta
ukazivati na godinu podataka (ako je moguće) (Tabela 13.3). ■■ Grafikon:
Najmanje četiri vrste grafikona ili dijagrama su korisni za prezentiranje Vizuelno
predstavljanje
podataka, svaki ima drugačiju svrhu (Tabela 13.4).
odnosa između
dva ili više
Linijski grafikon podatka
Linijski grafikon obično prikazuje kako se varijabla (ili varijable) mijenja tokom ■■ Linijski
vremena (Ilustracije 13.4 i 13.5). Na primjer, evaluatori mogu koristiti linijski grafikon:
grafikon da prikažu: rast ili pad cijena hrane tokom mjeseci u godini, promjene u Grafikon koji se
dobije
populaciji tokom više godina ili ocjene učenika za svaki dan tokom perioda od
povezivanjem
šest sedmica. linijom serije
Linijski grafikon može prikazivati jednu stavku ili više stavki kako se mijenjaju tačaka
tokom istog vremenskog perioda. Linijski grafikoni su dobar način da se pokažu podataka;
stalni rezultati, to jest, podaci koji su intervalni ili podaci odnosa. Intervalni podaci obično se koristi
da se pokažu
su podaci koji su podijeljeni na raspone i gdje je rastojanje između intervala
promjene
značajno. Primjeri intervalnih podataka su računi, kao što su računi prihoda, tokom vremena
godina obrazovanja, broja glasova. Podaci omjera (ratio) su intervalni podaci koji
također mogu imati i nultu tačku. I prihod možemo razumijeti kao odnos - zato
što je nula dolara prihoda isto što i “nema prihoda”.
Ilustracija 13.3 Primjer Ganttovog grafikona
Sedmica Sedmica Sedmica Sedmica Sedmica Sedmica Sedmica

Zadatak
1 2 3 4 5 6 7
Provesti
pregled
literature
Održati
sastanak
dionika
Izraditi nacrt
teorije
promjene
Izvor: Autori.

Tabela 13.3 Dijelovi Grafikona
Naziv Dijela Opis
Naslov Svi grafikoni i dijagrami trebaju imati naslov tako da
publika odmah zna poruku grafikona.
Horizontalna ili x osa Horizontalna ili X osa je horizontalna linija linije ili stuba
grafikona, koja predstavlja jednu varijablu (npr. vrijeme).
Vertikalna ili y osa Vertikalna ili Y osa je vertikalna linija linije ili stuba
grafikona, predstavlja drugu varijablu (npr. troškove).
Izvor Izvor je tačka gdje se vertikalna i horizontalna osa sreću.
Mrežne linije Mnogi dijagrami imaju mrežne linije koje pomažu pri
poređenju podataka tako što se jasno pokazuju nivoi.
Samo ograničen broj mrežnih linija treba koristiti da se
izbjegene pretrpan izgled.
Nazivi osa Nazivi X ose i Y ose su veoma važni. Identificiraju šta se

mjeri i jedinice mjerenja (godine, metre, kilograme,
kvadratne milje, kubne tone, dolare, stepene). Na primjer:
• troškovi (u US $)
• udaljenost (u km).
Mjerilo ose X i Y ose trebaju prikladne mjere da bi pokazale
vrijednosti. Pažljivo odaberite mjeru da uključite puni
opseg vrijednosti podataka. Odaberite proporcije između
mjere osa koje će najbolje ilustrirati odnose između
varijabli.
Stvarne vrijednosti Mnogi grafikoni i dijagrami također uključuju stvarne
vrijednosti za unose, koji se prikazuju kao dodatni tekst
unutar grafike. Ovi dodaci su korisni čitaocu da bi shvatio
realnu situaciju.
Koordinate Koordinata je tačka na grafikonu gdje X vrijednost
podataka siječe Y vrijednost. Kako će ovo biti
predstavljeno (tačka, vrh, vrh stuba) ovisit će o tipu
grafikona koji odaberete.
Izvor: Autori.
Ilustracija 13.4 Smanjenje prosječne temperature u provinciji A od februara

do juna 2008.
40
32
30 28
25 24
Stepeni C
20 18
10
0
feb. mar. apr. maj juni

Tabela 13.4 Vrste i svrhe različitih tipova grafikona
Tip grafikona Primjer Svrha
Linijski grafikon Pokazuje trendove
tokom vremena
Dijagram sa jednim Poređenje linearnih i

stubom jednodimenzionalnih
karakteristika
Grafikon sa više Poredi dvije ili više

stubova karakteristika sa
vrijednošću zajedničke
varijable
Kružni grafikon Prikazuje dijelove

cjeline
Raspršeni dijagram Pokazuje trendove ili

odnose
Izvor: Autori
Ilustracija 13.5 Razlike u rezultatima čitanja u tri škole u distriktu,

2004/2005.
120
90 Škola 3
Ocjene čitanja
Škola 2
60
Škola 1
30
0
1kvartal 2 kvartal 3 kvartal 4 kvartal
2005. školska godina 481
■■ Grafikon sa Grafikon sa stubovima
stubovima: Grafikon sa stubovima koristi stubove (izdužene pravougaonike) da predstavi
Vrsta grafikona količine i omogući nam poređenje brojeva. Treba ih pažljivo nasloviti da se
u kom se
osigura da čitalac razumije koji su faktori predstavljeni.
horizontalni ili
vertikalni Postoje dvije vrste grafikona sa stubovima: grafikoni sa jednim stubom koji
pravougaonici pokazuju informaciju o jednoj varijabli i grafikoni sa više stubova koji daju info-
koriste da se rmacije za više od jedne varijable. Ovi stubovi se mogu formatirati vertikalno ili
predstave i horizontalno. Grafikoni sa stubovima se koriste za poređenje dvije ili više grupe
porede količine
podataka na istoj varijabli. Na primjer, evaluacija hoće uporediti stepen čišćenja
zemljišta od mina u različitim regionima u državi. Za to se može koristiti grafikon
sa više stubova da se prikažu informacije. U drugom primjeru, grafikon sa dva
stuba se može koristiti da se porede odgovori dječaka i djevojčica iz upitnika.
Grafikoni sa stubovima često se koriste da se prikažu nominalni ili kategori-
jalni podaci. Nominalni ili kategorijalni podaci nemaju redoslijed, i dodjela bro-
jeva kategorijama je čisto arbitrarna (1 = istok, 2 = sjever, 3 = jug). Ove kategorije
se moraju jasno objasniti u legendi.
Ono što slijedi su primjeri grafikona sa stubovima. Ilustracija 13.6 pokazuje
postignute rezultate testiranja o roditeljstvu četiri trudnice. Jedan stub pokazuje
podatke na određenoj varijabli za jednu grupu (Ilustracija 13.6). Grafikon sa više
stubova pruža podatke o određenoj varijabli za više od jedne grupe (Ilustracija
■■ Kružni
grafikon: 13.7).
Cirkularni
grafikon Kružni grafikon
podijeljen na Kružni grafikon može biti koristan kada je broj sekcija mali (Ilustracija 13.8).
sekcije gdje
Ne treba ga koristiti kada broj sekcija prelazi osam ili je manji od tri.
svaka sekcija
pokazuje
relativnu
magnitudu Ilustracija 13.6 Rezultati roditeljskog testa, varijacije prema regionu
prikazanih
elemenata 100
87
Rezultati u procentima
80 75
69
60
45
40
20
0
Zapadni Sjeverni Istočni Južni
Izvor: Autori, izmišljeni podaci Predmet

Ilustracija 13.7 Odgovori na pitanja direktora i Ilustracija 13.8 Treći kvartal pokazuje
pomoćnika se razlikuju najveće cijene el. energije u kanadskim
dolarima, 2008.
100 204.00
Direktori
90
80
Glavni odgovori na pitanja
313.00
70
1st Qtr
60
2nd Qtr
50
905.00 678.00 3rd Qtr
40 Asistenti
4th Qtr
30
20
10
0 Izvor: Autori, izmišljeni podaci
1 2 3
Broj pitanja
Izvor: Autori, izmišljeni podaci
Raspršeni dijagram
Raspršeni dijagram je grafikon koji pokazuje odnos seta podataka postavljajući ih
na horizontalnu i vertikalnu osu (Ilustracija 13.9). Ako su varijable u uzajamnoj
vezi, linija ili krivulja će biti evidentna. Što je korelacija bolja, to će tačke biti
bliže liniji ili krivulji. Raspršeni dijagram koji ne pokazuje neki osobit obrazac
ukazuje da ne postoji jasan odnos između dvije varijable.
Ilustracija 13.9 Srednji rezultat testa poređenja rezultata i nivoa razreda
100
90
80
Glavni rezultat na testu
70
60
50
40
30
20
10
0
0 1 2 3 4 5 6 7 8 9 10 11 12
Kompletni razred

Izvor: Autori, izmišljeni podaci 483
Tabele
Tabele se mogu koristiti da se predstave informacije na organiziran način. Postoje

dvije vrste tabela koje treba razmotriti za upotrebu u izvještaju: tabele sa poda-
cima i klasifikacijske tabele (matrice).
Tabele sa podacima
Mogu biti korisne da se predstave numeričke informacije u tabelama, koji se
zovu tabele podataka samo ako su setovi podataka mali (Tufte 1983). Veće tabele
podataka generalno pružaju osnovu za prezentaciju podataka u drugim forma-
tima, kao što su linijski i grafikoni sa stubovima, i obično se postavljaju u dodatke.
Kao i sa slikama i ilustracijama, publika neće automatski znati šta da gleda u
tabeli. Korisno je kada naslov tabele opisuje šta bi trebali vidjeti i kako se to može
odnositi na informacije. Kratak opis onoga što bi se trebalo vidjeti također treba
uključiti u narativni dio izvještaja. Kad god predstavljamo rezultate u tabelu,
treba uključiti izvor podataka i godinu kada su podaci prikupljeni.
Eherenburg (1977) sažima principe za vođenje dizajna tabela za predstavljanje
informacija.
• Ne zaokruživati brojeve na više od dvije decimale. Ovo pomaže da se naprave
poređenja. (napomena: sugerišemo zaokruživanje na cijele brojeve; rijetko ko
želi decimalni nivo detalja).
• Pružiti zbir i sredinu redova i kolona (ako je prikladno) da se publici pomogne
pri poređenju pojedinih unosa u ćelije.
• Postaviti najvažnije podatke u kolone zato što to omogućava čitaocu da lakše
pravi poređenja.
Kada odlučujemo o formatu tabele, treba imati na umu da previše linija (koje
dijele ćelije tabele) otežava čitanje. Ovo je prikazano u sljedeće dvije tabele, gdje
se u Tabeli 13.5 daje primjer podataka u tabeli sa puno linija. Tabela 13.6 poka-
zuje iste podatke u tabeli sa manje linija. Također, obratite pažnju da posljednji
red tabele pokazuje srednju vrijednost kolona sa podacima.
Klasifikacione tabele (matrice)

Klasifikacione tabele, ili matrice, su uređene tako da prikazuju kako je lista stvari
organizirana prema različitim faktorima (Tabela 13.7). Najmanje dva faktora
sortiranja ukazuju na sličnost ili razliku među stvarima koje su klasificirane.
Klasifikacione tabele mogu također pomoći da se ilustruju kompleksne info-
rmacije. Matrica dizajna je klasifikaciona tabela.

Tabela 13.5 Primjer podataka u tabeli sa više linija
Demografske informacije o učesnicima
Broj učesnika Visina Težina Starost Oblast

1 44 30 7,2 sjever
2 46 35 7,1 istok
3 40 20 7,6 sjever
4 32 22 7,2 jug
5 29 23 7,0 jug
6 50 38 7,8 sjever
7 44 30 7,3 zapad
8 44 28 7,3 zapad
9 42 30 7,5 istok
10 48 45 7,9 jug
Srednja 38,09 27,36 6,72
vrijednost

Tabela 13.6 Primjer podataka u tabeli sa manje linija

Demografske informacije o učesnicima
Broj učesnika Visina Težina Starost Oblast

1 44 30 7,2 sjever
2 46 35 7,1 istok
3 40 20 7,6 sjever
4 32 22 7,2 jug
5 29 23 7,0 jug
6 50 38 7,8 sjever
7 44 30 7,3 zapad
8 44 28 7,3 zapad
9 42 30 7,5 istok
10 48 45 7,9 jug
Prosjek 38 27 7,0
Izvor: Autori (izmišljeni podaci)

Napomena: N = 10.

Tabela 13.7 Primjer klasifikacijske tabele
Strategije smanjenja siromaštva: Studija slučaja država
Godine
Država Datum početka implementacije Pregled završen
Etiopija 17. sept. 2002. 4,7 Da
Gvineja 25. juli 2002. 4,9 Da
Mauritanija 06. feb. 2001. 6,3 Da
Mozambik 25. sept. 2001. 5,7 Da
Tanzanija 30 nov. 2000. 6,3 Da
Izvor: Prilagođeno iz World Bank 2004.

Napomena: Podaci su iz maja 2007.
Poboljšanje efektivnosti vizuelnih informacija
Prema Edwardu Tufteu, stručnjaku za prikazivanje vizuelnih informacija, grafički

prikazi trebaju ostvariti sljedeće:
• prikazati podatke;
• potaknuti posmatrača da razmišlja o sadržaju grafike, a ne o metodologiji,
grafičkom dizajnu, tehnologiji grafičke produkcije ili bilo čemu drugom;
• da se izbjegne iskrivljavanje onog što podaci imaju reći;
• predstaviti mnogo brojeva na malom prostoru;
• da se da smisao velikom setu podataka;
• podstakne oko da poredi različite podatke;
• da se otkriju podaci na nekoliko nivoa detalja, od širokog pregleda do fine
strukture;
• da se pobliže integrira sa statističkim i verbalnim opisima podataka (Tufte
1983).
Tintu korištenu za prezentiranje samih podataka Tufte naziva „tinta
podataka“. Većina tinte korištena za izradu grafike treba biti tinta podataka,
što manje tinte treba ići u mrežne linije, oznake ili druge distraktore (Tekstu-
alni okvir 13.2). Dekoraciju, koja ne nosi neke dodatne podatke, naziva „otpad
grafikona“.

Tekstualni okvir 13.2 Savjeti za izradu efektivnih ilustracija
Sljedeći savjeti mogu pomoći da se maksimizira tinta podataka i poveća
efektivnost ilustracija:
• Predstaviti dovoljno podataka da se prenese poruka, ali ograničiti količinu

podataka predstavljenih u jednoj grafici;
• Osigurati da grafika prenosi poruku i da poruka ima smisla razumnoj
osobi;
• Koristiti čitljivi font, ne manji od 10. Izbjegavati upotrebu previše veličina
i vrsta slova. Olakšati čitanje publici (postaviti tekst horizontalno ako je
moguće i izbjegavati preklapanje sa drugim elementima grafikona);
• Koncentrirati se na podatke, a ne na ono u šta se podaci postavljaju;
• Izbjegavati teške mreže, prebukirane mreže, više oznaka nego što je
potrebno, pretjerano predstavljanje jednostavnih podataka, okvire, sjene,
pokazivače i legende, gdje je to moguće;
• Zamijeniti okvire oko prikaza postavljene duž X ili Y mreže;
• Sakriti mrežne linije u grafikonima sa stubovima;
• Koristiti kvačice (bez linija) da se pokažu stvarne lokacije X i Y podataka;
• „Potkresati“ grafikon zamjenjujući stubove pojedinačnim linijama,
eliminirajući tintu bez podataka, eliminirati linije iz osa i započeti X ili Y ose
na vrijednostima podataka (područje okvira);
• Imati iskrene mjere, i jasno ih odrediti. Pružiti što više informacija o
mjerama, ali uključiti ih nenametljivo;
• Izbjegavati prebukirane i nepotrebne obrasce;
• Paziti se sjena koje mogu ne pokazivati namjeravanu diferencijaciju kada
se isprintaju;
• Izdašno koristiti upotrebu bijelog prostora, koji će pružiti vizuelno
rasterećenje;
• Ukazati na izvor informacije.
Ilustracija 13.10 pokazuje primjer grafičkog prikaza pretrpanog grafiko-

nskim smećem. Sjene i mrežne linije ne čine ništa da pojačaju poruku grafičkog
prikaza. Oznake podataka na vrhu svake kolone ometaju čitaoca da vidi obrasce.
Ilustracija 13.11 pokazuje isti grafički prikaz bez grafikonskog smeća. Većina
tinte na ovom prikazu je tinta podataka.

Ilustracija 13.10 Primjer nepotrebno pretrpanog grafičkog prikaza
60 54
49 1
50 46 2
40 41 3
38 39
40 34
Frekvencija 30
30 27
20 20
20
10
0
Istok Zapad Sjever Jug
Izvor: Autori
Ilustracija 13.11 Primjer uravnoteženog prikaza gdje je maksimizirana tinta

podataka
60 1
2
50 3
40
Rezultat
30
20
10
0
Istok Zapad Sjever Jug
Izvor: Autori

Pravljenje usmene prezentacije
Mnogo ljudi imaju veliki strah od javnog obraćanja. Strah od javnog obraćanja se
može smanjiti dobrom pripremom i vježbanjem prezentacije unaprijed.
Kod planiranja prezentacije, razmotrimo sljedeća pitanja:
• Ko je u publici? Šta očekuju? Koliko detalja žele?
• Šta je poenta moje prezentacije? Koje su tri najvažnije poruke koje hoću
da publika zapamti? Šta želim da publika uradi sa informacijama koje sam
predstavio?
• Postoje li jezični ili tehnički izazovi za prenošenje ove informacije ovoj
publici?
• Kako unaprijed otkriti kako bi publika mogla reagovati na moju prezentaciju?
• Koliko vremena imam za prezentaciju?
• Koje audio i vizuelne resurse ću moći koristiti (slajdovi, projektori)?
Kada pripremamo prezentaciju, imati na umu publiku, fokusirati se na glavne
poruke, i poštovati jednostavno vremenom potvrđeno pravilo: „Reci im šta ćeš im
reći, reci im, a zatim im reci šta si im rekao.“
Jedan od najboljih načina da se poboljša kvalitet prezentacije je vježba. Ura-
dite probu prezentacije sami prije nego što uradite probu pred drugima. Tražite
povratnu informaciju nakon probe te, prema tome, prilagodite prezentaciju.
Uvjerite se da prezentacija popuni dodijeljeno vrijeme i da ga ne prekorači.
Tokom prezentacije, govorite publici, a ne vašim bilješkama. Imajte vizuelni
kontakt sa puno ljudi u publici. Ako koristite projektor i ekran, isprintajte kopiju
svih slajdova i postavite ih ispred sebe tako da nikada ne okrećete leđa publici i
ne čitate sa ekrana.
Upotreba vizuelnih pomagala
Vizuelni elementi mogu pojačati prezentaciju. Mogu se prezentirati kao slajdovi,

projekcije, ploče sa posterima i kao materijal koji se podijeli. (Ako se koriste
slajdovi ili projekcija, napravite rezervni plan u slučaju da vas izda oprema ili
nestane električne energije.)
Pisane informacije jačaju informacije koje se prenose usmeno. Iz ovog
razloga, posebno kada se prezentira ljudima čiji maternji jezik može biti različit,
često je dobra ideja podijeliti nešto materijala na početku prezentacije (Tekstu-
alni okvir 13.3). Na taj način ostvarujemo prednost tako što omogućavamo lju-
dima da prave napomene na kopiji. Kada nemaju materijal, nije neobično vidjeti
ljude kako frenetično pokušavaju zapisati prezentaciju! Nedostatak kod podjele

Tekstualni okvir 13.3 Savjeti za pripremu PowerPoint prezentacije
i materijala
Materijal se može pojačati ako sljedeće savjete imamo na umu:
• Minimizirati broj riječi. Ograničiti tekst na ne više od osam redova po

slajdu ili projekciji;
• Uključiti dosta bijelog prostora;
• Koristiti jasnu vizualizaciju;
• Broj slajdova po stranici u materijalu neka bude dva radi čitljivosti.
materijala na početku prezentacije je da će ljudi gledati unaprijed u materijal,

umjesto da se fokusiraju na ono što se putem prezentacije predstavlja. Ako se iz
ovog razloga materijal ne dijeli do kraja prezentacije, važno je publiku upoznati
da će ga dobiti. Ako prezentacija uključuje kompleksne podatke ili tabele, razmo-
trite podjelu ovih tabela kada se tema predstavlja.
Korištenje programa prezentacije
Programi prezentacije, kao što su PowerPoint, mogu vizuelne dojmove učiniti

profesionalnijim. Treba ih razborito koristiti da govor ne bi pretvorili u puki slajd
šou. Da bi prezentaciju učinio interesantnom, govornik treba ograničiti broj sla-
jdova, koristeći ih samo da se prenesu najvažnije tačke (Tekstualni okvir 13.4).
Tekstualni okvir 13.4 Savjeti za korištenje slajdova

Sljedeći savjeti mogu poboljšati efektivnost slajdova u prezentaciji:
• Početi slajdom koji zaokuplja pažnju publike. Dati publici oko 10 sekundi
da pročita slajd, zatim sljedećih pet minuta pričajte zašto je važno ono što
je na slajdu izneseno;
• Koristiti slajdove da se ilustruju važne tačke, začuđujuće činjenice, izjave
koje je teško dokučiti usmeno i da se ilustruju važni zaključci;
• Pokazati slajd, a zatim publici ispričati priču koja stoji iza njega.
Izvor: Zasnovano na Taylor 2007.
Pretjerana upotreba slajdova može prezentaciju učiniti katastrofalnom.

Također se rizikuje „pretvaranje svega u prodajnu prezentaciju“ i „postavljanje
dominacije govornika nad publikom“ (Tufte 2003). Kao što Tufte primjećuje:

Publika posljedično trpi nemilosrdnu sekvencijalnost, jedan prokleti slajd nakon
drugog. Kada su informacije strpane u vremenu, teško je razumjeti kontekst i evalu-
irati odnose. Vizuelno rezoniranje obično efektivnije djeluje kada se relevantne
informacije pokazuju jedna uz drugu. Često, što je detalj intenzivniji, veća je
jasnoća i razumijevanje. Ovo je posebno tako za statističke podatke, gdje će funda-
mentalni analitički čin napraviti poređenje. (Tufte 2003)
Sažetak
Prenošenje rezultata evaluacije je isto tako kritično kao i provođenje same

evaluacije: ako se ne prenesu poruke evaluacije, nema puno smisla provoditi
evaluaciju. Bilo da je evaluacija predstavljena pisano ili usmeno, mora se prila-
goditi da zadovolji potrebe publike.
I pisani i usmeni izvještaji mogu se pojačati upotrebom grafike. Poštujući pri-
ncipe iznesene u ovom poglavlju, evaluatori mogu povećati utjecaj koji će imati
njihova evaluacija.
Aplikacijska vježba 13.1: Poboljšavanje evaluacionog izvještaja
Razvijte listu kriterija da procijenite kako evaluacioni izvještaj prenosi metodo-

logiju, nalaze, zaključke i preporuke ciljanoj publici. Koristeći ove faktore, proci-
jeniti izvještaj koji je nedavno napisan na vašem polju. Ocijenite ga na osnovu
procjene svakog kriterija (A za odlično, B za vrlo dobro, C za adekvatno, i NI
za potrebno poboljšanje). Identificirati poboljšanja koja se mogu napraviti na
izvještaju tako da se njime efektivnije prenosi poruka.
Aplikacijska vježba 13.2: Prilagođavanje izvještaja publici
Identificirajte različitu publiku koja bi mogla biti zainteresirana za nalaze ili

metodologiju izvještaja koji ste pregledali u prethodnoj vježbi. Razmotrite: koji
bi aspekti evaluacije bili od najvećeg interesa svakoj publici, koji bi nivo detalja
bio od interesa svakoj audijenciji i koji je najbolji način prenošenja glavnih
poruka izvještaja da zadovolji potrebe i interese svake grupe. Treba koristiti
analizu, izraditi listu provjere da se pokaže koja publika treba dobiti koju vrstu
komunikacije i kada i od koga.

Busuladzic, Dino, and James Trevelyan. 1999. Demining Research: An Ergonomic

Aspect of Humanitarian Demining. University of Western Australia, Perth.
http://www.mech.uwa.edu.au/jpt/demining/tech/dino/ergonomics.html.
Cummings, Harry. 2003. “Using Graphics in Development Evaluations.” International
Program for Development Evaluation Training (IPDET) presentation, Carleton Uni-
versity, Ottawa, June 16–July 11.
Druker, Phil 2006. Advanced Technical Writing. University of Idaho, Moscow, Idaho.
http://www.class.uidaho.edu/adv_tech_wrt/week14/conclusion_
recommendation_final_report.htm.
Ehrenberg, A. S. C. 1977. “Rudiments of Numeracy.” Journal of the Royal Statistical
Society 140: 277–97.
Independent Evaluation Group of the International Finance Corporation. 2008. Enhanc-
ing Monitoring and Evaluation for Better Results: Biennial Report on Operations
Evaluation in IFC 2008. Washington D.C.: World Bank.
http: www.ifc.org/.../BROE2008_FullReport/$FILE/BROE+for+disclosure-final+V8-
final.pdf.
Kaplan, Craig S. 2003. “Presentation Tips.” Craig Web Experience.
http://www.cgl.uwaterloo.ca/~csk/presentations.html.
Lawrenz, Frances, Arlen Gullickson, and Stacie Toal. 2007. “Dissemination: Hand-
maiden to Evaluation Use.” American Journal of Evaluation 28 (3): 275–89.
Lentz, Michelle 2007. “Tufte and Visual Presentation.”
http://www.writetech.net/2007/02/presentation_st.html.
Lester, P. M. 2000. Visual Communication: Images with Messages. 2nd ed. Kentucky:
Wadsworth Cengage Learning.
Levin, J. R., G. J. Anglin, and R. N. Carney. 1987. “On Empirically Validating Functions
of Pictures in Prose.” In the Psychology of Illustration, vol. 1, eds. D. A. Willows and
H. A. Houghton, 51–85. London: Springer-Verlag.
MIGA. 2007. Annual Report 2007–08.
http://www.miga.org/documents/IEG_MIGA_2007_Annual_Report.pdf.
Scriven, Michael. 2007. “Key Evaluation Checklist.”
Taylor, Dave. 2007. “Use PowerPoint to Enhance Your Presentation, Not Cripple It.”
http://www.intuitive.com/blog/use_powerpoint_to_enhance_your_
presentation_not_cripple_it.html.
Torres, R., H. S. Preskill, and M. E. Piontek. 1997. Evaluation Strategies for Communi-
cating and Reporting. Thousand Oaks, CA: Sage Publications.
Tufte, Edward R. 1983. The Visual Display of Quantitative Information. Cheshire, CT:
Graphics Press.
———. 1990. Envisioning Information. Cheshire, CT: Graphics Press.

———. 1997. Visual Explanations: Images and Quantities, Evidence and Narrative.
Cheshire, CT: Graphics Press.
———. 2003. “PowerPoint Is Evil: PowerPoint Corrupts. PowerPoint Corrupts Abso-
lutely.” Wired 11.09, September.
http://www.wired.com/wired/archive/11.09/ppt2.html.
———. 2006. Beautiful Evidence. Cheshire, CT: Graphics Press.
———. 2008. The Work of Edward Tufte. http://www.edwardtufte.com/tufte/.
Wallgren, Anders, Britt Wallgren, Rolf Persson, Ulf Jorner, and Jan-Aage Haaland. 1996.
Graphing Statistics and Data. Thousand Oaks, CA: Sage Publications.
World Bank Operations Evaluation Department. 2004. “The Poverty Reduction Strategy
Initiative: An Independent Evaluation of the World Bank’s Support through 2003.”
World Bank, Washington, DC.
Web stranice
Statistics Canada. Using Graphs. http://www.statcan.ca/english/edu/power/ch9/using/

using.htm.
Torok, George. Presentation Skills Success. http://www.presentationskills.ca/.

POGLAVLJE 14
Usmjeravanje evaluatora:
evaluaciona etika, politika,
standardi i vodeća načela
Evaluatori imaju mnoge zadatke, uključujući planiranje, organiziranje,

i dizajniranje evaluacija i prikupljanje, analiziranje, i predstavljanje
podataka. Također se trebaju nositi sa internim i eksternim pritiskom.
Od njih se može tražiti da naprave promjene plana, organizacije ili
izvještaja o evaluaciji da bi se zadovoljile potrebe drugih. Ponekad
su predložene modifikacije dobrodošle, u drugim slučajevima, mogu
pokrenuti etičke ili političke obzire.
Etika i politika su pitanja za sve evaluatore, posebno za one koji rade
u zemljama sa slabom upravom i historijom korupcije. Interni pritisak
unutar razvojne organizacije također može pokrenuti etička pitanja. U
ovom poglavlju raspravljamo o etičkim pitanjima i političkim obzirima
u evaluaciji.
Ovo poglavlje ima tri glavna dijela:

• Etično ponašanje
• Politika i evaluacija
• Evaluacioni standardi i vodeća načela
495
Etično ponašanje
Etika je skup vrijednosti i vjerovanja koji usmjeravaju izbore. Etika razmatra

velika pitanja, kao što su „Kako trebamo živjeti?“ Razmislite o ovom pitanju. Ko
definira: „kako“ (metod), „treba“ (ambicija), „mi“ (grupa koja traži konsenzus),
i „živjeti“ (stvorenja sa tijelima) (World IQ 2008)? Etika zavisi o ljudima koji
donose odluke. Zasnovana je na njihovim pogledima o onome što je ispravno,
pogrešno, dobro i loše.
Zakoni su pisani u pokušaju da se identificiraju i kontrolira etično ponašanje,
ali zakoni ne mogu pokriti svaku moguću situaciju. Štaviše, ponašanje može biti
legalno, ali ipak neetično (na primjer, uzimanje malog poklona od nekoga koga
upravo treba evaluirati ili mijenjanje tona izvještaja da bi ga se učinilo pozitivni-
jim ili negativnijim uprkos snazi dokaza koja stoji iza njega).
Evaluatori su često suočeni sa situacijama u kojima prava stvar koju treba
uraditi nije jasna, postoje mnoga siva područja. Ali, od njih se uvijek očekuje da
evaluaciju provode etično. Zato što su osnove za odlučivanje šta je etično zasno-
vane na vrijednostima i vjerovanjima, različite kulture uspostavljaju različite
zakone. Iz tog razloga, važno je biti svjestan šta je legalno kao i šta se smatra
etičnim u državi u kojoj se evaluacija provodi.
Evaluatori također trebaju biti svjesni svih zakona kojima se zahtijeva prija-
vljivanje kriminala ili sumnje u kriminal. U Sjedinjenim Državama, na primjer,
seksualno zlostavljanje je krivično djelo. Definirano je kao nepoželjno seksualno
ponašanje, zahtjev za seksualnim uslugama i druge verbalne ili fizičke radnje
seksualne prirode kada prihvatanje ili odbijanje radnji implicitno ili eksplicitno
utječe na radno mjesto ili radni učinak osobe ili kreira zastrašujuće, neprijateljsko
ili nasilno radno okruženje (U.S. Equal Employment Opportunity Commission
2002.) Neprijavljivanje sumnjivog seksualnog zlostavljanja može dovesti do
pravne odgovornosti.
Evaluatori trebaju biti svjesni zakona u državi u kojoj rade kao i smjernica i
standarda u vlastitoj organizaciji. Mnoge razvojne organizacije su razvile i obja-
vile etične standarde ili smjernice.
Evaluacija podmitljivost i zablude
Evaluatori trebaju biti u stanju „govoriti istinu jačima“. Nezavisan, ispitivački i

analitički mentalni sklop je nešto što se mora imati. Fitzpatrick, Sanders i Worthen
(2004) predstavljaju pet oblika „evaluacione podmitljivosti“:
• volja da se iskrivi istina i proizvedu pozitivni nalazi, kao rezultat konflikta
interesa ili drugih percipiranih koristi ili kazni (takva volja može biti svjesna
ili nesvjesna);

• prodor neutemeljenih mišljenja zbog nemarne, kapriciozne ili neprofesionalne
evaluacione prakse;
• “zaklanjanje” evaluacionih “nalaza” kao rezultat prodora predrasuda
evaluatora;
• navođenje klijenata ili učesnika da sarađuju dajući obećanja koja se ne mogu
ispuniti i
• propust da se oda počast predanostima kojima se počast treba odati.
House (1995) podmitljivost posmatra iz nešto drugačije perspektive. Ukazuje
da evaluatori mogu jednostavno pogrešno razumjeti njihove odgovornosti. Ide-
ntificira pet „zabluda evaluacije“.
• Klijentizam: zabluda je da ako radimo sve ono što klijent traži i šta god će mu
koristiti etički korektno;
• Kontraktualizam: zabluda da evaluator mora slijediti pisani ugovor bez posta-
vljanja pitanja, čak iako je to štetno po javno dobro;
• Metodologizam: vjerovanje da praćenje prihvatljivih metoda istraživanja
osigurava da će ponašanje evaluatora biti etično, čak i kad neke metodologije
mogu ustvari praviti etične dileme evaluatoru;
• Relativizam: zabluda da se svim mišljenjima koja evaluator prikupi od raznih
učesnika treba dati ista težina, kao da ne postoji osnova za prikladno davanje
mišljenja perifernih grupa manjeg prioriteta nego datih centralnih grupa;
• Pluralizam/elitizam: zabluda kojom se dozvoljava da se onima sa snažnijim
glasovima da veći prioritet zato što evaluator smatra da oni imaju više prestiža
i potentnosti nego nemoćni ili bezglasni.
Identificiranje etičnih problema
Morris i Cohn (1993) su anketirali članove Američke evaluacione asocijacije o

njihovim stavovima o etičnim pitanjima. Sljedeća lista etičnih problema je modi-
ficirana iz njihove ankete:
• Klijent odluči kakvi će biti nalazi prije nego se evaluacija desi ili planira nalaze
koristiti na etično upitan način;
• Klijent označava određena pitanja nedostupna evaluaciji, uprkos njihovoj
važnosti;
• Klijent namjerno mijenja nalaze prije nego su objavljeni;
• Klijent vrši pritisak na evaluatora da promijeni predstavljanje nalaza;
• Klijent suspreže ili ignorira nalaze;
• Klijent vrši pritisak na evaluatora da prekrši povjerljivost;
• Klijent vrši neodređenu zloupotrebu nalaza.
• Legitimni dionici su ispušteni iz procesa planiranja;
Usmjeravanje evaluatora: evaluaciona etika, politika, standardi i vodeća načela 497

• Evaluator otkrije da je ponašanje nelegalno, neetično, ili opasno;
• Evaluator nevoljko prezentira potpune nalaze, iz nejasnih razloga;
• Evaluator je nesiguran u svoju mogućnost da bude objektivan ili fer u predsta-
vljanju nalaza;
• Iako nema pritiska od klijenta ili dionika da prekrši povjerljivost, evaluator je
zabrinut da bi izvještavanje o određenim nalazima moglo predstavljati takvo
kršenje;
• Nalazi se koriste kao dokaz protiv nekoga.
Pored ovih etičnih problema postoje i etična pitanja povezana sa dizajnom
evaluacije. Etična pitanja mogu nastati u nasumičnim dizajnima kada se odlučuje
ko prima intervenciju, a ko je postavljen u kontrolnu grupu. Ako se tokom trajanja
projekta intervencija pokaže obećavajućom, oni koji nisu obuhvaćeni intervenci-
jom mogu zatražiti pristup intervenciji. Osiguranje tog pristupa mijenja dizajn
evaluacije i evaluaciju.
Ako se želi da evaluacija bude od koristi menadžerima, razvojnim organiza-
cijama, učesnicima i građanima, svi oni moraju biti pošteni, objektivni i pravični.
Posao evaluatora je osigurati da su prikupljanje, analiza i izvještavanje podataka
pošteni i pravični.
Utjecaj na početku evaluacije može biti suptilan. Ponekad postoji pritisak da
se izbjegne postavljanje određenih vrsta evaluacionih pitanja ili da se evaluacija
upravi na manje osjetljivo područje. Može se desiti da se ne iznesu određena
pitanja koja mogu negativno odslikati organizaciju ili program. Klijenti mogu
reći: „Mi znamo i vi znate da mi imamo problem koji treba riješiti i mi smo već
preduzeli korektivne mjere, ali ne moramo to objavljivati i ugroziti podršku pro-
gramu.“ Može biti otpora u anketiranju osoblja, učesnika programa ili građana
zato što se mogu otkriti osjetljiva (negativna) pitanja. U drugim situacijama,
određeni ljudi mogu biti isključeni sa sastanaka ili iz intervjua, ili obilasci terena
mogu biti ograničeni zbog „vremenskih ograničenja.“ Evaluator treba nastojati da
pokrene pitanja koja se izbjegavaju, izbjegne da ga kooptiraju i uvjeriti se da su
svi stavovi izneseni ili razmotreni.
Pokušaji da se utječe na evaluaciju također se često dešavaju tokom evaluacije.
Iako bi većina evaluatora brzo prepoznala mito, ne mogu baš uvijek prepoznati
prepredene oblike utjecaja. Ponude prijateljstva, večere ili rekreativne aktivnosti
mogu biti geste dobrodošlice nekome ko je daleko od kuće. Ali to, također, može
biti pokušaj da se utječe na perspektivu evaluatora pa tako i na izvještaj.
Ponekad neko ukaže evaluatoru na trag korupcije ili prevare. Evaluator ne
treba pokušavati razlučiti je li ta informacija pokušaj da se skrene pažnja sa
drugih pitanja, pokušaj onog ko ga informira da se osveti nekome ili stvarna
korupcija ili prevara. Evaluatori nisu obučeni kao specijalni istražitelji. Stoga oni
ne trebaju istraživati da odrede je li optužba tačna. Umjesto toga optužbu trebaju
prijaviti odgovarajućem organu istrage.

U većini razvojnih organizacija, postoje procedure za prijavljivanje sumnjivih
radnji ili prevara. U Svjetskoj banci, na primjer, Odjeljenje integracionog integri-
teta istražuje optužbe kršenja pravila kao i optužbe prevare ili korupcije u opera-
cijama banke. Takva odjeljenja često imaju „vruće linije“ za prijavljivanje kršenja
pravila, prevare ili zloupotrebe.
Članovi evaluacionog tima moraju biti upoznati sa politikom i standardima
u njihovoj organizaciji za postupanje sa optužbama za prevaru, zloupotrebu ili
kršenje pravila. Ove procedure mogu biti dio priručnika za osoblje, posebne
brošure ili dio ugovora o zapošljavanju. Evaluatori trebaju imati na umu da
podliježu politici i standardima njihove organizacije.
Moto „ne čini štetu“ se sigurno može primijeniti na evaluaciju. Osim kada
se primijete i prijave zloupotreba ili prevara, evaluacija ne treba nanositi štetu
učesnicima. Ovo znači da ljude koji učestvuju ne treba identificirati ili dovoditi u
prijeteće situacije.
Ako je povjerljivost učesnika osigurana, a imena se poslije toga otkriju, šteta je
učinjena. Zaštita povjerljivosti je suštinska stvar, ali mogu postojati situacije kada
je to teško. Recimo, na primjer, da evaluatorima obrazovnog programa nekoliko
ispitanika kaže da direktor novac iz programa troši u ličnu korist. Šta evaluator
treba uraditi? Otkrivanje ovih nalaza nosi rizik isticanja onih koji su ih prijavili u
povjerenju. Ne prijavljivanje incidenta vodi do potencijalnog kompliciranja. Ova
situacija ilustrira koristi anonimnih vrućih linija. Također može koristiti da se
priča sa supervizorom ili menadžerom (koji nisu uključeni u optužbe) o situaciji
i opcijama.
Evaluatori trebaju biti posebno pažljivi kada im menadžeri programa, oni koji
hoće nešto prijaviti ili čak članovi uprave hoće reći nešto „neslužbeno.“ U najma-
nju ruku trebaju osobu koje hoće „neslužbeno“ razgovarati pitati šta misle pod
tim „neslužbeno“. Evaluatori se trebaju uvjeriti da im odgovara definicija koju su
dobili prije nego se upuste u „neslužbeni“ razgovor.
Politika i evaluacija
Evaluacija se uvijek izvršava u političkom kontekstu, prosta činjenica da se

evaluacija vrši može se iskoristiti da se unaprijedi lični ili institucionalni program.
Često se kaže znanje je moć, evaluacija osigurava znanje koje se može koristiti
kao štap i mrkva da bi se utjecalo na ponašanje. To je aktivnost koja često proi-
zvodi pobjednike i gubitnike.
Politika može potkopati integritet evaluacije. Može odrediti na koji način i u
kom stepenu će se koristiti evaluacija. Pozitivne evaluacije mogu pomoći u osigu-
ravanju više sredstava, proširiti pilot projektu programe punog obima, pojačati
reputaciju i utjecaj, izgraditi karijere onih koji su uključeni u intervenciju.

Evaluacije koje identificiraju ozbiljne probleme mogu poboljšati intervenciju i
buduće rezultate, ali mogu rezultirati smanjenjem budžeta programa ili prekidom
programa i gubitkom obraza, moći i utjecaja onih koji su uključeni u intervenciju.
Uzroci postojanja politike u evaluaciji
Evaluacija je oblik organizacionog znanja. Borba u vezi sa definicijama realnosti

je nešto što je svojstveno evaluacionom procesu.
Murray (2002) smatra da je razlog zašto je politika neizbježna u evalu-
aciji taj što postoji puno prostora za subjektivnost. Subjektivnost vodi do razlika
između ljudi uključenih u evaluaciju. Evaluatori prikupljaju percepciju stva-
rnosti od dionika i od ljudi koje evaluiraju. Percepcije se mogu razlikovati često
uzrokujući neslaganja u različitim fazama evaluacije i rast političkog ponašanja.
Murray (2002 str. 2) osnovu neslaganja pripisuje „problemima svojstvenim
tehničkim elementima metoda evaluacije i veoma čestim slabostima kod mnogih
ljudskih bića“. Također opisuje tehničke i ljudske slabosti u evaluacijama koje
mogu imati političke efekte. Svaka vrsta slabosti opisana je ispod.
Tehnička slabost
Većina evaluacija najbolje radi kada se mjeri prema zadanim ciljevima i stan-
dardima. Ali evaluatori, klijenti i drugi dionici se ponekad teško mogu složiti
o tome šta mjeriti. Pored toga, može biti teško odrediti fokus evaluacije. Dobra
evaluacija identificira teoriju promjene i pretpostavke na kojima počiva pro-
gram. Ako se razvija sa dionicima programa, teorija promjene može osigurati
zajedničko razumijevanje ciljeva, aktivnosti i rezultata programa za koje on treba
biti odgovoran. Stoga teorija promjene može pomoći da se izbjegnu potencijalni
konflikti oko razumijevanja programa prije nego postanu politički problemi.
Murray (2002) identificira česte tehničke probleme koji vode do političkih
problema: evaluacija jednog nivoa organizacije i generaliziranje podataka na
drugi nivo. Ovo uzrokuje probleme kada veze između učinka pojedinaca, pro-
grama ili funkcija i organizacije u cjelini nisu jasno uspostavljene. Ponovo, teorija
promjene je jedan način da se pomogne identifikacija osnovnih pretpostavki.
Ljudske slabosti
Ljudi često rade ono što je u njihovom interesu. Mogu imati nesvjesnu pristra-
snost koja utječe na provođenje evaluacije ili analize njenih rezultata.
Cutt i Murray (2000) identificiraju ljudske faktore koji mogu utjecati na evaluaciju:
• „izgledaj dobro-izbjegavaj krivicu“ (LGAB) način razmišljanja;

• fenomen „subjektivne interpretacije stvarnosti“ (SIR);
• faktori povjerenja.

LGAB način razmišljanja identificira čestu ljudsku karakteristiku: ljudi hoće
da uspiju i da izbjegnu da ih se poveže sa neuspjehom. Većina evaluacija ima
namjeru otkriti i uspjeh i neuspjeh. Međutim, evaluatori mogu propustiti da pri-
jave neuspjeh u punoj mjeri iz straha da će ih se povezati sa neuspjehom. U
LGAB situaciji, ljudi će nadugo i naširoko objašnjavati negativne rezultate kao
nešto izvan njihove kontrole. Alternativno, mogu dovesti u pitanje djelokrug
evaluacije i pristup (jedan razlog zašto je slaganje u vezi sa dizajnom evaluacije
prije početka evaluacije tako važno).
SIR fenomen se javlja tokom interpretacije podataka evaluacije. Dvoje ljudi
koji svjedoče istom događaju mogu ga opisati kao „nastavnik gubi kontrolu nad
razredom“ ili „nastavnik koji je u potpunosti uključio razred u temu.“ Evaluatori
imaju prethodna uvjerenja i stavove o tome šta funkcionira. Rezultati evaluacije
mogu biti subjektivno interpretirani na osnovu tih uvjerenja i stavova. Na pri-
mjer, evaluator koji vjeruje da je dobar nastavnik onaj kod kojega djeca sjede na
svojim mjestima, pričaju samo kada ih se prozove, će događaj vjerovatno vidjeti
kao haos ili gubitak kontrole. Evaluator čije je dijete u „otvorenom razredu“ će
vjerovatno vidjeti isti taj događaj kao primjer nastavnika koji uključuje učenike.
SIR fenomen je jedan od razloga zašto ovaj tekst ukazuje da evaluatori tre-
baju provesti pregled literature da nauče šta funkcionira i koje teme evaluacije
su identificirane u sličnim programima. Drugi način da se smanji pristrasnost
subjektivne realnosti je koristiti više metoda prikupljanja podataka, kao što su
upitnici, intervjui i strukturirane opservacije, sa više izvora kao triangulacijska
strategija.
Još jedan faktor koji su identificirali Cutt i Murray je faktor povjerenja.
Povjerenje je vjera u integritet ili mogućnosti osobe. Ako ljudi osjećaju nedostatak
integriteta ili mogućnosti, mogu imati nepovjerenje prema toj osobi. Mogu stra-
hovati da će im ta osoba naštetiti. Povjerenje se mjeri u stepenima, krećući se od
djelomičnog povjerenja (samo u određenom kontekstu ili o određenim pitanji-
ma) do potpunog povjerenja (u svim situacijama). Kada nastane nepovjerenje,
vjerovatno da će LGAB ili SIR fenomen uzrokovati da politika uđe u odnos. U
prethodnim poglavljima sugerisane su razne strategije za izgradnju povjerenja,
od uključivanja dionika u dizajn evaluacije do određenih tehnika izgradnje
povjerenja.

Identificiranje političkih igara
Nemoguće je evaluaciju držati potpuno odvojenom od politike. Izazov je upravljati

političkom situacijom u kojoj se evaluatori nađu. Da bi se pomoglo evaluatoru da
to uradi, Murray (2002) klasificira igre prema ulogama ljudi koji su uključeni.
Razumijevanje ovih igara pomaže evaluatorima da upravljaju situacijom.
Političke igre koje igraju ljudi koji se evaluiraju

Ljudi koji se evaluiraju često žele izbjeći nepoželjno formalno pregledanje njiho-
vih aktivnosti. Mogu reagovati tako što će:
• poreći potrebu za evaluacijom;
• tvrditi da će evaluacija uzeti previše vremena od njihovih normalnih osobito,
napornih radnih zadataka te traže da se evaluacija odgodi;
• tvrditi da je evaluacija dobra stvar, ali će prići taktici odgađanja i
• nastojati ostvariti blizak lični odnos sa evaluatorima kako bi ih uvjerili da im
vjeruju.
Kada evaluacija počne i podaci se prikupljaju, mogu se pojaviti druge političke
igre. Oni koji daju informacije mogu:
• izostaviti ili iskriviti informacije koje im evaluatori traže, tako da ne izgledaju
loše;
• pružiti evaluatorima velike količine informacija, otežavajući evaluatorima da
razluče bitne informacije od nebitnih i
• doći sa novim podacima pred kraj evaluacije.
Kada se podaci prikupe i evaluatori su ih spremni interpretirati, ljudi koji se
evaluiraju mogu reagovati tako što će:
• poreći da problem postoji;
• umanjiti važnost problema, tvrdeći da su već za to znali i da implementiraju
promjene, ili probleme pripisuju drugima ili višoj sili izvan njihove kontrole;
• tvrditi da informacije nisu relevantne zato što su se stvari promijenile.
Političke igre koje igraju drugi dionici

Drugi dionici također mogu utjecati na politiku evaluacije. Različiti dionici imaju
drugačije planove i interese.
Ako dionici nisu uključeni u identifikaciju glavnih pitanja evaluacije, mogu
odlučiti da je evaluacija posmatrala pogrešne stvari. Pored toga, mogu pokušati
angažirati druge, kao što su mediji, da kritikuju organizaciju i ukažu kako je eva-
luaciju trebalo provesti na drugi način.

Političke igre koje igraju evaluatori
Evaluatori mogu igrati evaluacione igre. Tokom prikupljanja podataka, neki eva-
luatori mogu podriti proces prikupljajući vlastite informacije „nezvanično“. Ove
neformalne informacije zatim mogu ući u fazu interpretacije evaluacije.
Većina igara evaluatora nastane tokom faze interpretacije evaluacije. Te igre
uključuju:
• pomjeranje ili nepostavljanje standarda mjera;
• primjena nenavedenih kriterija na donošenje odluka;
• primjena nenavedenih vrijednosti i ideoloških filtera na interpretaciju podataka,
kao što je odlučivanje da neki izvor podataka nije povjerljiv;
• ignorirajući podatke koji nisu konzistentni sa zaključkom evaluatora.
Upravljanje politikom u evaluacijama
Zato što je politika u evaluaciji neizbježna, važno je naučiti kako njome upravljati.
Kroz proces evaluacije, evaluator treba graditi povjerenje. Idealno, tokom svake
faze evaluacije, drže se otvorene diskusije koje svim uključenim akterima daju
šansu da diskutiraju o onome što ih interesuje i barem se slože ili ne slože o razli-
kama. Murray (2002) razmatra važnost osiguravanja da sve strane uključene u
evaluaciju u potpunosti razumijevaju temeljnu logiku. Sugeriraju teoriju promjene
kao jedan način artikulacije logike tako da se ostavi što manje prostora za pogrešno
razumijevanje.
Na koje druge načine se povjerenje izgrađuje? Obično treba vremena i puno
susreta. Murray sugerira uključivanje svih zainteresiranih strana u proces evalu-
acije, posebno onih koje će se evaluirati.
Balansiranje dionika pregovorima
Jedan od najvećih izazova za evaluatore je rad sa više dionika. Evaluatori trebaju

posjedovati jake vještine pregovaranja da bi baratali interesima i često konkure-
ntnim planovima više dionika. Markiewicz (2005) utvrđuje korisne principe i
praksu za pregovaranje u evaluaciji.
Principi pregovaranja u evaluaciji

Sljedeće je prilagođeno sa Markiewiczeve (2005) liste principa za pregovaranje
u evaluaciji:
• Prepoznati inherentnu političku prirodu evaluacije;
• Vrednovati doprinos više dionika;
• Procijeniti pozicije dionika i plan evaluacije;

• Osigurati da je evaluator aktivan unutar zajednice dionika;
• Razviti vještine evaluatora kao pregovarača koji reagira na konflikt;
• Razviti vještine upravljanja konfliktom sa više dionika.
Jedna ključna strategija je organizirati dionike u referentne grupe, upravne
odbore ili savjetodavne komitete koji nadgledaju proces evaluacije.
Ovaj pristup je konzistentan sa modelom „evaluatora kao medijatora“ (obično
nije primjenjiv na nezavisne evaluacije čija je glavna svrha evaluacija odgovo-
rnosti). Važno je da ove grupe imaju jasno definirane uloge i funkcije. Grupe
ili odbori trebaju uspostaviti osnovna pravila definirajući koliko će aktivni biti
članovi u procesu evaluacije.
Prema Markiewiczu (2005), kada evaluator uspostavi nivo kredibiliteta i
prihvaćenosti kod dionika, tada trebaju pregovarati o područjima konflikta
ili spora među njima. Evaluator treba djelovati kao katalizator koji dionicima
pomaže da dođu do vlastitih rješenja. Da bi to uradio evaluator treba imati jake
vještine komunikacije, što uključuje sposobnost aktivnog slušanja, postavljanje
prikladnih pitanja i provjere razumijevanja. Evaluator također treba držati proces
pregovora fokusiran i omogućiti i ohrabriti interakciju među svim dionicima.
Evaluatori trebaju razviti vještinu pregovaranja. U nekim slučajevma evalu-
atori mogu obaviti dodatnu obuku i praksu u vještinama pregovaranja (model
evaluator kao medijator). Drugi način da evaluator razvije vještine pregovaranja
je raditi sa kolegama na razmjeni iskustava (uspješnih i neuspješnih) ili rješavanja
sukoba.
Patton (1997) sugerira održavanje najmanje četiri sastanka (više za duže
projekte):
• prvi sastanak: fokus na evaluaciju;
• drugi sastanak: metodi i alati mjerenja;
• treći sastanak: razvijena instrumentacija prije prikupljanja podataka;
• četvrti sastanak: pregled podataka da se usaglase interpretacije koje će dovesti
do nalaza.
Ovo je slično koracima preporučenim u ovoj knjizi.
Markiewicz razmatra aktivnu ulogu koju evaluator treba igrati sa dionicima.
Dvije karakteristike koje opisuje kao vrijedne su da se bude osjetljiv i fleksibi-
lan, kako bi se omogućilo uključivanje dionika u proces. Ona također govori o
teškoćama koje nastaju ako evaluator postane suviše blizak i ima previše ličnu
interakciju sa dionicima.
Patton sugerira da se ostane fokusirano na empirijski proces i pomoć dioni-
cima da to urade dobro. To pomaže održanje odnosa objektivnim i izbjegava se
uplitanje pristrasnosti ili zloupotrebe nalaza.

Praksa pregovaranja u evaluaciji
Markiewicz (2005) identificira tri faze pregovaranja u evaluaciji:
• Početna faza: pozicije se postavljaju na sto;
• Srednja faza: vode se aktivni pregovori;
• Posljedna faza: preduzimaju se koraci u postizanju konsenzusa.
Da bi koristili ovaj model pregovarači u evaluaciji trebaju imati raspon
vještina koji je empatičan i asertivan. Empatične vještine prave klimu pogodnu
za pregovore. Asertivne vještine pružaju strukturu procesu.
Empatija se može definirati kao „proces demonstriranja tačnog, neosuđivačkog
razumijevanja potreba, interesa i pozicija druge strane“. (Mnookin, Peppet, i
Tulumello 2000, str. 46). To uključuje dvije komponente: sposobnost da se svijet
vidi očima drugih i sposobnost da se to gledište izrazi riječima. Empatija uključuje
prevođenje razumijevanja iskustva drugih u zajedničku reakciju.
Markiewicz (2005) vjeruje da je empatija važna karakteristika za prikupljanje
informacija o ciljevima, vrijednostima i prioritetima drugih. To postaje kataliza-
tor za inspiraciju otvorenosti kod drugih i postaje uvjerljiv alat za pregovore.
Kada evaluator ima dobro razumijevanje stavova svih dionika, on ili ona to
razumijevanje trebaju parafrazirati svim prisutnim dionicima (Hale 1998). Evalu-
ator zatim treba pitati strane je li to razumijevanje tačno i dati im da objasne sve
razlike. Aktivno i reflektivno slušanje pomaže evaluatoru da razumije ono što se
govori, da postavi prikladna pitanja i provjeri razumijevanje onoga što dionici
kažu.
Asertivnost je sposobnost izražavanja i zagovaranja vlastitih potreba, interesa
i pozicija (Mnookin, Peppet, i Tulumello 1996). Kod pregovaranja u evaluaciji,
to se može opisati kao autoritet moderatora. Balansiranje između empatije i
asertivnosti može biti teško. Mnookin, Peppet i Tulumello (1996) empatiju i
asertivnost vide kao dvije nezavisne dimenzije ponašanja pri pregovorima. Kada
se koriste zajedno, mogu proizvesti održivu korist u pregovaranju i bolje razumi-
jevanje potreba dionika.

Standardi i vodeća načela evaluacije
Profesionalna udruženja razvijaju standarde ili smjernice za pomoć svojim

članovima u donošenju etičnih odluka. Profesionalna asocijacija u Sjevernoj
Americi, Evropi i Australiji uspostavila je etički kodeks za evaluaciju.
Američka evaluaciona asocijacija (AEA) razvila je skup standarda i načela,
iznijeta u dva dokumenta, Standardi programske evaluacije i Vodeća načela za
evaluatore. Ovi Standardi i Načela često služe kao platforma za druge grupe, koje
su ih modificirale i prilagodile njihovim lokalnim okolnostima i situacijama.
AEA je razvila Vodeća načela za evaluatore da pruži smjernice evaluatorima u
njihovoj svakodnevnoj praksi. Najveća razlika između AEA standarda i načela je
njihova svrha. Standardi se odnose na profesionalni učinak, dok se vodeća načela
odnose na profesionalnu vrijednost. Standardi se fokusiraju na proizvod evalu-
acije, dok se vodeća načela fokusiraju na ponašanje evaluatora. Oba dokumenta
pružaju smjernice za etične i prikladne načine provođenja evaluacije.
Standardi programske evaluacije

AEA Standardi programske evaluacije su grupirani u četiri kategorije:
• korisnost • ispravnost
• provodivost • tačnost.
Ispravnost uključuje osam određenih standarda:

• Orijentacija usluge: Tiče se potrebe za evaluatora da služi ne samo u interesu
agencije koja sponzorira evaluaciju nego također i potrebe učenja učesnika
programa, zajednice, i društva;
• Formalni sporazumi: Uključuju takva pitanja kao što je: slijeđenje protokola,
pružanje pristupa podacima, jasno upozoravanje klijenata o ograničenjima
evaluacije i ne obećavati previše;
• Prava ljudskim subjektima: Uključuje takve stvari kao što su osigu-
ranje informiranog pristanka, održavanje prava na privatnost i osiguranje
povjerljivosti;
• Interakcija među ljudima: dodatak pravima ljudskih subjekata, koji kaže da
evaluator mora poštovati ljudski dignitet i vrijednosti u svim

interakcijama i da ni jedan učesnik u evaluaciji ne smije biti ponižen ili oštećen;
• Kompletna i poštena procjena: Ima za cilj osigurati da su i snaga i slabosti
programa tačno prikazani. Evaluator treba osigurati da ne iskrivi studiju da bi
zadovoljio sponzora ili udobrovolji druge grupe;
• Objavljivanje nalaza: Bavi se obavezom evaluatora da služi široj javnosti koja
ima koristi od programa i od tačne evaluacije programa, a ne samo klijentu ili
sponzoru. Nalaze treba javno objaviti;
• Sukob interesa: Bavi se potrebom da evaluatori iznesu svoje pristrasnosti i
vrijednosti eksplicitno na što je poštenije moguć način, tako da se klijetni upo-
zore na pristrasnost koja se nehotice može uvući u rad čak i najpoštenijeg
evaluatora;
• Fiskalna odgovornost: uključuje potrebu da se uvjeri da su svi troškovi –
uključujući vrijeme i napore uložene u pružanje, prikupljanje i omogućavanje
prikupljanja informacija koje evaluatori traže i objašnjavanje evaluacija raznim
jedinicama – prikladni, razumni, i dobro dokumentirani.
AEA održava da su standardi njegove programske evaluacije unikatno američki
i da možda nisu prikladni za upotrebu u drugim državama bez prilagođavanja.
U 2000, W. K. Kellogg fondacija finansirala je sastanak regionalnih i državnih
evaluatora u Barbadosu. Nekoliko međunarodnih evaluacionih organizacija je bilo
predstavljeno na sastanku. Jedno od razmatranih pitanja bilo je odnose li se AEA
standardi programske evaluacije na druge zemlje i na koji način.
Jedan od rezultata sastanka bio je objavljivanje povremenih radova koji razma-
traju ovu temu (Russon 2000). U prvom radu Taut (2000) tvrdi da su Standardi
programske evaluacije zasnovani i da se vrijednosti razlikuju u kulturama. Ona
istražuje kako različite vrijednosti utječu na korištenje AEA standarda izvan
Sjedinjenih Država.
Taut poredi vrijednosti u standardima sa dimenzijama kulturne vrijednosti iden-
tificiranim u među-kulturnoj literaturi. Dimenzije kulturne vrijednosti koje ona
identificira kao najvažnije su:
• individualizam nasuprot kolektivizmu;
• hijerarhija nasuprot egalitarizma (ili udaljenost moći);
• konzervatizam nasuprot autonomiji;
• nadmoć nasuprot harmoniji i
• izbjegavanje nesigurnosti.
Druge razlike koje navodi u kulturama su direktna komunikacija nasuprot
indirektnoj komunikaciji, visoki kontekst nasuprot niskog konteksta, i važnost
starješinstva.

Taut zaključuje „šta je korisno i etično u velikoj se mjeri razlikuje u kultu-
rama od onog što je izvodivo i tačno... (To) postaje jasno da su teme Standarda
ispravnosti veoma zavisne o političkom i kulturnom utjecaju“ (2000, str. 24).
Preporučuje da evaluatori opišu svoja društva u vezi kulturnih dimenzija koje
su obrađene u članku. Također preporučuje da konsultiraju kolege u vezi sa nji-
hovim percepcijama i da,također, konsultiraju stručnjake iz kulture i da usmjere
njihovu analizu.
Vodeća načela za evaluatore
AEA nastoji promovirati etičnu praksu u evaluaciji programa, personala i politike.

U tom cilju, razvila je vodeća načela (1995) da pomogne evaluatorima u njihovoj
profesionalnoj praksi. Uključuju sljedeće:
• sistematično istraživanje; • poštovanje ljudi;
• kompetencija; • odgovornost za opću i javnu
• integritet/poštenje; dobrobit.
AEA Etički komitet nadgledao je glavni pregled i ažuriranje Načela 2004.

(Ova publikacija i više informacija o Vodećim načelima i Standardima evaluacije
programa može se naći na AEA web stranici. Linkovi do oba dokumenta su dati
na kraju ovog poglavlja u dijelu „Evaluacija organizacija“.)
Druge evaluacione organizacije sa nacrtom finaliziranih smjernica ili standa-
rda dostupne na internetu uključuju sljedeće:
• Afrička evaluaciona asocijacija (nacrt evaluacionih standarda i smjernica);
• Australijsko-azijsko evaluaciono društvo (etične smjernice);
• Smjernice kanadskog evaluacionog društva za etično vladanje;
• Njemačko društvo za evaluaciju (standardi);
• Italijanska evaluaciona asocijacija (smjernice)
• Švicarsko evaluaciono društvo (standardi)
• Evaluaciono društvo Ujedinjenog Kraljevstva (smjernice dobre prakse).
Pored smjernica za praktičare, smjernice dobre prakse Ujedinjenog Kraljevstva
uspostavile su smjernice za povjerenike i učesnike u provođenju evaluacije.
Evaluaciona etika za UN sistem
Evaluaciona grupa Ujedinjenih naroda (UNEG) bavi se evaluacionom etikom

u svojim Etičnim smjernicama (UNEG 2008). Ove smjernice su zasnovane na
„zajedničkim i međunarodno priznatim profesionalnim idealima“ (UNEG 2008
str. 3).

Primjenjuju se kada evaluaciju provode članovi osoblja, vanjski konsultanti i
evaluatori iz partnerskih organizacija u svim UN agencijama.
Ono što slijedi su konture etičnih principa ovih smjernica:
• intencionalnost evaluacije, koja uključuje sljedeće:
- korisnost
- neophodnost
• obaveze evaluatora:
- nezavisnost
- nepristrasnost
- kredibilitet
- sukobi interesa
- poštenje i integritet
- odgovornost
• obaveze prema učesnicima:
- poštovanje digniteta i raznolikosti
- prava
- povjerljivost
- izbjegavanje štete
• evaluacija procesa i proizvoda:
- tačnost, kompletnost, i pouzdanost
- transparentnost
- izvještavanje
- propusti i zloupotrebe (UNEG 2008).
UNEG je također uspostavila Standarde za evaluaciju u sistemu UN-a. Ti sta-
ndardi za etiku uključuju sljedeće:
• Evaluatori trebaju biti osjetljivi na vjerovanja, manire i običaje te djelovati sa
integritetom i poštenjem u svojim odnosima sa svim dionicima;
• Evaluatori trebaju osigurati da njihove kontakte sa pojedincima karakterizira
isti respekt kojim bi i oni htjeli da se tretiraju;
• Evaluatori trebaju štititi anonimnost i povjerljivost pojedinaca;
• Evaluatori su odgovorni za njihov učinak i njihove proizvode.
DAC standardi
U Poglavlju 1 ove knjige bilo je riječi o OECD Komitetu za pomoć razvoju

Mreže razvojne evaluacije, norme i standardi glavne grupe za razvojnu eva-
luaciju. Ažuriran sažetak DAC-ovih ključnih normi i standarda je dostupan na
http://www.oecd.org/dac/ evaluationnetwork.

Od posebnog značaja za ovo poglavlje je DAC-ov nacrt standarda kvalitete
evaluacije, koji pruža smjernice o procesu evaluacije i proizvodu. Ovi standardi
će biti finalizirani 2009-2010. nakon tri godine testne faze. Dio 6 smjernica foku-
sira se na nezavisnost evaluatora i stepen u kom je evaluacioni tim u mogućnosti
raditi slobodno i bez uplitanja sa strane. Dio 7 je posvećen evaluacionoj etici.
Ovaj nacrt smjernica ukazuje da proces evaluacije pa tako i evaluator: „poka-
zuju osjetljivost na spol, vjerovanja, manire i običaje svih dionika te se provodi
sa integritetom i pošteno. Prava i dobrobit učesnika u evaluaciji su zaštićeni.
Anonimnost i povjerljivost pojedinih informatora treba zaštititi kada se to traži ili
tako zahtijeva zakon“(str.22).
Sukob interesa
Eksplicitni i implicitni sukob interesa je glavno pitanje koje potencijalno utječe

na kredibilnost evaluatora i utemeljenost evaluacije. Za svaku evaluaciju, evalu-
atori trebaju ukazati imaju li sukob interesa ili naznaku sukoba interesa.
Neke organizacije su razvile smjernice za upravljanje sukobom interesa. Ope-
racije evaluacione grupe Azijske razvojne banke, na primjer, brane članovima
osoblja ili konsultantima da evaluiraju radove u koje su uključeni. To je dobra
praksa evaluacione jedinice.
Sažetak
Etika je skup vrijednosti i vjerovanja koja usmjerava izbore. Evaluatori mogu

prekršiti etične standarde provodeći evaluaciju uprkos sukobu interesa, uključujući
se u nemarnu, ili neprofesionalnu evaluacionu praksu, omogućavajući predra-
sudama da utječu na njihov posao, dajući obećanja koja ne mogu ispuniti, ili
propuštajući da daju počast posvećenosti. Pogrešno razumijevanje – u obliku kli-
jentizma, kontraktualizma, metodologizma, relativizma, ili pluralizma/elitizma –
također može uzrokovati nastanak neetičnog ponašanja.
OECD Komitet za pomoć razvoju Mreže razvojne evaluacije, Evaluacione
grupe Ujedinjenih naroda, AEA i druge agencije i asocijacije imaju razvijene
standarde, smjernice i norme koje pomažu definiranje i mjerenje kvaliteta, etike
i normi. Razvjoni evaluatori trebaju se upoznati sa relevantnim standardima,
smjernicama i normama i modelima njihove prakse.

Poglavlje 14 Aktivnost
Aplikacijska vježba 14.1: Etika: Rosa i poljoprivredna evaluacija
Rosa Marquez ispriča vam sljedeću priču i od vas traži savjet. Koja su glavna
etična pitanja, i kako biste savjetovali Rosu da ih riješi?
Rosa se srela sa lokalnim zvaničnicima, zvaničnicima programa, i vlasnicima
zemljišta da ih informira o nastupajućoj evaluaciji lokalnog poljoprivrednog programa.
Godinama zajednica prima značajnu količinu novca za izgradnju sistema navodnja-
vanja, kupovinu gnojiva, izgradnju puteva i nabavku opreme.
Ovo je bila Rosina prva posjeta području. Član lokanog tima, Eduardo, već je
posjećivao područje nekoliko puta i znao je mnoge od zemljoposjednika. Sugerirao je
da svi odu na večeru i počnu praviti izvještaj.
Tokom večere, Rosa je slušala razgovor između Eduarda i zemljoposjednika.
Izgledalo je da zemljoposjednici imaju blizak odnos sa Eduardom, poklonili su mu
kutiju cigara. Razmatrali su potrebe tog područja. Zemljoposjednici su osjećali da im
je potrebno više resursa da bi efektivno koristili zemljište. Htjeli su uvesti više opreme
da zamijene neke od radnika na farmi. Također su htjeli koristiti više gnojiva nego
to zakon o okolišu dozvoljava. Eduardo se složio sa zemljoposjednicima i rekao im
da nastupajuća evaluacija može pomoći, zato što može predložiti da se tretiraju kao
izuzetak od zakona.
Večera je završila pozivom za Rosu da se pridruži jednom od farmera u obilasku
područja, nakon čega bi uslijedio ručak sa njegovom porodicom. Rosa je osjećala da
bi bilo nepristojno odbiti i planirala je da se sretnu sljedeći dan. Kratko je razgovarala
sa Eduardom i pitala ga zašto se složio sa zemljoposjednicima. Eduardo je rekao da je
vjerovao da bi moglo pomoći da zemljoposjednici bolje sarađuju ako osjete da bi mogli
dobiti nešto pozitivno iz evaluacije.
Tokom obilaska sljedećeg dana, zemljoposjednik je objasnio kako su teško radili
i koliko su napredovali uprkos slabim izgledima. Rekao je Rosi da računa na nju da
podrži njihove napore. Ako bi evaluacija bila negativna, on i njegova porodica ne bi
mogli preživjeti. Kao znak poštovanja, dao joj je ogrlicu za koju je rekao da je bila u
njegovoj porodici generacijama.
Nakon obilaska i ručka sa porodicom zemljoposjednika, Rosa se srela sa
menadžerom programa. Mapirao je raspored gdje je prikazao s kim se ona treba sresti
tokom tri preostala dana. Također je organizirao dva sastanka u zajednici. Ovi sastanci
su uključivali zemljoposjednike, savjetnike za poljoprivredu, članove poslovne zaje-
dnice, koji prodaju poljoprivrednu opremu i gnojivo, i izvoznike poljoprivrednih pro-
izvoda. Kada je pitala zašto niko od njihovih porodica i nijedan od radnika na farmi
nije uključen, rekli su joj da oni nemaju ništa vrijedno čime bi doprinijeli evaluaciji
efekti-vnosti projekta. Pitala je postoji li još neko u zajednici s kim bi trebala razgo-
varati. Rečeno joj je da je program menadžer mukotrpno radio da osigura da svi pravi
ljudi budu uključeni tako da bi ona imala lagan posao procjene programa.

Cutt, James, and Vic Murray. 2000. Accountability and Effectiveness Evaluation in Non-
profit Organizations. London: Routledge.
tion: Alternative Approaches and Practical Guidelines. New York: Pearson Education
Inc.
Hale, K. 1998. “The Language of Co-Operation: Negotiation Frames.” Mediation Quar-
terly 16 (2):147–62.
House, E. R. 1995. “Principles Evaluation: A Critique of the AEA Guiding Principles.” In
Guiding Principles for Evaluators, eds. R. Shadish, D. L. Newman, M. A. Scheirer,
and C. Wye, 27–34. New Directions for Program Evaluation No. 66. San Francisco:
Jossey-Bass.
JCSEE (Joint Committee on Standards for Educational Evaluation). 1994. The Program
Evaluation Standards: How to Assess Evaluations of Educational. Programs Thou-
Markiewicz, Anne. 2005. “‘A Balancing Act’: Resolving Multiple Stakeholder Interests
in Program Evaluation.” Evaluation Journal of Australasia 4 (1–2): 13–21.
Molund, Stefan, and Göran Schill. 2004. Looking Back, Moving Forward: SIDA Evalua-
tion Manual. Stockholm: Swedish International Development Cooperation Agency.
Mnookin, Robert H., Scott R. Peppet, and Andrew S. Tulumello. 1996. “The Tension
between Empathy and Assertiveness.” Negotiation Journal 12 (3): 20–35.
———. 2000. Beyond Winning: Negotiating to Create Values in Deals and Disputes.
Cambridge, MA: Harvard University Press.
Morris, M., and R. Cohn. 1993. “Program Evaluators and Ethical Challenges:
A National Survey.” Evaluation Review 17: 621–42.
Murray, Vic V. 2002. Evaluation Games: The Political Dimension in Evaluation and
Accountability Relationships.
http://www.vserp.ca/pub/CarletonEVALUATIONGAMES.pdf.
Patton, M. Q. 1997. Utilization-Focused Evaluation: The New Century Text. 3rd ed.
Russon, Craig. 2000. The Program Evaluation Standards in International Settings. http://
www.wmich.edu/evalctr/pubs/ops/ops17.pdf.
Stufflebeam, D. L. 1986. “Standards of Practice for Evaluators.” Paper presented at the
annual meeting of the American Educational Research Association, San Francisco,
April.
Tassie, A. W., V. V. Murray, J. Cutt, and D. Gragg. 1996. “Rationality or Politics: What
Really Goes on When Funders Evaluate the Performance of Fundees?” Nonprofit and
Voluntary Sector Quarterly 25 (3): 347–63.
Taut, Sandy. 2000. “Cross-Cultural Transferability of the Program Evaluation Standards.”
In The Program Evaluation Standards in International Settings, ed. Craig Russon.
Occasional Papers Series, Western Michigan University, Evaluation Center, Kalama-
zoo.
http://www.wmich.edu/evalctr/pubs/ops/ops17.pdf.

UNEG (United Nations Evaluation Group). 2005. Norms for Evaluation in the UN
System.
http://www.uneval.org/index.cfm?module=UNEG&Page=UNEGDocuments
&LibraryID=96.
———. 2008. Ethical Guidelines.
http://www.uneval.org/papersandpubs/documentdetail.jsp?doc_id=102.
U.S. Equal Employment Opportunity Commission. 2002.
http://www.eeoc.gov/facts/fs-sex.html.
World IQ. 2008. “Simple View of Ethics and Morals.”
http://www.wordiq.com/definition/Simple_view_of_ethics_and_morals.
Web stranice
Department for International Development. http://www.keysheets.org/red_7_swaps_rev.

pdf.
Evaluation Center, Western Michigan University. http://www.wmich.edu/evalctr/
Human Rights Education. http://www.hrea.org/pubs/EvaluationGuide/.
Institute of Development Studies. 1998. Participatory Monitoring and Evaluation:
Learning from Change, IDS Policy Briefing 12 (November). http://www.ids
.ac.uk/ids/bookshop/briefs/PB12.pdf.
Inter-American Development Bank. 2004. Proposal for Sectorwide Approaches (SWAps).
http://enet.iadb.org/idbdocswebservices/idbdocsInternet/IADB
PublicDoc.aspx?docnum=509733.
MEASURE Evaluation Project. Monitoring and Evaluation of Population and Health
Programs. University of North Carolina, Chapel Hill. http://www.cpc.unc.edu/
measure.
National Aeronautics and Space Act of 1958. http://www.hq.nasa.gov/office/pao/History/
spaceact.html.
Treasury Board of Canada. Linkages between Audit and Evaluation in Canadian Federal
Developments. http://www.tbs-sct.gc.ca/pubs_pol/dcgpubs/TB_h4/evaluation03_e.
asp.
United Nations Population Fund. UNFPA List of Evaluation Reports and Findings. http://
www.unfpa.org/publications/index.cfm.
World Bank. The World Bank Participation Sourcebook. Washington, DC: World Bank.
Udruženja evaluatora
African Evaluation Association. http://www.geocities.com/afreval/.
American Evaluation Association. http://www.eval.org.
Australasian Evaluation Society. http://www.aes.asn.au/.
Canadian Evaluation Society. http://www.evaluationcanada.ca.

European Evaluation Society. http://www.europeanevaluation.org.
German Society for Evaluation. http://www.degeval.de/.
Government and Nongovernmental Organizations. http://www.eval.org/Resources/
govt_orgs_&_ngos.htm.
Institute of Internal Auditors. http://www.theiia.org.
International Organization of Supreme Audit Institutions. http://www.gao.gov/cghome/
parwi/img4.html.
Italian Evaluation Association. http://www.valutazioneitaliana.it/aiv/news.php.
Swiss Evaluation Society. http://www.seval.ch/en/.
United Kingdom Evaluation Society. http://www.evaluation.org.uk/.
Standardi i vodeća načela

American Evaluation Association. 2004. Guiding Principles. http://www.eval.org/Pub-
lications/GuidingPrinciples.asp. (Abbreviated version in brochure form: http://www.
eval.org.)
———. 2005. Program Standards. http://www.eval.org/EvaluationDocuments/
progeval.html.
Asian Development Bank. Guidelines. Operations Evaluation Group. http://www
.adb.org/documents/guidelines/evaluation/independent-evaluation.pdf.
Australasian Evaluation Society. Ethical Guidelines for Evaluators. http://www.aes
.asn.au/about/Documents%20-%20ongoing/guidelines_for_the_ethical_
conduct_of_evaluations.pdf.
Canadian Evaluation Society. Guidelines for Ethical Conduct. http://www
.evaluationcanada.ca.
German Society for Evaluation. Standards. http://www.degeval.de/standards/
standards.htm.
Italian Evaluation Association. Guidelines. http://www.valutazioneitaliana.it/statuto.
htm#Linee).
Organisation for Economic Co-operation and Development. Principles for Evaluation of
Development Assistance. Development Assistance Committee. http://www.oecd.org/
dataoecd/31/12/2755284.pdf.
———. DAC Criteria for Evaluating Development Assistance. Development Assistance
Committee. http://www.oecd.org/document/22/0,2340,en_2649_34435_
2086550_1_1_1_1,00.html.
———. DAC Network on Development Evaluation. Evaluating Development
Co-Operation: Summary of Key Norms and Standards. http://www.oecd.org/dac/
evaluationnetwork.
United Kingdom Evaluation Standards. 2008. http://www.mfcr.cz/cps/rde/xbcr/mfcr/
EvalStandards_UK.pdf and http://www.evaluation.org.uk/resources/guidelines.aspx.

POGLAVLJE 15
Pogled u budućnost
U prethodnih 14 poglavlja opisan je „put do rezultata.“ Razmatrane su

osnove razvojne evaluacije, kako je pripremiti, dizajnirati i provesti te
kako profesionalno djelovati. Ova poglavlja dovela su nas do danas.
U ovom poglavlju kratko se osvrćemo na ono gdje smo bili i gdje smo
danas prije nego pogledamo šta budućnost donosi razvojnoj evaluaciji.
Ovo poglavlje ima dva glavna dijela:

• Od prošlosti do sadašnjosti
• Budućnost
515
Od prošlosti do sadašnjosti
Promjene u razvoju se brzo odslikaju na razvojnu evaluaciju. Na okupljanju

svjetskih lidera 2000. da se prihvati Milenijska razvojna deklaracija i da se
definira razvoj kao globalno partnerstvo za smanjenje siromaštva, skrenuta je
pažnja na mjerenje rezultata. Razvojna evaluacija je reagovala, ali dugačak put se
još uvijek pruža ispred.
Ova knjiga je posvećena povećanju upotrebe evaluativnog znanja za donošenje
odluka. Nekoliko kritičnih koraka može unaprijediti korisnost evaluacije u
određivanju razvojne efektivnosti:
1. Pomjeranje ka evaluaciji zasnovanoj na ciljevima. Više pažnje se poklanja

ostvarenju ciljeva izvan mjerenja izlaznih elemenata, ali ta praksa još uvijek
nije rutina za razvoj ili razvojnu evaluaciju. Dok ne budu znale kako će uspjeh
intervencije izgledati kratkoročno, srednjoročno i dugoročno, organizacije će
nastaviti nagrađivati dostavu potrebnih dobara i usluga a da nisu sigurne da će
to uzrokovati promjenu u ponašanju i rezultirati željenim održivim institucio-
nalnim poboljšanjem.
2. Identificiranje teorija promjene iza razvojnih intervencija. Nužno prvo pitanje
u vezi sa utjecajem nije: „Koji je utjecaj intervencije?“, nego: „ Je li interve-
ncija ustvari potrebna, i zašto bismo očekivali da ima utjecaj koji je imala?“
Ova vrsta analize treba postati standardna praksa. Teorija promjene treba
grafički predstaviti logičku vezu između intervencije i intervencijom namje-
ravanih rezultata, ključnih pretpostavki postavljenih o tome kako i zašto će
to funkcionirati, i drugih glavnih konkurentnih događaja u okruženju koji bi
mogli biti odgovorni za uočene promjene.
3. Promovirati prikladnu upotrebu protučinjenica u dizajnu evaluacije
Protučinjenice su često neophodne da se uspostavi veza između intervencije i
ishoda i utjecaja. Ali iako su eksperimentalni (i kvazieksperimentalni) dizajni
jaki dizajni, nisu „zlatni dizajni“. Razvojna evaluacija se treba fokusirati na
pitanja na koja treba odgovoriti i odabrati dizajne prikladne pitanjima. Može
biti korisnije, na primjer, naučiti o marginalnom utjecaju dužeg trajanja pro-
grama ili varijacije intervencije u implementaciji uzrokovane kontekstualnim
faktorima ili karakteristikama učesnika, nego naučiti o razlikama u utjecaju
među tretman i netretman grupama. Iako razumijevanje eksperimentalnog i
neeksperimentalnog dizajna mora biti dio svake obuke o utjecaju evaluacije,
takva obuka također mora uključiti neeksperimentalne dizajne, kao što su
studije slučajeva.

4. Koristiti mapiranja, doprinos, i dodatnosti na državnom nivou umjesto da
se traga za atribucijom. Pripisivanje razvojnih rezultata jednom razvojnom
entitetu je teško na nivou projekta, generalno je bezuspješno u kompleksni-
jim evaluacijama, kao što su one na nivou sektora ili države. Uz priznavanje
razvoja kao globalnog partnerstva, potrebno je pomjeranje paradigmi. Prvi
korak za razvojnu evaluaciju je mapiranje aktivnosti glavnih donatora, kredi-
tora, i nevladinih organizacija u datoj državi. Poželjno je da ovu analizu uradi
sama zemlja a zatim je koristi kao osnovu za evaluaciju koordinacije pomoći
i za određivanje doprinosa pojedinih razvojnih organizacija kroz dodatnosti.
5. Smanjiti troškove i povećati korist od evaluacije na nivou projekta. Uprkos
puno retorike, većina resursa evaluacije je još uvijek vezana za projektnu
evaluaciju. Trebalo bi više koristiti grupne evaluacije srodnih projekata jednu
do tri godine nakon prispjeća zadnje isplate. Ove evaluacije mogu tražiti
obrasce ishoda i testirati postoje li karakteristike ili kontekstualne varijable
učesnika koje su kritične za uspjeh.
6. Izgraditi kapacitete za evaluacije. Povećan naglasak na mjerenje rezultata sam
je doveo do povećane potražnje za specijalistima razvojne evaluacije. Pariska
deklaracija i Accra Accord su pomogli da se pažnja fokusira na potrebe izgra-
dnje kapaciteta zemalja u razvoju i donatora koji reaguju povećanjem finansi-
ranja, ali izgradnja evaluacionog kapaciteta će biti dugotrajan napor. Donatori
također trebaju posvetiti pažnju ovoj temi izgradnjom potražnje za evaluato-
rima u ministarstvima i drugim agencijama u zemljama u razvoju. Ovaj dio
jednačine o izgradnji potražnje ne treba ignorirati.
Multilateralne razvojne banke, bilateralne razvojne banke, i druge orga-
nizacije za pomoć moraju se baviti izgradnjom evaluacionih kapaciteta uz
pomoć vlastitog osoblja. Njihovom privrženom evaluacionom osoblju, gene-
ralno skupljenom iz unutarnjih redova službenika razvojnih projekata, često
nedostaje čvrsta evaluaciona podloga. Ponekad su to ekonomisti ili istraživači
sa drugim pozadinama, kojima, iako su obučeni u generalno primjenjivim
metodama društvene nauke istraživanja i ekonometriji, može nedostajati
obuke o kvalitativnim metodama.
Obuka i drugi napori u izgradnji evaluacionog kapaciteta trebaju vlastite
evaluacije da se osigura kvalitet programa. Kada potražnja nadmaši ponudu,
programi niskog kvaliteta mogu biti problem. Tvrdnje o ekspertizi u obuci
evaluacije trebaju verifikaciju.
7. Koristiti evaluaciono znanje. Nijedan od prethodno navedenih koraka ne pravi
puno razlike sve dok se nalazi ispravne evaluacije ne koriste da se pripremi
razvoj sljedeće intervencije. Evaluacija ne služi samo u svrhu odgovornosti
nego i u svrhu učenja. Ovo je dugo bila mantra evaluatora. Puno se zna o tome
Pogled u budućnost 517

kako povećati vjerovatnoću upotrebe evaluacije u razvojno evaluacionom
kontekstu. Vrijeme da se naglasak stavi na prevođenje ovog znanja u djelo je
već prošlo. (Rist i Stame 2006).
Budućnost
Niko od nas nema kristalnu kuglu pomoću koje možemo predvidjeti budućnost.
Međutim, možemo, razviti informirane stavove o budućim trendovima i izazo-
vima za razvojne evaluacije. Zatvaramo knjigu sa razmišljanjima o ovome.
Prvo i osnovno, vidimo stalni rast monitoringa i evaluacije (MiE) u gotovo
svakoj zemlji u razvoju. Interesantan razvoj su studijska putovanja u zemlje u
razvoju da se nauči više o njihovim MiE sistemima. Ova putovanja su za ljude iz
zemalja u razvoju i razvijenih zemalja. Vjerujemo da će se javiti slična nastojanja
ne samo u vladinim ministarstvima i uredima nego također i u parlamentima,
fondacijama, crkvama, asocijacijama i drugim dobrovoljnim organizacijama i u
privatnom sektoru.
Potražnja za odgovornošću za rezultatima ne jenjava. Glavna joj je prijetnja
smrt od previše sistema monitoringa indikatora koji imaju previše podataka, sa
rezultatom da je nivo nastojanja neodrživ.
Interna i eksterna evaluacija

Razvojne evaluacije su uveliko postavile metode kvantitativno-kvalitativne
debate koja je djelovala u Američkoj evaluacionoj asocijaciji (AEA) u 1990-tim.
Uistinu, upotreba mješovitih metoda bila je česta u razvojnoj zajednici.
Više problematično za razvojnu evaluaciju bilo je pitanje da li izvršiti eksternu
ili internu evaluaciju i gdje, organizaciono, locirati evaluacione jedinice. Iako
se monitoring sistemi i osoblje MiE jasno vide kao interni, evaluaciji je dato
više pauze. Ovo je posebno važno pitanje za one koji počinju iz početka a ne iz
naslijeđenog okvira.
Hoće li razvojna evaluacija nastojati biti interna i kombinirana funkcija za one
koji upravljaju sistemima monitoringa i evaluacije zasnovanih na rezultatima? Ili
će se razvojna evaluacija više okrenuti strategiji Evropske komisije i favorizirati
dodjelu evaluacija vanjskim pojedincima i firmama?
Naše predviđanje je da će stalna jaka potražnja za rezultatima značiti da
razvojna evaluacija cvjeta ne samo unutar menadžmenta MiE jedinica nego

i u zahtjevima za evaluaciju koju provode vanjski konsultanti i firme. Također
predviđamo povećanu potražnju i neophodnost za nezavisnim evaluacijama.
Evaluacija koja se provodi eksterno nije nužno nezavisna evaluacija. Ako se
evaluacija provodi eskterno, ali je finansirana pod nadzorom onih koji upravljaju
programom, to je interna evaluacija i ne treba je posmatrati kao nezavisnu. Neza-
visne evaluacije, nezavisne evaluacione jedinice i nezavisni evaluatori trebaju
zadovoljavati prinicipe nezavisnosti, kao što su oni koje je uspostavila Evalu-
aciona grupa za saradnju multilateralnih razvojnih banaka (vidjeti Poglavlje1),
nezavisni o reputaciji ili etici entiteta koji provodi evaluaciju.
Funkcija nezavisne evaluacije može biti postavljena unutar razvojne orga-
nizacije (primjer je Nezavisna evaluaciona grupa Grupe Svjetske banke). Može
biti dio parlamentarne ili druge zakonodavne organizacije. Gdje god da je loci-
rana, jedinica nezavisne evaluacije treba formalno procjenjivati ostvarenje načela
nezavisnosti, koristeći skalu rejtinga kao što je predstavljeno u Poglavlju 1.
Razvoj evaluacionog kapaciteta
Povećana potražnja za MiE mora ići skupa sa izgradnjom evaluacionog kapa-

citeta. Funkcija evaluacije koja se oslanja na nekoliko vanjskih stručnjaka vjero-
vatno neće ostvariti dugoročne potrebe. Evaluacioni kapaciteti na svim nivoima
unutar države moraju se generalno razviti. Predviđamo nastavak povećanja nasto-
janja u izgradnji evaluacionog kapaciteta u zemljama u razvoju.
Razvoj evaluacionog kapaciteta obuhvata višestruke radnje za izgradnju i
jačanje MiE sistema u zemljama u razvoju. Razvoj je fokusiran na državne nivoe
i nivoe sektora. Obuhvata mnoge srodne koncepte i alate, uključujući: kapacitete
održanja rezultata razvojne efektivnosti, specifikaciju ciljeva i lanca rezultata
projekta ili programa, informacije o učinku (uključujući prikupljanje baznih
podataka), programa i projekta MiE, ankete procjene korisnika, preglede sektora
i reviziju učinka (Kusek i Rist 2004; Mackay 2007).

Tekstualni okvir 15.1 Ključna pitanja za dijagnozu vladinog MiE
sistema
1. Geneza postojećeg MiE sistema: uloga zagovornika i predvodnika MiE,
ključni događaji koji su kreirali prioritet za MiE informacije (na primjer,
izbor reformski orijentirane vlade, fiskalna kriza);
2. Ministarstvo ili agencija odgovorni za upravljanje MiE sistemom i plani-
ranjem evaluacija. Uloge i odgovornosti glavnih strana u MiE sistemu
(ministarstvo finansija, ministarstvo planiranja, ured predsjednika,
sektorska ministarstva, zakonodavstvo). Podsticaji dionicima da MiE
shvate ozbiljno (jačanje potražnje za MiE informacijama). Moguće posto-
janje nekoliko nekoordiniranih MiE sistema na državnom nivou i nivoima
sektora. Važnost federalnih/državnih/lokalnih pitanja za MiE sistem;
3. Okruženje javnog sektora i da li otežava ili olakšava menadžerima da
ostvare visoke standarde i da budu odgovorni za svoj učinak. Postojanje
reformi javnog sektora – kao što je strategija smanjenja siromaštva,
finansiranje učinka, jačanje vještina analize politike, izrada kulture učinka
u državnoj službi, poboljšanja u vršenju usluga (kao što su standardi
usluge podrške korisnicima), decentralizacija vlade, veće učešće civi-
lnog društva, ili antikorupcijska strategija – koja može imati korist od
jačeg naglaska na mjerenje učinka vlade;
4. Glavni aspekti upravljanja javnim sektorom što MiE sistem snažno
podržava, kao što je donošenje odluka za budžet, upravljanje državnim ili
sektorskim programom planiranja te odnosi odgovornosti (ministarstva
finansija, ureda predsjednika, parlamenta, sektorskih ministarstava,
civilnog društva);
5. Uloga MiE informacija u različitim etapama budžetskog procesa (politika
savjetovanja i planiranja, donošenje odluka za budžet, pregled i
izvještavanje o učinku) i moguća nepovezanost između MiE rada sekto-
rskih ministarstava i upotreba takvih informacija u budžetskom procesu.
Postojanje nepovezanosti između budžetskog procesa i državnog plani-
ranja. Prilike za jačanje uloge MiE u budžetu;
6. Stepen u kome MiE ključni dionici traže MiE informacije, na primjer, u
kojoj mjeri sektorska ministarstva koriste ministarstvo finansija. Identifi-
kacija barijera (ako postoje). Dokaz u vezi stepena u kom razni dionici
koriste MiE informacije (na primjer dijagnostički pregled ili anketu).
Primjer velikih evaluacija koje su bile veoma utjecajne;
7. Vrste alata naglašenih u MiE sistemu (indikatori redovnog učinka, brzi
pregledi evaluacije, revizije učinka, rigorozne detaljne evaluacije
utjecaja). Razmjer i troškovi ovog tipa MiE. Način na koji su postavljeni
prioriteti evaluacije (jesu li fokusirani na „programske probleme“, pilot

programe, programe sa visokim troškovima ili veoma vidljive programe
ili su zasnovani na sistemskom istraživanju plana da se odgovori na
pitanja o efektivnosti programa?);
8. Odgovornost za prikupljanje informacija o učinku i provođenje evalucije
(sama ministarstva, akademska zajednica, ili konsultantske firme). Pro-
blemi sa kvalitetom ili pouzdanošću podataka ili sa kvalitetom evaluacije
koja se provodi. Snage i slabosti lokalne ponude MiE. Ključne smetnje u
kapacitetu i vladini prioriteti izgradnje kapaciteta;
9. Stepen podrške donatora za MiE u skorije vrijeme. Donatorski projekti
koji podržavaju MiE na sve-vladinom, sektorskom ili na nivou agencije
(pružanje tehničke pomoći, ostala izgradnja kapaciteta i finansiranje za
provođenje glavnih evaluacija, kao što su evaluacije rigoroznog utjecaja);
10. Zaključci vezani za ukupne snage i slabosti MiE sistema, uključujući
održivost kod promjene u vladi. Ovisnost sistema o finansiranju dona-
tora ili o drugoj podršci. Trenutni planovi za buduće jačanje MiE sistema.
Izvor: World Bank 2006.
Razvoj evaluacionog kapaciteta pomaže državama u određivanju polazne

pozicije u izgradnji evaluacionog kapaciteta (Tekstualni okvir 15.1). Razvijeni su
razni dijagnostički instrumenti (vidjeti, na primjer, Svjetska banka 1999).
Razvoj evaluacionog kapaciteta osigurava da su nalazi evaluacije dostupni za
pomoć državama u četiri ključna područja:
• Raspored vladinih resursa u planiranju, donošenju odluka i pravljenju priori-
teta, posebno u budžetskom procesu;
• Razumijevanje učinka tekućih aktivnosti na nivoima sektora, programa i pro-
jekta tako da se učenje i napredak mogu ostvariti;
• Odgovornost menadžera za učinak aktivnosti kojima upravljaju, tako da i
vlada može odgovarati za svoj učinak. Pojam odgovornosti obuhvata prizna-
vanje ekonomske uprave i čvrstog javnog sektora od centralne je važnosti
za državnu ekonomsku konkurentnost. Tržište nagrađuje države koje su u
mogućnosti upravljati i predstaviti javne troškove, a evaluacija nudi alat
državama da bi to mogle uraditi;
• Demonstracija obima u kome su razvojne aktivnosti uspješne. Ovo se poka-
zuje sve više važnim za države kod privlačenja eksternih resursa, posebno uz
postojeći pritisak na agencije za međunarodnu razvojnu pomoć da usmjere ka

državama gdje su protekli razvojni napori bili uspješni. Pored toga, povećani
naglasak agencija za razvojnu pomoć, na sve-vladinom pri-stupu, razvoju
povećava premiju na postojanje mjera učinka u čitavoj državi.
Razvoj evaluacionog kapaciteta zahtijeva da se kreatori politike uvjere da

je evaluacija korisna, pošto se to ne može nametnuti vladi. Takvo nešto zahti-
jeva informacionu infrastrukturu koja omogućava da se podaci rutinski priku-
pljaju a rezultati diseminiraju i koriste. Izgradnja korisnog evaluacijskog sistema
obično traje dugo vremena, zato što to iziskuje političke i institucionalne pro-
mjene (Schaumberg-Müller 1996). Sjedinjenim Državama je na primjer, trebalo
10 godina da u potpunosti implementiraju Zakon o učinku i rezultatima vlade
(GPRA) i sve sisteme unutar tog zakona. (Kusek i Rist 2004). Institucije tre-
baju vjerovati da evaluacija nije sistem kontrole nego alat za poboljšanje učinka
i donošenja odluka.
Šta se može uraditi da se motivira razvoj evaluacionog kapaciteta? Koji
podsticaji i prepreke postoje? Toulemonde (1999) govori o važnosti korištenja
podsticaja (mrkva) i evaluacije po zahtjevu (štap). Prvi podsticaj koji on ide-
ntificira je budžetski. Evaluacija košta, i novac mora biti dostupan da bi razvoj
evaluacionog kapaciteta nastao. Drugi podsticaj je dobra karijera za one koji
odluče postati evaluatori.
Toulemonde identificira načine izrade potražnje za evaluaciju po ograničenjima.
Prvo je obavezna evaluacija. Kada se od organizacija traži da provedu evaluaciju,
mora im se dati pravo da postavljaju pitanja. Moraju imati potpun pristup polju
podataka i biti obavezni koristiti rezultate evaluacije.
Toulemonde priznaje da su „zakoni i pravila besmisleni sami za sebe“ (1999,
str. 159). Moraju se provoditi, i moć se mora ispoljiti. Nastavlja diskutirajući o
vrijednosti miješanja podsticaja i ograničenja.
Profesionalizam razvojnih evaluatora
Svako može odlučiti da uzme identitet razvojnog evaluatora. Ali, još uvijek ne
postoje standardne kompetencije koje treba zadovoljiti preko obuke ili prakse, ne
postoji proces akreditacije ili certificiranja kroz koji treba proći onaj ko se može
zvati razvojni evaluator. Mnogo ljudi nauči o poslu bez formalne obuke. Za upra-
vljanje evaluacionom jedinicom također nisu potrebni posebni akreditivi: evalu-
ativno znanje i iskustvo nisu preduvjeti.
Metod učenja putem vremena provedenog na poslu ne treba potcijeniti,
menadžeri bez formalne obuke mogu biti dorasli poslu. Nedostatak akrediti-
ranja, međutim, otežava naručiocima usluga razvojne evaluacije da identificiraju
stručnost.

Pošto potražnja za razvojnom evaluacijom nastavlja rasti, vjerujemo da će
doći do povećanja poziva za profesionalizam kao odgovor na slabo zamišljene ili
provedene evaluacije. Međunarodna asocijacija za razvojnu evaluaciju (IDEAS)
ima sve veću ulogu u globalnoj profesionalizaciji razvojne evaluacije.
Uspostavljanje osnovnih kompetencija

Jedno od glavnih pitanja unutar i van razvojne evaluacije je treba li uspostaviti
osnovne kompetencije evaluatora, kao one kompetencije predstavljene u Tekstu-
alnom okviru 15.2. Američka evaluaciona asocijacija (AEA) izabrala je da ne
prihvati takve kompetencije, nakon početne istrage. Za razliku od njih Kanadsko
evaluaciono društvo (CES) provodi „profesionalno opredjeljenje“, kao oblik
akreditiranja. U isto vrijeme nastoji se povećati fakultetska obuka u evalu-
aciji. Evaluaciona asocijacija Novog Zelanda trenutno razmišlja o razvojnim
kompetencijama.
Trezorski odbor Kanade poziva na certifikaciju voditelja evaluacionih jedi-
nica koji imaju mandat za kanadske agencije. Izvještaj koji je pripremio njegov
sekretarijat predstavlja rezultate studije za „istraživanja pristupa za povećanje
profesionalizma evaluacija u Federalnoj vladi“ (Treasury of Board of Canada
Secretariat 2005). Međunarodni odbor za standarde obuke, učinak i instrukcije
razvio je kompetencije za interno osoblje i eksterne konsultante koji provode
evaluacije u organizacionom okruženju (link do ove web stranice dat je na kraju
ovog poglavlja).
CES-ov Projekat profesionalnog opredjeljenja vjeruje da akreditacija treba
biti zasnovana na kombinaciji obrazovanja i iskustva. Certifikaciju posmatra kao
zahtijevanje ispitivanja. Stoga odabire pristup akreditacije koji nije zasnovan
na testu. Mnogi zadaci koji su potrebni da se uspostavi akreditiranje su u pro-
cesu ostvarivanja, uključujući uspostavu uvjeta za akreditaciju, grandparentning
mehanizama za one koji su već praktičari, odbor za akreditaciju i mehanizme
rješavanja sporova. Očekuje se da projekt predstavljanja počne 2009. godine
(AEA 2008). Link do CES-a na kraju ovog poglavlja daje više informacija o
ovome.
Šta za standarde za one koji su uključeni u razvojnu evaluaciju? IDEAS počinje
istraživati pitanje za razvojne evaluatore. Stalni napori i posao pripreme, koje
radi Kanadsko evaluaciono društvo, pružit će jaku polaznu tačku. Također može
koristiti posao koji je obavila Operativna grupa za razvoj evaluacionog kapaciteta
Evaluacione grupe Ujedinjenih naroda (UNEG) – koja je razvila osnovne kompe-
tencije za osoblje evaluacije na različitim nivoima, i koji su usvojeni 2008. (link
do UNEG-ove web stranice dat je na kraju ovog poglavlja).

Tekstualni okvir 15.2 Osnovne kompetencije programskih
evaluatora
.0
1 Profesionalna praksa:
1.1 Primjena profesionalnih evaluacionih standarda;
1.2 Etično djelovanje i težnja ka integritetu i poštenju pri provođenju
evaluacija;
1.3 Prenošenje ličnih evaluacionih pristupa i vještina potencijalnim
klijentima;
1.4 Poštovanje klijenata, ispitanika, učesnika programa i drugih dionika;
1.5 Imati obzira za opće i javno dobrostanje u evaluacionoj praksi;
1.6 Doprinositi bazi znanja evaluacije.
2.0 Sistemsko ispitivanje:
2.1 Razumijevanje baze znanja evaluacije (termina, koncepata, teorija,
pretpostavki);
2.2 Poznavanje kvantitativnih metoda;
2.3 Poznavanje kvalitativnih metoda;
2.4 Poznavanje mješovitih metoda;
2.5 Provođenje pregleda literature;
2.6 Specificiranje teorije programa;
2.7 Uokvirivanje evaluacionih pitanja;
2.8 Razvoj evaluacionog dizajna;
2.9 Identifikacija izvora podataka;
2.10 Prikupljanje podataka;
2.11 Procjena vrijednosti podataka;
2.12 Procjena pouzdanosti podataka;
2.13 Analiza podataka;
2.14 Interpretacija podataka;
2.15 Prosuđivanje;
2.16 Razvoj preporuka;
2.17 Pružanje obrazloženja za odluke u evaluaciji;
2.18 Izvještavanje o proceduri i rezultatima evaluacije;
2.19 Primjećivanja ograničenja evaluacije;
2.20 Provođenje meta evaluacija.
3.0 Situaciona analiza:
3.1 Opisivanje programa;
3.2 Određivanje evaluabilnosti programa;
3.3 Identifikacija interesa relevantnih dionika;
3.4 Zadovoljavanje potrebe za informacijama namjeravanih korisnika;
3.5 Rješavanje konflikta;
3.6 Ispitivanje organizacionog konteksta evaluacije;

3.7 Analiza političkih razmatranja relevantnih za evaluaciju;
3.8 Rješavanje pitanja upotrebe evaluacije;
3.9 Rješavanje pitanja organizacione promjene;
3.10 Poštovanje jedinstvenosti evaluacione lokacije i klijenta;
3.11 Ostati otvoren za informacije koji daju drugi;
3.12 Modificiranje studije po potrebi.
4.0 Upravljanje projektom:
4.1 Reagiranje na zahtjeve za ponude;
4.2 Pregovaranje sa klijentima prije početka evaluacije;
4.3 Pisanje formalnih sporazuma;
4.4 Komunikacija sa klijentima u evaluacionom procesu;
4.5 Budžetiranje evaluacije;
4.6 Pravdanje troškova za potrebe datih informacija;
4.7 Identificiranje potrebnih resursa za evaluaciju, kao što su informacije,
ekspertize, osoblja i instrumenata;
4.8 Upotreba prikladne tehnologije;
4.9 Nadgledanje drugih koji su uključeni u evaluacije;
4.10 Obuka drugih uključenih u provođenje evaluacije;
4.11 Provođenje evaluacije bez remećenja;
4.12 Predstavljanje posla na vrijeme.
5.0 Reflektivna praksa:
5.1 Svijest o sebi kao evaluatoru (znanje, vještine, dispozicija);
5.2 Refleksija lične evaluacione prakse (kompetencije i područja za rast);
5.3 Provođenje profesionalnog razvoja u evaluaciji;
5.4 Provođenje profesionalnog razvoja u relevantnim područjima
sadržaja;
5.5 Izgradnja profesionalnih odnosa za jačanje evaluacione prakse.
6.0 Međuljudska kompetencija:

6.1 Upotreba komunikacionih vještina pisanja;
6.2 Upotreba verbalnih/slušnih komunikacionih vještina;
6.3 Upotreba vještina pregovaranja;
6.4 Upotreba vještina rješavanja sukoba;
6.5 Omogućavanje konstruktivne međuljudske interakcije (timski rad,
medijatori u grupama,procesuiranje);
6.6 Demonstracija međukulturne kompetencije.
Izvor: Stevahn i drugi 2005.

Neki vjeruju da se na evaluacionom polju nikada neće moći usaglasiti skup
kompetencija za evaluatora, nego će umjesto toga svaka organizacija ili drugi
entitet razviti kompetencije za evaluatore koje su specifične za njihov posao,
kulturu i tradiciju. Predviđamo da će se razviti skup globalnih osnovnih kompe-
tencija za razvojnu evaluaciju. Organizacije će vjerovatno imati dodatne kompe-
tencije za evaluatore, specifične za njihov posao, te će ih prilagođavati, ali će
očekivati da se osnovne kompetencije ostvare.
Drugi argument je da bi trebalo biti superčovjek da bi se ostvarile sve kompe-
tencije potrebne za evaluaciju u svim situacijama. Sigurno da bi bilo dodatnih
zahtjeva za one koje traže evaluacionu specijalnost, kao što je stručnost u soci-
jalnim i okolinskim evaluacijama ili sličnim. Međutim, baš kao što je hirurg za
mozak obučen u općoj medicini, ali doktori opće prakse nisu obučeni u hirurgiji
mozga, osnova je centralna.
Certifikacija razvojnih evaluatora

Je li potreban proces u kome će evaluatori moći dobiti certifikat za vještine, koji je
priznat u cijelom svijetu. Takva certifikacija je sigurno korisna za revizore, među
kojima je biti certifikovan javni računovođa međunarodno priznato i poštovano.
Nedavna studija koju je provela IDEAS među svojim članovima ukazala je na
jaku podršku povećanoj profesionalizaciji putem kompetencije i certifikacije
(Morra Imas 2009).
Certificiranje evaluatora bi osiguralo mehanizme zaštite potrošača od rada
ispod standarda i prakse koja varljivo uljepšava njihove akreditive. Također je
to mehanizam za razlikovanje evaluacije i onih koji je provode od revizorskih
pregleda i revizora. Centralna zabrinutost tiče se straha da bi izrada mehanizama
mogla stvoriti prepreku za ulazak, posebno u okruženju gdje je potražnja veća od
ponude i na polju gdje je učenje na poslu bio tradicionalni metod za ulazak.
Kada su kvalitet evaluacije i kompetentnost evaluatora u pitanju, posebno
zbog visoke eksterne potražnje, vjerovatna je jaka potreba za osnovnim kompe-
tencijama. Naš stav je da ako su osnovne kompetencije postavljene za razvojne
evaluatore, diskusija o certificiranju neće izostati.
Na kraju, najveći izazovi za razvojnu evaluaciju može biti naučiti postaviti
realna očekivanja za intervencije, izgradnju javne potražnje za evaluacijama u
zemljama bez demokratske tradicije, usklađivanje evaluacije zasnovane na rezu-
ltatima sa participacijskom evaluacijom i promoviranje evaluativnog razmišljanja
unutar organizacija. Mi se radujemo suočavanju sa tim izazovima.

Poglavlje 15 aktivnosti
Aplikacijska vježba 15.1: Izgradnja evaluacionog kapaciteta
Od vas (ili vaše grupe) vlada traži da izradite strateški plan za povećanje kapaciteta
evaluacije u vašoj državi. Koristite sljedeća pitanja da vas usmjere u razmišljanju
za pripremu strateškog plana koji ćete uradititi na jednoj do dvije stranice.
1. Koja su dva ili tri najteža razvojna pitanja koja treba riješiti u narednih neko-
liko godina?
2. Prema vašim saznanjima, koji evaluacioni kapaciteti već postoje (dostupnost
evaluatora, vještine, resursi, infrastruktura)?
3. Uz date trenutne i buduće razvojne potrebe i pitanja te vašu procjenu trenutnih
evaluacionih kapaciteta, navedite šest najvažnijih poboljšanja koja bi unapri-
jedila evaluacioni kapacitet u vašoj državi.
4. Šta upravlja potrebom za MiE sistemima u vašoj državi?
5. Ko je u vašoj vladi odgovoran za efektivno (i efikasno) ostvarenje programa?
6. Postoji li kodificirana (statutom ili mandatom) strategija ili organizacija u
vladi za praćenje razvojnih ciljeva?
7. Gdje u vašoj državi leže kapaciteti sa potrebnim vještinama za dizajniranje i
upotrebu MiE sistema? Kako ovi kapaciteti (ili njihov nedostatak) doprinose
upotrebi MiE u vašoj državi?
8. Odredite prioritete potreba za vašu državu identificirajući ih kao kritične,
veoma važne ili važne.

Biobliografija i dodatna literatura
AEA (American Evaluation Association). 2008. “Professional Designation for Evaluators

in Canada: Where Are We Now?” Session at the annual conference of the American
Evaluation Association, Denver, CO, November 5–8.
Beywl, W., and K. Harich. 2008. “University-Based Continuing Education in Evaluation:
The Baseline in Europe.” Evaluation 13 (1): 121–34.
Boyle, Richard. 1999. “Professionalizing the Evaluation Function: Human Resource
Development and the Building of Evaluation Capacity.” In Building Effective Evalu-
ation Capacity: Lessons from Practice, eds. Richard Boyle and Donald Lemaire,
135-51. New Brunswick, NJ: Transaction Publishers.
Boyle, Richard, and Donald Lemaire, eds. 1999. Building Effective Evaluation Capacity:
Lessons from Practice. New Brunswick, NJ: Transaction Publishers.
Dewey, J. D., B. E. Montrosse, D. C. Schroter, C. D. Sullins, and J. R. Mattox II. 2008.
“Evaluator Competencies: What’s Taught versus What’s Sought.” American Journal
of Evaluation 29 (3): 268–87.
Ghere, G., J. A. King, L. Stevahn, and J. Minnema. 2006. “A Professional Develop-
ment Unit for Reflecting on Program Evaluator Competencies.” American Journal of
Evaluation, 27 (1): 108–23.
Mackay, Keith. 2007. How to Build M&E Systems to Support Better Government. World
Bank, Independent Evaluation Group, Washington, DC.
http://www.worldbank.org/ieg/ecd/docs/How_to_build_ME_gov.pdf.
McDonald, K. E., and S. E. Myrick. 2008. “Principles, Promises, and a Personal Plea:
What Is an Evaluator to Do?” American Journal of Evaluation 29 (3): 343–51.
Morra Imas, Linda. 2009. “The Competencies and Credentials Debate in Evaluation:
What Is It all About?” Presentation to the International Development Evaluation
Association’s Global Assembly, Johannesburg, March.
Porteous, Nancy L., Barbara J. Sheldrick, and Paula J. Stewart. 1999. “Enhancing
Managers’ Evaluation Capacity: A Case Study for Ontario Public Heath.” Canadian
Journal of Program Evaluation (Special Issue): 137–54.
Rist, Ray C., and Nicoletta Stame, eds. 2006. From Studies to Streams: Managing Evalu-
ative Systems. Piscataway, NJ: Transaction Publishers.
Schaumberg-Müller, Henrik. 1996. Evaluation Capacity Building: Donor Support and
Experiences. Copenhagen: Organisation for Economic Co-operation and Develop-
ment. http://www.oecd.org/dataoecd/20/52/16546669.pdf.
Sonnichsen, Richard C. 1999. “Building Evaluation Capacity within Organizations.” In
Building Effective Evaluation Capacity: Lessons from Practice, eds. Richard Boyle
and Donald Lemaire, 53–73. New Brunswick, NJ: Transaction Publishers.
Stevahn, Laurie, Jean A. King, Gail Ghere, and Jane Minnema. 2005. “Establishing
Essential Competencies for Program Evaluators.” American Journal of Evaluation 26
(1): 43–59.

Toulemonde, Jacques. 1999. “Incentives, Constraints, and Culture-Building as Instru-
ments for Development of Evaluation Demand.” In Building Effective Evaluation
Capacity: Lessons from Practice, eds. Richard Boyle and Donald Lemaire, 153–68.
New Brunswick, NJ: Transaction Publishers.
Treasury of Board of Canada Secretariat. 2005. Improving the Professionalism of Evalu-
ation. Final report.
http://www.tbs-sct.gc.ca/eval/dev/Professionalism/profession_e.asp.
World Bank. 1999. Evaluation Capacity Development: A Diagnostic Guide and Action
Framework. ECD Working Paper 6, Operations Evaluation Department, Washington,
DC.
———. 2006. Diagnostic Guides. Washington, DC.
http://www.worldbank.org/ieg/ecd/diagnostic_guides.html.
Web stranice
Campbell, Patricia B., and Beatriz Chu Clewell. 2008. Building Evaluation Capacity:
Designing a Cross-Project Evaluation. Guide I. Urban Institute, Washington, DC.
http://www.uquebec.ca/observgo/fichiers/43799_GRA-1a.pdf.
———. 2008. Building Evaluation Capacity: Collecting and Using Data in Cross-Proj-
ect Evaluations. Guide II. Urban Institute, Washington, DC.
http://www.uquebec.ca/observgo/fichiers/42773_GRA-1b.pdf.
Canadian Evaluation Society. www.evaluationcanada.ca.
———. Professional Designation Project.
http://www.evaluationcanada.ca/site.cgi?s=5&ss=6&_lang=EN.
UNEG (United Nations Evaluation Group).2004a. Evaluation Capacity Development:
A Strategy Paper. http://cfapp1-docs-public.undp.org/eo/evaldocs1/uneg_2006/
eo_doc_350011048.doc.
———. 2004b. Evaluation Capacity Development Task Force: Highlights. http://cfapp1-
docs-public.undp.org/eo/evaldocs1/uneg_2006/eo_doc_562044935.doc.
Weiss, Carol. Evaluating Capacity Development: Experiences from Research and Devel-
opment Organizations around the World.
http://www.agricta.org/pubs/isnar2/ECDbood(H-ch7).pdf.

DODACI
OECD DAC Mreža za razvojnu
evaluaciju - evaluiranje razvojne
saradnje: sažetak ključnih normi i
standarda
Sadržaj
Uvod 534
Definiranje evaluacije 535
Razvoj normi i standarda za evaluaciju 535
Dio I: DAC principi za evaluaciju razvojne pomoći 536
Pregled DAC principa za evaluaciju razvojne pomoći 540
Dio II: Evaluacioni kriteriji 541
Dio III: Evaluacioni sistemi i upotreba: radni alat za stručne
preglede i procjenu 543
Dio IV: DAC evaluacija standarda kvaliteta 546
Dio V: Dokumenti smjernice 551
533
DAC Mreža razvojne evaluacije je podružno tijelo Komiteta razvojne pomoći
(DAC). Svrha mu je povećati efektivnost međunarodnih razvojnih programa
podržavajući robusnu, informiranu i nezavisnu evaluaciju. Mreža je jedi-
nstveno tijelo, koje okuplja 30 bilateralnih donatora i multilateralnih razvojnih
agencija: Australije, Austrije, Belgije, Kanade, Danske, Evropske Komisije,
Finske, Francuske, Njemačke, Grčke, Irske, Italije, Japana, Luksemburga,
Holandije, Novog Zelanda, Norveške, Portugala, Španije, Švedske, Švicarske,
Ujedinjenog Kraljevstva, Sjedinjenih Država, Svjetske banke, Azijske razvo-
jne banke, Afričke razvojne banke, Inter-američke razvojne banke, Evropske
banke za obnovu i razvoj, UNDP i IMF.
Uvod
DAC Mreža razvojne evaluacije je jedinstven međunarodni forum koji oku-

plja evaluacione menadžere i specijaliste iz razvojnih agencija za saradnju u
OECD zemljama članicama i multilateralnim razvojnim institucijama. Cilj joj
je povećati efektivnost međunarodnih razvojnih programa podržavajući robusnu,
informiranu i nezavisnu evaluaciju. Mreža je podružno tijelo OECD Komiteta za
razvojnu pomoć (DAC).
Ključna komponenta misije Mreže je razviti međunarodno usaglašene norme
i standarde za razvojnu evaluaciju. Tako se daju informacije za evaluacionu poli-
tiku i praksu i doprinosi se harmoniziranom pristupu u skladu sa opredjeljenjem
Pariske deklaracije o Efektivnosti pomoći. Tijelo normi i standarda je zasnovano
na iskustvu, i vremenom evoluira da bi se uklopilo u promjenjivo okruženje
pomoći. Norme i standardi služe kao međunarodna referentna tačka, predvodeći
napore za unapređenje razvojnih rezultata putem visoko kvalitetne evaluacije.
Norme i standarde sažete ovdje treba primijeniti razumno i prilagoditi pažljivo
da odgovaraju svrsi, objektu i kontekstu svake evaluacije. Pošto ovaj sažeti doku-
ment nije iscrpan evaluacioni priručnik čitaocima se preporučuje da pogledaju
kompletan tekst koji je dostupan na web stranici DAC Mreže razvojne evaluacije:

Definiranje evaluacije
Evaluacija je sistemska i objektivna procjena tekućih ili završenih projekata,
programa ili politike, njihovog dizajna, implementacije i rezultata.
Cilj je odrediti relevantnost i ispunjavanje ciljeva, razvoj efikasnosti, efe-
ktivnosti, utjecaja i održivosti. Evaluacija treba pružiti informacije koje su kredi-
bilne i korisne, omogućavajući inkorporaciju naučenih lekcija u proces
donošenja odluka donatora i korisnika.
Evaluacija se također odnosi na proces određivanja vrijednosti ili značaja
aktivnosti, politike ili programa.
Ova i ostale ključne definicije se nalaze u Glosaru ključnih termina u evaluaciji

i menadžmentu zasnovanim na rezultatima. Glosar je koristan razvojni alat kapa-
citeta koji pomaže izgradnju zajedničkog razumijevanja osnovnih evaluacionih
koncepata. DAC glosar je dostupan na arapskom, kineskom, holandskom, engle-
skom, francuskom, italijanskom japanskom, kisvahili, portugalskom, ruskom,
španskom, švedskom i turskom.
Razvoj normi i standarda za evaluaciju
Set osnovnih principa za evaluaciju razvojne pomoći (sažet u Dijelu I) usvojila

je OECD DAC 1991. godine i u srcu su pristupa evaluaciji Evaluacione mreže.
Principi se fokusiraju na upravljanje i institucionalno uređenje evaluacionog
sistema unutar razvojnih agencija.
Tokom pregleda evaluacionih principa 1998. godine, većina DAC članova
izvijestila je o postignutom napretku u implementaciji osnovnih principa i vidi
ih kao korisne i relevantne. Ovi osnovni evaluacioni principi ne samo da ostaju
ključno mjerilo za razvojnu evaluaciju nego služe kao osnova za DAC preglede
stručnjaka – jedini međunarodno priznati mehanizam za procjenu učinka razvo-
jnih programa saradnje OECD DAC članica. Međutim, pregled je također označio
područje kojemu treba prilagođavanje ili specifičnije smjernice, postavljajući
scenu za daljnji razvoj.
Sažetak ključnih normi i standarda 535

DAC kriterij za evaluaciju razvojne pomoći (detaljno obrađen u Dijelu II)
zasnovan je na evaluacionim načelima i služi kao opći vodič mjera koje se mogu
primijeniti, i koristan je za procjenu razvojnog rada.
Podrobna analiza evaluacione politike i prakse članova obavljena 2006.
godine, zasnovana na pregledu stručnjaka provedena u periodu od osam godina,
dovela je do razvoja Evaluacionih sistema i upotrebe: radnih alata za pregled
stručnjaka i procjenu (Dio III). Taj dokument osigurava ključne elemente jake
evaluacione funkcije u razvojnim agencijama i koristi se za napredak impleme-
ntacije načela.
Najskoriji korak u razvoju normativnog okvira je definiranje evaluacionih
standarda kvaliteta (predstavljenih u formi nacrta u Dijelu IV). Ovi standardi
pružaju smjernice za evaluacioni proces i proizvod. Bit će završeni u 2009-2010,
nakon test faze od tri godine.
Pored ovih općih normi i standarda, OECD DAC članovi prepoznaju potrebu
za specifičnim smjernicama u određenim područjima razvojne evaluacije. Izgra-
dnjom evaluacionog iskustva i gore opisanih tekstova, razvijene su smjernice u
brojnim područjima. Najznačajnije od ovih dokumenata smjernica su predsta-
vljeni u Dijelu V.
Dio I: DAC principi za evaluaciju razvojne pomoći
Usvojeni na OECD DAC Sastanku na visokom nivou 1991. godine, evaluacioni

principi objavljeni su 1992. godine kao dio DAC principa za efektivnu pomoć.
Pregled ključnih elemenata originalnog dokumenta dat je ispod:
I. Centralne poruke
Principi pružaju opće smjernice za ulogu evaluacije pomoći u procesu

upravljanja pomoći, uz sljedeće centralne poruke:
• Agencije za pomoć trebaju imati evaluacionu politiku sa jasno uspostavljenim
smjernicama i metodima i sa jasno definiranom ulogom i odgovornostima i
jasnim mjestom u institucionalnoj strukturi pomoći;
• Evaluacioni proces treba biti nepristran i nezavisan o procesu vezanom za
kreiranje politike, i pri obavljanju i upravljanju razvojnom pomoći;
• Proces evaluacije mora biti što je više moguće otvoren sa široko dostupnim
rezultatima;
• Da bi evaluacija bila korisna, mora se koristiti. Povratne informacije za kre-
atore politike i operativno osoblje su suštinske;
• Partnerstvo sa korisnicima i saradnja donatora u evaluaciji pomoći su suštinske
stvari, važan su aspekt izgradnje institucije korisnika i koordinacije pomoći i
može smanjiti administrativni teret na korisnike;

• Evaluacija pomoći i njeni zahtjevi moraju biti integralni dio planiranja pomoći
od početka. Jasna identifikacija ciljeva, koju aktivnost pomoći treba ostvariti,
suštinski je preduvjet za evaluaciju ciljeva. (Paragraf 4)
II. Svrha evaluacije
Glavne svrhe evaluacije su:

• unaprijediti buduću politiku, programe i projekte pružanja pomoći putem
povratnih informacija iz naučenih lekcija;
• osigurati osnovu za odgovornost, uključujući pružanje informacija javnosti.
Putem evaluacije neuspjeha i uspjeha, dobivaju se vrijedne informacije, koje
ako se propisno obrade mogu poboljšati buduće programe i projekte pomoći
(Paragraf 6)
III. Nepristrasnost i nezavisnost
Proces evaluacije treba biti nepristrastan i nezavisan od procesa vezanih sa

kreiranjem politike, i sa vršenjem i upravljanjem razvojnom pomoći. (Para. 11)
Nepristrasnost doprinosi kredibilitetu evaluacije i izbjegavanju pristrasnih
nalaza, analiza i zaključaka. Nezavisnost osigurava legitimitet evaluaciji i sma-
njuje potencijal za sukob interesa koji se može pojaviti ako su kreatori politike i
menadžeri sami odgovorni za evaluaciju vlastitih aktivnosti. (Paragraf 12)
Nepristrasnost i nezavisnost će se najbolje ostvariti odvajanjem funkcije
evaluacije od linije menadžmenta odgovorne za planiranje i upravljanje razvo-
jnom pomoći. Ovo se može ostvariti tako što će se napraviti centralna jedinica
odgovorna za izvještavanje o evaluaciji direktno ministru ili šefu agencije odgo-
vornom za razvojnu pomoć, ili upravnom odboru ili direktorima institucija. U
stepenu u kom su neke funkcije evaluacije dodijeljene liniji menadžmenta, tada
menadžment treba biti odgovoran centralnoj jedinici ili dovoljno visokom nivou
strukture menadžmenta ili upravnom odboru odgovornom za programske odluke.
U ovom slučaju, treba uložiti sve napore da se izbjegne kompromitovanje procesa
evaluacije i njegovih rezultata. Koji god pristup da odaberemo, organizaciono
uređenje i procedure trebaju omogućiti povezivanje nalaza evaluacije sa pro-
gramiranjem i kreiranjem politike. (Paragraf 16)

IV. Kredibilitet
Kredibilitet evaluacije zavisi od stručnosti i nezavisnosti evaluatora i o stepenu

transparentnosti evaluacionog procesa. Kredibilitet zahtijeva da evaluacija treba
izvjestiti o uspjehu, ali i o neuspjehu. Države koje primaju pomoć trebaju, po
pravilu, uzeti puno učešće u evaluaciji kako bi se promovirao kredibilitet i pre-
danost. (Paragraf 18)
Transparentnost evaluacionog procesa je suštinska za njegov kredibilitet i
legitimnost. . . (Paragraf 20)
V. Korisnost
Da bi imali utjecaja na donošenje odluka, nalazi evaluacije se prvo moraju

doživjeti kao relevantni i korisni te ih treba predstaviti na jasan i koncizan
način. U potpunosti trebaju odražavati različite interese i potrebe mnogih strana
uključenih u razvojnu saradnju. Lahka pristupnost je također suštinska za koris-
nost . . . (Paragraf 21)
Evaluacije moraju biti pravovremene u smislu da trebaju biti dostupne u vri-
jeme koje je prikladno za proces donošenja odluka. Ovo sugeriše da evaluacija
ima važnu ulogu u različitim fazama tokom izvođenja projekta ili programa i ne
treba je provoditi samo ex post. Monitoring aktivnosti koje su u toku je odgovo-
rnost operativnog osoblja. Odredbe za evaluaciju nezavisnog evaluacionog oso-
blja u planu rada trebaju sadržavati važnu dopunu redovnom monitoringu.
(Paragraf 22)
VI. Učešće donatora i korisnika
(...) kad god je moguće, i donatori i korisnici trebaju biti uključeni u evalu-
acioni proces. Pošto su nalazi evaluacije relevantni objema stranama, evalu-
acioni projektni zadatak treba sadržavati pitanja od važnosti za svakog
partnera i evaluacija treba odražavati njihove stavove o efektivnosti i utjecaju
aktivnosti. Princip nepristrasnosti i nezavisnosti tokom evaluacije treba jedna-
ko primjenjivati na korisnike i donatore. Učešće i nepristrasnost pojačavaju
kvalitet evaluacije, što zauzvrat ima značajne implikacije za dugoročnu
održivost pošto korisnici ostaju jedini odgovorni kada donatori odu. (Paragraf 23)
Kad god je prikladno, stavovi i stručnost pogođenih grupa treba sačinjavati
integralni dio evaluacije. (Paragraf 24)

Uključivanje svih zainteresiranih strana daje priliku za učenje tokom rada i za
jačanje vještina i kapaciteta u zemljama korisnicama, važan je cilj koji također
treba promovirati putem treninga i kroz drugu podršku za institucionalni i razvoj
menadžmenta. (Para. 25)
VII. Saradnja donatora
Saradnja među donatorima je suštinski bitna kako bi naučili jedni od drugih i

izbjegli duplanje napora. Saradnju donatora treba ohrabriti kako bi se razvili
evaluacioni metodi, razmijenili izvještaji i informacije te poboljšao pristup
nalazima evaluacije. Združene donatorske evaluacije treba promovirati kako bi
uzajamno razumijevali procedure i pristupe te smanjili administrativni teret na
korisnika. Kako bi se omogućilo planiranje združenih evaluacija, donatori trebaju
razmijeniti evaluacione planove sistematski i dosta prije stvarne implementacije.
(Paragraf 26)
VIII. Evaluaciono programiranje
Agencija za evaluaciju aktivnosti razvojne pomoći treba razviti sveobuhvatan

plan. Pri elaboraciji takvog plana, razne aktivnosti koje će se evaluirati treba
organizirati u prikladne kategorije. Zatim treba postaviti prioritete za evaluaciju
kategorija i treba napraviti raspored. (Para. 27)
Agencije za pomoć koje to do sada nisu uradile trebaju elaborirati smjernice
i/ili standarde za proces evaluacije te tako usmjeriti i definirati minimalne zahtjeve
za provođenje evaluacije i za izvještavanje. (Para. 31)
IX. Dizajn i implementacija evaluacije
Svaka evaluacija mora biti planirana a projektni zadatak urađen kako bi se:
• definirala svrha i djelokrug evaluacije, uključujući identifikaciju korisnika
nalaza;
• opisali metodi koji će se koristiti tokom evaluacije;
• identificirali standardi prema kojima će se procjenjivati učinak projekta ili pro-
grama i
• odredili resursi i vrijeme potrebno za završetak evaluacije. (Para. 32)
Suštinski bitno je definirati pitanja koja će se obraditi u evaluaciji – ta pitanja
se često zovu „teme“ evaluacije. Pitanja će pružiti okvir, kojim se može upravljati,
za proces evaluacije i osnovu za jasan set zaključaka i preporuka... (Para. 35)

X. Diseminacija izvještaja i povratne informacije
Evaluaciono izvještavanje treba biti jasno, sa što manje tehničkog jezika i treba
uključivati sljedeće elemente: izvršni sažetak, profil evaluiranih aktivnosti, opis
korištenih evaluacionih metoda, glavne nalaze, naučene lekcije, zaključke i pre-
poruke (koji mogu biti odvojeni od samog izvještaja). (Para. 39)
Povratne informacije su suštinski dio procesa evaluacije pošto omogućavaju
vezu između prošlih i budućih aktivnosti. Da bi se osiguralo da se rezultati
evaluacije koriste u budućem razvoju politike i programa, neophodno je
uspostaviti mehanizme povratnih informacija koji uključuju sve zainteresirane
strane. To bi uključilo takve mjere kao što su evaluacioni odbori, seminari
i radionice, automatizovani sistemi, izvještavanje i prateće procedure.
Neformalna sredstva kao što su umrežavanje i interna komunikacija bi
također omogućila diseminaciju ideja i informacija. Da bi bio efektivan proces
povratnih informacija, on zahtijeva osoblje i budžetske resurse kao i podršku
višeg menadžmenta i drugih uključenih aktera. (Para. 42)
Pregled DAC principa evaluacije razvojne pomoći
Članovi Radne grupe za evaluaciju pomoći 1998. godine (sada DAC mreže za
razvojne evaluacije) uradili su pregled njihovog iskustva sa primjenom DAC pri-
ncipa za evaluaciju razvojne pomoći. Cilj je bio ispitati implementaciju i upotrebu
principa, kako bi se procijenio njihov utjecaj, korisnost i relevantnost te da bi se
dale preporuke. Izvod koji se nalazi ispod prikazuje nastojanja koja su u toku da
se implementiraju principi i pokaže put ka onom što je urađeno kasnije i što je pre-
dstavljeno u dijelovima II-V ovog dokumenta. Cjelokupan tekst uključuje detaljne
nalaze i dodatne preporuke evaluatora i korisnika.
Pregled pokazuje da evaluacija u razvojnoj saradnji evoluira i mijenja

fokus. Većina članova Mreže su reorganizirali svoje centralne urede za evalu-
aciju da bi im dodijelili novu ulogu sa jakim fokusom na efektivnost pomoći.
Pored toga, centralni uredi za evaluaciju su prešli sa tradicionalnih evaluacija
projekata na programske, sektorske, tematske i evaluacije državne pomoći.
U OECD državama, domaći interes za rezultatima razvojne pomoći je porastao.
Zabilježen je također veći interes za decentralizovanu evaluaciju, a postoji i
dokaz koji ukazuje da se evaluacija u zemljama u razvoju ukorjenjuje.
Većina članova je prijavila da su dostigli dobar stepen saglasnosti sa
suštinskim DAC principima za evaluaciju razvojne pomoći. Također tvrde
da ih nalaze korisnim i relevantnim pri usmjeravanju posla, i u nekim
slučajevima, u reorganizaciji njihovih evaluacionih ureda. Na osnovu ovih
rezultata zaključuje se da su principi još uvijek validni i snažni.

Ipak, prepoznato je da principe treba dopuniti i ojačati smjernicama
(npr. dobra ili najbolja praksa) u ključnim područjima. Ovo uključuje načine
za: efektivno vođenje razmjene između nezavisnosti i uključenja svega potre-
bnog da se ostvari partnerstvo, unaprijede povratne informacije i praksa
komunikacije, promovira evaluaciona kultura, implementira državni program
i združene evaluacije, promovira partnerstvo i evaluira humanitarna pomoć.
Dio II: Evaluacioni kriteriji
Kada se evaluiraju razvojni programi i projekti razvojne saradnje korisno je

razmotriti sljedeće kriterije, koji se nalaze u DAC principima za evaluaciju razvo-
jne pomoći.
Relevantnost
Stepen u kom aktivnost pomoći odgovara prioritetima i politici ciljane grupe,

korisnika i donatora.
U evaluaciji relevantnosti programa ili projekta, korisno je razmotriti
sljedeća pitanja:
• U kom su stepenu ciljevi programa još uvijek validni?
• Jesu li aktivnosti i izlazni rezultati programa konzistentni sa okvirnim ciljem i
ostvarenjem ciljeva programa?
• Jesu li aktivnosti i izlazni rezultati programa konzistentni sa namjeravanim
utjecajima i efektima?
Efektivnost
Mjera stepena u kom aktivnost pomoći ostvaruje svoje ciljeve.

U evaluaciji efektivnosti programa ili projekta, korisno je razmotriti sljedeća
pitanja:
• U kom stepenu su ciljevi ostvareni ili će vjerovatno biti ostvareni?
• Koji su bili glavni faktori koji su utjecali na ostvarenje ili neostvarenje ciljeva?

Efikasnost
Efikasnost mjeri izlazne rezultate – kvalitativne i kvantitativne – u odnosu na

ulazne elemente. To je ekonomski termin koji se koristi za procjenu stepena u
kom pomoć koristi najjeftinije moguće resurse kako bi se ostvarili željeni rezu-
ltati. Generalno je potrebno uporediti alternativne pristupe u ostvarenju istih
izlaznih elemenata, a da bi se vidjelo je li usvojen najefikasniji proces.
Kada se evaluira efikasnost programa ili projekta, korisno je razmotriti sljedeća
pitanja:
• Jesu li aktivnosti bile isplative?
• Jesu li ciljevi ostvareni na vrijeme?
• Je li program ili projekt implementiran na najefikasniji način u poređenju sa
alternativama?
Utjecaj
Utjecaj predstavlja pozitivne i negativne promjene nastale razvojnom interve-

ncijom, direktno ili indirektno, namjerno ili nenamjerno. Ovo uključuje glavne
utjecaje i efekte koji nastaju iz aktivnosti na lokalnom društvenom, ekonomskom,
okolinskom i drugim razvojnim indikatorima. Ispitivanje treba razmotriti prema
namjeravanim i nenamjeravanim rezultatima i također mora uključiti pozitivan
i negativan utjecaj eksternih faktora, kao što su promjene u vidu trgovine i fina-
nsijskih uvjeta.
Kada se evaluira utjecaj programa ili projekta, korisno je razmotriti sljedeća
pitanja:
• Šta se desilo kao rezultat programa ili projekta?
• Koje je stvarne razlike stvorila aktivnost korisnicima?
• Koliko ljudi je pogođeno?
Održivost
Održivost se razmatra mjerenjem vjerovatnosti nastavka koristi od aktivnosti

nakon što donatori povuku svoja sredstva. Projekt treba biti okolinski i finansijski
održiv.
Kada se evaluira održivost programa ili projekta, korisno je razmotriti sljedeća
pitanja:
• U kom stepenu se nastavlja korist od programa ili projekta nakon što prestane
finansiranje od donatora?

• Koji su bili glavni faktori koji su utjecali na ostvarenje ili neostvarenje
održivosti programa ili projekta?
Dio III: Evaluacioni sistemi i upotreba radnog alata za

stručne preglede i procjene
Ovaj okvir je razvijen u martu 2006. godine na osnovu temeljite analize stručnih
pregleda koji su provedeni u periodu od osam godina. Dizajniran je da ojača
funkciju evaluacije i promovira transparentnost i odgovornost u razvojnim agenci-
jama. Razvijen je sa stručnim pregledima na umu i kao sprava menadžmenta
za poboljšanje evaluacione prakse u agencijama za pomoć. To je „živući“ alat,
zamišljen da se ažurira sa novim iskustvom:
1. Politika evaluacije: uloga, odgovornosti i ciljevi evaluacione jedinice

• Ima li ministarstvo ili agencija za pomoć politiku evaluacije?
• Opisuje li politika ulogu, upravnu strukturu i poziciju evaluacione jedinice
unutar institucionalne strukture pomoći?
• Osigurava li evaluaciona funkcija korisnu pokrivenost čitavog razvojnog
programa saradnje?
• Kako prema toj politici evaluacija doprinosi institucionalnom učenju i
odgovornosti?
• Kako je konceptualiziran odnos između evaluacije i revizije unutar
agencije?
• Kako su definirane i koordinirane uloge evaluacionih jedinica u državama
sa dvije ili više agencija?
Je li evaluaciona politika adekvatno poznata i implementirana unutar
agencije za pomoć?
2. Nepristrasnost, transparentnost i nezavisnost
• U kom stepenu su evaluaciona jedinica i evaluacioni proces nezavisni od
linije menadžmenta?
• Koji su formalni i stvarni pokretači koji osiguravaju ili ugrožavaju neza-
visnost evaluacione jedinice?
• Kakvo je iskustvo evaluacione jedinice u izlaganju uspjeha i neuspjeha
programa pomoći i njegove implementacije?
• Je li evaluacioni proces dovoljno transparentan da osigura kredibilitet i
legitimnost? Objavljuju li se konzistentno nalazi evaluacije?
• Kakav je balans između nezavisnosti i potrebe za interakcijom sa linijom
menadžmenta koji upravlja sistemom?

Doživljavaju li neevaluacioni akteri unutar i izvan agencije evalu-
acioni proces kao nepristrasan?
3. Resursi i osoblje
• Je li evaluacija podržana prikladnim finansijskim resursima i osobljem?
• Ima li evaluaciona jedinica posvećen budžet? Je li taj budžet godišnji ili
višegodišnji? Pokriva li budžet aktivnosti koje imaju za cilj promoviranje
povratnih informacija i upotrebu znanja evaluacije i znanja upravaljanja
evaluacijom?
• Posjeduje li osoblje određenu stručnost za evaluaciju, ako ne, jesu li
dostupni programi obuke?
• Postoji li politika angažiranja konsultanata, u smislu kvalifikacija, nepri-
strasnosti i deontologije?
4. Evaluaciono partnerstvo i izgradnja kapaciteta
• U kom stepenu su korisnici uključeni u proces evaluacije?
• U kom stepenu se agencija oslanja na lokalne evaluatore ili, kada to nije
moguće, na evaluatore treće strane iz partnerskih država?
• Uključuje li se agencija u evaluacije koje vode partneri?
• Podržava li jedinica obuku i programe izgradnje kapaciteta u partnerskim
državama?
Kako partneri, korisnici, lokalne NVO doživljavaju proces evaluacije
i proizvode koje promovira agencija ili država, u smislu kvaliteta,
nezavisnosti, objektivnosti, korisnosti i partnerske orijentacije?
5. Kvalitet
• Kako evaluaciona jedinica osigurava kvalitet evaluacije (uključujući
izvještaje i proces)?
• Ima li agencija smjernice za provođenje evaluacije, i koriste li ih rele-
vantni dionici?
• Je li agencija razvila, usvojila standarde, mjerila za procjenu i poboljšanje
kvaliteta svojih evaluacionih izvještaja?
Kako je doživljen kvalitet evaluacionih proizvoda ili procesa u
agenciji?
6. Planiranje, koordinacija i harmonizacija
• Ima li agencija višegodišnji evaluacioni plan, koji opisuje buduće eva-
laucije prema definiranom rasporedu?
• Kako je razvijen plan evaluacije? Ko, unutar agencije za pomoć, identi-
ficira prioritete i kako?
• Kako je organizirana funkcija evaluacije među DAC članovima kada je
ODA odgovornost podijeljena između dvije ili više agencija?
• Koordinira li evaluaciona jedinica svoje evaluacione aktivnosti sa ostalim
donatorima?

• Kako su koordinirane aktivnosti evaluacije na nivou terena? Je li autoritet
za evaluaciju centralizovan ili decentralizovan?
• Uključuje li se evaluaciona jedinica u združene, višedonatorske
evaluacije?
• Upotrebljava li evaluaciona jedinica, agencija za pomoć, evaluacione
informacije koje dolaze iz drugih donatorskih organizacija?
• Na koji način agencija procjenjuje efektivnosti svog doprinosa multila-
teralnim organizacijama? U kom stepenu se oslanja na evaluacioni sistem
multilateralnih agencija?
7. Diseminacija, povratne informacije, upravljanje znanjem i učenje
• Kako se evaluacioni nalazi diseminiraju? Koriste li se drugi alati za
komunikaciju osim izvještaja? (Obavještenja za javnost, konferencije za
štampu, sažeci, godišnji izvještaji u kojima se nalazi sinteza nalaza)?
• Koji mehanizmi postoje za osiguranje povratnih informacija za rezultate
evaluacije za kreatore politike, operativno osoblje i javnost?
• Koji mehanizmi postoje da se osigura da je znanje iz evaluacije dostupno
osoblju i relevantnim dionicima?
Smatra li osoblje agencije evaluaciju „alatom za učenje“?
8. Upotreba evaluacije
• Ko su glavni korisnici evaluacije unutar i izvan agencije za pomoć?
• Reaguje li evaluacija na potrebe za informacijama koje su izrazili parla-
ment, ured za reviziju, vlada i javnost?
• Postoje li sistemi za osiguranje praćenja i implementacije evaluacionih
nalaza i preporuka?
• Na koji način agencija za pomoć ili ministarstvo promoviraju praćenje
nalaza od relevantnih dionika (putem npr. upravljačkih grupa, savjeto-
davnih panela, i testnih odbora)?
• Jesu li osigurane veze sa procesom donošenja odluka da se promovira
upotreba evaluacije za formuliranje politike?
• Postoje li skoriji primjeri velikih operacija i promjena politike uzro-
kovanih nalazima i preporukama evaluacije?
• Postoje li primjeri kako evaluacija služi kao mehanizam odgovornosti?
Kakve su percepcije neevaluacionih aktera (operativnih i odjela poli-
tike, terenskih ureda, itd) u vezi sa korisnošću i utjecajem evaluacije?

Dio IV: DAC standardi kvaliteta evaluacije
DAC standardi kvaliteta evaluacije odobreni su 2006. godine, za primjenu u testnoj

fazi od tri godine. Iskustvo sa upotrebom standarda koje imaju članovi i zaintere-
sirani partneri pružit će informacije za konačnu potvrdu standarda u 2009.
Standardi podržavaju evaluacije koje se drže DAC principa za evaluaciju

razvojne pomoći, uključujući nepristrasnost i nezavisnost, kredibilitet i korisnost,
i treba ih čitati skupa sa ovim principima. Principi se fokusiraju na upravljanje
i institucionalno slaganje evaluacionih sistema unutar razvojnih agencija, za
razliku od toga standardi pružaju smjernice za provođenje evaluacija i
izvještavanje. Standardi identificiraju ključne stubove potrebne za evaluaciju
kvaliteta procesa i proizvoda. Standardi sadrže vodič za dobru praksu i imaju
za cilj unaprijediti kvalitet razvojne evaluacije. Iako se standardi ne vežu za
svaku evaluaciju, treba ih primjenjivati što je moguće šire i treba pružiti kratko
objašnjenje kada to nije moguće uraditi.
1. Obrazloženje, svrha i ciljevi evaluacije

1.1 Obrazloženje evaluacije
Opisuje zašto i za koga se evaluacija preduzima i zašto se preduzima u to
određeno vrijeme.
1.2 Svrha evaluacije
Svrha evaluacije je u skladu sa funkcijom učenja i odgovornosti
evaluacije.
Na primjer, svrha evaluacije može biti:
• Doprinos unapređenju politike, procedura ili tehnika pomoći;
• Da se razmotri nastavak ili prestanak projekta ili programa;
• Da se obračunaju troškovi pomoći za dionike i porezne obaveznike.
1.3 Ciljevi evaluacije
Ciljevi evaluacije određuju ono šta se evaluacijom namjerava ostvariti.
Na primjer:
• Da se potvrde rezultati (izlazni rezultati, ishod, utjecaj) i procijeni efe-
ktivnost, efikasnost i relevantnost određenih razvojnih intervencija;
• Da se osiguraju nalazi, zaključci i preporuke u odnosu na određenu
politiku, program itd.
2. Djelokrug evaluacije
2.1 Djelokrug evaluacije
Djelokrug evaluacije je jasno definiran određivanjem obrađenih pitanja,
stvarno utrošenih sredstava, vremenskog perioda, vrste intervencije,

geografske pokrivenosti, ciljanih grupa, kao i drugih elemenata razvojne
intervencije obrađenih u evaluaciji.
2.2 Logika i nalazi intervencije
Evaluacioni izvještaj kratko opisuje i procjenjuje logiku intervencije
i pravi razliku između nalaza na različitim nivoima: ulazni elementi,
aktivnosti, ishodi i utjecaji.
2.3 Kriterij evaluacije
Evaluacioni izvještaj primjenjuje pet DAC kriterija za evaluaciju razvo-
jne pomoći: relevantnost, efikasnost, efektivnost, utjecaj i održivost.
Kriterij primijenjen na datu evaluaciju je definiran jasnim terminima.
Ako određeni kriterij nije primjenjivan, to se objasni u evaluacionom
izvještaju, kao i svi dodatni kriteriji koji su primijenjeni.
2.4 Evaluaciona pitanja
Postavljena pitanja, kao i bilo kakve revizije originalnih pitanja, se doku-
mentiraju u izvještaj da bi čitaoci mogli procijeniti je li ih evaluacioni tim
dovoljno procijenio.
3. Kontekst
3.1 Kontekst razvoja i politike
Evaluacioni izvještaj pruža opis konteksta politike relevantnog razvo-
jnoj intervenciji, dokumentima politike, ciljevima i strategijama razvojne
agencije i partnera. Razvojni kontekst se može odnositi na: regionalnu i
državnu ekonomiju i nivoe razvoja. Kontekst politike se može odnositi
na: strategije smanjenja siromaštva, jednakost spolova, zaštitu okoline i
ljudska prava.
3.2 Institucionalni kontekst
Evaluacioni izvještaj pruža opis institucionalnog okruženja i uključenja
dionika u odnosu na razvojnu intervenciju, tako da njen utjecaj može biti
identificiran i procijenjen.
3.3 Društveno politički kontekst
Evaluacioni izvještaj opisuje društveno ekonomski kontekst unutar kojeg
se događa intervencija, te njeno djelovanje na ishod i utjecaj razvojne
intervencije.
3.4 Uređenje implementacije
Evaluacioni izvještaj opisuje organizaciono uređenje uspostavljeno
za implementaciju razvojne intervencije, uključujući uloge donatora i
partnera.
4. Metodologija evaluacije
4.1 Objašnjenje korištene metodologije
Evaluacioni izvještaj opisuje i objašnjava metod i proces evaluacije i
razmatra validnost i pouzdanost. Prepoznaje sve nastale prepreke i njihov
utjecaj na evaluaciju, uključujući utjecaj na nezavisnost evaluacije. Daje

detalje metoda i tehnika korištenih za prikupljanje i obradu podataka i
informacija. Izbori su opravdani, a ograničenja i nedostaci objašnjeni.
4.2 Procjena rezultata
Metodi za procjenu rezultata su određeni. Atribucija faktora, koji su
doprinijeli i faktora koji su unosili zabunu, treba biti obrađena. Ako su
se koristili indikatori kao osnov za procjenu rezultata ti indikatori tre-
baju biti SMART (specifični, mjerljivi, ostvarivi, relevantni i vremenski
vezani).
4.3 Konsultovani relevantni dionici
Relevantni dionici su uključeni u proces evaluacije da identificiraju teme
i pruže ulazne elemente za evaluaciju. Donatori i partneri se konsulti-
raju. Evaluacioni izvještaj ukazuje na konsultovane dionike, na kriterij za
odabir, i opisuje učešće dionika. Ako je konsultirano manje od cjeloku-
pnog niza dionika, opisuju se metodi i razlozi za odabir određenih dionika.
4.4 Uzorkovanje
Evaluacioni izvještaj objašnjava odabir svakog uzorka. Identificirana su
ograničenja u vezi sa predstavljanjima evaluacionog uzorka.
4.5 Evaluacioni tim
Sastav evaluacionih timova treba imati mješavinu evaluacionih vještina i
tematsko znanje, treba biti spolno balansiran i treba uključivati profesio-
nalce iz zemalja ili iz regiona gdje se evaluacija izvodi.
5. Izvori informacija
5.1 Transparentnost izvora informacija
Evaluacioni izvještaj opisuje korištene izvore informacija (dokume-
ntacija, ispitanici, literatura itd.) uz dovoljno detalja tako da se adekva-
tnost informacija može procijeniti. Uključuje se kompletna lista ispitanika
i konsultovane dokumentacije, u obimu u kom se ne ugrožava privatnost
i povjerljivost učesnika.
5.2 Pouzdanost i tačnost izvora informacija
Evaluacija unakrsno-potvrđuje i kritički procjenjuje korištene izvore
informacija i validnost podataka koristeći razne metode i izvore
informacija.
6. Nezavisnost
6.1 Nezavisnost evaluatora u odnosu na dionike
Evaluacioni izvještaj ukazuje na stepen nezavisnosti evaluatora o politici,
operacijama i funkciji upravljanja, implementaciji i korisnicima. Mogući
sukobi interesa su izneseni javno i pošteno.

6.2 Slobodni i otvoreni proces evaluacije
Evaluacioni tim je u mogućnosti raditi slobodno i bez uplitanja.
Omogućeni su mu saradnja i pristup svim relevantnim informacijama.
Evaluacioni izvještaj ukazuje na sve smetnje koje mogu utjecati na pro-
ces evaluacije.
7. Evaluaciona etika
7.1 Evaluacija provedena na profesionalan i etičan način
Proces evaluacije pokazuje osjetljivost na spol, vjerovanja, manire i
običaje svih dionika i preduzima se sa integritetom i poštenjem. Prava
i dobrobit učesnika u evaluaciji su zaštićena. Anonimnost i povjerenje
pojedinih informatora treba zaštititi kada se to traži ili je propisano
zakonom.
7.2 Priznanje nesuglasica unutar evaluacionog tima
Članovi evaluacionog tima trebaju imati priliku ograditi se od određenih
sudova i preporuka. Sve neriješene razlike u mišljenjima unutar tima
treba objaviti u izvještaju.
8. Potvrda kvaliteta
8.1 Inkorporacija komentara dionika
Dionicima je data prilika da komentiraju nalaze, zaključke, preporuke
i naučene lekcije. Evaluacioni izvještaj odražava komentare i priznanja
svih neslaganja. Kod sporova o činjenicama, koje se mogu verifici-
rati, evaluatori trebaju istražiti i promijeniti nacrt kada je to potrebno.
U slučaju mišljenja ili interpretacije komentare dionika treba prenijeti
doslovno, u vidu aneksa, u stepenu u kom se ne sukobljava sa pravima i
dobrostanjem učesnika.
8.2 Kontrola kvaliteta
Kontrola kvaliteta se vrši putem procesa evalaucije. Ovisno o djelokrugu
i kompleksnosti evaluacije, kontrola kvaliteta se vrši interno ili putem
eksternog tijela, stručnim pregledom ili referentnom grupom. Kontrola
kvaliteta se pridržava principa nezavisnosti evaluatora.
9. Relevantnost evaluacionih rezultata
9.1 Formulacija evaluacionih nalaza
Evaluacija nalaza je relevantna objektu koji se evaluira i svrsi evalu-
acije. Rezultati trebaju jasno proisteći iz evaluacionih pitanja i analize
podataka, pokazujući jasnu liniju dokaza kojima se podržavaju zaključci.
Sve razlike između planirane i stvarne implementacije na objektu koji se
evaluira se objasne.

9.2 Evaluacija implementirana unutar dodijeljenog vremena i budžeta
Evaluacija se provodi i rezultati se učine dostupnim na vrijeme u odnosu
na svrhu evaluacije. Nepredviđene promjene u vremenskom okviru i
budžetu objasne se u izvještaju. Objasne se sve razlike između planirane
i stvarne implementacije i proizvoda evaluacije.
9.3 Preporuke i naučene lekcije
Preporuke i naučene lekcije su relevantne, usmjerene ka namjeravanim
korisnicima i djelotvorne unutar odgovornosti korisnika. Preporuke su
djelotvorni prijedlozi a naučene lekcije su generalizacija zaključaka
primjenjivih za širu upotrebu.
9.4 Upotreba evaluacije
Evaluacija zahtijeva eksplicitno priznanje i reakciju menadžmenta u vezi
namjeravanog praćenja evaluacionih rezultata. Menadžment će osigu-
rati sistemsku diseminaciju, pohranu i upravljanje izlaznim rezultatima
evaluacije da se osigura lakši pristup i da se uvećaju koristi od nalaza
evaluacije.
10. Kompletnost
10.1 Evaluaciona pitanja na koja je odgovoreno zaključcima
Evaluacioni izvještaj odgovara na sva pitanja i informacije koje treba
detaljno obraditi u djelokrugu evaluacije. Gdje to nije moguće, daju se
razlozi i objašnjenja.
10.2 Jasnost analize
Analiza je ustrojena logičkim tokom. Podaci i informacije se predsta-
vljaju, analiziraju i interpretiraju sistematično. Nalazi i zaključci su
jasno definirani i logički teku iz analize podataka i informacija. Temeljne
pretpostavke se prave eksplicitnim i uzimaju u obzir.
10.3 Razlika između zaključaka, preporuka i naučenih lekcija
Evaluacioni izvještaji moraju napraviti jasnu razliku između nalaza,
zaključaka i preporuka. Evaluacija predstavlja zaključke, preporuke i
naučene lekcije odvojeno i sa jasnom logičkom razlikom među njima.
Zaključci se obrazlažu nalazima i analizom. Preporuke i naučene lekcije
logički nastaju iz zaključaka.
10.4 Jasnost i reprezentativnost sažetka
Evaluacioni izvještaj sadrži izvršni sažetak. Sažetak pruža pregled
izvještaja, označavajući glavne zaključke, preporuke i naučene lekcije.

Dio V: Dokumenti smjernica
Kao odgovor na potrebu za specifičnijim vodstvom u određenim područjima razvo-

jne evaluacije, i izgradnju evaluacionog iskustva i normi i standarda koji su gore
opisani, razvijeni su brojni dokumenti za upravljanje politikom i praksom evalu-
acije. Neke od tih smjernica su predstavljene ispod.
Smjernice za Aktivnosti prevencije sukoba i izgradnju mira: Radni

nacrt za period primjene
(OECD, 2008)
Ovaj dokument ističe izazove i najbolju praksu koja je u toku nastanka za evalu-
aciju aktivnosti prevencije sukoba i izgradnju mira.
Uz rastuću razmjenu resursa pomoći, vremena i energije posvećenih preve-
nciji sukoba i izgradnji mira, postoji povećan interes da se sazna šta funkcionira
kao i šta ne funkcionira i zašto. Ove smjernice nastoje pomoći pri odgovoru na
ova pitanja ukazujući na smjer onima koji preduzimaju evaluaciju projekata, pro-
grama i politika prevencije sukoba i izgradnje mira. Treba omogućiti sistematsko
učenje, ojačati odgovornost i naposljetku poboljšati efektivnost rada na izgradnji
mira.
Neke od ključnih poruka smjernica koje se pojavljuju uključuju sljedeće:
• Donatori trebaju promovirati sistematske, visoko kvalitetne evaluacije svih
radova na prevenciji sukoba i izgradnji mira – uključujući rad koji vrše
partneri u implementaciji kao što su NVO;
• Evaluaciju treba omogućiti putem boljeg dizajna programa;
• Koherentna i koordinirana intervencija i strategija politike su potrebne da se
napravi napredak ka miru;
• Koncepti i definicije prevencije sukoba i izgradnje mira zahtijevaju
razjašnjenje.
Smjernice za upravljanje združenim evaluacijama

(OECD, 2006)
Ova publikacija pruža praktične smjernice menadžerima združenih evaluacija

razvojnih programa koje imaju cilj povećati efektivnost djelovanja združenih
evaluacija. Zasniva se na glavnom pregledu iskustava predstavljenih u dokumentu
„Združene evaluacije: Skorija iskustva, naučene lekcije i opcije za budućnost“
i ranijih smjernica Efektivne prakse u provođenju združenih multidonatorskih
evaluacija (2000).

Fokus u ovoj publikaciji nije na participativnoj evaluaciji sa njenim tehnikama
okupljanja zajednica dionika u proces, nego na evaluaciji koje zajedno preduzi-
maju više od jedne razvojne agencije za saradnju. Takvi saradnički principi, bilo
da su između više donatora, više partnera ili neke kombinacije ovo dvoje, sve više
su korisni u vremenu kad međunarodna javnost stavlja prioritet na zajedničku
odgovornost za razvojne ishode i združene pristupe u upravljanju pomoći.
Združene evaluacije imaju potencijal da donesu korist svim partnerima, kao
što su:
• zajednički razvoj kapaciteta i učenja među partnerima;
• izgradnja učešća i vlasništva;
• razmjena tereta posla;
• povećanje legitimnosti nalaza i
• smanjenje ukupnog broja evaluacija i ukupnih troškova transakcija za zemlje
članice.
Ipak, združeni rad također može generirati određene troškove i izazove koji
mogu predstavljati značajan teret donatorskim agencijama. Na primjer, izgra-
dnja konsenzusa između agencija i održanje procesa efektivne koordinacije može
koštati i zahtijevati puno vremena, odgađanje završetka kompleksne združene
evaluacije može imati velik utjecaj na pravovremenost i relevantnost.
Povratne evaluacione informacije za efektivno učenje i

odgovornost
(OECD, 2001)
Ova publikacija označava različite sisteme povratnih informacija, i ocrtava

identifikovana područja kao najrelevantnija za poboljšanje evaluacionih povra-
tnih informacija. Također, ocrtava glavna pitanja i izazove s kojima se evaluatori
suočavaju prilikom obrade povratnih informacija.
Glavni izazov leži u prenošenju evaluacionih rezultata višestrukoj publici
unutar i izvan razvojnih agencija. Stoga, povratne informacije i prenošenje evalu-
acionih rezultata su integralni dio evaluacionog ciklusa. Efektivne povratne info-
rmacije doprinose poboljšanju razvojnih politika, programa i prakse pružajući
kreatorima politike relevantne informacije za donošenje odluka zasnovanih na
tim informacijama. Razlika između agencija i njihove pozadine, strukture i prio-
riteta ukazuje da to nije područje gdje je pristup kopiranja prikladan. Pored toga,
postoji potreba da se prilagode pristupi povratnim informacijama različitoj

ciljanoj publici. Međutim, brojna područja za djelovanje se mogu identificirati
na raznim nivoima.
Sugerirane radnje za poboljšanje evaluacionih povratnih informacija uključuju:
• preduzimanje koraka za razumijevanje kako se dešava učenje unutar i izvan

organizacije, te identificirati gdje nastaju blokade;
• procjena kako se relevantnost i pravovremenost evaluacionih povratnih info-
rmacija mogu poboljšati, te poduzimanje koraka da se to desi;
• razvijanje strateškog pogleda načina na koji se pristupi povratnih informacija
mogu prilagoditi potrebama različite publike;
• ulaganje više napora u pronalaženje boljih načina uključenja dionika partne-
rske države u rad evaluacije, uključujući povratne informacije o evaluacionim
lekcijama;
• preduzimanje koraka za povećanje prostora i podsticaja za učenje unutar orga-
nizacije (iz evaluacije i drugih izvora).
Smjernice za evaluaciju humanitarne pomoći u kompleksnim

kriznim slučajevima
(OECD, 1999)
Ova publikacija je namijenjena onima koji su uključeni u izvođenje, dizajniranje

i upravljanje evaluacijama programa humanitarne pomoći.
Historijski, humanitarna pomoć je bila izložena manje rigoroznim procedurama
evaluacije nego što je to razvojna pomoć. Pošto se udio koji ODA dodjeljuje
humanitarnoj pomoći povećao, a svijest o kompleksnosti se podigla, potreba
za razvojem prikladnih metodologija za evaluaciju humanitarnih programa
je postala očiglednija. Ove smjernice dopunjuju DAC Principe za evaluaciju
razvojne pomoći označavajući aspekte evaluacije koji zahtijevaju posebnu pažnju
u polju humanitarne pomoći.

OECD DAC Mreža razvojne evaluacije
EVALUACIJA RAZVOJNE SARADNJE
Sažetak ključnih normi i standarda
Ključna komponenta misije DAC Mreže za razvojnu evaluaciju je razviti
međunarodno usaglašene norme i standarde za razvojnu evaluaciju. Ovim
se dobivaju informacije za evaluacionu politiku i praksu i doprinosi se harmo-
nizovanom pristupu u skladu sa opredjeljenjima Pariske deklaracije za efekti-
vnost pomoći. Tijelo normi i standarda zasnovano je na iskustvu, i evoluira
vremenom da bi se uklopilo u promjenjivo okruženje pomoći. Norme i sta-
ndardi služe kao međunarodna referentna tačka, usmjeravajući napore na
unapređenje razvojnih rezultata putem visoko kvalitetne evaluacije.
Norme i standarde sažete ovdje treba mudro primijeniti i pažljivo prilago-
diti da odgovaraju svojoj svrsi, objektu i kontekstu svake evaluacije. Pošto
ovaj sažeti dokument nije iscrpan evaluacioni priručnik, čitaocima se savje-
tuje da potraže kompletan tekst koji je dostupan na web stranici DAC Mreže
za razvojnu evaluaciju:

Matrica dizajna za program
stručnog obrazovanja u srednjoj
školi u Outer Baldoniji
555
556
Matrica dizajna za program stručne obuke u srednjoj školi u Outer Baldoniji, strana 1
Glavno evaluaciono pitanje: treba li odobriti ovaj program? Opći pristup: Kvazieksperimentalna evaluacija utjecaja
Vrsta Cilj ili standard (ako je Bazni
Pitanja Potpitanja potpitanja Mjere ili indikatori normativan) podaci?
1. Koje usluge je program 1.A.1. Za koje područje Opisna Područja stručnih vještina NA NA
pružio i kome? stručnih vještina su učesnici ponuđena polaznicima za
obučavani? certifikaciju
1.A.2 Je li bilo promjena u Opisna Isto kao prethodno NA Da
učešću po području vještina prema broju učesnika
tokom vremena? svake godine
1.B.1. Koje usluge podrške Opisna Službe podrške (npr. NA NA
je program ponudio? pismenost, savjetovanje)
koje nudi program
1.B.2. Koji omjer učesnika Opisna Broj i procenat polaznika NA NA
je dobio usluge podrške? koji dobiva svaku vrstu
podrške
1.C. Koja su područja Opisna Broj polaznika prema NA NA
certifikacije bila području certificiranja
najpopularnija među
polaznicima programa
stručne obuke?
1.D. U kom obimu je Opisna Lista stručnih područja za NA NA
program pružio certifikaciju koja je predviđen najveći
u područjima za koja je interes u sljedećih 5-10
predviđen najveći interes u godina
sljedećih 5-10 godina?
2. U kom stepenu je 2.A.1. Je li jednak broj Normativna Broj i proporcija Dokumenti kojima se NA
ostvarena jednakost muškaraca i žena muškaraca/žena na program odobrava
spolova? učestvovao u programu? stručnoj obuci ukazuju na cilj od 50 %
učešća za žene
2.A.2 Odnosi li se primanje Normativna Proporcija prema spolu Dokumenti kojima se NA
usluga podrške na spolove? onih koji primaju svaku odobrava program
ponuđenu uslugu ukazuju na cilj jednakosti

podrške spolova
Matrica dizajna, strana 1 nastavak
Instrumenti
Dizajn Izvori podataka Uzorak prikupljanja podataka Analiza podataka Komentari
1.A.1 Jedan Evidencija iz programa Za svaku od Preuzimanje zapisa Brojanje frekvencije Izvori podataka se trebaju
snimak (MIS) proteklih 5 godina Dokument 1 Analiza sadržaja podudarati, primijetiti i
Direktor programa Zvaničnici programa objasniti svaku razliku
Vođenje intervjua
1.A.2 Vremenske Isto kao prethodno Isto kao prethodno Isto kao prethodno Isto kao prethodno po Grafika bi dobro došla ovdje
serije godinama
1.B.1.Jedan Evidencija iz programa Cenzus iz proteklih Preuzimanje zapisa Lista Provjeriti duplikate kao što
snimak (MIS) 5 godina Dokument 2 su M.Smith i Mary Smith
1.B.2. Isto kao Isto kao prethodno Isto kao prethodno Isto kao prethodno Brojanje frekvencije Imati na umu da učesnici
prethodno mogu primiti više od jedne
usluge podrške
1.C. Jedan snimak Evidencija iz programa Cenzus iz proteklih Preuzimanje zapisa Brojanje frekvencije Grafika
(MIS) 5 godina Dokument 2
1.D. Vremenske Godišnji izvještaji Izvještaji za svih Preuzimanje zapisa Analiza trendova i Uočiti promjene u
serije Ministarstva rada za proteklih 5 godina Dokument 3 predviđanje za svako trendovima i reakciju
kratkoročna, područje certificiranja programa na njih
srednjoročna i ponude u proteklih 5 Uočiti postoji li potencijalni
dugoročna predviđanja godina rast u područjima u kojima
potražnje za
Matrica dizajna za program stručnog obrazovanja u srednjoj školi u Outer Baldoniji

program nije ponudio obuku
zanimanjima
2.A.1. Vremenske Evidencija iz programa Za svaku od Preuzimanje zapisa Brojanje frekvencije po Pokazati standarde debelom
serije (MIS) prethodnih 5 godina Dokument 1 spolovima, predstavljeno crnom linijom preko linijskog
u linijskom grafikonu grafikona tako da je lahko
tako da su trendovi u vidljiva
proteklih 5 godina jasni
Uporediti sa
standardnim
2.A.2. . Isto kao Isto kao prethodno Isto kao prethodno Isto kao prethodno Isto kao prethodno Uočiti je li bilo promjena
prethodno tokom vremena
557
558
Matrica dizajna, strana 2
Vrsta Cilj ili standard (ako je Bazni
Pitanja Potpitanja potpitanja Mjere ili indikatori normativan) podaci?
3. Je li program bio 3.A U kom stepenu su Normativna Stepen zapošljavanja po Da - 80 % onih koji su NA
efektivan? zadovoljeni ili prebačeni godini završili program
ciljevi godišnjeg
pronalaska zaposlenja?
3.B. U kom stepenu su Normativna Zarade za svaku godinu Da - $ 2 po satu od 1 do NA
zadovoljene prosječne 3 godine i $ 3 za 4 i 5
godišnje zarade? godinu
3.C.U kojoj mjeri su Opisno Područje certificiranja i Implicitni standard samo NA
učesnici dobili poslove područje zaposlenja tretiran kao opisno
koji odgovaraju području polaznika pitanje
za koje su certificirani?
3.D Koliki je stepen Normativna Broj onih koji ulaze u Dokumenti programa NA
napuštanja programa? program svake godine i ukazuju da stepen ne bi
broj onih koji završavaju trebao prelaziti 10%
svake godine
4. Je li program bio 4.A. Jesu li troškovi Opisno Troškovi po polazniku Implicitni standard samo NA
troškovno efkasan? programa po učesniku upoređeni sa drugim tretiran kao opisno
razumni u odnosu na sličnim programima pitanje
slične programe? obuke
5. U kom stepenu je 5.A. Koja je stopa Opisno Godišnja stopa promjene Nije postavljen. Implici- NA
promjena instruktora bila promjene instruktora? i stopa za instruktore tan standard je da bi
problem? trebao biti nizak
5.B. Koliko dugo su Opisno Prosječno vrijeme Nije postavljen. Implici- NA
pozicije instruktora bile trajanja upražnjenog tan standard je da bi
prazne? mjesta trebao biti nizak
5.C. Jesu li pronađeni Opisno Godine iskustva u Nije postavljen. NA
jednako kvalifikovani podučavanju Implicitan standard je da
instruktori kao zamjena? Godine iskustva u bi trebali biti uporedivi
području certifikacije

Instrumenti
3.A. Vremenske Evidencija polaznika za proteklu Cenzus Preuzimanje zapisa Poređenje sa standardima za Potrebno potvrditi
serije godinu (MIS) Evidencija zaposlenih po Obrazac 4 svaku godinu i kumulativno za informacije iz evidencije
poslodavaca godinama 5 godina tako što će se potvrditi
Jedan snimak Vodič za intervju Podudaranje MIS informacija zaposlenje sa
Evidencija polaznika po Nasumični uzorak poslodavca sa informacijama poslodavca uposlenikom za uzorak
godinama za svaku od 5 godina Evidencija poslodavca polaznika. Prisjećanje
(MIS) Obrazac 1 može biti problem za
protekle dvije godine
3.B. Vremenske Evidencija polaznika po Cenzus Preuzimanje zapisa Poređenje sa standardima za Potrebno potvrditi
serije godinama za svaku od 5 godina zaposlenih po Obrazac 4 svaku godinu i kumulativno za informacije iz evidencije
godinama 5 godina tako što će se potvrditi
Jedan snimak Evidencija polaznika za protekle Vodič za intervju Podudaranje MIS informacija zaposlenje sa
dvije godine (MIS) Evidencija Nasumični uzorak poslodavca sa informacijama poslodavca uposlenikom za uzorak
poslodavca Evidencija poslodavca polaznika.
Obrazac 1 Prisjećanje može biti
problem za protekle dvije
godine
3.C. Jedan Evidencija polaznika za protekle Cenzus uposlenih Preuzimanje zapisa Brojanje frekvencije
snimak 2 godine koja prikazuje područje Obrazac 4 podudaranja po godinama i
certificiranja kumulativno
Poslodavci koji su uposlili Vodič za intervju
polaznike tokom protekle 2 poslodavca
godine Evidencija poslodavca
Obrazac 1
3.D. Vremenske Evidencija polaznika po Cenzus Preuzimanje zapisa Poređenje sa standardom za

serije godinama za svaku od 5 godina Obrazac 4 svaku godinu i kumulativno
(MIS
4. Jedan snimak Službenik programa za finansije Cenzus – za sve Intervjui Troškovi po polazniku Nadati se da će biti
Stopa zapošljavanja (vidjeti 3A) izvještaje u 5 Troškovi po uposlenom moguće porediti troškove
Finansijski izvještaj programa godina polazniku po uposlenom polazniku
Postojeće evaluacije sličnih Pregled literature sa drugim sličnim
programa obuke Analiza sadržaja programima obuke
5.A. Vremenske Evidencija upošljavanja Svih 5 godina Preuzimanje zapisa Izračun frekvencija po
serije programa Obrazac 5 godinama, raspona i prosjeka
5.B. Vremenske Finansijska evidencija programa Svih 5 godina Preuzimanje zapisa Izračun frekvencija, raspona i
serije obrazac 5 prosjeka
Evidencija upošljavanja Svih 5 godina Preuzimanje zapisa Poređenje biografija osoblja
559
5.C. Vremenske
serije programa – biografije Obrazac 5 tokom 5 godina
Matrica dizajna, strana 3
560
Vrsta Cilj ili standard (ako Bazni
Pitanja Potpitanja potpitanja Mjere ili indikatori je normativan) podaci?
6. Koji je stepen 6.A. Koji je broj i procenat Opisno Broj i proporcija muškaraca/žena Temeljni dokumenti NA
napuštanja muškaraca i žena napustio Proporcija po koji su započeli program i stopa pokazuju da je 10%
polaznika? program svake godine? spolu napuštanja po godinama prihvatljivo, što
implicira da bi stopa
trebala biti ista za oba
spola
6.B. Iz kojih područja Opisno Kao i iznad po području NA NA
certifikacije je bilo certifikacije
napuštanje?
6.C. Koji su bili uobičajeni Opisno Najčešći razlozi za napuštanje NA NA
razlozi napuštanja
programa?
6.D. Koliko su bili zabrinuti Opisno Svijest o stopi napuštanja Ništa određeno NA
zvaničnici programa zbog Mišljenja jesu li preduzete radnje
stope napuštanja? u vezi sa problemima
7. U kojoj mjeri 7.A. Kakvo je zadržavanje Uzročno- Zadržavanje posla, početna Ništa određeno Da, o
polaznici koji su posla, povećanje zarade, -posljedično zarada, povećanje zarade, te zaradama
dobili posao napredovanje i koja je stopa stopa napredovanja i otpuštanja uposlenih
zarađuju više nego otpuštanja uposlenih tokom dvije godine u poređenju
bi zarađivali da nisu učesnika u poređenju sa sa (i) drugima koje je firma
pohađali program? drugim koji imaju slične angažovala tokom perioda
karakteristike, a napustili su poređenja, (ii) zaradom prije
program obuke programa, (iii) zaradom onih koji
su napustili program
7.B. Kakvi su stavovi Uzročno- (i)Vjerovatnoća upošljavanja Ništa određeno Početne
poslodavaca o učinku -posljedično polaznika obuke (ii) upošljavanje zarade
uposlenika iz programa u više onih koji su završili obuku, uposlenih
poređenju sa onima sa (iii) stavovi o učinku na poslu u polaznika,
sličnim karakteristikama koji poređenju sa drugima zarada prije
nisu prošli kroz program obuke ako
obuke je bilo

Instrumenti
6.A Vremenske serije Evidencija polaznika po Cenzus po godini Preuzimanje zapisa Distribucija frekvencije
godinama za svaku od Obrazac 4 napuštanja po godini,
5 godina procenat napuštanja po
godini, spolu i ukupno
6.B Vremenske serije Evidencija polaznika po Cenzus po godini Preuzimanje zapisa Unakrsno tabeliranje Može li se uraditi test
godinama za svaku od Obrazac 4 područja certificiranja po značaja – Hi kvadrat?
5 godina frekvenciji napuštanja
programa godišnje i
kumulativno
6.C.Jedan snimak Evidencija polaznika za Cenzus napuštanja Anketiranje bivših Distribucija frekvencije Triangulacija
protekle dvije godine program za period od učesnika razloga napuštanja za
dvije godine napuštanje programa (i) iz
Viši zvaničnici perspektive učesnika i (ii) i
Zvaničnici programa Intervju zvaničnika sa stajališta zvaničnika
obuke programa programa
6.D. Jedan snimak Evidencija polaznika za Cenzus napuštanja Intervju zvaničnika Analiza sadržaja i brojanje
protekle dvije godine program za period od programa frekvencije
Zvaničnici programa dvije godine
obuke
7.A Poslodavci i njihova Cenzus za period prije Vodič za intervju Analiza sadržaja/frekve- Uporedne grupe nisu
Kvazieksperimentalni evidencija dvije godine poslodavca ncija napravljene na početku
dizajn – Evidencija poslodavaca programa. Potrebno je

neekvivalentne grupe Obrazac 1 koristiti slične
Napuštanja programa
Anketiranje bivših
učesnika
7.B. Jedan snimak Poslodavci i njihova Cenzus za period prije Vodič za intervju Analiza sadržaja/ Uočiti uzroke i
evidencija dvije godine poslodavca frekvencija posljedice ograničenja
Anketa Evidencija Obrazac 1 dizajna, pouzdan,
nema pristupa
Izvor: Autori.
561
BiH izdanje

Dizajniranje i provođenje efektivnih razvojnih evaluacija
PUT DO REZULTATA
"Programi koji imaju cilj poboljšanja dobrostanja ljudi u vremenima previranja i tranzicije svijeta u razvoju
suočavaju se sa nepredvidivim izazovima. Zbog toga je knjiga Ray Rista i Linde Morre tako važna i
pravovremena. Njegovana osobitim znanjem i iskustvom, u praktičnom formatu bilježi suštinu dobre
evaluacione prakse u polju razvoja. Kada pogledamo njen autoritativan i savremen tretman evaluacionih
problema iz stvarnog života nastalih u kompleksnom i nestalnom okruženju djelovanja za razvoj, možemo
reći da joj je mjesto na policama zajedno sa knjigama svih evaluacionih i razvojnih profesionalaca.“
Robert Picciotto, bivši generalni direktor, Grupe Svjetske banke za evaluaciju, gostujući profesor, na
King's koledžu, London
"Ova knjiga je primjer svega što tražim u evaluacionom tekstu: Dobro testiran materijal, pažljivo evaluiran,
dokazan u praksi. Kredibilan zato što su ga radili ljudi koji znaju o čemu pričaju kroz iskustvo i stručnost.
Sadržaj koji podučava i ilustrira profesionalne standarde, a tako je koristan, praktičan, etičan i tačan. Čini
evaluaciju razumljivom, dostupnom i ostvarivom. Prenosi važnost i vrijednost monitoringa i evaluacije.
Dobra mješavina teorije i prakse, metodološki čvrsta, ilustrira relevantnim i razumljivim primjerima.
Materija koja je iz stvarnog svijeta i realistična, zasnovana na političkoj, ekonomskoj, kulturnoj i upravnoj
stvarnosti razvoja. Pripovijest koja podučava i inspirira. To su stvari koje tražim u knjizi a ova knjiga to
pruža po svakom kriteriju.“
Michael Q. Patton, bivši predsjednik Američke evaluacione asocijacije, autor Evaluacije fokusirane na
upotrebu, i Evaluacionih metoda kvalitativnog istraživanja, nezavisni konsultant za evaluaciju i orga-
nizacioni razvoj
PUT DO
"Razvojna evalaucija ubrzano raste u zemljama u razvoju. Struktura knjige i njen pristup čine je vrijednom
takvim korisnicima kao što su specijalisti u oblasti evaluacije i praktičari, kreatori politike, parlamentarci,
zvaničnici javnog sektora, kao i studentima razvojne evaluacije. Ova knjiga će dati značajan doprinos
razvojnoj evaluaciji svijetu u razvoju.“
Kabir Hashim, član parlamenta Šri Lanke, bivši ministar za visoko obrazovanje i obuku, konsultant za
REZULTATA
razvojnu evaluaciju
"Potreba za ovom knjigom nikada nije bila veća, pošto evaluacija razvojne saradnje postaje sve važnija.
Čitaoci, kojima su predstavljene opsežne, ali koncizne teme i aktuelna pitanja, dobit će uvid u ovo sve više
kompleksno područje. Suštinsko štivo za nove i iskusne razvojne evaluatore, jasno napisano i lahko
razumljivo, sa asortimanom primjera iz stvarnog svijeta i vrijednih dragulja praktične mudrosti. Zasigurno
će postati najneophodniji i veoma čitan tekst za svakoga ko želi naučiti o savremenoj razvojnoj evaluaciji.“
Penny Hawkins, šef evaluacije Agencije za međunarodni razvoj Novi Zeland, potpredsjednik DAC Mreže Dizajniranje i provođenje
razvojne evaluacije
efektivnih razvojnih
evaluacija
Morra Imas
Rist Linda G. Morra Imas
NOT FOR SALE Ray C. Rist
NIJE ZA PRODAJU

PUT Rezultata: Dizajniranje I Provođenje Efektivnih Razvojnih Evaluacija

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

PUT Rezultata: Dizajniranje I Provođenje Efektivnih Razvojnih Evaluacija

Uploaded by

Copyright:

Available Formats

BiH izdanje

Nalazi, interpretacije i zaključci predstavljeni u ovom radu ne predstavljaju nužno i gledišta

Put do rezultata: dizajniranje i provođenje razvojne evaluacije Copyright © 2012

CIP - Katalogizacija u publikaciji

Mome suprugu Silviu, koji me podržava i ohrabruje u mojim profesionalnim

Za Molly, Ethan, Madeleine, Lukasa, Ninu i Annu:

Poglavlje 1. Predstavljanje razvojne evaluacije 7

Poglavlje 2. Razumijevanje pitanja koja pokreću

Poglavlje 3. Izgradnja sistema monitoringa i evaluacije

Poglavlje 4. Razumijevanje konteksta evaluacije

Poglavlje 5. Razmatranje evaluacijskog pristupa 181

DIZAJNIRANJE I PROVOĐENJE 219

Poglavlje 6. Razvoj evaluacionih pitanja 221

vi Put do rezultata: dizajniranje i provođenje efektivne razvojne evaluacije

Poglavlje 7. Odabir dizajna za uzročno-posljedična,

Poglavlje 8. Odabir i izrada instrumenata za prikupljanje

Poglavlje 9. Odabir strategije uzorkovanja 355

Poglavlje 10. Planiranje i provođenje analize podataka 373

SUOČAVANJE SA IZAZOVIMA 413

Poglavlje 11. Evaluacija kompleksnih intervencija 415

Poglavlje 12. Upravljanje evaluacijom 441

Poglavlje 13. Prezentiranje rezultata 467

Poglavlje 14. Usmjeravanje evaluatora:

viii Put do rezultata: dizajniranje i provođenje efektivne razvojne evaluacije

Poglavlje 15. Pogled u budućnost 515

x Put do rezultata: dizajniranje i provođenje efektivne razvojne evaluacije

xii Put do rezultata: dizajniranje i provođenje efektivne razvojne evaluacije

xiv Put do rezultata: dizajniranje i provođenje efektivne razvojne evaluacije

Razvojna evaluacija je uzbudljiva komponenta većeg evaluacionog mozaika.

xvi Put do rezultata: dizajniranje i provođenje efektivne razvojne evaluacije

Linda G. Morra Imas je savjetnik u Nezavisnoj evaluacionoj grupi Grupe Svjetske

ADBA Asian Development Bank (Azijska razvojna banka)

BE Business Environment (poslovno okruženje)

DAC Development Assistance Committee (Komitet za pomoć razvoju)

GAD gender and development (spol i razvoj)

HIPC Heavily Indebted Poor Countries (Prezadužene siromašne države)

IBSTPI International Board of Standards for Training, Performance, and Instruction

xx Put do rezultata: dizajniranje i provođenje efektivne razvojne evaluacije

LGAB look good – avoid blame (izgledaj dobro – izbjegavaj probleme)

MiE monitoring and evaluation (monitoring i evaluacija)

NAD National Audit Department (Državni ured za reviziju)

ODA official development assistance (zvanična razvojna pomoć)

RFP request for proposals (zahtjev za ponude)

UNDP United Nations Development Programme (Razvojni program Ujedinjenih naroda)

WHO World Health Organization (Svjetska zdravstvena organizacija)

ZUS Social Insurance Fund (Poland) (Fond socijalnog osiguranja) (Poljska)

xxii Put do rezultata: dizajniranje i provođenje efektivne razvojne evaluacije

Analitički, konceptualni i politički okvir razvoja se dramatično mijenja. Novi

Kako razvojni program raste u obimu i kompleksnosti, razvojna evaluacija

Izgradnja evaluacionih kapaciteta – uspostava evaluacionih jedinica koje su

2 Put do rezultata: dizajniranje i provođenje efektivne razvojne evaluacije

Poglavlje 1: Predstavljanje razvojne evaluacije

Poglavlje 2: Razumijevanje pitanja koja pokreću razvojnu

U ovom poglavlju predstavljamo definiciju i opće koncepte koji su iza

Ovo poglavlje ima pet glavnih dijelova:

Da bi počeli razumijevanje razvojne evaluacije, važno je razumjeti šta se misli

Evaluacija je definirana na više načina. Oxford engleski rječnik evaluaciju

Većina definicija evaluacije uključuje koncept prosuđivanja vrijednosti subje-

8 Put do rezultata: dizajniranje i provođenje efektivne razvojne evaluacije

Formativna evaluacija ispituje načine na koje se implementira program,

Predstavljanje razvojne evaluacije 9

10 Put do rezultata: dizajniranje i provođenje efektivne razvojne evaluacije

Evaluacija se može koristiti u različite svrhe. Unutar discipline, postoje različita

Predstavljanje razvojne evaluacije 9

Predstavljanje razvojne evaluacije 11

Predstavljanje razvojne evaluacije 13

Predstavljanje razvojne evaluacije 15

Predstavljanje razvojne evaluacije 17

Predstavljanje razvojne evaluacije 19

Predstavljanje razvojne evaluacije 21

Predstavljanje razvojne evaluacije 23

Predstavljanje razvojne evaluacije 25

Predstavljanje razvojne evaluacije 27

Predstavljanje razvojne evaluacije 29

Predstavljanje razvojne evaluacije 31

Predstavljanje razvojne evaluacije 33

Predstavljanje razvojne evaluacije 35