Rad je predstavljen na međunarodnoj naučnoj konferenciji u Mostaru pod naslovom:

Suzić, N. (2008). Primjena meta-analize u pedagogiji. Mostar: Fakultet prirodoslovno-matematičkih i odgojnih znanosti
Sveučilišta u Mostaru.

Prof. dr Nenad Suzić

Filozofski fakultet
Banja Luka

PRIMJENA META-ANALIZE U PEDAGOGIJI

Rezime

U radu se razmatra niz pitanja značajnih za praktičnu primjenu meta-analize u peda-

gogijskim znanostima. Na početku je data kratka historija korištenja meta-analize, zatim
slijedi prikaz situacija u kojima je meta-analiza najpogodnija kao metodološki set postupaka
za analizu pedagogijske prakse zahvaćene istraživanjima koja se uzimaju u meta-analitičku
obradu. Kratko su date prednosti i nedostaci meta-analize a potom autor prelazi na identifi-
ciranje istraživanja i podataka podesnih za meta-alaitičku obradu u pedagogiji. U daljem
tekstu date su relacije među varijablama u meta-analitičkom dizajnu, od centralnih tendencija
u jednoj varijabli, preko relacija među dvjema varijablama, te udruživanjae varijabli do
multivarijantnih relacija. Autor se posebno bavi veličinom efekta (Effect Size, ES) aplicirajući
ovaj parametar na razlike i podudarnosti među analiziranim studijama ili veličinama. Obra-
zloženo je kako interpretirati ES parametre u odnosu na metričke koeficijente upotrijebljene u
obradi studija i nalaza, kako postići metodološku adekvatnost i koristiti pravila u interpretaciji
nalaza kako bi se izbjegle greške generalizacije. Sve u svemu, rad predstavlja kratak ali vrlo
konkretan uvod u praktičnu primjenu meta-analize u pedagogijskim znanostima.

Ključne riječi: meta-analiza, Veličina efekta (ES), Hedžisov g, metodologija

APPLICATION OF META-ANALYSIS IN PEDAGOGY

Summary

This paper considers a number of issues which are important for practical application of
meta-analysis in pedagogical sciences. At the beginning there is a short history of application
of meta-analysis, then the presentation of situations in which meta/analysis is the most
appropriate as a methodological set of procedures for the analysis of pedagogical practice
included in research and which are taken in meta-analysis processing. The advantages and
disadvantages of meta-analysis are presented briefly, and then the author proceeds to the
identification of research and data which are suitable for meta-analytical processing in
pedagogy. Further on, the relations between variables in meta-analytical design are given,
form central tendencies in one variable, through relations between two variables, and pairing
variables up to multivariate relations. The author especially addresses the Effect Size (ES) by
applying this parameter to differences and matches between the analyzed studies and sizes. It
has been explained how to interpret ES parameters in relation to metric coefficient used in
processing studies and findings; how to achieve methodological adequacy and to use rules fro
the interpretation of findings; and how to avoid mistakes of generalizations. Altogether, the
paper presents a short, but very concrete introduction to practical application of meta-analysis
in pedagogical sciences.

Key words: meta-analysis, Effect Size (ES), Hedges g, methodology

Rad je predstavljen na međunarodnoj naučnoj konferenciji u Mostaru pod naslovom:
Suzić, N. (2008). Primjena meta-analize u pedagogiji. Mostar: Fakultet prirodoslovno-matematičkih i odgojnih znanosti
Sveučilišta u Mostaru.

Prof. dr Nenad Suzić

Filozofski fakultet
Banja Luka

PRIMJENA META-ANALIZE UPEDAGOGIJI

Kratka povijest meta-analize

Polovinom dvadesetog stoljeća Hans Eysenck je razvio burnu debatu argumentirajući da

psihoterapija ne daje znatnije efekte u liječenju pacijenata (Eysenck, 1952). U dva naredna
desetljeća pojavilo se više stotina studija u kojima se dokazuje afirmativna, negativna i nul-
hipoteza o efektima psihoterapije. Godine 1977. Gene Glass statistički standardizira 375
psihoterapijskih studija zajedno sa Mary Lee Smith i dokazuje da je psihoterapijazaista efi-
kasna (Smith and Glass, 1977). Ovaj postupak Glass je nazvao „meta-analizom“. Uslijedile su
kritike bazirane na činjenici da je Glass poredio nalaze različitih terapija, kognitivističke,
psihoanalitičke, geštalt i druge pristupe. Glassov odgovor je bio vrlo logičan; objasnio je da je
cilj njegove meta-analize bio da utvrdi da li su terapijske tehnike efikasne ili ne, a ne da
poredi terapijske pristupe međusobno (Smith and Glass, 1980). Nedugo nakon toga pojavljuju
se prvi udžbenici meta-analize.
Eysenckova prva reakcija na pojavu meta-analize bila je vrlo oštra. Ovaj pristup on naziva
„gimnastikom mega- gluposti“ (Eysenck, 1978). Uprkos protivljenju Eysencka i mnogih teore-
tičara, meta-analiza je danas široko prihvaćena. Krajem dvadesetog i početkom dvadesetprvog
stoljeća mogli smo prepoznati određenu razinu fetišiziranja ili euforije oko meta-analize.
Pregledom svjetski poznatih časopisa koji se distribuiraju na svih pet kontinenata lako ćemo
konstatirati da većina istraživanja bazira svoju metodologiju na meta-analitičkim statisticima.
Sličnu euforiju imali smo sedamdesetih i osamdesetih godina dvadesetog stoljeća oko
faktorske analize. Danas je jasno da ta euforija nije bila opravdana iako faktorskoj analizi
možemo zahvaliti Eysenckovu dimenzionalnu tipologiju ličnosti (Eysenck, 1972) i Cattellovu
faktorsko-analitičku teoriju ličnosti (Cattell and Gibbon, 1968; šire kod: Fulgosi, 1981). U
pedagogiji ne možemo izdvojiti neke kapitalne doprinose koje bismo zahvalili faktorskoj
analizi, ali možemo pronaći ogroman broj istraživanja koja ne bi bila tako kvalitetna bez ove
statistike. Poseban njen značaj danas imamo u izradi i baždarenju kvalitetnih instrumenata za
pedagoška mjerenja.
Nastala u psihijatriji i psihologiji, meta-analiza danas polako ali sigurno zauzima svoje
mjesto i u drugim socijalnim i društvenim znanostima. Slično faktorskoj analizi, meta-analiza
nije opravdala euforiju sa početka XXI stoljeća, ali je već danas izvjesno da meta-analitički
izvedeni statistici imaju izuzetno značajnu ulogu u socijalnim i pedagoškim znanostima. Kako
definirati ovu sintagmu? Termin meta-analiza odnosi se na poređenje kvantitativnih poka-
zatelja dobijenih različitim istraživanjima obavljenim na istu temu tako što meta-analitičar
postavlja jasne kriterijume za odabir uzorka istraživanja, izvodi sparive elemente za izračuna-
vanje veličine efekta i druge statistike potrebne za generalizacije na zadatu temu. Radi se o
survey pristupu u čijem uzorku su istraživanja, a ne osobe. Naime, broj subjekata obuhva-
ćenih u pojedinačnim istraživanjima znatno utiče na veličinu efekta (Effect Size, ES) koji se
izvodi kao obračunski statistik u meta-analizi, ali se ova analiza ne izvodi iz pojedinačnih
rezultata koje ostvaruju subjekti, osobe ili pojedinci u pojedeinim istraživanjima.

1
Rad je predstavljen na međunarodnoj naučnoj konferenciji u Mostaru pod naslovom:
Suzić, N. (2008). Primjena meta-analize u pedagogiji. Mostar: Fakultet prirodoslovno-matematičkih i odgojnih znanosti
Sveučilišta u Mostaru.

Pedagoške situacije u kojima je meta-analizu

moguće aplicirati

U meta-analizi istraživač pregleda više istraživanja obavljenih na istu temu a zatim traži
sparive elemente u tim istraživanjima. Te elemente pažljivo kodira u skladu sa zajedničkim
karakteristikama ili obilježjima. Kodirane elemente koji zadovolje postavljene kriterijume
istraživač dalje podvrgava statističkoj obradi primjenjujući adekvatan meta-analitički pos-
tupak.
Da bi meta-analiza bila aplicirana u pedagogiji nužno je imati u vidu nekoliko preduvjeta:
1) Meta-analiza se primjenjuje samo na empirijske istraživačke studije. Ona se ne moža
primijeniti na teoretske radove, na teoretske projekcije i opservacije.
2) Ova analiza se može aplicirati samo na kvantitativne nalaze. Ne može se primijeniti na
studije slučaja, etnografska i druga kvaloitativna istraživanja.
3) Ovo je tehnika za kodiranje i ukrštanje, odnosno za analizu statističkih nalaza više
međusobno usporedivih istraživanja iz kojih možemo izvesti novu generalizaciju, novi
zaključak. Ona se ne koristi u slučaju da podaci neposrednih istraživanja sami za sebe
dovoljno govore.
Da bi rezultati različitih pedagoških istraživanja bili podvrgnuti meta-analitičkim statistič-
kim postupcima, nužno je ispuniti još dva statistička preduvjeta: 1) podaci pojedinih istraživa-
nja međusobno moraju biti usporedivi, tj. fundirani na istim konstruktima i odnosima i 2) po-
daci moraju biti konfigurirani u podudarnoj statističkoj formi. Na primjer, niz istraživanja o
efikasnosti nastavnih metoda i postupaka možemo porediti samo ako imamo sparive podatke
međusobno statistički kompatibilne. Konkretno, ako je, na primjer, mjerena aktivnost učenika
na časovima tradicionalne nastave u odnosu na časove na kojima je dominiralo interaktivno
učenje, meta-analiza će biti opravdana ako su primijenjeni instrumenti mjerili intenzitet aktiv-
nosti učenika i nastavnika i ako su mjere date kvantitativno. Ako imamo dovoljno uporedivih
studija ili istraživanja, moći ćemo zaključiti da su učenici na časovima interaktivnog učenja
bili aktivniji bez obzira na to koji nastavnik je izvodio te časove – naravno, ukoliko meta-
analiza to pokaže. U našim uvjetima najteže će biti prikupiti dovoljan broj sparivih istra-
živanja.
Kao svaka druga metoda, meta-analiza može privući mladog istraživača i navesti ga na
pogrešku neadekvatnog poređenja. Na primjer, motivaciju postignuća (McClelland, 1955;
Heckhausen, 1963; Skowronek, 1970; Tiedemann, 1977) ne možemo zajedno sa motivacijom
flou-doživljaja (Csikszentmihalyi, 1990; 1997) uzeti u meta-analitičku obradu ako nas zanima
samo postignuće kao izvor motivacije učenika iako se u oba slučaja radi o motivaciji i moti-
vima učenika. Ako bismo tragali za odgovorom na pitanje da li motivacija u nastavi postoji i u
kom intenzitetu, bez obzira na vrstu i izvor motiva, tada bi meta-analiza bila opravdana pri
sparivanju istraživanja baziranih na različitim izvorima motivacije. „Generalno nije podesno
kombinirati nalaze studija izvedene iz različitih istraživačkih dizajna i obrađene različitim
statističkim modelima, čak u slučaju da se radi o istoj temi“ (Lipsley and Wilson, 2001, str.
2). U nedostatku sparivih istraživanja bolje je ostati na izvornim nalazima pojedinačnih istra-
živanja nego pošto-poto „kalemiti“ meta-analitički istraživački dizajn.
Ponekad će se desiti, kao u prethodnom primjeru sa motivacijom, da imamo više nespari-
vih istraživanja na istu temu. U tom slučaju uputnije je raditi dvije meta-analize, a zatim
porediti njihove nalaze na višoj razini općenitosti. Generalno gledano, u pedagoškoj primjeni
meta-analize od esencijalnog značaja je to da istraživač ima vrlo jasno definiran problem

2
Rad je predstavljen na međunarodnoj naučnoj konferenciji u Mostaru pod naslovom:
Suzić, N. (2008). Primjena meta-analize u pedagogiji. Mostar: Fakultet prirodoslovno-matematičkih i odgojnih znanosti
Sveučilišta u Mostaru.

istraživanja a zatim racionalu na osnovu koje uključuje i isključuje istraživačke studije koje
podvrgava meta-analizi.

Veličina efekta u pedagoškim problemima

Veličina efekta (Effect Size, ES) je statistik koji zahvata kritične kvantitativne informacije
obrađene tako da predstavljaju mjeru po kojoj možemo porediti nalaze različitih istraživanja.
Ako na jednoj hrpi imamo narandže, na primjer, a na drugoj mandarine i želimo saznati koli-
ko soka možemo dobiti iz narandži i mandarina, to nećemo suditi na osnovu veličine ploda. U
više mjerenja možemo ustanoviti koliko soka daje kilogram narandži, a koliko daje kilogram
mandarina. Sada možemo izvesti dva indeksa vezana za narandže i mandarine, međusobno
spariva. Jednostavnije rečeno, tri narandže mogu dati jednaku količinu soka kao šest manda-
rina. Radi se o veličini efekta. U našem slučaju to bi bila količina soka po kilogramu voća. Po-
stoje brojni pedagoški primjeri u kojima potrebujemo upravo ovakve veličine. Na primjer, ako
smo različitim instrumentima mjerili intenzitet aktivnosti učenika na časovima nastave,
sparivanjem možemo porediti veličinu efekta na časovima interaktivne u odnosu na časove
tradicionalne nastave. U tom slučaju će meta-analiza biti potpuno opravdana uz pretpostavku
da smo izveli adekvatne ES pretpostavke. Kako dobiti ovu ES veličinu?
Veličinu efekta (ES) izvodimo na više načina. Osnovno načelo prikazaće sljedeći primjer.
Ako je jedno istraživanje pokazalo da postoji razlika između eksperimentalne i kontrolne
grupe od 0,30 standardnih devijacija u korist aktivnosti učenika E-grupe, a drugo istraživanje,
uz primjenu drugačijih mjernih instrumenata, pokazalo 0,42 standardne devijacije u korist E-
grupe, jasno je da možemo naći zajedničku mjeru učinka i veličinu efekta (ES). Za ova
izračunavanja postoje razrađeni statistički obrasci (Hedges and Olkin, 1985; Rosenthal, 1987;
Smith and Glass, 1977). Ovi obrasci su izvedeni prema statističkim veličinama na kojima se
baziraju: na proporcijama, odnosno broju jedinica u uzorku, na kvadratnom testu uzorka ili c 2
testu, na razlikama aritmetičkih sredina ili t-vrijednostima, na korelacijama (konkretnije:
Suzić, 2007). Veličina efekta zavisi od veličine uzorka i statističke veličine konkretnog para-
metra (npr. korelacije) izračunate u istraživanju. Može se desiti da manja razlika aritmetičkih
sredina izračunata na velikom uzorku ima veću veličinu efekta od veće razlike aritmetičkih
sredina izračunate na malom uzorku. Radi se o veličinama koje dovodimo u vezu tako da
saznajemo ognose među pojavama, smjer njihovod djelovanja i rasprostiranja, zakonomjer-
nost u pedagoškim učincima i slično.
Istraživač meta-analitičar koristi veličinu efekta tako da obezbijedi odgovarajuću standar-
dizaciju za svaki pojedini istraživački dizajn, od kvantitativnih nalaza izraženih u frekven-
cijama do nalaza dobijenih ukrštanjem varijabli. Niz studija koje uzima u uzorak meta-
analitičar klasira odvajajući one koje može vezati u buket vlastitog uzorka. Postoji veći broj
statistika baziranih na veličini efekta, ali samo nekoliko njih je u široj upotrebi.

Prednosti i slabosti meta-analize

Da bismo adekvatno koristili meta-analizu u pedagogiji, nužno je razmotriti njene dobre i

loše strane. Ovo je važno i zbog toga što smo nedavno imali period euforije oko meta-analize.
Razmotrimo neke njene prednosti.
Prvo, radi se o survey pristupu koji ne mijenja pedagošku praksu, ne varira ništa u
pedagoškoj stvarnosti tako da ne postoji rizik greške kao što je to slučaj kod pedagoškog

3
Rad je predstavljen na međunarodnoj naučnoj konferenciji u Mostaru pod naslovom:
Suzić, N. (2008). Primjena meta-analize u pedagogiji. Mostar: Fakultet prirodoslovno-matematičkih i odgojnih znanosti
Sveučilišta u Mostaru.

eksperimenta. Istraživanja su već obavljena a meta-analitičar izvodi relevantne zaključke na

osnovu sparivih i statistički obradivih komponenata.
Drugo, meta-analiza omogućuje da sagledamo prednosti i slabosti pojedinih istraživanja
koje smo uzeli u obradu. "Poredeći rezultate različitih istraživanja eksplicitno i sistematično,
korisnik može procijeniti hipoteze, procedure, dokaze i zaključke različitih autora, umjesto da
se bori oko toga da li je zaključak pojedinog istraživanja validan" (Lipesy and Wilson, 2001,
str. 6). Kada uspostavimo jasne kriterijume valorizacije pojedinih istraživanja, nakon poređe-
nja imaćemo jasnu sliku o tome koja istraživanja imaju date kvalitete a koja nemaju.
Treće, u meta-analitičkom dizajnu imamo sofisticiranu metodologiju koja omogućuje da
najvažnije istraživačke spoznaje tokom određenog vremenskog perioda tako da meta-analiza
kompenzira longitudinalna istraživanja koja su često vrlo složena i skupa.
Četvrto, meta-analiza omogućuje da izračunamo odnose koje ne možemo dobiti drugim
statističkim i metodološkim postupcima. Sistematskim teorijskim proučavanjem većeg broja
istraživanja i kvalitativnom analizom ne možemo dobiti to što nam omogućuju meta-anali-
tička izračunavanja iako kvalitativna analiza slijedi nakon meta-analitičke statistike.
Peto, veličina efekta koju izvodimo za pojedine studije dobija na značaju s obzirom na
uzorak i ostvareni učinak tako da možemo uočiti značaj doprinosa pojedinih studija koji ne
bismo mogli uočiti na drugi način. Na primjer, možemo iz 500 studija izdvojiti 100 koje se
slažu, a zatim među njima uočiti one koje imaju poseban značaj i ostvaruju poseban doprinos
razjašnjavanju teme odnosno doprinose da odgovorimo na istraživačko pitanje. Isto tako,
meta-analizu možemo primijeniti na manjem broju studija te dobiti nalaze vrijedne kao pri
obradi većeg broja studija.
Pored navedeni prednosti, meta-analiza ima i određeni broj slabosti koje je nužno
razmotriti kako bismo dobili cjelovitu sliku o ovom pristupu.
Prva i najistaknutija slabost meta-analize je u tome što kvalitet istraživanja ovisi od meta-
analitičara, od istraživača. Radi se o složenoj i osjetljivoj statističkoj i metodološkoj aparaturi
koja podrazumijeva da istraživač odlično poznaje pedagošku metodologiju i meta-analitičke
obrasce. "Mnogi aspekti meta-analize zahtijevaju specijalističko znanje, posebno pri selekciji
i izračunavanju odgovarajuće veličine efekta i pri primjeni statističke analize na tu veličinu"
(ibidem, str. 7). Kada jedan meta-analitičar izvede svoja izračunavanja i zaključke na osnovu
njih, drugi meta-analitičari teško mogu otkriti grešku ukoliko ona postoji.
Druga slabost meta-analize je u njenom mehaničkom karakteru. Naime, i pored dobrog
odabira studija, i pored jasnog kodiranja elemenata veličine efekta, neke aplikacije meta-ana-
lize mogu zanemariti socijalni kontekst, metodološki nivo, teorijski okvir i druge značajne
specifičnosti pojedinačnih istraživanja uzetih u razmatranje. Na primjer, pojedina pedagoška
istraživanja su tako dizajnirana da navode na razmišljanje, više na postavljanje pitanja nego
na finalnu dedukciju. U takvom slučaju meta-analiza može ugroziti ovu otvorenost mije-
šanjem sa drugim deduktivnim studijama.
Treća slabost meta-analize je u mogućnosti da pomiješamo kruške i jabuke. Ovdje se radi
o pojavi koju poznajemo i kod testova inteligencije. Poznato je da 100 IQ jedinica jednog
čovjeka nije isto što i 100 IQ jedinica drugog. Kod jednog će ovaj indeks sadržavati više
logičko numeričkog faktora, a kod drugog verbalno lingvističkog. Tako dvije stotice nisu
međusobno jednake iako statistički imaju istu vrijednost. Slično je i kod meta-analize. Na
primjer, dvije studije koje se bave problemom izostanaka učenika sa nastave mogu tretirati
različite osnove ovakvog ponašanja učenika. U jednom istraživanju instrument je, recimo,
mjerio vrednovanje školskog učenja i nastavnog predmeta, a u drugom stavove učenika o

4
Rad je predstavljen na međunarodnoj naučnoj konferenciji u Mostaru pod naslovom:
Suzić, N. (2008). Primjena meta-analize u pedagogiji. Mostar: Fakultet prirodoslovno-matematičkih i odgojnih znanosti
Sveučilišta u Mostaru.

nastavniku. Meta-analizom možemo izvesti veličinu efekta koja se odnosi na izbjegavanje

nastave, ali u osnovi ove veličine biti će dva uzroka ponašanja učenika. Ipak, ovaj nedostatak
se može kompenzirati istraživačevim oprezom i suptilnom interpretacijom nalaza dobijenih
meta-analizom.
Četvrta slabost meta-analize je u tome što izvođenje zajedničkih numeričkih pokazatelja
može zasjeniti ili prigušiti niz korisnih spoznaja koje su nastale u pojedinačnim istraživanji-
ma. Ako se ispostavi da je jedna od studija u meta-analitičkom uzorku najbliža modelu koji je
istraživač odabrao iz udžbenika, velika šansa je da rezultati upravo te studije postanu najzna-
čajniji u meta-analitičkom izračunavanju. "Mnoge sfere istraživanja, specijalno one koje se
odnose na odabranu temu, omogućuju virtualnu, ali ne i idealnu analizu najbližu standardu
postavljenom u udžbeniku, tj. analizu koja nije reprezentativna za ono što meta-analitičara
najviše interesira" (Lipesy and Wilson, 2001, str. 9). Da bi prevazišao ovu slabost, meta-
analitičar mora imati vrlo visok senzibilitet za specifičnu težinu pojedinih studija uzetih u
uzorak, mora adekvatno procijeniti podesnost udžbeničkog modela za izvođenje veličine
efekta te imati vrlo kritičan i otvoren duh za adekvatno interpretiranje nalaza meta-analize.

Kriterijumi za izbor studija

Jedno od krucijalnih pitanja meta-analize je kako odabrati istraživanja koja ćemo uključiti
u obradu. Ovi kriterijumi ovise od teme istraživanja, ali postoje i univerzalni osnovi za uklju-
čivanje istraživanja u meta-analitički uzorak. Takvi kriterijumi su: a) svojstva po kojima kva-
lificiramo studije podesne za meta-analitičku obradu, b) sparivost karakteristika ispitanika u
pojedinačnim studijama, c) usporedivost ključnih varijabli, d) kompatibilnost istraživačke me-
todologije, e) kulturna i jezička ujednačenost, f) vremenska usaglašenost i g) tip publikacije
(ibidem, str. 16). Ovih sedam kriterijuma za izbor studija u meta-analitičkom dizajnu,
odnosno za formiranje uzorka, ovdje ću obrazložiti na jednom konkretnom pedagoškom
problemu kako bi bilo jasno o čemu se radi.
Pretpostavimo da meta-analizom želimo tretirati različite programe koji su imali za cilj da
kod učenika poboljšaju razinu vrednovanja školskog učenja, pojačaju odgovornost i partici-
paciju u nastavi. U jednom takvom programu naći ćemo da su ključni aspekti eksperimental-
nog programa bili pedagoška funkcija nastavnika u moralnom samoodgoju učenika te
aktivnost i koedukacija učenika u moralnom odgoju (Peašinović, 1976), u drugom ćemo naći
sljedeće programske komponente: stavovi o društvenim odnosima, stavovi o učenju i radu,
slika o sebi, humani odnosi među polovima i zdravstvena i ekološka svijest (Сузић, 1994).
Treći program će imati neke druge programske komponente. Ako počbemo sparivati pro-
gramske komponente, ništa neće biti od naše meta-analize. Moramo se vratiti na pitanje koje
nas prioritetno zanima, a to je: nivo vrednovanja školskog učenja, odgovornost i participiranje
učenika u nastavi. Na osnovu veličine efekta saznaćemo koji su programi dali najviše efekata
na ovom planu. Sada možemo početi formirati uzorak.
Pošto je formiranje uzorka izuzetno značajno u meta-analizi, ovdje je potrebno pozabaviti
se svakim kriterijumom pojedinačno.
a) Svojstva po kojima kvalificiramo studije podesne za meta-analizu su u našem primjeru
vrlo jednostavna. Prvo, studija ili istraživanje mora da se bavi poboljšanjem razine vredno-
vanja školskog učenja te podizanjem odgovornosti i participiranja učenika u nastavi. Drugo,
izmjereni učinak eksperimentalnog programa mora biti iskazan u statističkim veličinama
podesnim za izvođenje ES-parametara.

5
Rad je predstavljen na međunarodnoj naučnoj konferenciji u Mostaru pod naslovom:
Suzić, N. (2008). Primjena meta-analize u pedagogiji. Mostar: Fakultet prirodoslovno-matematičkih i odgojnih znanosti
Sveučilišta u Mostaru.

b) Sparivost karakteristika ispitanika u pojedinim studijama podrazumijeva određenu

razinu kontinuiranosti uzorka. Ta znači da nećemo moći porediti rezultate ostvarene na
uzorku osnovne škole i penzionera. Moramo odrediti dobni interval: uzrast osnovne ili uzrast
srednje škole, odnosno studentska populacija.
c) Usporedivost ključnih varijabli znači da pojedinačna istraživanja uzeta u uzorak moraju
imati najmanje jedan kvantitativni elemenat koji se odnosi na isti ishod testiranog programa.
Na primjer, efikasnost poboljšanja vrednovanja razine školskog učenja iskazana aritmetičkom
sredinom ili proporciju, odnosno smanjenje broja izostanaka učenika sa nastave.
d) Kompatibilnost istraživačke metodologije podrazumijeva da su studije u uzorku mjerile
efikasnost programa i da su te mjere metodološki validne. Ukoliko se u jednoj studiji radilo o
eksperimentalnom dizajnu, a u drugoj o mjerenju učinka inoviranog programa na osnovu
inicijalno- finalnih razlika, vjerovatno ćemo moći naći sparive elemente mjerenja. Ali ako je u
trećoj studiji ostvareno samo survey snimanje, vjerovatno je da ovu treću studiju nećemo
moći uvrstiti u naš uzorak. Ukoliko neka od studija nema bazne podatke za izračunavanje ES,
ni nju nećemo moći uključiti u naš uzorak. "Najveće izuzimanje imaće nalazi izvedeni
multivarijantnom analizom, faktorskom analizom, modelima strukturalnih jednadžbi i slično"
(Lipsey and Wilson, 2001, str. 16).
e) Kulturna i jezička ujednačenost podrazumijeva da u obzir uzmemo studije među čijim
ispitanicima nema značajnih jezičkih i kulturoloških razlika i zapreka za izvođenje generali-
zacija. Ponekad se radi o zaprekama koje nastaju usljed prevođenja studija sa različitih
govornih područja.
f) Vremenska usaglašenost studija odnosi se na kontinuitet perioda u kome se porede
nalazi istraživanja. Na primjer, u našim uvjetima to bi se moglo odnositi na period
samoupravljanja kada su bili ustanovljeni drugačiji ciljevi odgoja i obrazovanja. Ovo se, ipak,
ne odnosi na sve pedagoške fenomene, posebno ne na one koji ne ovise od društvene
paradigme u kojoj se odgoj ostvaruje. Bilo bi moguće meta-analitički porediti period
samoupravljanja sa vremenom tranzicije koje je uslijedilo nakon samoupravljanja.
g) Tip publikacije je izuzetno značajan kriterijum za odabir studija koje ćemo uvrstiti u
meta-analizu. Ovo posebno vrijedi za publikacije koje imaju i one koje nemaju recenzije, kao
i za objavljene u odnosu na neobjavljene publikacije. Jasno je da će radovi objavljeni sa
recenzijama imati prednost.
Ukoliko se desi da neka studija u cjelini ne zadovoljava svih sedam kriterijuma, možemo
je razložiti u dijelove, a zatim uzeti samo onaj dio koji zadovoljava kriterijume meta-analize.

Selekcija, kodiranje i računanje ES-statistika

Kritičan i odlučujući korak u meta-analizi je kodiranje mjera ili veličina koje će u nume-
ričkoj formi imati takav univerzalni koncept da međusobno budu usporedive. Na primjer,
proporcija osoba u uzorku koje imaju datu karakteristiku može biti baza za izračunavanje ES.
Veličina efekta se izvodi ovisno od toga da li mjerimo promjene i odnose unutar jedne, dvije,
tri ili više varijabli. Ovdje mi prostor ne dozvoljava da detaljno izložim sve obrasce i postupke
njihove primjene, zato ću jasno i pregledno dati samo obrasce za izvođenje ES iz proporcije
uzorka i aritmetičke sredine. Ostale obrasce neću ovdje izvoditi, ali elementarne osnove za
njihovo izvođenje dajem u tabelama.

6
Rad je predstavljen na međunarodnoj naučnoj konferenciji u Mostaru pod naslovom:
Suzić, N. (2008). Primjena meta-analize u pedagogiji. Mostar: Fakultet prirodoslovno-matematičkih i odgojnih znanosti
Sveučilišta u Mostaru.

Razmotrimo prvo promjene unutar jedne varijable, poznatije kao mjere centralne tenden-
cije. Radi se o frekvencijama, proporcijama, aritmetičkoj sredini, medijanu, modu, sumama i
drugim veličinama koje nam mogu pokazati promjene unutar jedne varijable. Konkretnije, u
našem primjeru možemo konstatirati koliko učenika je značajno poboljšalo vrednovanje
školskog učenja zahvaljujući djelovanju eksperimentalnog programa. Ovu proporciju uzeće-
mo kao osnovu ES-statistika u svim istraživanjima koje smo uzeli u uzorak. Kako izračunati
ES na osnovu proporcija? Prvi uvjet je da ostvarene proporcije statistički svedemo na
vrijednosti koje se rasprostiru od 0,00 do 1,00. Dva su statistička puta ovdje moguća: jedan je
računanje direktno iz proporcija, a drugi putem logaritama. Ovdje ću se zadržati na direktnom
računanju iz proporcija.
Uz izračunavanje ES (Effect Size) ili veličine efekta potrebna su nam još dva statistika; SE
(Standard Error) – standardna greška veličine efekta i w (weight) – inverz varijanse veličine
efekta. Uz obrasce za izračunavanje svakog od ovih statistika daću i tumačenje šta oni
predstavljaju.
Izračunavanje ES iz proporcije uzorka
Počnim od obrasca za izračunavanje ES iz proporcije uzorka.

k
ES p = p (Formula 1; Lipsey and Wilson, 2001, str. 39)
n
Pri čemu su:
ES p = Veličina efekta gdje malo p ukazuje na to da se radi o proporciji da se ES računa iz proporcije
P = Proporcija
k = Broj ispitanika sa obilježjima koje sparujemo, u našem primjeru to su samo oni učenici koji su značajno
poboljšali vrednovanje školskog učenja
n = Broj ispitanika u uzorku, tj. broj subjekata u pojedinačnom, odnosno konkretnom istraživanju
Dobili smo veličinu ES svedenu na omjer koji će uvijek biti između 0,00 i 1,00. Ukoliko
bi svi učenici u uzorku pojedinačnog istraživanja značajno poboljšali vrednovanje školskog
učenja, tada bi ES p iznosila jedan, a sve veličine ES izračunate sa manim brojem od 100%
učenika biće manje od 1,00.
Standardnu grešku veličine efekta (SE) računamo obrascem:

p(1 - p )
SE p = (Formula 2; Lipsey and Wilson, 2001, str. 39)
n
Pri čemu su:

SE p = Standardna greška veličine efekta gdje malo p označava proporciju, odnosno ukazuje na to da se
računa iz proporcije
P = Proporcija
n = Broj ispitanika u uzorku, tj. broj subjekata u pojedinačnom, odnosno konkretnom istraživanju
Zašto nam je potrebna standardna greška veličine efekta kad već imamo ES? Ako direktno
računamo odnose iz ES obrasca, imaćemo problem sparivanja ovih statističkih vrijednosti.
Naime, uzorak u kome je ispitano 30 subjekata a zatim izračunat ES-statistik zauzeće ravno-
pravan odnos sa ES izvedenim iz uzorka u kome je ispitano 500 subjekata, što svakako nije
opravdano. Hedges i Olkin su pokazali da optimalna veličina efekta nora biti bazirana na
standardnoj greški ove veličine (Hedges and Olkin, 1985). Standardna greška veličin eefekta

7
Rad je predstavljen na međunarodnoj naučnoj konferenciji u Mostaru pod naslovom:
Suzić, N. (2008). Primjena meta-analize u pedagogiji. Mostar: Fakultet prirodoslovno-matematičkih i odgojnih znanosti
Sveučilišta u Mostaru.

(SE) se izvodi kao i standardna devijacija proporcije uzorka. Ovu grešku računamo obavezna
kada je direktna ES (Formula 1) vrijednost manja od 0,2 ili veća 0,8, a u intervalu od 0,2 do
0,8 opravdano je koristiti direktni obrazac za izračunavanje ES (Formula 1), posebno ako su
uzorci u istraživanjima koje analiziramo približne veličine.
Inverz veličine varijanse (w) računamo sljedećim obrascem:

1 n
wp = 2
= (Formula 3; Lipsey and Wilson, 2001, str. 39)
SE p p(1 - p )
Pri čemu su:
w p = Inverz veličine varijanse gdje malo p označava proporciju, odnosno ukazuje na to da se računa iz
proporcije
SE p = Standardna greška veličine efketa (iz Formule 2)
n = Broj ispitanika u uzorku, tj. broj subjekata u pojedinačnom, odnosno konkretnom istraživanju
p = Proporcija

Zašto nam treba inverz veličine varijanse, w? Prvi razlog je to što veća standardna greška
(SE) korespondira sa manjom preciznošću veličine efekta (ES) tako da je inverzom dovodimo
u okvir u kome lakše uočavamo granice preciznosti.

Izračunavanje ES iz aritmetičkih sredina

Pretpostavimo da u našem primjeru imamo aritmetičke sredine na skali vrednovanja
školskog postignuća izmjerene u različitim školama od različitog broja učenika. Zanima nas
kako ujednačiti ove aritmetičke sredine, odnosno kako im izvesti zajedničku "specifičnu
sredinu" po kojoj se one mogu porediti. Radi se o varijacijama unutar iste varijable, u okviru
vrednovanja školskog postignuća.
Obrazac za izračunavanje ES iz aritmetičkih sredina je sljedeći:

ES m = M =
å xi (Formula 4; prema: Lipsey and Wilson, 2001, str. 41)
n
Pri čemu su:

ES m = Veličina efekta gdje malo m obilježava aritmetičku sredinu (mean), odnosno ukazuje na to da se ES
računa iz aritmetičke sredine
M = Aritmetička sredina (Mean)1

å xi = Suma individualnih skorova testiranih subjekata gdje se pod i podrazumijeva i= 1

do n
n = Broj ispitanika uzetih u obzir pri izračunavanju aritmetičke sredine

Ovim obrascem izveli smo ESm iz pojedinih aritmetičkih sredina i on je uporediv sa

drugim ES-statisticima samo ako je testirani broj ispitanika u uzorcima jednak, ali, podsjetimo
se, u našem primjeru imamo različit broj učenika po školama. Sada nam treba standardna
greška veličine efekta aritmetičkih sredina kako bismo uklonili nesrazmjeru nastalu ispitiva-
njem različitog broja učenika po školama.
1 -
U Formuli 4 simbol X zamijenio sam simbolom M zato što se danas na računarima simbol M koristi kao
univerzalna oznaka za aritmetičku sredinu, iako X-potez označava isto.

8
Rad je predstavljen na međunarodnoj naučnoj konferenciji u Mostaru pod naslovom:
Suzić, N. (2008). Primjena meta-analize u pedagogiji. Mostar: Fakultet prirodoslovno-matematičkih i odgojnih znanosti
Sveučilišta u Mostaru.

Kako se računa SEm , standardna greška veličine efekta aritmetičkih sredina? Obrazac je
sljedeći:
s
SEm = (Formula 5; Lipsey and Wilson, 2001, str. 41)
n
Pri čemu su:
SEm = Standardna greška veličine efekta aritmetičke sredine gdje malo m ukazuje na to da se radi o
aritmetičkoj sredini
s = Standardna devijacija
n = Broj ispitanika uzet u obzir pri izračunavanju aritmetičke sredine

Ukoliko je broj ispitanika u istraživanjima koja podvrgavamo meta-analizi različit, nužno

je da izračunamo SEm kako bi veličine efekta aritmetičkih sredina (ESm ) bile usporedive, ali
još uvijek nam treba inverz standardne greške veličine efekta aritmetičke sredine (w). Zašto?
Prvo ćemo vidjeti kako se ovaj inverz računa.
Obrazac za izračunavanje inverza standardne greške veličine efekta aritmetičke sredine
(w) je sljedeći:
1 n
wm = 2
= 2 (Formula 6; Lipsey and Wilson, 2001, str. 41)
SEm s

Pri čemu su:

wm = Inverz standardne greške veličine efekta aritmetičke sredine g dje malo m ukazuje na
to da se radi o aritmetičkoj sredini
SEm = Standardna greška veličine efekta aritmetičke sredine (iz Formule 5)
s = Standardna devijacija

Inverz standardne greške veličine efekta aritmetičke sredine (w) omogućuje nam da pore-
dimo više istraživanja različitih po broju ispitanika, po eksperimentalnim programima s
obzirom na mjere po kojima su aritmetičke sredine izračunate, naravno, uz pretpostavku da ne
odstupamo od principijelnih pretpostavki za meta-analitičko sparivanje veličina.

Izračunavanje ES iz odnosa između dvije varijable

U prethodnim statističkim obrascima, odnosno formulama prikazao sam samo najjedno-

stavnije načine za izračunavanje veličine efekta (ES) i to samo u okviru analize promjena koje
se odnose na jednu varijablu. Navedene formule moguće je izvesti u logaritamskoj formi
(Lipsey and Wilson, 2001) što bitno olakšava izračunavanje.
Ovdje mi prostor ne dopušta da konkretnije i šire obradim najfrekventnije i pedagogiji
najpotrebnije forme izvođenja efekta veličine (ES). Za to bi bio potreban obimniji priručnik.
Već ulaskom u međuodnose dviju varijabli obim ovog rada bi se podvostručio. To je razlog
da sam za ovaj podnaslov kao središnju ideju preveo jednu vrlo ilustrativnu tabelu Marka
Lipseya i Davida Wilsona.
U Tabeli 1 dat je pregled tipova varijabli, na lijevoj strani, i lista adekvatnih načina
izračunavanja veličine efekta (ES) za varijable i njihove odnose. Za svaki od šest načina za
izračunavanje ES, na desnoj strani Tabele 1, postoji određeni statistički obrazac. U prethod-
nom tekstu ovdje sam prikazao prvi i treći obrazac kao najjednostavnije načine izvođenja ES.

9
Rad je predstavljen na međunarodnoj naučnoj konferenciji u Mostaru pod naslovom:
Suzić, N. (2008). Primjena meta-analize u pedagogiji. Mostar: Fakultet prirodoslovno-matematičkih i odgojnih znanosti
Sveučilišta u Mostaru.

Za ostala izračunavanja postoji obimna literatura (Hedges and Olkin, 1985; Lipsey and
Wilson, 2001; Rosenthal, 1987; Smith and Glass, 1977). Naravno, tu literaturu treba čitati uz
pretpostavku da statističke modele apliciramo na pedaggijsku znanosti i praksu i stalno imati
na umu da svi udžbenički modeli nisu podesni za meta-analizu u pedagogiji. Jedno je sigurno,
velika je šteta što do sada nismo imali udžbenik pedagoške meta-analize. Kao što su u Tabeli
1 dati statistčki postupci za meta-analizu odnosa između dvije varijable, razrađena je i tabela
odnosa za tri i više varijabli.

Tabela 1: Veličina efekta u odnosima između dvije varijable

Sve zavisne varijable Razlika među pro-
su dihotomne porcijama kao ES
(Vidi napomenu 1)

Sve zavisne varijable

su kontinuirane Razlike u odstupa-
njima; Logaritam
ove razlike
Sve zavisne varijable
Grupni kontrast zavisne varijable

su mjerene kontinuira- Nestandardizirane

nom skalom razlike aritmetičkih
sredina
Sve studije imaju
iste mjere/skale
Standardizirane
razlike aritmetičkih
Studije koriste razli- sredina
čite mjere/skale
Standardizirane razli-
ke aritmetičkih sredina
Neke zavisne vari-
ES; uključujući diho
jable mjerene su kon-
tomne, probit i logit-iz
tinuiranim skalama, a
vedene
neke su naknadno
(Vidi napomene 2 i 3)
dihotomizirane
Dvije odvojene meta-
Neke zavisne varijable analize: za dihotomne
su dihotomne, a neke i za kontinuirane
kontinuirane varijable
Napomena 1: ES varira između 0<p<1; problem potencijalne heterogenosti
Napomena 2: Precijenjena ES kada distribucija nije normalna
Napomena 3: Niža ES ali još uvijek bolja nego probit (vjerovatna) ili logit (logaritamska)

Šest načina izvođenja ES statistika na desnoj strani Tabele 1 predstavljaju odličan vodič za
meta-analitičara, ali ne i jedino rješenje. U udžbenicima ćemo naći još neka rješenja. Na
primjer, ako nam nedostaju neke veličine, možemo ih izvesti iz onih koje nam stoje na raspo-
laganju ukoliko konkretno istraživanje ima te alternativne veličine. Na primjer, pouzdanost
možemo dobiti iz t-vrijednosti, iz aritmetičkih sredina, standardnih devijacija i broja slučajeva
u uzorku možemo izvesti korelacije i slično.

Zaključno

U suvremenoj literaturi na prostoru Balkana nemamo dovoljno pedagoških radova posve-

ćenih meta-analizi. Razlog tome je kašnjenje i progresivno zaostajanje naše pedagoške misli,
naše pedagogijske teorije i prakse u odnosu na suvremeni svijet.

10
Rad je predstavljen na međunarodnoj naučnoj konferenciji u Mostaru pod naslovom:
Suzić, N. (2008). Primjena meta-analize u pedagogiji. Mostar: Fakultet prirodoslovno-matematičkih i odgojnih znanosti
Sveučilišta u Mostaru.

U ovom radu sam dao samo elementarna polazišta i najjednostavnije primjere za izvođe-
nje veličine efekta (ES) kao baznog statistika meta-analize za operacije u okviru jedne
varijable. To je dovoljno da shvatimo kako meta-analiza dobro dođe u pedagogiji, kako je
pedagogijska znanost potrebuje i kako to nije neka teška i nedostižna metodologija. Radi se o
setu statističkih i metodoloških postupaka koje ne može nadomjestiti nikakva teorijska sinteza
ili analiza, niti logičko sparivanje. Kvantitativni odnosi izvedeni meta-analizom jasno poka-
zuju učinak više istraživanja, jasno ukazuju na prednosti i nedostatke pojedinih studija, osvjet-
ljavaju procese i tendencije, tako da možemo dobiti opservacije koje ne nudi druga statistika,
metodologija niti teorija. Ipak, ne treba zaboraviti da na početku i na kraju meta-analize stoji
čvrsta i jasna logika, da se bez teorijske analize i sinteze ovametodologija ne može pedagoški
optimalno primijeniti.
Nadam se da će ovaj rad ohrabriti i izazvati mlade istraživače i podstaknuti iskusne na
nova istraživanja i nova osvjetljavanja pedagoške meta-analize. Pedagoška istraživanja izve-
dena uz pomoć meta-analize prokrčila bi put novim spoznajama u pedagogiji. Posebno bi bilo
značajno to da takva istraživanja opreidjele naše istraživače da posegnu za radovima u kojima
su objavljena suvremena istraživanja širom svijeta što bi, svakako, doprinijelo unapređivanju
pedagogije na ovim prostorima. Svojevremeno je Mužićeva "Metodologija pedagoških
istraživanja" (1977) revolucionirala našu pedagogijsku misao a i danas je znatno unapređuje.
Danas bi jedan takav udžbenik meta-analize dao neprocjenljiv doprinos pedagogijskoj teoriji i
praksi.

11
Rad je predstavljen na međunarodnoj naučnoj konferenciji u Mostaru pod naslovom:
Suzić, N. (2008). Primjena meta-analize u pedagogiji. Mostar: Fakultet prirodoslovno-matematičkih i odgojnih znanosti
Sveučilišta u Mostaru.

LITERATURA

Cattell, R. B., & Gibbon, B. D. (1968). Personality factor structure of the combined Guilford
and Cattell personality questionnaries. Journal of Personality and Social Psychology, 9,
107–120.
Csikszentmihalyi, M. (1990). Flow – the psychology of optimal experience. New York:
Harper and Row.
Csikszentmihalyi, M. (1997). Finding flow – The psychology of engagement with everyday
life. New York: Basic Books.
Eysenck, H. J. (1952). The effects of psychoterapy: An evaluation. Journal of Consulting
Psychology, 16, 319–324.
Eysenck, H. J. (1972). Human typology, higher nervous activity and factor analysis. U knjizi:
V. D. Nebylitsyn and J. A. Gray (Eds.), Biological bases of individual behavior. New
York: Academic Press.
Eysenck, H. J. (1978). An exercise in mega silliness. American Psychologist, 33, 517.
Hedges, L. V., & Olkin, I. (1985). Statistical methods for Meta-analysis. London: Academic
Press.
Heckhausen, H. (1963). Hoffung und Furcht in der Leistungs-motivation. Meisenheim – Glan:
Hain.
Lipsley, W. M. (2001). Practical meta-analysis. Thousand Oaks, CA: SAGE Publication.
McClelland, D. C. (1955), Some social consequences of achievement motivation. U zborniku:
M. R. Jones (Ed.): Nebraska syposium on motivation. Lincoln: University of Nebraska
Press.
Mužić, V. (1977). Metodologija pedagoških istraživanja. Sarajevo: Zavod za udžbenike.
Peašinović, R. (1976). Pedagoška funkcija nastavnika i moralnom razvoju učenika. Beograd:
Prosveta.
Rosenthal, R. (1987). Judgments studies, design, analysis, and meta-analysis. Cambridge:
Cambridge University Press.
Skowronek, H. (1970). Lernen und Lernfähigkeit; 2. Aufgabe. München: Juventa.
Smith, M. L., & Glass, G. V. (1977). Meta-analysis of psychotherapy outcome studies.
American Psychologist, 32, 752–760.
Smith, M. L., Glass, G. V. & Miller, T. I. (1980). The benefits of psychotherapy. Baltimore,
MD: John Hopkins.
Сузић, Н . (1994). Васпитни рад у одјељењској заједници. Б а њ а Лука: ВИД.
Suzić, N. (2007). Primijenjena pedagoška metodologija. Banja Luka: XBS.
Suzić, N. (2007). Primijenjena pedagoška metodologija. Banja Luka: XBS.
Tiedemann, J. (1977). Leistuhgsversagen in der Schule; In Lückert, Dietrich und Walter,
Studienreihe Pädagogische Psychologie. München: Goldmann.

12