MTMM. Dakle, MOMM matrica je pristup za procenu konstruktivne valjanosti skupa mera dobijenih nekim psiholokim merenjem.

Pristup su razvili 1959. g. Campbell i Fiske (1959) kao pokuaj da se prui praktina metodologija za procenu konstruktivne valjanosti. Naime, poetkom pedesetih godina XX veka shvatanje valjanosti merenja se poelo pomerati sa pragmatikog (prediktivnog) ka teorijskom i strukturalnom. To je rezultiralo pojmom kon- struktivne valjanosti (Cronbach i Meehl, 1955) i pojmom nomoloke mree koja je bila logika osnova za procenjivanje konstruktivne valjanosti. Ideja nomoloke mree je, meu- tim, ostala u sferi logike i nije se pokazala od koristi istraivaima pri kvantifikaciji valid - nosti merenja (Trochim, 2000). Zbog definicije kontruktivne validnosti - da je test validan ako meri ono to treba da meri mnogi su prevideli zahtev da test ne sme da meri nita drugo. Saglasno tome, nakon pojave koncepta konstruktivne valjanosti najvie se panje poelo poklanjati prvom aspek - tu, sve dok praksa nije pokazala da postoji i drugi problem. Naime, za mnoge testove se pokazalo da visoko koreliraju sa nekom crtom za koju nisu namenjeni da mere i koju, po teoriji, ne bi trebalo da mere. Korelacija dva testa koji mere razliite stvari mogua je zato to svaki test meri vie stvari. Ako dva testa namenjena dvema crtama dele jedan isti irelevantai kvalitet, onda e oni korelirati zbog tog kvaliteta. Na primer, ako imamo test voljenja sporta i test voljenja muzike, moemo dobiti pozitivnu korelaciju izmeu njih samo zato to su svi ajteiru formulisani pozitivno i odgovor ,,da znai postojanje crte, kada se manifestuje sklonos: ljudi da odgovaraju sa da, odnosno ne. Postoje razni evidentirani efekti instrumenta i slino- sti sadraja koji dovode do lanih korelacija, iako same crte, ako bi se merile tano, nisu konceptualno povezane (Scott i Wetheimer, 1962. navode neke izvore). Na jeziku teorije testova, jedan test, zajedno sa varijansom ciljne crte i sluajnom grekom, ukljuuje i znatan deo varijanse uzrokovan nekom ireleventnom crtom koju takoe nenamemo meri neki drugi test. Pored toga, metode prikupljanja podataka, same po sebi, mogu imati svoje ugraer.e pristrasnosti (kao to je npr. spomenuto da -odgovaranje u upitnicima, ili kada ljudi u anke- tama govore anketarima ono to oni ele da uju). Kada koristimo neki upitnik, recim:. moemo se pitati da li su istraivai koristili randomizaciju razmetaja ajtema da bi elirr_- nisali efekat njihovog redosleda, ili su pak dokazali da efekat redosleda nije od uticaja. Takoe, baziranje konstrukta kao to je zadovoljstvo poslom na pojedinanom ajtemu koji se bavi, recimo, druenjem sa kolegama na poslu, pogreno usmerava konstrukt ka jednom specifinom znaenju. Zbog tih i drugih razloga, uoeno je da kad se dve ili vie crta mere istom tehnikom (npr. ako su podaci prikupljeni Likertovom skalom, ili psihijatrij- skom procenom), mere e teiti da koreliraju, bez obzira na to da li veza izmeu crta postoji ili ne. Sve ove kontaminacije memog instr umenta e vrlo verovatno dovesti do iskrivljavanja konstruktivne valjanosti. Da bi se dobile tanije mere, moraju se nekako iz korelacije dva testa parcijalizirati efekti instrumenta i drugi kontaminirajui faktori. Campbell i Fiske su u tom cilju uveli dva nova tipa validnosti - konvergentnu i diskriminativnu - kao potkategori- je konstruktivne validnosti i stvorili MOMM matricu kao metodologiju za njihovu procenu. Njihov lajtmotiv je bio taj da korienje jedne jedine metode za prikupljanje podataka, kao i jednog jedinog indikatora za merenje konstrukta (monometodski i monoosobinski pristup) vodi u pristrasnost. Ako elimo da dokaemo da nae merenje poseduje konstruktivnu valja - nost, moramo se posluiti multimetodskom i multiosobinskom metodologijom. Na ovom mestu je dobro podsetiti se poglavlja iz glave o formalnoj teoriji merenja o dokazivanju da je neko mereno svojstvo kvantitativno (odeljak II.8). Tamo je reeno da nema recepta za takav dokaz, ali da se kroz ivot naune psihologije pokazalo da jedna efikasna metodologija podrazumeva stalno i kontinuirano povezivanje merenog kvaliteta sa drugim, irim i viim konstruktima. Ovakva metodologija je konceptualno potpuno podu - dama sa metodologijom

nomoloke mree Cronbacha i Meehla, a operacionalno potpuno odgovara stalnim proverama poput MOMM tehnike. 1.19. Osnovni pojmovi 1.9.. Konvergentna i diskriminativna valjanost Konvergentna valjanost je princip da mere teorijski slinih konstrukata moraju biti visoko korelirane. Konkretizujmo ovu ideju tako to emo zamisliti meru sastavljenu od vie ajtema, na primer, etvoroajtemsku skalu projektovanu da meri dominantnost. Ako svaki ajtem stvamo reflektuje konstrukt dominatnosti, moemo oekivati da e ajtemi biti

visoko korelirani kao to je prikazano na slici. Ove visoke korelacije su dokaz konvergentne valjanosti.

KONSTRUKT DOMINANTNOSTI
1,00 0,83 0,89 0,91 0,83 1,00 0,85 0,90 0,89 0,85 1,00 0,86 0,91 0,90 0,86 1,00
r

KONSTRUKT

D1,S1 0)12

D1,S2=

"D2,S1 0)04
^D2,S2 0(11

0|09

Slika 21- Konvergentna valjanost

Slika 22- Diskriminativna valjanost

Diskriminativna valjanost je princip da mere teorijski razliitih konstrukata ne smeju meusobno visoko korelirati. Ovo moemo ilustrovati primerom merenja dva konstrukta: dominantnosti i socijabilnosti, svakog merenog sa dva ajtema. Oekujemo da, poto su to mere razliitih konstrukata, kros-konstruktne korelacije budu niske, upravo onako kako je prikazano na slici. Ove niske korelacije su dokaz diskriminativne validnosti. IX. 19. b. Multiosobinska-multimetodska matrica

Campbell i Fiske su predloili MOMM matricu kao tehnologiju za procenu kako kon vergentne, tako i diskriminativne validnosti. Poto su konvergentna i diskriminativna validnost dve strane konstruktivne validnosti, da bi se moglo rei da neko merenje poseduje kon struktivnu valjanost, moramo dokazati da ono ima svojstvo konvergencije i diskriminacije. U multiosobinskoj i multimetodskoj strategiji validacije ne samo da istraiva koristi viestruke indikatore po konstruktu, nego i prikuplja podatke za svaki indikator pomou viestrukih metoda i/ili iz viestrukih izvora. Na primer, prilikom ocenjivanja pojma tole rancije istraiva moe imati indikatore rasne tolerancije, religiozne tolerancije i toleranci- je prema seksualnoj orijentaciji, a svi ti podaci mogu brti prikupljeni ispitivanjem samog subjekta, subjektovog branog druga i subjektovih rodi ;lja (u ova dva poslednja sluaja pod razumeva se da je traeno miljenje branog druga i roditelja o subjektovom ponaanju, a ne o njihovom). MOMM metod, koga su predloili Campbell i Fiske, zasniva se na tome da se ista grupa subjekata testira na dve ili vie crta sa dve ili vie metoda testiranja. To znai da se ista crta meri na dva ili vie naina i svaki metod se koristi za merenje dve ili vie crta. Interkoreliranjem svih mera za sve crte, mogu se porediti visine korelacija koje ukazuju na valjanost sa visinom neeljenih korelacija. Ukoliko su prve vee od drugih, moe se tvrditi da merene crte postoje nezavisno od metoda kojim su merene. Dakle, osnovno sredstvo MOMM metodologije je MOMM matrica koja predstavlja manje vie uobiajenu matricu interkorelacija svih mera dobijenih na raznim crtama pomou raznih metoda. Da bismo demonstrirali principe i pravila zakljuivanja koja su svojstvena ovoj metodi, naveemo aekoliko primera.

Kao standardan primer koristi se hipotetika matrica sa slike 23 koja je preuzeta o Campbella i Fiskea.1 Meutim, razliiti izvori se slue raznim crtama i metodama za kor kretizaciju podataka. Na primer, Anastasi (Anastasi, A., 1982, Psychological testing. Macmillan, New York, str. 148) predlae da bi crte mogle biti: A) dominantnost, B) socijabil - nost i C) motivacija postignua, a metodi: 1) inventar sa samoprocenom, 2) projektivru tehnika i 3) ocena kolega. Trochim koristi primer sa istraivanjem uenika estog razrech kod kojih su merene tri osobine (konstrukta): samopotovanje (selfesteem), samosaznavanje (selfdisclosure) i lokus kontrole. Osim toga, svaka osobina se meri na tri naina: pomou papir -olovka testa, procenom uitelja i procenom roditelja. Bilo kako bilo, posle prikuplja - nja i obrade podataka, rezultati su razvrstani u MOMM matricu prikazani u tabeli 25. Iako su Campbell i Fiske podrazumevali da je za zakljuak o valjanosti dovoljna i matrica 2x2. danas preovladava miljenje da matrica mora minimalno obuhvatati tri osobine i tri metoda.
Metod 1 Osobine A^ B^ Metod 2 B^ Metod 3 Aj Bj

Cj

Slika 23- Struktura multiosobinske-multimetodske matrice

Kao to je reeno, MOMM matrica je prosto matrica korelacija aranirana tako da olaka procenjivanje konstruktivne valjanosti. MOMM matricapodrazumeva da je svaki od nekoliko konstrukata (Campbell i Fiske ih nazivaju osobinama - traits) meren pomou svakog od nekoliko metoda (npr. testom, direktnim posmatranjem, merenjem izvoenja, projektivnom tehnikom i sl). MOMM je izvomo zamiljena kao vrlo restriktivna metodo - logija u tom pogledu - zahteva da se svaki konstrukt meri svakim metodom. Bard psiholo- ke statistike, McDonald (1999) razumno kae da sadraj MOMM matrice mogu biti i kova - rijanse. Obrada kovarijansi je na specifian nain razliita od obrade korelacija, ali su one ipak logiki ekvivalentne, pa emo u daljem tekstu govoriti samo o korelacijama. Da bi se kontruisala MOMM matrica, korelaciona matrica se mora urediti tako da metodi budu unutar konstrukata. Slika 23 pokazuje jednu MOMM matricu za tri konstrukta (osobine A, B i C), od kojih je svaka merena sa tri razliita metoda (1, 2, i 3). Treba zapaziti da je matrica organizovana po blokovima, a blokove formiraju metodi. Trochim kao speci- finost MOMM matrice u odnosu na obinu korelacionu matricu istie to to ova prva u glavnoj dijagonali umes to jedinica ima koeficijente pouzdanosti svake mere.2
Ta i ostale slike iz ovog poglavlja su preuzete od Trochima (2000). Ovaj nain organizacije MOMM matrice se ne potuje uvek dosledno. Kod Scotta i Wertheimera (1962, iji primer koristimo kasnije u ovom tekstu) su metodi ugnjedeni unutar osobina, isto kao i kod McDonalda
2 1

Pre nego se MOMM matrica moe interpretirati, moraju se razumeti njena struktura i delovi. To je kvadratna i simetrina matrica, tako da je dovoljno da vidimo samo jednu njenu polovinu (na slici je prikazan donji trougao). Drugo, svi njeni elementi (korelacije, koeficijenti pouzdanosti ili ev. kovarijanse) se mogu grupisati u tri tipa celina: dijagonale, trouglovi i blokovi (Trochim, 2000, Smith, 1998, McDonald, 1999). Pogledajmo koje su to konkretne celine. DlJAGONALA ZA POUZDANOST (MONOOSOBINSKA-MONOMETODSKA).- U njoj se nalaze ocene pouzdanosti svake mere u matrici. Pouzdanost se moe oceniti na bilo koji od uobiajenih naina (npr. test-retest, intema konzistencija). U dijagonali pouzdanosti postoji onoliko koeficijenata koliko ima mera - u ovom primeru postoji devet mera i devet pouzdanosti. Prvi koeficijent pouzdanosti je na mestu korelacije osobine A merene metodom 1 same sa sobom (u daljem tekstu ova veza bie oznaavana sa Al -Al). Poto bi na ovom mestu, dakle, trebala biti korelacija mere sa samom sobom, ona bi trebala biti perfektna (tj. jednaka 1,0). To to nije, moe se lepo psihometrijski objasniti time da je to, u skladu sa interpre tacijom modela paralelnih testova, korelacija izmeu altema tivnih formi ili testa i retesta (v. izraz [25] i poglavlje Vll.lO.a). Ove vrednosti se istovremeno mogu nazvati monoosobinskim-monometodskim korelacijama. DlJAGONALE ZA VALIDNOST (MONOOSOBINSKE-HETEROMETODSKE).- U njima se nalaze kore- lacije izmeu mera iste crte (osobine) merenih razliitim metodama. Poto je u naem primem MOMM matrica organizovana u metodske blokove, za svaki blok postoji jedna dijagonala validnosti. Na primer, korelacija A1-A2 na slici jednaka je 0,57. To je korelacija izmeu dve mere iste crte (A) merene na dva razliita naina (1 i 2). Poto su to mere iste osobine ili konstrukta, moemo oekivati da e one biti visoko korelirane. Ove vrednosti se mogu tretirati kao monoosobinske-heterometodske korelacije. HETEROOSOBINSKI-MONOMETODSKITROUGLOVI.- To su korelacije izmeu mera koje dele isti metod merenja; na primer korelacija Al-B 1=0,51 u gomjem levom heteroosobinskommonometodskom trouglu. Ove korelacije, dakle, dele metod, a ne osobinu ili konstmkt. Ako su ove korelacije visoke, to je zbog toga to merenje razliitih stvari istim metodom rezulti - koreliranim merama. Ili, dmkije reeno, zbog toga to postoji jak faktor metoda. HETEROOSOBINSKI-HETEROMETODSKI TROUGLOVI - To su korelacije koje se razlikuju kako po osobini, tako i po metodu, kao to je na primer Al -B2=0,22 na slici. Generalno, poto ove korelacije ne dele ni osobine ni metode, oekujemo da e one biti najnie u matrici. MONOMETODSKIBLOKOVI - Oni se sastoje od svih korelacija koje dele isti metod merenja. Postoji onoliko blokova koliko ima metoda merenja. U meri u kojoj su korelacije unutar ovih blokova vie od korelacija u heterometodskim blokovima, metodi predstavljaju znaa- jan faktor. HETEROMETODSKI BLOKOVI - Oni se sastoje od svih korelacija koje ne dele iste metode. Postoji [k(k-l)]/2 takvih blokova, gde je k broj metoda. U ovom primem postoje tri metoda i prema tome postoje tri takva bloka. Ako su korelacije u ovim blokovima nie od korelacija u monometodskim blokovima, zakljuiemo da postoji efekat metoda. Pored toga, moemo zakljuiti da oni blokovi (metodi) kod kojih su te razlike vee vie utiu na rezultate mere - nja.

(1999). Istinaje da se stvari time nimalo ne menjaju, osim to promene mesta. Takoe, nije opte usvojen zahtev da u glavnoj dijagonali budu koeficijenti pouzdanosti, premda ne vidimo nikakve smetnje da se oni izraunaju.

1.20. Principi interpretacije Dugo vremena se interpretacija MOMM matrice zasnivala na proceni konstruktora testa i imala je narativni karakter. Nisu bile uoene mogunosti egzaktne statistike obrade, odnosno statistikog modeliranja odnosa u MOMM matrici. Osim toga, u praksi se esto deava da neki principi matrice budu narueni (kompletnost osobina i metoda), a koefi - cijenti korelacija mogu biti protivreni. U takvim sluajevima konstruktor biva primoran da zakljuak o konstruktivnoj valjanosti donosi na osnovu slobodne procene. Zbog toga Trochim smatra da je interpretacija MOMM matrice veoma slina lekarskom tumaenju rendgenskog snim ka. Izvebano oko e videti neto to poetnici nee. Istraivai koji su iskusni mogu MOMM matricu koristiti za identifikaciju slabosti u merenju, isto kao i za ocenjivanje konstruktivne valjanosti. Meutim, danas se za interpretaciju MOMM matrice skoro iskljuivo preporuuje korienje konfirmativne faktorske analize - KFA (engl. confirmative factor analysis). Pomou KFA se mogu testirati razliiti modeli odnosa varijabli u MOMM matrici i proveriti koji od modela, ako takav uopte postoji, dobro fituje do bijene korelacije. U ovom poglavlju, meutim, elimo da objasnimo principe kojima se rukovodimo prilikom interpre - tacije (a kasnije i prilikom postavljanja modela). Za demonstracione svrhe je mnogo pogodniji izvomi narativni pristup koji se bazira na prosuivanju istraivaa. Tabela 25 - Primer MOMM matrice 1
METO
D

INVENTAR LINOSTI (IS) OSOBINE D, 0,89 0,51 0,38 0.57 0,22 0,11 0.56 0,23 0,11
S,

MP, 0,76

PROJEKTIVNA TEHNIKA (PT) D2 S2 MP2

OCENA KOLEGA (OK) D3 S3 MP3

IS

D, S, MP, D2
S2

0,89 0,37

PT

0,22 0.57 0,11 0,22 0.58 0,11

0,09 0,10 0.46 0,11 0,12 0.45

0,93 0,68 0,59 0.67 0,43 0,34 0,94 0,58 0,42 0,66 0,32 0,84 0,33 0,34 0.58

OK

MP2 D3
S3

0,94
0,67 0,92 0,58 0,60 0,85

MP3

Legenda: Dijagonalni elementi (masnim brojevima) predstavljaju relijabilnosti, a podvueni elementi predstavljaju koeficijente (konvergentne) validnosti.

Kada se zna ta predstavljaju razliiti delovi MOMM matrice mogu se razumeti pravi - la za njihovu interpretaciju. Uiniemo primer iz slike 23 realistinim koristei podatke koje je navela Anastasi. Dakle, merie se tri konstrukta: A) dominantnost - D, B) socijabil- nost - S i C) motivacija postignua - MP. Svaka od tih osobina bie merena na tri naina: 1) pomou inventara sa samoprocenom - IS, 2) projektivnom tehnikom - PT i 3) ocenom kolega - OK. Recimo da smo posle prikupljanja i obrade podataka dobili rezultate i razvrstali ih MOMM matricu prikazanu u tabeli 25. Naveemo osnovne principe ili pravila za interpretaciju MOMM matrice (Trochim, 2000, Smith, 1998, Garson, 2000, Scott i Wertheimer, 1962). Koeficijenti u dijagonali za pouzdanost moraju biti konzistentno najvii u matrici. To znai da osobina mora biti vie korelirana sama sa sobom nego sa bilo ime drugim. To je dosledno tano u naem primeru.

Koeficijenti u dijagonalama validnosti, (koeficijenti validnosti, monoosobinskeheterometodske korelacije) moraju biti znaajno razliiti od nule i dovoljno visoki da opravdavaju dalji rad. Razliitost od nule moe se proveriti odgovarajuim statis- tikim testom. Ovo je sutinski dokaz konvergentne valjanosti. Sve korelacije u naem primeru zadovoljavaju ovaj kriterijum. U nekom drugom primeru to bi bile korelacije izmeu rasne tolerancije prema samoproceni subjekta i miljenju njegovog bran og druga, ili samopotovanja uenika merenom testom i ocenom uitelja. Koeficijenti validnosti moraju biti vii od vrednosti koje lee u njihovim kolonama i redovima u istom heteroosobinskom-heterometodskom trouglu. Drugim reima, korelacija DrD2 mora biti vea od korelacija DrS2, DrMP2, D2S, i D2-MP[. Ovo je tano u svim sluajevima u naem primeru. Niske vrednosti heteroosobinsko-heterometodskih korelacija, apsolutno i u odnosu na monoosobinske-heterometodske, predstavljaju dokaz diskriminacione va- ljanosti. Koeficijenti validnosti moraju biti vii od svih koeficijenata u heteroosobinskim monometodskim trouglovima. Ovo u osnovi znai da faktori osobina moraju biti jai od faktora metoda; korelacije kao to su D,-D2 moraju biti vee od korelacija kao to je DrS,. U naem primeru ovo nije uvek tano. Na primer, korelacija MP,-MP2 je 0,46 i manja je nego D2-S2, D2-MP2 i S2MP2 (iz susednog monometodskog bloka) - dokaz da verovatao postoji faktor metoda, u ovom sluaju kod metoda projektivne tehnike i ocene kolega. Generalno reeno, visoke heteroosobinske -monometodske korelacije znae da postoji visok uticaj metoda. Ako su ove korelacije znaajne, a pogotovo ako su vie od monoosobinskih-heterometodskih korelacija, moemo smatrati da je varijansa metoda merenja vea od varijanse osobine.

U svim trouglovima mora postojati isti sklop interrelacija izmeu crta. Dve razliite mere iste crte moraju imati iste korelacije sa drugim crtama. Takoe, korelacije dve crte merene sa dva razliita metoda moraju biti u stabilnim odnosima prema drugim korelacijama na istim metodama. Posluimo se jednim drugim primerom: mere poh - lepnosti zasnovane na miljenju drugova i projektivnom testu moraju slino korelirati sa osobinama kao to su: zavist, lenjost, ponos i strast. Na primer 1. uglavnom zadovoljava ovaj kriterijum. Treba zapaziti da je u svim trouglovima odnos D-S priblino dvostruko vei od odnosa koji ukljuuju MP. Kore lacije D-S su, takoe, vrlo sline u metodima PT i OK, a neto nie za IS. Generalno reeno, sve korelacije koje u svom nazivu imaju monoosobinske moi biti vie od korelacija koje u nazivu imaju heteroosobinske. To ukazuje na dobru konver - gentnu i diskriminativnu validnost. Ako su korelacije koje u svom nazivu imaju mono metodske vie od onih koje sadre izraz heterometodske, onda na merenje utie faktor metoda. Primer iz tabele 26 prikazuje hipotetike podatke dobijene iz primene etiri razliita testa na istoj grupi ispitanika. Merene su dve psiholoke tendencije: pouzdanost ( depen- dence) i brinost (nurturance), svaka pomou projektivnog testa (recimo analize sadraja izmiljenih pria) i pomou direktnog verbalnog testa tipa Guttmanove skale (autori Scott i Wertheimer nisu naveli dijagonalu pouzdanosti, pa je neemo navoditi ni mi, premd a se za potrebe demonstracije mogu navesti bilo koje vrednosti).

Tabela 26 - Primer MOMM matrice 2 Metod Projektivni Osobina Projektivni Verbalni Projektivni Verbalni pouzdanost, pouzdanost2 brinost, brinost2 0,50 0,60 0,55 pouzdanost,

Verbalni pouzdanost2

Projektivni brinost,

Verbalni brinost2

0,45 0,65 0,40

Koeficijenti gore levo i dole desno (0,50 i 0,40) su koeficijenti validnosti. Oni kazuju koliko su korelirane iste osobine na razliitim metodama (konvergentna validnost, pravilo 2) . Mogli bismo ih smatrati dovoljno visokim koeficijentima i zakljuiti da su u oba sluaja merene upravo te osobine. Meutim, ostali koeficijenti govore drugaije. Naime, vidi se da obe osobine vie koreliraju meusobno kada se mere istim metodom ( 0,60 i 0,65), nego iste osobine meusobno kada se mere raznim metodima (pravilo 4). to je najgore, razliite osobine merene razliitim metodima koreliraju isto tako dobro (0,55 i 0,45) kao iste osobine razliitim metodima (pravilo 3). To sve ukazuje da je zajednika varijansa metoda vea od zajednike varijanse koja potie od samih crta, a da je diskriminativna valjanost merenja ovih dveju osobina niska. Tabela 27 - Primer MOMM matrice 3 Metod Projektivni Verbalni Projektivni Verbalni Osobina Projektivni Verbalni Projektivni Verbalni pouzdanost! pouzdanost2 brinost, brinost2 0,50 0,35 0,05 0,10 0,30 0,40 pouzdanost[ pouzdanostj brinost, brinost2

U tabeli 27 prikazana je ista situacija kao u primeru 2, ali modifikovana tako da bude prihvatljiva kao dokaz konvergentne i diskriminativne valjanosti i istovremeno praktino sasvim plauzibilna. Korelacije razliitih crta na razliitim metodima su dovoljno niske: 0,05 i 0,10 (to je dokaz diskriminacione valjanosti), a korelacije razliitih crta na istim metodi- ma neto vie: 0,35 i 0,30 (to je dokaz da je uticaj metoda merenja od manje vanosti). Ova situacija je vrlo esta kad se primenjuju tehnike koje su ovde prikazane. 1.21. Prednosti i nedostaci MOMM metode Ideja MOMM nudi operativnu metodologiju za procenjivanje konstruktivne valjanosti. U jednoj matrici mogue je simultano procenjivati i konvergentnu i diskriminativnu valid - nost. Ukljuujui metode merenja ravnoj nozi sa osobinama, Campbell i Fiske su naglasili vanost traganja za efektima onoga kako merimo zajedno sa onim ta merimo, a njihov metod je pruio okvir za rigoroznu procenu konstruktivne valjanosti. I pored ovih prednosti, MOMM matrica se malo koristila od 1959., otkada je uvedena. Postoji nekoliko razloga za to. Prvo, u najistijoj formi MOMM matrica zahteva da se ima puni ukrten nacrt istraivanja - svaka osobina se mora meriti pomou svih metoda. Iako su

Campbell i Fiske eksplicitno priznavali da se moe imati i nekompletan nacrt, ipak su isticali vanost viestruke replikacije iste osobine preko metoda. U nekim primenjenim istraivakim kontekstima, prosto je nemogue meriti sve osobine svim eljenim metodama (da li bismo, npr., koristili neposredno posmatranje telesne teine). U mnogim primenjenim soci jalnim istraivanjima prosto nije izvodljivo da razliiti metodi budu eksplicitan deo istraivakog nacrta (npr. ispitivanje masovnih skupova i drugih pojava koje se odvijaju u realnom vremenu). Meutim, o pitanju metoda u tehnici MOMM e u kasnijim poglavljima biti vie rei. Drugo, dugo se smatralo da je u analizi MOMM matrice na raspolaganju jedino ekspertsko prosuivanje, to je verovatno delovalo protiv njene iroke primene (bez obzira na to to neki misle da je u tome njena snaga). Mnogi istraivai prieljkuju jedinstvenu meru za konstruktivnu valjanost u obliku, recimo, jednog koeficijenta - ekvivalentnog koeficijen- tu pouzdanosti. Pomou ekspertske procene MOMM matrice nije mogue kvantifikovati konstruktivnu valjanost u istraivanju. Konano, ako se oslonimo na ekspertske procene MOMM matrice, onda moramo prihvatiti da razliiti istraivai mogu legitimno doi do razliitih zakljuaka. Dakle, bez obzira na to to je veoma informativan u pogledu toga kako osobine i metodi moraju da koreliraju da bi se dokazala konstruktivna valjanost, MOMM metod pati od ozbiljnih tehnikih problema jer u originalnoj verziji nije imao egzaktan nain za analizu strukture matrice. Prema Smithu (1998), problem je u tome to su u redovima i kolonama matrice indikatori, a ne latentne varijable, a zapravo izvor svih korelacija, a pogotovo izvor valjanosti mogu biti jedino latentne crte o kojima je re. Modeli koji se danas koriste za objektivnu analizu MOMM matrice su npr. konfirmativna faktorska analiza i kauzalno modeliranje (SEM). Ove tehnike omoguuju da se analiziraju latentne crte, a pod hipoteza - ma koje postavlja MOMM. Meutim, pre objanjenja primene konfirmativne faktorske analize, pogledajmo kako Trochim predlae da se rei problem metoda u MOMM matrici. Nain na koji je on rezonovao je informativan i pomae razumevanju MOMM metodologije uopte, a bie koristan i za reformulaciju matrice kako bi se mogla aproksimirati pomou konfirmativne faktorske analize.

1.22. Problem metoda i modifikacija MOMM matrice odbaci vanjem faktora metoda
Kao to je spomenuto, jedan od najteih aspekata MOMM metoda sa stanovita imple- mentacije je taj to on zahteva ukljuivanje svih kombinacija osobina i metoda. Meutim, Trochim zapaa da ideja konvergentne i diskrimativne valjanosti zapravo ne zahteva faktor metoda. Da bi se ovo uoilo, pogledajmo ponovo slike kojima su ranije ilustrovana konver- gentna i diskriminativna valjanost. Obe slike smo objedinili na slici 24, kako bismo simultano objasnili konvergentnu i diskriminativnu validnost. Zamisliemo da imamo spomenuta dva konstrukta dominantnost i socijabilnost - svaki meren sa tri ajtema. Korelacije u gornjem levom i donjem desnom bloku na slici 24 su korelacije unutar konstrukata. One su odraz konvergentne validnosti i moraju biti visoke. Korelacije u suprotnoj dijagonali (gore desno i dole levo) su kros-konstruktne korelacije i reflektuju diskriminativnu validnost. One moraju biti znaajno nie nego to su konvergentni koeficijenti.
KONSTRUKT DOMINANTNOSTI KONSTRUKT

D1 D2 D3 S1 S2 S3
D1 D2 D3 S1 S2 S3 1,00 0,83 0,89 0,02 0,12 0,09 0,83 1,00 0,85 0,05 0,11 0,03 0,89 0,85 1,00 0,04 0,00 0,06 0,02 0,05 0,04 1,00 0,84 0,93 0,12 0,11 0,00 0,84 1,00 0,91 0,09 0,03 0,06 0,93 0,91 1,00

Slika 24 - MOMM matrica bez metoa

Vana stvar koju treba uoiti u ovoj matrici je da ona ne ukljuuje eksplicitno faktor metoda Osobine Indikatori Metodi kao prava MOMM matrica. Matrica ispituje i konvergentnu i diskriminativnu validnost (kao MOMM), ali eksplicitno tretira samo intra i inter relacije konstrukata. Moemo videti na ovom primeru da MOMM ideja u stvari ima dve glavne teme. Prva je da se simultano posmatraju sklopovi konvergencije i diskriminativnosti kako bi se procenila konstruktivna valjanost merenja. Ova ideja je slina po nameni onome to zahteva nomotoka mrea - da se analiziraju sklopovi meduodnosa koji proizlaze iz nae teorijske nomoloke mree. Druga ideja u MOMM istie metode kao mogue prljave faktore i znaaj procene njihovog uticaja. Sve ono to su rekli Campbell i Fiske, to je pokazano dosadanjom primenom MOMM metoda i to je potvreno kroz bogatu istraivaku praksu, potvruje znaaj metoda merenja kao faktora prljanja. Meutim, ak i ako se utvrdi da je varijansa metoda znaajna, isuvie je oekivati da jedna metodologija ima odgovor na oba pitanja: na

Slika 25.- Razdvajanje osobina i indikatora

pitanje valjanosti i na pitanje efekta metoda. ta onda da radimo sa faktorima metoda, pita se Trochim? Verovatno je najbolji nain bavljenja njima taj da se ponavljaju istraivaki projekti, umesto da se pokuava ukljuiti testiranje metoda u isto istraivanje. Tako, ako utvrdimo neki odreeni rezultat tokom merenja nekoliko osobina, moemo pokuati da vidimo da li emo doi do istih rezultata merei te osobine drugim sredstvima i drugim metodima. Na taj nain se evaluacija raznih metoda merenja premeta u problematiku generalizabilnosti, kako su to predloili Cronbach i saradnici (v. poglavlje VII.13), a uklanja iz domena konstruktivne validnosti. Kao to je u jednom od prethodnih pasusa spomenuto, Smith je zapazio da postoji izvesna terminoloka konfuzija, jer ono to se u MOMM matrici naziva osobinama predstavlja zapravo indikatore osobina. To se dobro vidi u predlogu Trochimove matrice bez metoda (slika 24), gde se D,, D2, S S2 itd. mogu tretirati kao indikatori (ajtemi, instrumenti) odgovarajuih konstrukata. Smith predlae dijagram meuodnosa osobina, metoda i njihovih indikatora kao na slici 25, na kome su prikazani svi odnosi koje predvia MOMM metod, ali tako da su osobine i metodi razdvojeni pojmom indikatora. Ovakav dijagram je neophodan da bi se pripremila konfirmativna faktorska analiza, jer se na osnovu njega moe formirati citjna matrica strukture, odnosno matrica hipoteze, prikazana u tabeti. Tabeta 28,- Hipotetika matrica strukture () Osobine Metodi Indikato ri 1 X2 X4 X5 X6 X7 X8 X9 A X X X X X X B C 1 X 23 X

X X X X X X X

X X

Sa su oznaena optereenja u matrici koja reflektuju alokaciju osobina i metoda po indikatorima i koja direktno proistie iz zahteva MOMM metoda da sve osobine budu ukrtene sa svim metodima. Broj indikatora je ovde minimalan, jedan za svaku kombinaciju osobine i metoda, ati se lako moe zamisliti i proizvoljno mnogo indikatora za svaku kom- binaciju. Ono to je vano, iz ove matrice hipoteze vidimo da osobine i metodi imaju status latentnih faktora, a indikatori status manifestnih varijabli. Ovu matricu strukture mora pratiti i modet matrice interkoretacija faktora (osobina i metoda), kao to je prikazano u tabeli. Tabeta 29,- Matrica kovarijansi/korelacija () faktora iz matrice

A A B C 1 2 3 1 Ol2
0,3 ,. 12 13

23

1
023 02mi 02m2 2m3

1
1 2

1 m,2
13

1
23

1
metodi. Smith nekoliko modela:

U ovoj tabeli su sa , oznaene osobine, a sa m; navodi da je na osnovu ove dve matrice mogue testirati 1. korelirane osobine i metode: 2. nezavisne osobine i metode, ali meusobno korelirane: 3. puna nezavisnost:

i i ( > 0
= = 0; > 0 ij mij " imj

~0

Ako kompariramo Smithove matrice i Trochimovu matricu ,,bez metoda, videemo da se radi o potpuno uporedivim stvarima. Trochimova matrica ,,bez metoda je zapravo matrica interkorelacija indikatora (u Smithovoj terminologiji), odnosno interkorelacija manifestnih varijabli. Radi se samo o blagom premetanju take gledita, sa rezultatima koji na prvi pogled izgledaju drastini. ini se da je Smithov naglasak na indikatorima vrlo koristan jer psihometrija dobro poznaje razliite naine merenja iste stvari i, kao takvi, razliiti indikatori iste stvari su eksplicitno teorijski modelirani u Tryonovoj teoriji uzorkova- nja iz domena, Guttmanovoj ima teoriji i teoriji generalizabilnosti Cronbacha i saradnika. Tu se na neki nain uvek pretpostavljao faktor metoda, tj. faktor instrumenta kao izvor (faceta) neeljene varijanse, iji iznos treba da se proceni ali prvenstveno da bi se eliminisao - tj. svrstao u varijansu greke. Smith navodi da je trei navedeni model - pune nezavisnosti - za psihologiju slabo primenljiv, jer se za veinu osobina iz domena sposobnosti i linosti pretpostavlja da kore- liraju. Smith, Hontangas i sar. (1997) i Xitao (1998) navode mnogo primera iz kojih se vidi da su konfirmativna faktorska analiza (KFA) i modeli strukturalnih jednaina (SEM) superiorna metodologija za obradu MOMM matrica (koriste se komercijalni softverski paketi kao to su Lisrel, Amos, EQS, Prelis itd.). Xitao u svom prikazu knjige kae da je iskustvo pokazalo da analiza MOMM matrice pomou KFA i SEM nije jednostavan i linearan proces. On navodi da tradicionalni model KFA za analizu MOMM matrice (kao to je gornji Smithov model) tretira i osobine i metode kao latentne faktore. Meutim, danas se smatra da je poboljanje postignuto time to se samo osobine tretiraju kao latentni faktori, dok se uticaj metoda reprezentuje pomou koreliranih unikviteta izmeu

indikatora.

McDonald (1999) smatra da je oblast kvantifikacije konstruktivne valjanosti putem MOMM matrice danas vrlo iva i dinamina i da je jo teko dati konane zakljuke. Zanimlji- vo je da on tvrdi da MOMM matrice tipino ne sadre indikatore konstrukta, ako konstrukte tretiramo kao apstraktne atribute koji poseduju odgovarajui domen indikatora. Taj stav potpuno odudara od iznete preporuke da se kombinacije osobina i metoda tretiraju jednostavno kao indikatori. Zbog nesumnjivog renomea autora nije mogue odbaciti taj stav, pogotovo zato to je verovatno baziran na tome da je metode teko koncipirati kao uzorak metoda iz mogueg domena (univerzuma) metoda - a to je sasvim tano. Da je koncept metoda ono to pravi probleme MOMM tehnologiji konstatuje i Mc- Donald. On kae da se u literaturi uglavnom mogu nai tri vrste metoda: a) razliiti ocenjivai, b) ponovljena merenja i b) razliiti naini skaliranja.3 Meutim, ispitivanje uticaja ponovljenih merenja nije jednako ispitivanju uticaja razliitih ocenjivaa, pa su i razliite statistike tehnike koje treba koristiti. Ako se, opet, usredsredimo na ono to se naziva grekom metoda", onda ve postoji prilino iskustvo sa tim pojavama i te greke se mogu svrstati u nekoliko glavnih grupa: halo efekat, socijalna poeljnost, odgovaraka usmerenja, neodluno ocenjivanje, ekspertska pristrasnost prilikom ocenjivanja i sl. Za identifikaciju takvih metodskih greaka, kae McDonald, matrica MOMM nije efikasna, osim ako se metodi paljivo ne uzorkuju (npr. tako da se ukljue procenjivai koji poznaju kandidate i koji ih ne poznaju, da bi se pokualo utvrditi prisustvo halo efekta).

Ta njegova klasifikacija naalost izgleda manjkavajer se student ve u ovom tekstu sree sa prime- rima razliitihpsiholokih testova kao razliitih metoda prikupljanja podataka, to su verovatno Camp - bell i Fiske imali u vidu kada su defmisali pojam metoda.
3