Meta-elemzések kritikai

értékelése
Horváth Zsolt – horvath.zsolt@ppk.elte.hu
A klinikai és egészségpszichológiai kutatások módszertana
(PSZM17-KE-107)

(Részben Koncz Ádám diasora alapján)

Meta-elemzések
• Hasonló célú és hasonló kérdésre választ kereső vizsgálatok adataiból
készült összevont, összegező elemzés, mely általában a
szakirodalomban megjelent közleményeken alapul.
• Segít, hogy ne egyetlen tanulmány eredményeire vagy azok narratív
összefoglalására támaszkodjunk egy adott jelenség megértésében
• Felfedi a tanulmányok közötti módszertani és eredményekből származó
hasonlóságokat és különbségeket, azok okait
• Lehetőség a pontosabb és hitelesebb következtetések levonására (pl.
terápia hatékonysága, kapcsolat erőssége)
• Publikációs torzítások felfedezése (pl. hiányzó tanulmányok azonosítása)
Meta-elemzések
• Áttevődik a hangsúly az egyes tanulmányokban mért szignifikancia
szintről a hatásnagyságra és konfidencia intervallumra
• Lehetséges téves következtetések
• p ≥ 0.05 nincs hatás
• p <0.05 egy jelentős nagyságú hatást jelez (Rosnow és Rosenthal, 2003)
• Statisztikai szignifikanciát befolyásolja mind a kapcsolat nagysága mellett a
minta nagysága is.
• Több olyan eredmény, mely ugyanabba az irányba mutat, még ha nem
is szignifikánsak, sokkal erősebb bizonyíték lehet mint egyetlen
szignifikáns eredmény
Meta-analízis protokollok
• Előregisztráció:
• Tanulmány alapjainak megállapítása és kutatási kérdés megfogalmazása
• Torzítások elkerülése (pl. „HARKing” – hipotézis alkotás az eredmények ismeretében,
meta-elemzések esetén a beválasztási kritérium utólagos módosítása): a priori
elemzési tervek
• Duplikáció elkerülése

• PRISMA irányelvek: előírások arra vonatkozóan, hogy a meta-elemzések

közlése során milyen részeket tartalmazzon a tanulmány
• Beválasztási kritériumok (pl. résztvevők, intervenció típus, kimeneti
mérések, design), keresési stratégia, lehetséges moderátor változók, kódolás
előre meghatározása
PRISMA checklist
Irodalom keresése és adatgyűjtés
• Megfelelő kereső szavak és keresési limitációk azonosítása
• Túl széles keresési definíció: túl sok, irreleváns találat
• Túl szűk keresési definíció: fontos tanulmányok nem kimaradhatnak
• Logikai segítő szavak alkalmazása (AND, OR)  pl. „(meditat* OR mindful*)
AND (experiment* OR “randomized controlled” OR “randomized control” OR
“randomised controlled” OR “randomised control” OR RCT)”

• Többfajta adatbázisban történő keresés (pl. PubMed, PsychInfo)

• Adott területen leginkább releváns források kiválasztása
• Duplikált keresés futtatása kettő vagy több adatbázisban egyszerre
• Megfelelő tanulmányok hivatkozási listájának átnézése
Irodalom keresése és adatgyűjtés
• Kezdeti keresés nagy számú tanulmány megtalálását eredményezheti
• Duplikált találatok kizárása
• Cím vagy absztrakt már jelezheti, hogy a beválasztási kritériumnak nem felel
meg az adott tanulmány  kizárás
• Megfelelőnek tűnő tanulmányok: teljes szöveg vizsgálata

• Annak jelzése, hogy az egyes keresési feltételekkel pontosan hány

cikket sikerült kizárni, valamint az egyes szűrési feltételekkel / milyen
okból lettek kizárva a tanulmányok  vizsgálat reprodukálhatósága
• PRISMA flow diagram

• Tanulmányok keresésének időbeli intervalluma

PRISMA Flow chart
Kekecs, Nagy & Varga, 2014
Publikációs torzítás
• Statisztikailag jelentős, "pozitív" eredmények esetén:
• Nagyobb valószínűséggel kerül publikálásra (publikációs torzítás)
• Valószínűbb, hogy gyorsan közzéteszik (idői torzítás)
• Nagyobb valószínűséggel angol nyelven jelenik meg (nyelvi torzítás)
• Valószínűbb, hogy többször is megjelentethetik (többszörös publikációs
torzítás)
• Valószínűbb, hogy mások idézik (idézettségi torzítás)
További fontos tanulmányok felkutatási
lehetősége
• Megfelelő tanulmányok hivatkozásai alapján
• Szerzőkkel és a terület szakértőivel való kapcsolatfelvétel (pl. nincs
elég információ a hatásméret kiszámolásához)
• Nem-publikált, „szürke” irodalom keresése  publikációs torzítás
csökkentése, DE módszertani minőség sokszor alacsonyabb
• Nem szignifikáns eredmények
• Konferencia előadások, absztraktok keresése
• Doktori disszertációk
• Nem angol nyelvű tanulmányok kutatása  legtöbbször elérhető
angol nyelvű absztrakt
Beválasztási- és kizárási kritériumok
• A beválasztott tanulmányok eltérhetnek az alábbi tényezők mentén (PICOS):
• Résztvevők jellemzői (Participants – pl. csak felnőttek, csak depresszióval
diagnosztizáltak, bármilyen személy)
• Intervenciók típusai (Interventions – pl. meditáció, CBT)
• Kontroll csoport típusai (Comparisons – pl. kontroll kondícióban aktív foglalkozás
történik, vagy waitlist elrendezés)
• Mérési módszerek, kimeneti változók, adatok feldolgozása és statisztikai
eredmények (Outcomes – pl. alkalmazott mérőeszközök, tesztek)
• Tanulmányok design-ja (Study Design – pl. csak RCT tanulmányok)
• Eltérések a fenti szempontok mentén  csökken az általánosíthatóság
• Moderátor tényezők azonosítása, kódolása és elemzése (pl. módszertani
különbségekből fakadó hatásméret különbségek)
Beválasztási- és kizárási kritériumok
Kódolás
• Független kódoló személyek
• Beválasztás és kiválasztás meghatározása
• Annak okainak pontos dokumentálása
• Előre kiválasztott kritériumok dokumentálása  amelyik tényező nem
kerül kódolásra előzetesen, később már nem kerülhet be az elemzés
fókuszába
• Egyéb tényezők dokumentálása (pl. szerző felkeresésének
szükségessége)
Elemzés
• A meta-analízisben szereplő, végső tanulmányokba bekerülhetnek jó és
rossz minőségű tanulmányok is  cikkek súlyozása módszertani erősség
szempontjából (pl. mintaméret, kérdéses változók mérése, zavaró
tényezők kontrollálása, pszichometriai és módszertani minőség)
• A tanulmányok főbb jellemzőinek kódolása táblázatban  pontenciális
moderátorok azonosítása
• Mintaméret (intervenció, kontroll)
• Átlagéletkor, Nemi arány
• Résztvevők típusai (egészséges, klinikai)
• Intervenció típusai
• Alkalmazott mérőeszközök
Tanulmányok minőségének értékelése
(Kekecs, Nagy & Varga, 2014)
Tanulmányok minőségének súlyozása
Meta-analízis modellek
• Rögzített hatásmodell (fixed effect model): hasonló jellemzőkkel (pl.
ugyanolyan populáció vizsgálata) bíró tanulmányok és azonos kimeneti
mutatók esetében használható
• Véletlenszerű hatásmodell (random-effect model): figyelembe veszi az
intervenciók és résztvevők esetében megtalálható változatosságot,
feltételezi, hogy más-más hatások tükröződnek az egyes tanulmányokban

• Választás háttere: tanulmányok között jellemző homogenitás feltételének

megléte
• Homogenitás: rögzített hatásmodell
• Heterogenitás: véletlenszerű hatásmodell
Heterogenitás vizsgálata
• Q-statisztika: a megfigyelt hatásméretek mentén tapasztalható valódi heterogenitás
vizsgálata; annak az aránya, hogy a teljes heterogenitás mekkora mértéke tulajdonítható a
valódi tanulmányok közötti varianciának
• Szignifikáns eredmény esetén: a tanulmányok nem mutatnak közös hatásméretet  Véletlenszerű
hatásmodell
• I2 mutató: a megfigyelt hatásméret mutatókban tapasztalható homogenitás/heterogenitás
%-os mértékét mutatja meg: nagyobb érték növekvő heterogenitásra utal
• 25% - alacsony; 50%: mérsékelt; 75%: magas mértékű heterogenitás

• Baujat-plot: a heterogenitás tesztek nem tartalmaznak arra vonatkozó információt, hogy

mely tanulmányok befolyásolják azt nagyobb mértékben
• X: heterogenitás, Y: tanulmány hatása
• Jobb felső negyed
Baujat plot
Forest plot
• A vizsgálata bevont tanulmányok hatásméreteinek és CI-nak
ábrázolása
• Heterogén tanulmányok ábrázolása: nagyobb négyzettel jelzett
tanulmányok fokozottan hozzájárulnak az összesített hatásméret
mutatóhoz
Forest plot
Publikációs torzítás
• Funnel plot: lehetséges publikációs torzítás ábrázolása
• X: hatásméret, Y: standard hiba, függőleges vonal: összesített hatásméret
• Kisebb standard hibával bíró tanulmányok (precízebb) az ábra felső részében
találhatóak, ill. közelebb a függőleges vonalhoz
• Egyenlő mértékű eloszlás várható a függőleges vonal két oldal mentén
• Irodalomból hiányzó tanulmányok felismerése (pl. szignifikáns negatív
összefüggés hiánya)

• Pl.: nem-szignifikáns tanulmányok kevésbé valószínű, hogy publikálásra

kerülnek  szignifikáns pozitív összesített hatás (jobbra tolódott
függőleges vonal)  aszimmetria: több tanulmány jobb oldalon (5B)
Funnel plot
Fail safe N
• „Bukásbiztos elemszám”: hány nem szignifikáns eredményt felmutató
tanulmány tudná az eredményeket nem szignifikánssá tenni?
Moderátor elemzés
• Nagy mértékű variancia lehet az eredmények között
• A moderátor elemzésen keresztül megérthetjük, hogy miért mutatnak
különböző eltéréseket az egyes tanulmányok (pl. életkor, intervenciós
technikák, módszertani tényezők)  Szenzitivitás vizsgálat: hogyan
befolyásolják az egyes típusú tanulmányok az összegzett
eredményeket, hogyan változik a hatásméret mutató a tanulmányok
alcsoportjában
• Meta-regressziós módszerrel, tanulmányok csoportosításával
feltárhatóak a heterogenitás okai
Köszönöm a figyelmet!