Rensa formulret

Bilaga2. Mall fr kvalitetsgranskning

av randomiserade studier
Granskningen av en studie gller i frsta hand studiekvalitet, dvs risk fr systematiska fel
och risk fr intressekonflikter (A). I den sammanvgda bedmningen av alla inkluderade
studier enligt GRADE inkluderar man ocks studiernas verensstmmelse (B), verfrbarhet (C), precision (D), publikationsbias (E), effektstorlek (F), dosresponssamband (G)
och sannolikhet att effekten r underskattad (H).
Frfattare: _____________________ r: __________ Artikelnummer: ___________
Alternativet oklart anvnds nr uppgiften inte gr att f fram frn texten. Alternativet
ej tillmpligt vljs nr frgan inte r relevant. Specificera i kommentarsfltet.

A. Granskning av studiens begrnsningar

Ja

Nej

Oklart

eventuella systematiska fel (bias)

Ej tilllmpligt

A1. Selektionsbias
a) Anvndes en lmplig randomiseringsmetod?
b) Om studien har anvnt ngon form av begrns
ning i randomiseringsprocessen (tex block, strata,
minimisering), r sklen till detta adekvata?
c) Var grupperna sammansatta p
ett tillrckligt likartat stt?
d) Om man har korrigerat fr obalanser i baslinje
variabler, har det skett p ett adekvat stt?
Kommentarer:
Bedmning av risk fr selektionsbias:

Lg / Medelhg / Hg

A2. Behandlingsbias
a) Var studiedeltagarna blindade?
b) Var behandlare/prvare blindade?
c) Var fljsamhet i grupperna acceptabel
enligt tillfrlitlig dokumentation?
d) Har deltagarna i vrigt behandlats/exponerats
p samma stt bortsett frn interventionen?
Kommentarer:
Bedmning av risk fr behandlingsbias:

utvrdering av metoder i hlso- och sjukvrden

Lg / Medelhg / Hg

en handbok

Bilaga 2:1

Bilaga 2

version 2012:2.1

Ja

A. Fortsttning

Nej

Oklart

Ej tilllmpligt

A3. Bedmningsbias (per utfallsmtt)

a) Var utfallsmttet oknsligt fr bedmningsbias?

Bilaga 2

b) Var de personer som utvrderade resultaten

blindade fr vilken intervention som gavs?
c) Var personerna som utvrderade utfallet opartiska?
d) Var utfallet definierat p ett lmpligt stt?
e) Var utfallet identifierat/diagnostiserat
med validerade mtmetoder?
f) Har utfallet mtts vid optimala tidpunkter?
g) Var valet av statistiskt mtt fr
rapporterat utfall lmpligt?
h) Var den analyserade populationen (ITT eller PP)
lmplig fr den frga som r freml fr studien?
Kommentarer:
Bedmning av risk fr bedmningsbias:

Lg / Medelhg / Hg

A4. Bortfallsbias (per utfallsmtt)

a) Var bortfallet tillfredsstllande lgt i
frhllande till populationens storlek?
b) Var bortfallet tillfredsstllande lgt i
frhllande till storleken p utfallet?
c) Var bortfallets storlek balanserad
mellan grupperna?
d) Var relevanta baslinjevariabler balanserade
mellan de som avbryter sitt deltagande
och de som fullfljer studien?
e) Var den statistiska hanteringen
av bortfallet adekvat?
f) Var orsakerna till bortfallet analyserade?
Kommentarer:
Bedmning av risk fr bortfallsbias:

Bilaga 2:2

Lg / Medelhg / Hg

utvrdering av metoder i hlso- och sjukvrden

en handbok

Ja

A. Fortsttning

Nej

Oklart

Ej tilllmpligt

A5. Rapporteringsbias
a) Har studien fljt ett i frvg
publicerat studieprotokoll?

Bilaga 2

b) Angavs vilket/vilka utfallsmtt som

var primra respektive sekundra?
c) Redovisades alla i studieprotokollet angivna
utfallsmtt p ett fullstndigt stt?
d) Mttes biverkningar/komplikationer
p ett systematiskt stt?
e) Redovisades enbart utfallsmtt som
angivits i frvg i studieprotokollet?
f) Var tidpunkterna fr analys angivna i frvg?
Kommentarer:
Bedmning av risk fr rapporteringsbias:

Lg / Medelhg / Hg

A6. Intressekonflikter
a) Freligger, baserat p frfattarnas angivna bind
ningar och jv, lg eller obefintlig risk att studiens
resultat har pverkats av intressekonflikter?
b) Freligger, baserat p uppgifter om studiens
finansiering, lg eller obefintlig risk att
studien har pverkats av en finansir
med ekonomiskt intresse i resultatet?
c) Freligger lg eller obefintlig risk fr
annan form av intressekonflikt (tex att
frfattarna har utvecklat interventionen)?
Kommentarer:
Bedmning av risk fr intressekonflikt:

utvrdering av metoder i hlso- och sjukvrden

Lg / Medelhg / Hg

en handbok

Bilaga 2:3

Bilaga 2

Sammanvgning av risk fr bias (per utfallsmtt)

Lg

Medelhg

A1. Selektionsbias

Lg / Medelhg / Hg

A2. Behandlingsbias

Lg / Medelhg / Hg

A3. Bedmningsbias

Lg / Medelhg / Hg

A4. Bortfallsbias

Lg / Medelhg / Hg

A5. Rapporteringsbias

Lg / Medelhg / Hg

A6. Intressekonfliktbias

Lg / Medelhg / Hg

Hg

Kommentarer:
Sammanfattande bedmning av risk fr systematiska fel (bias): Lg / Medelhg / Hg

Underlag fr sammanvgd bedmning enligt GRADE

B. Bristande verensstmmelse mellan studierna
Hanteras endast p syntesniv

C. Granskning av studiens verfrbarhet

Ja

Nej

Delvis

Ej tilllmpligt

a) verensstmmer sammanhanget och

kontrollgruppens villkor med den situation
som SBU/HTA-rapportens slutsatser avser?
b) r den inkluderade studiepopulationen
tillrckligt lik den population som SBU/
HTA-rapportens slutsatser avser?
c) r interventionen relevant fr de frhllanden
som SBU/HTA-rapportens slutsatser avser?
Kommentar:
Bedmning av brister i verfrbarhet:

D. Granskning av precision

Inga / Vissa / Stora

Ja

Nej

Delvis

Ej tilllmpligt

a) r precisionen acceptabel med hnsyn till antal

inkluderade individer och antal hndelser (utfall)?
Kommentar:

E. Granskning av publikationsbias
Hanteras endast p syntesniv

Bilaga 2:4

utvrdering av metoder i hlso- och sjukvrden

en handbok

F. Granskning av effektstorlek

Ja

Nej

Delvis

Ej tilllmpligt

Ja

Nej

Delvis

Ej tilllmpligt

a) Var effekten stor (tex RR <0,5 eller >2,0)?

b) Var effekten mycket stor (tex RR <0,2 eller >5,0)?

G. Granskning av dosresponssamband
a) Finns std fr ett dosresponssamband
mellan exponering och utfall?
Kommentar:

H. Sannolikhet att effekten r underskattad pga confounders

Inte aktuellt p RCT:er

Mall fr kvalitetsgranskning av
randomiserade studier: frklaringar
Granskningsmallen avser att ge ett systematiskt underlag med vars hjlp man kan
bedma risken fr att ett givet utfall man skattat i en studie systematiskt snedvridits
(bias) under forskningsarbetet. Konsekvensen av detta r att utfallet antingen underskattas eller verskattas jmfrt med ett sant utfall. ven utfallets riktning kan ha
missbedmts.
Syftet med mallen r att skapa ett systematiskt och transparent underlag fr att diskutera hur stor risken r att skattade utfall i en enskild studie r systematiskt snedvridna.
Ngon algoritm fr att rkna samman kvalitetspong erbjuds allts inte. Nr det gller
bedmningsbias (A3) och bortfallsbias (A4) behver granskningen ske per utfallsmtt
eftersom kvalitetsbrister/bias kan skilja sig fr olika utfallsmtt.
Fr att resultaten ska kunna anvndas fr evidensgradering enligt GRADE krvs ytterligare information i form av sammanstllningar p syntesniv, allts sammanvgning om
fler n en studie finns. I vissa fall kan sammanstllningar endast ske p syntesniv, tex
bristande samstmmighet (inconsistency), precision och publikationsbias.

utvrdering av metoder i hlso- och sjukvrden

en handbok

Bilaga 2:5

Bilaga 2

Kommentar:

A. Granskning av studiens begrnsningar eventuella systematiska fel

A1. Risk fr selektionsbias (selection bias)

Bilaga 2

Med selektionsbias avses systematiska fel som r relaterade till hur studien har
hanterat urval av frskspersoner (motsvarande) samt indelning i interventions- och
kontrollgrupper.
Risk fr selektionsbias freligger d interventionsgruppen respektive kontrollgruppen
inte r tillrckligt lika varandra vid baslinjen avseende knda svl som oknda risk-och
skyddsfaktorer. Det utfall man funnit i studien kan d tminstone delvis bero p dessa
skillnader och p s vis snedvrida resultatet. Randomiseringen br ske p ett ofrutsgbart stt och processen br inte vara mjlig att manipulera. Detta kan frhindras tex
genom att allokeringen sker med hjlp en datorgenererad slumptalsserie samt genom att
processen r maskerad tex med slutna kuvert.
Ibland begrnsas randomisering fr att stadkomma lika stora grupper (tex blockrandomisering) eller fr att skapa balans mellan grupperna avseende sdana egenskaper hos
deltagarna som kan pverka resultaten (tex stratifierad randomisering). Detta kan ka
frutsgbarheten avseende vilken grupp en given individ kommer att hamna i. Detta
gller speciellt om blocken r sm respektive om varje stratum innehller f personer.
A1d.

Post hoc-justering av utfallet baserat p skillnader i knda baslinjefaktorer r

kontroversiellt. Om det anvnds som ett stt att testa knsligheten av ett positivt
utfall r det okej, men fr att ndra ett negativt utfall i grundanalysen till ett
positivt krvs mycket hllbara argument.

A2. Risk fr behandlingsbias (performance bias)

Med behandlingsbias avses systematiska fel som r relaterade till hur personer som
tillhr interventions- respektive kontrollgruppen har behandlats i studien.
Risk fr behandlingsbias freligger d interventions- eller kontrollgruppen exponeras
fr ngot annat n det som jmfrelsen syftar till att mta, tex annan behandling mot
aktuell sjukdom n godknd standardbehandling. Det utfall man funnit i studien kan
d tminstone delvis bero p dessa skillnader och p s vis snedvrida resultatet.
Om man vill skatta effekten av en given behandling br kontrollgruppen (placebo- eller
obehandlad kontroll) exponeras fr exakt samma sak som behandlingsgruppen bortsett
frn sjlva behandlingen. Om annat frekommer kan effekten som redovisas i studien
verskatta eller underskatta den sanna effekten, detta gller ven effektens riktning, dvs
risk fr behandlingsbias freligger.

Bilaga 2:6

utvrdering av metoder i hlso- och sjukvrden

en handbok

Skillnader kan avse felaktig behandling, ofullstndig behandling, behandlingsavbrott,

tillgg utanfr studieprotokollet mm. Risken fr bias kan minska om behandlare och
patienter r ovetande om gruppindelningen (blindad studie) och om det finns strukturerad kontroll av implementeringen (tex en checklista eller en manual).
A2a/b. Det r nskvrt att bde patienter, prvare (och utvrderare, se A3b) r blindade
i en studie. Ibland kan det av praktiska skl vara svrt eller omjligt att dlja
fr prvare och/eller patient vilken behandling som ges. Blindningen kan ocks
misslyckats pga karakteristiska effekter eller biverkningar av aktiv behandling,
exempelvis muntorrhet vid behandling med neuroleptika och underlivsbldningar vid behandling med strogen. I vissa fall r det mjligt att ge biverkningsmotverkande medel som tillgg till aktiv behandling fr att minska risken
fr att blindningen ventyras. Andra faktorer som kan frsvra blindningen r
bristande likhet mellan tabletter, inhalationspreparat etc avseende utseende eller
smak. En stor placeboeffekt i kontrollgruppen kan tala fr en lyckad blindning. I vissa studier lter man studiedeltagarna gissa om de ftt aktiv behandling
eller kontroll.
A2c. Kontroll av fljsamheten r srskilt viktig d det saknas en signifikant effektskillnad i utfall mellan grupperna. En bristande fljsamhet kan minska svl
interventionens effekter som bieffekter. Detta r allts extra viktigt vid s kallade
non-inferiority(inte smre n)-studier men om interventionen har en signifikant effekt r kontroll av fljsamheten ofta av mindre betydelse. Undantag r
om det var smre fljsamhet i gruppen som fick referensbehandling. Det senare
r tnkbart i en placebokontrollerad studie om blindningen varit otillrcklig,
alternativt om en referensbehandling har mycket hgre frekvens av biverkningar.

A3. Risk fr bedmningsbias (detection bias)

Med bedmningsbias avses systematiska fel som r relaterade till hur studien har hanterat genomfrande av mtningar och analys av resultat.
Risk fr bedmningsbias freligger d det finns skillnader i hur utfallen i interventionsrespektive kontrollgruppen bestms. Det utfall man funnit i studien kan d tminstone
delvis bero p dessa skillnader och p s vis snedvrida resultatet. Bedmningsbias, och

utvrdering av metoder i hlso- och sjukvrden

en handbok

Bilaga 2:7

Bilaga 2

Om man vill skatta effekten av en behandling jmfrt med en alternativ (aktiv)

behandling br ingen av grupperna exponeras fr ngot annat n det som ingr i de
bda behandlingarna. Om annat frekommer kan effekten i studien verskatta eller
underskatta den sanna effektskillnaden, detta gller ven effektens riktning, dvs risk
fr behandlingsbias frekommer.

drmed studiekvaliteten som helhet, kan vara olika fr olika utfallsmtt i en och samma
studie. Bedmning under A3 kan drfr behva gras separat fr olika utfallsmtt i
samma studie.

Bilaga 2

A3a.

Risken fr bias kar ju mer subjektiva inslag som finns i bedmningen av utfallet. Medan verlevnad/dd r robusta utfallsmtt r symtomskalor och livskvalitetsmtningar mycket knsliga fr bias och i princip oanvndbara i oblindade
studier.

A3b. Frutom att den som utvrderar studien r blindad r det ocks viktigt att det
framgr av beskrivningen att all resultatbearbetning utfrdes innan prvningskoden brts.
A3c.

I randomiserade studier r ju ofta prvare och utvrderare samma personer, men

i strre hgkvalitativa studier finns ibland oberoende kommitter (DSMB) som
tar stllning till och utvrderar utfallet.

A3d. Hr handlar det ofta om hur s kallade kompositmtt, dvs kombinerade utfallsmtt, r sammansatta eller vilken koppling till klinisk relevans som finns fr
olika surrogatmtt.
A3e.

Om mtningen sker med hjlp av en standardiserad metod som validerats med

avseende p den aktuella populationen minskar risken fr bias.

A3f.

Val av mttidpunkt fr att optimera mjligheten att upptcka en skillnad i utfall

r srskilt viktigt i s kallade non-inferiority-studier.

A3g. De vanligaste mtt som anvnds fr dikotoma variabler, exempel janej-variabler,

r riskkvot (risk ratio, RR), oddskvot (odds ratio, OR), absolut riskreduktion/
riskskillnad (risk difference) och number needed to treat (NNT). Hazard
ratio (HR) anvnds fr att analysera risken ver tid. Fr kontinuerliga variabler
anvnds vanligen absolut skillnad i medelvrde (difference in means, mean
difference) alternativt definieras grnsen fr respons och utfallet rapporteras
som responder rate. Alla mtten (helst differensen mellan grupperna) ska redovisas med lmpligt precisionssmtt, fretrdesvis 95 procents konfidensintervall.
A3h. Resultaten kan analyseras enligt intention to treat (ITT) och/eller per protokoll
(PP). En ITT-analys innebr att alla personer som randomiserats fljs upp inom
sin behandlingsarm oavsett om de ftt tilldelad behandling eller inte och r oftast
den metod som br anvndas. Om resultaten r berknade p annat stt n med

Bilaga 2:8

utvrdering av metoder i hlso- och sjukvrden

en handbok

A4. Bortfallsbias (attrition)

Med bortfallsbias avses systematiska fel som r relaterade till hur studien har hanterat
bortfall, dvs personer som har gtt med p att delta i en underskning men som lmnar
denna innan den fullbordas.
Risk fr bortfallsbias freligger d det finns skillnader i bortfallet mellan interventionsoch kontrollgruppen. Det utfall man funnit i studien kan d tminstone delvis bero p
dessa skillnader och p s vis snedvrida resultatet. Ett generellt stort bortfall, skillnader
i bortfallstorlek samt framfr allt orsaksskillnader till bortfall kar risken fr bias. Det
bortfall som bedms hr avser bortfall efter randomisering. Man kan aldrig rkna med
att bortfall r slumpmssigt. Om sammansttningen av personer i bortfallet inte skiljer
sig frn dem som finns kvar i studien, r dock en bttre situation n om det finns signi
fikanta skillnader. Nedanstende exempel kan tjna som grova riktvrden:

litet (<10 %)
mttligt (1019 %)
stort (2029 %)
mycket stort (30 %). Underskningen bedms ofta sakna informationsvrde
vilket kan innebra att studien br exkluderas.

Bortfallet mste ocks stllas i relation till storleken (och skillnaden) i utfallet. Ju lgre
utfall desto strre problem ven med sm bortfall.
Bortfallet kan variera mellan olika tidpunkter i en studie och mellan olika utfallsmtt.
Bortfallet r ofta strre ju lngre tid som har gtt. Drmed kan behandlingsresultaten
frn de sista besken vara av tveksam validitet, medan resultaten frn de frsta besken
kan vara giltiga.
A4e.

Vid analys av studier med bortfall anvnds olika s kallade imputeringsmetoder

(dvs hur man erstter missade mtningar, tex last observation carried forward
(LOCF), observed cases (OC) eller interpoleringar). Det r viktigt att utfall
med olika imputeringsmetoder redovisas alternativt att man anvnt den metod

utvrdering av metoder i hlso- och sjukvrden

en handbok

Bilaga 2:9

Bilaga 2

ITT finns det risk fr att behandlingseffekten blir verskattad. ITT-analysen kan
kompletteras med en knslighetsanalys enligt worst case scenario dr smsta
tnkbara utfall tillskrivs saknade patienter i den grupp som uppvisar bst effekt
och bsta tnkbara utfall tillskrivs saknade patienter i den grupp som uppvisar
smst effekt. Ibland (speciellt non-inferiority-studier) r det viktigt att ven en
PP-analys redovisas, vilket innebr att bara de som fljt hela studieprotokollet
ingr i analysen.

som r minst gynnsam fr utfallet (konservativ). Detta kan frvisso gra att
storleken p effekten underskattas. I s kallade non-inferiority-studier ska man
tvrtom anvnda den imputeringsmetod som gynnar utfallet eftersom man
annars kan komma fram till en felaktig slutsats om frnvaro av effekt/skillnad.

Bilaga 2

A5. Rapporteringsbias (reporting bias)

Med rapporteringsbias avses systematiska fel som r relaterade till hur studien har hanterat rapportering i relation till sitt protokoll.
Det utfall man funnit i studien kan tminstone delvis bero p att endast vissa resultat
rapporteras, medan andra inte rapporteras. Utfallet riskerar d att svl verskattas som
underskattas. ven utfallets riktning kan ha pverkats.
A5a.

Det r inte ovanligt att studier med negativa resultat inkluderar frklarande
efteranalyser (explanatory- eller post hoc-analyser) fr att tex finna vissa subgrupper inom den studerade patientgruppen som kan ha nytta av behandlingen.
Dessa analyser kan fylla en viktig hypotesgenererande funktion, men slutsatserna
i en negativ studie fr aldrig baseras p sdana analyser. Nr en studie visar ett
positivt utfall fr sitt primra utfallsmtt r dremot subgruppsanalyser av stort
vrde fr att bedma generaliserbarheten av resultatet.

A5c/d. ven om redovisade utfallsmtt r rimliga, definierade i frvg och adekvat rapporterade kan det finnas andra viktiga utfallsmtt som utelmnats. Oftast gller
det utfallsmtt fr att bedma biverkningar/risker.
A5f.

Det r viktigt att inte fler analyser av studien n vad som angetts i protokollet
(och den statistiska planen medger) gjorts. Det r ocks viktigt att det framgr
om den redovisade analysen r en slutanalys eller en frplanerad interimsanalys.
Ad hoc interimsanalyser r sjlvklart mycket problematiska speciellt i ppna
studier dr de kan misstnkas vara datadrivna.

A6. Intressekonfliktbias (other considerations)

Om frfattare till studien kan vinna ngot p ett givet resultat, s kan detta medfra
en verskattning eller underskattning av effekten i den riktning som frfattaren skulle
vinna p.

Sammanvgning
Fr att dimensionen studiebegrnsningar ska kunna beaktas nr ett betyg stts fr ett
sammanvgt utfallsmtt med hjlp av GRADE, krvs att alla ovanstende former av risk
fr bias vgs samman. Detta sker med frdel i diskussion i expertgrupp.

Bilaga 2:10

utvrdering av metoder i hlso- och sjukvrden

en handbok

B. Bristande verensstmmelse mellan studierna (heterogeneity)

Hanteras p syntesniv.

C. Bristande verfrbarhet (indirectness of evidence)

Om population, intervention, kontrollalternativ eller utfallsmtt avviker frn dem som

specificerats i SBU/HTA-versikten freligger verfrbarhetsproblem. Det utfall man
funnit i studien kan d tminstone delvis avvika frn det sanna utfallet med avseende
p hur population, intervention, kontrolla lternativ eller utfallsmtt har specificerats
i versikten. Utfallet kan allts underskattas svl som verskattas, vilket ven gller
utfallets riktning.
Det r betydligt viktigare att studiepopulationen motsvarar den population man vill
dra slutsatser om i SBU/HTA-rapporten, n om studiepopulationen inte r represen
tativ med avseende p syftet i den enskilda studien (tex beroende p bortfall fre
randomiseringen).
Fr att dimensionen verfrbarhet ska kunna beaktas nr ett betyg stts med hjlp av
GRADE fr ett sammanvgt utfallsmtt, krvs att ingende studier beaktas som en
helhet.

D. Bristande precision (imprecision)

Hr beaktas tv aspekter av precision. Fr det frsta, om syftet r att testa om interventionen r bttre n kontrollvillkoret rcker det hr med att studera om konfidensintervallet
tcker linjen fr ingen skillnad (1 vid binra utfallsmtt samt 0 vid kontinuerliga
utfallsmtt). Tcks denna linje r precisionen bristande. Resultaten i Superior, Noninferior B och Inferior har god precision i detta avseende (FigurB2.1). Fr det andra,
om syftet r att testa huruvida interventionen inte r smre n kontrollinterventionen
(ofta rrande biverkningar), krvs ven en i frvg kliniskt definierad grns fr hur
mycket smre interventionen fr vara utan att det r ett problem (suggested appreciable
harm, kliniskt relevant skillnad). Om konfidensintervallet inte tcker denna grns r precisionen god och man kan d dra slutsatsen att interventionen inte var smre n kontroll
interventionen. I FigurB2.1 har grnsen satts till 1,25. Tre exempel p resultat som kan
illustrera detta r Superior, Non-inferior A samt Non-inferior B. Exempel p dlig
precision utgrs av Imprecise A och Imprecise B. Observera att datakvaliteten r viktig
vid bedmning av precisionen i non-inferiority-utfall. Exempelvis kan en dlig rapportering av biverkningar gra att resultatet ser ut att vara lika i bda behandlingsarmarna.

utvrdering av metoder i hlso- och sjukvrden

en handbok

Bilaga 2:11

Bilaga 2

Med verfrbarhet avses mjligheten att tillmpa studiens upplgg, diskussion och
resultat p de frhllanden som SBU/HTA-rapporten avser.

Bilaga 2

FigurB2.1 Illustration av olika tester med skogsdiagram (forest plot).

Finns det fler studier som r lmpliga att vga samman ska det sammanvgda
konfidensintervallet beaktas.

E. Publikationsbias
Hanteras endast p syntesniv.

F. Effektstorlek
Hanteras i frsta hand p syntesniv. Om ingende studiers kvalitet har franlett
nedgradering kan uppgradering fr effektstorlek komma ifrga endast efter noggrann
vervgning.

G. Dosresponssamband
Sammanvgs p syntesniv. Av praktiska skl kan det vara bra att notera resultatet fr
den enskilda studien i granskningsmallen.

H. Sannolikhet att effekten r underskattad pga confounders

Inte aktuellt p RCT:er.

Bilaga 2:12

utvrdering av metoder i hlso- och sjukvrden

en handbok