• Et systematisk redskab til at:

• Fokusere klinisk relevante

problemstillinger

• Vurdere kvaliteten af
sundhedsvidenskabelig
evidens

• Transparens i processen
fra evidens til anbefaling

• Klar adskillelse mellem

kvaliteten af evidensen og
styrken af anbefalingen

Grading of Recommendations Assessment,

Development and Evaluation
 y of
es ies it
s tion m file q
l
ua for
qu
e es ce tco tud e
at e p r o
ro te e e
m an Ou oss s Ra denc tcom Randomization
te tco po
r t Cre denc ADEp
u la
to
u im acr evi h GR evi h ou increases initial
rm l e c te eac
Fo S e R a wit quality
1. Risk of bias
Outcome Critical

Grade down
P High  2. Inconsistency
I Outcome Critical Moderate O 3. Indirectness
Low OO 4. Imprecision
C Outcome Important
5. Publication
Very low OOO
O Outcome Not im bias
po
rt a Summary of findings 1. Large effect
nt

Grade up
& estimate of effect 2. Dose
for each outcome response

t
3. Opposing bias

Inpu
Evidence synthesis &
Confounders
Recommendation
Panel Grade overall
Grade recommendations quality of evidence
• For or against (direction)  across outcomes based on
• Strong or conditional/weak (strength) lowest quality
of critical outcomes
By considering balance of:
 Quality of evidence
Guideline
 Balance benefits/harms Formulate Recommendations ( | …)
 Values and preferences • “The panel recommends that ….should...” ( | …)
Revise if necessary by considering: • “The panel suggests that ….should...” (? | …)
 Resource use (cost) • “The panel suggests to not ...” (? | …)
2
• “The panel recommends to not...” ( | …)
Evidens fra guidelines

Søgning Guidelines

GRADE Har anvendt

GRADE
Har ikke anvendt
GRADE

AGREEII Høj kvalitet Lav kvalitet Høj kvalitet Lav kvalitet

Søgninger,
Søgninger, estimater,
KR
estimater og
evidensvurderinger og Referencer Referencer
evidens-
GRADE tabeller
vurderinger
AGREE-II: Et værktøj til at vurdere guidelines
AGREE-II (Appraisal of Guidelines REsearch and
Evaluation)
 Et værktøj til at vurdere kvaliteten af kliniske guidelines
 Udarbejdes online (www.agreetrust.org) af 2-4 arbejdsgruppemedlemmer inkl. fagkonsulent
 Koordineres af fagkonsulenten
 Fokuser på metodemæssige validitet
 Dyk ned i metode-referencer
 Dyk ned i tidligere versioner
-II instrumentet
Består afaf23
trumentetOpbygning emner
AGREE-II fordelt på
instrumentet 6 hovedområder
1. Afgrænsning og formål (item 1-3)

2. Inddragelse af interessenter (item 4-7)

3. Rigiditeten i udarbejdelsen (item 8-14)

4. Klarhed og præsentation (item 15-18)

5. Anvendelighed (item 19-21)

6. Redaktionel uafhængighed(item 22-23)

Anvendelse af eksisterende guidelines i KR
Kliniske Spørgsmål (PICO)

 Indirekte brug i NKR:

Identificer evidens (Studier)
 Omhandler PICO
 Anvender ikke GRADE
 Høj kvalitet Generer estimater for hvert effektmål
 Opdateret

 Evidens vurderes i Vurder kvaliteten af evidens for hver

effektmål
henhold til GRADE

 Arbejdsgruppen Vurder den samlede evidens

udarbejder anbefalinger
i henhold til danske
værdier og præferencer Formuler anbefaling
 • Søgning
Eksisterende • Estimater
• Evidensvurderinger
retningslinjer • GRADE tabeller

• Søgning
Systematiske • Estimater
• Evidensvurderinger
oversigtsartikler • GRADE tabeller

• Estimater
Primærstudier • Vurdering af risiko
for bias
Evidens fra systematiske reviews

Søgning Systematiske
reviews

GRADE Har anvendt

GRADE
Har ikke anvendt
GRADE

AMSTAR Høj kvalitet Lav kvalitet Høj kvalitet Lav kvalitet

Søgninger,
Søgninger, estimater,
NKR evidensvurderinger
og GRADE tabeller
Referencer
estimater og
evidens-
vurderinger
Referencer
AMSTAR (A Measurement Tool to Assess
Systematic Reviews)
 Et værktøj til at vurdere kvaliteten af systematiske reviews

 Fokuser på metodemæssige validitet

 Udarbejdes af min. 2 arbejdsgruppemedlemmer

Anvendelse af eksisterende systematiske review i
KR Kliniske Spørgsmål (PICO)
 Direkte brug i NKR:
 Besvarer PICO Identificer evidens (Studier)
 Anvender GRADE
 Høj kvalitet (AMSTAR)
Generer estimater for hvert effektmål
 Opdateret

 Arbejdsgruppen Vurder kvaliteten af evidens for hver

effektmål
udarbejder anbefalinger i
henhold til danske
værdier og præferencer
Vurder den samlede evidens

Formuler anbefaling
Anvendelse af eksisterende systematiske review i
KR Kliniske Spørgsmål (PICO)
 Indirekte brug i NKR:
 Omhandler PICO
Identificer evidens (Studier)
 Anvender ikke GRADE
 Høj kvalitet (AMSTAR)
 Opdateret Generer estimater for hvert effektmål

 Evidens vurderes i henhold til

Vurder kvaliteten af evidens for hver
GRADE effektmål

 Arbejdsgruppen udarbejder
Vurder den samlede evidens
anbefalinger i henhold til
danske værdier og præferencer
Formuler anbefaling
 • Søgning
Eksisterende • Estimater
•
retningslinjer •
Evidensvurderinger
GRADE tabeller

• Søgning
Systematiske • Estimater
•
oversigtsartikler •
Evidensvurderinger
GRADE tabeller

• Estimater
Primærstudier • Vurdering af risiko for
bias
Anvendelse af primær litteratur Kliniske
i KRSpørgsmål (PICO)
 Brug i NKR:
 Omhandler PICO
Identificer evidens (Studier)

 Opsummering af resultater om
Generer estimater for hvert effektmål
muligt ved meta-analyse

 Evidens vurderes i henhold til Vurder kvaliteten af evidens for hver

effektmål
GRADE

 Arbejdsgruppen udarbejder Vurder den samlede evidens

anbefalinger i henhold til

danske værdier og præferencer Formuler anbefaling
Kritisk vurdering af primær litteratur
Individuelle studiers risiko for bias skal vurderes ved hjælp af checklister. CfKR anbefaler følgende
validerede checklister:
Studiedesign Checkliste Kilde
Randomiserede forsøg Cochrane Risk of Bias Tool http://handbook.cochrane.org/
JBI RTC http://ohg.cochrane.org/sites/o
CASP RCT hg.cochrane.
org/files/uploads/Risk%20of
%20bias%20as sessment
%20tool.pdf

Non-Randomized Studies of Cochrane Risk of Bias tool

Interventions (herunder bl.a. NRS
quasi eksperimentelle studier, JBI NRS
kohortestudier, case control
studier) observationelle
studier

Diagnostiske tests QUADAS-2 http://www.bris.ac.uk/

quadas/quadas-2/
Cochrane RISK OF BIAS TOOL
- 7 spørgsmål

- Har til sigte af afdække risiko for selektionsbias, performance bias, detection bias, attrition bias, reporting
bias og andre bias.

- Rangeres efter ”High risk of bias”, ”Unclear risk of bias” og ”Low risk of bias”.
 Bias i randomiserede forsøg

Eligibility
assesment

Randomization Selection bias

Intervention Control Performance bias

Follow-up Follow-up Attrition bias

Analyses Analyses Detection bias

17
 Selection bias
Systematiske baseline forskelle mellem grupperne

Random sequence generation

Allocation concealment

18
 Performance bias
Systematiske forskelle i behandlingen mellem
grupperne ud over interventionen

Blinding af deltagere og personale

19
 Detection bias
Systematiske forskelle i hvorledes effekter måles

Blinding af dem, der måler effekterne

20
 Attrition bias
Systematiske forskelle i frafaldet

Klinisk relevant indvirkning?

21
 Selective outcome reporting
Systematiske forskelle mellem rapporterede og ikke
rapporterede resultater

22
GRADE processen
Kliniske Spørgsmål (PICO)

Identificer evidens (Studier)

Generer estimater for hvert effektmål

Vurder kvaliteten af evidens for hver effektmål

Vurder den samlede evidens

Formuler anbefaling
23
• Et randomiseret forsøg med manglende blinding, risiko for
selektionsbias grundet manglende skjult allokering og stort frafald
nedgraderes to niveauer (very serious), hvorimod et randomiseret
forsøg alene med moderat frafald vil nedgraderes et niveau (serious).
 Methodological Inconsistency Indirectness Imprecision Publication
limitations of results of evidence of results bias

• Inkonsistens af resultaterne. Typisk bruges et mål for heterogenicitet

til at vurdering inkonsistens af resultaterne. I2 test er bl.a. er sådan
test som bruges i meta-analyser(desto højere inkonsistens desto mere
bør man overveje at nedgradere til meget alvorligt(very serious))
• 0% to 40%: might not be important;
• 30% to 60%: may represent moderate heterogeneity;
• 50% to 90%: may represent substantial heterogeneity;
• 75% to 100%: considerable heterogeneity
 Heterogenicitet
Neurological or vascular complications
or death within 30 days of endovascular
treatment (stent, balloon angioplasty) vs.
surgical carotid endarterectomy (CEA)
 Methodological Inconsistency Indirectness Imprecision Publication
limitations of results of evidence of results bias

Relaterer evidensen sig ikke direkte til ens kliniske spørgsmål foretages
en nedgradering. Indirekte evidens kan have to baggrunde: 1. man
ønsker at sammenligne to behandlinger overfor hinanden, men de
enkelte behandlinger er kun sammenlignet overfor placebo. 2. Der er
forskelle i population, intervention, kontrolgruppe eller den måde
effekterne er målt på mellem det kliniske spørgsmål og de
tilgrundliggende studier.
 Methodological Inconsistency Indirectness Imprecision Publication
limitations of results of evidence of results bias

• Hvis effekt-estimatet er unøjagtigt, dvs. konfidensintervallet er bredt,

foretages en nedgradering. Det vurderes, om konfidensintervallet
overlapper den mindste relevante forskel og om man ville komme
med forskellige anbefalinger i hver sin ende af konfidensintervallet.
Der vil også som udgangspunkt blive nedgraderet, hvis der kun er et
studie.
Methodological Inconsistency Indirectness Imprecision Publication
limitations of results of evidence of results bias

Publikations bias er når der er risiko for at vi ikke får det

sande samlede estimat, grundet manglende publisering
af studier. Da det typisk er de ikke signifikante studier, er
der er risiko for at vi overvurderer den samlede effekt af
en behandling, da vi ‘kun’ slå effekten af alle de
signifikante sammen.
Outcome Risk of Bias Inconsistency Indirectness Impresision Publication Bias

Outcome 1
Studie 1
Studie 3
Studie 4

Samlet Outcome 1
Outcome 2
Studie 2
Studie 4
Samlet outcome 2
Outcome 3
Studie1
Studie 4
Samlet outcome 3
Outcome Stor effekt Dosis respons Modsatrettede
counfounding og bias
Outcome 1
Studie 1
Studie 3
Studie 4

Samlet Outcome 1
Outcome 2
Studie 2
Studie 4
Samlet outcome 2
Outcome 3
Studie1
Studie 4
Samlet outcome 3
Lowering confidence in RCTs
Gradering af observationelle studier
Reduced sodium intake compared to usual sodium intake for patients with Heart Failure

Patient or population: Patients with Heart Failure

Settings: Hospital
Intervention: Reduced sodium intake

Comparison: Usual Sodium Intake

Outcomes Illustrative comparative risks* Relative No of Quality of the Comments

(95% CI) effect Participants evidence

Assumed risk Corresponding risk (95% CI) (studies) (GRADE)

Usual salt Salt reduction

intake

Mortality Study population OR 2.24 2382 ⊕⊕⊕⊕

Follow-up: 1-57 179 per 1000 329 per 1000 (1.81 to 2.79) (4 studies) high
months (284 to 379)

Moderate

Readmission Study population OR 2.53 2382 ⊕⊕⊕⊕

Follow-up: 1-57 180 per 1000 358 per 1000 (2.12 to 3.03) (4 studies) high
weeks (318 to 400)

Moderate

*The basis for the assumed risk (e.g. the median control group risk across studies) is provided in footnotes. The
corresponding risk (and its 95% confidence interval) is based on the assumed risk in the comparison group and the relative
effect of the intervention (and its 95% CI).

CI: Confidence interval; OR: Odds ratio;

GRADE Working Group grades of evidence

High quality: Further research is very unlikely to change our confidence in the estimate of effect.
Moderate quality: Further research is likely to have an important impact on our confidence in the estimate of effect and may
change the estimate.
Low quality: Further research is very likely to have an important impact on our confidence in the estimate of effect and is likely
to change the estimate.
Very low quality: We are very uncertain about the estimate.
Balancen mellem effekt og Der er ikke beskrevet hverken skadevirkninger eller benefits i de inkluderede materialer
skadevirkninger
Der mangler studier der specifikt ser på bivirkninger af behandlingen. Det er af klinikere nævnt, at behandlingen med HILT
medfører at der udvikles høj varme, hvilket kunne medføre brandsår. Dette er ikke rapporteret i de identificerede studier, men bør
undersøges.

Kvaliteten af evidensen Kvaliteten af den identificerede evidens er høj, men er ikke direkte anvendelig relateret til det stillede PICO, og
svarer dermed ikke på spørgsmålet.

Værdier og præferencer Set i forhold til den byrde og indvirkning på den enkelte patients livsførelse og livskvalitet, bør det være god praksis at
overveje anvendelse af HILT fremfor LLLT

Det skønnes at mange patienter vil i situationen finde den foreslåede behandling god og vil tage imod den.

Det skønnes at de fleste klinikere i situationen vil ordinere/anvende interventionen

Andre overvejelser Der mangler systematisk og veludført forskning på dette område.
Der bør sættes forskning i gang, der kan medvirke i udviklingen af en evidensbaseret tilgang til indførelse af etisk
velfunderede interventioner

Der er ikke identificere cost bennefitstudier, hvorfor der ikke i nærværende arbejde er foretaget økonomiske kalkuler.

Der er imidlertid taget hensyn til følgende indlæg, der advarer mod brugen af HILT.
https://blog.thorlaser.com/more-class-iv-laser-therapy-misinformation/
og følgende der advokerer for anvendelse HILT

http://www.biotechindia.net/pdfs/product2016catalo-1130cf301521746.pdf

Det bør nøje overvejes om der er forretningsmæssige problematikker involveret i relation til LLLT og HILT.
Dette er sandsynligt tagt det meget begrænsede antal studier i betragtning
ConQual Summary of
Findings and
CERQual
GRADE

CONQual CERQual
• ‘confidence’ in the qualitative • Confidence in the Evidence from
synthesized finding Reviews of Qualitative research;
 pålidelighed og troværdighed.

This ranking system then allows synthesized findings to be

downgraded based on their
dependability and credibility. (pålidelighed og troværdighed)

Downgrading for dependability may occur when the appraisal

criteria relevant to dependability are not met (a subset of
criteria from the JBI-QARI/ NOTARI
critical appraisal checklist)
QARI
Five questions of the JBI-QARI checklist 10 are viewed as specifically relating to the concept of
dependability in qualitative research. These are:
- Is there congruity between the research methodology and the research question or objectives?

- Is there congruity between the research methodology and the methods used to collect data?

- Is there congruity between the research methodology and the representation and analysis of
data?

- Is there a statement locating the researcher culturally or theoretically?

- Is the influence of the researcher on the research, and vice-versa, addressed?

 1. IS THERE CONGRUITY BETWEEN THE S TAT E D PHILOSOPHICAL PERSPECTIVE AND THE RESEARCH
METHODOLOGY?

JBI checklist 2 Is there congruity between the research methodology and the research question or objectives?

QARI 3. Is there congruity between the research methodology and the methods used to collect data?

4. Is there congruity between the research methodology and the representation and analysis of data?

5. Is there congruity between the research methodology and the interpretation of results?

6. Is there a statement locating the researcher culturally or theoretically?

7. Is the influence of the researcher on the research, and vice- versa, addressed?

8. Are participants, and their voices, adequately represented?

9. Is the research ethical according to current criteria or, for recent studies, and is there evidence of ethical approval by an appropriate body?

10. Do the conclusions drawn in the research report flow from the analysis, or interpretation, of the data?
 Skal der down grades her?

Studie Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10 Q11

Sanchez,
V. G.5 y y y y n n n n n Y Y
Chung et
al. 1 y y y Y n n n n n Y Y
Zwijsen
SA, et al. 2 y y y Y n n n n n Y Y
Yusif S,et
al. y y y y n n n n n Y y
If 4-5 of the responses to these questions are yes, the synthesized finding remains at the level
it is currently. If 2-3 of these responses are yes, it moves down one level (i.e. from High to
Moderate). If 0-1 of these responses are yes, it moves down two levels (from High to Low, or
Moderate to Very Low). 10

Downgrading for credibility may occur when not all the findings included in a synthesis are
considered unequivocal.

Unequivocal: findings accompanied by an illustration that is beyond reasonable doubt

and; therefore not open to challenge

Credible: findings accompanied by an illustration lacking clear association with it and

therefore open to challenge

Unsupported: findings are not supported by the data.

ConQual

Systematic review title: The patient experience of high technology medical imaging: a systematic review of the qualitative evidence

Population: Persons who had undergone high technology medical imaging

Phenomena of interest: The meaningfulness of a patients experience of undergoing diagnostic imaging using high technology

Context: Male and Female Adult Patients presenting to a medical imaging department

Synthesized Finding Dependability Credibility Comments

Type of research ConQual Score

Qualitative Downgrade 1 Downgrade Low *Downgraded one level due to

dependability of primary studies
level* 1 level ** **Downgraded one level due to
People undergoing imaging often expect a equivocal findings

health issue to be found during their scan,

which can then lead to anxiety and worry
Hvis du virkelig vil vide mere:

http://www.gradeworkinggroup.org/