NECA

NECA
체계적 문헌고찰 매뉴얼

NECA's guidance for undertaking systematic reviews
and meta-analyses for intervention
Copyright Ⓒ 한국보건의료연구원, 2011. All rights reserved. First edition.
본 매뉴얼은 공공 소유로서 비영리 목적으로의 인용, 배포 및 복제는 한국보건의료연구원의

별도의 승인 없이도 가능합니다. 그러나 특정 그림이나 표의 경우 원저작권자의 승인 없이는
사용할 수 없습니다.
NECA 체계적 문헌고찰 매뉴얼

인쇄: 2011년 8월 24일 초판 1쇄 발행
발행인: 허대석
발행처: 한국보건의료연구원
서울시 종로구 원남동 28-7 창경빌딩
Tel. 02-2174-2700
Homepage: www.neca.re.kr
ISBN 978-89-94581-59-0
Copyright Ⓒ National Evidence-based Healthcare Collaborating Agency, 2011.
First edition.
Published by NECA
August 2011
All rights reserved. Reproduction of this book by photocopying or electronic means for non-
commercial purposes is permitted except those copyrighted materials noted for which
further reproduction is prohibited without the specific permission of copyright holders.
Otherwise, no part of this book may be reproduced, adapted, stored in a retrieval system or
transmitted by any means, electronic, mechanical, photocopying, or otherwise without the
prior written permission of NECA.
Comments and suggestions on the NECA’s guidance for undertaking systematic reviews
and meta-analyses for intervention can be made at www.neca.re.kr
집필진 (가나다순)
본 매뉴얼은 다음과 같이 인용될 수 있습니다.
김수영, 박지은, 서현주, 이윤재, 손희정, 장보형, 서혜선, 신채민.

NECA 체계적 문헌고찰 매뉴얼. 한국보건의료연구원. 2011.
Suggested citation:
SY Kim, JE Park. HJ Seo, YJ Lee, BH Jang, HJ Son, HS Suh, CM Shin. NECA’s guidance
for undertaking systematic reviews and meta-analyses for intervention. National
Evidence-based Healthcare Collaborating Agency, 2011.
김수영 교수
한림대학교 의과대학 가정의학교실
한국보건의료연구원 전문연구위원
박지은 선임연구사
한국보건의료연구원 보건의료분석실 의료기술분석팀
서현주 조교수
조선대학교 의과대학 간호학과
전 한국보건의료연구원 보건의료분석실 의료기술분석팀 책임연구원
서혜선 연구교수
연세대학교 약학대학
전 한국보건의료연구원 보건의료분석실 의료기술분석팀 책임연구원
손희정 연구사
신채민 부연구위원
이윤재 책임연구원
장보형 책임연구원
발간사
근거중심 보건의료제도 수립을 위하여 한국보건의료연구원에서 지난 2년여 동안 연구를 수행
하기 위해 근거를 확보하는 과정에서 가장 중요한 연구방법론은 ‘체계적 문헌고찰’이었다.
보건의료분야의 문제를 해결하기 위해 연구를 할 때, 이론적으로 가장 좋은 방법은 전향적무작위

배정 임상연구를 통하여 특정 치료법의 유효성을 대조군과 비교해 보면 된다. 문제는 근거수준
이 높은 임상연구는 수행하기도 쉽지 않고 긴 시간이 소요되는 반면, 정책결정은 짧은 시간 내에
정리된 결과를 요구한다는 점이다.
전문가들의 의견을 자문 받으면 쉽게 해결될 수 있을 것으로 생각하지만, 최근 많은 정보들이

지속적으로 생성되고 있어 전문가라도 파악하고 있는 정보에는 한계가 있고, 특정 사안에 대하여
견해가 상이한 경우가 드물지 않게 관찰되었다. 이 같은 맥락에서 연구 자료들을 체계적으로
정리하여 근거자료로 활용할 수 있게 하는 연구방법론이 필요하게 되었고, 그 방법론은 연구자에
상관없이 재현가능한 객관성을 요구하고 있다. 다행히 인터넷을 이용하여 문헌정보 검색이 쉽게
가능해 지면서, 이 연구방법론은 보건의료분야에서 근거를 수집 정리하는 핵심연구기법이 되었다.
이미 외국에서 체계적 문헌고찰 연구방법론을 정리한 책자들이 발간되어 있음에도 이를 활용

하여 국내에서 연구를 수행함에 적지 않은 어려움이 있었고 또 국내 연구결과도 수용하여야 하는
등의 특수성이 있어, 한국보건의료연구원에서 실질적으로 연구과제를 수행하면서 겪었던 경험에
기초하여 새로이 매뉴얼을 발간하게 되었다.
이번에 발간된 매뉴얼은 현시점에서 활용 가능한 문헌정보를 이용하는 최선의 방법이 무엇인가에
대하여 정리한 것이고, 이 분야의 연구방법론을 완벽하게 정리한 최종적인 책자라고 생각하지는
않는다. 특히, 일반 국민들까지도 보건의료 정보에 접근하는 것이 점점 용이해지면서, 연구 자료가
충분히 축적되지 않은 분야의 문제까지도 근거분석을 요구받는 상황이 증가하고 있는 현재 상태
를 고려한다면, 향후 이용가능한 정보원을 신속히 확대해 나가는 노력과 함께 연구방법론도 지속
적인 개선이 필요할 것이다.
한국보건의료연구원은 보건의료분야의 근거평가 작업이 보다 체계적으로 이루어지도록 체계적

문헌고찰과 같은 연구방법론 연구에 대한 지원을 계속할 예정이며, 이번에 발간된 매뉴얼이
이같은 연구노력을 활성화시키는 시발점이 되기를 기원한다.
2011년 8월
한국보건의료연구원 원장
허대석
머리말
“우리는 과학적 근거제시를 통해 국가의료자원의 효율적 이용과 국민의 건강을 지키고 향

상시키는데 기여한다.” 이것은 한국보건의료연구원의 비전입니다. 이러한 비전을 실현하
기 위해서는 결국 과학적인 근거를 제시하여야 합니다. 그러면 과학적 근거는 어떻게 제시
해야 할까요. 일반적으로 과학적 근거는 근거의 합성과 근거의 생성을 통해 제시되며, 근거
의 합성은 주로 체계적 문헌고찰이라는 과정을 통해 이루어집니다.
체계적 문헌고찰은 “특정 연구 질문에 대답을 얻기 위해 질 높은 문헌 근거를 체계적으로

확인, 평가, 합성하는 연구 방법론”으로 정의할 수 있습니다. 체계적 문헌고찰은 근거중심
의학의 핵심적 요소이며 체계적 문헌고찰에 대해 올바르게 이해하고 실제 진료 현장이나
평가에 적용하는 것이 보건의료의 핵심적인 요소가 되고 있습니다.
체계적 문헌고찰에서 얻어진 근거가 의학적 근거 중 가장 강력하다고 할 수는 있지만 모든

체계적인 문헌고찰의 결과가 신뢰할만하다고 할 수 있는 것은 아니며 모든 체계적 문헌고
찰이 최선의 연구 방법론을 적용하여 수행된다고 볼 수도 없습니다. 더구나 우리나라의 경
우 체계적 문헌고찰의 경험이 짧고 표준적인 연구 방법론에 대한 확산이 미흡하여 이러한
현상은 더더욱 두드러집니다. 아울러 한국보건의료연구원에서 출판되는 체계적 문헌고찰
보고서의 경우에도 방법론 및 결과 보고 방법에 편차가 존재하고 있습니다. 이러한 문제로
인해 우리나라에서 체계적 문헌고찰이 필요한 만큼 수행되지 못하고, 완성된 체계적 문헌
고찰도 올바른 비평, 활용, 적용 등이 제대로 이루어지지 않는 상황이 발생하기도 합니다.
이러한 점에서 체계적 문헌고찰의 과정을 따라 할 수 있을 정도로 자세하게 설명하고 연구
가 진행되는데 난관이 되는 점을 잘 지적해주는 체계적 문헌고찰 매뉴얼이 필요하다고 할
수 있습니다.
한국보건의료연구원은 연구원에서 시행되는 체계적 문헌고찰의 일관성과 질을 향상시키

고 전체적인 수준이 국제적 표준에 이르도록 하기 위하여 체계적 문헌고찰 매뉴얼을 개발
하였습니다. NECA 체계적 문헌고찰 매뉴얼은 체계적 문헌고찰의 표준적 과정이라고 할 수
있는 프로토콜 작성, 문헌검색, 해당연구 선택, 자료 추출, 비뚤림 위험 평가, 자료 합성, 등급화,
보고서 작성의 각각의 과정에서 표준적으로 수행되어할 내용을 중심으로 기술하였으며 체계적
문헌고찰 방법론의 국제적 흐름에 부합하고 우리나라 실정에 맞도록 개발하였습니다. 기술 방식
은 교과서 형식 (Cochrane Handbook, Centre for Reviews and Dissemination manual 등)과 단
순 매뉴얼의 중간 형태를 취하고 직접 보고 따라할 수 있는 실용적 매뉴얼이 되도록 실제적 팁을
수록하였고, 최근 이슈가 되는 몇 가지 사안(이미 출판된 체계적 문헌고찰의 이용, 신속평가, 관련
정보원)에 대해서도 정리하여 기술하였습니다.
현 시점에서 체계적 문헌고찰 매뉴얼은 몇 가지 방법론에 대해 표준적인 과정을 제시하고 있습니다.

첫째, 문헌분류입니다. 연구 문헌의 경우 크게 실험연구와 관찰연구로 구분되기는 하지만 세부적
인 분류 체계에 대해 다소 이견이 존재합니다. 문헌 분류는 추후 적용되는 비뚤림 위험 평가와 곧
바로 연결되기 때문에 표준적인 분류 체계가 제시되어야 합니다.
둘째, 비뚤림 위험 평가 도구입니다. 비뚤림 위험 평가는 체계적 문헌고찰의 주요 부분이지만 적
용되는 도구에 따라 결과가 달라질 수 있고 동일한 도구를 적용하더라도 표준적인 방법으로 평가
하지 않으면 그 결과가 달라질 수 있습니다.
셋째, 체계적 문헌고찰의 보고지침입니다. 보고지침은 연구디자인에 따라서 제목, 초록, 서론, 방
법, 결과, 고찰 등에 반드시 들어가야 하는 내용에 대한 지침으로 최근 연구의 질 강조와 함께 중
요한 화두로 등장하고 있습니다. 체계적 문헌고찰을 보고할 때 어떠한 내용이 들어가야 하는지에
대한 표준적인 방법론이 필요합니다.
넷째, 근거수준 결정 방법론입니다. 근거수준은 현재까지의 근거로 해당 중재의 효과에 대해 확
신하는 정도를 말하며 표준적인 방법론에 의해 투명하게 제시하는 것이 요청되고 있습니다.
이 매뉴얼의 일차적인 목적은 한국보건의료연구원에서 시행되는 체계적 문헌고찰의 표준적 과

정을 제시하는 것입니다. 하지만 한국보건의료연구원 이외에서 시행되는 체계적 문헌고찰에 적
용될 수도 있습니다. 하지만 이런 경우 문헌분류, 비뚤림 위험 평가도구, 보고 지침 등을 자원이나
상황에 맞게 선택하여 적용할 수 있습니다.
향후 이 매뉴얼은 실제적인 체계적 문헌고찰의 경험이 축적되면서 한국보건의료연구원 혹은 우

리나라 상황에 더 적합하도록 수정될 것입니다. 이 책을 만드는데 많은 수고를 하신 한국 보건의
료연구원 박지은연구원, 이윤재연구원, 장보형연구원, 손희정연구원, 신채민연구원, 조선대학교
간호학과 서현주 교수님과 연세대학교 약학대학 서혜선 교수님께 감사드리며, 매뉴얼 개발에 자
문을 주신 고려대학교 의과대학 이준영 교수님, 서울대학교 의과대학 한서경 교수님께도 감사드
립니다. 아울러 책 발행에 물심양면 지원을 아끼지 않으신 허대석원장님께도 감사를 드립니다.
2011년 8월
김수영
일러두기
1. NECA 체계적 문헌고찰 매뉴얼은 한국보건의료연구원 의료기술분석팀에서 체계적 문헌
고찰 연구 수행 시 참고할 수 있는 방법론을 정리한 한국보건의료연구원의 공식 매뉴얼
입니다. 본 매뉴얼에서 사용하기로 한 여러 도구는 모두 타당도 검증(validation)이 이루
어진 도구이며, 매뉴얼 개발 방법 및 개발 방향에 대한 정보는『체계적 문헌고찰 및 임상
진료지침 매뉴얼 개발』보고서를 참고할 수 있습니다.
(한국보건의료연구원 성과확산센터 http://ktic.neca.re.kr/ktic/)
2. 본 매뉴얼은 『중재법』에 대한 체계적 문헌고찰에 한하여 적용할 수 있도록 개발된 매뉴얼

이며 『진단법』혹은 『질적연구』, 『이상반응』등의 주제에 대한 체계적 문헌고찰에는 적용
하지 않도록 합니다.
3. 본 매뉴얼은 한국보건의료연구원에서 수행하는 체계적 문헌고찰 연구 시 따라야 하는

(mandatory) 통일된 방법론이나 연구 상황에 따라 수정 적용하여 사용할 수도 있습니다.
수정 적용 시 그 사유를 남기도록 권장합니다.
4. 본 매뉴얼은 한국보건의료연구원을 제외한 다른 기관이나 단체, 연구진이 체계적 문헌고찰

연구 수행 할 때에도 사용할 수 있으며 연구 상황에 따라 적절히 수정 적용하여 사용하되,
본 매뉴얼에 대한 출처를 밝히도록 합니다.
5. 본 매뉴얼은 기본적으로 연구 방법론과 그동안의 노하우 (know-how) 를 정리한 tips로 구성

되어 있습니다. Tips의 경우 자료원, 적용 방법 등이 한국보건의료원에 맞추어 기술되어
있으므로 외부에서 적용할 때는 이를 고려하여야 합니다.
6. 본 매뉴얼은 한국보건의료연구원 홈페이지에서 pdf 형태로 다운로드가 가능합니다.

(http://www.neca.re.kr)
7. 본 매뉴얼은 주기적으로 개정될 예정이며 본 매뉴얼과 관련된 문의 및 건의사항은 한국

보건의료연구원(neca@neca.re.kr)으로 해주시기 바랍니다.
목차
발간사
머리말
일러두기
PART Ⅰ. 체계적 문헌고찰

1. 개요 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1
2. 연구기획과 프로토콜 작성 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 5
3. 문헌검색 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 19
4. 문헌선택 및 분류 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 47
5. 자료추출 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 57
6. 비뚤림 위험 평가 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 65
7. 자료분석과 결과제시 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 93　

8. 근거수준 평가와 결론의 도출 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 101 　
9. 보고서 작성 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 117
PART Ⅱ. 메타분석
1. 메타분석의 개요 및 자료종류 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 129
2. 메타분석 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 137
3. 이질성(Heterogeneity) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 159
4. 보고 비뚤림(Reporting bias) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 173 　
5. 민감도 분석(Sensitivity analysis) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 185 　
부록
1. 이분형 자료의 요약 통계량 계산식 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 195　
2. 연속형 자료의 요약 통계량 계산식 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 197
3. 메타분석을 위한 소프트웨어 특성 비교 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 198
4. RevMan에서 분석 가능한 메타분석 요약 통계량 · · · · · · · · · · · · · · · · · · · · · · · 199
PART Ⅲ. 체계적문헌고찰과 관련된 주요 이슈들

1. 기존의 체계적 문헌고찰의 활용(Using Existing Systematic Reviews) · · · · 203　
2. 신속 체계적 문헌고찰(Rapid systematic reviews) · · · · · · · · · · · · · · · · · · · · 211 　
부록
부록 1. 체계적 문헌고찰 보고 지침(PRISMA) · · · · · · · · · · · · · · · · · · · · · · · · · · · · 220　
부록 2. 체계적 문헌고찰의 질평가 도구(AMSTAR) · · · · · · · · · · · · · · · · · · · · · · · 226　
부록 3. 연구설계별 검색필터(Search filters) · · · · · · · · · · · · · · · · · · · · · · · · · · · · 230　
부록 4. 보건의료 자료 정보원(Healthcare Information Resource) · · · · · · · · · 242　
PART1.
체계적 문헌고찰
1. 개요 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1
1.1. 연구기획과 프로토콜 개발 · · · · · · · · · · · · · · · · · · · 2
1.2. 체계적 문헌고찰 수행 · · · · · · · · · · · · · · · · · · · · · · · 3
1.3. 보고서 작성 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3
1.4. 개정(Update) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3　
2. 연구기획과 프로토콜 작성 · · · · · · · · · · · · · · · · · · 5
2.1. 체계적 문헌고찰의 기획 · · · · · · · · · · · · · · · · · · · · · 5　
2.2. 프로토콜의 작성 · · · · · · · · · · · · · · · · · · · · · · · · · · · 8
2.3. 프로토콜에 대한 자문 및 프로토콜 등록 · · · · · · 16　
2.4. 프로토콜의 개정 · · · · · · · · · · · · · · · · · · · · · · · · · · 16　
3. 문헌검색 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 19
3.1. 체계적 문헌고찰 검색과 관련된 기본 개념 · · · · · 19
3.2. 검색원 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 24
3.3. 검색어와 검색전략 · · · · · · · · · · · · · · · · · · · · · · · · 31

3.4. Ovid 인터페이스를 이용한 문헌검색 · · · · · · · · · 32
3.5. 적용예시 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 44
4. 문헌선택 및 분류 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 47
4.1. 문헌선택과 배제를 위한 pilot test · · · · · · · · · · · · · · 47
4.2. 문헌선택 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 48 　
4.3. 문헌배제 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 49 　
4.4. 문헌분류 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 53 　
5. 자료추출 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 57
5.1. 자료추출과 pilot test · · · · · · · · · · · · · · · · · · · · · · · · · 57
5.2. 자료추출 항목 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 58
5.3. 자료추출 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 59
5.4. 자료추출과 자료변환(converting) · · · · · · · · · · · · · · · 61
6. 비뚤림 위험 평가 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 65
6.1. 비뚤림 위험 평가란? · · · · · · · · · · · · · · · · · · · · · · · · · · 65 　

6.2. 비뚤림 위험 평가 도구들의 종류 · · · · · · · · · · · · · · · · 65 　
6.3. 무작위배정 비교임상시험의 비뚤림 위험 평가 · · · · 66
6.4. 비무작위 연구의 비뚤림 위험 평가 · · · · · · · · · · · · · · 72
6.5. 비뚤림 위험 평가의 분석 반영 방법 · · · · · · · · · · · · · · 76 　
7. 자료분석과 결과제시 · · · · · · · · · · · · · · · · · · · · · · · · · 93
7.1. 자료분석 방법 결정 · · · · · · · · · · · · · · · · · · · · · · · · · · · 93 　
7.2. 결과제시 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 94
8. 근거수준 평가와 결론의 도출 · · · · · · · · · · · · · · · · · 101

8.1. 근거수준 평가 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 101
8.2. GRADE · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 103

8.3. 결론의 도출 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 113 　
9. 보고서 작성 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 117
9.1. 보고지침(Reporting guidance) · · · · · · · · · · · · · · · · 117

9.2. 보고서 작성 형식과 RevMan · · · · · · · · · · · · · · · · · · 124
1. 개요
PART1. 체계적 문헌고찰

요약
• 체계적 문헌고찰은 특정 연구 질문에 답하기 위해 사전에 정해진 선정기준에 맞는 모든 근거
를 수집하여 분석하는 연구 방법이다.
• 체계적 문헌고찰은 명확하고 체계적인 방법을 이용해 비뚤림을 최소화하여야 한다.
• 체계적 문헌고찰은 일반적으로 연구기획과 프로토콜 개발, 체계적 문헌고찰 수행, 보고서
작성, 개정 (update)의 과정을 거친다.
PART2. 메타분석
체계적 문헌고찰(systematic reviews)은 특정 연구 질문에 대해 최선의 가용 가능한 연구 결과
를 종합하는 연구 방법이다. 체계적문헌고찰은 체계적이고 포괄적인 문헌검색과 사전에 정해진
포함/배제기준에 따른 문헌선택, 선정된 문헌에 대한 비뚤림 위험 평가 등의 엄격하고 객관적인
연구 과정을 거친다. 체계적 문헌고찰은 다른 연구와 마찬가지로 해당 분야의 임상전문가, 방법
론 전문가, 통계학자 등의 다양한 전문가가 협력해야 하는 다학제적인(multi-disciplinary) 연구
방법론이다.
메타분석은 체계적 문헌 고찰과 혼용되어 쓰이기도 하지만 정확히는 체계적 문헌고찰에서 선정

된 일차 연구에서의 근거가 양적으로 합성이 가능한 경우 이를 통계적으로 합성하는 연구방법
PART3. 체계적 문헌고찰과 관련된 주요 이슈들

으로, 체계적 문헌고찰에서만 이용되는것은 아니다. 개별 환자 자료를 정량적으로 합성하는
메타분석(individual patient data meta-analyses, IPD)의 경우, 자료를 정량적으로
합성한다는것은 동일하나 일차 연구들에서 추출된 자가 아닌 개별 환자 원시자료(raw data)가
대상이라는 점이 다르다.
일반적으로 종설 또는 문헌고찰(reviews)은 체계적 문헌고찰과 비체계적 문헌고찰 (narrative

review)로 구분되며 비체계적 문헌고찰은 문헌 검색,포함/배제 기준에 따른 연구선정, 비뚤림
위험 평가, 연구결과 합성 등의 체계적인 방법론을 사용하지 않은 경우를 말한다. 이러한 관계
를 그림으로 나타내면 그림 1-1과 같다.
부　록
체계적 문헌고찰 매뉴얼  1

1. 개요 개별환자데이터를
2. 연구기획과 프로토콜 작성
이용한 메타분석
3. 문헌검색
4. 문헌선택 및 분류
(IPD)
5. 자료추출
6. 비뚤림 위험 평가
7. 자료분석과 결과제시
8. 근거수준 평가와 결론의 도출
9. 보고서 작성 메타분석
(Meta-analysis)
체계적문헌고찰
(systematic reviews)
모든 review
(overview 라고도 함)
그림 1-1. 종설/고찰(review)의 분류
일반적으로 체계적 문헌고찰은 프로토콜(연구계획) 개발, 프로토콜 등록,

체계적 문헌고찰 수행, 보고서 작성 및 개정(update)의 과정을 거치며
각 항목에 대한 간단한 소개는 다음과 같다.
1.1. 연구기획과 프로토콜 개발

체계적 문헌고찰 계획서를 작성하는 단계로서 어떤 방법으로 검색을 하고
어떠한 기준으로문헌을 선정할 것이며 비뚤림 위험 평가, 자료추출, 자료
합성 등은 어떻게 할 예정인지 세부 방법까지 확정한다. 연구하고자 하는
주제의 전문가와 방법론 전문가가 함께 참여하는 것이 바람직하다.
1.2. 체계적 문헌고찰 수행
체계적 문헌고찰은 다음의 단계로 수행된다.
(1) 문헌검색: 관련 데이터베이스에서 명확하고 재현 가능한 검색전략으로 검색을 수행하는단계
(2) 문헌선택: 명확한 포함/배제 기준에 따라 문헌을 선정하는 단계
(3) 문헌분류: 선정된 문헌에 대해 연구설계를 분류하는 단계
(4) 자료추출: 포함된 문헌에 대해 필요한 값들을 체계적으로 추출하고 코딩하는 단계
PART2. 메타분석
(5) 연구의 비뚤림 위험 평가: 각 연구설계에 맞게 개발된 비뚤림 위험 평가 도구를 사용
하여 선정된 연구의 비뚤림 위험을 평가하는 단계
(6) 자료분석과 결과제시: 정성적 합성 또는 정량적 합성(가능한 경우에만)을 수행하고 그 결과

를 표와 그림 등으로 제시하는 단계
(7) 근거수준 평가와 결론도출: 분석된 자료를 바탕으로 해당 중재의 효과에 대해 확신할 수 있는
정도를 평가하고 결론을 내리는 단계
특히 (2)~(5) 단계의 경우 반드시 두 명 이상의 검토자(연구자)가 독립적으로 중복하여 수행하는

것이 중요하다.
1.3. 보고서 작성
체계적 문헌고찰 보고서 작성을 할 때는 PRISMA 그룹이 제시한 체계적 문헌고찰 보고지침
(reporting guideline)을 참고하여 작성하는 것을 추천한다.
1.4. 개정 (Update)
새로운 연구들이 발표되면서 해당 주제에 대한 결론이 달라질 수 있으므로 일정 시간이 지나면
다시 검색하여 체계적 문헌고찰에 포함되는 연구를 추가하기도 한다. 체계적 문헌고찰을 수행
한 연구자가 연구 결과를 갱신하는 경우가 일반화되지 않았고 그 빈도도 드물지만 코크란 그룹
의 경우 체계적 문헌고찰 갱신 절차를 수립해 놓았다.
각각의 상세한 내용은 각 장을 참고하도록 한다.

부　록
체계적 문헌고찰 매뉴얼 2  3

1. 개요 Review 질문확정
2. 연구기획과 프로토콜 작성 (PICOTS-SD 확정)
3. 문헌검색 검색범위 설정  자문
Protocol 개발
5. 자료추출
6. 비뚤림 위험 평가  Protocol 출판
문헌검색
9. 보고서 작성 
독립적으로 수행 문헌 선택과 문헌 분류 선택/배제 사유
Outputs
Inputs
독립적으로 추출
추출의 정확도 확인
자료추출

문헌의 비뚤림 위험 평가
독립적으로 평가 (질평가)

이질성 원인 조사 자료 분석과 결과제시

근거수준 평가와 결론도출 Review초안에 대한 자문

보고서 작성 Review 출판
그림1-2. 체계적 문헌고찰 연구과정 흐름도
참고문헌과 읽을거리
Higgins JPT, Green S (editors) Cochrane Handbook for Systematic Reviews of

Interventions Version 5.0.2 [updated September 2009] PART 1, Cochrane Reviews
SIGN 50 A guideline developer’s handbook. Chapter 6. Systematic literature review.
Scottish Intercollegiate Guidelines Network(SIGN). UK, January 2008.
Systematic Reviews CRD’s guidance for undertaking reviews in health care. CHAPTER
1 Core principles and Methods for Conducting a Systematic review of Health
interventions, 1.1. Getting Started. Centre for Reviews and Dissemination (CRD).
January 2009.

요약
••체계적
체계적문헌고찰을
문헌고찰은시행하기
특정 연구전에질문에 답하기 위해
기획단계에서 사전에
연구진 정해진
및 자문진 구성 , 연구계획 수립, 핵심
선정
질문 작성 및 기존 연구 검토의 과정을 수행한다.
기준에 맞는 모든 근거를 수집하여 분석하는 연구 방법이다 .
••핵심질문은
체계적 문헌고찰은
가능하면 명확하고
명확하고 체계적인
구체적으로방법을 이용해
작성하며 비뚤림을
, 기존 최소 통해 연구 방향을
연구 검토를
. .
화하여야 한다
구체화한다
••프로토콜은
체계적 문헌고찰은
연구 시작 전에일반적으로
작성하며연구기획과 프로토콜
, 연구제목, 연구배경 개발 , 체계적
, 연구목적 및 핵심질문, 연구방법, 연
문헌고찰 수행 , 보고서 작성, 개정 (update)
구 수행 일정, 참고문헌, 부록 순으로 작성한다. 의 과정을 거친다 .
PART2. 메타분석
• 프로토콜의 연구방법에는 PICOTS-SD를 포함한 포함/배제기준, 문헌검색 전략, 문헌
선택, 문헌분류, 비뚤림 위험 평가 방법, 자료추출 및 분석 방법, 근거수준 평가를 포함
할 수 있다.
• 프로토콜 초안 완성 후 자문을 통해 수정 및 보완과정을 거친다. 또한 연구 진행 중 프로토콜
을 개정할 경우 그 내용을 기록한다.
2.1. 체계적 문헌고찰의 기획

2.1.1. 연구진 구성
체계적 문헌고찰을 수행할 연구진은 연구기획, 핵심질문의 작성, 기존 연구 검토, 프로토콜
작성, 체계적 문헌고찰 수행 등 전 과정을 총괄한다. 이를 위해 우선 연구진을 구성해야
하는데 가장 바람직한 형태는 체계적 문헌고찰방법론 전문가, 정보검색 사서(information
specialist), 해당 분야 임상전문가 등이 함께 하는 것이다. 그렇지만 현실적으로 이러한 팀
구성이 불가능하다면 현실에 맞게 구성하되 최소한 두 명의 연구자로 연구진을 구성해야 체계적
문헌고찰을 수행함에 있어서 객관성을 확보할 수 있다.
2.1.2. 자문진의 구성
연구를 주도적으로 진행할 연구진 외에 자문진을 구성하는 것도 중요하다. 기획 단계뿐만 아니
라 체계적 문헌고찰을 수행하는 각 단계에서 임상전문가, 방법론 전문가, 때로는 환자 그룹 등
에게 자문을 받는 것이 필요할 수 있다.
부　록

1. 개요
2. 연구기획과 프로토콜 작성 2.1.3. 전체 연구 과정 기획
3. 문헌검색
4. 문헌선택 및 분류 체계적 문헌고찰을 시행하기 위한 연구계획을 기획한다. 월별 시간표의
5. 자료추출
작성, 이해관계 선언, 저자됨(authorship) 결정, 교육 계획(training)등이
이에 해당한다. 이해관계 선언이 필요한 경우, 연구진과 자문진의 이해관계
9. 보고서 작성 선언을 완료하고 서명해야한다. 이해관계 문제가 있다며 이를 어떻게 다룰
것인가에 대해 명확히 규정한다. 저자됨(authorship)은 체계적 문헌고찰의
초안 작성자, 최종보고서의 작성자, 저자됨의 원칙, 저자의 순서 등을 결정
한다. 한국보건의료연구원의 경우 원내 규정을 따른다. 체계적 문헌고찰을
수행함에 있어 문헌선택, 자료추출, 비뚤림 위험 평가 등 교육이 필요하면
교육시간 등을 사전에 결정한다.
2.1.4. 핵심질문의 작성 및 기존 연구 검토
체계적 문헌고찰을 수행하기 위해서는 먼저 연구목적에 맞는 핵심질문
(key question)을 작성해야한다. 핵심질문은 구체적으로 만드는 것이 좋은
데 보통 PICO(Patient/Participants/Population/Problem, Intervention,
comparison, outcome)의 기준을 이용하여 구체화한다. 여기에 시점
(timing), 세팅(setting), 연구설계(study design)를 추가하여 PICOTS-SD
기준에 의해 연구방법을 구체화하기도 한다.
핵심질문 완성 후 해당 주제에 대한 기존의 연구가 있는지 충분히 검토하는

것이 매우 중요하다. 이에 따라 완전히 새롭게 체계적 문헌고찰을 시행할지,
기존의 체계적 문헌고찰을 사용한 semi- 또는 using/updating 체계적
문헌고찰을 수행할 지를 결정하여 각 목적에 맞추어 프로토콜을 작성하도록
한다. (PART Ⅲ의 기존의 체계적 문헌고찰을 활용한 의료기술평가(Using
Existing Systematic Reviews) 참고)
BOX 2.1. 기존 연구 검색
기존의 체계적 문헌고찰 및 임상진료지침 (CPG) 이나 의료기술평가 (HTA) 보고서 검색을 위해

아래의 데이터베이스를 검색할 것을 권장한다. 자세한 검색방법은 ‘문헌검색’과 부록의 information
resource를 참고한다.
- 영국 Center for Reviews and Dissemination(CRD)의 Database of Abstracts of Reviews of

Effects(DARE) 및 Health Technology Assessment (HTA) Database
- Cochrane library의 Cochrane Database of Systematic Reviews(CDSR)
- 미국 NLM의 PubMed에서 Clinical Queries 중 Systematic Review
PART2. 메타분석
추가로 아래의 사이트를 검색하는 것이 좋다.
- NHS evidence
- NICE (National Institute for Health and Clinical Excellence
- AHRQ (Agency for Healthcare Research and Quality)
- NGC(National Guidelines Clearinghouse)
- SIGN(Scottish Intercollegiate Guidelines Network)
- MEDLINE, EMBASE 과 같은 검색 데이터베이스에서 SIGN이 제시한 체계적 문헌고찰의 search
filter를 이용하는 것도 한 방법이다. (부록 3. 연구 설계별 검색필터)

기존 연구 검토 후 연구의 핵심질문에 반영해야하는데 이러한 과정은 아래와 같다.
•기존 연구와 연구의 핵심질문이 같다면 기존 연구 결과를 받아들이고 연구를 종료할 수 있다.
•기존에 연구된 체계적 문헌고찰을 이용하여 연구를 진행한다. 이에 대한 방법론은 ‘PART Ⅲ
기존의 체계적 문헌고찰의 활용(using systematic reviews)’을 참고한다.
•기존 연구와 다르게 핵심질문을 변형하여 재정의할 수 있다. 이러한 경우에는 본래의 연구목적
에 벗어나지 않도록 해야 한다.
기존 연구 검토 결과 연구의 범위나 핵심질문이 기존의 연구와 겹치지 않는다면 핵심질문을

정교하게 만드는 작업(refinement)을 진행한다. 기존 연구에는 핵심질문을 비롯하여
포함/배제기준, 결과변수 등이 잘 기술되어 있으므로 이를 바탕으로 하여 연구의 핵심
질문을 정교하게 만든다. 또한 프로토콜 작성 시에 검색어 선정, 검색전략, 검색 데이터
베이스, 연구방법 등을 반영할 수 있다.
부　록

2.2. 프로토콜의 작성
1. 개요
3. 문헌검색
5. 자료추출 연구진과 자문진이 구성되었다면 실제 체계적 문헌고찰을 진행하게 되는데
7. 자료분석과 결과제시 이를 위해 사전에 프로토콜을 작성하는 것이 중요하다. 프로토콜은 연구
9. 보고서 작성
계획서와 동일한 의미이며 프로토콜의 작성은 체계적 문헌고찰 연구
수행에서 첫 번째 단계로서 필수적인 과정이다. 프로토콜 작성은 연구진이
‘사전에’ 해당 주제에 대해 연구목적 및 연구 주제,포함/배제기준, 검색전략,
자료추출 방법, 비뚤림 위험 평가방법, 자료 분석 방법 등 구체적인 연구수행
방법을 명확히 하는데 그 의의가 있다.
연구 시작 전에 검토를 거쳐 연구 방법을 확정하며 연구진과 자문단 사이에

원활히 의사소통 하면서 진행하는 것이 필요하다.
프로토콜 작성에 대한 국제적인 공용 지침은 없으나 앞서 작성한 핵심질

문을 구체화 하고 이를 시행할 방법론을 작성하는 것이 기본이다. 다음에
각 항목과 해당 내용을 간단히 서술하고 작성 예를 들었다(본 예는 실제
수행된 연구의 프로토콜에서 본 서술의 목적에 맞게 다소 변형이 있음을
밝힌다).
BOX 2.2. 프로토콜의 예시
제목
본 연구의 대상 질환(혹은 환자)과 중재를 위주로 간결하게 표현한다. 구체적 표현
을 위해 연구대상자나 지역을 한정할 수 있고, 중재간의 비교인 경우는 두 중재를
다 기술하도록 한다.
골관절염 환자에서 글루코사민과 콘드로이친의 임상적 효과
1. 서론 및 배경
이 연구의 배경은 어떤지, 그리고 이 연구에서 다룰 문제는 무엇이고 핵심질문은
왜 중요한지, 그리고 현재까지 같은 주제를 다룬 연구가 있었는지, 만일 그렇다면
기존 연구와 무엇이 달라지는지 기술한다.
1) 환자와 질환의 특징 및 역학
　 : 유병률, 질병부담 등
2) 의료이용(보건의료에 미치는 영향)
3) 우리나라 현황 (현재 치료 양상)
4) 관련 이슈
　 : 제도와 관련된 이슈, 기타 이슈 등
5) 기존연구
　 : 체계적 문헌 고찰 포함한 1,2차 연구, 보고서 결과
2. 연구목적 및 핵심질문
중재 (intervention)와 핵심질문 (key question)을 포함한 연구의 일차적 목적을 정확히 기술하고 만일
가설이 있다면 명확히 기술하도록 한다. 예를 들어 ‘글루코사민이 골관절염에 좋은가’ 하는 것보다 ‘글루코
사민이 NSAIDs에 비해서 골관절염의 통증 감소에 효과가 있는가’하는 것이 더 좋다.
PART2. 메타분석
연구목적
글루코사민과 콘드로이친의 효과에 대해 체계적 문헌고찰을 통하여 국내외에서 의료기술평가보고서
와 체계적인 문헌고찰 문헌의 결과를 종합하여 글루코사민과 콘드로이친의 임상적 효과성에 대해 최
신의 근거를 제공하고자 한다.
핵심질문
1. 글루코사민은 골관절염의 증상 및 통증을 완화시키는가?
2. 글루코사민은 골관절의 구조적인 진행을 지연시키는가?

3. 콘드로이친은 골관절염의 증상 및 통증을 완화시키는가?
4. 콘드로이친은 골관절의 구조적인 진행을 지연시키는가?
5. 글루코사민과 콘드로이친 병합치료는 증상 및 통증을 완화시키는가?
6. 글루코사민과 콘드로이친 병합치료는 골관절의 구조적인 진행을 지연시키는가?
3. 연구방법
1) PICOTS-SD
① 연구대상 (Participants)
연구하고자 하는 질환이나 상태를 서술한다. 여기에는 질환의 중증도, 인구학적 특징 (성별, 나이) 등이
포함된다. 가능하면 구체적이고 명확하게 하는 것이 좋은데, 예를 들어 ‘소아청소년’ 보다는 ‘3세 이상 16
세 이하’가 더 좋다.
• 골관절염 환자 (osteoarthritis)
- 무릎 (knee)
- 엉덩이 (hip)
- 무릎뼈-넙다리뼈 (patellofemoral)
부　록

1. 개요
2. 연구기획과 프로토콜 작성 ② 중재(Interventions)
3. 문헌검색
연구하고자 하는 중재법 혹은 노출(exposure)을 서술한다. 가능하면 용량, 중재
5. 자료추출 기간, 투여경로 등을 구체적이고 명확하게 기술한다. 또한 별도의 진통제 사용 등
7. 자료분석과 결과제시 병용투여하는 중재에 대해서 정의해주는 것이 필요하다.
9. 보고서 작성
• 글루코사민 치료 (glucosamine treatment)
- 황산글루코사민 (glucosamine sulfate)
- 염산글루코사민 (glucosamine hydrochloride)
• 콘드로이친 치료 (chondroitin treatment)
• 글루코사민과 콘드로이친 병합치료 (combination of glucosamine and chondroitin)
• 용량, 중재기간, 투여경로는 특별히 구분하지 않는다.
③ 비교중재 (Comparisons)
• 위약 (placebo)
• 비스테로이드성 소염진통제 (NSAIDs)
프로토콜에서 위약 (placebo) 혹은 active control과 같이 비교중재를 정의하는
것이 연구주제를 보다 구체적이고 명확히 하는데 필요하다.
• 위약(placebo)
• 비스테로이드성 소염진통제(NSAIDs)
④ 중재결과 (Outcomes)
1차 결과변수와 2차 결과변수 등을 서술한다. 결과변수는 사망률, 이환율과 관련
되거나 삶의 질, 통증이나 신체기능과 관련된 변수, 혹은 이상반응을 사용한다.
일반적으로 대리지표 (surrogate outcomes) 나 중간지표 (interim outcomes)
를 권하지 않으나, 관심있는 결과변수와 명확한 상관성이 있을 경우에는 사용할 수
있다. Cochrane handbook에서는 전체 결과변수가 7개, 또한 1차 결과변수가
세 개를 넘지 않도록 권고한다.
• 1차 결과변수
- 통증 감소
- 기능 향상
• 2차 결과변수
- 관절강 소실 지연
- 부작용
⑤ 시점 (Time)
보고자하는 결과변수의 추적관찰 기간 기준을 설정하는 것이 필요하다. 예를 들어 1년 후 통증 변화
⑥ 세팅 (Setting)
어느 세팅에서 이루어진 임상연구를 선택할 것인지 설정할 수 있다. 예를 들어 ‘병원에 입원한 경우’,
‘외래의 경우’로 한정할 수 있고, 혹은 ‘너싱홈은 제외’, ‘집에서의 자가치료는 제외’ 등과 같이 할 수 있다.
⑦ 연구설계 (Study designs)

체계적 문헌고찰, 무작위배정 비교임상시험연구, 비무작위 연구(코호트연구, 단면연구, 전후비교 연구)
PART2. 메타분석
중 어느 연구 설계까지 포함할 지 여부를 결정해야한다. 일반적으로는 무작위배정 비교임상시험(RCT)을
기본으로 하는 것이 좋으나 해당 연구주제에서 RCT 연구가 부족할 경우 어느 연구 설계까지 포함하고 제
외해야할지 정해야한다.
다음과 같은 연구 디자인을 포함한다.
• 무작위배정 비교임상시험연구에 대한 체계적 문헌고찰 (systematic review of RCTs)

• 무작위배정 비교임상시험연구(randomized controlled trial)
• 비무작위배정 비교임상시험연구(non-randomized controlled trial)

• 전향적 코호트연구(prospective cohort study)
2) 포함, 배제기준
연구 대상을 포함, 배제하는 기준을 구체적이고 명확히 제시한다. 포함, 배제기준에서는 앞서 기술한
PICOT-SD를 구체화할 뿐만 아니라, 영어, 한국어 등 언어 제한, 연구 규모 제한, 문헌의 형태(초록만 있는
연구, 회색 문헌 등)에 따른 포함여부 등을 결정해야한다.
골관절염환자에서 글루코사민과 콘드로이친의 임상적 효과성에 대한 적절한 의료결과를 보고한

국내연구 중에 무작위배정 비교임상시험연구에 대한 체계적 문헌고찰, 비무작위배정 비교임상시험
연구 , 전향적 코호트연구를 포함시키고 , 국외의 경우 무작위배정 비교임상시험연구에 대한
체계적 문헌고찰을 포함시킬 예정이다. 국외의 체계적 문헌고찰 검색시 언어를 영어로 제한하였
으며, 연구대상자 수를 제한하지는 않는다. 동물실험이나 in vitro 연구인 경우, 연구 초록만 발표된
경우, 적절한 의료결과가 보고되지 않은 연구는 배제시킨다.
부　록

1. 개요
3) 검색전략
3. 문헌검색
핵심질문에 맞추어 검색어, 검색전략 및 검색할 데이터베이스를 기술한다. 임상
5. 자료추출 전문가 및 정보검색 사서 (information specialists)와 함께 검색어, 검색 전략 및
데이터베이스를 결정하여 기술한다. 검색할 데이터베이스에 따라 검색어 및 검색
8. 근거수준 평가와 결론의 도출 전략이 달라지므로 주의한다. 사전에 검색 (pilot search)을 해보고 검색전략을 짜
9. 보고서 작성
는 것이 필요하다. 검색전략은 부록에 기술할 수 있다. (자세한 내용은 3. ‘문헌검색’을
참고)
문헌검색은 현재 가용할 수 있는 데이터베이스의 범위 내에서 국내와 국외로 나

누어 수행한다. 사용할 데이터베이스는 다음과 같으며 각 데이터베이스의 검색
내역은 부록에 자세히 기술하였다.
1) 국내 DB
국내문헌은 아래에 기술된 8개의 인터넷 검색 데이터베이스를 이용할 예정
이다. 일차적으로 각 데이터베이스를 검색한 후 데이터베이스별 특성을 파악
하여 사용할 검색어를 확정한다.
■ 코리아메드 http://www.koreamed.org
■ 국회도서관 http://www.nanet.go.kr
■ 의학논문데이터베이스검색 http://kmbase.medric.or.kr/
■ 의학연구정보센터 http://www.medric.or.kr/
■ NDSL http://scholar.ndsl.kr/
■ 의약정보연구소 http://sdic.sookmyung.ac.kr/
■ 한국학술지인용색인 http://www.kci.go.kr/
■ 한국교육학술정보원 http://www.riss4u.net/
2) 국외 DB
국외 문헌 검색은 전자 DB 검색, 검색된 관련 연구의 참고문헌 검토, 국외 의료
기술평가 관련 기관, EBM 검색 엔진을 이용할 예정이다. 우선 검색어 선정 및
문헌검색 전략을 구축하기 위한 일차 검색 시행 후 검색어와 검색전략을 확정
한다. 체계적 문헌고찰을 검색하기 위하여 Ovid-MEDLINE, EMBASE의 경우
SIGN, PubMed의 경우 Shojania(2001)의 연구에서 사용된 검색 필터를 사용
하여 검색의 특이도를 높일 예정이다.
■ Ovid-MEDLINE http://ovidsp.tx.ovid.com/
■ EMBASE http://www.EMBASE.com/
■ PubMed www.ncbi.nlm.nih.gov/pubmed/
■ The Cochrane library
(Cochrane systematic reviews
http://www.thecochranelibrary.com
database, DARE, NHS EED, HTA
database)
■ CRD database(DARE, HTA) http://www.york.ac.uk/inst/crd/
! Tips-검색전략 수립 시 pilot 검색
- MeSH 용어를 중심으로 검색 후 100~500편의 논문을 검토하면 검색 전략에 포함되어야 하는

용어를 추리는데 도움이 된다. 물론, 비슷한 주제에 대한 기존의 체계적 문헌고찰을 참고할 수도
있겠으며, 각 질환 별 코크란 그룹 내의 information specialist의 도움을 받을 수도 있다.
4) 문헌선택
PART2. 메타분석
프로토콜에서는 문헌의 선택과정을 명확히 기술해야하는데 문헌을 검토할 연구자의 수와 방법을 기술하며
문헌 선택 여부에 대해 일치를 이루지 못할 경우 해결방법을 기술한다.
두 명의 연구자에 의해 논문 제목과 초록을 확인하여 1차 선택하고, 전문을 확보하여 2차 선택할

예정이며, 독립적으로 수행될 예정이다. 두 연구자간 합의를 통하여 최종 평가에 포함될 문헌을 선택
할 예정이며, 두 연구자가 합의를 이루지 못할 경우 제3자가 개입하여 다수결로 결정할 것이다.
5) 문헌분류 방법
최종 선택된 문헌의 분류를 어떤 도구를 이용하여 하며 어떻게 진행할지 기술한다. 문헌을 분류할 연구자

의 수와 방법을 기술하며 문헌 분류에 대해 일치를 이루지 못할 경우 해결방법을 기술한다. 연구설계를
체계적 문헌고찰이나 무작위배정 비교임상시험으로 한정할 경우에는 생략할 수 있다.
6) 선정된 문헌의 비뚤림 위험 평가

어떤 도구를 이용하여 어떻게 선정된 문헌의 비뚤림 위험 평가를 수행할 것인지 기술한다. 연구설계에
따라 비뚤림 위험 평가 도구가 달라지므로 주의한다. 몇 명의 연구자가 문헌의 비뚤림 위험 평가를
수행할 것인지, 의견일치를 이루지 못할 경우 해결방법을 기술한다. 추가적으로 문헌의 눈가림 여부와
연구자간 비뚤림위험 평가 일치도 여부를 보기 위해 평가자가 일치도를 측정할지 여부를 기술하기도 한다.
선택된 체계적 문헌고찰에 대한 비뚤림 위험 평가는 두 명의 검토자가 독립적으로 시행할 예정이며

두 연구자가 합의를 이루지 못할 경우 제 3자가 개입하여 다수결로 결정할 것이다. 체계적 문헌고찰
문헌의 비뚤림 위험 평가는 (Assessment of Multiple Systematic Reviews (AMSTAR) measurement
tool를 사용하며, 무작위배정 비교임상시험연구의 질 평가 도구는 Cochrane's Risk of Bias tool 를
사용할 예정이다.
부　록

1. 개요
2. 연구기획과 프로토콜 작성 7) 자료추출과 분석
3. 문헌검색
4. 문헌선택 및 분류 ① 자료추출
5. 자료추출
6. 비뚤림 위험 평가 자료추출을 어떻게 수행할 것인지 기술한다. 가능하다면 미리 자료 추출양식을
7. 자료분석과 결과제시 정하는 것이 필요하며, 그렇지 않더라도 대략의 outline을 기술한다. 또한 추출된
9. 보고서 작성 자료의 분석에 있어서 어떤 소프트웨어를 이용할 것인지도 결정한다. 몇 명의 연구
자가 자료추출을 할 것이며 추출된 자료가 서로 일치를 이루지 못할 경우 해결방법
을 기술한다. 선정된 문헌에 추출해야 할 자료가 보고되어 있지 않거나 보완이 필요
한 경우 저자와 연락할 것인지도 기술한다. 미리 정해 놓은 자료 추출 양식에 따라
두 명 이상의 연구자가 독립적으로 수행하는 것이 일반적이다.
국외문헌의 경우 무작위배정 비교임상시험에 대한 체계적 문헌고찰의 경우,

메타분석에 포함되었던 무작위배정 비교임상시험연구 각각의 근거표와 비뚤림
위험 평가 결과를 추출할 예정이다. 국내문헌의 경우 두 명의 연구자가 독립적으
로 표준화된 자료추출 형식을 이용하여 자료추출 할 예정이며, 불일치된 결과는
원 논문을 확인하고 토의를 통하여 해결할 예정이다.
② 자료분석
자료분석의 원칙을 기술하고, 가능하다면 자료합성 등 자료분석 방법을 기술하도록
한다. 추출된 자료의 질과 형태에 따라 자료분석의 방법이 달라질 수 있으므로 이에
따른 기술은 필요하다. 이에 고려할 항목을 살펴보면 아래와 같다.
- 양적합성 (quantitative synthesis) 혹은 질적합성 (qualitative synthesis)
- 메타분석을 수행한다면 고정효과 모형 (fixed effect model) 혹은 변량효과 모형
(random effect model)
- 출판 비뚤림 (publication bias) 평가방법: funnel plot, contour-enhance funnel
plot 등
- 하위그룹 분석 (subgroup analysis), 민감도 분석 (sensitivity analysis)
- 자료분석 프로그램 : RevMan, Stata 등
기존의 출판된 무작위배정 비교임상시험연구에 대한 체계적 문헌고찰과 국내

에서 출판된 관련 문헌을 추가로 검토한 결과는 다음에 따라 분석될 예정이다.
• 글루코사민과 콘드로이친의 임상적 효과성에 관한 결론

• 기존의 체계적 문헌고찰 문헌의 결과의 차이에 대한 이유 분석
• 글루코사민과 콘드로이친의 임상적 효과성에 관한 국내 합의 도출
자료분석은 Stata SE 10.0을 이용하여 관심의료결과에 대하여 메타분석을

수행할 예정이며, 그렇지 않은 경우는 기술적 분석 (descriptive analysis)
을 수행할 예정이다 . 자료분석은 약제 투여기간의 끝에 측정된 값으로
수행될 예정이다. 글루코사민 단독제제, 콘드로이틴 단독제제, 글루코사민과
콘드로이틴 복합제제를 구분하여 평가할 예정이다.
연속형 자료에 대해서, 중재군과 대조군간의 평균차이 (weighted mean difference)로 분석
되며 , 두 군간의 평균차는 메타분석에서 inverse variance metheod 로 통합될 예정이다 .
측정단위가 다를 경우에는 표준화된 평균차 (standardized mean difference)로 분석될 예정이다.
범주형 자료에 대해서는 relative risk가 계산될 예정이다.
이질성에 대한 검증은 I2로 정량화하여 분석할 예정이며, 메타분석은 고정효과 모형에 따라
수행될 예정이다. 이질성이 있을 경우, 이질성의 임상적 원인이 설명가능하다면 조사될 예정이다. 이질
성의 원인은 1) 연구 관련 - 질, 2) 중재관련 - 성분명, 제조사, 치료기간 3) 질환 관련- 중증도에 대해
평가할 예정이다. 임상적으로 적절하다면, 변량효과 모형이 수행될 것이다.
출판 비뚤림을 조사하기 위하여, 각 의료결과에 대해 funnel plot을 제시하며, 출판 비뚤림에 대한
PART2. 메타분석
검증이 적절하다면 Egger의 검정을 수행할 예정이다.
민감도 분석은 의료결과에 대해 치료효과크기가 일관적인지를 조사하기 위해 수행될 예정이며,
추가적으로 연구비 출처에 대한 민감도 분석도 수행할 예정이다.
8) 근거수준
체계적 문헌 고찰을 통해 확인한 내용의 근거 수준을 제시할 수 있다. 근거수준을 평가하기 위하여 다양
한 방법을 활용할 수 있는데 예를 들어 The Grading of Recommendations Assessment, Development
and Evaluation(GRADE) 접근법으로 평가하여 산출된 근거가 어떠한 수준인지 보고할 수 있다. (8. 근거

수준의 평가와 결론의 도출 참고)
각 관심의료결과에 대해 GRADE 접근법에 의해 근거에 대한 질 평가 (high, moderate, low, very

low) 를 수행할 예정이다.
4. 연구 수행 일정(time frame)
전체적인 연구 수행 일정을 기술한다. 월별로 계획하는 것이 일반적이며 각 단계에 대한 수행 일정을
timetable의 형태로 표시할 수 있다. 참고로 Cochrane hand book 에서 제시한 timeline은 다음과 같다.
월단위 계획
1 – 2 프로토콜 준비 (Preparation of 프로토콜)
3 – 8 선행연구 검색 (Searches for published and unpublished studies)
2 – 3 선정 기준의 적합성 사전평가 (Pilot test of eligibility criteria)
3 – 8 연구 평가 (Inclusion assessments)
3 – 9 비뚤림 위험의 사전평가 (Pilot test of ‘Risk of bias’ assessment)
3 – 10 타당도 평가 (Validity assessments)
3 데이터 수집의 사전평가 (Pilot test of data collection)
부　록

1. 개요
2. 연구기획과 프로토콜 작성 3 – 10 데이터 수집 (Data collection)
3. 문헌검색
4. 문헌선택 및 분류 3 – 10 데이터 입력 (Data entry)
5. 자료추출
5 – 11 정보의 수정 보완 (Follow up of missing information)
7. 자료분석과 결과제시 8 – 10 분석 (Analysis)
9. 보고서 작성 1 – 11 보고서 준비 (Preparation of review report)
12 – 연구의 업데이트 (Keeping the review up to date)
5. 참고문헌
프로토콜 작성 시 참고한 문헌을 기술한다.
6. 부록
프로토콜의 부록에는 실제 수립한 검색전략, 자료추출양식 등을 기술할 수 있다.
또한 프로토콜 내에서 사용한 용어정리를 할 수 있다.
2.3. 프로토콜에 대한 자문 및 프로토콜 등록

프로토콜이 작성되었다면 내용의 적절성과 완결성에 대하여 임상 전문가 및
방법론 전문가 등 자문진에 자문을 받아 프로토콜을 수정 보완하는 작업이
필요하다. 무작위배정 비교임상시험의 경우 프로토콜 작성과 등록이 일반
화되어 있으나(예. www.clinicaltrials.gov) 체계적 문헌고찰의 경우 아직
까지 그렇지 못하고 있다. 코크란 연합(Cochrane collaboration)은 체계적
문헌고찰 프로토콜을 등록하고 공개하는 대표적인 기관이며, 현재 Centre
for Reviews and Dissemination(CRD)에서 체계적 문헌고찰 프로토콜
등록 사업을 진행하고 있다.1)
2.4. 프로토콜의 개정
실제 체계적 문헌고찰을 수행하다보면 문헌 선택, 자료 추출 및 분석 등 많은
경우에서 프로토콜 작성 시 생각하지 못했던 문제로 인해 프로토콜을 변경
하게 된다. 이러한 경우 프로토콜 내에 변경 내용을 기록해야하며 최종 보고
서에도 이 과정을 기록하는 것이 필요하다.
1) http://www.york.ac.uk/inst/crd/projects/register_background.htm
Booth A, Clarke M, Ghersi D, Moher D, Petticrew M, Stewart L. An international registry of systematic-

review protocols. Lancet 2011;377(9760): 108-9.
Higgins JPT, Green S (editors). PART 1, Cochrane Reviews. Cochrane Handbook for Systematic Reviews of
Interventions Version 5.1.0 (updated March 2011). The Cochrane Collaboration, 2010. Available from www.
cochrane-handbook.org.
Systematic Reviews CRD’s guidance for undertaking reviews in health care. CHAPTER 1 Core principles and
Methods for Conducting a Systematic review of Health interventions, 1.2. The review protocol. Centre for
Reviews and Dissemination (CRD). January 2009.
PART2. 메타분석
부　록

1. 개요
3. 문헌검색
5. 자료추출
9. 보고서 작성
3. 문헌검색

요약
• 체계적 문헌고찰에서는 민감도를 높이는 방향으로 검색전략을 수립해야 한다.
• 불리언 연산자 및 절단검색 기능을 사용하여 검색의 민감도를 높이도록 한다.
• 기존의 검색전략 혹은 필터 기능을 이용할 수 있다.
• MEDLINE, EMBASE, The Cochrane Central Register of Controlled Trials(CENTRA
L)과 같은 주요 국외 검색 데이터베이스에서 검색을 수행해야 하며, KoreaMed, KMbase,
한국학술정보 (KISS). 국가과학기술정보센터 (NDSL), 한국과학기술정보연구원 (KiSTi)와
같은 주요 국내 데이터베이스에서도 검색을 수행해야 한다.
PART2. 메타분석
• 주요 검색 데이터베이스 이외의 데이터베이스 및 데이터베이스 이외의 출처에서도 검색을
시도해 볼 수 있다.
3.1. 체계적 문헌고찰 검색과 관련된 기본 개념

3.1.1. MeSH

MeSH는 Medical Subjects Headings의 약어로서 의학주제표목, 의학 주제어라고 불린다.
예를 들어 당뇨병 환자에 대한 문헌을 검색할 경우 고려해볼 수 있는 검색어는 diabetes,
diabetes mellitus, DM, insulin resistance, type 2 DM 등으로 매우 다양할 수 있다. 실제논문
에서 어떤 text로 작성되어도 “Diabetes Mellitus, Type 2”로 MeSH 색인되기 때문에 검색의
질을 높이는데 매유 유용하다.
부　록
그림 3-1. PubMed에서 MeSH 및 MeSH 정의 확인하기

1. 개요
MeSH는 미국의학도서관(National Library of Medicine)에서 색인을 위해
3. 문헌검색 구축한 계층적인 용어구조의 한 종류이며 EMBASE에서는 EMTREE라는
5. 자료추출 용어 구조를 제공한다(표 3-1).
7. 자료분석과 결과제시 표 3-1. 제공하는 용어구조에 따른 데이터베이스 분류
9. 보고서 작성
CINAHL Headings를
MeSH를 제공하는 DB EMTREE를 제공하는 DB
제공하는 DB
MEDLINE
CRD
EMBASE CINAHL
The Cochrane Library
PsycINFO
검색전략 수립 시 MeSH(또는 EMTREE)를 기본으로 하여 검색을 수행하고

검색결과를 반출하여 100~500개 정도의 초록을 검토한 후 필요한 검색어를
추출하여 결정할 수도 있다.
그림 3-2. The Cochrane Library에서 MeSH 찾기
! Tips
• MeSH과 관련된 Tips

- MeSH 또는 EMTREE와 같은 Tree 구조 내의 용어는 새로 생성되거나 없어질
수 있다는 점을 숙지하자 (MeSH browser 확인, http://www.nlm.nih.gov/mesh
/MBrowser.html).
- MeSH가 검색되지 않는 경우 검색 단어수를 줄이거나 수정하여 검색해보면
MeSH를 찾을 수도 있다.
- 예. "diagnostic test accuracy" 입력 시 관련 MeSH mapping 결과가 몇 개
나오지 않지만 여기서 diagnostic을 삭제하고 "test accuracy"만 입력하면
MeSH mapping의 결과가 늘어나는 것을 확인할 수 있다.
- Ovid에서 해당 MeSH의 정의를 확인하고자 할 경우 MeSH Tree 구조에서 scope-note ( ) 를 클릭
하면 확인할 수 있다.
검색어에 대한 간략한 용어 설명,

유사어 및 동의어 등에 대한 정보 등 제공
PART2. 메타분석
그림 3-1-1. Ovid에서 MeSH 정의 확인하기
• DB별로 제공하는 검색어 구조는 서로 다르므로 주의한다.

- 예를 들어 Ovid-MEDLINE의 MeSH 구조와 Ovid-EMBASE의 EMTREE 구조는 다르다. 그러므
로 동일한 인터페이스더라도 서로 다른 용어 구조를 제공하는 DB를 동시에 선택하면 MeSH
검색을 할 수 없다. (예. EMBASE + MEDLINE) 동일한 인터페이스에서 다수의 DB를 동시에
선택하여 검색한다 하더라도 각각의 DB에서 검색된 결과에서 중복되는 서지정보들이 제거되어 나
오는 것은 아니다. 따라서 필요한 DB만 선택하여 검색하는 것을 권장한다.
Tips:
1. 제공연도 확인
2. 필요한 DB만 선택하여 검색
부　록
그림 3-1-2. Ovid 인터페이스에서의 DB 선택화면

1. 개요
• MEDLINE에서 색인기간 (index period)
3. 문헌검색 - 논문이 출판되면 MEDLINE에 색인되는데 이 때 논문이 실제로 출판되는 시점
5. 자료추출 과 MEDLINE에 색인되는 시점 사이에 time lag이 발생할 수 있다.
- 예를 들어 2010 년 10 월 1 일에 출판된 논문이나 2010 년 10 월 28 일에
8. 근거수준 평가와 결론의 도출 MEDLINE에 등재가 될 수 있다. 이러한 경우 이미 출판되었음에도 불구
9. 보고서 작성
하고 2010년 10월 15일에 검색 수행 시 개별 저널 홈페이지에서는 검색이 되
나 MEDLINE에서 검색이 되지 않는다.
- 최근에는 time lag이 많이 짧아진 것으로 알려져 있으나 모든 저널에 해당되
지는 않으므로 검색 시 이를 고려하여 체계적 문헌고찰 수행 도중 검색결과를
갱신(update)하기도 한다.
- 일반적으로 PubMed의 경우 time lag이 비교적 짧고(며칠~수주), Ovid 나
EBSCOhost 등의 별도의 인터페이스에서 검색할 경우 이보다 조금 더 긴 것으
로 알려져 있다.
2010년 2월에
2010년 1월 Index period
MEDLINE에 색인
논문 publish (time lag ) 되어 검색 가능해짐
그림 3-1-3. 색인기간의 개념
3.1.2. 검색의 민감도와 특이도

검색에는 민감도와 특이도라고 불리는 두가지 요소가 있으며 각각에 대한
설명은 다음과 같다.
• 민감도(sensitivity): 적절한 연구를 찾을 가능성으로 정의되며 민감도
가 높은 검색은 포괄적(comprehensive)인 검색이라고 할 수 있다.
• 특이도(specificity): 부적절한 연구를 배제할 가능성으로 정의되며 특

이도가 높은 검색은 특정문제에 대한 중요한 연구를 포함하는데 목적
이 있으며, 보다 집중되어 있는(focused) 검색이 이에 해당된다.
체계적 문헌고찰에서는 민감도가 높은 검색을 수행하는 것이 중요하며

일반적으로 검색의 민감도를 향상시키기 위해 고려해볼 수 있는 사항은
다음의 두 가지로 알려져 있다.
- 유의어 또는 대안어 확인
- 불리언 연산자 및 절단검색어 사용
1) 유의어 또는 대안어 확인
검색의 민감도를 향상시키기 위해 검색어를 선정할 때는 검색하고자 하는 단어에 대한 약어,
유의어, 미국식 용어, 영국식 용어에서 차이가 있는지 등을 고려하여 검색전략을 수립하도록
한다 (표 3-2).
표 3-2. 유의어 또는 대안어 확인의 예
검색어 추가 고려 검색어 (예) 설명
Recombinant rhGH 약어 (abbreviation) 가 존재하는 경우
PART2. 메타분석
human growth
약물의 경우 동일 계열군 내의 특정 약물도 고려
horm one
Aspirin acetylsalicylic acid

유의어, brand name, generic name 등
ASA
Tum or tum our 미국식 용어, 영국식 용어
Caliectom y calicectomy 의학용어 (유의어)

Randomized randomized controlled
복수단어 존재 시
controlled trial trials

2) 불리언연산자 및 절단검색 사용
AND, OR, NOT, adj과 같은 불리언연산자(Boolean operators) 및 *, $, #, ? 등의 절단검
색(Truncation) 기능 사용을 고려한다. 사용방법에 대한 상세한 내용은 3.4.5를 참조한다.
검색어를 선정하는데 참고할 수 있는 출처의 예시는 아래(표 3-3)와 같으며 해당주제에

대한 임상전문가 및 방법론전문가의 자문을 반드시 구하도록 한다
표 3-3. 검
색어 선정 시 참고할 수 있는 출처
• MeSH 또는 EMTREE 구조 및 정의(scope note)

• PubMed의 Search details
• 비슷한 P 또는 I에 대한 기존의 체계적 문헌고찰 검색전략
• Cochrane review group 내의 trials search coordinator(TSC)
• Information specialists, 사서(librarian)
Developing a Search stategy is an iterative process!

부　록

1. 개요
2. 연구기획과 프로토콜 작성 3.2. 검색원
3. 문헌검색
5. 자료추출 이번 장에서는 문헌검색을 위한 일반적인 방법을 살펴보기로 한다.
7. 자료분석과 결과제시 일반적으로 문헌검색을 위해 검색원을 선정할 때 미국립의학도서관
9. 보고서 작성 (National Library of Medicine, NLM)이 제시한 COSI(COre, Standard,
Ideal) 모델을 사용하는데 이 중 Core는 문헌 검색의 핵이 되는 부분으로
관련 국내 문헌, 핵심 데이터베이스(예를 들어 PubMed, EMBASE,
Cochrane central 등) 등이 여기에 해당한다.(그림 3-3 2)) Standard는
표준 검색 범위라고 할 수 있는데 핵심 잡지에 대한 수기 검색, Core에 있는
데이터베이스 이외의 다른 일반적 데이터베이스(Web of Science, DARE 등)
그리고 특이적 데이터베이스(CINAHL, PsycINFO, ERIC, CANCERLIT 등)
를 말하며, Ideal은 이상적인 검색 범위로 학술대회 초록집, 출판되지 않은
문헌, 현재 진행되고 있는 임상시험 등이 포함된다. 체계적 문헌고찰의 경우
Standard와 Ideal 포함 여부가 중요하다.
부정확, 느림
possible Results
▼
COre Standard Ideal

보다빠름
보다간단 ◀
Best Results ▼
보다 느린 회색문헌 • 학회 초록집
• 회색문헌
다소느림
• 출판되지 않은 논문
Probable Results
• 국외 DB • 관련 회사 접촉
- MEDLINE • 진행중인 임상시험
- EMBASE
- Cochrance CENTRAL • 전문가 접촉
• 국내DB • 주요저널 수기검색
- KoreaMed • 다른 DB
- Kmbase • 주제별로 특성화되어있는 DB
- KISS 　- 예: CINAHL, AMED, 　
- NDSL
Psyclnfo, JAMAS 등
- KSITI
그림 3-3. COSI 모델에서 제안하는 검색원 범위 (Adapted from national library of medicine)
2) Available at http://www.nlm.nih.gov/archive/20060905/nichsr/ehta/chapter3.html#1
3.2.1. 검색 데이터베이스
한국보건의료연구원에서 권장하는 COre 검색 데이터베이스는 국외 3개, 국내 5개로 각 DB의
특성은 다음과 같다.
1) 국내
DB명 제공기관 url
■ KoreaMed 대한의학학술지편집인협의회 http://www.koreamed.org
■ 한국의학논문데이터베이스 의학연구정보센터 http://kmbase.medric.or.kr
PART2. 메타분석
■ 한국학술정보 한국학술정보 http://kiss.kstudy.com
■ 과학기술정보통합서비스 한국과학기술정보연구원 http://www.ndsl.kr
■ 과학기술학회마을 한국과학기술정보연구원 http://society.kisti.re.kr
주) RISS4U: 한국교육학술정보원에서 제공하고 있는 RISS4U DB의 경우, 학위논문을 검색할 때 특히 유용(http://www.riss.kr)
2) 국외
데이터베이스에서 제공하는
제공기관 url
자료의 특성

■ Cochrane CENTRAL http://www.thecochranelibrary.com controlled trial
■ MEDLINE 1, 2차문헌
http://gateway.ovid.com/autologin
■ EMBASE Ovid-Interface
주) 한국보건의료연구원은 MEDLINE, EMBASE는 Ovid 인터페이스 사용
이상의 국외 3개, 국내 5개 DB는 한국보건의료연구원에서 권장하는 COre 검색 데이터베이스

이다.
3) 연구 주제 별 특화 DB
연구에서 필요하다고 판단되는 경우 다음의 DB에서 검색하는 것을 고려할 수 있다. 이 외에도
연구 주제마다 검색해 볼 수 있는 DB는 다양하다.
제공기관 url 비고
국내
■ OASIS http://oasis.kiom.re.kr
한의학문헌
■ 한국전통지식포탈 http://www.koreantk.com
부　록

1. 개요
국외
3. 문헌검색
■ CINAHL http://search.ebscohost.com/login.asp? 간호·보건의학문헌
4. 문헌선택 및 분류 대체의학문헌 DB
profile=ehost&defaultdb=rzh
5. 자료추출
6. 비뚤림 위험 평가 ■ AMED 대체의학문헌 DB
7. 자료분석과 결과제시 http://gateway.ovid.com/autologin
8. 근거수준 평가와 결론의 도출 ■ PsycINFO 정신과학문헌 DB
9. 보고서 작성
■ JAMAS http://www.jamas.or.jp 일본DB, 필요시
(1983~)
■ Medical Online http://www.meteo-intergate.com 일본DB, 필요시
(~1983)
■ China Medical Journal http://www.cnki.co.kr 중국DB, 필요시
3.2.2. COre DB 이외의 출처에서 검색

체계적 문헌고찰 수행 시 가용한 모든 근거를 검색하고 수집하는 것이 중요
하기 때문에 Core DB 이외의 데이터베이스 혹은, 다른 방법을 통한 문헌의
검색을 고려할 수 있다. 여기에는 주요 DB에서 포함하고 있지 않은 연구들,
그리고 출판되지 않는 자료들이 포함된다. 이러한 연구들을 체계적 문헌고
찰에 포함시킴으로서 출판 비뚤림(publication bias)을 감소시킬 수 있다는
의견도 있으나 이러한 연구들 자체가 비뚤림 위험이 높을 가능성이 있고,
출판되지 않은 연구의 경우 동료평가(peer review)를 거치지 않아 오히려
전체적인 비뚤림을 증가시킬 수도 있다.
이러한 연구들을 찾고, 포함시키기 위해 추가 검색을 수행할 지에 대한 일반

적인 합의를 도출해내기는 어렵지만 연구 주제가 다음 사항에 해당되는 경우
고려해 볼 수 있다.
• 연구가 수행되었지만 출판되지 않는 연구가 많을 것으로 생각되는 경우

(unpublished studies)
• 체계적 문헌고찰에 포함되는 연구의 수가 적은 경우
• 중재효과에 대해 긍정적인 결과가 많은 경우
• 최근의 이슈이기 때문에(예. 신의료기술) 연구 당시 임상시험이 진행되고
있거나 아직까지 필요한 연구 결과가 출판되지 않은 경우
• 매우 특정한 주제이기 때문에(예. 한의학, 특정 국가에서 많이 수행되는
중재방법) 일반적인 DB로 검색하는 데 한계가 있는 경우
COre 이외의 DB에서 검색 시 다음 방법들을 고려해 볼 수 있다.
서지정보/인용정보 색인(Citation indexes): 서지정보/인용정보 색인 DB에서 검색하는 방법으

로서 대표적인 DB로는 Web of science와 Scopus가 있다. 찾고자 하는 논문 및 연관 연구를 함
께 확인하는데 유용하다.
관련 연구의 참고문헌 검토: 검색된 또는 선정된 문헌의 참고문헌(reference of reference)을

검토하는 방법이다.
PART2. 메타분석
주요 저널 수기검색: 해당 주제에서 주요한 저널 선정 후 해당 저널의 목차를 검토하는 방법으
로 알려져 있다.
임상시험 등록 시스템 검색: 임상시험 등록처에서는 종료되었거나 현재 진행 중인 임상시험의

프로토콜을 수록하고 있다. 이를 통해 관련 연구를 확인해볼 수 있다.
학회 초록집: 학회 초록집에는 발표되었으나 논문 형태로 출판되지 않는 경우도 있으므로 관련

주요 학회의 초록집을 검토해볼 수 있다.
해당 전문가 접촉: 해당 주제에 대한 연구동향 파악 시, 혹은 필요한 정보를 얻고자 할 때 유용

하다.
보고서: 보고서는 출판되었으나 논문 형태로 출판되지 않는 경우도 있으므로 관련 기관 홈페이

지에서 별도로 검색해볼 수 있다.
제조사에 문의: 규제당국에 의해 허가받을 당시의 문헌 목록 접근이 어려운 경우 제조사에 문의

해볼 수 있다.
더불어 구글(www.google.com) 또는 구글스칼라(scholar.google.com)에서의 검색도 용이

한 것으로 알려져 있다. 회색문헌(grey literature) 및 보고서 등의 보다 자세한 검색은 부록
(information resource)을 참고한다.
부　록

1. 개요
! 국외 DB와 관련된 Tips
3. 문헌검색
4. 문헌선택 및 분류 • DB 별로 제공하고 있는 자료의 특성이 다양하므로 이를 고려하여 검색
5. 자료추출
6. 비뚤림 위험 평가 한다.(예. 의학, 간호학, 보완대체의학 DB 등)
• DB의 갱신주기 고려하기
9. 보고서 작성
예. 동일한 DB를 포함하고 있으나 갱신 주기가 다르므로 동일한 시점에
검색해도 결과가 다를 수 있다.(CRD(매달 update), The Cochrane Library
(3개월 (분기별) update) 단, cochrane DB 중 CDSR(Cochrane Database of
Systematic Reviews)은 2010년부터 매달 update된다.
• DB의 색인기간 고려하기

데이터베이스 별로 제공하는 자료의 색인기간이 다르므로 이를 확인하고
검색에 활용한다.
표 3-2-1. 데이터베이스 별 자료 색인기간
DB 제공 인터페이스 (숫자는 정보 제공 시작년도)

PubMed: 1946~
Ovid(유료)*: 1946~(Old Medline 포함 시)
MEDLINE EBSCO(유료)*: 1946~(원문은 1965년도부터 제공)
ProQuest: 1946~(원문은 1965년도부터 제공)
Elsevier-EMBASE: 1966~ (MEDLINE의 일부가 포함되어 제공됨)
Ovid(유료)*: 1980~
EMBASE
Elsevier(유료): 1974~
CINAHL EBSCO(유료)*: 1931~(plus version), 1981~(일반 version)

Ovid(유료)*: 1806~
PsycInfo EBSCO(유료): 1800~
ProQuest: 1806~
Ovid(유료)*: 1985~
AMED
EBSCO(유료): 1995~
* 한국보건의료연구원이 이용하는 인터페이스

기관 별로 backup data file을 구매한 경우 검색 제공년도가 다를 수 있음
• MEDLINE vs. EMBASE
MEDLINE EMBASE
MeSH 사용 US≻Europe Europe≻US EMTREE 사용
약 5000종 저널 약 7500종 저널
Unclear
그림 3-2-1. MEDLINE과 EMBASE의 자료 범위(JISC Academic Database Assessment Tool, 2007)

available at: http://www.jisc-adat.com/adat/home.pl
- PubMed에 의하면 MEDLINE는 약 5000종의 저널에 대한 서지정보가 제공하고 있으며3) Else
vier에 의하면 EMBASE는 약 7500종의 저널에 대한 서지정보를 제공하고 있다.4) MEDLINE과
EMBASE의 자료 범위 및 포함범위에 대해서는 명확히 알려진 바 없으나 Reference overlap의
실제적인 정도는 주제에 따라서 매우 다양한 것으로 알려져 있다.
- MEDLINE 과 EMBASE 검색 시 동일한 결과를 검색해내지 않더라도 , 관련있는 연구 수는

유사한 것으로 알려져 있다. 그러나 통합적인 검색을 위해 두 DB 모두를 검색하는 것을 권장한다.
• The Cochrane Central Register of Controlled Trials (CENTRAL)

- CENTRAL은 Controlled trials 보고서의 가장 통합적인 자료원으로 MEDLINE, EMBASE, 다른
PART2. 메타분석
서지 DB에서 색인되지 않은 controlled trial에 관한 보고서의 서지정보를 포함한다는 장점을 지
니는 DB이다. 뿐만 아니라 접근하기 어려운 conference proceeding이나 다른 자료원에서만 접근
가능한 서지정보, trials registers와 trials results registers도 포함하는 것으로 알려져 있다.
- CENTRAL은 비교임상시험만 검색되므로 Human, Clinical Trial만 찾기 위해 별도의 검색전략을

사용할 필요가 없다.
- The Cochrane Library의 한 부분으로서 ‘분기’마다 update된다.
MEDLINE
310,000

records: RCT [pt] or
cct [pt]
CENTRAL
Issues 1, 2009
530,000 records
EMBASE Handsearching
50,000
Speciallzed
'unique' records
Registers etc
170,000 records
그림 3-2-2. CENTRAL 자료를 구성하는 데이터베이스 (cochrane handbook, 2011) Copyright

© 2011 The Cochrane Collaboration. Published by John Wiley & Sons, Ltd
- MEDLINE에서 등록되는 시점과 Cochrane에 등록되는 시점은 최소 2개월에서 최대 5개월의

gap이 발생한다. 그러므로 가장 최근의 RCT, CCT 연구는 별도의 검색이 필요하다. EMBASE의
경우 1년에 한번 update되므로 최근 2년치의 연구는 별도의 검색이 필요하다.
부　록
3) http://www.nlm.nih.gov/bsd/num_titles.html
4) http://embase.com/info/what-is-embase/coverage

1. 개요
! 국내 DB와 관련된 Tips
3. 문헌검색
5. 자료추출 • 국내 DB의 경우 자료가 DB 간에 서로 중복되는 경우가 많고, 아직까지는
6. 비뚤림 위험 평가 정리·통합되어 운영되지 않아 검색과 문헌선택 과정에 불편함이 있다. 무엇보
8. 근거수준 평가와 결론의 도출 다 대부분의 DB가 검색식 설계가 불가능하여 효율적인 검색을 하기가 어렵다
9. 보고서 작성 는 단점이 있다.
• 서지정보 반출 시에도 초록이 같이 반출되지 않고 흔히 사용되는 서지관리

프로그램으로 반출이 되지 않는 등의 제한점도 있다.
• 검색식이나 불리언 연산자, 절단검색기능이 없는 경우가 많아 P(Population)

혹은 I(Interventions)만 입력하여 검색하는 방법을 주로 사용한다.
• 띄어쓰기에 따른 검색결과 검토가 필요하다.
• 별도로 반출하지 않고 검색 DB에서 직접 문헌 포함/배제를 하는 것이 효율적

일 수도 있다.
✽ 국내 의약학, 보건학 관련 COre DB의 특성
국내 의약학·보건학 관련 DB의 경우 국외 DB과 비교하여 매우 제한적이다.

각 DB의 특성을 숙지하고 검색을 하도록 한다.
표 3-2-2. 국내 의약학, 보건학 COre DB 특성(박지은, 2011)
구분 KoreaMed KMbase KISS NDSL KiSTi

MeSH 검색 매우 제한적 불가 불가 불가 불가
원문제공 일부 링크 제공 가능 (유료) 일부 가능
불완전 불완전
불리언 연산자 가능 (검색 필드간 (검색 필드간 가능 가능
사용) 사용)
절단어 사용 가능 불가 불가 가능 가능
구 (Phrase) 큰 따옴표 후
불가 불가 가능 불가
검색 tag 사용
검색필드 (tag) 가능 불가 불가 가능 불가
검색 history 제공 함
(검색식 설계 제공 안함 제공 안함 제공 안함 (10개까지만 제공 안함
가능) 가능)
관련 추천어 제공 안함 제공 안함 제공 함 제공 함 제공 안함
Text, Excel,
Refworks,
Endnote, RIS format
Excel
서지정보 반출 Text Endnote Refworks (Reference
(전체/현재
(한번에 반출 가능 (현재 Excel (전체만) (현재 Manager,
페이지
정도) 페이지만) 페이지만) Endnote 등),
모두 가능)
Scholar's Aids
(현재
페이지만)
한국저자의 보건의료 특성화 보건의료 특성화

PubMed 수록 DB는 아님 DB는 아님
영문 검색만 보건의료 특성화
기타 논문까지 일부 특히 보건, 의약학 민감도 특히 높음
가능 DB는 아님
검색 됨 관련 문헌 “국내”로 제한
pool이 적음 하여 검색 추천
3.3. 검색어와 검색전략
3.3.1. PICOTS-SD 형식
체계적 문헌고찰에서 연구주제 즉, 주요 연구질문(key question)의 기본 형식은 PICO로 알려
져 있으나 포함/배제 기준까지 고려한 PICOTS-SD의 개념도 소개되고 있다. PICOTS-SD에
대한 각각의 설명은 다음과 같다.
• Patients or Population or Problem: 대상군

• Intervention or Exposure: 중재방법 또는 노출상태
PART2. 메타분석
• Comparison or Control: 비교군
• Outcomes: 결과
• Time: 추적관찰기간(follow-up)
• Setting: 의료기관
• Study Design: 연구설계
표 3-4. PICOTS-SD의 전략의 예시
PICO 설　명 예　시

폐경기 여성

P: Patients or
어떤 대상군에 대한 정보가 필요한 지 (Post-menopausal woman),
Population or Problem
50세 이상
I: Intervention or Exposure 어떤 중재방법에 대한 의료결과가 필요한 지 Estrogen 대체요법
중재를 하지 않거나 다른 중재방법을 실시
하는 것 보다 더 나은 혹은 더 나쁜 결과를 Estrogen 대체요법을 받지 않는
C: Comparison or Control
가져오는 것으로 알려져 있는 근거로는 무엇 폐경기여성
이 있는지
골다공증, 유방암 또는 자궁경부암
O: Outcomes 중재방법에 대한 효과 또는 결과는 무엇인지
의 발생에 대한 영향
T: Timeing of outcome
추적관찰기간의 기준은 무엇인지 1년 이상의 추적관찰기간
measurement
의료기관 유형, 외래 또는 입원환자 등 추적
S: Settings 1차 의료기관 외래환자
관찰되는 상태는 무엇인지
SD: Study Design 어떤 연구설계를 포함할 것인지 무작위배정 임상시험
일반적으로 PICOTS-SD 중 ① Patient(P)에 해당되는 검색어와 ② Intervention(I)에 해당

되는 검색어, 그리고 ③ Study Design(SD)를 교집합(AND)으로 묶어서 검색한다. COTS는
특별히 필요하지 않은 경우 검색어에 포함시키지 않는다.
사안에 따라 P 또는 I 한가지만을 대상으로 검색이 필요한 경우도 있지만 프로토콜 작성

부　록
단계에서 PICO를 명확하게 하는 것을 권장한다.

1. 개요
2. 연구기획과 프로토콜 작성 3.3.2. 연구설계(Study Designs)
3. 문헌검색
4. 문헌선택 및 분류 찾고자 하는 연구설계가 무엇이냐에 따라 검색전략을 다르게 하나 무작
5. 자료추출
위배정 비교임상시험과 체계적 문헌고찰 검색 시에는 SIGN, PubMed,
Cochrane highly sensitive search strategy, InterTASC Information
9. 보고서 작성 Specialists' Sub-Group, BMJ의 Clinical Evidence 등에서 제시하고
있는 연구설계별 검색필터를 사용해 볼 수 있다. 비무작위 연구의 경우 특별
히 권장되는 검색전략이 존재하지는 않으나 SIGN과 Cochrane Group 등에
서 제시하는 검색필터를 참고해 볼 수 있다.
이밖에도 연구설계에 대한 검색필터를 보고하고 있는 개별 논문을 참조

해 볼 수도 있으며 CRD 홈페이지에서 다양한 검색필터를 모아 수록해
놓고 있으므로 이를 참조하면 된다. (http://www.york.ac.uk/inst/crd/
intertasc/index.htm) 상세한 검색전략 예시는 부록을 참고한다.
! 검색에서의 Tips
• 검색결과가 이상한 경우 철자(spelling)가 정확한지 먼저 확인한다.
• Pilot 검색 결과 배제되는 단어임이 명백다고 판단되는 경우 NOT 기능을 이용
하여 검색의 특이도를 높일 수 있다.
• 기존에 수립되어 있는 검색전략 사용 시 어느 인터페이스를 사용하여 수립된 검색
전략인지 확인하고 도입 또는 수정사용(adaptation)하도록 한다.
예. SIGN에서 제시하고 있는 검색전략은 주로 Ovid 인터페이스에서만 적용가능
3.4. Ovid 인터페이스를 이용한 문헌검색

체계적 문헌고찰 시 검색전략을 어떻게 수립하느냐에 따라 민감도 및 특이
도가 달라지므로 이를 고려하여 검색을 수행한다. 검색 전략의 기본 개념은
DB마다 비슷하나 세부방법은 인터페이스마다 다르므로 각 세부사항은 DB
에서 제공하고 있는 도움말 기능을 참조하도록 한다. 본 장에서는 검색에
있어서의 기본 개념 및 Ovid 인터페이스를 이용한 검색전략에 대해 소개
한다.
3.4.1. Ovid 인터페이스에서의 검색 기본사항
1) 고급검색(Advanced search)
체계적 문헌고찰에서는 Advanced ovid search 기능만 사용한다.
① Mapping 기능을 이용하는 경우(map term to subject heading)

MeSH 구조를 기본으로 하여 검색하는 방법이며 검색을 하면 검색어를 해당되는 MeSH
용어로 변환하여 제안해 준다. 제안된 MeSH 용어를 선택할지 연구자 자유이나 기본적
으로 MeSH가 존재하는 경우 포함하여 검색하는 것을 권장한다.
PART2. 메타분석
Map Term to Subject Heading:
검색어를 해당되는 MeSH용어로
변환하여 제안해 줌
그림 3-4. Ovid 인터페이스에서 Mapping 기능 사용하기-1

Tip: Explode + Focus ≠ Explode
같을 때도 많지만 반드시 같은 결과를
도출해 내지는 않음!
그림 3-5. Ovid 인터페이스에서 Mapping 기능 사용하기-2
보다 일반적이고 보다 특정한 용어를 확인하고자 할 때는 Subject Headings를 클릭한

다. 이 때 Explode와 Focus 검색 두 가지 중 선택이 가능한데 각각에 대한 설명은 다음과
같다.
•확장(Explode) box: MeSH 구조에서 해당 MeSH 용어 밑에 있는 모든 하위 주제어를

포함하여 검색확장 → 체계적 문헌고찰 연구 시 주로 사용하는 기능
부　록

1. 개요
•초점(Focus) box: 논문의 주된 주제인 subject headings까지로 검색축소
3. 문헌검색 → 체계적 문헌고찰 연구 시 잘 사용하지 않는 기능
5. 자료추출
•필요한 Subject Headings를 선택
9. 보고서 작성
그림 3-6. Ovid 인터페이스에서 Subheading 확인하기
② Mapping 기능을 이용하지 않는 경우

Mapping 기능을 이용하지 않고 text word로 입력 시 검색어.mp로 출력
되며 mp는 다음의 사항을 모두 포함한다.
•Ovid-MEDLINE에서의 mp=protocol supplementary concept, rare
disease supplementary concept, title, original title, abstract, name
of substance word, subject heading word, unique identifier)
•Ovid-EMBASE에서의 mp=title, abstract, subject headings, heading
word, drug trade name, original title, device manufacturer, drug
manufacturer, device trade name, keyword
! 주요 검색 DB와 관련된 Tips
• Ovid
① Explode vs. Focus

- Explode와 Focus를 모두 선택하여 검색하는 것은 추천하지 않는다.
② 검색결과 저장
- 검색전략 및 검색결과는 본인 고유의 ID와 PW로 (무료) 계정을 만들어 별도
로 저장할 수 있다. 다만, ip-based DB에서 검색한 결과만 저장되므로 주의
(타기관에서 Ovid로 접속하면 본인 고유의 ID로 로그인하여도 NECA에서
검색하여 저장한 결과를 확인할 수 없다.)
③ DB 변경하면서 검색 시
- Ovid 인터페이스로 여러 개의 DB를 사용하는 기관에서(예: MEDLINE,
EMBASE, AMED 등) DB 변경하면서 검색 시
PART2. 메타분석
그림 3-4-1. Ovid 인터페이스에서 DB 변경하기
- 변경할 DB를 선택한 후 Select Resource(s) & Run Search를 클릭하면 기존 검색전략을 변경된
DB에 그대로 적용하여 새로 검색을 하게 되므로 선택 시 주의한다.
(∵ 각 DB 별로 색인구조가 다르므로 MeSH의 경우 EMTREE와 호환이 되지 않고, 절단 검색도
호환이 되지 않는 경우가 있음)
- 반대로 기존 DB에서 검색 전략을 저장하지 않은 상태에서 Select Resource(s)를 클릭하여 다른

DB로 이동하게 되면 기존의 검색전략이 사라지므로 이 역시 주의한다.

- 그러므로 DB 별로 검색 후 별도로 저장하고, 별도로 불러오고, 별도로 검색전략을 수정하는 것을
권장한다.
- 검색전략 저장 시, Search name이나 Comment란에 어느 DB에서 검색했는지 기록을 남겨야

나중에 저장된 검색 전략을 불러올 때 어느 DB를 이용하여 검색한 것인지를 알 수 있다.
이와 동일하게 검색 전략을 불러올 때는 해당 DB 에서 불러와야 검색전략이 해당 DB 에
맞는 불리언 연산자와 절단검색어를 사용하여 재검색하게 된다.
- 저장된 검색전략을 불러올 때는 지난 검색날짜에 대한 검색결과가 나오지 않고, 검색 당일

(오늘)의 검색 결과가 나타나므로 각 검색 결과의 문헌 수를 기록해 두어야 할 필요가 있는 경우
기존 검색 전략 결과(수)를 별도로 저장해 두는 것이 좋다.(엑셀 혹은 워드 형태 등)
④ 알림기능
- 검색 수행 이후 추가되는 연구에 대해 E-mail Alert, RSS 기능 사용 가능
• PubMed, The Cochrane Library, CRD

- 무료 접속 및 검색, 검색결과의 반출이 가능하며 개인 ID로 검색식과 검색 결과를 저장할 수 있다.
• 검색결과 불러오기
- DB마다 검색식을 저장하는 형태가 다르므로 이를 숙지하도록하자.
부　록

1. 개요 표 3-4-1. DB별로 저장된 검색결과 불러오기 결과 비교
3. 문헌검색 Ovid, CRD,
PubMed, EMBASE(Elsevier)
The Cochrane Library
5. 자료추출
6. 비뚤림 위험 평가 #1. diabetes mellitus #1. diabetes mellitus
7. 자료분석과 결과제시 #2. diabet* #2. diabet*
8. 근거수준 평가와 결론의 도출 #3. #1 OR #2 #3. #1 OR #2
9. 보고서 작성 저장 시 #4. metformin #4. metformin
검색 전략 #5. #3 AND #4 #5. #3 AND #4
#6. Limits: Humans, Clinical Trial #6. Limits: Humans, Clinical Trial
#7. #5 AND #6 Limits: Humans, #7. #5 AND #6 Limits: Humans,
Clinical Trial Clinical Trial
#1. diabetes mellitus

(((diabetes mellitus) OR (diabet*))
#2. diabet*
AND (metformin)) AND
#3. #1 OR #2
저장 후 (Humans[Mesh] AND Clinical
#4. metformin
불러온 Trial[ptyp])
#5. #3 AND #4
검색 결과
#6. Limits: Humans, Clinical Trial
→ 하나의 식으로 표현됨
#7. #5 AND #6 Limits: Humans,
→ 이 경우 검색전략 수정이 어려움
Clinical Trial
3.4.2. 서지정보 찾기 (Find Citation)

저널명, 저자명, 권(호), 페이지 정보 등을 입력하여 필요로 하는 문헌
한 편만을 검색하는 기능이다.
그림 3-7. Ovid 인터페이스에서 서지정보 찾기

3.4.3. 검색도구(Search Tools)
검색도구 기능은 DB마다 가지고 있는 고유한 용어구조(TREE) 혹은 주제명표목표(thesaurus,
시소러스)를 제시해서 보여주는 특성이 있다. 아래는 MEDLINE DB서 제시되는 6가지 도구에
대해 설명해 놓았으며, EMBASE에서는 Tree대신 Thesaurus가 제시된다.
• Map term: 검색어 입력 시 DB내에 있는 용어구조(TREE) 혹은 주제명표목표(thesaurus,

시소러스)을 제시해서 보여줌
• Tree(Thesaurus): Map term과 비슷한 기능이나 완전한 형태의 MeSH를 입력해야 작동
한다는 차이점이 있음
PART2. 메타분석
• Permuted Index: 검색어 입력 시 세부항목별 Subject Headings를 보여줌
• Scope Note: MeSH의 정의를 확인할 때 사용
• Explode: MeSH 검색 후 별도의 페이지로 넘어가지 않고 explode되어 검색됨
• Subject Headings: 관
련 주제어(예. 진단학, 경제학, 미생물학, 치료학 등)를 확인하고 선택
할 때 활용
다만 Map term과 Permuted Index 이외의 메뉴를 사용하고자 할 경우 Subject Heading에

대한 완전한 검색어를 입력해야 오류 없이 작동된다.
그림 3-8. Ovid 인터페이스에서 검색도구 활용하기 (MEDLINE에서의 예)

부　록

3.4.4. 검색필드 (Search Fields)
1. 개요
3. 문헌검색
4. 문헌선택 및 분류 특정 필드의 문헌만 검색하는 기능이며 각 인터페이스에서는 인터페이스
5. 자료추출
고유의 다양한 검색필드를 제공하고 있다. 저자명(au.), 초록명(ab.), 출판형
태(pt.), 논문명(ti.) 등이 대표적인 검색필드이다.
9. 보고서 작성
검색 필드란에서 체크하여 검색하는 방법도 있으나 검색창에서 직접 입력
해도 바로 인식한다.(Advanced search에서만 가능)
- 예.
이름에 Wilkinson RG이 들어가는 저자 논문 검색 시
Advanced search 검색창에서 "Wilkinson RG.au." 입력 = (검색필드란
검색창 wilkinson rg) + (au 항목 체크)
그림 3-9. Ovid 인터페이스에서 검색필드 활용하기
! 검색필드와 관련된 Tips

DB마다 종류가 다르고 동일한 용어라도 정의가 다르므로 해당 DB의 도움말을 통해
확인하고 사용한다.(아래 tw. 예시)
• tw.
Ovid-MEDLINE에서의 tw.와 PubMed-MEDLINE에서의 tw.는 서로 정의가 다르다.
① Ovid-MEDLINE에서의 tw.
- tw.=(ti. OR ab.)
- 검색어가 논문명(title) 또는 초록(abstract)에 포함된 경우를 검색
② PubMed-MEDLINE에서의 tw.
- title, abstract, other abstract, MeSH terms, MeSH Subheadings, Publication
Types, Substance Names, Personal Name as Subject, Corporate Author,
Secondary Source, and Other Terms
• ui. 또는 uid
- 필요로 하는 논문만 찾고자 하는 경우 title을 입력하여 검색하는 것보다는 ui(unique identifier in Ovid-
MEDLINE) 또는 pmid(PubMed ID in PubMed) 숫자만 입력하면 바로 찾을 수 있다.
- 서로 특정 논문의 서지정보를 주고받을 때 서지정보 전체를 주고받는 것보다 문헌의 주민등록번호인
unique identifier(pmid)를 주고받는 것이 더 정확하고 수월하다.
- Ovid-EMBASE에서는 an(Accession number in Ovid-EMBASE)을 사용한다.
- 동일한 문헌인 경우 unique identifier와 pmid는 동일하며 accession number는 다르다.
PART2. 메타분석
그림 3-4-2. Ovid-MEDLINE에서 21119145.ui라고 입력 시 검색결과
그림 3-4-3. PubMed에서 21119145 혹은 21119145[uid] 라고 입력 시 검색결과

부　록

1. 개요
2. 연구기획과 프로토콜 작성 3.4.5. 불리언 연산자(Boolean operators) 및 절단검색
3. 문헌검색
(Truncation & Wildcard)
5. 자료추출
6. 비뚤림 위험 평가 보다 포괄적이고 정확한 검색을 위해서는 불리언 연산자(Boolean oper
ators) 및 절단검색, 와일드카드 (Truncation & Wildcard) 기능을 사용
9. 보고서 작성
한다.
1) 불리언 연산자(Boolean operators)

기본검색(Basic search) 모드에서는 제공하지 않는 기능이며, Ovid에서는
다음의 네가지 불리언 연산자가 사용가능하다.(OR, AND, NOT, adjX)
OR
- 합집합(A U B) 개념
A B
- 둘
중 한 가지에라도 해당되는 경우
모두 포함하며 주로 비슷한 개념을
포함시킬 때 사용한다.
예. children OR infant:
Tips) 1 ~5번 검색결과를 긴 검색결과를 or로 묶고자 할 경우
1 or 2 or 3 or 4 or 5와 같은 방법을 사용해도 되지만 or/1-5와 같은
간편한 방법을 사용하여도 된다. (‘#1 OR #2… OR #100’ = or/1-100)
AND
- 교집합 (A ∩ B) 개념 A B
-두
가지에 모두 해당되는 경우에만 포하며
주로 서로 다른 개념을 합칠 때 사용한다.
예. fever AND acetaminophen
OR
검색어 대안어
 Patient Osteoarthritis degenerative arthritis,
degenerative joint disease
AND
Intervention Glucosamine
 Comparison Chondroitin sulfate sulfated glycosaminoglycan
Outcomes Pain
Minimum joint
space width
그림 3-10. 불리언 연산자를 사용한 검색의 개념도 예시

NOT
- 차집합 (A-B) 개념, 검색어 배제 A B
예. NOT woman (woman이 들어간 문헌 검색에서 배제)
- 사용 시 필요한 단어가 제거되지 않도록 주의한다.
(일반적으로 추천하지 않는 불리언 연산자임)
예. NOT man (woman이 들어간 문헌까지 검색에서 배제됨)
adjX
PART2. 메타분석
- 양방향으로 검색
예. natural adj10 childbirth = childbirth adj10 natural
natural과 childbirth 사이에 단어가 10개 이내로 있는 모든 결과를 가져오며 문장, 문단을
지나서까지 검색된다.
cf. Elsevier-EMBASE에서의 NEXT와 유사하나 NEXT는 순서가 있음.
예. natural NEXT childbirth ≠ childbirth NEXT natural

Ovid-EMBASE에서는 제공하지 않는 기능
NEXT, NEAR는 adjX와 비슷한 기능(검색어 순서를 인식하는지 여부 차이 때문에 완전히

동일하지는 않음)을 가지나 Ovid에서는 제공하지 않는 연산자이다.
! PubMed에서 불리언 연산자 활용 시 주의점
- PubMed에서 제공하는 불리언 연산자는 AND, OR, NOT 세종류 뿐이며 반드시 대문자로 입력해야
한다.
- PubMed에서 불리언 연산자 활용 시 반드시 ‘#’를 붙여서 검색해야 한다.
- 예. 1번 검색어와 2번 검색어를 AND로 묶어주고자 할 때 검색창에 “#1 AND #2” 로 입력해야 검색이
된다. (“1 AND 2”로 검색하면 안 됨)
- PubMed의 고급검색(advanced search)에서는 검색창에 직접 입력을 하거나(예. #1 AND #2) 마우스
클릭을 해도 불리언 연산자를 사용할 수 있다.
- EBSCO 인터페이스도 PubMed와 마찬가지로 'S'를 붙여서 검색해야 한다. ("S1 AND S2"(O) , "1 and
2" (X))
부　록

1. 개요
3. 문헌검색
5. 자료추출
9. 보고서 작성
그림 3-4-4. PubMed의 고급검색(advanced search)에서 불리언 연산자 사용하기
2) 절단검색과 와일드카드 (Truncation & Wildcard)

검색의 민감도를 높이기 위해 사용하는 검색 기능으로서 *, $, $n, #, ?
등이 있다. 기본검색(basic search) 모드에서는 제공되지 않는 기능이다.
$ 또는 *
어미에 붙이는 검색어로서 제한 없이 검색된다.
예. Computer$: computer, computerized, computerization...
$n
어미에 붙이는 검색어로서 n개 이하의 단어까지 포함하여 검색된다.
예. dog$1: dog and dogs, but not dogma
#
단어 내 혹은 어미에 붙이는 검색어로서 정확히 한 문자만 치환하여 검색된다.
예. wom#n; women, woman..
?
단어 내 혹은 어미에 붙이는 검색어로서 한 문자 이하로(0 또는 1) 치환하여
검색된다.
예. tumo?r; tumor, tumour
! 인터페이스별 절단검색 및 와일드카드 기능과 관련된 Tips
인터페이스별로 사용 가능한 절단검색 및 와일드카드의 기능과 정의가 다르기 때문에 이를 숙지한 후

사용하도록 한다.
표 3-4-2. 인터페이스별 절단검색 및 와일드카드 기능 비교표
Ovid EBSCO
PubMed
인터페이스 인터페이스
무제한 절단검색 $, *, :
(unlimited truncation)
* *
(동일한 역할 수행)
검색어 맨 뒤에 붙여 활용
PART2. 메타분석
예. cat( ) 제한 절단검색
NA
(limited truncation)
$n (단어 맨 끝에 ?를 붙이면 Ovid에서의 $1과 NA
동일한 역할을 수행하므로 활용해볼 수는 있음)
지시성 와일드카드
(mandated wildcard)
# ? NA
검색어 중간에 붙여 활용
예. ne( )t 선택성 와일드카드
(optional wildcard)
? # NA
NA: Not available(제공하지 않는 기능임)
3.4.6. 제한(Limit)

• 특정 분야에 대한 것만 검색하고자 할 때 사용되는 기능이며 (search field와는 동일하지
않음) 필요한 연구를 간단하고 쉽게 확인할 수 있는 장점이 있다. 다만 민감도는 낮고 특이도
(specificity)는 높은 검색 결과를 가져오는 경향이 있다. Default는 edit limit을 이용해 변경
이 가능하다.
그림 3-11. Ovid 인터페이스에서 검색제한(limits) 활용하기

부　록

3.5. 적용예시
1. 개요
3. 문헌검색
5. 자료추출 3.5.1. Ovid
9. 보고서 작성 Explode 검색
Focus 검색
Search field 이용
예.
Diabet*.mp ∩diabetes.tw
=diabetes.tw > .mp 빼도 됨
Exp diabetes/ ∩diabetes.tw
≠ diabetes.tw
합집합으로 scope 확인
Patients
Intervention
P&I
그림 3-12. Ovid 인터페이스에서 구현한 검색전략 예시(당뇨병 환자(P) AND 약물(I)) mapping을 중심으로
Search terms
Unless otherwise stated, search terms are free text terms; MeSH = Medical subject heading
(Medline medical index term); exp = exploded MeSH; the dollar sign ($) stands for any
character(s); the question mark (?) substitutes for one no characters; tw - text word; pt =
publication type; sh = MeSH; adj = adjaccent.
MEDLINE:
Part Ⅱ : Diabetes mellitus, type 2
9. exp Diabetes Mellitus, Type 2/
10. exp Diabetes Complications/
11. (MODY or NIDDM or T2DM).tw,ot.
12. (non insulin$ depend$ or noninsulin$ depend$ or noninsulin?depend$ or non
insulin?depend).tw,ot.
13. ((typ$ 2 or typ$ Ⅱ)) adj3 diabet$).tw,ot.
14. ((keto?resist$ or non?keto$) adj
15. (((late or adults& or matur$ or slow or stable$) adj3 onset) and diabet$).ab,ti.
16. or/9-15
17. exp Diabetes Insipidus/
18. diabet$ insipidus,tw,ot.
19. 17 or 18
20. 16 not 19
그림 3-13. Ovid 인터페이스에서 구현한 검색전략 예시코크란 그룹에서 구현한 검색전략 예시(당뇨병 환자
(P)) 상세검색을 중심으로 (Hemmingsen, 2009) Copyright © 2009 The Cochrane Collaboration.
Published by John Wiley & Sons, Ltd
3.5.2. PubMed
PART2. 메타분석
그림 3-14. PubMed에서 구현한 검색전략 예시
3.5.3. The Cochrane Library
그림 3-15. The Cochrane Library에서 구현한 검색전략 예시

부　록

1. 개요 참고문헌과 읽을거리
3. 문헌검색
4. 문헌선택 및 분류 김수영 강은지 김미영 박소영 배연정 신상미 등. MeSH 색인에서 검색까지. 2007, 한국의학도서관협의회, 한국
5. 자료추출
박병주, 허대석, 안형식, 이상무, 윤영호, 김수영 등. 근거중심 보건의료. V. 체계적 문헌고찰. 2009. 고려의학. 한국
7. 자료분석과 결과제시 박지은, 장보형, 이희영. 국내 보건의료 학술논문 검색 시 활용할 수 있는 주요 데이터베이스 선정에 대한 연구. 2011.
8. 근거수준 평가와 결론의 도출 미출판자료
9. 보고서 작성
Dickersin K, Manheimer E, Wieland S, Robinson KA, Lefebvre C, McDonald S, CENTRAL
Development Group. Development of the Cochrane Collaboration's CENTRAL Register of controlled
clinical trials. Evaluation and the Health Professions 2002; 25: 38-64.
Finding the evidence: Guide to the best available evidence to support introduction of New
Technologies & Clinical Practices. 2008. Centre for Clinical Effectiveness, Southern Health,
Melbourne, Australia
Hemmingsen B, Lund SS, Gluud C, Vaag A, Almdal T, Wetterslev J. Targeting intensive glycaemic
control versus targeting conventional glycaemic control for type 2 diabetes mellitus(protocol),
Cochrane Database Syst Rev. Issue 4. 2009.
Lefebvre C, Manheimer E, Glanville J. Chapter 6: Searching for studies. In: Higgins JPT, Green
S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 (updated
March 2011). The Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org
Maria E. Suarez-Almazor, Elaine Belseck, Joanne Homik, Marlene Dorgan, Cesar Ramos-Remus.
Identifying Clinical Trials in the Medical Literature with Electronic Databases: MEDLINE Alone Is
Not Enough Controlled Clinical Trials, October 2000; 21(5):476-87.
O’Connor D, Green S, Higgins JPT (editors). Chapter 5: Defining the review question and
developing criteria for including studies. In: Higgins JPT, Green S (editors), Cochrane Handbook
of Systematic Reviews of Intervention. Version 5.1.0 (updated March 2011). The Cochrane
Collaboration, 2011. Available from www.cochrane-handbook.org.
Quick Reference Guide, Help. OvidSP. 2009.
Suarez-Almazor ME, Belseck E, Homik J, Dorgan M, Ramos-Remus C. Identifying clinical trials in
the medical literature with electronic databases: MEDLINE alone is not enough. Controlled Clinical
Trials 2000; 21: 476-487.
Systematic Reviews CRD’s guidance for undertaking reviews in health care. CHAPTER 1 Core
principles and Methods for Conducting a Systematic review of Health interventions, 1.3.2.
Identifying research evidence for systematic review. Centre for Reviews and Dissemination (CRD).
January 2009.
White CM, Ip S, McPheeters M, et al. Using existing systematic reviews to replace de novo
processes in conducting Comparative Effectiveness Reviews. In: Agency for Healthcare Research
and Quality. Methods Guide for Comparative Effectiveness Reviews [posted September 2009]
Rockville, MD. http://effectivehealthcare.ahrq.gov/healthInfo.cfm?i nfotype=rr&ProcessID=60

요약
• 문헌선택 시 pilot test를 수행하여 시행착오에 의한 의견 불일치를 줄이도록 한다.
• 문헌선택은 적어도 두 명의 연구자가 독립적으로 수행하여야 하며 의견불일치가 있을 경우
연구자간 합의를 이루거나 제 3자의 개입을 통해 해소하도록 한다.
• 문헌배제 시 그 사유를 남기며, 흐름도를 이용해 문헌선택 과정을 보고하여야 한다.
• 이중게재(duplicate publication)으로 판단되는 연구가 있을 때 연구자의 합의를 거쳐 이를
해결한다.
PART2. 메타분석
• 문헌분류는 DAMI(study design algorithm for medical literature of intervention) 도구를
이용하여 분류한다.
문헌선택이란 포함/배제 기준을 이용하여 연구 질문에 해당하는 문헌을 선택하는 과정이다.

문헌분류는 선택된 문헌을 연구설계 별로 분류하는 과정으로 문헌 분류 결과를 포함/배제
기준으로 사용되기도 한다. 또한, 무작위배정 비교임상시험 이외의 연구설계가 체계적 문헌고찰
에 포함되는 경우 문헌분류 결과에 따라 비뚤림 위험 평가 시 사용되는 도구가 달라지므로 이 역시
문헌분류 시 고려되어야 한다.

4.1. 문헌선택과 배제를 위한 pilot test
본격적인 문헌 선택 및 배제 시작 작업을 시작하기 전에 pilot test를 수행해 봄으로서 추후 포함/
배제 과정에서의 시행착오 및 연구자간 의견 불일치를 감소시키는 것이 중요하다. pilot test는
검색된 문헌 중 일부를(예. 100~500편) 가지고 프로토콜에 정해진 포함/배제 기준에 따라 연구
진 내에서 먼저 문헌 선택을 해보는 과정이다. 일부의 문헌을 추릴 때는 무작위로 추리기, 최근
논문을 중심으로 추리기(vise versa), 연도별로 추리기 등의 방법을 고려할 수 있다. 부　록

1. 개요
3. 문헌검색
4.2. 문헌선택
5. 자료추출 문헌선택은 검색된 문헌 중 적절한 문헌을 선택하는 작업이다. 이 때 가장
7. 자료분석과 결과제시 중요한 사항은 한 문헌에 대해 적어도 두 명의 연구자가 독립적으로 선정
9. 보고서 작성
을 해야 한다는 점이다. 일반적으로는 중복배제, 제목 및 초록 확인 후 배제,
원문 확인 후 배제의 순서로 진행되며 이 때 흐름도를 제시하여 독자가 쉽게
이해할 수 있도록 한다. (그림 4-2) 문헌선택 결과에 연구자 간에 불일치가
있는 경우 연구자 간의 토론 혹은 제 3자의 개입을 통하여 불일치를 해소하
도록 한다.
중복배제: 자동배제, 수동배제 포함

제목 및 초록으로 1차 배제

원문 확인 후 2차 배제
그림 4-1. 문헌선택 과정
! Tips
• 문헌선택 시 명확한 포함/배제 기준이 있더라도 논문제목이나 초록만으로는 정보

가 부족한 경우 우선 선택을 한 후 원문을 확인하여 포함/배제를 결정하도록 한다.
- 초록이 아예 제공되지 않는 경우도 있는데 예전 논문일수록, 비영어 논문일수록
초록이 존재함에도 불구하고 제공되지 않는 경우가 많다.
- 논문이 고찰(review)에 가깝더라도 확실하지 않다면 우선 선택하고 원문을 확인
한다.
• MEDLINE에서 반출된 서지정보의 경우 "type of work"(연구설계) 정보를 포함

하는 경우가 많으므로 이 정보를 이용하면 포함/배제 시 도움이 된다.
• 검색된 연구에 연구번호(ID)를 부여하면 사용하면 검토자끼리 의견을 주고받기가

용이하다. (예. 서지관리 소프트웨어 사용 시 record number 기능 사용)
• 논문 제목이 전형적인 고찰(review)에 가깝고 전체 논문의 양이 1-2페이지정도

되는 경우 실제로 코멘트나 고찰일 가능성이 있으나 간혹 원저(original article)인
경우도 있으므로 함부로 배제하지 않는다.
• 국내 DB의 경우 서지관리 소프트웨어로의 검색결과 반출(반출) 기능이 없는 경우

가 많다. 대부분 Excel로의 반출은 가능하다. ( 『3.2 검색원』의 국내 COre DB 비교
표 Tips 참조)
• 국내 DB의 경우 검색결과가 많지 않다면 별도로 반출하지 않고 DB에서 직접 확인하면서 문헌선택을
하는 것도 한 가지 대안이 될 수 있다.
4.3. 문헌배제
4.3.1. 배제사유 기록 남기기
PART2. 메타분석
1차 배제 시에는 주로 해당 사유 및 개수만을 흐름도에 남기고, 2차 배제 시에는 문헌별로 사유
를 정리하고 보고서 작성 시 부록에 보고한다.(표 4.1) 1차 배제 시에는 배제된 문헌별로 해당
사유를 남기지는 않아도 되며 2차 배제 시에도 찾은 원문이 너무 많을 때는 배제 여부에 대한
논란이 있다고 판단되는 연구에 대해서만 보고해도 된다. 배제 사유는 아래 표 4.1과 같이 그
사유를 서술하여도 되나 사전에 PICO를 중심으로 사전에 정해놓은 기준을 통해 번호로 표시하
기도 한다.
문헌이 배제되더라도 배제사유는 평가자마다 다를 수 있는 데, 이는 1차 배제과정에서는 문제

가 되지 않으나 2차 배제 과정에서 문제가 될 수 있으므로 이때는 평가자끼리 합의하여 하나의

사유로 정리하는 것을 권장한다.
표 4-1. 배제된 연구 및 사유 정리표의 예(한국보건의료연구원, 2010)
예시 1.
서지정보 (Vancouver 형식) 사유
Palmieri C, Ravani M, Trianni G, Gianetti J, Vaghetti M, Rizza A et al. Drug-eluting stents
versus bare-metal stents in acute ST-segment elevation myocardial infarction. a single-center 후향적연구
experience with long-term follow up. J Invasive Cardiol. 2010 Apr;22(4):151-8.
예시 2.
[배제사유]
① 대상군이 아님(Populations): 대상군이 급성 심근경색증이 아닌 경우
② 중재법 및 비교중재(Intervention & Comparison): 약물방출 스텐트와 비약물 금속스텐트의 직접 비교가 아닌 경우
③ (중재)결과: 사망이 포함되지 않거나 추출할 수 없는 경우
④ 연구설계: 무작위 대조 임상연구 또는 레지스트리 연구가 아닌 경우
⑤ 중복연구
서지정보 (Vancouver 형식) 사유

Leibundgut G, Nietlispach F, Pittl U, Brunner-La Rocca H, Kaiser CA, Pfisterer ME.. Stent
thrombosis up to 3 years after stenting for ST-segment elevation myocardial infarction versus
부　록
3
for stable angina-comparison of the effects of drug-eluting versus bare-metal stents. Am Heart J.
2009 Aug;158(2):271-6.

1. 개요
2. 연구기획과 프로토콜 작성 4.3.2. 이중게재 배제
3. 문헌검색
4. 문헌선택 및 분류 이중게재 배제 작업은 완전히 동일한 문헌을 배제하는 과정을 비롯하여 서로
5. 자료추출
다른 서지정보를 가지고 있으나 동일한 연구라고 판단되는 문헌(예: 이중게
재 혹은 하위집단 분석)을 배제하는 과정을 포함한다. 후자는 주로 2차 배제
9. 보고서 작성 과정에서 배제되며 이 과정 또한 연구자 간의 합의를 통하여 배제하도록 한다.
이중게재 판단 시 고려할 수 있는 요소
• 저자명
• 연구 수행 위치(예. 기관, 병원명)
• 중재 방법(예. 용량, 빈도)
• 대상군 수 및 대상군에 대한 기저정보(baseline)
• 연구일 및 연구기간 등
데이터베이스 검색을 통해 확인된 다른 정보원에서 확인된 추가

문헌 수 (n=) 문헌 수 (n=)
검색
 
중복제거 후 남은 문헌 수 (n=)
선정

선별 대상 문헌 수 (n=)  배제된 문헌 수 (n=)

선별
선정 대산 원문 수 (n=)  배제된 원문수와 그 이유 (n=)

질적 합성에 포함된 연구 수 (n=)
포함

양적 합성(메타분석)에
포함된 연구 수 (n=)
그림 4-2. 문헌선택 흐름도 (PRISMA flow chart)
! Tips. 문헌선택 흐름도 그리기(RevMan 소프트웨어 활용)

• 문헌 선택 흐름도는 PRISMA의 흐름도 기준에 맞추어 제시하도록 한다. 문헌 선택
흐름도는 파워포인트나 워드 등의 소프트웨어를 활용하여 그리기도 하는데
RevMan에서 PRISMA 흐름도 기본 틀을 제공하고 있으므로 이 기능을 활용하면
편하다. PRISMA 기준과는 다른 종류의 흐름도를 제시하고자 할 경우에도 RevMan
을 활용할 수 있다. (RevMan은 5.1 version부터 PRISMA 흐름도와 별도의 흐름도
를 모두 그릴 수 있는 기능을 제공하고 있다).
4.3.3. 서지관리 소프트웨어
문헌선택 과정에서 EndNote™, Reference Manager™ 등의 서지관리 소프트웨어가 사용될 수
으며 각 소프트웨어의 기능을 숙지하면 문헌선택 시 도움이 된다. 아래 박스에 서지정보 소프트
웨어를 활용한 문헌 포함/배제 tip을 정리해 놓았다.
! EndNote 사용과 관련된 Tips
1) 서지반출(export)
PART2. 메타분석
• DB별로 한 번에 반출 가능한 서지정보 개수가 다르므로 필요 시 DB 제공사에 요청하여 늘릴 수 있다.
다만 한 번에 다량으로 반출 시 자주 오류가 발생한다.
• 서지반출 오류 발생 시 대처방법
- 오류파일과 폴더를 삭제하고 새 파일을 생성하여 다시 시도해 본다.
- 동시에 여러 라이브러리 파일을 열어두지 않고 1-2개만 열어둔다.
• 각 DB마다 반출되는 서지정보의 형식이 다르므로 이를 숙지할 필요가 있다.
표 4-3-1. DB별 반출 형식의 예
PubMed-MEDLINE Ovid-EMBASE
약어로 반출 됨 Full name으로 반출 됨
저널명

예. N Engl J Med 예. New England Journal of Medicine
동일한 단위는 생략됨 동일한 단위도 모두 방출됨
페이지 수
예. 135-9 예. 135-139
주) Ovid-MEDLINE의 경우 저널명은 full name으로 반출되나 페이지 수의 경우 동일한 단위가 생략되어 반출됨
2) 중복제거
• 소프트웨어에서 제공하는 중복제거 기능이 완벽하지 않아 제목별, 저자별로 정렬하여 수작업으로 추가
중복제거를 수행해야 한다.
3) 문헌선택/배제
• Unfile 폴더, My Groups 폴더를 이용하여 분류하면 편리하다.(EndNote X3 version부터 가능)
부　록
그림 4-3-1. My groups 기능을 이용한 문헌 선택/배제 과정 예시

1. 개요
3. 문헌검색
5. 자료추출
6. 비뚤림 위험 평가 Map Term to Subject Heading:
7. 자료분석과 결과제시 검색어를 해당되는 MeSH용어로
8. 근거수준 평가와 결론의 도출 변환하여 제안해 줌
9. 보고서 작성
그림 4-3-2. 검색기능을 이용한 문헌 선택/배제 과정 예시
• 검색 시 default가 ‘search whole library’로 되어있으므로 이 상태에서 검색을

하면 이미 여러 subgroup으로 분류된 서지정보까지 모두 검색되므로 ‘search
showing reference’로 설정을 변경하고 검색하면 원하는 subgroup(또는 unfiled)
내에서의 서지정보만 검색이 가능하다. (그림 4.3.2)
• 검색 시 앞, 뒤 띄어쓰기를 인식하므로 이를 활용해볼 수도 있다.

- 예. 유전자 관련 연구만을 찾고 싶을 때 ‘gene’이라고 입력하면 general, generation,
angiogenesis 등이 포함된 단어까지 모두 검색된다. 이럴 때는 ‘gene ’을 입력
하여 검색하면 보다 정확하게 검색된다.
4) 기타
• EndNote 실행 시 마지막으로 실행했던 라이브러리 파일이 자동으로 열리는 것
이 default로 설정되어 있기 때문에 import를 할 경우 원치 않는 라이브러리에
자동으로 import가 되므로 주의한다. (Edit > Preferences > Libraries > When
EndNote starts에서 설정을 변경하면 된다)
• 휴지통(Trash) 폴더에 삭제한 문헌이 있는 경우 작업 종료 시 휴지통을 비우겠느

냐는 메시지가 매번 뜬다. 이 때 ‘확인’을 클릭하면 휴지통에 있는 모든 내용이 삭
제되며 ‘취소’를 클릭하면 종료 후 다시 작업을 시작할 때 휴지통에 넣어놓은 서지
정보가 계속 남아 있게 된다. 휴지통의 서지정보가 삭제되면 복구가 불가능 하므
로 추후 어떠한 문헌을 삭제했는 지 확인할 수 없으므로 주의하도록 한다.
• Ctrl+z(되돌리기) 기능이 없으므로 주의한다. (작업하는 순간 모든 것이 저장되므

로) 되돌리기를 하고자 하면 수작업으로 다시 변경해 주어야 한다.
4.4. 문헌분류
문헌분류 과정은 포함된 개별연구를 연구 설계별로 기준에 따라 분류하는 작업이다. 이 때 사용
할 수 있는 문헌분류도구는 다양할 수 있으나 한국보건의료연구원에서는 Study Design
Algorithm for Medical literature of Intervention (DAMI)라는 적합도 검증을 거친 문헌분류
도구를 사용한다.
문헌분류 시 논문제목 혹은 초록 정보만으로도 분류가 가능한 경우가 있기는 하나 저자가 연구

설계에 대해 잘못 보고하는 경우도 있으므로 대개는 선정된 연구의 원문(full text)을 읽어보면
PART2. 메타분석
서 연구자가 직접 분류하게 된다. 선정된 연구에 대해 두 명 이상의 연구자가 검토하게 되므로
분류의 결과가 다를 수 있는 데 이 역시 연구자간 합의, 혹은 제 3자의 개입을 통해 불일치를
해소하도록 한다. 문헌분류에 필요한 정보가 부족할 경우 해당 저자에게 연락해볼 수 있다.
아니요
폭로/처치여부에 따른
전후연구
비교를 하였는가?  비비교연구
예

둘
셋이상 아니요 주관심 결과변수의 비교가
후향적
시계열연구  비교시점  서로 다른 집단에서
코호트연구

이루어졌는가?
예

폭로
전적으로
후향적 결과
동시
정보 수집의 비교군 후향적환자-
단면연구
 시간적 순서  구성의 기준  대조군연구
 일부라도
전향적
연구자에 의한 아니요 결과
비교군 전향적환자-
실험적 처치배정이
이루어졌는가?
 구성의 기준  대조군연구
예  폭로
아니요 비교군 아니요
비무작위배정 무작위배정의 계획이 비동시적/
비교임상시험  수립되었는가?
정보취득의
동시성
 과거대조군
코호트연구
예 예
아니요
준무작위배정 무작위배정의 원칙이 전향적
비교임상시험  적용되었는가? 코호트연구
예
무작위배정
비교임상시험
그림 4-3. 문헌의 분류도구, DAMI

부　록

1. 개요
2. 연구기획과 프로토콜 작성 BOX 4.1. 문헌의 분류도구(DAMI) 이용자 매뉴얼
3. 문헌검색
5. 자료추출
6. 비뚤림 위험 평가 1) 폭로 또는 중재 여부에 따른 비교를 하였는가?
연구의 주목적이 독립적인 군 사이의 비교(between group comparison, 군간
9. 보고서 작성 비교) 또는 동일군 내에서 둘 이상 시점 사이의 비교(within group comparison,
군내비교)인 경우 비교연구라고 한다. 반면, 주요변수를 대상으로 군간 비교결과
를 제시하더라도 비교연구라는 근거를 뚜렷이 제시하지 못하는 연구는 비교연구
로 보지 않는다. 예를 들어 전체 대상자를 성에 따라 구분하여 각각에 대하여 평균
나이를 제시하는 것과 같이 단순히 특정 변수에 대한 기술통계만 제시할 뿐, 통계
적 추론이 포함된 정량적 통계분석을 제시하지 않는 연구는 비비교연구의 일종인
환자군 연구(case-series)로 판정한다.
2) 주관심 결과변수의 비교가 서로 다른 집단 사이에서 이루어졌는가?

연구결과에서 제시되는 여러 결과변수에 대해 군간비교, 군내비교 모두를 제시
하는 경우도 있다. 이 경우 주관심 결과변수를 기준으로 이것이 군간비교, 군내
비교 중 어디에 해당 하는지를 판단한다. 만일 ‘예’인 경우(군간 비교), 평행연구로
구분되고 ‘아니요’(군내 비교)인 경우 전후연구로 구분된다. 일부 연구에서 기본적
인 연구의 틀은 군내 비교이나, 별도의 독립적인 비교군을 제시하는 경우가 있다.
이 경우 전후연구의 일종인 비교군 전후연구(controlled before and after study)
로 구분한다. 다만 교차시험(cross-over trial)인 경우 본 단계를 생략하고 ‘연구
자에 의한 실험적 처치배정이 이루어졌는가?’라는 질문으로 넘어간다.
3) 정보수집의 시간적 순서
연구에 사용된 중재와 (중재)결과 자료의 수집이 동시에 이루어졌다면 단면연구
로 구분한다. 자료가 시간의 흐름에 따라 연속적으로 생성되나 연구 자료가 전적
으로 이미 모두 존재하는 것이라면 후향적 연구로 구분한다. 시간의 흐름에 따라
생성되는 자료이며 아직 발생하기 전 상태인 자료이면 후향적 자료가 일부 포함
되어 있더라도 전향적 연구로 본다. 과대평가를 막기 위해 ‘전향적’인지 판단할 수
없는 경우는 후향적 연구로 본다.
4) 연구자에 의한 실험적 배정이 이루어졌는가?

특정 중재 시행 여부가 연구자의 의도에 따라 행해졌는가를 평가한다. 만일 ‘예’
인 경우 중재연구로 구분하며, 그렇지 않은 경우 관찰연구로 구분한다. 배정 여부
가 불확실한 경우 해당 대상자에게 연구당시의 지식에 근거해 통상적으로 행해지
는 임상적인 처치(예: 폐렴에서특정 항생제요법)는 실험적 처치라고 보지 않으며,
특정 처치의 유효성 또는 안전성에 대한 결론을 내리지 못한 상태에서 이를 적용
하는 경우에만 실험적 처치로 판단한다. 특정 처치의 실험적인 성격이 명백하지
않은 경우에는 평가자의 합의로 결정한다.
6) 무작위배정의 원칙이 적용되었는가?
배정방법이 진정한 무작위배정의 원칙에 부합하는 것이지를 판단한다. 예를 들어, 생일, 병록번호, 내원
순서 등에 따른 중재군의 배정은 진정한 무작위배정의 원칙에 부합하지 않기 때문에 ‘아니요’로 판단하고
준무작위배정 비교임상시험으로 구분한다.
PART2. 메타분석
건강보험심사평가원. 한림대학교 산학협력단. 임상연구 문헌의 질평가 도구 개발 연구. 2009.3.
박병주, 허대석, 안형식, 이상무, 윤영호, 김수영 등. 근거중심 보건의료. V. 체계적 문헌고찰. 2009. 고려의학. 한국
심대무, 장호근, 문영래, 유재호, 의학 논문 작성을 위한 EndNote. 영창출판사. 2008. 9.
한국보건의료연구원. 급성 심근경색증 환자에서 약물방출 스텐트와 금속 스텐트의 비교. 2010.
Higgins JPT, Deeks JJ (editors). Chapter 7: Selecting studies and collecting data. In: Higgins JPT, Green S
(editors), Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 (updated March 2011).
The Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org.
Systematic Reviews CRD’s guidance for undertaking reviews in health care. CHAPTER 1 Core principles
PART3. 체계적
and Methods for Conducting a Systematic review of Health interventions, 1.3.2. Study selection. Centre for
부　록 의료기술평가와
문헌고찰과
관련된
관련된
주요주요
이슈들
이슈들

1. 개요
3. 문헌검색
5. 자료추출
9. 보고서 작성
5. 자료추출

요약
• 자료추출 형식을 결정하는 것은 매우 중요하다. 체계적 문헌고찰의 목적을 달성할 수 있도록
주의 깊게 만들 되, pilot test를 거친 후 확정하여야 한다.
• 자료추출 형식은 다양할 수 있으나 양적합성(메타분석)을 할 경우 이를 고려하여 추출 형식을 결
정해야하며 필요 시 수식변환(conversion)도 고려한다.
• 자료 추출 시 한 연구에 대해 적어도 두 명의 연구자가 독립적으로 수행하는 것이 권장되나
한 연구자가 추출을 하고 다른 연구자가 검토하는 방식으로 진행되기도 한다.
• 자료 추출 시 자료의 형태와 개념에 대한 기본지식이 필수적이다.
PART2. 메타분석
자료추출은 ‘사전에’ 정의된 형식을 이용하여 자료를 추출하는 과정이다. 이 때 한 연구에 대해
적어도 두 명의 연구자가 독립적으로 수행하는 것이 권장되나 한 연구자가 추출을 하고 다른
연구자가 검토하는 방식으로 진행되기도 한다. 두 명의 연구자가 동일 연구에 대해 자료 추출을
할 경우, 방법론 전문가와 해당 임상 전문가가 짝을 지어 상호보완적으로 자료추출을 하는 것이
이상적인 방법이다. 또한 자료 추출 전 자료추출자를 위해 자료추출에 대한 상세한 교육과 안내
가 필수적이다. 연구자에 따라 문헌분류, 비뚤림 위험 평가, 자료추출을 동시에 수행하기도

한다.
5.1. 자료추출과 pilot test

자료 추출 시 pilot test 을 실시하는 것이 추천되며, 그 결과를 바탕으로 자료추출 형식(data
extraction format)을 만들도록 한다. 이 때 모든 결과지표의 값을 추출하지는 않아도 되며
주요 결과로 판단되는 항목을 중심으로 추출하고 주요 결과가 아닌 경우 해당 분야의 임상 전문
가와 상의하여 추출 여부를 결정하여 진행한다. Pilot test를 위해 연구를 추려낼 때는 무작위로
추리기, 최근 논문을 중심으로 추리기(vise versa), 연도별로 추리기 등의 방법들을 고려할 수
있다.
부　록

5.2. 자료추출 항목
1. 개요
3. 문헌검색
5. 자료추출
자료 추출에 포함될 수 있는 요소는 연구정보(예. 저자, 출판년도), 포함/
배제 사유, 연구방법, 연구대상, 비교중재, (중재)결과(outcomes), 연구결과
8. 근거수준 평가와 결론의 도출 (results), 기타사항 등이며 세부적인 내용은 표 5-1과 같다.연구자에 따라
9. 보고서 작성
소프트웨어에 직접 입력하기도 하고, 종이를 사용하기도 한다. 자료추출
표에 기입된 정보를 바탕으로 포함된 연구 특성표(characteristics of inclu
ded studies tables)와 결과지표 값에 대한 추출표(결과 제시표)가 작성되기
도 하며 처음부터 연구 특성표와 결과지표 값 추출표를 나누어 작성하기도
한다.
표 5-1. 자료취합 또는 자료 추출 시 고려할 수 있는 항목들 (cochrane handbook, 2011) Copyright © 2011 The
Cochrane Collaboration. Published by John Wiley & Sons, Ltd
연구정보 (중재)결과 (Outcomes)

• 연구번호 (편의를 위해 연구자가 각 연구에 부여한 번호) • (중재)결과 및 시점: 자료수집 시기, 보고시기
• 연구자 번호 (편의를 위해 각 연구자에게 부여된 번호) 관심 (중재)결과 각각에 대한 다음 사항:
• 서지정보 및 교신저자 연락처
- (중재)결과의 정의(진단 기준 포함)
- 측정단위(가능한 경우)
선정 (Eligibility)
- 점수화 되는 결과(scale)의 경우:
• 연구의 선정여부
상한치, 하한치, 높은 점수가 나은 것인지 낮은 점수
• 배제사유
가 나은 것인지 여부
방법 (Methods)
결과 (Results)
• 연구설계
• 연구 수행기간 • 각 중재군에 배정된 참여자 수
무작위배정 비교임상시험인 경우 아래사항도 추가함 관심 (중재)결과 각각에 대한 다음 사항:
- 무작위 배정순서 생성 - 연구 규모(Sample size)
- 배정순서 은폐
- 결측된(Missing) 참여자 정보
- 눈가림
- 각 중재군에 대한 요약 자료(예. 이분형 자료의 경우
- 비뚤림을 평가할 수 있는 다른 요인들
2×2 table, 연속형
연구대상 (Participants) 자료의 경우 평균과 표준편차)
- (효과추정치 및 신뢰구간, p값; 유의한지 유의하지
• 총 참여 대상 수
• 중재가 적용되는 임상현장 상태(setting): 예) 1차, 2차, 3차
않은지 기입, p값이 없거나 추출 가능한 통계정보가
의료기관 여부 없는 경우 그 사실 또한 기입)
• 진단기준 - (하위그룹 분석)
• 나이
• 성별
기타사항
• [동반질환]
• [사회-인구학적 특성] • 연구비 출처
• [인종] • 저자가 내린 주요 결론
• [연구시기] • 저자가 언급한 기타 사항
• 참고문헌으로 제시된 관련연구
중재 (Interventions) • 교신정보
• 중재 집단의 수 • 검토자의 코멘트
중재군과 비교중재군 각각에 대한 다음 정보:
• 중재방법
• 중재방법의 특성(동일(반복)시행이 가능한 지 중재방법
인 지 여부)
• [중재의 강도(Integrity)]
5.3. 자료추출
자료추출은 연구에서 보고하고 있는 정보(자료)들을 추출하는 과정이며 편향되지 않고 신뢰성
있게 진행되어야 한다. 자료추출은 연구에서 보고하는 값을 추출하는 단순 과정으로 생각될 수
있으나 연구설계와 같은 역학적 이해, 결과지표에 대한 통계적 이해, 해당분야에 대한 임상적
이해 등이 선행되어야 할 뿐만 아니라 주관적인 판단을 필요로 하는 경우도 발생하므로 숙련된
방법론·임상 전문가에 의해 수행되는 것이 좋다. 자료 추출은 특히 체계적 문헌고찰 과정 중에
서 가장 많은 시간과 자원이 드는 단계이므로 주어진 시간과 자원에 영향을 많이 받는 단계이기
도 하다.
PART2. 메타분석
자료 추출은 결과를 제시하는 과정과 크게 다르지 않으나(7장. 자료분석과 결과제시 참고) 자료
추출 결과가 정리되기 전의 형식이라고 볼 수 있기 때문에 보고서에 잘 반영되지 않는 부분이
며, 연구자의 선호도에 따라 자료 추출표가 제작된다.
! Tips.
• 자
료 추출 시 엑셀을 사용할 경우 가로 길이에 제한이 없으나 이를 논문 혹은 보고서로 옮길 때 지면
상의 제약이 있을 수 있으므로 이를 고려하도록 한다. 예를 들어 엑셀 등에 분량 제한없이 자료추출을

하고, 자료 정리를 할 때 필요한 열(column)만 가지고 와서 다시 정리할 수도 있다.
• 자
료 추출 시에 발생하는 오류를 감소시키기 위해 Access와 같은 소프트웨어 등을 사용하여 자료를
추출한 후 정리하기도 한다.
그림 5-3-1. Access를 이용한 자료 추출 예시

부　록

1. 개요 표 5-2. 자료취합 또는 자료 추출 시 고려할 수 있는 항목들 (cochrane handbook, 2011) Copyright © 2011 The
2. 연구기획과 프로토콜 작성 Cochrane Collaboration. Published by John Wiley & Sons, Ltd
3. 문헌검색
4. 문헌선택 및 분류 Chechi 2007 (SELECTION trial)
5. 자료추출
6. 비뚤림 위험 평가 연구설계: 무작위배정 비교임상시험
방법
7. 자료분석과 결과제시 평균 추적기간: 10개월
9. 보고서 작성 포함기준:
1) ≤75세
2) ST분절 상승과 함께 흉통 ≥30분 이상 지속
제외기준:
1) 심인성 쇼크
2) 혈전용해요법
3) 경구 항혈전제 치료
4) 지연된 심폐소생술
5) 6개월 이내의 CABG, PCI 허혈성뇌졸중
6) 출혈성 소인
7) 혈관조영술 제외기준 - 이전의 infarct-related artery (IRA)의 stenting과 시각적
대상군 으로 평가하기에 <2.25 mm의 culprit lesion의 reference vessel diameter (RVD)
DES BMS
대상수(명) 40명 40명
평균 나이 [표준편차] 59.7[8.9] 61.7[8.7]
남자(%) 85% 80%
좌전하행동맥(%) 55% 45%
당뇨병(%) 7.5% 17.5%
인종: 제시되지않음
국가: 이탈리아(단일기관)
약물방출스텐트 종류: paclitaxel
중재방법 혈전용해제 종류 및 용량: aspirin 100mg, clopidogrel 375mg
혈전용해제 사용기간: clopidogrel 9개월

MACE - in hospital, 1개월, 7개월
Death - in hospital, 7개월
ReMI - in hospital, 7개월
(중재)결과 Subacute ST - 1개월
(STEMI 환자) early ST ARC - 30일 전
Late ST - 7개월, Late ST ARC - 30일 후
TLR - 7개월
TVR - 7개월
회사로부터의 재정지원 제시되지 않음.
기타 Intention-To-Treat 분석여부 제시되지 않음

비뚤림 위험 (Cochrane's Risk of Bias)
검토자의 판단 이유 기술
적절한 순서생성 불명확 “randomly assigned”
배정은폐 불명확 제시되지 않음
눈가림 여부 아니요 “Single blind”

불완전한 결과 자료 아님 아니요
선택적 결과 보고 아님 아니요
blocked randomization 여부를 모름
기타 다른 비뚤림 위험 없음 불명확
(눈가림이 깨진 경우 중요)
표 5-3. 자료 추출표 (예시 2) - 연구 특성을 중심으로
중재군 중재군 대조군 out 결과

Ref. First 연구 연구 중재 대조 F/U 합병증 질평가
작성자 year 중재군 비교군 평균 중앙값 평균 comes 변수 비고
No author 설계 국가 군수 군수 (mo) 목록 결과
나이 나이 나이 list 정의
Op time
51.1.자료 EBL
PART2. 메타분석
LRP Conversion(Open) 질평가
Tra 추출과 자
1 13 2008 2 미국 RARP (Transper 50 57.7 190 NR final surgical p NR NR sheet
bulsi itoneal)
료 athology 참조
변환 post operative
complications
NR: Not Reported;

RARP: robotically assisted laparoscopic radical prostatectomy;
LRP: Laparoscopic radical prostatectomy;
Op time: Operation time;
EBL: Estimated Blood Loss
작성자: 1(A), 2(B), 3(C), 4(D)
연구설계: 1: RCT, 2: NRT, 3: 전향적 코호트, 4: 후향적 코호트, 5: 비동시적/과거대조군
표 5-4. 자료 추출표 (예시 3) - 연구 결과를 중심으로
Mean p-value
Mean (Robot) Total
작성자 Ref. No Outcomes SD(Robot) Total(Robot) (control) SD(Control) (between 비고
in minutes (Control)
in minutes groups)

2 8 total op time 277 14 50 264 28 50 NS
2 8 surgical time 202 38 50 236 12 50 NS
3 12 199.6 36.6 71 257.3 94.3 85
NS: Not Significant
5.4. 자료추출과 자료변환 (converting)

자료를 추출하였다 하더라도 각 연구에서 보고하는 자료 형태가 상이할 수 있으므로(예. 표준
편차, 표준오차, 신뢰구간 등) 정량적 합성을 위해서는 통일된 형식으로 자료를 변환할
필요가 있다. (상세한 방법 및 내용은 메타분석 PART를 참조) 연구에서 보고하는 값과 단위를
추출하여 기록할 수도 있으며 바로 변환하여 추출할 수도 있다. 또한, 이 단계는 실수가 가장
빈번히 발생하는 단계이기도 하고, 잘못된 값 추출은 결과합성과 결과해석에도 영향을 미치게
되므로 특히 주의를 기울여야 한다.
부　록

1. 개요
2. 연구기획과 프로토콜 작성 ! Tips
3. 문헌검색
5. 자료추출 • 자료추출, 비뚤림 위험 평가의 순서
- 자료추출을 먼저 하느냐 비뚤림 위험 평가를 먼저 하느냐 혹은 동시에 하느냐에
8. 근거수준 평가와 결론의 도출 대해서는 어떤 것이 표준이라고 이야기할 수 없다. 아래 표에 각 의견을 정리해 놓
9. 보고서 작성
았다.
표 5-4-1. 자료추출, 비뚤림 위험 평가의 순서에 대한 의견
비뚤림 위험 평가와
자료추출을 비뚤림 위험 평가를
자료추출을
먼저 하자는 의견 먼저 하자는 의견
동시에 하자는 의견
• 동시에 진행하는 것이 더 편하
며 동시에 진행해도 결과는 크
• 비뚤림 위험 평가 때 한 • 비뚤림 위험 평가 시 내용
게 다르지 않음
번 더 보면서 더 깊이 비 을 보면서 자료추출할 것
뚤림 위험 평가를 할 수 들을 미리 체크해 놓으면 • 시간절약에 도움이 됨
있다는 장점 자료 추출 시 편리함 • 동시에 하는 것이 더 어렵다는
의견도 있음
• 자료추출과 자료변환 (converting), 대치 (imputation)

- 평균, 중앙값, 표준편차, 표준오차, 오즈비, 상대위험도 등에 대한 기본 개념이
필수적이다. 각각의 개념을 혼동할 경우 자료 추출이 잘못되고 결국 잘못된 정량
적 합성 결과가 도출될 수 있으므로 주의한다.
- 각 군의 값은 있지만 통계결과가 보고되지 않는 경우도 있으므로(예. t검정

혹은 χ2 검정과 등) 직접 통계분석 하여 값을 추출해 낼 수도 있다.
- 자료 변환을 위해 입력 후 원하는 값으로 변환이 가능한 엑셀표 등을 미리 만들

어 놓으면 편할 수 있다.
• 자료추출 시 유의점
- 정량적 합성을 수행할 경우, 한 셀 안에 모든 정보를 추출하여 넣는 것 보다는
(중재) 결과 별로 결과 값과 신뢰구간 또는 표준편차를 각각 추출하는 것이 편리
하다.
- 이 때 Microsoft Excel, Access 등의 소프트웨어를 사용하면 추후 추출값을 다른

지표로 변경할 때 수식을 사용할 수 있어서 용이하다.
결과지표 값(SMD) 결과지표 평균 표준편차 p값
VAS
평균±표준편
차: 2.35±0.17
p값: 0.015
 VAS 2.35 0.17 0.015
- 추출 시 각 군의 값을 반대로 추출하여 기입하는 실수가 종종 발생하므로 추출 시 추출표의 각 군을 재차
확인하고, 추출 후 재검토를 통하여 실수를 줄이도록 한다. (각 군의 값을 반대로 추출하면 정량적 합성
시 결과가 뒤바뀔 수 있으므로 주의한다.)
- 오즈비나 상대위험도, 표준화된 평균차 등의 지표는 reference가 어떤 그룹이냐에 따라 결과가 완전히
달라지므로 이 역시 추출 시 주의한다. (head-to-head 연구의 경우 특이 주의)
- 연속형 자료 중 환자보고자료(patient reported outcomes)의 경우 scale 기준과 범위 등을 같이 추출
하도록 한다. (예. VAS: 10점 만점 기준 또는 100점 만점 기준)
- 이중게재로 판단되는 경우 어떻게 추출할 지 여부에 대해서는 추출 전 혹은 추출 후 해당 추출자 간에
합의를 통해 결정한다.
PART2. 메타분석
- 자료 추출이 불가능한 경우(예. 그래프로 보고하고 있으나 정확한 값을 알 수 없는 경우) 해당 저자에게
연락하여 자료를 받아볼 수 있다. (그러나 저자에게 연락 한다 하더라도 답신이 오는 경우는 매우 드물
다.) 이 때, 저자에게 연락했다는 사실과 연락 결과를 모두 보고하도록 한다.

Higgins JPT, Deeks JJ (editors). Chapter 7: Selecting studies and collecting data. In: Higgins JPT, Green S
(editors), Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 (updated March 2011).
The Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org.
Nannini LJ, Cates CJ, Lasserson TJ, Poole P. Combined corticosteroid and long-acting beta-agonist in one
inhaler versus inhaled steroids for chronic obstructive pulmonary disease. Cochrane Database Syst Rev.
2007 Oct 17;(4):CD006826.
Methods for Conducting a Systematic review of Health interventions, 1.3.3. Data Extraction. Centre for
부　록

1. 개요
3. 문헌검색
5. 자료추출
9. 보고서 작성

요약
• 비뚤림은 체계적 오류이며, 비뚤림 위험은 비뚤림이 발생할 위험 정도를 말한다.
• 연구설계별로 발생할 수 있는 비뚤림 위험을 잘 평가할 수 있는 평가 도구를 사용하여
평가하는 것이 적합하며, 무작위배정비교임상시험 평가도구로는 코크란 그룹의 Risk
of bias(RoB)를, 비무작위 연구 평가도구로는 Risk of Bias Assessment tool for Non-
randomized Study(RoBANS)의 사용을 추천한다.
• 비뚤림 위험을 해석하는 방법은 네 가지가 있다. 첫째, 한 연구에서 결과간의 비뚤림 위험
요약한다. 둘째, 한 연구에서 하나의 결과의 비뚤림 위험을 요약한다. 셋째, 연구간에 하나의
PART2. 메타분석
결과에 대해 비뚤림 위험을 요약(예. 메타분석)한다. 넷째, 모든 연구와 모든 결과에서 비뚤
림 위험을 요약한다. 체계적 문헌고찰에서는 이 중 두 번째 또는 세 번째 방법의 사용을 권장
한다.
• 비뚤림 위험 평가 결과는 도표화하여 표현할 수 있으며, 메타회귀분석이나 하위그룹분석,
민감도 분석(비뚤림 위험이 낮은 연구만 제한)에 활용된다.
6.1. 비뚤림 위험 평가란?

비뚤림은 체계적인 오류로 결과나 추정에 있어 참값으로부터 벗어남을 의미한다. 비뚤림은 중
재 효과를 과소추정하거나 과다추정하게 하는 요소가 될 수 있기 때문에 중요하다. 비뚤림 위험
평가는 흔히 문헌의 질평가로 알려져 왔는데 질평가라는 용어는 연구의 수준을 평가하는 것으
로 비뚤림 위험 평가로 명확히 표현하는 것이 좋다.
6.2. 비뚤림 위험 평가 도구들의 종류

6.2.1. 무작위배정 비교임상시험 평가 도구
무작위배정 비교임상시험 평가도구들은 크게 척도(scale) 도구와 점검목록(checklist) 도구로
구분할 수 있다. 척도도구는 비뚤림 위험을 점수로 제시하는 것으로, 대표적인 것으로 차머스
(Chalmers) 척도와 자다드(Jadad) 척도가 있다. 하지만 이러한 척도도구는 점수의 의미가 불
확실하며 척도 종류에 따라 결과가 달라지는 문제가 있다.
점검목록 도구는 비뚤림 위험의 특정 영역을 만족하는지 여부에 대하여 개별적으로 평가하는
것으로 Scottish Intercollegiate Guideline Network(SIGN)이 개발한 점검목록과 Cochrane
부　록
group이 개발한 Risk of bias(RoB) 도구가 대표적이다. Cochrane group이 개발한 RoB 도구
는 점검목록도구 형태의 영역평가도구이다.

1. 개요
2. 연구기획과 프로토콜 작성 6.2.2. 비무작위 연구의 비뚤림 위험 평가 도구
3. 문헌검색
4. 문헌선택 및 분류 비무작위 연구의 비뚤림 위험을 평가하는 도구는 매우 다양한데, Deeks 등의
5. 자료추출
연구에서는 182개의 도구를 검토하여 체계적 문헌고찰에서 이용하기 적합한
것으로 6개의 도구를 선정하였다(Deeks, 2003). 하지만 이들 모두는 도구의
9. 보고서 작성 편의성, 타당도 검증, 평가 결과의 활용 등 여러 이유로 많이 사용되지 않고
있다.
Methodological index for non-randomized studies(MINORS)는 수술요법
에 대한 비무작위 연구의 비뚤림 위험 평가를 위해 만들어진 도구로 타당도가
입증된 평가 도구이다(Slim, 2003). 그러나 이 도구는 척도 방식의 도구이며,
비무작위 연구의 비뚤림의 주요 요소인 교란변수 보정을 다루지 않고 있다는
단점이 있다. 국내에서 개발된 RoBANS(Risk of Bias Assessment tool for
Non-randomized Study)는 체크리스트 형식의 도구이며, 연구설계에 따라
비뚤림 위험을 평가하며 GRADE 적용이 용이한 장점이 있다. 자세한 내용은
아래에서 살펴보기로 한다.
6.3. 무작위배정 비교임상시험의 비뚤림 위험 평가

6.3.1. 무작위배정 비교임상시험의 비뚤림 위험 도구의 선정
무작위배정 비교임상시험의 비뚤림 위험 평가는 코크란 그룹의 Risk of bias
도구(이하 RoB 도구)를 사용한다. RoB 도구는 체크리스트 방식과 영역평가
방식의 결합된 형태를 갖추고 있으며, 문항을 단순화한 반면에 같은 문항에
대한 주관적이거나 자의적인 답변의 가능성을 최소화하고 평가자의 연구방법
론에 대한 이해도와 숙련도에 따른 평가결과의 변동을 최소화하기 위한 노력
을 기울여 만들어진 도구이다. 각 문항에 대하여 문헌의 본문에 어떠한 내용
이 있는지에 따라 비뚤림 위험이 “높음(high risk of bias)”, “낮음(low risk
of bias)”으로 판정할지에 대해 비교적 구체적인 기술과 가이드라인이 제시
되어 있어 사용이 용이하며, 또한 근거수준을 평가할 때 GRADE에 적용하기
용이한 장점이 있다.
6.3.2. Cochrane’s Risk of bias 도구의 평가 영역

무작위배정 비교임상시험에서의 비뚤림 종류는 선택 비뚤림, 실행 비뚤림,
결과 확인 비뚤림, 탈락 비뚤림, 보고 비뚤림의 다섯 가지이다. RoB 도구는
이러한 비뚤림을 평가하기 위해 무작위 배정순서 생성, 배정순서 은폐, 참여
자·연구자의 눈가림, 결과 평가자의 눈가림, 불완전한 결과의 처리, 선택적
결과 보고, 타당도를 위협하는 다른 잠재적 비뚤림 위험의 7가지 영역으로 평가
한다(표 6-1).
표 6-1. Risk of bias 도구에서 확인할 수 있는 비뚤림 위험
비뚤림 종류 기술 Risk of bias에서의 관련 영역

선택 비뚤림 비교 대상군들의 기저 상태의 체계적인 차이 • 무작위 배정순서 생성
(selection bias) (systematic differences) • 배정순서 은폐
실행 비뚤림 제공되는 치료가 계통적인 차이가 있거나, • 연구 참여자, 연구자에 대한 눈가림

(performance bias) 관심 중재 이외의 다른 인자에 노출되는 경우 • 타당도를 위협하는 다른 잠재적 비뚤림
결과 확인 비뚤림 (중재)결과를 확인하는 방법에서의 그룹간 • 결과 평가에 대한 눈가림

(detection bias) 체계적인 차이 • 타당도를 위협하는 다른 잠재적 비뚤림
PART2. 메타분석
탈락 비뚤림
탈락률에 있어서 그룹간 체계적인 차이 • 불완전한 결과 자료
(attrition bias)
보고 비뚤림 보고된 결과와 보고되지 않은 결과간의

• 선택적 결과 보고
(reporting bias) 체계적인 차이
1) 무작위 배정순서 생성
무작위 배정순서 생성은 진정한 무작위배정이 되었는지를 평가하는 영역이다. 비뚤림이 없는
연구를 하려면 대상군이 적절한 무작위 배정순서 생성을 통해 모든 군이 동일한 중재를 받아

야 한다. 따라서 무작위 배정순서 생성에 있어 무작위 요소 사용이 적절하여야 한다. 동전,
주사위던지기, 난수표, 컴퓨터 등으로 무작위 배정을 시도한 경우 단순무작위라 한다. 두 군의
배정비를 맞추기 위해 블록무작위화와 같은 제한된 무작위화를 사용하기도 한다. 질병 중증
도나 연구 기관과 같은 예후 인자에 따라 무작위배정이 이루어지는 층화 무작위배정도 흔히
쓰인다. 생일, 병록번호, 내원일 등을 이용하여 배정하는 것은 준무작위배정이라 볼 수 있다.
2) 배정순서 은폐
무작위 배정순서 생성이 잘 이루어졌다고 해도 배정순서 은폐가 이루어지지 않으면, 순서를
예측할 수 있어 비뚤림을 줄이기 위한 노력의 효과가 없을 수 있다. 따라서 배정순서 은폐는
비뚤림에서 중요한 요소이다. 배정순서 은폐가 부적절하면 연구자는 쉽게 배정스케줄을 알게
되기 때문에, 이런 선택 비뚤림을 피하기 위해 배정에 대한 사전지식을 차단해야 한다. 배정
순서 은폐 방법 중에는 제 3자에 의한 중앙무작위화 방식이 가장 바람직하며, 봉투 등을 이용
할 경우 조작하기 쉽기 때문에 조작을 막을 수 있는 추가적인 방법을 준비하는 것이 필요하
다.
배정순서 은폐와 눈가림을 혼동하는 경우가 많은데, 배정순서 은폐는 ‘배정 때까지’ 배정
순서를 노출하지 않는 것으로 선택 비뚤림을 줄이고 연구주제와 관계없이 시행할 수 있다.
부　록
하지만 눈가림은 ‘배정 이후에’ 실행 비뚤림과 결과확인 비뚤림을 피할 수 있도록 하는

방법으로 시행이 불가능한 경우가 있다.

1. 개요
3) 참여자, 연구자, 결과 평가자 눈가림
3. 문헌검색
4. 문헌선택 및 분류 눈가림이란 연구참여자, 연구자, 결과 평가자가 연구배정 이후 배정상태
5. 자료추출
를 모르는 것이다. 눈가림은 중재 자체보다는 어떤 중재를 받았는지에
7. 자료분석과 결과제시 대해 알 수 있는 위험을 줄임으로서 결과와 결과평가에 미치는 영향을 줄
9. 보고서 작성 이는 것이다. RoB 도구에서는 참여자, 연구자의 눈가림 여부와 결과측정
자의 눈가림 여부를 나누어 평가하게 된다.
참여자나 제공자에 대한 눈가림이 시행되지 않으면 비교군의 기대 부족,

중재군간 다른 행동 등의 차이로 인해 연구 결과에 영향을 줄 수 있다.
만일 참여자, 결과평가자가 배정을 알고 있으면 결과평가에 영향을 미칠
수 있다.
눈가림 여부는 결과에 따라 비뚤림 위험이 클 수도 있고 영향이 크지 않을

수도 있다. 예를 들어 참여자의 중재에 대한 지식은 행동결과 등의 결과
에는 영향을 미칠 수 있으나, 생리적 결과나 사망 등에는 영향을 미치지
않는다. 따라서 사망 등의 결과에 있어서는 참여자나 결과 평가자가 중재
를 안다고 해도 비뚤림이 없는 것으로 판단할 수 있다. 관심 결과의 특성
에 따라 비뚤림 위험이 달라질 수 있는 만큼, 눈가림 비뚤림 위험 평가는
결과에 따라 나누어 평가해야 한다.
4) 불완전한 결과자료
결과자료가 연구 중 탈락되거나, 분석 중 배제되면 탈락 비뚤림 가능성
이 높아진다. 불완전한 결과자료는 탈락과 배제를 모두 포함한다. 탈락
이 발생할 수 있는 경우는 참여자가 연구 참여를 포기하는 경우, 결과측정
시 참여자가 약속장소에 나타나지 않은 경우, 참여자의 이사 등으로 인해
참여자의 위치를 모르는 경우, 연구자가 추적관찰을 중단한 경우 등 다양
하다. 배제는 참여자가 포함기준을 만족하지 않거나, 치료받은 대로 분석
이(“as treated” analysis) 시행되어 해당 중재를 받은 경우만 분석하거나,
다른 이유로 배제되는 등의 경우이다. 탈락 비뚤림을 평가하기 위해서는
탈락이유와 탈락의 수를 모두 고려하여야 한다.
Intention to treat(이하 ITT) 분석은 탈락비뚤림이 낮다고 볼 수 있으며,

치료 받은 대로나 프로토콜에 순응한 사람만(“per protocol” analysis)을
분석하는 경우에는 비뚤림 위험이 높을 수 있다. 결측치를 어떻게 다루었
느냐 또한 비뚤림과 연관이 있을 수 있는데, 결측치를 다루는 다양한 통계
적 방법이 있으며, 필요한 경우 통계적 자문이 필요할 수 있다.
5) 선택적 결과보고
논문에서 일부 결과를 선택적으로 누락하거나, 결과 중 일부 데이터만 선택하거나, 동일한
자료를 이용해 일부 분석만을 보고하는 경우 보고 비뚤림이 발생할 수 있다. 또한 데이터의
하위그룹만 보고하거나 자료를 선택적으로 과소 보고하는 경우에도 보고 비뚤림이 발생할
수 있다.
이러한 비뚤림을 확인하기 위한 몇 가지 방법이 있다. 프로토콜이 있다면 프로토콜의 결과

와 출판된 논문의 결과를 비교할 수 있다. 프로토콜이 없다면 방법에 있는 결과와 보고된 결
과의 변수를 비교할 수 있다. 또한 해당 분야의 유사한 연구에 관례적으로 수집되는 핵심결
PART2. 메타분석
과가 없다면, 보고하지 않았을 가능성이 있다.
6) 그 외 비뚤림
앞에서의 다섯 가지 영역의 포괄적인 비뚤림과 달리 이 비뚤림은 일부 주제영역, 특정 연
구설계에서 고려가 필요하게 된다. 군집 무작위배정의 경우 모집 비뚤림, 기저상태 불균형
(imbalance), 군집소실, 부정확한 통계 분석, 개별 무작위배정 비교임상시험과의 비교 가능
성 등의 비뚤림 위험이 있다. 교차시험의 경우에는 교차설계의 적절성, 잔류효과 유무, 제1
기의 자료만 있는 경우, 부정확한 분석, 비교차시험과의 비교 가능성 등의 비뚤림 위험이 있

을 수 있다.
또한 조기 종료되는 경우에 잠재적 비뚤림이 있을 수 있다. 기저상태 차이는 우연에 의해 발

생할 수도 있지만, 무작위 배정순서나 배정순서 은폐가 이루어지지 않아 발생할 수 있기 때
문에 평가하여야 한다. 또한 눈가림을 수행하지 않은 연구에서 블록무작위배정이 사용된 경
우 추후 배정을 예측할 수 있기 때문에 잠재적 비뚤림이 있다고 판단할 수 있다.
6.3.3. Risk of bias 도구 설명

1) 평가방법
평가자는 각 항목에 대하여 비뚤림 위험이 ‘높음’(high risk of bias), ‘낮음’(low risk of
bias), ‘불확실’(uncertain risk of bias) 세 가지로 대답한다. ‘비뚤림 위험 낮음(low risk of
bias)’은 비뚤림의 해당항목에 대해 비뚤림의 가능성이 낮음을 의미하며, ‘비뚤림 위험 높음
(high risk of bias)’는 높은 비뚤림 가능성을 의미한다. ‘비뚤림 위험 불확실(uncertain risk
of bias)’은 비뚤림에 대한 위험을 판단하기 어려운 경우이다.
부　록

1. 개요
각 문항에 대하여 ‘비뚤림 위험 낮음(low risk of bias)’, ‘비뚤림 위험
3. 문헌검색 높음(high risk of bias)’, ‘비뚤림 위험 불확실(uncertain risk of bias)’로
5. 자료추출 응답 결과를 RevMan에 입력하여 그림 형태로 나타내면, 체계적 문헌고찰에
7. 자료분석과 결과제시 포함된 문헌들의 각 평가영역에 대한 전반적인 평가결과를 파악할 수 있다
9. 보고서 작성
(그림 6-2, 6-3).
그림 6-1. RevMan을 이용하여 평가한 개별 연구의 비뚤림 위험 예시
그림 6-2. 비뚤림 위험 평가결과 예시(전체 결과) (Cochrane handbook, 2011) Reproduced table. Copyright ©
2011 The Cochrane Collaboration. Published by John Wiley & Sons, Ltd
2) Risk of bias 도구 해석방법
RoB 도구 평가 결과는 네 가지 방법으로 해석될 수 있다.
PART2. 메타분석
그림 6-3. Risk of Bias 평가결과 예시(연구별) (Cochrane handbook, 2011)
Reproduced table. Copyright © 2011 The Cochrane Collaboration.
① 한 연구에서 결과간의 비뚤림 위험 요약

무작위 배정순서 생성이나 배정순서 은폐와 같은 영역은 한 연구 안에서 여러 결과에 영향을 주
지만, 눈가림이나 불완전 결과 보고는 결과에 따라 다른 비뚤림 위험을 갖게 된다. 따라서 연구
내 모든 결과에 대해 하나의 비뚤림 위험으로 나타내는 것은 일반적으로 추천되지 않는다.
② 한 연구에서 하나의 결과의 비뚤림 위험을 요약

한 연구에서 결과에 따라 비뚤림 위험이 다를 수 있기 때문에 이 방법으로 요약하는 것이 추천
될 수 있다. 비뚤림 위험 요약을 위해서는 결과에 따라 모든 항목(예를 들어 연구 단계 평가 항목
인 배정순서 은폐와 결과에 따른 평가 항목인 눈가림 등)을 포함해야 한다.
③ 연구 간에 하나의 결과에 대해 비뚤림 위험을 요약 (예. 메타분석)

부　록
메타분석이나 GRADE 평가에서 주로 이용되는 방식이다.

1. 개요
④ 모든 연구와 모든 결과에서 비뚤림 위험을 요약
3. 문헌검색
4. 문헌선택 및 분류 이 요약은 두 가지 이유로 시행되지 말아야 한다. 첫째, 어떤 결과가 의사
5. 자료추출
결정에 중요한 지에 대한 가치 판단이 요구된다. 그러나 부작용과 같은 중요
7. 자료분석과 결과제시 할 수 있는 결과에 대한 자료는 평가에 포함된 몇몇 연구들에서 접근가능
9. 보고서 작성 하지 않을 수 있다. 그러므로 비뚤림 위험은 모든 결과들에서 동일하지 않다.
둘째, 어떤 결과가 의사결정에 중요한지에 대한 판단은 가치와 기저 위험도
와 같은 다른 인자들로 인해 임상상황에 따라 다를 수 있다. 따라서 체계적
문헌고찰의 맥락에서는 권유하지 않는다. 한 연구에서 비뚤림 위험의 의미와
연구간 비뚤림 위험의 의미 차이는 아래 표(표 6-2)에서 확인할 수 있다.
6.4. 비무작위 연구의 비뚤림 위험 평가

6.4.1. 비무작위 연구의 비뚤림 위험 도구 선정
비무작위 연구의 비뚤림 위험 평가는 RoBANS를 이용한다. RoBANS는
비무작위 연구의비뚤림 위험 평가를 위해 2009년 개발된 도구로 비무작위
배정 비교임상시험, 코호트연구, 환자-대조군 연구, 전후 연구의 평가에
쓰인다. RoB 도구와 유사하게 체크리스트 방식과 영역평가 방식의 결합된
형태를 갖추고 있다. 비뚤림을 분류하여 기본 영역으로 설정하였으며, 비무
작위 연구에서 발생할 수 있는 비뚤림 위험의 평가 영역을 정의하고,
이에 대한 세부 기술과 평가방식을 제시한다. 각 문항에 대하여 문헌
의 본문에 어떠한 내용이 있는지에 따라 “비뚤림 위험 낮음”, “비뚤림
위험 높음” 혹은 “비뚤림 위험 불확실” 중 어떤 것으로 판정할지에 대한
구체적인 기술이 있어 연구설계에 따라 비뚤림 위험을 평가하며, GRADE
적용을 쉽게 할 수 있다는 장점이 있다. 또한 비무작위 연구의 체크리스트
도구 중 타당도가 입증된 유일한 도구이다. RoBANS는 RoB 도구와 마찬가
지로 평가 내용을 RevMan에 입력하고 결과를 확인한다.
표 6-2. 연구 내 및 연구 간 비뚤림 위험 요약 접근 방법
연구내 연구간
비뚤림위험 해석
(Within a study) (Across studies)
심각할 것 같지 않은 비뚤림 모든 주요 영역에서의 연구들에서 나온 대부분의
비뚤림 위험 낮음
가능성 낮은 비뚤림 위험 정보가 낮은 비뚤림 위험
결과에 대한 의심을 하나 또는 그 이상의 주요 연구들에서 나온 대부분

비뚤림 위험 불확실 불러일으키는 비뚤림 영역에서의 비뚤림 위험 의 정보가 낮거나 불확실
가능성 불확실함 한 비뚤림 위험
높은 비뚤림 위험의 연구
결과의 신뢰도를 심각하게 약
하나 이상의 주요 영역에서의 에서 얻은 정보 비율이
비뚤림 위험 높음 화시키는 비뚤림
비뚤림 위험 높음 높아 결과 해석에 영향을 미
가능성
치기 충분함
비뚤림의 종류는 선택 비뚤림, 실행 비뚤림, 결과확인 비뚤림, 탈락 비뚤림, 보고 비뚤림의 다섯
가지이며, 이들 비뚤림을 대상군 선정, 교란변수, 노출 측정, 결과 평가의 눈가림, 불완전한 결과
자료, 선택적 결과 보고의 6가지 평가 영역으로 평가한다. 비뚤림 종류에 따른 평가 영역은 무작
위배정 비교임상시험과 다소 다르다(표 6-3).
표 6-3. 비뚤림의 종류와 평가 영역
비뚤림 종류 무작위배정 비교임상연구 비무작위 연구
• 무작위 배정순서 생성 • 대상군 선정

선택 비뚤림 (selection bias)
• 배정순서 은폐 • 교란변수
PART2. 메타분석
• 연구 참여자, 연구자에 대한 눈가림
실행 비뚤림 (performance bias) • (중재)노출에 대한 측정
• 타당도를 위협하는 다른 잠재적 비뚤림
• 결과 평가에 대한 눈가림
결과 확인 비뚤림 (detection bias) • 결과 평가 눈가림
• 타당도를 위협하는 다른 잠재적 비뚤림
탈락 비뚤림 (attrition bias) • 불완전한 결과 자료 • 불완전한 결과 자료
보고 비뚤림 (reporting bias) • 선택적 결과 보고 • 선택적 결과 보고
1) 대상군 선정

비교를 위해 선택한 두 집단은 연구 주제에 적합한 중재(예후인자)를 제외하고는 가능하면
유사하여야 한다. 이를 위해서는 연구에 대상 집단, 모집 기준 등이 기술되어 있어야 한다.
모집한 기간이나 기관이 동일하면 동일한 인구 집단으로 간주한다. 연구 기간에 따라서 (중
재)노출이 달라지거나, 역사적 대조군이거나 기관에 따라 중재가 달라진 경우는 동일 집단이
라고 할 수 없다.
코호트 연구(비무작위 연구)에서 비교를 위해 선택된 두 집단은 (중재)노출 상태 혹은 특정

예후 요인을 제외하고는 유사하여야 한다. 또한 참여군에서 연구 시점에 결과를 가지고 있다
면 이는 비뚤림의 원인이 될 수 있다.
환자-대조군 연구에서는 연구대상을 모두 비교할만한 인구 집단에서 얻어야 한다. 참여자

의 대상 모집단(연구 결과를 적용할 전체 인구 집단)이 무엇인지 명백하게 정의하여야 하며,
참여 환자군과 대조군은 모두에서 동일한 제외 기준을 적용하여야 한다. 환자군 자료는 환자
임이 증명된 군에서 얻어야 하고, 대조군은 환자가 아님이 명백하여야 한다. 환자 여부의 확
인이 자가 보고에 의하거나 연결 자료인 경우는 환자 정의가 불명확할 가능성이 있다.
전후연구에서는 환자 모집을 연속적으로 하고 전향적으로 수집하였을 때 대상군 선정상의

비뚤림을 줄일 수 있다.
부　록

1. 개요
2) 교란변수
3. 문헌검색
4. 문헌선택 및 분류 모든 연구자가 교란변수에 대해서 동일한 결정을 하는 것은 아니기 때문
5. 자료추출
에 교란을 보정하는 방법이 연구간 이질성의 중요한 원인이 될 수 있다.
7. 자료분석과 결과제시 교란변수의 가능성에 대해서 언급하지 않은 경우는 비뚤림 위험이 높다고
9. 보고서 작성 할 수 있다. 교란 변수 확인 유무보다 중요한 교란 변수를 다루었는지가
더 중요한 경우도 있지만 반드시 다루어야 할 중요 교란 변수가 무엇인지
에 대해서는 해당 문제에 대한 전문적인 지식이 필요할 수도 있다. 교란
변수를 통제하기 위하여 연구자가 디자인 단계에서 사용한 방법(짝짓기,
특정 하부 집단에 대한 제한 등)과 분석 방법(층화, 성향점수(propensity
scores), 통계적 보정 등)을 확인하고 적절히 사용되었는지를 판단한다.
전후연구에서는 질병, 중재 등을 고려할 때 자연 경과, 학습효과 등을 배
제할 수 있는지를 판단한다.
3) (중재)노출 측정
잘 시행된 연구에는 중재에 얼마나 많이 노출되었는지에 대한 정보가
있다. 참여자들이 연구하려고 하는 폭로에 노출되었는지, (중재)노출
정도는 어떠한지에 대하여 충분히 기술되어 있어야 한다. 신뢰성 있는
측정 방법은 연구의 질을 높인다. 만일 (중재)노출 수준을 연구 중 두 번
이상 측정하였다면 자료의 질에 대한 신뢰가 높아지며 두 명 이상의
연구자가 독립적으로 측정하는 것이 선호된다. (중재)노출 측정에
주관성을 배제할 수 없는 경우보다는 신뢰할 수 있는 측정 방법이면서
사용하기 이전에 타당도가 입증된 것이 좋다.
4) 결과 평가의 눈가림
관찰연구의 경우 연구 참여자나 의료인 등에 대한 눈가림은 거의 일어
나지 않기 때문에 자료 수집자에 대한 눈가림이 중요하다. 자료 수집에
대한 눈가림만을 할 경우에는 실제적으로 눈가림 여부는 모든 결과에 대
해 동일한 것으로 보기 때문에 결과에 따라 나누어 평가하지는 않는다.
5) 불완전한 결과자료
연구 중 참여자가 탈락하거나 분석 중 배제되면 효과에 비뚤림이 발생할
가능성이 있다. 불완전 자료는 탈락(attrition)과 배제를 모두 포괄하는
용어이다. 개별 결과 자료가 없는 경우는 ‘결측’이라고 한다. 결측치가 발
생하지 않았거나 있더라도 탈락의 이유가 균형이 잡혀 있으면 비뚤림은
거의 없는 것으로 예상할 수 있다.
6) 선택적 결과보고
선택적 결과 보고의 평가는 무작위배정 비교임상시험의 비뚤림 위험 평가와 전체적으로
동일하다. 비무작위 연구의 경우 보고의 질 지침이 아직 보편적이지 않고 프로토콜
이 있는 경우가 매우 드물기 때문에 선택적 결과 보고를 찾아내는데 제한이 많다.
프로토콜이 존재하면 미리 정의해 놓은 일차, 이차 결과가 미리 정해진 방법대로 기술되
어 있는가를 평가하고 프로토콜이 없는 경우에는 출판 결과에 예상되는 대부분 결과가
포함되어 있으면 비뚤림 위험이 적은 것으로 판정한다. 반면 미리 정해진 일차 결과 중
하나라도 보고되지 않는 것이 있거나 하나 이상의 일차 결과보고가 미리 정해지지 않은
PART2. 메타분석
측정, 분석 방법에 의한 경우는 비뚤림 위험이 높은 것으로 판정한다. 하지만 비뚤림 위험이
높은지 혹은 낮은지에 대한 정보가 불충분하여 ‘불확실’로 판정하는 경우가 대부분이다.
6.4.2. RoBANS 도구 개요
1) 평가영역
① RoBANS 평가 영역
RoBANS는 비무작위 연구의 비뚤림 영역을 표 6-4와 같이 평가한다.

표 6-4. RoBANS 도구
판단근거
영역 설명 비뚤림 위험 (논문에서 그대로
인용함)
□ 낮음
부적절한 대상군 선정으로 인해 발생한
대상군 선정 □ 높음
선택 비뚤림
□ 불확실
□ 낮음
교란변수 확인과 고려가 부적절하여 발생한
교란변수 □ 높음
선택 비뚤림
□ 불확실
□ 낮음
부적절한 중재(노출) 측정으로 인해 발생한
중재(노출) 측정 □ 높음
실행 비뚤림
□ 불확실
□ 낮음
부적절한 결과 평가 눈가림으로 인해
결과 평가에 대한 눈가림 □ 높음
발생한 결과 확인 비뚤림
□ 불확실
□ 낮음
불완전한 자료를 부적절하게 다루어
불완전한 자료 □ 높음
발생한 탈락 비뚤림
□ 불확실
□ 낮음
선택적 결과 보고 때문에 발생한 보고
선택적 결과 보고 □ 높음
부　록
비뚤림
□ 불확실

1. 개요
② 평가방법
3. 문헌검색
4. 문헌선택 및 분류 평가자는 도구를 이용할 때 각 부분 항목에 대하여 비뚤림 위험 낮음, 높음,
5. 자료추출
불확실 세 가지로 대답한다. ‘낮음’는 비뚤림의 해당항목에 대해 비뚤림의
7. 자료분석과 결과제시 가능성이 낮음을 의미하며 ‘높음’은 높은 비뚤림 가능성을 의미한다. 불확실
9. 보고서 작성 한 경우는 비뚤림에 대한 위험을 판단하기 어려운 경우이다. 도구의 각 항목
을 잘 고려하여 판단하며, 도구와 관련 설명은 부록에서 확인할 수 있다.
각 문항에 대하여 낮음, 높음으로 응답된 결과를 통해 체계적 문헌고찰에

포함된 문헌들의 각 평가영역에 대한 전반적인 평가결과를 파악할 수 있으
며, RevMan에 입력하면 그림 형태로도 나타낼 수 있다.
③ RoBANS 해석방법
RoBANS의 해석 역시 무작위연구의 평가도구인 risk of bias와 유사하게 네
가지 방식으로 평가하게 된다.
• 한 연구에서 결과간의 비뚤림 위험 요약

• 한 연구에서 하나의 결과의 비뚤림 위험을 요약
• 연구간에 하나의 결과에 대해 비뚤림 위험을 요약 (예. 메타분석)
• 모든 연구와 모든 결과에서 비뚤림 위험을 요약약
6.5. 비뚤림 위험 평가의 분석 반영 방법

메타분석을 시행함에 있어, 포함된 연구의 비뚤림 위험을 언급해야 한다. 비
뚤림 위험이 높은 연구의 해석에 있어서는 주의가 필요하기 때문에 비뚤림
평가에서 확인된 문제를 무시하고 분석하는 것은 적합하지 않다.
6.5.1. 비뚤림 위험의 영향조사

1) 비뚤림 위험에 따른 결과 도표화
비뚤림 위험에 따라 층화하여 forest plot과 같은 중재 효과 추정 그래프
를 작성할 수도 있다. 이러한 작업을 통해 비뚤림 위험에 따라 중재 효과
에 차이가 나는지 확인할 수 있다.
2) 불확실한 비뚤림 위험으로 평가된 연구
비뚤림 위험을 판단할 수 있는 요소가 충분치 않은 경우, 불확실로 평가하게 된다. 그러나
실제 분석에서는 비뚤림 위험이 높은 연구와 불확실한 연구를 통합하여 비뚤림 위험이
낮은 연구와 비교하기도 한다. 비뚤림위험이 낮은 연구와 불확실연구를 결합하는 것은 추천
되지 않으며, ‘높다’, ‘낮다’, ‘불확실’ 이렇게 세 가지로 독립적으로 평가, 분석하는 것을 추천
한다.
3) 하위그룹 비교와 메타 회귀분석
PART2. 메타분석
메타 회귀분석을 통해 비뚤림 위험에 따른 중재 효과를 비교할 수 있다. 이분형 결과의
연구에서는 메타 회귀분석 결과를 아래와 같이 오즈비나 상대위험도로 나타내게 된다.
비뚤림 위험이 높거나 불확실한 연구의 중재

오즈비=
비뚤림 위험이 낮은 연구의 중재
연속형 자료에서는 메타회귀분석 결과를 중재군 간의 평균값 차이로 나타내게 된다. 많은

연구를 포함한 메타분석을 수행하였다면, 메타회귀분석에서도 한 개 이상의 비뚤림 평가
영역을 포함하여 분석할 수 있다. 메타회귀분석 대신에 한 영역에서의 비뚤림 차이로 하위그룹
분석을 시행하기도 한다. 메타회귀분석과 관련된 자세한 내용은 메타분석 PART를 참조

한다.
6.5.2. 분석에서 비뚤림 위험 포함 전략

실제 분석에서 비뚤림 위험을 어떻게 반영할 것인가에 대해서는 1)모든 연구를 전체적으로
분석하고 비뚤림 위험에 대해서는 서술적으로 고찰, 2)비뚤림 위험이 낮은 연구만 제한하여
분석, 3) 다양한 분석 제시의 세 가지 전략이 있다.
1) 모든 연구를 전체적으로 분석하고 비뚤림 위험에 대해서는 서술적으로 고찰

가장 단순한 접근법으로, 모든 연구를 전체적으로 분석하고 비뚤림 위험에 대해서는 서술적
으로 고찰하는 방법이다. 연구의 비뚤림 위험이 모두 높거나, 혹은 모두 낮거나, 혹은 모두
확실할 때 적합하며, 포함된 연구가 다양한 비뚤림 위험이 있다면 이 방법을 추천하지
않는다.
부　록

1. 개요
3. 문헌검색 왜냐하면 비뚤림 위험 요소가 결론, 초록, 연구 요약 등을 도출하면서 누
5. 자료추출
락되어 최종 해석에서 비뚤림 위험이 다루어지지 않을 수 있기 때문이다.
8. 근거수준 평가와 결론의 도출 2) 비뚤림 위험이 낮음(또는 낮음과 불확실)의 연구만 제한하여 분석
9. 보고서 작성
비뚤림 위험평가의 중요 영역이나 기준에 적합한 비뚤림 위험이 낮은 연구
만을 분석하는 방법이다. 불확실한 연구도 포함한다면, 이 이유에 대해
분명히 밝히는 것이 좋다. 제한하여 분석한 후에는 민감도분석을 통하여
비뚤림 위험이 높은 연구가 결과에 어떠한 영향을 미치는지 보여줄 수도
있다.
3) 다양한 분석 제시
모든 연구를 포함하여 분석한 결과를 제시하거나 비뚤림 위험이 낮은
연구들만 포함하여분석한 결과를 제시하는 방법이다. 어려운 결정을
피할 수는 있지만, 독자들에게 혼동을 줄 수 있다.
! Tips
• 비뚤림 위험 평가 수행시
- 논문의 비뚤림 위험 평가의 근거 내용에 대해 논문에서의 내용 위치나 표현을 상
세하기 기술한다.
- 본격적인 평가를 수행하기 전에, 3~6개 정도의 비뚤림 위험이 높은 논문과 낮은

논문들을 포함시킨 pilot test를 하여, 비뚤림 위험 평가 도구에 대한 이해도를 높
인다.
- 비뚤림 위험 평가자로 가능하다면 방법론 전문가와 임상전문가 (content

experts)를 포함시킨다.
- 평가를 수행하는 과정에 불완전한 보고로 인하여 의사결정이 보류된 경우 원저

자를 접촉하여 개방형 질문으로 연구 설계 및 수행방법에 대한 정보를 확보한다.
• RevMan에서 비뚤림 위험 평가
- 비뚤림 위험 평가 결과가 불확실(unclear)한 경우 “description”란에 문자를 입력
해야 비뚤림 위험 평가 그래프에 ? 가 표시된다. (물론 비뚤림 위험 평가 결과가
‘낮음’이든 ‘높음’이든 불확실이든 관계없이 해당 사유를 기입하는 것을 권장한다.)
Risk of Bias 도구: 영문
RANDOM SEQUENCE GENERATION

Selection bias (biased allocation to interventions) due to inadequate generation of a randomised
sequence.
Criteria for a judgement The investigators describe a random component in the sequence generation process such as:
of ‘Low risk’ of bias • Referring to a random number table;
• Using a computer random number generator;
• Coin tossing;
• Shuffling cards or envelopes;
PART2. 메타분석
• Throwing dice;
• Drawing of lots;
• Minimization*.
* Minimization may be implemented without a random element, and this is considered to be equivalent
to being random.
Criteria for the judgement The investigators describe a non-random component in the sequence generation process. Usually, the
of ‘High risk’ of bias description would involve some systematic, non-random approach, for example:
• Sequence generated by odd or even date of birth;
• Sequence generated by some rule based on date (or day) of admission;
• Sequence generated by some rule based on hospital or clinic record number.
Other non-random approaches happen much less frequently than the systematic approaches

mentioned above and tend to be obvious. They usually involve judgement or some method of non-
random categorization of participants, for example:
• Allocation by judgement of the clinician;
• Allocation by preference of the participant;
• Allocation based on the results of a laboratory test or a series of tests;
• Allocation by availability of the intervention.
Criteria for the judgement Insufficient information about the sequence generation process to permit judgement of ‘Low risk’ or ‘High
of ‘Unclear risk’ of bias risk’.
ALLOCATION CONCEALMENT
Selection bias (biased allocation to interventions) due to inadequate concealment of allocations prior to
assignment.
Criteria for a judgement of Participants and investigators enrolling participants could not foresee assignment because one of the
‘Low risk’ of bias following, or an equivalent method, was used to conceal allocation:
• Central allocation (including telephone, web-based and pharmacy-controlled randomization);
• Sequentially numbered drug containers of identical appearance;
• Sequentially numbered, opaque, sealed envelopes.
Criteria for the judgement Participants or investigators enrolling participants could possibly foresee assignments and thus
of ‘High risk’ of bias introduce selection bias, such as allocation based on:
• Using an open random allocation schedule (e.g. a list of random numbers);
• Assignment envelopes were used without appropriate safeguards (e.g. if envelopes were unsealed or
nonopaque or not sequentially numbered);
• Alternation or rotation;
• Date of birth;
부　록
• Case record number;

• Any other explicitly unconcealed procedure.

1. 개요
Criteria for the judgement Insufficient information to permit judgement of ‘Low risk’ or ‘High risk’. This
of ‘Unclear risk’ of bias is usually the case if the method of concealment is not described or not
3. 문헌검색
4. 문헌선택 및 분류 described in sufficient detail to allow a definite judgement – for example if the
5. 자료추출 use of assignment envelopes is described, but it remains unclear whether
6. 비뚤림 위험 평가 envelopes were sequentially numbered, opaque and sealed.
8. 근거수준 평가와 결론의 도출 BLINDING OF PARTICIPANTS AND PERSONNEL
9. 보고서 작성 Performance bias due to knowledge of the allocated interventions by participants
and personnel during the study.
Criteria for a judgement of Any one of the following:
‘Low risk’ of bias • No blinding or incomplete blinding, but the review authors judge that the
outcome is not likely to be influenced by lack of blinding;
• Blinding of participants and key study personnel ensured, and unlikely that
the blinding could have been broken.
Criteria for the judgement Any one of the following:

of ‘High risk’ of bias • No blinding or incomplete blinding, and the outcome is likely to be influenced
by lack of blinding;
• Blinding of key study participants and personnel attempted, but likely
that the blinding could have been broken, and the outcome is likely to be
influenced by lack of blinding.

of ‘Unclear risk’ of bias • Insufficient information to permit judgement of ‘Low risk’ or ‘High risk’;
• The study did not address this outcome.
BLINDING OF OUTCOME ASSESSMENT

Detection bias due to knowledge of the allocated interventions by outcome
assessors.
Criteria for a judgement of Any one of the following:
‘Low risk’ of bias • No blinding of outcome assessment, but the review authors judge that the
outcome measurement is not likely to be influenced by lack of blinding;
• Blinding of outcome assessment ensured, and unlikely that the blinding
could have been broken.

of ‘High risk’ of bias • No blinding of outcome assessment, and the outcome measurement is likely
to be influenced by lack of blinding;
• Blinding of outcome assessment, but likely that the blinding could have been
broken, and the outcome measurement is likely to be influenced by lack of
blinding.

of ‘Unclear risk’ of bias • Insufficient information to permit judgement of ‘Low risk’ or ‘High risk’;
INCOMPLETE OUTCOME DATA
Attrition bias due to amount, nature or handling of incomplete outcome data.
Criteria for a judgement Any one of the following:
of ‘Low risk’ of bias • No missing outcome data;
• Reasons for missing outcome data unlikely to be related to true outcome (for survival data, censoring
unlikely to be introducing bias);
• Missing outcome data balanced in numbers across intervention groups, with similar reasons for
missing data across groups;
• For dichotomous outcome data, the proportion of missing outcomes compared with observed event
risk not enough to have a clinically relevant impact on the intervention effect estimate;
• For continuous outcome data, plausible effect size (difference in means or standardized difference in
means) among missing outcomes not enough to have a clinically relevant impact on observed effect
PART2. 메타분석
size;
• Missing data have been imputed using appropriate methods.

of ‘High risk’ of bias • Reason for missing outcome data likely to be related to true outcome, with either imbalance in
numbers or reasons for missing data across intervention groups;
• For dichotomous outcome data, the proportion of missing outcomes compared with observed event
risk enough to induce clinically relevant bias in intervention effect estimate;
• For continuous outcome data, plausible effect size (difference in means or standardized difference in
means) among missing outcomes enough to induce clinically relevant bias in observed effect size;
• ‘As-treated’ analysis done with substantial departure of the intervention received from that assigned
at randomization;
• Potentially inappropriate application of simple imputation.

of ‘Unclear risk’ of bias • Insufficient reporting of attrition/exclusions to permit judgement of ‘Low risk’ or ‘High risk’ (e.g.
number randomized not stated, no reasons for missing data provided);
SELECTIVE REPORTING
Reporting bias due to selective outcome reporting.
Criteria for a judgement Any of the following:
of ‘Low risk’ of bias • The study protocol is available and all of the study’s pre-specified (primary and secondary) outcomes
that are of interest in the review have been reported in the pre-specified way;
• The study protocol is not available but it is clear that the published reports include all expected
outcomes, including those that were pre-specified (convincing text of this nature may be uncommon).

of ‘High risk’ of bias • Not all of the study’s pre-specified primary outcomes have been reported;
• One or more primary outcomes is reported using measurements, analysis methods or subsets of the
data (e.g. subscales) that were not pre-specified;
• One or more reported primary outcomes were not pre-specified (unless clear justification for their
reporting is provided, such as an unexpected adverse effect);
• One or more outcomes of interest in the review are reported incompletely so that they cannot be
entered in a meta-analysis;
• The study report fails to include results for a key outcome that would be expected to have been
reported for such a study.
부　록
Criteria for the judgement Insufficient information to permit judgement of ‘Low risk’ or ‘High risk’. It is likely that the majority of
of ‘Unclear risk’ of bias studies will fall into this category.

1. 개요
OTHER BIAS
3. 문헌검색 Bias due to problems not covered elsewhere in the table.
Criteria for a judgement
5. 자료추출 The study appears to be free of other sources of bias.
of ‘Low risk’ of bias
Criteria for the judgement There is at least one important risk of bias. For example, the study:
9. 보고서 작성 of ‘High risk’ of bias • Had a potential source of bias related to the specific study design used; or
• Has been claimed to have been fraudulent; or
• Had some other problem.
Criteria for the judgement There may be a risk of bias, but there is either:
of ‘Unclear risk’ of bias • Insufficient information to assess whether an important risk of bias exists; or
• Insufficient rationale or evidence that an identified problem will introduce bias.
Risk of Bias 도구: 국문
무작위 배정순서 생성
무작위 순서의 부적절한 생성에 따른 선택 비뚤림(중재 배정 비뚤림)
비뚤림 위험 ‘낮음’ 기준 순서 생성에 무작위방법을 시행한 경우
예를 들어,
• 난수표 이용 또는 컴퓨터를 이용한 난수 생성

• 동전던지기, 카드나 봉투섞기(꺼낸 카드는 다시 집어넣어야함), 주사위 던지기, 심지뽑기, *최소화법 등 사
용. 그러나‘난수’임이 보장되는 수행과정 확인할 수 있어야 적절한 방법으로 볼 수 있음. 예를 들어, 동전
PART2. 메타분석
을 던져서 앞면이 나오면 뒷면이 나올 때 까지 다시 던지지 않았음을 확인할 수 있어야 함 (배정순서 은폐
와 연결됨).
* 최소화법은 엄밀히 말해서 무작위로 순서가 배정 되는 것이라고 볼 수는 없으나 적절한 과정에 의해

수행된 최소화 법은 제대로 수행된 무작위배정으로 간주함.
비뚤림 위험 ‘높음’ 기준 순서 생성에 무작위방법을 시행하지 않았거나 부적절한 방법을 사용한 경우

예를 들어,
• 생년월일, 내원일 등의 규칙을 이용한 배정

• 환자 등록번호 또는 병록번호의 홀수 짝수 등 규칙을 이용한 배정
• 임상가의 판단에 따른 배정
• 환자의 선호도에 따른 배정
• 검사결과에 의한 배정

• 검사결과 순 또는 약제가 준비되는 순 등 이용가능 순에 의한 배정
• 배정자가 임의로 배정
비뚤림 위험 ‘불확실’ 기준 무작위 배정순서 방법에 대한 비뚤림 위험이 ‘낮음’, ‘높음’ 중 어디에 해당하는지 불확실한 경우
배정순서 은폐
부적절한 배정순서 은폐에 따른 선택 비뚤림(중재 배정 비뚤림)
비뚤림 위험 ‘낮음’ 기준 적절한 방법에 의해 배정순서가 은폐됨으로써 연구자가 배정내용을 알 수 없는 경우
예를 들어,
• 독립적인 중앙 무작위배정 및 관리(웹기반, 전화, 제 3의 관리기관에 의한 무작위배정 통제 등)

• 무작위배정순서에 의해 일련번호가 기록되어 있는 동일한 모양의 포장 사용
• 일련번호가 기록된 불투명하고 봉해진 봉투에 의한 배정순서 보관 및 개봉
비뚤림 위험 ‘높음’ 기준 배정순서가 은폐될 수 있는 방법을 사용하지 않았거나 부적절한 방법의 사용에 의해 배정순서가 은폐되지
않은 경우
예를 들어,
• 난수 또는 무작위배정순서가 기재된 표를 이용한 무작위 이행

• 밀봉되지 않거나 투명하거나 일련번호가 없는 등 안전장치가 없는 무작위배정 봉투를 사용
• 교대 혹은 순환법 등의 순서를 사용
• 생일, 병록번호 등을 이용
비뚤림 위험 ‘불확실’ 기준 배정순서 은폐 방법에 대한 비뚤림 위험이 ‘낮음’, ‘높음’ 중 어디에 해당하는지 불확실한 경우, 예를 들어 봉투
에 의해 배정되어 있다고 했으나 일련번호, 밀봉, 투명 여부에 대한 기술이 없을 때
부　록

1. 개요
연구 참여자, 연구자에 대한 눈가림
3. 문헌검색 연구 참여자, 연구자가 배정된 중재를 알게 됨으로 인한 실행 비뚤림
비뚤림 위험 ‘낮음’ 기준 다음 중 한 가지 이상에 해당되는 경우
5. 자료추출
6. 비뚤림 위험 평가 • 눈가림이 시행되지 않았거나 불완전하나, 눈가림이 (중재)결과에 영향을 미치지
않을 것으로 판단되는 경우
9. 보고서 작성
• 눈가림을 채택하여 수행하였고 연구 참여자와 연구자에 대한 눈가림이 깨지지
않았을 것으로 확신되는 경우
비뚤림 위험 ‘높음’ 기준 다음 중 한 가지 이상에 해당되는 경우
• 연구 참여자와 연구자에 대한 눈가림이 시도되었으나 눈가림이 유지되지 않았

을 것으로 판단되고, 눈가림이 결과평가에 영향을 미칠 것으로 판단되는 경우
• 눈가림이 (중재)결과에 영향을 미칠 수 있는 경우임에도 눈가림을 시행하지
않았거나, 눈가림을 시도하였으나 방법이 부적절한 경우
비뚤림 위험 ‘불확실’ 기준 다음 중 한 가지 이상에 해당되는 경우
• 눈가림에 대한 비뚤림 위험이 ‘낮음’, ‘높음’ 중 어디에 해당하는지 불확실한 경우

• 연구에서 해당 결과를 다루지 않은 경우
결과평가에 대한 눈가림
결과평가자가 배정된 중재를 알게 됨으로 인한 결과 확인 비뚤림
• 결과평가에 대한 눈가림을 채택하여 수행하였고 결과평가자에 대한 눈가림이

깨지지 않았을 것으로 확신되는 경우
• 눈가림이 시행되지 않았으나, 눈가림이 결과평가에 영향을 미치지 않을 것으로 판
단되는 경우
• 눈가림이 결과평가에 영향을 미칠 수 있는 경우임에도 눈가림을 시행하지 않은

경우
• 결과평가자에 대한 눈가림이 시도되었으나 눈가림이 유지되지 않았을 것으로
판단되고, 눈가림이 결과평가에 영향을 미칠 것으로 판단되는 경우
• 눈가림에 대한 비뚤림 위험이 ‘낮음’, ‘높음’ 중 어디에 해당하는지 불확실한 경우

불충분한 결과자료
불충한 결과자료의 특성이나 처리로 인한 탈락 비뚤림
• 결측치가 없는 경우
• 결측치가 결과에 영향을 미치지 않는 경우(생존분석에서는 결측이 절단값으로
다루어짐)
• 결측치가 중재군 간에 유사하게 발생하고 결측치가 발생한 원인도 유사함
• 이분형 변수의 경우 결측치 분율이 관찰발생위험을 비추어볼 때 중재효과 추정
에 임상적으로 유의한 차이를 낼 것으로 보이지 않는 경우
• 연속형 변수의 경우 결측값들로부터 예견되는 중재효과의 크기가 관찰된 효과
의 크기 추정에 임상적으로 유의한 영향을 미칠 것으로 보이지 않는 경우
• 적절한 통계적 방법을 사용하여 결측치를 대체한 경우
• 상당수의 결측치가 존재하고 결측치의 원인이 실제 결과에 영향을 미칠 수 있는 경우 - 중재군 간의 불균형

한 결측치 수 차이 자체 또는 결측이 생긴 이유가 결과에 비뚤림을 초래할 수 있는 경우
• 이분형 변수의 경우 결측치 분율이 결과변수의 관찰발생위험에 비추어 상당 수여서 중재효과 추정에 임상
적으로 유의한 차이를 낼 것으로 보이지 않는 경우
• 연속형 변수의 경우, 결측 결과로부터 예견되는 군간 중재효과 차이가 (평균의 차이 혹은 표준화 평균의
차이)가 효과크기 추정결과에 임상적으로 유의한 비뚤림을 초래하기에 충분한 경우
• 무작위 배정된 중재를 받지 않은 사람이 상당수 임에도 중재 받은 대로만 분석을 수행하여(per-procotol
analysis) 결과자료를 제시한 경우
• 부적절한 방법으로 결측치를 대체한 경우
PART2. 메타분석
• 배제/탈락에 대한 보고가 불충분한 경우(예, 무작위수 언급 없음, 결측 이유에 대한 언급 없음)
선택적 보고
선택적 결과 보고로 인한 보고 비뚤림
• 프로토콜이 존재하여 연구에서 사전에 정의해놓은 일차, 이차 (중재)결과들의 정의 및 분석이 사전에 정해진
방법대로 다루어졌음을 확인할 수 있는 경우
• 프로토콜은 없지만 사전에 계획된 것을 포함하여 예상되는 모든 결과를 보고하고 있는 경우
• 사전에 정해진 (중재)결과이었음에도 결과가 보고되지 않은 것이 있는 경우

• 보고된 결과 중 사전에 정한대로 방법으로 측정하거나 분석하지 않은 경우 또는 사전에 정하지 않은
(중재)결과를 보고하는 경우 (이런 분석과 보고가이루어진 데 대한 명백한 이유와 설명 -예를 들어, 예상치
못한 부작용 등- 이 있는 경우는 예외)
• 불완전한 결과보고로 인해 메타분석에 포함시킬 수 없는 경우
• 현 연구에서 당연히 분석되었을 것으로 예상되는 핵심결과에 대한 보고가 없는 경우
비뚤림 위험 ‘불확실’ 기준 ‘높음’, ‘낮음’에 대한 판단을 위한 정보가 충분하지 않은 경우(대다수의 연구들이 이 범주에 포함될 가능성이 있음)
그 외 비뚤림
다른 영역에서 평가하지 못한 문제점으로 인해 발생한 비뚤림
비뚤림 위험 ‘낮음’ 기준 그 외 비뚤림이 없는 것으로 보임
비뚤림 위험 ‘높음’ 기준 추가 비뚤림의 위험이 있는 것으로 판단
예를 들어,
• 특정 연구 설계와 관련된 잠재적 비뚤림 위험이 있음

• 연구수행에 부정이 있었다는 주장이 제기된 바 있음
• 기타 다른 문제점을 가지고 있음
비뚤림 위험 ‘불확실’ 기준 추가 비뚤림 가능성에 대한 여지가 있으나 비뚤림의 위험이 어느 정도일지 평가할만한 충분한 정보나 근거가
없는 경우
부　록

1. 개요
2. 연구기획과 프로토콜 작성 RoBANS 도구설명: 영문
3. 문헌검색
5. 자료추출
6. 비뚤림 위험 평가 1. Selection of participants
7. 자료분석과 결과제시 Selection bias caused by inadequate selection of participants
9. 보고서 작성 Criteria for a judgement of Cohort study, Non-randomized controlled trial
‘Low risk’ of bias Intervention (exposure) and control groups are the same population group
(identical institution and period), and the absence of outcomes among the
study participants was confirmed at the starting timepoint of the study.
Case-control study
Case and control groups were selected from comparable population group.
The case group was clearly defined and elucidated that the control group is
not the patient group.
Before-after study
Participants were consecutively recruited, and the data was collected
prospectively.
Criteria for the judgement Any one of the following

of ‘High risk’ of bias
Cohort study, Non-randomized controlled trial
• Intervention (exposure) and control groups were selected from different
population groups. (e.g., intervention is differ by study periods or by study
centers, or historical control groups were used)
• The presence of outcomes among the study participants was not confirmed
at the starting timepoint of the study.
Case-control study
• Case and control groups are not the comparable population groups
• The patient definition was made by self report or merge data.
• The control group was not clearly confirmed for the inclusion of patients.
Before-after study
• The control group was not recruited consecutively.
Criteria for the judgement When it is unclear whether the selection of participants resulted in ‘high risk'
of ‘Unclear risk’ of bias or ‘low risk' of bias
2. Confounding variables
Selection bias caused by inadequate confirmation and consideration of confounding
variable
Criteria for judgement of Any one of the following
'Low risk' of bias
Non-randomized studies (except for before-after study)
• Major confounders were confirmed and considered adequately during the
design phase (e.g., matching, participation restriction and others).
• Major confounders were confirmed and adjusted adequately during the
analysis phase (e.g.,stratification, propensity score, statistical adjustment
and others).
Before-after study
• Natural progression and learning effect* can be excluded when considering
disease and intervention.
Criteria for the judgement Any one of the following
Non-randomized study (except for before-after study)
• Major confounding variables were not considered.
• Even though major confounding variables were confirmed, they were not considered adequately during
the design and analysis phases.
Before-after study
• Natural progression and learning effect are relatively clear when considering disease and intervention.
PART2. 메타분석
Criteria for the judgement When it is unclear whether the confounding variables resulted in ‘high risk' or ‘low risk' of bias
of ‘Unclear risk’ of bias
* Past experience improves future execution skills.
3. Measurement of intervention (exposure)

Performance bias caused by inadequate measurement of intervention (exposure)
Criteria for a judgement of If intervention (exposure) methods were described by using at least more than one of the listed methods
‘Low risk’ of bias in below.
• Data were obtained from trustable sources such as medical records.

• Data were obtained from structured interviews.
Criteria for the judgement Any one of the following.

• Data were obtained by a self report
• The clear case for Interviewer bias*
• The clear case fro Recall bias**
Criteria for the judgement When it is unclear whether the intervention (exposure) measurement resulted in ‘high risk' or ‘low risk'
of ‘Unclear risk’ of bias of bias
* The investigated contents can be standardized to have effects on the results by the characteristics of investigators, this can be
reduced by investigator training.
** When the respondents' degree of recall can have effects on the result.
4. Blinding for outcome assessment
Detection bias caused by inadequate blinding of outcome assessment
Criteria for a judgement of Any one of the following.
‘Low risk’ of bias
• The outcome assessors was blinded
• Although blinding is not present, its absence is judged to have no effect on the outcome measurement.
Criteria for the judgement Since blinding was not performed or incomplete, such blinding status is considered to have effects on the
of ‘High risk’ of bias outcome measurement.
Criteria for the judgement When it is unclear whether the blinding of outcome assessment resulted in ‘high risk' or ‘low risk' of bias
of ‘Unclear risk’ of bias
부　록

1. 개요
5. Incomplete outcome data
3. 문헌검색 Attrition bias caused by inadequate handling of incomplete outcome data
Criteria for judgement of Any one of the following.
5. 자료추출
'Low risk' of bias
8. 근거수준 평가와 결론의 도출 • No missing data could be observed.
9. 보고서 작성 • The causes of having missing data are considered to have a relationship to
the outcome (censoring does not create a bias in survival data)
• The number of missing data was developed similarly in both of the
intervention (exposure) - control groups, and the causes of the development
are the similar.
Before-after study
• Information about the number of participants before and after the
study existed and the baseline was not differ with completed and failed
participants.
Criteria for judgement of Any one of the following.

'High risk' of bias
• The missing data could have effects on the outcome. It may be attributable to
the differences of missing data in between the intervention (exposure)-control
groups, or may be caused by the absence of measurement.
Before-after study
• Differences exist at the baseline of successful and failed participants.
Criteria for judgement of When it is unclear whether the incomplete outcome data resulted in ‘high risk'
'Unclear risk' of bias or ‘low risk' of bias
6. Selective outcome reporting
Reporting bias caused by selective outcome reporting
Criteria for a judgement of Any one of the following.
‘Low risk’ of bias
• The protocol was available, and pre-defined primary/secondary outcomes
were described as planned.
• All of the expected outcomes were included even without the protocols.
Criteria for the judgement Any one of the following.

• The pre-defined primary outcomes were not fully reported.
• Outcomes were not reported as defined previously.
• Primary outcomes not pre-specified in the study existed (except for
outcomes with clear explanation such as unexpected adverse effects).
• Incomplete reporting on primary outcome of interest.
• No report on important outcomes expected to be reported in the related
field.
Criteria for the judgement When it is unclear whether the selective outcome reporting resulted in ‘high
of ‘Unclear risk’ of bias risk' or ‘low risk' of bias.*
*Most of the studies fall under this category.
RoBANS 도구: 국문
1. 대상군 선정
부적절한 대상군 선정으로 인해 발생한 선택 비뚤림
비뚤림 위험 ‘낮음’ 기준 코호트 연구, 비무작위배정 비교임상시험 연구
중재(노출)군과 대조군이 동일한 인구 집단(기관과 기간이 동일)이며 연구 참여 시점에 연구 대상에서 (중재)결
과가 없음을 확인하였다.
환자-대조군 연구
환자군과 대조군을 비교할만한 인구 집단에서 선정했으며, 환자군은 명백히 정의되었고 대조군은 환자가 아니
PART2. 메타분석
라는 사실을 명백히 하였다.
전후 연구
대상군은 연속적(consecutive)으로 모집하였고, 자료는 전향적으로 수집하였다.
코호트 연구, 비무작위배정 비교임상시험 연구

• 중재(노출)군과 대조군이 서로 다른 인구집단이다. (연구기간 혹은 연구기관에 따라 중재가 달라지거나,
역사적 대조군인 경우)
• 연구 참여 시점에 연구 대상에서 (중재)결과가 있음을 확인하지 않았다.
환자-대조군 연구
• 환자군과 대조군은 비교할만한 인구집단이 아니다.
• 환자 정의는 자가보고(self-report)이거나 연결자료(merge data)이다.

• 대조군은 환자가 아님을 확인하지 않았다.
전후 연구
• 대상군을 연속적으로 모집하지 않았다.
• 후향적으로 자료를 수집하였다.
비뚤림 위험 ‘불확실’ 기준 대상군 선정에 대한 비뚤림 위험이 ‘낮음’, ‘높음’ 중 어디에 해당하는지 불확실한 경우
2. 교란변수
교란변수 확인과 고려가 부적절하여 발생한 선택 비뚤림
전후 연구이외의 비무작위 연구
• 주요 교란변수를 확인하였고 이를 디자인 단계(짝짓기, 참여제한 등)에서 적절히 고려하였다.
• 주요 교란변수를 확인하였고 이를 분석 단계(층화, 성향점수(propensity score), 통계적 보정 등)에서 적절하
게 보정하였다.
전후 연구
• 질병, 중재 등을 고려할 때 자연 경과, 학습효과* 등을 배제할 수 있다.
• 주요 교란 변수를 다루지 않았다.
• 주요 교란변수를 확인하였지만 이를 디자인 단계나 분석 단계에서 적절히 고려하지 못하였다.
전후 연구
부　록
• 질병, 중재 등을 고려할 때 학습효과*, 자연 경과 등이 비교적 명확하다.

1. 개요
비뚤림 위험 ‘불확실’ 기준 교란변수에 대한 비뚤림 위험이 ‘낮음’, ‘높음’ 중 어디에 해당하는지 불확실한 경우
3. 문헌검색 * 과거 경험이 추후 수행 능력을 향상시키는 것.
5. 자료추출 3. 중재(노출) 측정
6. 비뚤림 위험 평가 부적절한 중재(노출) 측정으로 인해 발생한 실행 비뚤림
7. 자료분석과 결과제시 비뚤림 위험 ‘낮음’ 기준 다음 중 한 가지 이상의 방법으로 중재(노출) 방법에 대해 기술하고 있는 경우
9. 보고서 작성 • 의무기록과 같이 믿을만한 기록에서 얻은 경우
• 구조화된 인터뷰에서 얻은 경우
• 자기 응답에 의해 얻은 경우
• 조사자 비뚤림(interviewer bias)*이 명백한 경우
• 회상 비뚤림(recall bias)**이 명백한 경우
비뚤림 위험 ‘불확실’ 기준 중재(노출)측정에 대한 비뚤림 위험이 ‘낮음’, ‘높음’ 중 어디에 해당하는지 불확실
한 경우
* 조사자의 특성에 따라 결과에 영향을 미치는 것으로 조사 내용 표준화, 조사자 훈련 등으로 줄일 수 있다.
** 응답자의 회상 정도가 결과에 영향을 미칠 수 있는 경우.
4. 결과 평가에 대한 눈가림
부적절한 결과 평가 눈가림으로 인해 발생한 결과 확인 비뚤림
• 결과 평가자에 대한 눈가림이 이루어진 경우

• 눈가림은 없지만 눈가림 여부가 결과 측정에 영향을 미치지 않는 것으로 판단되
는 경우
비뚤림 위험 ‘높음’ 기준 눈가림이 이루어지지 않았거나 불완전하며, 눈가림 여부가 결과 측정에 영향을
미치는 것으로 판단되는 경우
비뚤림 위험 ‘불확실’ 기준 결과 평가 눈가림에 대한 비뚤림 위험이 ‘낮음’, ‘높음’ 중 어디에 해당하는지 불확

실한 경우
5. 불완전한 자료
불완전한 자료를 부적절하게 다루어 발생한 탈락 비뚤림
• 결측치가 없을 때
• 결측치가 생긴 이유가 결과와 관련성이 있을 것 같지 않은 경우(생존 자료에서
관찰 중단은 비뚤림을 일으키지 않는다)
• 결측치가 중재(노출)군-대조군간 유사하게 발생하고 결측치가 생긴 이유도 유사
하다.
전후 연구
• 중재 전후 대상자 수에 대한 정보가 있고, 탈락자와 완료자의 기저상태가 차이가
없다.
• 결측치가 결과에 영향을 미칠 것으로 판단된다. 이는 중재(노출)군-대조군간 결
측치의 차이 때문일 수도 있고, 결측의 이유 때문일 수도 있다.
전후 연구
• 탈락자와 완료자의 기저상태가 차이가 있다.
비뚤림 위험 ‘불확실’ 기준 불완전한 자료에 대한 비뚤림 위험이 ‘낮음’, ‘높음’ 중 어디에 해당하는지 불확실한 경
6. 선택적 결과 보고
선택적 결과 보고 때문에 발생한 보고 비뚤림
• 프로토콜이 존재하고 사전에 정의한 일차, 이차 (중재)결과가 정한대로 기술되어 있다.

• 프로토콜은 없지만 예상되는 모든 결과를 포함하고 있다.
• 사전에 정의한 일차 (중재)결과 중 보고되지 않은 것이 있다.
PART2. 메타분석
• 정해지지 않은 방법으로 (중재)결과 보고가 이루어졌다.
• 사전에 정의되지 않은 일차 (중재)결과가 있다(보고 하는 명백한 이유 설명(예를 들어 예상치 못한 부작용 같
은)이 있는 경우는 예외).
• 현재 리뷰에서 관심이 있는 일차 (중재)결과에 대한 보고가 불완전하다.
• 해당 분야 연구에서 보고될 것으로 예상되는 핵심 (중재)결과에 대한 보고가 없다.
비뚤림 위험 ‘불확실’ 기준 선택적 결과 보고에 대한 비뚤림 위험이 ‘낮음’, ‘높음’ 중 어디에 해당하는지 불확실한 경우*
*대부분의 연구들이 이 범주에 포함된다.

건강보험심사평가원. 한림대학교 산학협력단. 임상연구 문헌의 질평가 도구 개발 연구. 2009.3.

Deeks JJ, Dinnes J, D'Amico R, Sowden AJ, Sakarovitch C, Song F, Petticrew M, Altman DG. Evaluating
non-randomised intervention studies. Health Technology Assessment 2003; 7: 27.
Hartling L, Ospina M, Liang Y, Dryden DM, Hooton N, Krebs Seida J, Klassen TP. Risk of bias versus
quality assessment of randomised controlled trials: cross sectional study. BMJ. 2009 Oct 19;339:b4012.
Higgins JPT, Altman DG, Sterne JAC (editors). Chapter 8: Assessing risk of bias in included studies. In:
Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0
(updated March 2011). The Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org.
Slim K, Nini E, Forestier D, Kwiatkowski F, Panis Y, Chipponi J. Methodological index for non-randomized
studies (minors): development and validation of a new instrument. ANZ J Surg. 2003 Sep;73(9):712-6.
Methods for Conducting a Systematic review of Health interventions, 1.3.4. Quality assessment. Centre for
부　록

1. 개요
3. 문헌검색
5. 자료추출
9. 보고서 작성

요약
• 체계적 문헌고찰에서 자료분석 방법에는 정성적합성(qualitative synthesis) 방법과 정량적
합성(quantitative synthesis) 방법 두 가지가 있다. 정량적 합성은 흔히 메타분석이라고 한다.
• 정량적 합성이 수행된 체계적 문헌고찰에서, 메타분석에 포함되지 않은 일부 연구가 있다면
이들 연구결과에 대해 질적으로 기술한다.
• 결과제시를 할 때 명확한 표와 그림을 이용하여 표현하는 것이 효과적이다.
• 결과제시는 포함된 연구의 특성표, 자료 제시표, 근거 요약표(summary of findings)를 통해
표로 제시할 수 있으며 Forest plot등과 같은 그래프로도 제시할 수 있다.
PART2. 메타분석
자료분석은 추출한 자료를 바탕으로 자료를 분석하고 결합(또는 합성)하고 각 연구의 결과를
요약하는 단계로서 자료분석은 크게 정성적 합성과 정량적 합성으로 분류된다. 통계적인 합성
을 할 수 없다고 판단되는 경우 정성적 합성(qualitative synthesis)이라는 방법을 통해 기술적
(descriptive)으로 제시하며, 통계적 합성이 가능하다고 판단되는 경우는 정량적 합성(quan
titative synthesis)을 수행한다. 정량적 합성은 메타분석(meta-analysis)으로 알려져 있다.

7.1. 자료분석 방법 결정
체계적 문헌고찰에서 정성적 합성을 할지, 정량적 합성을 할지 여부를 결정하는 기준은
명확히 없다. 하지만 포함된 연구의 1)주요 결과에 대한 이질성(heterogeneity)이 크다고
판단되는 경우(예. 중재가 적용된 임상현장, (중재)결과 보고방법 등) 2)비뚤림 위험이 큰 경우,
3)출판비뚤림이나 보고 비뚤림이 심각한 경우에는 정성적 합성을 수행한다. 무조건
정량적 합성을 수행하는 것은 권장되지 않으며 자료분석 방법 역시 프로토콜을 통해 사전에
계획되어야 한다. 정성적 합성에 대한 상세 방법은 PART 2. 메타분석을 참조한다. 부　록

7.2. 결과제시
1. 개요
3. 문헌검색
5. 자료추출 7.2.1. 표
7. 자료분석과 결과제시 체계적 문헌고찰에서 결과표는 연구 특성표, 결과 제시표, 근거 요약표의 세
9. 보고서 작성 가지로 나누어 정리할 수 있다. 결과제시의 형태는 정성적 합성(qualitative
synthesis or descriptive analysis)을 할지, 정량적 합성(quantitative
synthesis)을 하는지 여부에 따라 정리표의 형태가 달라질 수 있다. 결과제
시에 사용되는 표는 자료 추출표와 비슷한 의미로 사용되기도 하나, 보다 정
리된 표라고 할 수 있다. 연구 특성표와 결과 제시표는 하나의 표로 정리될
수도 있으며 각각 별도의 표로 제시되기도 한다.
• 정성적 합성을 할 경우: 연구 특성과 연구 결과를 모두 제시한다.(공간이

부족할 경우 부록을 이용해서 보고)
• 정량적 합성을 할 경우: 연구 특성표를 제시하고 연구 결과표는 메타분석

결과(예. forest plot) 및 결과 요약표(summary of findings)로 대체하기
도 한다.
1) 연구 특성표(Characteristics of studies)
연구 특성표는 개별 연구의 연구 설계, 분석방법, 비뚤림 위험평가 결
과, PICO에 대한 정보 등을 중심으로 정리되는 표이며, 효과 추정치
(estimated effects) 값이 제외된 사항이 포함되어 있다. 아래에 예시를
제시하였다.
표 7-1. 연구 특성표 예시 - 1
중재군 대조군 추적
연구 연구 연구 중재 대조
1저자 년도 중재군 비교군 연령 연령 관찰
번호 설계 국가 군수 군수
(평균) (평균) 기간
후향적
5 Jang 2006 미국 RALPN LPN 10 58 10 61 unclear
코호트
결과지표 목록 결과지표정의 합병증 목록 질평가결과 비고

Operative time
Ischemic time [Post operative
complications]
Estimated blood loss Op time:
Discharge hematocrit
urinary retention
skin to skin time
colonic pseudo-
stay
obstruction
Positive margin
표 7-2. 연구 특성표 예시 - 2 Cochrane review (Nannini, 2007) Reproduced table. Copyright © 2007 The Cochrane Collaboration.
Hanania 2003
Parallel group study.
Randomisation: method unclear.
Blinding: double blind.
Allocation concealment: unclear
Methods Excluded: described.
Withdrawals: stated.
Trial duration: 24 weeks with 2-week run-in period. Intention to treat analysis: not
stated.
Jadad score: 4
1) Setting: USA, Multi-centre (76 hospitals)
PART2. 메타분석
2) Patients randomised: 366 (FPS: 183; FP: 183). Additional treatment groups not
covered in this reviews; SAL:177; PLA:185
3) Baseline characteristics: Mean age:64; mean FEV1:1.27L (42% predicted)
Participants 4) Inclusion criteria: stable COPD, FEV1 40~65% predicted, FEV1/FVC<70% predicted,
symp-toms of chronic bronchitis and moderate dyspnoea
5) Exclusion criteria: current diagnosis of asthma, use of oral steroids in past 6 weeks,
abnormal ECG, LTOT, moderate-servere exacerbation in run in. Other significant
medical disorder.
Run-in: 2 weeks treatment with placebo inhaler and pm SABA.

Intervention 1) FPS50/250 mcg bid. 2) Placebo Additional treatment groups not covered in this
review 3) SAL 50 mcg bid. 4) FP 250 mcg bid. Inhaler device: Diskus.
Lung function: Change in FEV 1 from baseline to end of study (M). PEF data not

stratified by reversibility. Quality of life: CRDQ, CBSQ not startfied by reversibility.
Outcomes
Dyspnoea and symptoms; Transitional dyspnoea index, Baseline dyspnoea index not
startified by reversibility. Exacerbations. Rescue salbutamol use.
FEV1 reversibility < 12% or 200ml (of baseline FEV1) Reversibility startified data.
Notes
Mean % increase non-reversible patients=8.8
Risk of bias
Item Authors’ judgement Description
Described as randomised: information

Adequate sequence generation? Unclear
not avail-able
Allocation concealment? Unclear Information not available
Blinding?
Yes Ientical inhaler devices
All outcomes
부　록

1. 개요
2) 결과 제시표
3. 문헌검색
4. 문헌선택 및 분류 결과 제시표는 연구에 포함된 중재군과 대조군의 수에 대한 정보 및
5. 자료추출
효과 추정치(estimated effects) 값을 개별 연구 단위로 정리해 놓은 표로
7. 자료분석과 결과제시 서 정량적 합성을 할 경우 forest plot으로 대체되기도 한다. 아래에 예시
9. 보고서 작성 를 제시하였다.
표 7-3. 결과 제시표 - 연속형 변수
연구 결과지표 평균 표준편차 전체수 평균 표준편차 전체수

P값
번호 (분) (중재군) (중재군) (중재군) (대조군) (대조군) (대조군)
12 총 수술시간 277 14 50 264 28 50 NS

13 수술시간 199.6 36.6 71 257.3 94.3 85 NR
표 7-4. 결과 제시표 - 이분형/범주형 변수
lower upper
연구 결과 측정시점 발생 전체수 발생 전체수
RR limit limit P값
번호 지표 (개월) (중재군) (중재군) (대조군) (대조군)
(CI) (CI)
5 TVR 6 15 152 25 158 0.62 0.34 1.14 0.02

7 TVR 12 11 180 18 90 0.31 0.15 0.62 0.04
연구 특성과 결과값 정보를 하나의 표에 정리할 수도 있으며 예시를 표 7.5

에 제시하였다.
표 7-5. 연구 특성과 결과 제시를 하나의 표에 정리 - 예시 (한국보건의료연구원, 2010)
연구정보 추적 (중재)
중재군 중재방법 대조군 (중재) 결과
연구설계 관찰기간 결과
Kakar et al. Oral local 2ml dexamethasone(n=24), 3mo-2yrs 반응율 다른 중재 그룹은

1985 submucous placental hyaluronidase(n=24), 62.5%, 54.16%를
fibrosis extract im, combination of 보인 반면, 태반
RCT patients bi-weekly hyaluronidase and 주사 group은
(n=96) (10 주) dexamethasone(n=24) 41.25% 호전을
(n=24) 보임
Kaushal et radiation Placentrex conventional unclear 반응율 통증 완화

al. 2001 induced Ⓡ 2ml treatment (n=60) 48/60(80%) vs
mucositis deep 22/60(36/7%),
RCT (n=120) im (15
악화 24/60(40%)
injection)
vs 52/60(93%),
(n=60)
삼킴호전
56/60(93%) vs
9/60(15.%)
Srivastava Oral 주사 PlacentrexⓇ, IM(n=52) unclear 전반적 52% vs 51% vs

et al. 1986 submucous Placentrex Radione(n=24), 반응율 55% vs 60% vs
fibrosis Ⓡ at site (4 Placentrax + 29%
NRT (n=215) 주) (n=75) Cortisone(n=15), Inj
Cortisone at site(n=14)
3) 근거 요약표(Summary of findings)
근거 요약표(Summary of findings, SoF)는 체계적 문헌고찰을 통해 얻은 주요 결과 각각
에 대해 전반적인 근거를 요약하여 제시한 표이다. 근거 요약표는 결과 제시표와는 다르며,
근거 요약표에는 근거수준, 중재의 효과 크기, 주요 결과에 대한 자료 요약 등이 제시된다.
CDSR에서는 근거 요약표를 서론 앞에 제시하며, 결과와 고찰 사이에 제시하는 단체도 있다.
요약표는 6가지 항목으로 구성된다.
• 주요 (중재)결과지표: 이득 관련 결과지표, 위해 관련 결과지표

• 군별 위험도: 중재군과 대조군의 사건 발생 위험
PART2. 메타분석
• 효과추정치: 절대효과 추정치, 상대효과 추정치
• 연구 수와 참여자 수
• 근거수준
• 비고(comments)
근거 요약표는 직접 만들 수도 있으며 RevMan, GRADE profiler 프로그램을 활용하여 작

성할 수 있다. RevMan에 자료를 입력한 경우라면 GRADE로 직접 편입하여 요약표를 만들
수도 있으며, 반대로 GRADE에서 RevMan으로 자료를 편입하여 만들 수도 있다. 아래에 각
각의 예시를 제시하였다.
그림 7-1. GRADEpro을 이용하여 만든 근거요약표(Effing, 2007) Reproduced figure. Copyright © 2007 The Cochrane Collaboration.
부　록

1. 개요
3. 문헌검색
5. 자료추출
9. 보고서 작성
그림 7-2. GRADEpro에서 만든 근거 요약표를 RevMan으로 편입한 결과
7.2.2. 그림
체계적 문헌고찰의 결과는 그림으로도 제시할 수 있으며 주로 다음 사항이
그림으로 표현된다. 각 사항에 대한 자세한 내용은 해당 장을 참고하도록 한다.
• 비뚤림 위험 평가 결과 (6. 비뚤림 위험 평가 참조)

• 문헌 선택 흐름도 (4. 문헌선택 및 분류)
• Forest plot, Funnel plot 등 메타분석 관련 그림 (PART Ⅱ. 메타분석 참조)
결과 제시 단계는 체계적 문헌고찰에 포함된 연구들을 정리하는 부분이므로

간결하면서도 명확하게 정리하는 것이 중요하다. 또한 정성적 합성을 할 경우
이질성이 크고, 그림이나 그래프 등으로 연구 내용을 정리하기 어려운 경우
가 대부분이므로 이 또한 체계적이고 정리된 형식으로(동일한 순서 포함) 정리
되어야 한다. 정리되어야 하는 분량이 많거나 내용이 복잡한 경우 비슷한 그룹
으로 묶어서 정리할 수 있다.(예. 중재방법 별, 환자군 별 등)
한국보건의료연구원. 태반주사의 유효성 및 안전성에 관한 의료기술평가. 2010.

Effing T, Monninkhof EM, van der Valk PD, van der Palen J, van Herwaarden CL, Partidge MR et al. Self-
management education for patients with chronic obstructive pulmonary disease. Cochrane Database Syst
Rev. 2007 Oct 17;(4):CD002990.
Nannini LJ, Cates CJ, Lasserson TJ, Poole P. Combined corticosteroid and long-acting beta-agonist in one
inhaler versus long-acting beta-agonists for chronic obstructive pulmonary disease. Cochrane Database
Syst Rev. 2007 Oct 17;(4):CD006829.
PART2. 메타분석
Review Manager(RevMan) 5. Help. 2009. available at ims.cochrane.org
Sch nemann HJ, Oxman AD, Higgins JPT, Vist GE, Glasziou P, Guyatt GH. Chapter 11: Presenting results
and ‘Summary of findings' tables. In: Higgins JPT, Green S (editors), Cochrane Handbook for Systematic
Reviews of Interventions Version 5.1.0 (updated March 2011). The Cochrane Collaboration, 2011. Available
from www.cochrane-handbook.org.
Systematic Reviews CRD’s guidance for undertaking reviews in health care. CHAPTER 1 Core principles
and Methods for Conducting a Systematic review of Health interventions, 1.3.5. Data synthesis. Centre for
The NICE public health guidance development process: an overview for stakeholders including public health
practitioners, policy makers and the public (second edition). National Institute for Health and Clinical

Excellence(NICE). Chapter 5. Reviewing the Scientific evidence. UK. April 2009.
부　록

1. 개요
3. 문헌검색
5. 자료추출
9. 보고서 작성

요약
• 근
거수준은 현재까지의 근거로 해당 중재의 효과에 대해 확신하는 정도를 말하며 연구설계,
문헌의 질, 근거의 양, 근거의 일관성, 근거의 직접성 등의 요소로 평가한다.
• 향
후 한국보건의료연구원에서 진행되는 체계적 문헌고찰에 대한 근거 수준 평가는 GRADE
에 준해서 시행하되 분야, 목적 등에 맞게 수정하여 사용될 수 있다.
• G
RADE를 이용하여 체계적 문헌고찰의 근거수준을 평가할 경우, 1) 핵심질문 생성, 2) 주요
결과(important outcomes) 확인, 3) 결과들의 상대적 중요성 판단, 4) 근거요약 작성
(evidence profiles) 5) 각 결과에 대한 근거 수준 결정의 순서로 진행한다.
PART2. 메타분석
• 비
뚤림 위험, 이질성(일관성 없음), 비직접성, 비정밀이 있다면 근거수준을 1등급 혹은 2등급
낮춘다.
•
만일 효과의 크기가 큼, 교란변수의 영향, 양-반응 관계가 있으면 등급을 높인다.
•
근거수준은 최종적으로 ‘높음’, ‘중등도’, ‘낮음’, ‘불충분’의 네 단계로 평가한다.
• 체
계적 문헌고찰의 결론은 근거수준, 효과와 이득의 저울질, 가치와 선호도, 비용 등의 정보
를 종합하여 내리게 된다.
• 체
계적 문헌고찰의 결론에 사용되는 표현은 고찰 내용을 충분히 반영하며 오해가 없도록 하여
야 한다.

8.1. 근거수준 평가
8.1.1. 근거수준
근거수준(level of evidence)은 현재까지 근거로 해당 중재의 효과에 대해 확신하는 정도를
말한다. 근거수준에 대해 GRADE는 근거의 질(quality of evidence), USPSTF는 확신 수준
(level of certainty), AHRQ는 근거의 강도(strength of evidence), Cochrane Handbook은
전체적 근거의 질(quality of a body of evidence)이라는 표현을 쓰는 등 사용되는 용어가 매우
다양하다. 현재 국내에서는 ‘근거수준’이라는 표현이 가장 널리 쓰이고 있기 때문에 한국보건
의료연구원도 ‘근거수준’이라는 용어를 사용한다.
근거수준을 결정할 때 고려되는 요소로는 1) 연구설계, 2) 문헌의 질, 3) 근거의 양, 4) 근거의 일

관성, 5) 근거의 직접성 등이 있다. 해당 요소의 정의는 아래와 같다.
• 연구설계: 핵심 질문에 대한 해답을 얻기 위해서 얻을 수 있는 최선의 연구 설계가 무엇

인가에 대한 것으로 중재법에 대한 질문의 경우 무작위대조 비교임상시험 연구가 최선의
부　록
연구이다.

1. 개요
• 문헌의 질(비뚤림 위험): 비뚤림 위험이란 결론의 내적 타당성에 영향을
3. 문헌검색 미치는 요인을 의미하며 연구설계에 따른 특정 측면의 시행 정도로 평가
5. 자료추출 한다. 무작위 대조 연구의 경우 무작위 배정순서 생성, 배정순서 은폐,
7. 자료분석과 결과제시 눈가림, 선택적 결과보고, 불완전한 결과자료, 추적관찰 등을 판단한다.
9. 보고서 작성 • 근거의 양: 해당 근거의 양(quantity)이 얼마나 되는지를 의미한다.
• 근거의 일관성: 근거의 일관성이란 연구간 효과 추정의 유사성을 말한다.
효과의 방향성, 효과 크기, 차이의 유의미성 등을 가지고 일관성 정도를
판단하며 동질성과 유사한 뜻이다.
• 근거의 직접성: 근거의 직접성이란 연구 결과와 적용하려고 하는 대상군,
중재, 결과변수 등이 서로 유사한가의 정도이다.
}
}}
1. 연구설계 근거의 hierarchy
2. 문헌의 질 근거의 질
3. 근거의 양 근거의 강도
4. 근거의 일관성 근거의 등급
5. 근거의 직접성*
* : 등급화 요소에 포함시키기로 함
그림 8-1. 근거수준의 요소에 따른 근거수준
8.1.2. 근거수준 평가 방법론

근거수준 체계는 근거수준의 여러 요소를 일부 혹은 전체를 사용하여 평가
한다. 대체로 학회나 과거에 체계를 개발한 경우 연구 설계와 문헌의 질 등
간단한 요소만으로 근거수준을 결정하며, 정부 기구나 최근에 개발한 경우
전체적인 요소를 모두 적용한다. 널리 쓰이는 체계 중 SIGN을 제외하고는
GRADE, AHRQ, USPSTF는 모두 근거수준의 모든 요소를 사용한다.
향후 근거수준의 평가는 GRADE를 사용하여 평가한다. GRADE를 근거수준

체계로 사용하는 이유는 아래와 같다.
• 근거수준 결정에 객관적인 기준을 사용한다.

• 근거수준 평가 과정을 모두 공개하여 투명화에 기여한다.
• 50개 이상의 기구에서 공식적으로 적용하고 있다.
• 다양한 적용이 가능하고 교육 자료 등 풍부한 자료원이 존재한다.
• GRADEpro 프로그램을 이용하여 근거수준 평가 과정을 객관적으로 진행
할 수 있다.
GRADE는 체계적 문헌고찰 과정 전체에 대한 방법론과 근거수준 평가 방법론을 제시한다.
하지만 모든 기관이 GRADE에서 제시한 방법론대로 평가하지는 않고 있으며, 일부 기관이나
국가 기구에서는 상황이나 수준에 맞도록 내용을 수정하여 사용한다. 예를 들어 NICE(영국),
CADTH(캐나다)의 경우 Evidence profile만을 이용하고 AHRQ(미국), WHO의 경우 과정을
명확화, 간결화 하여 사용하고 있다.
8.2. GRADE
8.2.1. 개요
PART2. 메타분석
GRADE는 The Grading of Recommendations, Assessment,Development and Evaluation
(GRADE) Working Group(www.gradeworkinggroup.org)에 의해 개발된 등급화 방법으로,
방법론 학자, 진료지침 개발자 등이 근거의 수준과 권고의 강도의 등급화를 위해 제시한 도출된
안이다. 근거에 기반하여 권고안 도출에 이르는 GRADE 과정은 그림 8-2와 같다. 체계적 문
헌고찰의 경우 권고를 포함하지 않기 때문에 GRADE 접근법을 사용할 경우 체계적 문헌고찰의
개별 결과에 대한 근거의 수준을 등급화한 후 종결하면 된다.
GRADE 과정 *

권고를 위한 특정 질문(핵심질문) 생성

각 질문에 대해서 주요 (중재)결과(important outcomes) 확인

(중재)결과들의 상대적 중요성 판단

근거요약(evidence profiles)을 통해 모든 관련 근거 요약

각 (중재)결과에 대해 근거수준 등급화

여러 (중재)결과 사이에서의 전체 근거수준 결정

진료옵션 및 (중재)결과와 관련된 기저의 가치와 선호도에 대한 판단

원하는 효과와 원하지 않는 효과에 대해 저울질

권고의 강도 등급화 그림 8-2. GRADE 과정
 * 체계적 문헌고찰의 경우 권고를 포함
권고 생성 하지 않기 때문에 GRADE 접근법을
부　록
사용할 경우 체계적 문헌고찰의 개별


결과에 대한 근거의 수준을 등급화 한
실행 및 평가 후 종결하면 된다.

1. 개요
GRADE 과정은 GRADEprofiler 프로그램을 활용하면 쉽게 수행할 수 있다
3. 문헌검색 (그림 8-3).
5. 자료추출
9. 보고서 작성
그림 8-3. GRADEprofiler 프로그램
8.2.2. GRADE의 주요 내용
GRADE에 대한 주요 내용은 아래와 같다.
1) 결과에 따른 등급화
대부분의 체계는 개별 문헌의 질을 평가하여 근거수준을 결정한다. 하지
만 GRADE는 개별 결과에 대해서 근거수준을 결정한다.
2) 결과의 중요도 결정
결과의 중요도에 따라서 근거수준을 결정한다. 결과는 의사결정에 핵심적
(critical) 결과, 중요한(important) 결과, 중요하지 않은(not important)
결과로 구분한다. 근거 요약은 중요한 결과에 대해서만 하며 권고는 핵심
적인 결과만을 고려하여 결정한다.
Importance
Rating Importance
}
of end points
9
Mortality
Critical for
9
Myocardial infarction
8 decision
making
8 ◀ Critical
7
7
Fractures
6
}
6
Pain due to soft tissue calcification
Important but
not critical
5 ◀ Important
5 for decision
making
4
4
3
}
Not important
3 for decision
2
making-
of lower
2 ◀ Not important
Flatulence importance
1
1 to patients
그림 8-4. 결과 중요도의 계층적 구조의 예 ((좌): Reproduced from [British Medical Journal, (Guyatt2008) Copyright 2008]
with permission from BMJ Publishing Group Ltd. (우): GRADEpro Help. Reproduced with permission from ⓒ
GRADE Working Group)
3) GRADEpro를 이용한 Evidence profile 작성
GRADE 과정을 거쳐 작성한 체계적 문헌고찰의 결과는 GRADEpro를 이용하면 Evidence
profile(그림 8-5)로 구체화 된다. Evidence profile은 Cochrane의 “Summary of finding"
table과(그림 8-6) 유사한 형태이며 서로 호환도 가능하다.
PART2. 메타분석
그림 8-5. Evidence profile. (GRADEpro Help) Reproduced with permission from ⓒ GRADE Working Group)
GRADEpro는 http://www.cc-ims.net/RevMan/other-resources/gradepro에서 무료로

제공하고 있다. GRADEpro에 대한 이용방법이나 GRADE approach에 대한 사항은 도움말
메뉴에 잘 정리되어 있다.
그림 8-6. 근거 요약표(Summary of findings, SoF) (Effing, 2007) Reproduced figure. Copyright © 2007 The Cochrane Collaboration.
부　록

1. 개요
4) 근거수준의 결정
3. 문헌검색
4. 문헌선택 및 분류 GRADE에서 근거수준은 연구설계에 따라 우선적으로 결정된다. 무작
5. 자료추출
위배정 비교임상시험의 경우 높다'(high)', 관찰연구인 경우 낮다'(low)',
7. 자료분석과 결과제시 환자군 연구인 경우 '매우 낮다(very low)'로 배정한다. GRADE에서 근거
9. 보고서 작성 수준의 의미는 표 8-1과 같다.
표 8-1. 근거수준의 의미
등　급 정　의
높음 (high) 추후 연구로 효과의 추정치에 대한 확신정도가 바뀔 가능성은 매우 낮다.
추후 연구로 효과추정치의 확신 정도에 중요한 영향을 미칠 것이며 추정치가
중등도 (moderate)
바뀔 수도 있다.
추후 연구는 효과 추정치의 확신 정도에 중요한 영향을 미칠 가능성이 매우
낮음 (low)
크며 추정치가 바뀔 가능성이 높다.
매우 낮음 (very low) 효과에 대한 어떤 추정도 불확실하다.
체계적 문헌고찰을 통한 근거의 평가를 통해 1) 비뚤림 위험, 2) 이질성

(일관성 없음), 3) 비직접성, 4) 비정밀, 5) 출판 비뚤림이 있는 경우 근거
수준 정도를 1등급 혹은 2등급 낮춘다. 만일 1) 효과의 크기가 큼, 2) 교란
변수의 영향, 3) 양-반응 관계에 따라서 근거수준의 정도를 올릴 수 있다.
이상의 GRADE 과정을 그림으로 나타내면 그림 8-7과 같다.
그림 8-7. GRADE 과정 흐름도 (Reproduced figure with permission from ⓒ GRADE Working Group)
8.2.3 GRADE adaptation
GRADE에서 근거수준은 연구설계, 비뚤림 위험, 이질성(일관성 없음), 비직접성, 비정밀, 출판
비뚤림, 효과의 크기, 교란변수, 양-반응 관계 등으로 결정된다. 이들 요인의 내용 중 세부 지침
이 필요하거나 방법론적으로 단순화시킬 필요가 있는 부분에 대하여 기관별로 결정하여 사용할
수 있다. 아래 내용은 한국보건의료연구원에서 사용하기 위한 GRADE 적용기준이다.
1) 연구설계
연구설계는 근거의 질을 판단하는데 핵심적 요소이다. 치료 전략에 대한 권고를 할 때 일반
PART2. 메타분석
적으로 무작위배정 비교임상시험이 관찰연구보다 더 강한 근거를 제공하며 관찰연구는 대조군
없는 환자군 연구보다 더 강한 근거를 제공한다.
GRADE 한국보건의료연구원
• 무작위배정 비교임상시험: High • 높음 : 무작위배정 비교임상시험
• 관찰연구: Low • 낮음 : 비무작위배정 비교임상시험, 코호트 연구, 환자-대조군 연구, 단면 연구, 대조군이
• 환자군 연구: Very low 있는 전후연구, 시계열 연구
• 불충분 : 대조군이 없는 전후연구, 비비교 연구, (전문가 의견)
• 설명: GRADE는 연구설계 적용에 불확실성 있어서 체계적 문헌고찰의 대상이 되는 연구설계를 명백히 구분함. 전문가 의견
은 GRADE에서는 근거의 범주로 포함하고 있지 않지만, 경우에 따라 포함할 수도 있다.

2) 비뚤림 위험
연구설계와 실행의 제한점에 의해 치료 효과의 추정치에 비뚤림이 발생할 수 있다. 효과의
추정치에 대한 확신 정도는 연구가 주요 제한점을 가지고 있을 때 낮아진다. 제한점의 정도
가 클수록 근거의 질의 등급은 낮아진다.
• 질평가 영역을 이용하여(특정 도구 • 무작위배정 비교임상시험의 경우, Cochrane ROB를 이용하여, 비무작위 연구의 경우
를 지정하지 않음) 심각한 제한이 RoBANS를 이용하여 평가한다. 만일 다른 도구를 이용할 경우 해당 도구를 사용한 이유를
있으면 -1, 매우 심한 제한이 있으 밝힌다.
면 -2를 한다.
• 결과에 따라 주요 비뚤림 위험 영역을 선정한다(예. 통증 등 주관적 결과지표인 경우 눈가림
• 무작위배정 비교임상시험연구는 을 중요하게 평가함). 연구의 대부분이 비뚤림 위험이 낮다면 낮추지 않고, 자료의 대부분이
무작위 배정순서 생성, 배정순서 은폐, 불확실하다면 잠재적 제한점이 치료 효과의 추정치를 낮출 수 있는지 여부에 따라서 낮추지
않거나, 한 등급 낮춘다. 대부분의 연구가 비뚤림 위험이 높다면 제한점 정도에 따라서 한 등
눈가림, 불완전 결과, 선택적 보고,
급 혹은 두 등급 낮춘다.
불완전한 결과 자료, 잠재적인 다른
비뚤림 위험을 평가하며, 관찰연구 • 전체 연구 중에서 비뚤림 위험이 낮은 연구가 30-50% 이면 한 등급을 낮추고, 30% 보다 적
의 경우 대상군 선정, 교란변수, 노출 으면 두 등급을 낮춘다.
과 결과 측정에 대해 평가한다.
• 설명: GRADE는 비뚤림 위험평가 도구를 구체적으로 제시하지 않아 적용상의 문제 있어서 평가도구를 명확히 제시함. -1 혹은 -2의
대략적인 기준을 정할 필요 있기 때문에 대략적인 판단 틀을 제시함.
부　록

1. 개요
3) 비일관성
3. 문헌검색
4. 문헌선택 및 분류 비일관성은 결과의 설명되지 않는 이질성을 의미한다. 포함된 연구를
5. 자료추출
통틀어 치료효과 추정치가 상당히 다르다면(즉 결과의 변이성 혹은 이질
7. 자료분석과 결과제시 성) 치료효과가 실제로 다름을 암시한다. 이질성이 있지만 연구자가 이에
9. 보고서 작성 대해 잘 설명하지 못하고 있다면 근거의 질은 결과의 비일관성 정도에 따
라서 한 등급 혹은 두 등급 낮아지게 된다.
• 설명되지 않는 비일관성(I2, 효과추정치 • 메타분석이 있는 경우 GRADE에 준해서 판단한다.
의 방향성과 신뢰구간의 겹침등으로 판단) • 메타분석이 없는 경우 인구 집단, 중재, 결과의 동질
이 있으면 한 등급 혹은 두 등급 낮춘다. 성으로 판단할 수 있다.
• 단일 연구인 경우 판단할 수 없으며 이 경우 낮출지 여부
• 설명되면 나누어 분석한다.
를 정성적으로 판단한다.
• I2가 대략적으로 50-75%이면 한 등급을 낮추고 75%
이상이면 두 등급을 낮춘다. 효과의 크기와 방향성, 신뢰
구간의 크기를 고려한다.
• 설명: 메타분석이 없는 경우 등급을 낮출지 여부를 정성적으로 판단하며 판단의 이유를

기술한다. I2에 대한 다른 기준을 적용할 경우 합당한 이유를 기술한다.
4) 비직접성
비직접성은 간접비교이거나 비직접적인 인구집단을 대상으로 한 연구,
또는 비적접적인 중재 및 비교중재를 적용한 경우, 그리고 환자에게
중요한 결과(patient-important outcome)대신 대리결과를 사용한 경우
발생한다. 비직접성에 의한 근거의 불확실 정도를 판단하여 근거수준
등급을 하나 혹은 두 수준을 낮추어야 한다.
• 간접비교, PICO의 비직접성, 대리 결과인 • GRADE에 준해서 판단하며, 추가적으로 인종, 문화
경우 근거 등급 수준을 낮춘다. 적인 차이가 없다고 판단되는 경우를 제외하고는 한
등급 낮춘다.
• 적용성은 판단하지 않는다.
• 메타분석이 없는 경우는 정성적으로 판단한다.
5) 비정밀성
연구 대상수가 적거나 사건이 드물면 추정치의 신뢰구간이 넓어지며 이를 비정밀이라고
한다. 이런 경우 결과의 불확실성 때문에 근거의 질을 낮게 평가하게 된다. 일반적으로
메타분석을 통해 제시된 효과 크기의 정밀도는 적절히 계획된 무작위배정 비교임상시험 1편
의 정밀도 정도 (표본수 혹은 사건 발생수, optimal information size (OIS))보다는 좋아야
한다. OIS는 표본 크기 계산 방식으로 알파 오류, 베타오류, 상대 위험도 감소, 기저 사건
비율 등으로 계산한다. 충분히 정밀하다고 판단하려면 효과 크기의 신뢰구간으로 미루어 판단
할 때 사용하도록(혹은 사용하지 않도록) 권고하기에 충분히 좁아야 하며 이득이 있게 나왔다
PART2. 메타분석
면 위양성을 배제할 정도는 되어야 한다.
정밀도의 판단은 다음과 같은 단계를 거친다.
첫째, OIS를 만족하지 않으면 한 등급 또는 두 등급을 낮춘다. 그러나 각 군당 1,000명(최소

한 1000명, 가능하면 2000명) 이상이면 낮추지 않는다.
둘째, OIS를 만족하면서 신뢰구간이 1을 통과하지 않으면 등급을 낮추지 않는다.
셋째, OIS를 만족하면서 신뢰구간이 1을 통과하는 경우 신뢰구간이 0.75 혹은 1.25를 통과
하면 등급을 낮춘다.

suggested suggested
appreciable benefit RR appreciable harm
precise
impercise
0.75 1.0 1.25

그림 8-8. 비정밀의 판단 (Reproduced figure with permission from ⓒ GRADE Working Group)
연속 변수인 경우 95% 신뢰구간이 효과 없음을 포함하고, 이득 혹은 유해에서 상한 혹은

하한이 최소 중요 차이(minimal important difference,MID)를 통과하면 근거의 등급을
낮춘다. MID는 정보를 얻은 환자 혹은 대리인이 효과 혹은 위해에 중요하다고 여기는 결과
점수의 최소 차이 혹은 임상 의사가 관리의 변화를 고려하는 최소 차이를 말한다. MID가
부　록
알려져 있지 않거나 효과의 크기 추정에 다른 결과 변수를 사용했다면 효과 크기의 상한,

혹은 하한이 0.5를 넘는 경우 등급을 낮출 수 있다. 하지만 사건이 매우 드물 때 상대 효과

1. 개요
에 대한 95% 신뢰구간은 매우 넓고 절대 효과에 대한 신뢰구간은 좁게
3. 문헌검색 된다. 따라서 사건의 수가 매우 적고 연구 참여자 수는 매우 많은 경우
5. 자료추출 정밀도에 대한 판단은 절대적 효과에 따라서 한다. 이런 경우 비정밀을
7. 자료분석과 결과제시 이유로 등급을 낮추지 않을 수 있다.
9. 보고서 작성
• 변수의 종류에 따라서 본문의 방법대로 • GRADE에 준해서 판단한다.
시행한다. •단순화 시킬 경우 반드시 통계 자문을 받아야 한다.
• 설명: WHO의 경우 대상자수 100-200명이거나 RR의 신뢰구간이 1을 통과하면서 0.5 혹은 1.5를

통과하면 1등급을 낮추고 대상자수가 100명 이하이면서 RR의 신뢰구간이 1을 통과하면서
0.5 혹은 1.5를 통과하면 두 등급을 낮춘다.
6) 출판 비뚤림
출판 비뚤림은 연구의 선택적 출판 때문에 이득 혹은 유해에 대해 과소
혹은 과대평가하는 것이다. 출판 비뚤림 때문에 고려하여야 하는 불확실
성의 정도를 판단하여 근거의 질 등급을 한두 등급 낮출 수 있다. 하지만
출판 비뚤림을 판단할 수 있는 도구로 이용되는 funnel plot의 경우 출판
비뚤림 이외에 연구의 질, 이질성, 우연 등의 다른 이유로 비대칭성이
관찰될 수 있으며, 관찰의 주관성, 연구 수가 적은 경우 사용이 어려운 점
등의 적용의 어려움이 있다.
• Funnel plot으로 판정하며 정도에 따라 • 평가하지 않는다.
한 등급 혹은 두 등급 낮춘다.
• 출판물의 수가 적고 모든 경우 중재 이득
이 있는 경우 의심
• 설명: 메타분석에서 funnel plot을 제시하지 않는 경우가 많고, 제시하고 있더라도 평가하기 어려
운 경우 많다. ARHQ에서도 보조적인 수단으로만 판단하며, 출판 비뚤림은 일관성, 정밀도,
효과의 크기에 이미 반영된 것으로 판단한다.
한국보건의료연구원의 연구에서 출판 비뚤림은 평가하지 않는다. 출판

비뚤림은 일관성, 정밀도, 효과의 크기, 비뚤림 위험, 직접성 등에 모두
영향을 미치기 때문에 이미 평가했다고 보기 때문이다. GRADE profiler
에서는 평가하지 않고 그대로 두면 된다.
다음 3가지는 upgrade에 대한 항목이다.
7) 효과의 크기
질 높은 관찰연구에서 치료효과의 크기 추정치가 매우 크고 연구 간에 일관성이 있을 때는
결과에 대해 확신을 할 수 있다. 효과의 크기가 매우 크면 근거의 단계는 높아진다. 대개
아래와 같은 기준을 적용한다.
효과의 크기 효과 측정 근거의 질
크다 RR › 2 or ‹ 0.5 1등급 높임
PART2. 메타분석
매우 크다 RR › 5 or ‹ 0.2 2등급 높임
8) 교란변수의 효과
관찰연구와 무작위배정 비교임상시험에서 교란변수가 효과의 크기를 줄이거나 효과가
없게 나왔을 때 효과를 높이는 방향으로 작용할 수 있다. 예를 들어, 더 위중한 환자가 중재
를 받으면 실제적 치료 효과는 자료에서 나타난 것보다 더 클 것이다. 타당도에 중대한 위협
이 없는 연구만 등급을 높여야 한다.

9) 양-반응관계
양-반응 관련성이 있다면 관찰연구의 결과의 확신 정도를 높여주기 때문에 근거의 등급을
높인다. 타당도에 대한 위협(어떠한 이유로 등급을 낮추는 것)이 없는 연구의 경우에만 등급
을 높인다.
이상에 대한 내용을 요약하면 다음과 같다.
항목 GRADE 한국보건의료연구원
효과의 크기 • 위의 기준 • GRADE에 준해서 판단한다.
• 타당도에 위협이 없는(어떠한 이유든 등급을 낮추는 요인이
없는) 관찰연구만 평가
교란변수 • 모든 교란 변수가 효과의 크기를 줄 • GRADE에 준해서 판단한다.

이는 쪽으로 반영할 때 • 무작위배정 비교임상시험과 타당도에 위협이 없는 관찰연
• 관찰연구와 무작위 대조 연구 구만 평가
양-반응관계 • 양-반응 관계 • GRADE에 준해서 판단한다.

• 관찰연구만(추정) • 타당도에 위협이 없는(어떠한 이유든 등급을 낮추는 요인이
없는) 관찰연구만 평가
부　록

1. 개요
10) 근거수준의 등급
3. 문헌검색
4. 문헌선택 및 분류 GRADE는 근거수준의 등급을 높음(high), 중등도(moderate), 낮음(low),
5. 자료추출
매우 낮음(very low)로 한다. 하지만 very low의 경우 실제적인 정의는
7. 자료분석과 결과제시 insufficient에 가깝고 국내에서 관습적으로 사용되는 용어와도 일치하기
9. 보고서 작성 때문에 very low의 정의를 그대로 따르되 이를 불충분(insufficient)으로
바꾼다. 표기의 편의를 위해서 등급은 각각 높음(I), 중등도(II), 낮음(III),
불충분(IV)로 한다. 근거수준의 등급과 정의는 아래와 같다.
등　급 정　의
높음(high, Ⅰ) 추후 연구로 효과의 추정치에 대한 확신정도가 바뀔 가능성은 매우 낮다.
중등도(moderate, Ⅱ) 추후 연구로 효과추정치의 확신 정도에 중요한 영향을미칠 것이며 추정치

가 바뀔 수도 있다.
낮음(low, Ⅲ) 추후 연구는 효과 추정치의 확신 정도에 중요한 영향을 미칠 가능성이 매
우 크며 추정치가 바뀔 가능성이 높다.
불충분(insufficient, Ⅳ) 효과에 대한 어떠한 추정도 매우 불확실하다.
8.2.4 전체적 근거의 수준

체계적 문헌고찰의 경우 결과를 통틀어 전체 결과에 대해 등급을 매기지 않
는다. 왜냐하면 체계적 문헌고찰의 경우 권고를 하지 않기 때문에 개별 결과
를 분리해서 근거의 수준을 등급화 한다. 이상의 과정을 정리하면 그림 8-9
와 같다.
근거 수준 등급화
최선의 근거의
연구형태는 무엇인가?
전후연구,
무작위 연구 관찰 연구 비교연구, 전문가의견
  
'높다(근거 수준 등급)' '낮다(근거 수준 등급)' '매우 낮다
로 가정 로 가정 (근거 수준 등급)' 로 가정
  
아니요 예 예
'높다(근거 수준 등급)' 근거 수준을 낮출 근거 수준을 낮출 '매우 낮다 또는 불충분하다' 근거 수준을 낮출


요소가 있는가? 요소가 있는가? (근거수준등급) 요소가 있는가?
예  아니요  아니요

아니요
예
제한점의 수와 양에 따라 타당도 위협이 없는 추가적인 장점의 수와 타당도 위협이 없는

근거 수준을 낮춘다 관찰연구인가? 양에 따라 근거 수준을 높인다 관찰연구인가?
아니요
  아니요  예
'중등도 또는 낮다 또는 근거 수준을 높일 '중등도 또는 높다' 추가적인 장점의 수와

매우낮다' (근거수준 등급)

'낮다(근거 수준 등급)'
요소가 있는가? (근거수준등급) 양에 따라 근거 수준을 높인다
 
추가적인 장점의 수와 '낮다 또는 중등도
양에 따라 근거 수준을 높인다 또는 높다' (근거수준 등급)
경우에 따라 불충분하다

(insufficient) 적용 가능함
'높다 또는 중등도
또는 낮다' (근거수준 등급)
그림 8-9. 근거수준 평가 흐름도

8.2.5. GRADEprofiler 적용방법
GRADEprofiler는 웹사이트(http://ims.cochrane.org/RevMan/gradepro)에서 무료로
다운로드 받을 수 있다. 본 매뉴얼에서 제시한 GRADE 매뉴얼은 일부 수정되었기 때문에
GRADEprofiler 적용 시 약간의 수정이 필요하다. 따라서 그림 8-10에서 제시하고 있는 것과
같이 평가하면 된다.
비비교연구는 최종 판단 근거등급에서
PART2. 메타분석
한단계 낮춤
타당도 위험이 없는 관찰연구

에서만 평가
(단, 교란변수는 RCT에서도 평가)
평가하지않음
그림 8-10. GRADEprofiler 평가방법 요약
8.3. 결론의 도출

8.3.1. 결론 도출의 방법
체계적 문헌고찰에서 결론의 도출은 매우 중요하다. 독자들은 전체 문헌 중 결론과 고찰을 주로
읽어보며 대부분의 독자는 결론 부분을 먼저 읽어본다. 그러므로 결과를 잘 해석하고 올바른
권고문을 이끌어 내는 것은 독자에 대한 의무이다.
체계적 문헌고찰의 결론은 1) 근거의 강도, 2)　체계적 문헌고찰의 비뚤림과 제한점, 3) 결과의
일반화 가능성, 4) 이득과 유해 그리고 비용(가능하면) 사이의 저울질 등에 대한 평가를 통해
도출된다. 체계적 문헌고찰의 비뚤림과 제한점은 검색 방법, 문헌의 질평가, 자료 선택과
추출, 적절한 분석, 출판비뚤림 등의 기준으로 평가할 수 있다. 또한 체계적 문헌고찰의 결과가
어떤 의미를 지니는가에 대한 검토도 이루어지는데 이는 주로 임상 진료에 대한 의미(impli
cations for practice)와 연구에 대한 의미(implication for research)로 나누어 평가된다.
최종적인 결론은 근거수준, 효과와 이득의 저울질, 가치와 선호도, 비용 등의 정보를 종합하여
내리게 된다.
부　록

1. 개요
2. 연구기획과 프로토콜 작성 8.3.2. 결론에 대한 제시
3. 문헌검색
4. 문헌선택 및 분류 체계적 문헌고찰을 통해 도출된 결론을 적절한 어휘로 전달하는 것은 매우
5. 자료추출
중요하다. 도출된 결론에 따른 추천되는 우리말 표현은 표 8-2와 같다.
표 8-2. 체계적 문헌고찰 결론에 따른 추천되는 우리말 표현
9. 보고서 작성
체계적 문헌고찰 결론 추천되는 우리말 표현 코멘트
Review found no evidence at all 해당 중재에 대한 임상 연구가 없다. “근거가 없다”라는 표현은 오해를 일으
킬 수 있음
Review found evidence that clearly • 해당 중재는 사망 위험을 줄였다 첫 번째 표현이 추천되며 효과의 정도
supports intervention • 해당 중재가 효과적이라는 근거가 (중등도 등)를 가능하면 표현하도록 한
있다 다.
• 해당 중재는 근거가 있다.
Review found clear evidence of • 해당 중재는 사망 위험을 줄이지 못 첫 번째 표현이 추천된다.
lack of benefit 하였다.
• 해당 중재가 치료에 효과적이지 않다.
• 해당 중재가 치료에 효과적이라는
근거는 없다.
Review found insufficient evidence • 근거가 부족하다 가장 표현하기 어려우며 효과가 없다는
that supports intervention • 근거가 불충분하다 것과 구별이 되어야함
• 근거가 불확실하다
Review found evidence of • 효과 여부에 대해 판단내리기 힘들다. 근거는 불충분하지 않지만 결과의 일관
important trade-offs between • 일부 환자에서 효과적이다 성 등으로 결론 내리기 힘든 경우이다.
known benefits and known • 근거가 불확실하다.
adverse effects
건강보험심사평가원. 한림대학교 산학협력단. 임상연구 문헌의 질평가 도구 개발 연구.

2009.3.
Balshem H, Helfand M, Schunemann HJ, Oxman AD, Kunz R, Brozek J, Vist GE et al.
GRADE guidelines: 3. Rating the quality of evidence. J Clin Epidemiol. 2011 Apr;64(4):
401-6.
Barbui C, Dua T, van Ommeren M, Yasamy MT, Fleischmann A, Clark N et al., Challen
ges in developing evidence-based recommendations using the GRADE approach: the
case of mental, neurological, and substance use disorders. PLoS Med. 2010 Aug 31;7(8).
Falck-Ytter Y, Schunemann H. Rating the evidence using GRADE to develop clinical
practice guidelines. AHRQ Annual Meeting 2009. available at: http://www.ahrq.gov/
about/annualconf09/falck-ytter_schunemann.htm
GRADEpro. Help. available at: http://www.gradeworkinggroup.org/
GRADEprofiler (GRADEpro) and GRADE/GRADEpro Workshop. http://gradepro.org/
Guyatt G, Oxman AD, Akl EA, Kunz R, Vist G, Brozek J et al. GRADE guidelines:
1. Introduction-GRADE evidence profiles and summary of findings tables. J Clin Epidemiol. 2011
Apr;64(4):383-94.
Guyatt GH, Oxman AD, Kunz R, Atkins D, Brozek J, Vist G et al. GRADE guidelines: 2. Framing the
question and deciding on important outcomes. J Clin Epidemiol. 2011 Apr;64(4):395-400.
Guyatt GH, Oxman AD, Kunz R, Vist GE, Falck-Ytter Y, Schunemann HJ; GRADE Working Group. What
is “quality of evidence” and why is it important to clinicians? BMJ. 2008 May 3;336(7651):995-8.
Guyatt GH, Oxman AD, Schunemann HJ, Tugwell P, Knottnerus A. GRADE guidelines: A new series of
articles in the Journal of Clinical Epidemiology. J Clin Epidemiol. 2011 Apr;64(4):380-2.
Guyatt GH, Oxman AD, Vist G, Kunz R, Brozek J, Alonso-Coello P et al. GRADE guidelines: 4. Rating the
quality of evidence-study limitations (risk of bias). J Clin Epidemiol. 2011 Apr;64(4):407-15.
PART2. 메타분석
Owens DK, Lohr KN, Atkins D, Treadwell JR, Reston JT, Bass EB, et al. AHRQ series paper 5: grading the
strength of a body of evidence when comparing medical interventions--agency for healthcare research and
quality and the effective health-care program. J Clin Epidemiol. 2010 May;63(5):513-23.
Schunemann HJ, Oxman AD, Vist GE, Higgins JPT, Deeks JJ, Glasziou P, Guyatt GH. Chapter 12:
Interpreting results and drawing conclusions. In: Higgins JPT, Green S (editors), Cochrane Handbook for
Systematic Reviews of Interventions Version 5.1.0 (updated March 2011). The Cochrane Collaboration, 2011.
Available from www.cochrane-handbook.org.
The 2010 Joint Colloquium of The Cochrane and Campbell Collaborations. The Grading of Recommendations
Assessment, Development and Evaluation (GRADE) Working Group. 2010.10.16-24 workshop 자료.

unpublished.
Excellence (NICE). Chapter 5. Reviewing the Scientific evidence. UK. April 2009.
Excellence (NICE). Chapter Developing recommendations. UK. April 2009.
부　록

1. 개요
3. 문헌검색
5. 자료추출
9. 보고서 작성
9. 보고서 작성

요약
• 체계적 문헌고찰에 대한 보고서를 작성할 때는 PRISMA(Preferred Reporting Items for
Systematic reviews and Meta-Analyses)의 보고 지침(Reporting guideline) 체크리스트
항목을 참고하여 보고서를 작성하도록 한다.
• 지면 제한 상 보고서나 논문 본문에 모든 내용을 기록할 수 없다면 부록을 이용하여 보고하도
록 한다.
• 보고서는 각 기관 형식에 맞춰 작성하되 RevMan이라는 소프트웨어를 활용하여 작성할 수도
있다.
PART2. 메타분석
체계적 문헌고찰에 대한 보고서를 작성할 때는 PRISMA(Preferred Reporting Items
for Systematic reviews and Meta-Analyses)의 보고지침 체크리스트 항목을 참고하여
질 좋은 보고서를 작성할 수 있도록 한다.(체계적 문헌고찰 및 메타분석 연구의 보고지침으로
알려져 있는 QUOROM(The QUality Of Reporting of Meta-analyses)이 2009년
PRISMA로 대체되었다. 한국보건의료연구원은 2011년 PRISMA 보고지침 사용을 승인
(endorsement)한 바 있다.

9.1. 보고지침(Reporting guidance)
PRISMA는 총 27가지 항목으로 구성되어 있으며 반드시 이 순서대로 모든 항목을 보고해야
하는 것은 아니나 보고서의 완결성 측면에서 항목 순서대로 보고하는 것을 권장한다. 또한,
PRISMA는 무작위배정 비교임상시험만포함한 체계적 문헌고찰(메타분석 포함) 위주로
체크리스트가 제작되었기 때문에 비무작위 연구를 포함하는 체계적 문헌고찰(메타분석 포함)에
적용할 때는 검색방법, 자료추출, 비뚤림 위험 평가 등이 모두 다를 수 있으나 명확성과 투명성
의 원칙에 입각하여 작성하도록 한다. 체크리스트의 이해를 돕기 위해 PRISMA 그룹에서 제시
하고 있는 각 항목에 대한 부연설명을 추가하였다(표 9-1). PRISMA 영문판과 국문판 전문은
부록을 참조한다.
부　록

1. 개요 표 9-1. PRISMA 각 항목에 대한 부연설명
3. 문헌검색 # 항목 체크리스트의 이해를 돕기 위한 부연설명
5. 자료추출 1 제목 체계적 문헌고찰 또는 메타분석(또는 양쪽 모두) 임을 알 수 있다.
독자가 쉽게 연구의 핵심정보를 알 수 있는 제목이 좋으며 PICO 형식에 맞춰
8. 근거수준 평가와 결론의 도출 서 작성하는 것이 좋다. 고찰(Review) 또는 개관(Overview) 등의 용어는 사용
9. 보고서 작성 하지 말고, “체계적 문헌고찰” 혹은 “메타분석” 등과 같은 명확한 용어를 사용
해야 색인뿐만 아니라 검색에도 용이하다.
2 구조화된 요약 요약(초록)에는 본문의 연구 결과를 잘 반영하여 구조화된 요약을 작성하는

것이 좋으며, 단어 수 제한에 주의하도록 한다. 다음의 사항을 기술한다.
• 연구배경 (생략 가능)

• 목적: PICOS 요소 사용 (population(P), interventions (I), comparators (C),
main outcome (O), study designs (S))
• 자료원: 언어, 출판형태, DB 검색 기간
• 선정기준
• 연구의 평가 및 합성 방법 (자료추출 포함): 자료 추출, 통합 혹은 요약치
• 결과(자료 합성): 주요결과, n수(포함 연구수, 환자수)
• 제한점: 포함된 연구와 고찰 과정에서의 주요 제한점 (생략 가능)
• 결론과 주요결과 적용: 명확하고 균형적으로 서술
• 연구비 출처
• 체계적 문헌고찰 등록번호
3 필요성 현재까지 알려진 것에 비추어 연구의 필요성에 대해 기술한다.
다음 사항을 기술한다.
• 연구 질문의 중요성
• 현재 알려진 사실과 제한점
• 연구에서 추가하고자 하는 점
• 이미 알려진 사실에서 무엇이 추가가 되는지, 혹은 현재까지 근거의 제한점이
어떻게 극복되는지에 대해 명시
• 새로운 연구인지 기존 연구의 갱신인지 : 갱신인 경우는 갱신 이유를 명시
4 연구목적 PICOS(연구대상, 중재, 비교중재, (중재)결과, 연구설계) 형식으로 핵심질문을
명확하게 기술한다.
5 프로토콜과 등록 프로토콜이 있다면 이를 명시하고, 이에 대한 접근 방법(예. 웹 주소)과 등록
번호와 같은 등록정보를 제시한다.
연구 수행 중 프로토콜을 변경할 수 있으나 프로토콜의 변경, 특히 1차 결과

지표의 변경이 연구 결과에 미치는 영향을 고려해야한다. 프로토콜을 변경한
경우에는 변경된 사항을 기술하고 그 필요성을 설명해야 한다.
6 선정기준 선정기준으로 명시된 연구 특성(예. PICOS, 추적관찰기간)과 보고 특성(예. 연도 제한, 언어,
출판 상태)을 기술하고 그 이유를 제시한다.
선정기준은 체계적 문헌고찰의 연구결과를 평가(appraisal)할 때 중요한 정보를 제공하는

부분이다. 동일한 연구를 여러 번 출판할 수도 있고, 한 출판물에 여러 연구가 포함 될 수도
있으므로 연구 특성과 출판 특성이 모두 보고되어야 한다. 연구 특성에는 PICOS 등을 기술할
수 있고, 출판 특성에는 출판 언어, 출판상태(초록집, 출판되지 않은 연구 등), 출판년도
등을 기술할 수 있다.
7 정보원 검색에 사용한 모든 정보원(예. 데이터베이스와 해당 데이터베이스의 자료제공 연도, 저자 접
촉)과 최종 검색일을 명시한다.
PART2. 메타분석
• 데이터베이스, 플랫폼, 제공자(예. Ovid, Dialog, PubMed)

• 검색전략 수립자, 검색 수행자가 누구인지
• 연구를 검색하기 위해 사용한 추가적인 접근방법(예, 수기검색, 참고문헌 목록, 연구 등록
처, 회사, 저자, 규제기관 홈페이지 등)
8 검색 적어도 하나의 데이터베이스에 대하여 검색제한을 포함한 검색전략 전체를 제시하여 검색을
재현할 수 있게 한다.
검색전략을 전문가에 의해 검토 받았는지 기록한다. 지면에 제약이 있으면, 웹이나 보고서

에 별도의 부록으로 검색 전략을 수록하도록 한다. 검색에 제한이 있었으면(예. 언어, 검색일,
DB 접근권 등) 이 역시 보고해야 한다.

9 문헌선택 문헌선택 과정, 예를 들어, 체계적 문헌고찰의 경우 선별, 선정, 포함과정, 그리고 적용 가능한
경우 메타분석의 포함과정에 대해 명시한다.
표준 방법은 없으나, 추출된 문헌을 어떻게 선별했는지 (보통 제목과 요약으로 선별

함), 얼마만큼 전문을 검토할 필요가 있었는지, 어떤 형태의 문헌이 배제되었는지 기술
한다. 이러한 절차를 PRISMA 흐름도에 맞게 요약한다. 또한 각 단계에서 몇 명이 문헌선택
과정을 수행했는지, 누가 했는지, 독립적으로 선택했는지, 불일치는 어떻게 해결했는지 기술
한다.
10 자료수집 과정 자료추출 방법(예. 시범 평가 후 확정된 추출양식, 독립적 중복 수행)과 연구자로부터 자료를
구득하고 확인하는 과정에 대해 기술한다.
웹이나 보고서에 별도의 부록 수록하는 것을 고려한다.

• 누가 자료 추출했는지
• 중복하여 추출했는지, 했으면 독립적으로 수행했는지
• 불일치 발생 시 해결방법
• 논문 저자와 접촉하였는지 여부
• 정보의 정확도를 확인했는지 여부
• 이중개제 확인방법, 확인 시 어떤 조치를 취했는지
부　록

1. 개요
11 자료추출 항목 자료추출 대상의 목록과 정의를 제시하고(예. PICOS, 연구비 출처) 가정한
3. 문헌검색 내용과 단순화한 내용을 제시한다.
5. 자료추출
• 추출가능한 변수위주로 자료 추출을 하면 비뚤림 위험이 발생하므로 프로
6. 비뚤림 위험 평가 토콜에서 계획한 것에 준해서 추출하여야 한다.
• 연구가 시작된 이후에 어떤 변수가 추가되었다면 그 사실을 이유와 함께 보고
9. 보고서 작성 한다.
• 결측치 혹은 불명확한 정보에 대해 어떠한 가정을 하였다면 이를 보고 한다.

12 개별 연구의 개별 연구의 비뚤림 위험을 평가한 방법(각 연구 단위 또는 결과변수 단위로
비뚤림 위험 수행되었는지 여부 포함)이 무엇인지, 평가결과를 자료합성에 어떻게 반영하였
는지 기술한다.
‘문헌의 질’이라는 용어보다는 ‘비뚤림 위험’이라는 용어를 쓰는 것을 추천한

다. 또한 척도로 이루어진 도구보다는 체크리스트 형식의 도구를 추천한다.
만일 비뚤림 위험 평가를 하지 않으면 반드시 그 이유를 기술해야 한다.
다음을 기술해야 한다.
• 눈가림 방식으로 수행하였는지

• 2인 이상에 의해 수행하였는지
• 독립적으로 수행하였는지
• 자료합성 시 비뚤림 위험 평가를 어떻게 반영하였는지
13 요약측정치 주요 요약 측정치(예. 위험비, 평균 차이)를 명시한다.
요약 추정치를 선택하는 것이 사전에 가능하다면 이를 기술한다(사전에

어떤 요약 추정치를 선택하는 것이 가장 적절한지 결정하는 것은 쉽지 않다).
14 자료합성 자료가공 방법 및 결과합성 방법을 제시하고 메타분석을 수행하였다면 개별
분석에서의 일관성 측정 방법(예. I2)을 기술한다.
메타 분석을 위해 자료를 변환하는 경우가 있으며 메타분석이 시행되지 않더

라도 이런 과정이 필요할 수 있다. 이러한 과정을 상세히 기술한다.
메타분석을 시행하였다면 효과 측정치(예. RR, 평균 차이), 통계 방법(예.
inverse variance), 고정 혹은 변량 효과 모형 등에 대하여 기술하고, 가능하면
왜 그런 방법을 사용하였는지 기술한다. 이질성 또는 비일관성 등 연구간 변
이의 측정을 어떻게 계획했는지를 기술한다.
15 전체적 근거의 누적에 영향을 미칠 수 있는 비뚤림 위험 평가 방법을 명시한다(예. 출
비뚤림 위험 판 비뚤림, 개별 연구의 선택적 보고).
현재까지 이용가능 한 연구들에 비뚤림 위험이 있는지 평가하기 위해 어떤

방법을 사용하였는지 상세히 기술한다. 대표적으로 출판 비뚤림(필요한 연구
의 누락)과 선택적 보고 비뚤림(선택한 연구내에서 필요한 자료의 누락)이
있다.
16 추가분석 추가 분석 방법(예. 민감도 분석, 하위그룹 분석, 메타 회귀분석)을 기술하고, 추가분석이
사전에 계획되었다면 사전에 계획된 방법이 무엇인지 서술한다.
민감도분석, 하위그룹분석, 메타회귀 분석 등 추가 분석은 다양한 목적으로 시행할 수

있다. 하지만 이들 분석은 연구의 목적에 부합해야 하며 이러한 분석으로 잘못된 결론에
도달해서는 안 된다. 만일 시행하였다면 이러한 분석을 수행하였는지, 필요성은 무엇인지,
사전에 계획했는지 기술한다.
17 연구선택 선별, 선정 및 최종 포함의 각 단계에서 평가된 연구 수와 배제된 연구 수 및 이유를 흐름도와
함께 제시한다.
본문과 흐름도에 각 단계에의 연구수를 명확하게 기술한다. 또한 하나의 연구에서 보고된

중복된 문헌이 있는지 기술해야한다. 저자는 보고하는 ‘연구 수’에서 ‘연구’에 대한 용어가
PART2. 메타분석
인용(citation), 기록(record), 문헌(publication), 연구(study) 중 어디에 해당하는지 결정하고
일관성있게 사용해야한다.
18 연구특성 개별연구마다 추출된 자료의 특성(예: 연구의 규모, PICOS, 추적관찰기간)과 서지정보를
제시한다.
서지정보는 출판여부와 관계없이 기술한다.

독자로 하여금 포함된 개별 연구가 타당한지 스스로 평가할 수 있도록 상세하게 정리
해야 한다. 결측값이 존재하는 경우 자의적으로 가정하지 말고 원저자에게 연락하여
정보를 얻도록 하고, 정보를 얻지 못했다면 그러한 사항을 보고서에 기술한다. 분량에 제한이
있다면 부록 또는 해당 웹 사이트에라도 기재한다.
19 개별 연구의 개별 연구의 비뚤림 위험에 대한 평가 결과를 제시하고, 개별 (중재)결과 수준의 평가가 있다
비뚤림 위험 면 기술한다(12번 항목 참조)

요약자료만 보고하는 것은 부적절하다.(예. “8개 중 2개의 연구만이 배정순서 은폐가 적절했
다.”) 가능하면 개별 비뚤림 위험 평가 결과를 표나 그림으로 작성하여 보고한다.
20 개별 연구의 결과 개별 연구에서 고려한 모든 (중재)결과(편익 또는 위해)에 대해 다음을 제시한다: 개별 중재군
의 단순 요약자료, 효과 추정치 및 신뢰 구간, 그리고 가능하면 forest plot 이용
개별 연구 자료를 제시함으로 개별 연구의 특성은 무엇이고 분석이 오류없이 진행되었다는

사실을 알려준다. 독자들이 하위그룹분석 등을 할 수 있도록 개별연구의 모든 결과 정보를
사전에 프로토콜에서 정한대로 자세히 기술한다. 정보가 부족해서 기술할 수 없을 경우에도
그에 대해 명확히 기술한다.
개별 연구 결과 중 이득과 위해를 모두 제시해야 균형잡힌 결론을 도출하는데 도움을 줄 수
있다. 너무 많은 결과가 있다면 가장 중요한 결과만 기술하고 다른 정보는 부록에 기술한다.
21 결과합성 메타분석이 시행되었다면 메타분석 각각에 대한 결과를 신뢰구간 및 일관성 측정치와 함께

제시한다.
각각의 결과를 forest plot으로 제시하는 것이 좋으며 이질성 평가(예. I2)를 한다.
메타분석을 수행하지 않은 경우 가능한 한 정성적 합성(또는 정성적 추론)을 수행하고 메타
분석을 시행하지 않은 이유를 서술한다.
부　록

1. 개요
22 전체적 전체적 비뚤림 위험 평가 결과를 제시한다(15번 항목 참조).
3. 문헌검색 비뚤림 위험
연구간 전체적인 비뚤림 위험의 평가 결과를 제시하는데 만약 funnel
5. 자료추출 plot을 제시한다면 효과 측정치와 정밀도 값을 x축과 y축에 각각 제시한다.
6. 비뚤림 위험 평가 사전에 결정한 전체적 비뚤림 위험의 분석을 시행하지 않았다면 그 이유도
7. 자료분석과 결과제시 기술한다.
9. 보고서 작성 23 추가분석 추가 분석(예. 민감도 분석, 하위그룹 분석, 메타 회귀분석)을 시행한 경우, 그
결과를 제시한다.
하위그룹 분석을 할 경우 상호작용(interaction) 검정을 수행하며, 효과측정

치나 신뢰구간을 기술한다. 메타 회귀분석을 시행할 경우 p값 뿐만 아니라
효과 크기와 신뢰구간을 같이 제시한다. 탐색적으로 수행한 하위그룹분석이
나 민감도 분석에서 나온 결과를 주의해서 해석해야한다. 선택적 보고 비뚤
림을 피하기 위해 추가적으로 분석한 결과는 통계적으로 유의하지 않더라도
모두 기술해야한다.
24 근거요약 개별 주요 (중재)결과에 대한 근거의 강도 등의 주된 결과를 요약하고, 이러한
내용이 핵심 집단(보건의료 제공자, 사용자, 정책 결정자)과 어떠한 관련성이
있는지 고려한다.
근거를 간결하고 균형 잡힌 관점으로 요약한다.(예. GRADE 접근법으로 전체

적인 근거를 요약하고 근거수준을 평가하여 권고의 강도를 기술할 수 있다.
다음 사항에 대한 연구자 관점을 서술한다.
• 다른 의료현장에서의 적용 가능성
• 다른 의료현장에서의 근거를 변형하고 효과 추정치를 수정하는 것을 고려
• 이득과 받아들일 수 있는 수준의 위해정도
• 사회와 조직에 미치는 영향, 그리고 재원 활용
25 제한점 개별 연구 수준과 (중재)결과 수준 (예. 비뚤림 위험), 그리고 현 체계적 문헌고
찰 수준(예. 선정된 문헌 확보의 불완전성, 보고 비뚤림)에서의 제한점을 고찰
한다.
제한점은 타당도(비뚤림 위험), 선택된 연구들의 보고, 연구진행상 제한점, 연

구 결과의 일반화 측면에서 모두 다룬다. 검색의 한계(예. 언어를 영어로 제한
함), 연구 선정, 평가, 메타분석 과정에서의 제한점도 기술한다. 연구에서 사
용한 제한된 자료로 인한 일반화의 한계도 기술한다.
26 결론 다른 근거에 비추어 본 결과에 대한 해석과 향후 연구에 대해 제시한다.
지나치게 낙관적이어서도 안 되고 위해를 누락시켜도 안 된다.

체계적 문헌고찰을 통해 밝혀진 사실과 기존에 알려진 다른 근거를 같이
기술하여 독자가 보다 잘 해석할 수 있도록 한다.
무조건 추가 연구가 필요하다고 서술하는 것은 권장하지 않는다.
27 연구비출처 현 체계적 문헌고찰의 연구비 출처와 기타 지원(예. 자료 제공)에 대해 기술하

고 체계적 문헌고찰에서의 연구비 지원자의 역할을 설명한다.
! Tips
• 비뚤림 위험 평가 도구(Risk of bias assessment tool) vs. 보고지침(Reporting Guideline)

- 비뚤림 위험 평가도구와 보고지침은 서로 다르므로 혼동하지 않도록 한다. 비뚤림 위험 평가 도구는
일반적으로 문헌의 질 평가라고 불리는 단계에 사용하는 도구이며 보고지침은 연구를 보고할 때
준수하는 것을 권장하는 항목이다.
- EQUATOR(Enhancing the QUAlitiy and Transparency Of health Research) 네트워크는 각종 연구
의 보고지침을 모아 놓고 있다.
(http://www.equator-network.org/resource-centre/library-of-health-research-reporting/reporting-guidelines/)
PART2. 메타분석
표 9-1-1. 연구설계별 비뚤림 위험 평가도구와 보고지침
연구설계 비뚤림 위험 평가도구 보고지침

무작위배정 비교임상시험 Cochrane's Risk of Bias CONSORT, 2010
비무작위 연구 RoBANS, 2010 STROBE, 2007
체계적 문헌고찰, 메타분석 AMSTAR, 2007 PRISMA, 2009
• PRISMA-Statement에서 강조되고있는 점
체계적 문헌고찰을 수행하는 체계적 문헌고찰 보고서를 읽을 때

연구자가 주의할 점 주의할 점

• 항상 사전에 프로토콜을 통해 연구방법 등을 확정 • 프로토콜대로 수행했는지, 논리의 비약은 없는지
할것 확인하며 읽을 것
• 변경된 사실이 있다면 변경된 내용 및 그 이유를
서술할 것
• 논문에 다루지 못한 내용(추가 table, 검색전략 등) :
부록이나 web page를 통해서라도 보고할 것
부　록

9.2. 보고서 작성 형식과 RevMan
1. 개요
3. 문헌검색
5. 자료추출
보고서 작성은 각 기관에서 정하고 있는 보고서 형식 또는 논문 형식에 맞춰
작성하면 되나 코크란 연합(Cochrane collaboration)에서 제공하고 있
8. 근거수준 평가와 결론의 도출 는 RevMan(Review Manager) 소프트웨어를 사용하여 작성할 수도 있다.
9. 보고서 작성
RevMan의 경우 작성결과가 cochrane review에 보고되는 형식과 동일하므
로 코크란 연합에 투고하고자 할 경우 RevMan을 활용해 보고서를 작성해야
한다. 또한 작성된 RevMan 파일은 워드파일로도 저장이 가능하므로 이를
활용할 수도 있다. 단 RevMan을 사용할 경우 연구 시작 시점부터 체계적 문
헌고찰의 전반적인 과정마다 RevMan을 활용하여 보고서를 작성하는 것이
좋다.
하지만 RevMan은 메타분석에서 사용 가능한 옵션이 제한되어 있으므로

사전에 통계분석 소프트웨어 사용을 고려해야한다 (예. 메타 회귀분석은
Stata에서는 제공하지만 RevMan에서는 제공하지 않음). 또한 RevMan은
전문을 영어로 작성해야하므로 risk of bias와 메타분석 부분만을 사용하기
도 한다.
그림 9-1. RevMan에서 보고서 작성하기

PART2. 메타분석
그림 9-2. RevMan에서 작성한 보고서를 워드 파일로 전환
EQUATOR network. Enhansing the QUAlity and Transparency Of health Research available at: http://
www.equator-network.org/
Liberati A, Altman DG, Tetzlaff J, Mulrow C, Gøtzsche PC, Ioannidis JP et al., The PRISMA statement
for reporting systematic reviews and meta-analyses of studies that evaluate health care interventions:
explanation and elaboration. Ann Intern Med. 2009 Aug 18;151(4):W65-94.
Liberati A, Altman DG, Tetzlaff J, Mulrow C, Gøtzsche PC, Ioannidis JP et al., The PRISMA statement
for reporting systematic reviews and meta-analyses of studies that evaluate healthcare interventions:
explanation and elaboration. BMJ. 2009 Jul 21;339:b2700.
PRISMA statement available at: http://www.prisma-statement.org/
부　록

PART2.
메타분석
1. 메타분석의 개요 및 자료종류 · · · · · · · · · · · · · · · · · · · · · · · 129
1.1. 메타분석의 개요 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 129
1.1.1. 메타분석을 시행하는 이유 · · · · · · · · · · · · · · · · · · · · · 129
1.1.2. 메타분석을 시행하면 안되는 경우 · · · · · · · · · · · · · · · 130
1.1.3. 메타분석 수행 전 고려사항 · · · · · · · · · · · · · · · · · · · · 130
1.2. 자료종류 및 요약 통계량 · · · · · · · · · · · · · · · · · · · · · · · · · · · · 131
1.2.1. 이분형 자료(Dichotomous data) 및 요약 통계량 · · · 131　

1.2.2. 연속형 자료(Continuous data) 및 요약 통계량 · · · · 132　
1.2.3. 생존형 자료(Time-to-event data) · · · · · · · · · · · · · · 133　
1.2.4. 순서형 자료(Ordinal data) · · · · · · · · · · · · · · · · · · · · · 134　

1.2.5. 계수형 자료(Count data) · · · · · · · · · · · · · · · · · · · · · · 134　
2. 메타분석 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 137
2.1. 요약통계량 결합을 위한 메타분석의 통계적 모형 · · · · · · · 137
2.1.1. 고정효과 모형(Fixed-effects model) · · · · · · · · · · · · 137
2.1.2. 변량효과 모형 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 141

(Random-effects mode, DerSimonian-Laird estimation method)
2.2. 자료형태에 따른 메타분석 · · · · · · · · · · · · · · · · · · · · · · · · · · · 144

2.2.1. 이분형 자료의 메타분석 · · · · · · · · · · · · · · · · · · · · · · · 144　
2.2.2. 연속형 자료의 메타분석 · · · · · · · · · · · · · · · · · · · · · · · 145　
2.2.3. 순서형 자료의 메타분석 · · · · · · · · · · · · · · · · · · · · · · · 148　
2.2.4. 계수형 자료(Counts), 율(Rates)의 메타분석 · · · · · · 149　
2.2.5. 생존형 자료(Time-to-event data)의 메타분석 · · · · 149
2.2.6. 개별환자 자료를 이용한 메타분석 · · · · · · · · · · · · · · · 152

(Individual patient data meta-analysis)
2.3. 기타 심화 주제 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 152
2.3.1. 간접비교 및 혼합비교법 · · · · · · · · · · · · · · · · · · · · · · · 152

3. 이질성(Heterogeneity) · · · · · · · · · · · · · · · · · · · · · · · · · · · ·· · · · 159
3.1. 이질성의 확인 및 평가 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 159
3.1.1. 그래프를 이용한 시각적 조사 · · · · · · · · · · · · · · · · · · · · ·· 159
3.1.2. 통계적 검정방법 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 164
3.2. 이질성이 있는 경우의 메타분석 · · · · · · · · · · · · · · · · · · · · · · · · · ·166

3.2.1. 변량효과 모형의 사용 · · · · · · · · · · · · · · · · · · · · · · · · · · · ·166　
3.2.2. 하위그룹 분석(Subgroup analysis) · · · · · · · · · · · · · · · · ·167　
3.2.3. 메타 회귀분석(Meta-regression) · · · · · · · · · · · · · · · · · ·168　
4. 보고 비뚤림(Reporting bias) · · · · · · · · · · · · · · · · · · · · · · · · · ·173

4.1. 그래프를 이용한 방법 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·173
4.1.1. Funnel plot · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·· · · · · · · · 173
4.1.2. Contour-enhanced funnel plot · · · · · · · · · · · · · · · · · · · ·175　
4.2. 통계적 검정방법 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 178

4.2.1. Begg과 Mazumdar의 순위상관 검정
(Begg and Mazumdar's rank correlation test) · · · · · 178　
4.2.2. Egger의 검정(Egger’s test) · · · · · · · · · · · · · · · · · · · · · · · 179　

4.3. 누적 메타분석(Cumulative meta-analysis) · · · · · · · · · · · · · · · ·181
4.4. 소규모 연구 영향이 있는 경우 보정 방법들 · · · · · · · · · · · · · · · · ·182
4.4.1. 절삭과 채움 방법(Trim-and-fill method) · · · · · · · · · · · · 182
4.4.2. 기타 보정 방법들 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 184
5. 민감도 분석(Sensitivity analysis) · · · · · · · · · · · · · · · · · · · · ·185
부록 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 195
부록 1. 이분형 자료의 요약 통계량 계산식 · · · · · · · · · · · · · · · · ·195
부록 2. 연속형 자료의 요약 통계량 계산식 · · · · · · · · · · · · · · · · ·197
부록 3. 메타분석을 위한 소프트웨어 특성 비교 · · · · · · · · · · · · ·198
부록 4. RevMan에서 분석 가능한 메타분석 요약 통계량 ‥‥ 199　
1. 메타분석의 개요 및 자료종류
2. 메타분석
3. 이질성(Heterogeneity)
4. 보고 비뚤림(Reporting bias)
5. 민감도 분석 (Sensitivity analysis)
부록

1.1. 메타분석의 개요
메타분석은 체계적 문헌고찰 수행 과정에서 2개 이상의 개별 연구들의 요약 추정치를 합성함
으로써 해당 중재법의 통합된 가중평균 요약 추정치를 정량적으로 산출하여 임상적 효과성을
평가하기 위해 사용하는 통계적 기법이다. 메타분석은 메타분석이 가능하다고 판단되는 경우에
수행하는 것이지 체계적 문헌고찰에서 필수적으로 수행하는 것으로 생각해서는 안 되며, 연구
대상군, 중재법, (중재)결과가 충분히 동질한 경우에 수행하는 것이 바람직하다.
PART2. 메타분석
1.1.1. 메타분석을 수행하는 이유
메타분석을 적절히 수행한 경우 메타분석 결과는 의미 있는 결론을 도출해 낼 수 있는 도구로서
유용하게 활용될 수 있다. 메타분석을 수행하는 이유는 다음과 같다.
• 검정력을 증가시키기 위해: 개별 연구들은 표본크기가 매우 작기 때문에 작은 효과크기가

있는 경우 이를 발견해내기 어렵지만 여러 연구가 통합되면 효과를 발견해낼 기회가 더 높아
지므로 메타분석을 수행한다.
• 정밀성을 향상시키기 위해: 중재법에 대한 효과추정치는 보다 많은 정보가 있을 때 정밀도가

향상될 수 있으므로 메타분석을 수행한다.
• 개별 연구들이 조사하지 않은 질문에 답하기 위해: 서로 다른 특성을 가진 개별 연구들을

포함하여 메타분석을 수행한 경우 개별 연구 사이에서의 중재 효과의 일관성을 조사
해볼 수 있으며, 조사된 효과추정치에 차이가 있는 경우 이에 대한 이유를 설명할 수 있게 하
므로 메타분석을 수행한다.
• 상반된 연구들 사이에서 발생하는 논쟁을 조정하거나 새로운 가설을 만들기 위해: 결과에
대한 통계적 분석은 상반된 정도를 정식으로 평가할 수 있으며 개별 연구에서의 서로 다른
결과에 대한 이유가 조사되고 정량화될 수 있으므로 메타분석을 수행한다.
부　록

2. 메타분석 1.1.2. 메타분석을 수행하면 안 되는 경우
4. 보고 비뚤림(Reporting bias) 메타분석을 부적절하게 수행할 경우 왜곡된 결론을 도출할 수 있으므로
부록 주의해야 한다. 메타분석을 수행하면 안 되는 경우는 다음과 같다.
• 체계적 문헌고찰에 포함된 연구들의 연구특성(예. 대상군, 중재법 등)이

서로 다른 경우 : 메타분석은 무의미할 수 있으며 효과에 대한 진실된
차이를 모호하게 할 수 있다. 이 경우 통계적 기법을 사용하여 메타분석을
수행한다 하더라도 개별 연구 특성의 차이는 극복될 수 없기 때문에 실제
로 메타분석을 수행할 것인지에 대한 결정에는 주관적인 판단이 요구되며,
이 때 최소한의 객관성과 정당성을 확보하기 위해서는 방법론 전문가와
임상 전문가와의 논의가 필요하다.
• 포함되는 개별연구들에 비뚤림 위험이 있는 경우: 개별 연구들이 연구수

행에 있어서 비뚤림 위험(예. 무작위배정 비교임상시험연구에서의 잘못된
무작위배정 방법)이 있다면 보고하고 있는 결과 또한 신뢰할 수 없으며,
이 경우 메타분석은 단순히 오류를 합성하게 된다.
• 심각한 보고 비뚤림(reporting bias)이 있는 경우: 메타분석은 이미 보고된

연구 결과를 합성하기 때문에 특정한 특성을 가지거나 특정한 방향의 연구
결과만이 보고된다면 메타분석은 효과에 대해 부적절한 요약추정치를
만들어 내게 된다.
1.1.3. 메타분석 수행 전 고려사항

메타분석을 수행하기 전에 어떤 비교를 할 것인지와 관심 (중재)결과에 대한
적절한 자료유형이 무엇인지를 결정해야 한다. 그 다음 각 비교에 포함된 연
구들의 특성과 결과에 대한 자료추출을 해야 한다. 메타분석을 수행하기 전
고려해야 할 사항을 정리하면 다음과 같다.
• 어떤 비교가 이루어져야하는가?
• 각 비교에 어떤 (중재)결과가 사용되어야 하는가?
• 각 비교에서 효과에 대한 최상의 요약통계량은 무엇인가?
• 각 비교 내의 개별 연구결과들은 유사한가?
• 개별 연구의 요약통계량은 얼마나 신뢰할만한가?
1.2. 자료종류 및 요약 통계량
1.2.1. 이분형 자료(Dichotomous data) 및 요약 통계량

이분형 자료는 임상연구에서 가장 일반적으로 사용되고 측정되는 (중재)결과는 이분형 자료이
다(예. 사망 또는 생존, 임상적인 증상의 향상 여부). 이분형 자료 연구에서 효과크기는 다음 네
가지 중의 한가지로 보고될 수 있다.
• Risk ratio 또는 Relative risk (RR) (상대위험도): 두 군간의 사건이 발생할 확률에 대한 비율
PART2. 메타분석
• Odds ratio (OR) (오즈비): 두 군간의 사건의 오즈에 대한 비율
• Risk difference (RD) (위험차): 중재군에서의 사건이 발생할 위험과 대조군에서의 사건이 발생
할 위험의 차이
• Number needed to treat (NNT): 해당기간에서 특정사건 위해를 피하거나 편익을 발생
시키기 위해 비교 중재법에 비해 시험 중재법을 더 받아야 하는 사람의 기대 수로, 위험자를
효과 측정치로 사용할 경우 NNT로 계산하는 것을 권장
(예. 3년간 9명이 celecoxib를 투약 받을 때, 위약군과 비교하여 한사람에서 선종 발생을
예방하는 효과가 있다 → NNT = 9.493(95% CI: 6-26))

표 1-1. 임상연구에서 실험군과 대조군의 연구 결과(이분형 자료)
일어난 사건의 수 일어나지 않은 사건의 수

전체 수
(성공) (실패)
중재군(Experimental, E) SE FE NE
대조군(Control, C) SC FC NC
중재군에서의 사건 발생 위험 SE / NE
RR = =
대조군에서의 사건 발생 위험 SC / NC
중재군에서의 사건발생에 대한 오즈 SE / FE SE / FC
OR = = =
대조군에서의 사건발생에 대한 오즈 SC / FC FE /SC
SE SC
RD = 중재군에서의 사건발생 위험 - 대조군에서의 사건발생 위험 =
NE NC
1 1
NNT = =
두 구간의 위험도 차이의 절대값 |RD|
부　록

2. 메타분석
! 위험(risk)과 오즈(odds)
● 위험(risk): (중재)결과가 발생할 확률, 0과 1사이
부록
● 오즈(odds): 특정사건이 발생할 경우와 발생하지 않을 경우의 비
예. 10명 환자 중 5명이 사망하고, 5명이 생존할 때, 환자가 사망할 위험은
5 = 0.5 이고, 사망할 오즈는 5 = 1 이다.
10 5
이분형 자료의 요약 통계량 계산식은 메타분석 세부 부록 1을 참조한다.
1.2.2. 연속형 자료(Continuous data) 및 요약 통계량

(중재)결과가 연속적인 수치로 보고되거나 순서형 자료로 범주의 개수가 많
은 경우에 해당된다. 이 경우 연속형 자료가 대략적으로 대칭적인 분포를 이
루고 있다는 것을 가정하기 때문에 추출된 의료결과 자료의 분포가 치우쳐져
있는 경우 로그변환이 필요하다. 일반적으로 다음 두 종류의 요약 통계량을
사용한다.
표 1-2. 임상연구에서 실험군과 대조군의 연구 결과(연속형 자료)
초기값 (Baseline) 최종값 (Final) 변화량 (Change)

중재군(Experimental, E)
ME,baseline , SDE,baseline ME,final , SDE,final ME,change , SDE,change
(중재군의 표본크기: NE)
대조군(Control, C)
MC,baseline , SDC,baseline MC,final , SDC,final MC,change , SDC,change
(대조군의 표본크기: NC)
(M: 평균, SD: 표준편차)
● Mean difference(MD) (평균차): 동일한 측정도구로 측정되었을 때 두 군간의 평균

값의 차이
MDfinal = ME,final - MC,final (중재군과 대조군 각 군의 최종값 평균 차이)
MDchange = ME,change - MC,change (중재군과 대조군 간 군의 전후값 평균 차이)
2 2
SDE SDC
SE(WMD) = +
NE NC
(SE(standard error): 표준오차, WMD(weighted mean difference): 가중 평균차)
● Standardized mean difference(SMD) (표준화된 평균차): 동일한 (중재)결과를 다

양한 측정도구로 측정하였을 때, 단일 단위(scale)로 연구결과를 표준화하기 위한
요약통계량으로써 평균차를 연구 대상자들에서 관찰된 표준편차로 나눈 값이다.
각 군간의 해당 (중재) 결과의 평균값 차이
SMD =
전체 참여자의 해당 (중재) 결과의 표준편차
NE +NC SMD2
SE(SMD) = ( NN E C
+ (
2(NE +NC)
메타분석 세부 부록 2에 수록한 수식변환 공식(예. 신뢰구간으로부터 표준오차 구하기)을 활용하면 유용하다.
!! Tips
● RevMan에서 제공하는 자료 변환 계산기를 활용하면 자료 입력이 한결 수월하다.
PART2. 메타분석
그림 1-2-1. RevMan에서 제공하고 있는 자료 변환 계산기

● ‘Data and analyses’에서 계산기( )를 클릭하면 이용 가능하다.(RevMan 5.1 version 부터 사용 가능)
1.2.3. 생존형 자료(Time-to-event data)

사건이 발생하기 전의 시간경과에 초점을 둔 자료로 각 참여자는 관찰기간 동안 관심 사건이 관찰되
지 않았거나(‘censored’ 자료 또는 중도 절단된 자료) 관찰하고자 했던 사건이 완전하게 관찰될 수 있
었던 경우(‘uncensored’ 자료)로 분류된다. 특정한 시점에서 연구대상자가 얼마나 많이 사건을 경험
했는지를 기술할 때는 상대위험도와 비슷한 방식으로 해석된다.
• H
azard Ratio(HR) (위험도비): 위험도비는 대조군에서 사건이 발생할 위험과 중재군에서 사건이
발생할 위험(hazard) 또는 확률(chance)에 대한 비이다. 치료법을 비교하는 연구에서 time-to-
event 분석이나 생존분석을 기술하는 통계량으로 치료효과를 표현하기 위해 사용된다. 위험도는
사건이 발생할 비율로, 생존분석에서의 위험도비는 사건이 발생할 때까지의 생존한 시간에 대한
분석이다. 위험도는 시간에 따라 다양할 수 있지만 생존분석에서 비례위험도 모형을 사용할 경우
의 가정은 중재군에서의 위험도는 대조군에서의 위험도와 일정한 비율이라는 점이다. 이 비율이
위험도비이다. (예. HR 1.29(95% CI: 1.15~1.44)인 경우 중재군이 대조군(reference인 경우)에
비해 위험도가 29% 높다고 해석할 수 있다.)
부　록

2. 메타분석
3. 이질성(Heterogeneity) ! HR vs. RR
5. 민감도 분석 (Sensitivity analysis) 상대위험도(RR)는 대조군에 비해 중재군에서 사건이 발생할 비율(proportion)의 비로, 대조군
부록 에 비해 중재군에서 얼마나 많은 사건이 발생했는지에 대한 측정치이다. 반면에 위험도비(HR)
는 여기에 시간이 추가된 개념으로 특정한 시간을 고려하여 얼마나 많은 사건이 발생했는지에
대한 측정치이다. 따라서 아래와 같이 정리할 수 있다.
● HR: 시간 개념이 들어간 상대위험비
● RR: 일정 기간에 발생한 상대위험비
● 추적관찰 기간이 거의 같다면 RR은 HR로 대체할 수 있다. 예를 들어 HR를 구한 추적 관찰
기간이 1년이고 RR을 구한 추적관찰 기간 역시 1년이라면 둘은 동일하게 간주할 수 있으
므로 서로 바꾸어서(interchangeable) 메타분석에 포함될 수 있다.
! HR vs. OR
● 위험도비(HR)는 시간의 개념이 포함된, 사건 발생 경험(예. 생존여부)에 대한 결과로 콕스

회귀모형(Cox regression)으로부터 얻어지며, 오즈비(OR)는 로지스틱 회귀 모형
(logistic regression)으로부터 얻어지는 통계량으로 시간의 개념이 포함되지 않는다.
1.2.4. 순서형 자료(Ordinal data)

결과변수가 순서를 가진 범주로 구분될 때 (예. 질병의 중증도를 ‘경한’, ‘중
등의’, ‘심한’으로 구분)이다. 행태, 우울정도, 인지능력과 같이 정량화하기
에 어려운 질환을 측정하기 위해 자주 사용된다. 순서 범주가 많을 때(예.
Hamilton depression scale, Mini-Mental State Examination)는 연속형
자료처럼 분석할 수 있고, 그렇지 않은 경우 이분형 자료로 바꾸어(예. none,
mild vs moderate, severe) 분석할 수 있다.
1.2.5. 계수형 자료(Count data)

어떤 사건의 경험 여부보다(즉, 이분형 자료로 처리하기보다는) 이들 사건을
몇 번 경험했는지를 분석하며 다음과 같은 2가지 경우로 구분할 수 있다.
(i) 희귀사건의 경우
• 희
귀 사건에 대한 분석은 비율로 처리하며, 통계량에서 ‘Poisson data’
을 의미한다.
• 일
반적으로 사용되는 요약 통계량은 두 집단에서 사건의 비율을 비교
한 상대위험도이다.
(ii) 희귀사건이 아닌 경우
• 빈
번히 발생하는 사건에 대한 계수형 자료는 연속형 자료로 처리될 수 있으며, 평균차로
표현한다.
! Tips
● 이분형 자료에서 상대위험도는 임상적 해석이 용이하기 때문에 오즈비보다 선호되며, 사건발생률이
낮거나 사건 발생빈도가 희귀할 경우에는 위험차보다는 상대위험도와 오즈비와 같은 상대적 측정치
(relative measure)를 사용해야 한다.
PART2. 메타분석
● 상대위험도와 오즈비 같은 상대적 측정치는 대조군의 병합된 사건발생률을 이용하여 위험차와 NNT로
변환될 수 있다.

부　록

2. 메타분석
부록
2. 메타분석

메타분석은 다음의 원리로 수행된다.
• 개
별연구의 요약추정치(summary estimate)를 계산하며, 각각의 연구에 가중치를 준다.
가중치는 보다 많은 정보를 제공하는 개별 연구에 더 많은 가중치를 부여한다. 일반적으로
가중치로 표본크기를 사용하며, 사건 발생률, 분산의 역수, 연구의 질 등이 사용되기도 한다.
• 가중치가 부여된 평균(weighted average)을 계산하여 통합 요약통계량을 산출한다.
통합된 치료효과 추정치(pooled treatment effect estimate)
∑of (estimate x weight) ∑YiWi
PART2. 메타분석
= =
∑of weight ∑Wi
(Yi : i번째 연구의 중재효과, Wi : i번 째 연구의 가중치)
2.1. 요약통계량 결합을 위한 메타분석의 통계적 모형

요약통계량을 결합하기 위한 메타분석의 통계적 모형에는 고정효과 모형(fixed-effects
model)과 변량효과 모형(random-effects model) 두 종류가 일반적으로 사용된다.

2.1.1. 고정효과 모형(Fixed-effects model)
고정효과 모형은 각 연구들에 있어 중재효과의 참값은 단 하나만 존재(common true treat
ment effect)한다는 전제 하에 관찰된 치료효과 값들의 차이는 표본추출의 오차
(sampling error) 때문이라는 가정에서 출발하는 모형이다.
T1 = μ + ε1
(T1 : 관찰된 효과크기, μ : 중재효과의 참값, ε1 : 표본추출 오차)
다음과 같은 경우에 고정효과 모형을 고려할 수 있다.
• 메타분석에 통합된 연구들의 인구집단, 중재법 등이 동질하다고 판단되는 경우

• 메타분석의 목적이 하나의 진실된 효과크기를 추정하기 위한 경우: 메타분석을 통해 추정된
인구집단의 효과는 다른 동일 인구집단에 일반화시킬 수 있다. (예. 동일한 약제의 동일용량,
동일 투여경로, 엄격히 제한된 환자 대상으로 수행된 위약과 비교된 신약에 대한 5개의 연구
들)
• 메 타분석에 통합된 연구들의 수가 매우 적은 경우: 연구간 변동 (between-study
부　록
variance(τ2))을 추정할 수 없기 때문에 이 경우는 고정효과 모형만이 사용가능하다.

2. 메타분석
부록
그림 2-1. 고정효과모형에서의 표본추출 오차. Reproduced figures (좌) © 2007 Borenstein, Hedges,
Rothstein; (우) © 2009 Borenstein, Hedges, Higgins, Rothstein and John Wiley & Sons, Ltd
고정효과 모형에서의 가중치는 연구 내 변이(within studies variance)

만이 포함되며 어떤 추정방법을 사용하느냐에 따라 연구 내 변이를 구하는
방법이 달라진다. 고정효과 모형에서 가중치를 추정할 때 사용하는 방법은
역-분산(generic inverse variance) 추정법, 멘텔-헨젤(Mantel-Haenszel)
추정법, Peto의 추정법이 있으며 각각에 대한 설명은 다음과 같다.
1
고정효과 모형에서의 가중치(weight) =
variance 연구 내
1) 역-분산 추정법(generic inverse variance estimation method)

역-분산 방법은 메타분석의 가장 일반적인 방법으로 효과 추정치 분산의
역수를 개별 연구의 가중치로 사용한다. 따라서 작은 표준오차를 가지는
큰 규모의 연구는 더 많은 가중치를 받는다. 역-분산 방법은 결합하고자
하는 연구들의 수는 적지만 각 연구들이 표본수가 큰 연구들인 경우에
효과적인 방법이다. 역-분산 방법을 이용한 가중평균은 다음과 같이
계산된다.
∑Yi (1/SEi2)
역-분산 방법에 의한 가중평균 =
∑(1/SEi2)
(Yi : i번째 연구의 중재효과, SEi : i번째 연구의 중재효과의 표준오차)
역-분산 추정법에서의 오즈비와 상대위험도, 위험차에 대한 분산 계산식은 다음과 같다.
1 1
역-분산 추정법에서의 오즈비에 대한 분산, var(lnOR)= + + 1+ 1
SE FE Sc Fc
1 1
역-분산 추정법에서의 상대위험도에 대한 분산, var(lnRR)= - + 1- 1
SE NE Sc Nc
PART2. 메타분석
SEFE ScFc
역-분산 추정법에서의 위험차에 대한 분산, var(lnRD)= +
3
(SE+FE ) (Sc+Fc )3
(SE, FE, Sc, Fc, NE, Nc, 에 대한 설명: 표 1-1 참조)
2) 멘텔-헨젤 추정법(Mantel-Haenszel estimation method)

멘텔-헨젤(M-H) 방법은 오즈비, 율비(rate ratio), 상대위험도와 같은 2x2 표를 만들 수
있는 자료에서 사용되며, 사건 발생률이 낮거나 연구의 규모가 작지만 메타분석에

포함되는 연구의 수가 많을 때 효과적인 방법이다.
이는 체계적 문헌고찰 연구 시 부딪히는 일반적인 상황이기 때문에 멘텔-헨젤 추정법은

역-분산 추정법보다 선호되기도 한다. 사건발생률이 높은 경우는 역-분산 방법과
유사한 통합된 치료효과크기를 추정한다. 처리효과들을 결합할 때 역-분산방법처럼
각 연구의 오즈비나 상대위험도에 대해 로그변환을 하지 않고 오즈비값 자체를 사용한다.
멘텔-헨젤 방법은 다음과 같이 사용된 효과 측정치(effect measure)에 따라 분산의 계산식

이 달라진다(Mantel, 1959).
일어난 사건의 수 일어나지 않은 사건의 수

전체 수
('성공') ('실패')
중재군 (Experimental, E) SE FE NE
대조군 (Control, C) Sc Fc Nc
부　록

2. 메타분석 weighti X ORi
M-H에서의 오즈비(ORM-H )=
3. 이질성(Heterogeneity) weighti
5. 민감도 분석 (Sensitivity analysis) SE X FC
i번째 연구에서의 오즈비(ORi)=
부록
FE X SC
weighti= 1
vari
(weighti : i번째 연구에서의 가중치, vari : i번째 연구에서의 분산)
여기서,
NE + NC
i번째 연구에서의 오즈비에 대한 분산 (varORi)=
FE X SC
NE + NC
i번째 연구에서의 상대위험도에 대한 분산 (varRRi)=
(SE + FE) X SC
NE + NC
i번째 연구에서의 위험차에 대한 분산 (varRDi)=
NE X NC
95% 신뢰구간 = eln(ORM-H±1.96 (var ORM-H ) )
F G
M-H에서의 오즈비에 대한 분산 (varORM-H)= + + H
2 X R2 2 X R X S 2 X S2
SE X FC X (SE + FC)
F=
(NE + NC)2
[SE X FC X (FE + SC) ] + [FE X SC X (SE + FC) ]
G=
(NE + NC)2
FE X SC X (FE + SC)
H=
(NE + NC)2
SE FC
+
R=
NE + NC
F XS
S= E C
NE + NC
(SE, FE, Sc, Fc, NE, Nc, 에 대한 설명: 표 1-1 참조)
3) Peto의 추정법 (Peto's estimation method)

Peto의 방법은 오즈비에서만 사용 가능하며 사건 발생률이 1% 미만
이거나 치료효과 크기가 작을 경우(오즈비가 1에 가까움), 개별 연구들이
각각 유사한 수의 중재군과 대조군을 가지고 있을 때 사용한다.
하지만 두 군간의 대상 환자수가 매우 다르거나 효과 크기가 크고, 사건
발생률이 5~10%라면, (모든 셀칸에 0.5를 더하지 않는) 멘텔-헨젤 방법
을 사용하도록 한다. 임상연구들에서는 이러한 기준들은 충족되기 어렵
기 때문에, Peto의 방법은 메타분석의 기본 접근법으로 추천되지는 않는
다.(Yusuf, 1985)
2.1.2. 변량효과 모형
(Random-effects model, DerSimonian-Laird estimation method)
변량효과 모형은 각 연구들에 있어 중재효과의 참값은 단 하나만 존재하는 것이 아니라 각 연구

들에 있어 중재법의 효과는 어떤 중재효과 평균 참값(true average treatment effect)을 중심
으로 정규분포를 따른다고 가정하는 모형이다. 즉, 각 연구들은 중재효과 평균 참값을 중심으로
퍼져있는 모집단 내 연구들로부터 무작위로 추출된 연구들이고, 이 추출된 연구들의 평균값은
평균 참값을 중심으로 정규분포를 따른다는 의미이다.
PART2. 메타분석
따라서 각 연구의 중재효과들 간에 관찰되는 변동(variation)은 표본추출의 오차(sampling
error, within-study variation, random variation 등으로도 표현됨)와 각 연구들 간의 변동
(between-study variation)이 함께 표현된 것이라고 가정한다. 그러나 큰 규모의 연구들과 작
은 규모의 연구들의 결과가 체계적으로 다를 경우 정규성의 가정이 충족되지 못하므로 변량효
과 모형은 적절한 효과추정치를 제공하지 못한다.
연구 간의 이질성이 심할 때 변량효과 모형은 고정효과 모형에 비해 치료효과의 유의성에

대해 좀 더 보수적인 추정치(더 넓은 신뢰구간)를 제공한다. 변량효과 모형은 고정효과

모형에 비해 작은 규모의 연구에 더 높은 가중치를 주고 더 큰 규모의 연구에는 더 낮은
가중치를 주기 때문에 치료효과의 추정치는 두 모형 간에 다를 수 있다. 소규모 연구들의
결과가 출판 비뚤림이나 소규모 연구에서의 연구 내 비뚤림으로 인해 대규모 연구들의 결과와
체계적으로 다를 경우, 변량효과 모형은 이러한 비뚤림을 더욱 악화시킬 수 있다.
따라서 변량효과 모형이 연구간 변동을 고려한다 하더라도 이질성 문제를 해결하기 위한 이상
적인 방법은 아니다. 연구간 변동의 추정치가 0인 경우(연구 간 이질성이 없는 경우) 변량효과
모형은 고정효과 모형과 동일한 추정치를 제공한다.
T1 = θ1 + ε1 = μ + ζ1 + ε1
(T1 : 진실된 중재효과 θ1과 분산 σ2을 가진 분포로부터 표본 추출된 관찰된 효과크기, 여기서 중
재효과의 참값 θ1은 평균 μ와 분산 τ2을 가진 분포로부터 표본추출된 것임)
부　록

2. 메타분석
부록
그림 2-2. 변량효과 모형에서의 연구간 변동과 연구내 변동. Reproduced figures (좌) © 2007 Borenstein,
Hedges, Rothstein; (우) © 2009 Borenstein, Hedges, Higgins, Rothstein and John Wiley &
Sons, Ltd
각 연구들은 동일한 중재효과를 추정하기 보다는 다른 중재효과를 추정하며,

다음과 같은 경우에 변량효과 모형을 고려할 수 있다.
• 메타분석에 포함된 연구의 인구집단, 중재법 등이 동질하지 않다고 판단될 때

• 메타분석의 목적이 일반적으로 폭넓은 인구집단에서 일반화시키는 것일
때 (예. 연구대상이나 중재법의 다양성으로 하나의 치료효과 크기를 가정
하기 어려운 경우)
변량효과 모형에서의 가중치는 연구간 변이(between studies variance)가

포함된다는 것이 고정효과 모형과 다른 점이며 어떤 추정방법을 사용하느냐
에 따라 연구 간 변이를 구하는 방법이 달라진다. 변량효과 모형에서 가중치
를 추정할 때 일반적으로 사용되는 방법은 DerSimonian and Laird 추정법
이다(DerSimonian, 1986).
1
변량효과 모형에서의 가중치(weight) =
variance 연구내 + variance 연구간(τ2)
변량효과 모형은 이질성(heterogeneity)을 해결하지 않는다는 점을 주의해

야 한다. 변량효과 모형은 비뚤림이나 교란변수를 보정해주지 않으며 이질
성을 일으키는 원인을 해결해주는 것도 아니기 때문에 연구간 이질성이 심할
경우 변량효과 모형으로부터 계산된 효과 추정치는 부적절할 수 있다. 그러
므로 변량효과 모형이 이질성을 설명하기 위한 것으로 대체되어 사용되어서
는 안 된다.
1 1
weight = [D+1÷W ] where wi =
i variance i
분산에 대한 가중치를 부여할 때는(wi 부분) 역-분산 추정법과 멘텔-헨젤

추정법 등을 활용하게 된다.
! Tips. 사건 수가 0인 경우에서의 메타분석
• 중재군과 대조군 둘 중의 한 군의 사건수가 0인 연구가 있을 경우

일반적으로 모든 cell에 0.5가 더해진다. 그러나 멘텔-헨젤 방법의 경우, 0.5를 더한 경우와 더하지 않은 경우에
추정치가 다르기 때문에 이 경우 0.5를 더하지 않고 사용한 후 민감도 분석을 이용하여 0.5를 더하는 분석을 추
가하도록 한다.
• 중재군과 대조군 두 군의 사건수가 모두 0인 연구가 있는 경우

두 군에 사건수가 0인 연구는 오즈비와 상대위험도 메타분석에서 제외시키도록 한다(Peto의 추정법,
멘텔-헨젤의 추정법은 가중치를 0으로 줌으로써 메타분석에 포함된 연구를 제외시켜줌). 이때, 메타분석에서
PART2. 메타분석
제외된 연구들에 대한 각 군의 사건 발생률과 신뢰구간을 추가적으로 기술한다.

부　록

2.2. 자료형태에 따른 메타분석
2. 메타분석
5. 민감도 분석 (Sensitivity analysis) 2.2.1. 이분형 자료의 메타분석
부록
이분형 자료를 이용하여 메타분석을 수행할 때는 기본적으로 개별연구들의
중재군과 대조군 각각의 대상 환자 수와 사건이 발생한 환자 수에 대한 자료
추출이 선행되어야 한다.
그림 2-3. 이분형 자료 메타분석(글루코사민과 위약간의 부작용 발생 위험 비교) (한국보건의료연구원, 2010)
메타분석에 활용할 수 있는 소프트웨어로는 RevMan, Stata, Comprehen

sive Meta Analysis 등이 있으며 각 소프트웨어의 장·단점 및 유료, 무료
여부 등에 대한 정보는 메타분석 세부 부록 3에 정리되어 있으므로 이를 참고
한다.
세부 부록 4에서는 RevMan에서 분석 가능한 메타분석 통계량을 확인할 수

있다. 본 매뉴얼에서는 RevMan과 Stata 소프트웨어를 중심으로 메타분석
수행 시 참고할 수 있는 명령문을 정리하였다.
! 이분형 자료를 이용하여 메타분석을 수행하기 위한 RevMan 설정방법 및 Stata 명령문
1. 개별연구의 중재군과 대조군에서 대상환자 수와 사건이 발생한 환자수를 각각

추출할 수 있는 경우
① RevMan 사용 시
이분형 자료(dichotomous outcome type)를 설정한 후 자료를 입력한다.
② Stata 사용 시
다음의 명령문(command)을 사용한다.
generate FE = NE - SE
generate FC = NC - SC
metan SE FE SC FC , { or | rr | rd } { fixed | fixedi | random | randomi | peto} label(namevar= study ID ) favours
(favours Experimental intervention # favours Control intervention )
(변수명(SE, FE, SC, FC)에 대한 설명: 표 1.1 참조)
2. 상대위험도, 오즈비와 95% 신뢰구간을 추출할 수 있는 경우
PART2. 메타분석
역-분산 방법(generic inverse variance method)을 설정한 후 자료를 입력한다.
엑셀에서 개별 요약추정치인 log RR(로그변환된 상대위험도) 또는 log OR (로그변환된 오즈비)값을 계산하고, 95%
신뢰구간에서 표준오차를 재계산하는 공식을 활용하여 표준오차를 계산한다. metan command를 사용하여 logRR
또는 logOR과 표준오차를 입력하여 분석한다. 이 때 사용하는 명령문은 다음과 같다.
metan logRR selogRR { fixed | fixedi | random | peto} label (namevar= study ID )
주) Stata 명령문에서의 기울임체: 개별 연구자가 부여한 변수명(여기에서는 예시임)

2.2.2. 연속형 자료의 메타분석
연속형 자료를 이용하여 메타분석을 수행할 때는 기본적으로 개별연구들의 중재군과 대조군
각각의 대상 환자 수, 평균, 표준편차에 대한 추출이 선행되어야 한다. 추출된 값을 이용하여
가중 평균차(Weighted Mean Difference, WMD)와 표준화된 평균차(Standardized Mean
Difference, SMD)를 계산하며 이를 이용하여 아래의 원리로 메타분석이 수행된다.
가중평균차 이용 시, 아래의 수식을 통해 가중평균차가 계산되어 메타분석에 활용된다.
weighti X meani
WMDsummary = weighti
WMDsummary : 가중편차의 요약치, weighti : i 번째 연구에서의 가중치, meani : i 번째 연구에서의 평균
meani =meanE -meanC (meanE : 중재군에서의 평균, meanC :대조군에서의 평균)
weight wi= 1 =
1 (통합추정치의 표준편차 사용)
variancei SD2
95% 신뢰구간 = meanS±(1.96 X (vars )
1
여기서, vars=
∑weighti
(variancei : i번째 연구에서의 분산, SD : 통합 추정치의 표준편차, meanS : 요약 추정치의 평균, varS : 요약
부　록
추정치 평균의 분산)

표준화된 평균차 이용 시, 아래의 수식을 통해 표준화된 평균차가 계산되어
2. 메타분석
3. 이질성(Heterogeneity) 메타분석에 활용된다.
weighti X SMDi
부록 SMDsummary = weighti
(SMDsummary : 표준화된 평균차의 요약치, weighti : i번째 연구에서의 가중치,
SMDi : i번째 연구에서의 표준화된 평균차)
각 군 사이에서의 (중재)결과에 대한 평균차(Difference in mean outcome between groups)
SMDi =
전체 대상군에서의 (중재)결과에 대한 표준편차(Standard deviation of outcome among paricipants)
1 2 XNi
weighti = variance = (통합추정치의 분산사용)
i 8+SMDi2
1
95% 신뢰구간 = SMDsummary±(1.96 X (vars) 여기서, vars= ∑weight
i
(variancei : i번째 연구에서의 분산, SD : 통합 추정치의 표준편차, vars : 표준화된 평균
차 요약 추정치의 분산)
• 최종값(final value)과 변화량(change value)이 논문마다 통일되지 않고

혼재되어 보고되고 있을 때: 둘 중 한 가지 측정치를 선택하여 메타분석을
수행한다.
• 표준화된 평균차의 경우 최종값으로부터 변화량(평균차와 평균차의 표준
편차를 재계산하여(아래 Imputation tip 방법의 예 참조) 변화량으로
통일시켜 메타분석을 수행할 수 있다. 하지만 가능하면 저자로부터 실제
자료를 얻는 방법을 먼저 시도해 보아야 한다.
그림 2-4. 연속형 자료 메타분석 결과 (글루코사민과 위약간의 통증 감소 비교) (한국보건의료연구원, 2010)

! 연속형 자료를 이용하여 메타분석을 수행하기 위한 RevMan 설정방법 및 Stata 명령문
1. 개별연구의 중재군과 대조군에서 대상환자 수와 사건이 발생한 환자수를 각각 추출할 수 있는 경우

연속형 자료(continuous outcome type)를 설정한 후 자료를 입력한다.
다음의 명령문을 사용한다.
metan NE ME,final SDE,final NC MC,final SDC,final, {fixed | random} label(namevar= study ID ) favours (favours
Experimental intervention # favours Control intervention )
PART2. 메타분석
(변수명(NE ME,final SDE,final NC MC,final SDC,final에 대한 설명 표 1-2 참조)
2. 개별연구의 평균차, 표준편차를 추출할 수 있는 경우 (표준편차는 변환식을 이용하여 표준오차를 계산한다.)

역-분산 방법(generic inverse variance method)을 설정한 후 평균차와 표준편차를 입력한다.
metan command를 사용하여 자료추출된 평균차와 표준편차에서 재계산된 표준오차를 이용하는 명령문은 다음과
같다.
metan _ES se(_ES) {fixed | random} label(namevar= study ID ) favours (favours Experimental intervention #
favours Control intervention )

(_ES : 효과크기(effect size)의 평균차,se(_ES): 평균차의 표준오차)
주) Stata 명령문에서의 기울임체: 개별 연구자가 부여한 변수명(여기에서는 예시임)
! Note!
개별 연구에서 보고하고 있는 (중재)결과 변수의 방향이 일치하는지 확인한다. 다를 경우 표준편차는 그대로 놔두
고, 평균에만 -1을 곱하여 효과크기의 방향성을 일치시킨다.
! 효과 크기(effect size)의 해석
효과 크기 SMD는 Glass's ∆, Cohen's d, Hedge's g 로 추정될 수 있으며, Hedge's g가 인구집단에서의 SMD를

추정하므로 일반적으로 Glass's ∆와 Cohen's d 보다 Hedge's g를 사용하도록 한다. (AHRQ, 2010)
! Tips. Imputation 방법의 예
① 기존에 출판된 논문에서 상관계수를 계산한다.
초기값(Baseline) 최종값(Final) 변화량(Change)

중재군(Experimental, E) meanE,baseline=10.5 meanE,final=14.3 meanE,change=3.8
(sample size: 125) SDE,baseline=5.2 SDE,final=4.3 SDE,change=2.9
대조군(Control, C) meanC,baseline=11.2 meanC,final=12.5 meanC,change=1.3
부　록
(sample size: 112 ) SDC,baseline=6.1 SDC,final=4.9 SDC,change=3.9

2. 메타분석 SD2E,basline + SD2E,final - SD2E,change 5.22 + 4.32 - 2.92
3. 이질성(Heterogeneity) CorrE =
2 XSDE,basline X SDE,final
▶ CorrE =
2X5.2 X4.3
= 0.83
5. 민감도 분석 (Sensitivity analysis) SD2C,basline + SD2C,final - SD2C,change 6.12 + 4.92 - 3.92
부록 CorrC =
2XSDC,basline XSDC,final
▶ CorrC =
2X6.1 X4.9
= 0.77
0.83+0.77
상관계수 (Corr) =
2
= 0.80
② ①에서 구한 상관계수를 이용하여 변화량의 표준편차를 계산한다.
초기값(Baseline) 최종값(Final) 변화량(Change)

중재군(Experimental, E) meanE,baseline=8.7 meanE,final=12.3
meanE,change=3.7
(sample size: 42) SDE,baseline=5.1 SDE,final=4.3
대조군(Control, C) meanC,baseline=7.9 meanC,final=9.1
meanC,change=1.2
(sample size: 54 ) SDC,baseline=2.5 SDC,final=1.9
SDE,change = SD2E,basline+SD2E,final -(2 X Corr X SDE,basline X SDE,final )
▶ SDE,change = 5.12+4.32-(2 X 0.8 X 5.1 X 4.3) = 3.07
▶ SDE,change = 2.52+1.92-(2 X 0.8 X 2.5 X 1.9) = 0.6
2.2.3. 순서형 자료의 메타분석

순서형 자료는 일반적으로 이분형 자료나 연속형 자료로 간주하여 메타분석
한다. 순서형 자료는 1) 순서형 척도의 범주 수가 적고, 2) 각각의 범주별로
발생이 관찰되며, 3) 모든 연구에서 동일한 순서척도가 사용된 경우 비례오즈
모형(proportional odds model)을 이용하여 메타분석할 수 있다.
비례오즈 모형은 중재효과의 측정치로 비례 오즈비를 이용한다. 예를 들어

세 범주의 순서형 자료(1=최상의 향상, 2= 중간정도의 향상, 3= 거의 향상
되지 않음)를 이분형 자료(1-2=성공, 3=실패)로 분류하며, 이때 자료의 두
범주는 동일한 오즈비를 가짐을 가정한다. 그러므로 비례오즈 모형으로부터
계산된 오즈비는 순서에 관계없이 대조군과 비교된 중재군의 성공에 대한
오즈로 해석될 수 있다. 역-분산 방법을 이용하여 로그변환된 오즈비(log
OR)와 95% 신뢰구간에서 재계산된 표준오차를 이용하여 메타분석 할 수
있다.
2.2.4. 계수형 자료(Counts), 율(Rates)의 메타분석
계수형 자료나 율 자료를 메타분석에 사용하기 위해서는 계수형 자료나 율 자료 즉, 사건이 발
생할 위험은 연구대상자에서 시간에 걸쳐 일정하다는 가정이 필요하다. 관찰된 시간에 걸쳐 각
각의 참여자에서 사건이 발생하며, 이는 율 자료(rate data)가 된다. 이 경우 임상에서 흔하지
않은 가정으로 적절한 접근법이 아닐 수 있다.
EE/TE EE/Tc
율비(rate ratio) =
Ec/Tc Ec/TE
1 1
PART2. 메타분석
SE(rate ratio) = +
EE EC
TE: 중재군의 추적조사기간의 participant-years
TC: 대조군의 추적조사기간의 participant-years
EE: 중재군의 TE participant-years 추적기간 동안에 발생된 사건수
EC: 대조군의 TC participant-years 추적기간 동안에 발생된 사건수
SE(rate ratio): 율비의 표준오차
사건의 율비(rate ratio)를 로그 변환시켜 역-분산 방법을 이용하여 메타분석 할 수 있다.

2.2.5. 생존형 자료(Time-to-event data)의 메타분석
생존형 자료를 이용하여 메타분석을 수행하기 위해서는 기본적으로 관찰된 사건수와 기대되
는 사건수에 대한 추출이 선행되어야 한다. 추출된 값을 이용하여 콕스 비례위험 모형(Cox
proportional hazard model)에서 위험도비(HR)를 추정하며 로그변환된 ln HR과 95% 신뢰구
간에서 재계산된 표준오차를 이용하여 역-분산 방법으로 메타분석할 수 있다.
● 해석: 일반적으로 위험도비(HR)로 계산된 메타분석 결과는 대조군과 비교된 중재군의 사건

발생의 비교위험도로 해석된다.
BOX 2.1. 생존형 자료에서의 메타분석을 위한 계산식

(Tierney, 2007), Reproduced formulas, BioMed Central(Original publisher)
생존형 자료를 이용하여 메타분석을 수행하고자 하는 경우, 아래의 수식을 활용하여 요약 통계량을
계산할 수 있다.
1. 중재군과 대조군의 HR이나 관측값(O)과 기대값(E)이 보고된 경우

Observed events research / logrank Expected events research
HR =
Observed events control / log rank Expected events control
부　록
1
V=
(1/Expected events research ) + (1/Expected events control )

2. 메타분석 2. 중재군에서 O-E 값과 logrank V가 보고된 경우
(제한점: 연구에서 전체 사건발생 건수가 적을 경우 1의 결과와 다를 수 있음)
HR = exp 관측된 사건수 (O ) - 기대되는사건수 (E )
부록
분산 (V )
V= O-E
In (HR )
3. HR과 신뢰구간이 보고된 경우 (V* = ln(HR)의 분산)

2 95% 신뢰구간일 경우 z점수=1.96
V* = In(신뢰구간의 상한치) - In(신뢰구간의 하한치)
99% 신뢰구간일 경우 z점수=2.58
2 X 신뢰구간 상한치에 대한 z점수
90% 신뢰구간일 경우 z점수=1.64
4. HR과 중재군과 대조군의 사건수를 보고한 경우(1:1 무작위배정)

중재군에서 관찰된 사건수 X 대조군에서 관찰된 사건 수
V=
관찰된 총 사건 수
O-E = In (HR )X V
5. HR과 총 사건수를 보고한 경우 (1:1 무작위배정)

V=
4
O-E = In(HR ) X V
6. HR, 총 사건수, 중재군과 대조군의 무작위배정된 환자 수가 보고된 경우

(1:1 무작위배정이 아닌 경우)
두 군에 무작위 배정된 이후에 배제된 환자가 있어 as treated 분석이 이루어진 연구라면, HR
과 분산은 배정된 환자수가 아닌 분석된 환자수에 근거하여 계산되어야 한다.
총 관찰된 사건 수 X 중재군 수 X 대조군 수

V=
(중재군 수 + 대조군 수)2
한편, 한 연구에서 ITT분석과 as treated 분석이 모두 제시되었다면, 배정된 환자 수에 근거(ITT

분석) 하여 분석하도록 한다.
7. 양측검정의 두자리 이상의 정확한 p값, 중재군과 대조군에서 사건수를 보고한 경우

(1:1 무작위배정)
중재군에서 관찰된 사건 수 X 대조군에서 관찰된 사건 수
O-E = X (p 값에 대한 z 점수÷2)
　　　　　　　관찰된 총 사건 수
중재군에서 관찰된 사건 수 X 대조군에서 관찰된 사건 수

V=
　　　　　관찰된 총 사건 수
HR = exp 관측된 사건수 (O ) - 기대되는사건수 (E )

분산 (V )
8. 양측검정의 두 자리 이상의 정확한 p값과 총 사건수를 보고한 경우(1:1 무작위배정)
V=
4
1
O-E = X 관찰된 총 사건 수 X (p 값에 대한 z 점수 ÷ 2)
2
V= O-E
식을 활용하여 In(HR)계산
In (HR )
9. 양측검정의 두 자리 이상의 정확한 p값, 총 사건 수, 중재군과 대조군의 환자수를

보고한 경우(1:1 무작위배정이 아닌 경우)
PART2. 메타분석
O-E = X (p 값에 대한 z 점수 ÷ 2)
　　　 (중재군 수 + 대조군 수)

V=
(중재군 수 + 대조군 수)2
V= O-E
식을 활용하여 In(HR)계산
In (HR )
(O: 관측값, E: 기대값, V: 분산, ln(HR): 로그변환된 위험도비(HR))
생존형 자료의 결과들을 보고할 때, 위의 1-9와는 다르게 Kaplan-Meier 생존곡선으로만 제시하는 경우도 있다.

이 때 각 시간 간격으로부터 HR, lnHR, O-E, V를 유추할 수도 있으나 구체적인 방법은 본 매뉴얼에서는 제시하지 않는
다. 보다 상세한 사항은 참고문헌을(Tierney, 2007)을 참조하도록 한다.
! Note!
● ‘O–E’ 와 ‘V’ 통계량이 확보되었다면, RevMan에서 ‘O–E and Variance’ outcome type을 선택하여
직접 RevMan에 입력하여 분석할 수 있으며, 이 때는 고정효과 모형을 이용한 메타분석만이 가능하다.
● 콕스 비례위험 회귀모형의 결과로 logHR와 표준오차의 추정치를 확보하였다면, 연구결과들은 역분
산 추정방법을 이용하여 병합될 수 있으며, 고정효과와 변량효과 모형을 이용한 메타분석 두가지가
모두 가능하다.
● log-rank 추정치는 다음의 공식을 이용하여 logHR과 표준오차로 전환될 수 있다. Log hazard
ratio(대조군에 대한 중재군의 상대적 logHR= O - E , standard error= 1
V V
O: 중재군에서의 관찰된 사건 수
E: 중재군에서의 기대된 사건수
O-E: log rank statistics
V: log rank statistics의 분산으로 O-E와 V는 각각의 연구에서 추출함
● 아래 링크에서 HR, 95% 신뢰구간, lnHR, V, O-E를 추정하는 spreadsheet를 활용할 수 있다. (http://www.
biomedcentral.com/content/supplementary/1745 -6215-8-16-S1.xls)
부　록

2. 메타분석 2.2.6. 개별환자 자료를 이용한 메타분석(Individual patient
data meta-analysis)
부록 개별환자 자료를 이용한 (individual patient data, IPD) 메타분석은 개별연구에
서의 원자료(raw data)로 수행되는 메타분석으로 개별연구 책임자로부터 원자료
를 받아 수행하게 된다.
개별 연구의 원자료가 이용 가능한 경우, 일관된 방식으로 자료를 검토하고 개

별연구에서 보고되지 않았던 요약추정치를 이용한 분석이나 이질성을 조사하기
위한 세부적인 하위그룹 분석을 수행할 수 있게 된다. 또한 개별 환자 수준 자료
에서의 연구 수준의 요약 통계량을 이용한 메타 회귀분석을 가능하게 함으로써
aggregation bias를 피할 수 있다.
그러나 이 접근법은 연구를 수행하기에 많은 비용과 노력이 필요하다. 특히 개별

연구에서 중요한 공변량이 수집되지 않았다면, 이질성을 조사하는 과정은 IPD
메타분석일지라도 한계가 있을 수 있다.
2.3. 기타 심화 주제
2.3.1. 간접비교 및 혼합비교법
1) 개요
간접비교법과 혼합비교법을 구분하는 기준은 아직까지 명확히 정립 되지는
않았으나 International Society For Pharmacoeconomics and Outcomes
Research(ISPOR)에서는 근거가 2개 이상의 중재법을 연결하는 2개 이상
의 무작위배정 비교임상시험이 있는 경우 network meta analysis라는 용어
를, network가 closed loop로 구성된 경우 혼합 비교법(mixed treatment
comparison)이라는 용어를, open loop network을 분석한 경우 간접비교
(indirect comparison)라는 용어를 사용하도록 제안하고 있다.
D D D
B B B B B
A A A A A
C C C C C
E E G E G
F F
Anchored ITC
Mixed Treatment Comparison
(for 'adjusted' ITC)
Network meta-analysis
그림 2-5. Network meta analysis, indirect treatment comparison, mixed treatment comparison 의
개념도(Jansen, 2010) Copyright ⓒ 2011 by Value in Health. Reprinted by Permission of the
International Society for Pharmacoeconomics and Outcomes Research(ISPOR)
● 왼쪽 세 개 그림의 경우 closed loop이 형성되지 않는 상황이다(open loop) : A-B, A-C but not C-A (B와 C
를 연결하는 연구(B와 C를 비교하는)가 없는 상황)
● 오른쪽 두 개 그림의 경우 closed loop이 형성되어 있는 상황이다(closed loop): A-B, B-C, C-A
(A와 B와 C가 연결되는 연구가 있는 상황)
본 매뉴얼에서는 간접비교법은 빈도주의적 접근법(frequentist approach)으로 메타분석을
수행하는 것으로 간주하며 혼합비교법은 베이지안 접근법(Bayesain approach)으로 메타
분석을 수행하는 방법으로 간주하여 설명한다.
2) 간접비교법(Adjusted indirect comparison: Bucher의 방법)

이분형 자료를 보고하고 있는 두 군(중재군과 대조군) 무작위배정 비교임상시험의 메타분
석에서, 두 가지 중재법을 직접 비교한 연구가 거의 또는 완전히 없는 경우 중재법을 대조
군이나 위약과 같은 공통대조군(mutual comparator, common comparator, common
PART2. 메타분석
reference 등으로도 표현됨)과 비교한 연구들을 이용하여 간접비교를 수행할 수 있다. 두 중
재법 간에 무작위화를 깨뜨리지 않는 것이 중요하며, 이를 위해 한 연구에서의 A와 C의 상
대적 치료효과를 다른 연구들에서의 상대적 효과와 비교한다.
간접비교에서도 전통적인 메타분석에서 요구하는 동질성(homogeneity)이 성립해야 한다.

연구들은 양적으로 병합되기에 충분히 동질하며, 한 치료법의 상대적 치료 효과는 간접비교
에 포함된 모든 연구들에서 유사하다(similarity)다는 가정이 필요하므로 연구 간의 임상적
유사성과 방법론적 유사성이 고려되어야 한다.

예를 들어, A와 C를 비교한 무작위배정 비교임상시험과 B와 C를 비교한 무작위배정 비교임
상시험의 경우 A와 B의 비교효과 추정치는 dAB= dAC - dBC와 같다.
A B C
dAB
dBC
dAC
　　　　　　　　　　(dAB : A와 B의 효과 추정차, dAC : A와 C의 효과 추정차, dBC : B와 C의 효과 추정차)
로그변환된 오즈로 표 현되는 효과 추정치는 lnOR'AB =lnORAC -lnORBC 이고, 이 때의 표준

오차는 SE (lnOR'AB ) = SE (lnORAC )2 +SE (lnORBC )2
(lnOR'AB : B에 대한 A의 로그변환된 추정 오즈비, lnORAC : C에 대한 A의 로그변환된 오즈비, lnORBC : C에
대한 B의 로그변환된 오즈비)
B
A Direct comparison
C A B C
InDirect comparison
부　록
그림 2-6. 간접비교법에서의 AB 임상연구와 AC 임상연구의 유사성 가정(Jansen, 2010) Copyright ⓒ 2011 by Value
in Health. Reprinted by Permission of the International Society for Pharmacoeconomics and Outcomes
Research(ISPOR)

1. 메타분석의 개요 및 자료종류 간접비교시 Canadian Agency for Drugs and Technologies in Health(CADTH)
2. 메타분석
3. 이질성(Heterogeneity) 에서 개발한 ITC(Indirect Treatment Comparison)이라는 무료 소프트웨어를 활용
할 수 있으며 자세한 이용 방법은 매뉴얼을 참고한다.(http://www.cadth.ca/index.
부록 php/en/itc-user-guide)
3) 혼합비교법(Mixed treatment comparison, MTC)

혼합 비교법은 동시에 여러 개의 치료법을 비교하는 메타분석 방법으로,
여러 개의 치료법 중 치료법 간의 순위(ranking)를 매기는 과정을 통해
가장 최선의 치료법을 선정할 수 있다. A 치료법과 B 치료법을 비교하기
위한 메타분석을 수행하기 위해 A와 B를 비교한 연구, B와 C를 비교한 연
구, A와 C를 비교한 연구들을 포함한 연구에서 비교효과 추정치를 구하기
위하여 공통대조군을 중심으로 한 효과 추정차와 표준오차에 대한 자료를
수집한다.
혼합비교법은 다음의 경우에 사용을 고려할 수 있다.
• 직접비교한 무작위배정 비교임상시험(head to head randomized

controlled trial)에서 얻어진 직접적인 근거가 없을 때
• 직접비교에서 얻어진 정보가 있지만 실제적인 통계분석을 하기에 충분
한 정보를 제공하고 있지 않아 간접비교로부터 'borrow strength' 할 필
요가 있을 때
• 동시에 여러 개의 치료법을 비교할 필요가 있으며 이들 치료법에 대한
순위를 정할 필요가 있을 때
그림 2.7에서 도식화된바와 같이, A 중재법과 C 중재법을 비교한 연구

1(A1 vs. C1)과 B 중재법과 C 중재법을 비교한 연구 2(B2 vs. C2)에서 간
접비교를 통한 상대적 치료효과 크기인 A와 B 중재법간의 차이는 A 중
재법과 B 중재법을 직접 비교한 연구 3(A3 vs. B3)에서의 두 중재법간의
차이와 동일하거나 적어도 동일한 분포를 가져야 한다는(직접근거와 간접
근거 간의 일관성(consistency, coherence) 가정이 필요하다. 일관성 가정
에 대한 내용은 본 매뉴얼의 범위를 벗어나므로 여기에서는 언급하지 않는
다. 상세한 내용은 참고문헌을 (Lu, 2006) 참고하도록 한다.
Similarity
[}
Trial A1 vs C1 Trial B2 vs C2
}
A1 B2
Indirect vs
C1 　 C2
Consistency
PART2. 메타분석
Direct A3 vs B3
Trial A3 vs B3
그림 2-7. 치료법 A와 B의 직접비교와 간접비교 (Song, 2009) Song F. What is indirect

comparison? Hayward Medical Communications: London, 2009. © Hayward
Medical Communications. Reproduced with permission
혼합비교법의 통계분석에는 베이지안 접근법이 활용되며 통계 패키지로는 무료 소프트웨어인

WinBUGS(http://www.mrc-bsu.cam.ac.uk/bugs/winbugs/contents.shtml)를 사용할 수

있다. 보다 상세한 내용은 참고문헌(Sutton, 2001)을 참고하도록 한다. .
BOX 2.1. 베이지안 추론(Bayesian inference)
베이지안 추론은 근거(evidence)나 신념(belief)을 업데이트하는 개념이다. 알려지지 않은 모형의 모수 θ=(θ1,

θ2....., θk)를 추정하기 위하여, 기존에 존재하는 지식이나 신념을 반영하는 사전 확률분포 (prior distribution)
를 이용하여 사후확률 분포를 추정한다.
사전확률분포는 관심모수와 관련된 사전정보를 대표하는 확률분포로 informative와 non-informative prior

로 구분된다.
● Informative prior는 문헌, 임상 데이터베이스, 전문가 자문, 어떠한 적절한 자료원으로부터 얻는 정보에
근거한다. 또한 사후 분포에 영향을 미치며 사후분포에 대한 사전분포의 영향은 자료의 표본크기와 prior
의 형태와 관련이 있다.
● Non-informative(vague, flat, diffuse) prior는 관련된 사전 정보가 없거나 외부의 정보에 의해 영향을 적
게 받는 추론일 경우에 사용한다. Uniform distribution이 주로 사용된다.
관심모수에 대한 계산된
데이터의 확률모형과
 
사전분포 사후분포로부터
부　록
사전분포를 이용하여
(prior distribution) 사후분포(posterior distribution) 계산 관심모수 추정
결정
그림 2-3-1. 베이지안 패러다임의 개념도

2. 메타분석
관측된 자료 y=(y1,y2 ....., yN)의 확률모형과 사전분포를 이용한 사후분포 계산은 베이지안
3. 이질성(Heterogeneity) 이론이 적용되며 공식은 다음과 같다.
5. 민감도 분석 (Sensitivity analysis) p(θ,y) p(y|θ)p(θ)
p(θ|y)= =
부록 p(y) ∫p(y|θ)p(θ)
p(θ|y) ∝ p(y|θ)p(θ)
(θ : 모수(random variable), p(θ) : 사전확률분포, y : 관측된 데이터 p(y|θ) : 관측된 데이터 y에 대한 확률
밀도 함수(=우도함수), p(θ|y) : 사후확률분포)
사전 분포를 정한 다음 사후 분포를 추정하기 위하여 관측된 자료와 함께 병합되며, 사후

분포는 사전분포나 우도함수보다 더 작은 분산을 가진다. 그 이유는 사전분포와 우도함수
둘 다로부터 정보를 병합하기 때문에 정보의 양이 더 많아지기 때문이다.
● 베이지안 접근법(Bayesian approach)을 사용할 경우 일반적으로 vague prior를 선택

한다.
● 베이지안 고정효과 모형은 이분형 자료 중 희귀사건에서 적절한 효과추정치를 제공해
주며, 베이지안 변량효과 모형은 연구간 변동(between-study variation) 추정치의 불확
실성을 고려할 때 사용된다.
● 빈도주의적 접근(Frequentist approach)에서의 95% 신뢰구간(confidence interval)은
반복적인 표본추출에서 95%는 모수의 참값을 포함한다는 것과 달리 베이지안 95% 신
용구간(credible interval)은 사후확률분포에서 그 모수를 포함할 확률이 95%임을 의미
한다.
간접비교법과 혼합비교법은 그 내용이 매우 광범위하여 메타분석에 대한

기본적인 방법들을 설명하는 본 매뉴얼의 범위를 벗어나므로 여기에서는
간접비교법과 혼합비교법에 대한 기본 개념까지만 소개하고 자세한 사항은
이 이상 다루지 않는다.
BOX 2.2. 간접비교법과 혼합비교법의 기본 가정 및 적용 시 주의점
● 자료만으로 가정이 성립하는지에 대한 타당성을 충분히 검증할 수는 없으므로 개별 연구들의 임상상

황과 환자의 선택기준을 고려해야하며, 임상 전문가의 자문이 도움을 줄 수 있다.
● 직접비교와 간접비교의 근거는 각각 구분하여 제시하여 명시적으로 비교되어야 하며 그 이후에 통합

될 수 있다.
간접비교를 위한
가정 직접비교임상연구들
2종류의 임상연구들
PART2. 메타분석
동질성 중재법 A와 C를 비교한 중재법 B와 C를 비교한 중재법 A와 B를 비교한
(Homogeneity) 연구들의 병합 연구들의 병합 연구들의 병합

동질성과 연구의 유사성
공통 대조군으로 중재법 C를 이용하여,
(Homogenetiy and 중재법 A와 B를 비교한 연구의 간접 비교
similarity of trial) 
동질성, 연구의 유사성,

근거의 일관성 중재법 A와 B를 비교하기 위하여,
(Homogenetiy and 직접비교와 간접비교 추정치의 병합 또는 비교

similarity of trial,
and consistency of evidence)
그림 2-3-2. 간접비교법과 혼합비교법의 기본 가정. Reproduced from British Medical Journal, Fujian Song, Yoon K
Loke, Yanya Walsh, Anne-Marie Glenny, Alison J Eastwood, Douglas G Altman, 338; 1-7, Copyright
2009 with permission from BMJ Publishing Group Ltd.
● Bucher의 간접비교법은 검정력이 낮기 때문에 직접비교법과 동일한 검정력을 갖기 위해서는 동일한

표본크기를 가진 연구들의 4배에 해당되는 연구수가 필요하다. 그러므로 넓은 신뢰구간을 가진 불확
실한 결과를 나타내는 경우가 많다.
● 간접비교법은 관찰연구의 특성을 가지며 잔여 교란(residual confounding)은 항상 존재할 수 있다.

그러므로 연구자는 가능한 직접비교한 무작위배정 비교임상연구를 이용한 직접적인 근거를 비교해
야하며, 간접 비교법은 직접비교한 무작위배정 비교임상연구 자료가 거의 없거나 접근가능하지 않지
만 간접적인 근거가 충분한 경우에 추가적인 분석 도구로서 고려할 수 있다.
● 보다 상세한 내용은 참고문헌을(Lu, 2004; Jansen, 2008; Joannis, 2009) 참고하도록 한다.
부　록

2. 메타분석
부록

메타분석에서의 이질성이란 메타분석에서 통합되는 개별연구들의 결과에서의 변동(variation)
이 표본추출 오차 이상으로 관찰되어 우연으로 설명할 수 없는 것을 의미한다. 1) 임상적 또는
방법론적 다양성, 2) 우연, 3) 비뚤림이 통계적 이질성을 발생시킬 수 있으며, 일반적으로 통계
적 이질성을 이질성이라고 말한다. 이질성은 다음과 같은 이유로 발생할 수 있다.
• 임상적 다양성
• 방법론적 다양성
• 우연(chance): 개별 연구들, 특히 표본크기가 작은 연구나 사건발생률이 낮은 연구들은 우연
에 의해 효과크기가 극단적으로 나타날 수 있다.
PART2. 메타분석
• 비뚤림(bias): 연구비 출처와 출판 비뚤림과 같은 개별 연구들의 타당성을 위협하는 비뚤림은
연구들 간의 치료효과 크기를 다양하게 할 수 있다. 예를 들어, 통계적으로 유의하지 않은
결과를 가진 작은 표본크기의 연구들은 통계적으로 유의하거나 효과 크기가 큰 적은 규모의
연구들에 비해 출판되지 않을 위험이 더 큼
이질성은 크게 임상적 다양성(이질성)과 방법론적 다양성(이질성)으로 구분한다.
표 3-1. 이질성의 종류
임상적 다양성(이질성) 방법론적 다양성(이질성)

• 연구된 환자나 인구집단: 질병의 중증도, 진단명, 연령, • 연구유형과 비뚤림 위험의 다양성: 배정순서 은폐,
성별 눈가림과 같은 연구방법에서의 질적 차이
• 사용된 중재법과 임상 setting: 의료 • 치료효과 크기의 방향과 크기의 다양성
서비스 제공자의 경험이나 교육훈련 정도의 차이
• 병용 중재법 (co-intervention)
• 측정된 (중재)결과: 연구들 간에 (중재)결과를 측정하
기 위해 사용된 요약 추정치의 차이
• 추적조사 기간
이질성이 존재한다면 일반적으로 통합된 요약 추정치는 해석하기에 곤란하므로 이질성의 원인

에 대해 추가적인 고찰이 필요하다.
3.1. 이질성의 확인 및 평가
3.1.1. 그래프를 이용한 시각적 조사
1) Forest plot
부　록
Forest plot은 개별 연구들의 요약 추정치와 신뢰구간을 나열한 그림으로, forest plot을 통해

개별 연구들의 치료 효과값의 방향성과 신뢰구간이 겹치는지를 검토할 수 있다.

1. 메타분석의 개요 및 자료종류 신뢰구간의 겹치지 않거나 적은 정도로만 겹친다면 추가적으로 통계적 검정
2. 메타분석
3. 이질성(Heterogeneity) 방법을 수행한다. 개별연구들의 특성(출판 연도, 치료효과 크기, 표본크기,
대상 환자의 중증도 등)에 따라 정렬을 시킴으로써 치료효과와 연구의 특성간
부록 의 관련성을 찾아낼 수도 있다. 그래프를 이용한 이질성 파악 방법 중 가장 중
요한 방법이다.
그림 3-1. Forest plot에서 이질성 확인하기. Reprinted from A Journal of hand Surgery, 31A, Kevin C. Chung,
Patricia B. Burns, H. Myra Kim, A Practical Guide to Meta-Analysis, 1671–1678, Copyright (2006),
with permission from Elsevier
• 해석: External Fixation 연구(B,우)가 Internal Fixation 연구(A,좌)보다 이질성이 더 크며, 신뢰구간도 더 넓다
! Forest plot을 그리기 위한 Revman 설정방법 및 명령문
① RevMan 사용시
RevMan에 자료 입력과 동시에 오른쪽에 자동으로 제시되며 를 클릭하면 정리
된 형식으로forest plot이 제시된다(그림 3-1-1).
그림 3-1-1. RevMan에서 그려지는 forest plot
자료 형태에 맞춰 metan 명령문을 사용하면 되며 상세한 내용은 『2-1-1. 이분형
자료의 메타분석』 과 『2-1-2. 연속형 자료의 메타분석』 을 참고한다.
PART1. 체계적 문헌고찰 PART2. 메타분석 PART3. 체계적 문헌고찰과 관련된 주요 이슈들 부　록

그림 3-2. Forest plot 구조에 대한 이해 (한국보건의료연구원, 2009)
2. 메타분석
2) L’Abbé plot
4. 보고 비뚤림(Reporting bias) L’Abbé plot은 대조군에서의 사건발생률에 대한 중재군의 사건발생률
부록
을 제시하는 그림이며 이분형 자료에서 특히 유용하다. 원의 크기는 표본
크기를 나타내며, 사건 발생률이 두 군에서 동일할 경우 원들은 대각선 A
에 놓이게 된다. 연구간 이질성이 심할 경우, 원들은 회귀선 주변에 매우
퍼져있게 된다.
L’Abbé plot은 아래 그림과 같이 개별 연구의 각 군에 중점을 두어(예. 중
재군과 대조군) 이질성의 원인을 조사하여, 대조군과 중재군 또는 두 군
모두 중 어떤 군이 변동의 원인인지 판단하는데 도움을 준다. 그러나
L’Abbé plot은 이질성 여부 판정에 흔히 쓰이지는 않는다.
약군과 칼슘 복용군에서의 자간전증 발생률에 대한 L’Abbé plot(Song, 2001) Copyright

그림 3-3. 위
(2006) with permission from SAGE
• 해석: 위약군에서 자간전증 발생률은 3.4%~44.1%로 연구들 간에 다양한 반면, 칼슘 복용군에서 자간전증 발생률
은 0.0%~13.8%로 연구들 간에 크게 다르지 않았음. 따라서 연구들 간 이질성의 원인은 대조군의 기저위험
도가 연구들 간에 서로 다르기 때문인 것으로 판단됨
! L’Abbé plot을 그리기 위한 Stata 명령문

labbe SE FE SC FC , xlab(0,0.25,0.50,0.75,1) ylab(0,0.25,0.50,0.75,1)
(변수명(SE FE SC FC) 에 대한 설명: 표 1-1 참조)
주) 기울임체: 개별 연구자가 부여한 변수명(여기에서는 예시임)
• RevMan에서는 제공하지 않는 기능임
3) Galbraith plot
Galbraith plot은 메타분석에서 연구들 간의 이질성의 정도를 평가하기 위한 것으로, y축은
표준오차로 나누어진 효과크기이고 x축은 표준오차의 역수이다. 원은 각 연구를 표시하고,
회귀선은 통합적인 효과크기를 나타내며, 회귀선 위의 ±2는 통합 추정치의 95% 신뢰구간
을 나타낸다.
작은 규모의 낮은 정밀도를 가진 연구 결과는 왼쪽에 위치하고 큰 규모의 높은 정밀도를

가진 연구 결과는 오른쪽 끝에 위치한다. 모든 연구결과들이 회귀선 위의 ±2 이내에 위치
하면 이질성이 없는 것으로 해석할 수 있다. 이질성을 높이는 이상값(outlier)을 보이는 연구
PART2. 메타분석
를 찾는데 유용하다. 그러나 Galbraith plot도 이질성 여부 판정에 흔히 쓰이지는 않는다.

그림 3-4. 위약과 비교된 글루코사민의 통증에 대한 효과연구의 Galbraith plot (한국보건의료연구원, 2010)
● 연속형 변수인 경우 y축: (표준화된)평균차/표준오차, x축: 1/평균차의 표준오차
● 이분형 변수인 경우 y축: lnOR/SE(lnOR), x축 1/SE(lnOR)
! Galbraith plot을 그리기 위한 Stata 명령문
● 이분형 자료
generate logrr = log(_ES)
generate selogrr = _selogES
galbr logrr selogrr
● 연속형 자료
galbr _ES _seES
부　록

2. 메타분석 3.1.2. 통계적 검정방법
4. 보고 비뚤림(Reporting bias) 1) 카이제곱 검정법 (Q statistics)
부록
이질성 검정을 위한 카이제곱 검정은 각 연구들의 중재효과가 공통중재
효과값으로부터 얼마나 멀리 떨어져 있는지 검정하는 방법이다. 카이제곱
검정은 메타분석의 일반적인 상황에서 연구들이 작은 규모이거나 포함된
연구의 수가 적을 때 낮은 검정력을 가지며 연구의 수가 많을 때는 중요치
않은 이질성을 발견해낼 수 있기 때문에 해석에 주의를 기울여야 한다. 따
라서 p값은 0.05대신 0.10을 통계적 유의수준으로 사용한다.
k
Q =∑Wi(Yi-M)2
i=1 k
k (∑WiYi) 2
i=1
즉, Q = ∑WiYi 2-
i=1 k
∑Wi
i=1
(Wi=i번째 연구의 가중치(1/Vi), Yi=i번째 연구의 효과 크기, M: 요약 추정치(공

통 중재효과), k: 연구 개수)
• 귀무가설: 이질성이 있다는 근거를 찾을 수 없다

• 대립가설: 이질성에 대한 근거가 있다
P- value > 0.10 → 귀무가설 채택 → 고정효과 메타분석 수행

P- value < 0.10 → 귀무가설 기각 → 변량효과 메타분석 고려
하지만 이 때 p값의 기준을 절대적인 것으로 받아들여서는 안 된다.

2.1.2 (변량효과 모형)에서 언급한 바와 같이 분석을 계획하는 단계에
서 메타분석에 포함된 연구의 인구집단, 중재법 등이 동질하지 않다고
판단될 때, 또는 메타분석의 목적이 일반적으로 폭넓은 인구집단에서 일
반화시키는 것일 때 귀무가설이 채택되었을지라도 변량효과 모형을 이용
한 메타분석을 고려할 수 있다.
2) Higgin's I2 statistic
Higgin's I2 통계량은 비일관성을 정량화시킨 통계량이다.
Q-df
I2 = X 100%
Q
(Q : 카이제곱 통계량(Q-statistic), df : Q statistic의 자유도)
해석은 다음과 같이 한다.
• 0% ≤ I2 ≤ 40%: 이질성이 중요하지 않을 수 있음
• 30% ≤ I2 ≤ 60%: 중간정도의 이질성이 있을 수 있음*
• 50% ≤ I2 ≤ 90%: 실제적으로 이질성이 있을 수 있음*
• 75% ≤ I2 ≤ 100%: 상당한 이질성이 있음
* 이질성의 정도의 해석은 다음에 따라 달라진다.
• 효과크기의 방향과 정도: 통계적인 유의성이나 I2의 결과로 이질성이 인정되어도 효과 크
PART2. 메타분석
기의 차이가 작고 이득이 크면 이질성이 중요하지 않은 것으로 간주할 수 있다.
• 이질성에 대한 근거의 강도(카이제곱 검정법에서의 p값 또는 I2의 95% 신뢰구간)
! 이질성 검정을 위한 Stata 명령문
heterogi #Q #df
(#Q: metan 수행 후의 이질성에 대한 카이제곱 통계량(Heterogeneity chi-squared), #df: 자유도)

• RevMan에서는 자료 입력과 동시에 forest plot과 함께 자동으로 제시된다.

! Note!
● 이질성에 대한 통계적 검정방법은 분석에 포함된 연구 수와 표본 크기나 효과 측정치의 종류에 영향을 받으므로 이
질성 검정의 p값에 근거하여 연구들을 병합할지의 여부를 결정해서는 안된다. 연구자는 연구의 수가 충분하다면,
하위그룹 분석과 메타 회귀분석을 이용하여 이질성을 추가 조사하거나 질적으로 이질성의 원인을 기술해야한다.
• Cochrane handbook에 의하면 포함된 연구의 수가 10개 이상인 경우(메타 회귀분석)

• AHRQ methods guide에 의하면 포함된 연구들의 표본크기가 작지 않다면, 연속형 연구수준의 변수의 경우 적어
도 6~10개 이상, 범주형 하위그룹 변수의 경우 각각의 하위그룹 안에 최소 4개 이상의 연구를 포함한 경우에 추가
분석을 하도록 권장하고 있다. (하위그룹이나 메타 회귀분석).
● 이질성에 대한 통계적 검정력은

① 포함된 연구의 수와
② 개별 연구에 배정된 가중치(분산의 역수)에 따라 달라지며
③ 특히, 한 연구가 전체 정보의 대부분을 제공할 때 줄어든다.
그러므로 포함된 연구가 10개 미만인 경우 이질성에 대한 통계적 검정방법으로 연구들 간에 존재하는 결과 간의
이질성을 발견하지 못할 수 있다.
부　록

2. 메타분석 BOX 3.1. 이질성을 다루는 전략들
5. 민감도 분석 (Sensitivity analysis) ● 자료 입력이 맞게 되었는지 확인한다. (특히 연속형 자료에서의 표준편차와 표준
부록
오차와 구분 필요)
● 메타분석의 가정인 동질성을 충족시키지 못하는 경우라고 판단된다면 메타

분석을 수행하지 않는다. (특히 개별연구들의 효과크기의 방향이 상반적일 경우)
● 이질성에 대한 원인을 찾기 위하여 사전에 연구계획서에 기술한 연구의 특성에

따른 하위그룹 분석이나 메타 회귀분석을 수행한다. 하위 분석이 사전에 계획된
것이 아니라면 해석에 주의를 기울여야 한다.
● 이질성을 무시한 채 고정효과 메타분석을 수행한다. 고정효과 모형의 p값은 모든

연구들에서 치료효과가 없다는 귀무가설에 대한 유의성 검정을 제공한다.
● 설명되지 않는 연구들 간 이질성을 통합하는 변량효과 메타분석을 수행한다.
● 이질성은 효과 측정치의 부적절한 선택에 의해 발생될 수 있다. 위험차는 대조군

의 사건발생률이 비교적 유사한 경우에, 상대위험도와 오즈비는 사건발생률이
비교적 희귀한 경우에 적절하다.
● 나머지 연구들과 상반되는 결과를 가지는 1-2개의 이상값을 가지는 연구가 이상값
의 결과를 나타내는 명백한 이유를 가진다면 메타분석에서 제외될 수 있다.
3.2. 이질성이 있는 경우의 메타분석

3.2.1. 변량효과 모형의 사용
변량효과 메타분석은 연구들 간의 이질성을 통합하기 위해 사용될 수 있지만
이것은 이질성의 원인을 밝히는 철저한 조사 방법은 아니다. 주로 설명될 수
없는 이질성에 대해 일차적으로 시도될 수 있다. 변량효과 메타분석의 연구
간 변동의 추정치 tau-squared (τ2 or Tau2)는 다음과 같이 계산된다.
Q-df
T2=
C k
k (∑WiYi ) 2
Q = ∑WiYi2 - i=1
(Wi=i번째 연구의 가중치, Yi=i번째 연구의 중재효과)
i=1 k
∑Wi
i=1
df=k-1 (df :자유도, k :연구 수)
C = ∑Wi -
∑Wi 2
∑Wi
이질성이 있는 연구들에서 변량효과 메타분석은 고정효과 메타분석에 비해 상대적으로 작은
규모의 연구들에 더 많은 가중치를 준다. 변량효과 모형의 분산은 고정효과 모형에서의 표본
추출 오차에 추가적으로 연구간 변동을 포함한다. 따라서 변량효과 모형에서의 요약추정치의
신뢰구간은 고정효과 모형에서 보다 대체적으로 넒은 편이다.
● 소규모 연구 영향(small-study effects): 더 작은 규모의 연구들의 결과가 더 큰 연구들의

결과와 체계적으로 다르다면(더 작은 규모의 연구들에서 출판 비뚤림이나 연구 내 변동의
결과로 발생할 수 있음), 변량효과 모형은 비뚤림이 있는 효과추정치일 것이므로
이러한 경우에는 통합된 메타분석을 제시하지 않거나 작은 규모의 연구를 제외시키는
PART2. 메타분석
민감도 분석을 수행해야 한다.
3.2.2. 하위그룹 분석(Subgroup analysis)

연구들 간의 이질성을 해석하기 위해서 동질할 것으로 예상되는 하위그룹을 나누어 분석한다.
하위그룹 분석은 프로토콜에 사전에 계획되어야 한다. 하지만 분석을 수행할 변수를 사전에
모두 알기는 어렵기 때문에 이질성을 확인한 후 몇몇 변수에 대해서 하위그룹 분석을 할 수는
있지만 이 경우 해석에 많은 주의를 기울여야 한다. 그러므로 연구수준의 변수(연구설계, 연구
의 질, 질환의 중증도 등)를 사전에 구체화한 후에 수행해야 한다.

사전에 구체화된 특성들에서 하위그룹의 수를 제한하여 통계적인 오류의 가능성을 줄여야
하며, 하위그룹이 분석되는데 영향을 미치는 연구 결과들을 연구자가 모르게 하여 비뚤림이
있는 결과를 이끌어낼 가능성을 줄여야 한다.
부　록
그림 3-5. 연구설계에 따른 하위그룹 분석의 예. Reproduced from [British Medical Journal, (Parker, 2010) Copyright 2006]
with permission from BMJ Publishing Group Ltd.

2. 메타분석
! 하위그룹 분석을 수행하기 위한 Revman 설정방법 및 Stata 명령문
5. 민감도 분석 (Sensitivity analysis) ① RevMan 사용 시
부록
- 해당 outcome 우클릭 → Introduce Subgroup (오른쪽 그림 참조)
- RevMan에서도 하위그룹 분석이 가능하나 Stata를 사용하는 것이
더 편리함
• 이분형자료
metan SE FE SC FC , { or | rr | rd } { fixed | fixedi | random | randomi | peto}
by(subgroup variable ) label(namevar= study ID ) favours (favours Experimental
intervention # favours Control intervention )
(변수명(SE FE Sc Fc)에 대한 설명: 표 1-1 참조)
• 연속형자료
metan
● 연속형 NE자료 ME,final SDE,final NC MC,final SDC,final, fixed or random by(subgroup
variable ) label(namevar=study ID ) favours (favours Experimental intervention
# favours Control intervention )
(변수명(NE ME,final SDE,final Nc Mc,final SDc,final)에 대한 설명: 표 1-2 참조)
3.2.3. 메타 회귀분석(Meta-regression)
메타 회귀분석은 연구수준의 공변량에 대한 연구 요약추정치의 회귀분석이
다. 따라서 분석단위는 개별 연구이다. 치료효과와 조사된 연구 특성 간에
선형관계가 있다면 메타 회귀분석은 하위그룹 분석보다 통계적 검정력이
더 크다.
회귀분석에서 y는 중재 효과크기인 로그변환된 오즈비(lnOR), 표준화된

평균차(SMD), 가중평균차(WMD), 로그변환된 상대위험도(lnRR), lnHR
등이 되며, 설명변수인 x는 중재효과의 크기에 영향을 미칠 수 있는 연구들
의 특성(예. 연구대상자의 일반적인 특성(예. 연령), 대학병원, 의원과 같은
연구가 수행된 임상 상황(clinical setting), 추적관찰 기간, 배정순서 은폐 여
부나 눈가림 수행여부와 같은 비뚤림 위험 평가항목, 연구가 수행된 지역적
위치 등)이다.
yi = β 0 + β 1 X 1i ＋ β 2 X 2i ＋ … ＋ ε
(yi : i번째 연구의 효과크기, β0 : 추정된 전체 효과크기, xi (i=1,2,...k) : 연구의 다른 특성들,

ε : 연구간 변동)
• 해석: 메타 회귀분석에서 구해진 회귀계수는 다른 설명변수에 보정된(예. x2, x3) 설명변수(효과를 변화시키는 잠재적 요인; 예. x1)가 1단위 증
가함에 따라 결과변수(중재효과)가 얼마나 변화하는지를 설명한다.
연구들 간의 모든 변동은 회귀모형에 포함되는 공변량으로 설명가능하다고 생각될 때 고정효과

메타 회귀분석이 적절하며, 변량효과 메타 회귀분석은 공변량에 의해 설명되지 않는 연구들 간
의 변동인 잔여 이질성(residual heterogeneity)을 허용한다. 그러나 이질성의 원인이 모두 설
PART2. 메타분석
명가능하다고 가정하는 것은 합리적이지 않기 때문에, 연구수준의 인자에 의해 설명되지 않는
잔여 이질성(residual heterogeneity)을 허용하기 위해서는 고정효과 메타 회귀분석 대신 변량
효과 메타 회귀분석이 수행되어야만 한다.
메타 회귀분석에는 단변량 분석과 다변량 분석이 있다. 이 중 다변량 메타 회귀분석에서 설명

변수 간의 상관성이 높다면 공선성의 문제가 발생한다.
다음의 경우 공선성이 있음을 의미하므로 다변량 메타 회귀분석은 가능하면 수행하지 않아야

한다.
PART3. 체계적
• 독립변수들 간에 짝지어진 상관성이 큰 경우
• 독립변수를 추가하거나 제외시켰을 때 회귀계수의 변화가 큰 경우
의료기술평가와
• 회귀계수의 표준오차가 큰 경우
문헌고찰과
여러 번 분리시켜 수행한 단변량 메타 회귀분석이나 한 번에 여러 개의 공변량을 이용한 다변
관련된
량 메타 회귀분석은 위양성 결과를 가져오는 1종 오류의 가능성을 높인다. 이 때 permutation
관련된
test로 구해진 통계량을 다중 검정(multiple testing)을 보정하기 위해 사용한다.
주요주요
Permutation test는 다변량 메타 회귀분석에서 p값을 계산하기 위한 접근법으로 회귀계수는
이슈들
이슈들
0이라는 귀무가설 하에서 자료를 시뮬레이션하는 비모수적 방법이다. 이는 무작위

permutation에 근거한 Monte Carlo simulation을 토대로 한 방법이다.
부　록

2. 메타분석
부록
그림 3-6. 아스피린 용량에 따른 위약과 비교된 뇌졸중 발생의 상대위험에 대한 변량효과 메타회귀분석
(Thompson, 2002) Copyright (2002), with permission from John Wiley and Sons, Ltd.
• 해석: 아스피린의 광범위한 용량(50-1500mg/d)에 따른 뇌졸중 발생의상대위험도는 메타 회귀분석의

기울기가 사실상 평평하기 때문에 아스피린 사용과 뇌졸중 발생에는 관련성이 있다고 판단할 수 없다.
(p= 0.49 for test of slope not =0)
! 메타 회귀분석을 수행하기 위한 Stata 명령문
generate logrr=log(_ES)
generate selogrr=_selogES
metareg logrr covariate1-covariate2 , wsse(selogrr)
metareg _ES covariate1 , wsse(se_ES) graph
- Stata의 경우, 공변량이 한 개일 경우만 graph(bubble plot)가 그려진다.
- metareg 명령문은 연구수준의 요약 통계량에 관한 변량효과 메타 회귀분석을
수행한다.
! Permutation test를 수행하기 위한 Stata 명령문

set seed 20101206 (임의로 지정)
metareg _ES covariate1-covariate2 , wsse(se_ES) permute(5,000 )
- 다변량 메타회귀분석을 수행할 때 metareg 명령문에 추가로 permute (random

permutation 수)를 기술해야 permutation 검정을 수행할 수 있다. 결과의 재현성을
위하여 set seed 명령문을 먼저 수행하며 , random permutations 의 수는
작은 수 100부터 시작하여 잘 작동되는지 확인 후 1,000, 5,000, 20,000까지
증가시킨다.
BOX 3.2. 메타 회귀분석에서의 aggregation bias
(Thompson, 2002) Copyright (2002), with permission from John Wiley and Sons, Ltd.
● 연구수준의 인자는 첫째, 한 연구에서 모든 환자에게 동일하게 적용되는 인자 (예. 연구유형, 연구의
질, 결과변수의 정의 등)와 둘째, 개별 환자 수준 자료에서의 연구 수준의 요약 통계량 (예. 평균 연령,
질병을 가진 환자의 분율)으로 구분된다. 메타 회귀분석은 첫 번째 유형의 연구 수준의 인자를 고려할
때 매우 유용하다. 두 번째의 환자 수준의 인자를 다룬 메타 회귀분석은 aggregation bias에 취약하
므로 메타 회귀분석은 반드시 첫 번째 연구수준에서 분석되어야 한다.
✽ Aggregation bias의 예
PART2. 메타분석
아래 그림(그림 3-2-1)에서 연령이 18~60세로 다양한 성인을 포함한 임상연구를 수집하였고, 개별
연구 내에서 연령과 치료효과간의 강한 관련성이 있을 수 있다. 하지만 개별 연구에서 보고하고 있는
평균연령이 유사하다면, 연구 간 평균연령과 연구 수준에서의 치료효과 추정치 간에 관련성이 없는
것으로 관찰될 수 있다.

그림 3-2-1. 개별 연구들 내(within studies)에서와 연구들 간(between studies)에서 연령과 치료효과의 관련성 (Thompson,
2002) Copyright (2002), with permission from John Wiley and Sons, Ltd.
● 해석: (좌) 치료효과는 각 연구 내에서는 연령과 관련이 있지만(그림의 기울기로 표현), 연구 간의 평균연령은 치료효과와
관련이 없다(원으로 표현). (우) 치료효과는 각 연구 내에서 연령과 관련이 없지만(그림의 기울기로 표현), 개별 연구
사이의 평균연령은 치료효과크기와 관련이 있다(원으로 표현)).
● 대부분의 메타분석은 많은 수의 연구들을 포함하지 못하기 때문에 메타 회귀분석의 자유도는 매우 작

다. 따라서 과적합될(overfitting) 위험이 크므로 메타 회귀분석 수행 시 임상전문가와 논의하여 과학
적으로 타당한 이유를 가진(임상적 생물학적 배경지식에서 중요한) 적절한 적은 수의 설명변수를 선택
해야 한다.
● 공변량들끼리는 공선성이 높은 경향이 있기 때문에, 공변량의 추정된 회귀계수는 주의 깊게 해석되
거나 중복적인 설명변수는 모델에서 제거해야 한다.
● 메타 회귀분석의 결과는 각각의 치료효과 추정치의 정밀도와 관련이 있는 symbol size(예. 원의 크기)
를 이용한 그래프(bubble plot)로 제시하는 것이 일반적이다.
부　록

1. 메타분석의 개요 및 자료종류 ● 메타 회귀분석을 위해 permutation test를 이용하는 것은 각 공변량에 대한 메타
2. 메타분석
3. 이질성(Heterogeneity) 회귀분석 결과의 통계적 유의성 수준을 평가하는데 도움이 된다.
5. 민감도 분석 (Sensitivity analysis) ● 메타 회귀분석에서 결과변수가 이분형 자료인 경우, 로지스틱 회귀분석이 사용될
부록
수 있다.
● 하위그룹 분석과 메타 회귀분석은 관찰적인 특성을 가진 제한점이 있으므로 효과

크기와 연구수준의 변수 간의 관련성은 임상적으로 개연성을 가져야하며 간접 근거
나 외적인 근거에 의해 지지되어야 한다.

보고 비뚤림은 연구 결과의 확산이 결과의 특성과 방향에 영향을 받을 때 발생하는 비뚤림으로
서 가장 대표적인 보고 비뚤림의 종류로는 출판 비뚤림(publication bias)이 있다. (이 때문에
보고 비뚤림과 출판 비뚤림은 종종 혼동되나 동일한 의미는 아니다.) 출판 비뚤림은 연구결과의
통계적 유의성과 출판 가능성 간의 관련성이 있을 때 나타나는 비뚤림이며 통계적으로 유의한
긍정적인 연구 결과인 경우 더욱 잘 출판될 가능성이 있기 때문에 발생하는 비뚤림이다.
보고 비뚤림 중 출판 비뚤림에 특히 주의를 기울여야 하는 이유는 메타분석 시 출판된 연구들만

을 통합할 경우 치료효과의 요약추정치가 치료효과를 과대 추정할 위험이 있기 때문이다. 아래
표에 보고 비뚤림의 종류와 각각의 정의를 정리해 놓았다(표 4-1). 보고 비뚤림을 검토하는 방
PART2. 메타분석
법에는 그래프를 이용한 방법과 통계적 검정방법 두 가지가 있다.
표 4-1. 보고 비뚤림의 종류 및 정의. (Cochrane handbook, 2009) Reproduced table. Copyright © 2009 The Cochrane Collaboration.
보고 비뚤림의 종류 정의
Publication bias 결과의 (통계적 유의성과 같은) 특성과 방향에 따라 연구가 출판되거나 출판되지 않음
Time lag bias 결과의 특성과 방향에 따라 연구 결과가 빨리 출판되거나 늦게 출판됨
Multiple (duplicate)
결과의 특성과 방향에 따라 연구 결과가 한 번 또는 여러 번 출판됨
publication bias
Location bias 결과의 특성과 방향에 따라 표준화된 데이터베이스에서 인용되는 수준이나 접근의 용이

성이 각기 다른 저널에 출판됨
Citation bias 결과의 특성과 방향에 따라 연구결과가 인용되거나 인용되지 않음
Language bias 결과의 특성과 방향에 따라 특정 언어로 연구결과가 출판됨
Outcome reporting bias 결과의 특성과 방향에 따라 어떤 (중재)결과는 선택적으로 보고되고, 어떤 것은 보고되지
않음
4.1. 그래프를 이용한 방법

4.1.1. Funnel plot
Funnel plot은 연구의 표본크기(세로축)에 대한 개별 연구들의 추정된 효과크기(가로축)를
제시하는 산포도이다. 일반적으로 시각적으로 funnel plot이 대칭인 경우 보고 비뚤림의
가능성은 줄어든다고 간주한다. 대체로 작은 규모의 연구들은 그래프의 아래 부분에 넓게 분포
되고, 더 큰 규모의 연구들은 깔대기 윗부분의 좁은 부분에 분포하게 된다.
Funnel plot의 비대칭성 여부에 대한 해석은 포함된 연구들이 적어도 10개 이상인 경우에만
적용될 수 있다. 또한 funnel plot이 비대칭적이라고 해서 반드시 보고 비뚤림이 있음을 의미
하는 것은 아니며, 선택 비뚤림, 낮은 수준의 연구의 질, 이질성 등도 원인이 될 수 있다 (표 4-2).
부　록

2. 메타분석
부록
그림 4-1. Hypothetical funnel plot. The figure was originally published in the Stata Journal (volume 4: 129)
and is used with the permission of StataCorp and the authors. Sterne, J. A. C., and R. M. Harbord.
2004. Funnel plots in meta-analysis. Stata Journal 4: 127-141.
• 해석: (맨 위) 흰색 원은 긍정적인 효과를 나타내지 못한 소규모 연구를 의미함; (중간) 비대칭적인 funnel plot
으로 긍정적인 효과를 나타내지 못한 연구가 출판되지 않아 메타분석에 포함되지 못한 경우(여기서는 출판
비뚤림이 있음을 암시); (맨 아래) 낮은 수준의 방법론으로 수행된 소규모 연구가 효과를 과대 추정하고 있는
경우 (흰색 원) 소규모 연구들이(흰색 원) 실제 있어야 하는 위치보다(효과 없음) 긍정적 효과가 있는 쪽으로
(효과 있음) plot되어 있는 상태이며 이러한 경우 중재 효과가 과대 추정되는 방향으로 비뚤림이 발생한다.
표 4-2. Funnel plot이 비대칭적일 수 있는 원인 (cochrane handbook, 2011) Reproduced table. Copyright © 2011 The Cochrane
Collaboration. Published by John Wiley & Sons, Ltd
비대칭의 원인들 예시
1. 선택 비뚤림 출판 비뚤림
• 지연된 출판
• Location bias
• Language bias
• Citation bias
• Multiple publication bias
선택적 결과 보고
2. 낮은 수준의 연구의 질 • 적은 표본크기의 연구들에서 효과크기를 과장시키도록 하는 낮은 수준의 방법론으로 수행된 연구
PART2. 메타분석
• 방법론적으로 부적절한 연구 설계
• 부적절한 분석
3. 이질성 • 연구의 표본크기에 따라 효과크기가 다른 경우

(예.중재법의 강도의 차이, 연구대상자의 기저 위험의 차이 등)
4. 인위적인 요인 • 효과크기 측정치의 잘못된 선택으로 인한 이질성 존재
5. 우연
4.1.2. Contour-enhanced funnel plot
PART3. 체계적
Contour-enhanced funnel plot은 funnel plot에 통계적 유의성을 추가로 제시해줌으로써
비대칭성의 다른 원인들과 출판 비뚤림을 구분할 수 있도록 돕는다. 연구들이 통계적으로 유의
하지 않은 영역에서 결측되었다면 funnel plot의 비대칭성은 출판 비뚤림 때문일 가능성이
있다. 하지만 연구들이 통계적으로 유의한 영역에서 결측되었다면 비대칭성의 원인이 출판
문헌고찰과
비뚤림에 의한 것일 가능성이 낮다. 따라서 메타분석에서 contour-enhanced funnel plot을
수행할 것을 권장한다.
관련된
관련된
주요주요
이슈들
이슈들
그림 4-2. 위약과 비교된 글루코사민의 통증에 관한 메타분석에서 contour-

부　록
enhanced funnel plot (한국보건의료연구원, 2010)
● 해석: plot의 오른쪽 부분에 연구들이 결측이 되었지만, 통계적 유의성이 낮은 것과 통계적유의성이 높은 영역 둘다에서의 연구들이
결측되었기 때문에 funnel plot의 비대칭성이 출판 비뚤림에 의한 것이라고 단정할(해석할) 수 없다.

2. 메타분석
3. 이질성(Heterogeneity) ! Funnel plot과 contour-enhanced funnel plot 그리기
5. 민감도 분석 (Sensitivity analysis) ① RevMan 이용 시
부록
- ‘Data and analyses’에서 를 클릭하면 결과를 확인할 수 있다.
그림 4-1-1. RevMan에서 funnel plot 결과 보기
- Contour-enhanced funnel plot은 RevMan에서 제공하지 않는 기능임
② Stata 이용 시
generate logrr = log(_ES)
generate selogrr = _selogES
metafunnel logrr selogrr ← 일반적인 funnel plot
또는 confunnel logrr selogrr, metric(invse) ← contour-enhanced funnel plot
metafunnel _ES se(_ES) ← 일반적인 funnel plot
또는 confunnel _ES se(_ES), metric(invse) ← contour-enhanced funnel plot
여기서, ES(효과 추정치, Effect size)는 표준화된 평균차(SMD) 또는 가중평균차

(WMD)임
✽ metric(invse)를 추가하면, 아래와 같이 contour-enhanced funnel plot의 y축이

역-표준편차(inverse-standard error)로 바뀌어 모양이 다른 plot이 그려진다.)
그림 4-1-2. Contour-enhanced funnel plot 예시. Reprinted from Journal of Clinical Epidemiology, 61,
Jaime L. Petersa, Alex J. Suttona, David R. Jonesa, Keith R. Abramsa, Lesley Rushton,
Contour-enhanced meta-analysis funnel plots help distinguish publication bias from
other causes of asymmetry, 991-996, Copyright (2008), with permission from Elsevier
● 해석: 왼쪽 그림은 통계적으로 유의하지 않은 영역에 연구들이 결측 되었으므로 funnel plot의 비대칭성은 출판 비뚤림에 의한 것이
지만, 오른쪽 그림은 통계적으로 유의한 영역에 연구들이 결측되었으므로 비대칭성은 출판 비뚤림에 의한 것이 아닐 수 있다.
! Funnel plot과 관련된 주의사항
● Funnel plot의 모양은 연구의 정밀도나 치료효과가 다르게 정의될 때 변할 수 있다.

● Funnel plot의 비대칭성에 대한 검정은 낮은 검정력 때문에 적어도 10개 이상의 연구가 포함된 메타
분석에서 수행해야 한다.
● Funnel plot의 비대칭성 검정은 모든 연구들의 표본크기가 유사할 경우(중재효과 추정치의 표준오차
가 유사) 사용해서는 안 된다.
PART2. 메타분석
● Funnel plot의 비대칭성 검정은 contour-enhanced funnel plot을 이용하여 시각적인 검토의 관점에
서 해석되어야 한다.
● 소규모 연구 효과(small-study effects)의 근거가 있을 경우 출판 비뚤림은 가능한 설명들 중의 하나
로만 고려되어야 한다.
● 통계적 검정방법의 비교적 낮은 검정력 때문에, 검정결과 funnel plot의 비대칭성에 대한 근거를 제공
하지 않지라도 (출판 비뚤림을 포함한) 비뚤림은 배제될 수 없다는 것을 주지한다.
● 한쪽으로 치우친 funnel plot에 대한 설명으로 출판 비뚤림을 들 수 있지만, 연구의 질, 중재법, 환자의
특성에서의 차이로 인한 이질성과 같은 다른 대안적 설명을 고려할 필요가 있다.
PART3. 체계적
부　록 의료기술평가와
문헌고찰과
관련된
관련된
주요주요
이슈들
이슈들

4.2. 통계적 검정방법
2. 메타분석
Funnel plot의 비대칭 정도가 통계적으로 유의한지 여부를 판단하기 위해
부록
Begg과 Mazumdar의 검정과 Egger의 검정을 사용할 수 있다. 이러한 통계
적 검정법은 중재효과 추정치와 연구의 크기(예. 중재효과에서의 표준오차)
사이에 존재하는 연관성(association)이 우연에 의해 기대되는 것보다 더 크
게 발생하는지 여부를 확인하기 위해 사용한다.
4.2.1. Begg과 Mazumdar의 순위상관 검정

(Begg and Mazumdar's rank correlation test)
Begg과 Mazumdar의 검정(이하 Begg의 검정)은 표준화된 중재 효과값과
해당 표준오차(sampling variations)간의 상관관계를 평가하기 위한 보정된
순위상관(rank correlation) 검정으로(Begg, 1994) 개별 연구의 효과크기가
작고 표본크기가 작은 경우 검정력이 증가된다.
그러나 메타분석에 포함된 연구의 수가 적다면 Begg의 검정결과는 해석에

주의해야한다. 특히 검정결과가 통계적으로 유의하지 않더라도 비뚤림의 가
능성은 배제될 수 없다. Begg의 검정에서 그려지는 funnel plot 비대칭의
추정치는 0으로부터 Spearman's rho의 벗어난 정도로, Begg’s adjusted
rank correlation test에서의 유의수준 0.05를 기준으로 판단한다.
그림 4-3. BCG 백신접종의 나병예방에 관한 환자-대조군연구의 Begg의 검정 결과. Begg의 검정 p값 = 0.03

(중앙선은 병합된 치료효과크기, 양쪽 선은 신뢰구간 경계값) (Merle, 2010). Reproduced from Expert
Rev. Vaccines 9(2), 209-222 (2010) with permission of Expert Reviews Ltd.
● 해석: funnel plot은 명백히 비대칭적으로, 효능이 작고 규모가 작은 연구들이 그렇지 않은 연구들보다 적게 출판
되었을 가능성이 있다.
4.2.2. Egger의 검정(Egger's test)
Egger의 검정은 중재 효과값의 역수에 의해 가중치가 부여된, 표준오차에 대한 중재효과 추정
치의 선형 회귀검정으로 Y 절편이 0과 유의하게 다른지 평가한다(Egger, 1997). Egger의 검정
은 소규모 연구 효과(작은 규모의 연구들이 더 큰 치료효과 크기를 보이는지의 경향성)를 검정
하는데 사용된다. 귀무가설은 small study effect가 없다는 것(β0=0)이며, 중재효과와 표준오
차 간에 연관성이 크면 클수록, 기울기는 0에서 멀어지게 된다.
E[Zi]=β0 + β1preci
PART2. 메타분석
(Zi: i번째 연구에서의 standard normal deviate(i번째 연구에서의 중재효과크기/i번째 연구에
서의 표준오차: θ i/s i), β1: 중재효과의 크기와 방향, preci : i번째 연구에서의 표준오차의 역수)
그림 4-4. 연속형 자료에 대한 Egger’s funnel plot (한국보건의료연구원, 2010)

● 해석: 회귀선의 y절편이 0을 지나가지 않고 있으며 bias는 -3.69로 음수이고, p값은 0.004로 small study effect가 있다고 판단됨
● SND: Standard normal deviate
Begg과 Mazumdar의 순위상관 검정과 Egger의 선형 회귀검정은 funnel plot의 비대칭성을

검정하기 위해 사용될 수 있지만, Cochrane handbook에서는 사용을 권고하지 않고 있다.
부　록

2. 메타분석
3. 이질성(Heterogeneity) ! Begg의 검정과 Egger의 검정을 위한 Stata 명령문
① Begg의 검정
부록
metabias logrr selogrr, graph(b) saving(beggplot, replace)
② Egger의 검정
metafunnel _ES se(_ES), egger
metabias logrr selogrr, graph(e) saving(eggerplot, replace)
! Note!
● Funnel plot의 비대칭성에 대한 통계적 검정방법은 낮은 검정력과 1종 오류의

문제가 있으므로 우선 시각적으로 검토하는 방법을 사용한다. 일반적으로 회귀
기반 검정이 순위상관 검정방법보다 검정력이 높은 것으로는 알려져 있으나
이러한 검정은 충분한 연구수가 있는 경우 그리고 상당한 소규모 연구 영향이
있는 경우에만 해당되므로 통계적 검정이 적절하다고 판단되는 경우에만 사용
해야 한다.
● Cochrane handbook에 의하면, Begg의 순위 상관검정과 Egger의 검정은 통합
되는 개별연구의 수가 10개 이상인 경우 수행한다.
● Egger의 검정은 선형 회귀검정이므로 결과변수가 연속형 자료인 경우 그 사용
이 타당한 반면, log odds ratios를 사용한 funnel plot에서는 p값이 너무 작아 위
양성 결과를 보여준다.
이는 이분형 자료에서 아래의 네 가지 경우에도 발생할 수 있다.
- 중재효과가 클 때
- 연구 간 이질성이 클 때
- 연구 당 사건 발생수가 적을 때
- 모든 연구들의 표본 수가 유사할 때
● Funnel plot의 비대칭성에 대한 시각적·통계적 검정방법은 출판 비뚤림을 정확

하게 예측하지 못하며, 현재까지의 방법들은 타당도 검증이 이루어지지 않았으
므로 주의 깊게 해석해야 한다.
이밖에도 메타 회귀분석을 활용하여 funnel plot의 비대칭성을 검정해볼 수도 있다(이 경우
일반적으로 표준오차에 대한 중재효과 크기의 회귀분석임; random-effects meta-regression
of θi on si). 개념적으로만 본다면 Egger 검정과 메타 회귀분석을 활용한 funnel plot의 비대칭
성 검정은 동등하다고 할 수 있다.
PART2. 메타분석
그림 4-5. 메타 회귀분석을 활용한 funnel plot의 비대칭성 검정 (좌) 자가관리의 경우 소규모 연구 효과가 있다고 보기 어려우며
(p=0.92); (우) 글루코사민의 경우 소규모 연구 효과가 있는 것으로 보임(회귀선이 수직선이라고 보기 어려움, p=0.008).
Reproduced from [British Medical Journal, (Nu¨esch 2010) Copyright 2010] with permission from BMJ Publishing
Group Ltd.
4.3. 누적 메타분석(Cumulative meta-analysis)
PART3. 체계적
누적 메타분석은 특정 순서에 따라(예. 출판년도, 연구의 질 등) 순차적으로 연구결과의 요약
추정치를 더하여 분석하는 것으로 그래프에서 가로축은 일개 연구의 요약통계량이 아닌 각
연구가 추가될 때 결과의 요약추정치를 나타낸다.
문헌고찰과
중재법의 임상적 효과성에 대해 누적된 근거가 통계적으로 효과적이라고 결론내리는 시기가
관련된
언제부터이었는지 확인하고자 할 때 유용하다.
부　록 관련된
주요주요
이슈들
이슈들
그림 4-6. Erythropoietin의 암 관련 빈혈에 대한 효과성에 대한 누적 메타분석(Clark, 2002) Reprinted figure. BioMed Central
(Original publisher)
● 해석: 누적 메타분석 결과, erythropoietin은 암 관련 빈혈 치료에 1995년부터 효과가 있는 것으로 보고되었음

2. 메타분석
! 누적 메타분석을 수행하기 위한 Stata 명령문
5. 민감도 분석 (Sensitivity analysis) ● 이분형 자료
부록
metacum logrr selogrr, eform id(study ) effect(f) graph cline saving(year _
fcummplot, replace)
metacum _ES _seES, id(study ) effect(f) graph cline saving(year _fcummplot,
replace)

4.4. 소규모 연구 영향이 있는 경우 보정 방법들

Funnel plot 비대칭성에 대한 검정은 가능한 비뚤림을 알아내는데 있어 첫
번째 단계라고 할 수 있다. 그 다음 단계로 고려해볼 수 있는 방법은 연구에
서 보고하고 있는 (비뚤림 가능성이 있는) 중재효과 추정치를 보정하는 방법
이다. 보정 방법에는 여러 가지가 있을 수 있으나 여기서는 절삭과 채움 방법
을 중심으로 소개한다.
4.4.1. 절삭과 채움 방법(Trim-and-fill method)

절삭과 채움 방법은 결측되거나 보고되지 않은 연구들의 수와 그에 따라 변
화되는 효과 추정치를 추정하는 방법으로서 그림 4-7과 같다. 절삭과 채움
방법은 imputation된 연구들의 수는 출판 비뚤림을 나타낸다는 - 항상 대칭
적인 funnel plot이 존재한다는 - 매우 강한 가정이 전제된다. 또한 절삭과
채움 방법은 funnel plot의 비대칭성에 대해 출판 비뚤림 이외의 요인에 대
해서는 설명하지 못하므로 절삭과 채움 방법을 통해 조정된(corrected) 중재
효과 추정치 해석 시 매우 주의가 필요하다. (Terrin, 2003; Peters, 2007)
절삭과 채움 방법의 수행력은 이질성이 증가할 때 감소하지만 출판 비뚤림

이 있는 메타분석에서 imputation 없는 메타분석에 비해 ‘절삭과 채움’ 알고
리즘으로 imputation한 메타분석이 비뚤림에 덜 취약하다(Bax, 2009). 절
삭과 채움 방법은 민감도 분석의 일환으로 간주할 수 있다. 절삭과 채움 방법
수행과정은 다음과 같다.
a) 결측되거나 보고되지 않은 연구의 수를 추정(funnel
plot에서 비대칭적인 형태가 나타나게끔 하는 연구들
의 수를 추정)한 다음, 해당 “비대칭적인 연구들”을 절
삭(trimming)한다.
b) 남아있는 연구들(funnel plot에서 대칭적인 형태를

보이는 연구들)을 대상으로 메타분석을 실시하여
중재효과에 대한 결합추정치(pooled estimate)를
계산한다. 재추정치가 여전히 비대칭적으로 보인
PART2. 메타분석
다면 절삭과 재추정의 과정(a와 b과정)을 반복한다
(일반적으로 3-4주기를 거침).
c) b)에서 비대칭성이 남아있지 않다면, a)에서 절삭

시킨 연구들을 funnel plot에 원위치 시킨 뒤,
가운데를 중심으로 반대편(counter part) 같은 위치
에 가상의 값들을 채워 넣는다(filling). 그런 다음 채
워진(imputed) 연구들(흰색 원)을 포함한 메타분석을

수행한다. 대칭축은 요약추정치를 가리키며, 흰 원은
채워진 연구들을 의미한다.
예를 들어 검은색 타원의 요약추정치와 95% 신뢰구

간은 원 메타분석 결과이며(a: ln OR이 0을 포함하지
않음) 흰색 타원의 추정치는 절삭과 채움 방법 적용
후로 치료 효과는 통계적으로 유의하지 않게 되었다
라고 해석할 수 있다.(c: ln OR이 0을 포함하게 됨)
그림 4-7. 절삭과 채움 방법
! 절삭-채움 방법을 수행하기 위한 Stata 명령문
metatrim logrr selogrr, eform funnel print graph id(study )saving(tweedieplot, replace)
metatrim _ES _seES, funnel print graph id(study )saving(tweedieplot, replace)
부　록

2. 메타분석 4.4.2. 기타 보정방법
4. 보고 비뚤림(Reporting bias) 절삭과 채움 방법 이 외에도 최근에는 Copas 선택 모형(Copas, 1999), 회귀
부록
기반 접근법(Stanley, 2008) 등도 시도되고 있으나 본 매뉴얼에서는 다루지
않는다. 보다 상세한 내용은 참고 문헌을 참고하도록 한다.
그림 4-8. 각종 보정 방법을 활용하여 예측한 중재효과의 예. Reproduced from [British Medical Journal,
(Moreno, 2009) Copyright 2009] with permission from BMJ Publishing Group Ltd.
● 해석: 실제 효과 추정치(붉은색 선: FDA 승인자료를 대상으로 합성한 중재효과 추정치로서 출판문헌과

비출판문헌에 대한 값이 모두 존재)와 출판된 문헌만을 대상으로 여러 보정방법들을 활용하여
추정한 효과를 비교하고 있음. 여기서는 회귀선으로 보정한 중재효과 추정치(노란색 선)가 참값에 가장
근접한 것을 확인할 수 있음
! Tips. 메타분석에서의 다양한 그래프 구분하기
• 이질성 확인을 하거나 funnel plot의 비대칭성을 확인할 때(출판 비뚤림 포함)
사용하는 다양한 그래프는 주의 깊게 확인하지 않을 경우 혼동하기 쉽다. 그러
므로 그래프를 해석하기 전에 x축과 y축의 정의를 반드시 먼저 확인하도록 한다.
• x축이 효과 추정치이고 y축이 표준오차인 경우가 가장 흔하나 반대인 경우도
있다. 이런 경우 기울기에 대한 해석이 달라지므로 주의한다.
• 표준오차를 나타내는 축의 경우(일반적으로 y축) 축의 정의가 표준오차인 경우
도 있고 표준오차의 역수인 경우도 있다
• Funnel plot, contour-enhanced plot, Begg의 검정, trim and fill의 경우 큰
범주 내에서 보면 모두 funnel plot에 해당한다.
5. 민감도 분석(Sensitivity analysis)

민감도 분석은 메타분석 연구결과의 강건함(robustness)을 조사하기 위해 수행되는 분석 방법
이다. 추정치가 강건하면 체계적 문헌고찰의 결과에 더욱 확신을 줄 수 있다. 가정이 달라짐에
따라 연구결과가 달라진다면 메타분석 결과의 신뢰성이 떨어지므로 그 원인을 찾고 다른 가정
에 따라 민감도 분석을 수행하는 등의 적절한 조치를 취해야 한다.
그 이유가 연구 특성에 따른 것이라면 연구 특성들(예. intention to treat 분석의 적절성 등)

에 따라 어떤 일차 연구들을 포함 혹은 배제시켜 분석하고 결과의 차이를 관찰해볼 수 있다.
서로 분석결과가 다른 경우 높은 수준의 질을 가진 연구의 통합 추정치에 초점을 두어 결론을
내려야 한다. 한편, 이질성의 원인이 1-2편의 예외적인 연구(이상치, outlier)들 때문이라고
PART2. 메타분석
판단되면, 민감도 분석의 일부로서 이상치를 포함 혹은 배제시킨 결과를 제시할 수 있다.
민감도 분석 수행 시 체계적 문헌고찰의 결과에 큰 영향을 준다고 판단되는 결측 정보를 확인

하였다면, 불확실성을 해결하기 위해 개별연구자를 접촉하거나 개별환자 자료를 확보해야
한다. 불확실성이 해결되지 않았다면 결과는 적절한 정도로 주의 깊게 해석되어야 하며 추후 연
구에 대한 제안을 해야 한다.
그림 5-1. 배정순서 은폐의 적절성에 따른 위약과 비교된 글루코사민의 통증 효과에 대한 민감도 분석 (한국보건의료연구원, 2010)
부　록

2. 메타분석
! 민감도 분석을 수행하기 위한 RevMan 설정방법 및 Stata 명령문
5. 민감도 분석 (Sensitivity analysis) ① RevMan
부록 - 별도의 기능을 제공하고 있지는 않으나 Data and analyses에서 해당 outcome에 대한
연구를 클릭하거나 클릭을 해제하면서 forest plot 및 이질성 등의 변화 양상을 관찰하
는 방법을 활용해 볼 수 있다.
② Stata
metan SE FE SC FC , { or | rr | rd } { fixed | fixedi | random | randomi | peto} by(quality
domain ) label(namevar= study ID ) favours (favours Experimental intervention #
favours Control intervention )
(변수명 (SE FE SC FC)에 대한 설명: 표 1-1 참조)
metan NE ME,final SDE,final NC MC,final SDC,final, fixed or random by(quality domain )
label(namevar=Study ID ) favours (favours Experimental intervention # favours
Control intervention )
(변수명 (NE ME,final SDE,final NC MC,final SDC,final,)에 대한 설명: 표 1-2 참조)
! 주의!
민감도 분석에서 연구의 특성(예. 눈가림의 적절성 여부 등)이나 어떤 가정의 변화에 따라 연구

를 제외시킬 수는 있지만 자료의 분석 단계에서 선택기준을 변화시키는 것은 권장하지 않는다.
! Tips. 민감도 분석과 하위그룹 분석 (Macaskill, 2010)
민감도 분석은 하위그룹 분석과 혼재되어 사용되기도 한다. 민감도 분석이 전체 연구의 일부(subset)를
대상으로 제한하여 분석하는 것을 포함하는 방법이기도 하나 다음의 측면에서 하위그룹 분석과는 구별된다.
민감도 분석 하위그룹 분석
어떠한 특징(공변량으로 표현될 수 어떠한 특징(공변량으로 표현될 수 있음)

있음) 때문에 이런 특징을 가지는 에 따라 연구별로 나누어서 분석하되
분석 시 연구
연구를 제외하고 분석하되 분석에서 모든 군에서의추정치를 계산 (즉, 공변량
포함/배제 여부
공변량의 효과에 대한 추정을 하지 의 효과에 대한 추정을 함) (특정연구를
PART2. 메타분석
않음 배제하고 분석하지 않음)
formal/informal 여부
(분석 수행 후 결과 추정치의 informal (제시하지 않음) formal (제시함)
제시 여부)
연구들은 주관적 기준에 의해 구분될

연구 분류의 기준 연구들은 객관적 기준에 의해 구분됨
수 있음
1~10번 연구에서 이상치 혹은 이질 1~10번 연구에서 연구를 특정 기준으로 나

성의 원인이라고 생각되는 1번, 2번 누어 메타분석 수행
연구만 배제한 후 메타분석 수행
연구비 출처가 비영리기관인 1~7번 연구에
1~10번 연구에 대한 통합 요약 추정 대한 통합 추정치와 연구비 출처가 산업체
예시
치와 3~10번 연구에 대한 통합 요약 인 8~10번 연구에 대한 통합 추정치를 비교

추정치를 비교
(분석에서 배제되는 연구 없음)
(분석에서 배제되는 연구가 있을 수
있음)
부　록

2. 메타분석
3. 이질성(Heterogeneity) 요　약
메타분석 과정을 요약하면 다음과 같다.
부록
1. 자료 종류에 따른 요약 통계량 선정
● 연속형 자료의 경우
중재군과 대조군에서 각각 최종값의 평균, 표준편차 또는 변화량의 평균, 표준편차 또는
두군 간의 평균차와 표준오차를 확보한다.
● 이분형 자료의 경우
중재군과 대조군에서 각각 대상 환자 수, 사건 수 또는 요약통계량(예. 상대위험도, 오즈
비, 위험도비(HR) 등)과 표준오차를 확보한다.
2. 요약 통계량 유형 검토
● 연속형 자료의 경우
추출된 자료 유형을 확인하고 연속형 자료(continuous outcome data)인지(예. 평균과 표
준편차 각각 제시) 혹은 역분산 유형의 자료(generic inverse variance outcome type)인
지를(예. 평균차와 표준오차) 구분한다. 이 때 (중재)결과 측정도구가 동일한지 다른지를
확인하여 가중 평균차(WMD)를 사용할지 표준화된 평균차(SMD)를 사용할지를 결정한
다.
● 범주형 자료의 경우
각 군의 수와 사건 발생 수에 대한 정보가 각각 제시되었는지 혹은 오즈비나 상대위험도
등의 하나의 효과추정치로 제시되었는지를 확인하고 후자의 경우는 역분산 유형의 자료
(generic inverse variance outcome type)이므로 역분산 방법을 사용하여 요약 통계량을
추정한다.
3. 이질성 여부 확인
시각적으로 개별 연구의 치료효과 크기의 방향과 신뢰구간이 겹치는지를 검토한 후
보조적으로 Q-statistic 이나 Higgins’ I2을 확인한다.
4. 요약 통계량 결합을 위한 메타분석 방법 결정 - 이질성이 문제가 되지 않을 때

이질성이 문제되지 않는다면, 통합된 요약추정치를 구하기 위한 메타분석 방법을 결
정한다. 이때는 각 모형의 기본 가정을 고려하여 결정한다.
5. 이질성이 존재한다고 판단될 때

이질성을 감소시키기 위해
① 치료효과를 측정한 측정치를 바꿔 분석해본다.
통합된 오즈비는 위험차와 유사한 결론을 이끌어 내었지만, 위험차는 오즈비에
비해 더욱 이질적인 결과를 보인다는 연구 결과가 있다.(Engels, 2000)
② 이상치(outlier)라고 판단되는 연구들을 제외시켜 분석해본다.
이때 연구유형이 아닌 연구결과에 따라 연구를 제외하는 것은 접근 가능한 근거를 버리거나 적게 사용
하여 비뚤린 결과를 유도할 수 있으므로 주의한다.
6. 이질성에 대한 원인 파악
이질성에 대한 원인을 파악하기 위해 하위그룹분석이나 메타 회귀분석 등을 수행해볼 수 있다.
7. 이질성에 대한 원인을 설명하지 못한 경우
PART2. 메타분석
이질성에 대한 원인을 설명하지 못하였다면, 개별적인 연구들은 메타분석으로 통합되어서는 안 된다.
이러한 경우 질적인 분석방법으로 체계적 문헌고찰(descriptive systematic reviews)을 수행해야 한다.
8. 근거의 수준을 평가하는 과정에서 보고 비뚤림을 확인

해당 메타분석에서 보고 비뚤림의 요인이 있는지 확인해볼 수 있다. Contour-enhanced funnel plot등의
방법을 통해 출판 비뚤림을 고려해볼 수도 있으며 이 외에도 funnel plot의 비대칭성 여부 및 요인에 대해
서도 조사해볼 수도 있다.
9. 메타분석 연구결과의 강건함을 조사하기 위해 민감도 분석 수행

연구 특성에 따른 분석이나 이상치를 포함 혹은 배제시켜 분석해 볼 수 있다.
1. 자료 종류에 따른 요약 통계량 선정
예. 이분형 자료, 연속형 자료, 생존형 자료 등

2. 요약 통계량 결합을 위한 메타분석의 통계적 모형 선정
예. 고정효과 모형, 변량효과 모형, 베이지안 모형 등

3. 이질성 여부 확인
예. 시각적 조사, 통계적 검정 등


3.1 이질성이 문제되지 않는다면, 메타분석 수행

3.2 이질성이 확인된다면, 추가분석 수행
예. 하위그룹 분석, 메타 회귀분석 등
3.3 추가분석으로도 이질성을 일으키는 원인을 설명하지

못한 경우 메타분석을 중단하고 질적으로 기술

4.1 보고 비뚤림 확인
예. Funnel plot의 비대칭성 확인 및 원인 조사 등
부　록

4.2 민감도 분석 수행
그림. 메타분석의 절차

1. 메타분석의 개요 및 자료종류 참고문헌과 읽을거리
2. 메타분석
김달호. R과 WinBUGS를 이용한 베이지안 통계학. 자유아카데미. 2005.
부록 이준영. 메타분석. 대한내분비학회지 2008;23(6):361-378.
한국보건의료연구원. 골관절염 환자에서 글루코사민과 콘드로이틴의 효과. 2010.
Agency for Healthcare Research and Quality (AHRQ). Comparative Effectiveness
Review methods: clinical heterogeneity. 2010.
Agency for Healthcare Research and Quality (AHRQ). Conducting quantitative
synthesis when comparing medical interventions: AHRQ and the Effective Health Care
Program. 2010.
Agency for Healthcare Research and Quality (AHRQ). Meta-regression Approaches:
What, Why, When, and How?. March 2004.
Bax L, Ikeda N, Fukui N, Yaju Y, Tsuruta H, Moons KG. More than numbers: the
power of graphs in meta-analysis. Am J Epidemiol. 2009;169(2):249-55.
Begg CB, Mazumdar M. Operating characteristics of a rank correlation test for
publication bias. Biometrics 1994; 50: 1088-1101.
Borenstein M, Hedges L, Rothstein H. Meta-Analysis. Fixed effect vs. random effects.
2007. available at www.Meta-Analysis.com
Borenstein M, Hedges L, Rothstein H. Julian PT, Hannah R. Rothstein. Introduction to
Meta-Analysis (Statistics in Practice). Wiley. 2009.
Chung KC, Burns PB, Kim HM. A practical guide to meta-analysis. J Hand Surg Am.
2006 Dec;31(10):1671-8.
Clark O, Adams JR, Bennett CL, Djulbegovic B. Erythropoietin, uncertainty principle
and cancer related anaemia. BMC Cancer. 2002:24;2:23.
Copas JB, Shi JQ. A sensitivity analysis for publication bias in systematic reviews. Stat
Methods Med Res. 2001 Aug;10(4):251-65.
Copas J, Shi JQ. Meta-analysis, funnel plots and sensitivity analysis. Biostatistics.
2000 Sep;1(3):247-62.
Deeks JJ, Higgins JPT, Altman DG (editors). Chapter 9: Analysing data and
undertaking meta-analyses. In: Higgins JPT, Green S (editors). Cochrane Handbook
for Systematic Reviews of Interventions Version 5.1.0 (updated March 2011). The
Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org.
DerSimonian R, Kacker R. Random-effects model for meta-analysis of clinical trials:
an update. Contemp Clin Trials. 2007 Feb;28(2):105-14.
DerSimonian R, Laird N. Meta-analysis in clinical trials. Controlled Clinical Trials
1986; 7: 177-188.
Duval S, Tweedie R. Trim and fill: A simple funnel-plot-based method of testing and
adjusting for publication bias in meta-analysis. Biometrics. 2000;56(2):455-63.
Egger M, Smith GD, Schneider M, Minder C. Bias in meta-analysis detected by a simple, graphical test.
BMJ 1997; 315: 629-634.
Engels EA, Schmid CH, Terrin N, Olkin I, Lau J. Heterogeneity and statistical significance in meta-
analysis: an empirical study of 125 meta-analyses. Stat Med. 2000;19(13):1707-28.
Hannah R. Rothstein, Alexander J. Sutton and Michael Borenstein. Publication Bias in Meta-Analysis:
Prevention, Assessment and Adjustments. Wiley. 2005.
Jansen J, Fleurence R, Devine B, Itzler R, Barrett A, Hawkins N, Lee K, Boersma C, Cappelleri J.
PART2. 메타분석
Interpreting indirect treatment comparisons & network meta-analysis for healthcare decision-making:
Report of the ISPOR Task Force on good research practices-Part 1. 2010. available at http://www.ispor.org/
TaskForces/ITC.asp
Jansen JP, Crawford B, Bergman G, Stam W. Bayesian meta-analysis of multiple treatment comparisons:
an introduction to mixed treatment comparisons. Value Health. 2008;11(5):956-64.
Jansen JP, Crawford B, Bergman G, Stam W. Bayesian meta-analysis of multiple treatment comparisons:
an introduction to mixed treatment comparisons. Value Health. 2008;11(5):956-64.
Joannis Ntzoufras. Bayesian Modelling Using WinBUGS. Wiley. 2009.
Johnson ES, Lanes SF, Wentworth CE, Satterfield MH, Abebe BL, Dicker LW. A metaregression analysis of
the dose-response effect of aspirin on stroke. Arch Intern Med. 1999;159(11):1248-53.

Jonathan A. C. Sterne and Roger M. Harbord. Funnel plots in meta-analysis. The Stata Journal.
2004;4:127–141.
Jonathan Sterne. Meta-Analysis: An Updated Collection from the Stata Journal. A Stata Press Publication.
StataCorp Lp. Texas. 2009.
Lu G, Ades AE. Assessing evidence inconsistency in mixed treatment comparisons. J Am Stat Ass.
2006;10(474):447-459.
Lu G, Ades AE. Combination of direct and indirect evidence in mixed treatment comparisons. Stat Med.
2004;23(20):3105-24.
Macaskill P, Gatsonis C, Deeks JJ, Harbord RM, Takwoingi Y. Chapter 10: Analysing and Presenting
Results. In: Deeks JJ, Bossuyt PM, Gatsonis C (editors), Cochrane Handbook for Systematic Reviews of
Diagnostic Test Accuracy Version 1.0. The Cochrane Collaboration, 2010. available at http://srdta.cochrane.
org/
Mantel N, Haenszel W. Statistical aspects of the analysis of data from retrospective studies of disease.
Journal of the National Cancer Institute 1959; 22: 719-748.
Martin D. What are hazard ratios? available at http://www.medicine.ox.ac.uk/bandolier/extra.html
Merle CS, Cunha SS, Rodrigues LC. BCG vaccination and leprosy protection: review of current evidence and
status of BCG in leprosy control. Expert Rev Vaccines. 2010;9(2):209-22.
Moreno SG, Sutton AJ, Ades AE, Stanley TD, Abrams KR, Peters JL, Cooper NJ. Assessment of regression-
부　록
based methods to adjust for publication bias through a comprehensive simulation study. BMC Med Res
Methodol. 2009 Jan 12;9:2.

1. 메타분석의 개요 및 자료종류 Moreno SG, Sutton AJ, Turner EH, Abrams KR, Cooper NJ, Palmer TM, Ades AE.
2. 메타분석
3. 이질성(Heterogeneity) Novel methods to deal with publication biases: secondary analysis of antidepressant
4. 보고 비뚤림(Reporting bias) trials in the FDA trial registry database and related journal publications. BMJ. 2009
부록 Aug 7;339:b2981.
Nuesch E, Trelle S, Reichenbach S, Rutjes AW, Tschannen B, Altman DG, Egger
M, Juni P. Small study effects in meta-analyses of osteoarthritis trials: meta-
epidemiological study. BMJ. 2010 Jul 16;341:c3515.
Parker MJ, Gillespie WJ, Gillespie LD. Effectiveness of hip protectors for preventing
hip fractures in elderly people: systematic review. BMJ. 2006 Mar 11;332(7541):571-4.
Peters JL, Sutton AJ, Jones DR, Abrams KR, Rushton L. Contour-enhanced meta-
analysis funnel plots help distinguish publication bias from other causes of asymmetry.
J Clin Epidemiol. 2008;61(10):991-6.
Peters JL, Sutton AJ, Jones DR, Abrams KR, Rushton L. Performance of the trim
and fill method in the presence of publication bias and between-study heterogeneity.
Statistics in Medicine 2007; 26: 4544-4562
Rucker G, Carpenter JR, Schwarzer G. Detecting and adjusting for small-study effects
in meta-analysis. Biom J. 2011 Mar;53(2):351-68.
Song F, Loke YK, Walsh T et al. Methodological problems in the use of indirect
comparisons for evaluating healthcare interventions: a survey of published systematic
reviews. BMJ 2009:338: 1-7.
Song F, Sheldon TA, Sutton AJ, Abrams KR, Jones DR. Methods for exploring
heterogeneity in meta-analysis. Eval Health Prof. 2001;24(2):126-51.
Song F. What is indirect comparison? 2009. available at: http://www.medicine.ox.ac.
uk/bandolier/painres/download/whatis/What_is_ind_comp.pdf
Stanley TD. Meta-Regression Methods for Detecting and Estimating Empirical Effects
in the Presence of Publication Selection. Oxford Bulletin of Economics and Statistics
70.
Sterne JAC, Egger M, Moher D (editors). Chapter 10: Addressing reporting biases.
In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of
Intervention. Version 5.1.0 (updated March 2011). The Cochrane Collaboration, 2011.
Available from www.cochrane-handbook.org.
Sutton AJ, Abrams KR. Bayesian methods in meta-analysis and evidence synthesis.
Stat Methods Med Res. 2001 ;10(4):277-303
Tan SB. Introduction to Bayesian methods for medical research. Ann Acad Med
Singapore. 2001;30(4):444-6.
Terrin N, Schmid CH, Lau J, Olkin I. Adjusting for publication bias in the presence of
heterogeneity. Statistics in Medicine 2003; 22: 2113-2126.
Thompson SG, Higgins JP. How should meta-regression analyses be undertaken and
interpreted? Stat Med. 2002;21(11):1559-73.
Tierney JF, Stewart LA, Ghersi G, Burdett S, Sydes MR. Practical methods for incorporating summary
time-to-event data into meta-analysis. Trials. 2007;8:16.
van Houwelingen HC, Arends LR, Stijnen T. Advanced methods in meta-analysis: multivariate approach
and meta-regression. Statist. Med. 2002; 21:589–624.
Wallace BC, Schmid CH, Lau J, Trikalinos TA. Meta-Analyst: software for meta-analysis of binary,
continuous and diagnostic data. BMC Med Res Methodol. 2009;9:80.
Yusuf S, Peto R, Lewis J, Collins R, Sleight P. Beta blockade during and after myocardial infarction: an
overview of the randomised trials. Progress in Cardiovascular Diseases 1985; 27: 335-371.
PART2. 메타분석
부　록

2. 메타분석
부록
부록

부록 1. 이분형 자료의 요약 통계량 계산식¹⁾
사건 발생한 대상군 수 사건 발생하지 않은 대상군 수

표시 예 표시 예 합계
중재군 a 2 b 18 ne 20
대조군 c 4 d 16 nc 20
합계 6 24 N 40
1. 상대위험도(Risk ratio, Relative risk, RR)
PART2. 메타분석
a 2
중재군에서 사건이 발생할 위험 ne
20
RR = = c RR = =0.5
대조군에서 사건이 발생할 위험 4
nc
20
a
( ne (
ln(RR )= ln ln(0.5)=-0.69
c
( nc (
SEln(RR) = 1 1 1 1 SEln(0.5) = 1 1 1 1 =0.81

+ - - + - -

a c ne nc 2 4 20 20
2. 상대위험감소(Relative risk reduction, RRR)

RRR =(1-RR ) X 100%　　　RRR =(1-0.5) X 100%=50%
3. 오즈비(Odds ratio, OR)

a
중재군에서의 발생에 대한 오즈 b aX d (182 ( 2 X 16
OR = = c = OR = = =0.44
대조군에서의 발생에 대한 오즈 bX c 4 18 X 4
d ( (
16
aX d
ln(OR )= ln ln(0.44)=-0.82
bX c
SEln(OR) = 1 1 1 1 SEln(OR) = 1 1 1 1 = 0.87 = 0.93

+ + + + + +
a b c d 2 18 4 16
부　록
1) Adpated from CRD' guidance for undertaking reviews in health care. 1.3.5. Data synthesis. Centre for Reviews and Dissemination. UK.
January 2009. Reproduced with permission from the Centre for Reviews and Dissemination, University of York

2. 메타분석
4. Peto 오즈비 (Perto odds ratio, Peto OR)
관찰된 사건 수 (O ) - 기대되는 사건 수 (E )
( V (
(= exp(O-E
4. 보고 비뚤림(Reporting bias) ORpeto = exp
5. 민감도 분석 (Sensitivity analysis) 분산
부록
( (
ORpeto = exp 2-3 = 0.47
1.31
E= ( (
ne
N X
(a+c)
20
( (
E = 40 X (2+4)=3
nenc(a+c)(b+d) 20 X 20 X 6 X 34
v= v= = 1.31
2
N (N-1) 402(40-1)
ln(ORpeto )=ln[ORpeto ] ln(ORpeto )=-0.76
SEln(ORpeto) = 1 SEln(ORpeto) = 1 = 0.87

V 1.31
5. 상대적 위험을 통해 계산되는 절대위험감소

(Absolute risk reduction from relative risk)
ARR=(RR-1)Riskbaseline
6. 오즈비를 통해 계상되는 절대위험감소

(Absolute risk reduction from odds ratio)
(1-Riskbaseline)(1-OR)
ARR= X Riskbaseline
Riskbaseline+OR(1-Riskbaseline)
7. 위험도비를 통해 계산되는 절대위험감소

(Absolute risk reduction from hazard ratio)
ARR=ScontrolHR-Scontrol at chosen time point
8. Number needed to treat(NNT)

1
NNT =
ARR
부록 2. 연속형 자료의 요약 통계량 계산식
1. 표준오차와 신뢰구간으로부터 표준편차 구하기

SD= SE X N
SD
95%CI=mean±1.96
N
(신뢰구간 상한치-신뢰구간 하한치)
SD= N X
2 X 1.96
PART2. 메타분석
90% 신뢰구간인 경우: 1.64
95% 신뢰구간인 경우: 1.96
99% 신뢰구간인 경우: 2.58
2. 신뢰구간으로부터 표준오차 구하기

신뢰구간 상한치-신뢰구간 하한치
SE=
2 X 1.96
90% 신뢰구간인 경우: 1.64

95% 신뢰구간인 경우: 1.96
99% 신뢰구간인 경우: 2.58
3. 정확한 p값으로부터 표준오차 구하기

1) 정확한 p값으로부터 t값 구하기
① 자유도 = 중재군 수 – 대조군 수 – 2
② P값과 자유도에 대응하는 t값 찾기 (two-sample t-test)
2) t값으로부터 표준오차 구하기

평균차
SE=
t값
4. 각 대상군의 표준오차 값으로부터 전체 차이(평균)의 표준오차 구하기

SE△X = SE2 + SE 2
X 중재군 X 대조군
5. 각 대상군의 표준편차 값으로부터 전체 군의 pooled 표준오차 구하기

부　록
SEpooled = SD2중재군+SD2대조군
2
(SD: 표준편차, SE: 표준오차, N: 대상자 수)

부록 3. 메타분석을 위한 소프트웨어 특성 비교 ₂
1. 메타분석의 개요 및 자료종류 )
2. 메타분석
Stat/ R/Open Meta-
부록 MIX CMA RevMan
WinBugs Bugs Analyst
Window Window Window
운영체계 Window Window Window
Mac, Linux Mac, Linux Mac, Linux
버전 10 2.6 1.7 2 5.0.18 Beta1.0
가격 $785 무료 무료 $1,295 무료 무료
자료 반입
가능 가능 가능 가능 가능
(import)
메타분석
인터페이스/ Macros Macros Dedicated Dedicated Dedicated Dedicated
routines
메타회귀분석 가능 가능 불가능 가능 불가능 가능
단일중재군 가능 가능 가능 가능 가능 가능
고정효과모형 가능 가능 가능 가능 가능 가능
변량효과모형 가능 가능 가능 가능 가능 가능
다수준 모델 가능 가능 불가능 불가능 불가능 가능
변량효과
가능 가능 불가능 불가능 불가능 가능
메타회귀분석
베이지안 모형 가능 가능 불가능 불가능 불가능 가능
누적 메타분석 가능 가능 가능 가능 불가능 가능
하위그룹 분석 가능 가능 불가능 가능 가능 가능
Small study
effects
가능 가능 가능 가능 불가능 불가능
(출판 비뚤림
검정)
이분형 자료 가능 가능 가능 가능 가능 가능
연속형 자료 가능 가능 가능 가능 가능 가능
진단검사 자료 가능 가능 불가능 불가능 가능 가능
다변량 가능 가능 불가능 불가능 불가능 가능
방법 보고
(methods 가능 가능 가능 가능 가능 가능
documentation)
Forest plot 가능 가능 가능 가능 가능 가능
Funnel plot 가능 가능 가능 가능 가능 가능
SROC 가능 가능 불가능 불가능 가능 가능
HSROC - 이변량
가능 가능 불가능 불가능 불가능 가능
메타분석
주) 소프트웨어의 버전마다 가능한 통계분석이 다르므로 각 버전에서 제공하는 기능을 살펴보고 사용하도록 한다.
* 연구자, 비영리기관은 무료, 그 외는 유료
2) Wallace BC, Schmid CH, Lau J, Trikalinos TA. Meta-Analyst: software for meta-analysis of binary,
continuous and diagnostic data. BMC Med Res Methodol. 2009;9:80. Reproduced table. BioMed
Central(Original publisher)
부록 4. RevMan에서 분석 가능한 메타분석 요약 통계량 ₃⁾
자료형태 효과 측정치 고정효과 모형 변동효과 모형

멘텔-헨젤 방법(M-H)
멘텔-헨젤 방법(M-H)
오즈비 역-분산 방법(IV)
역-분산 방법(IV)
Peto
이분형자료 멘텔-헨젤 방법(M-H) 멘텔-헨젤 방법(M-H)

상대위험도
역-분산 방법(IV) 역-분산 방법(IV)
멘텔-헨젤 방법(M-H) 멘텔-헨젤 방법(M-H)
PART2. 메타분석
위험차
역-분산 방법(IV) 역-분산 방법(IV)
평균차 역-분산 방법(IV) 역-분산 방법(IV)

연속형자료
표준화된 평균차 역-분산 방법(IV) 역-분산 방법(IV)
관측치와 기대치 사용자 특이적

Peto None
차이, 분산 (default ‘Peto odds ratio’)
역-분산 사용자 특이적 역-분산 방법(IV) 역-분산 방법(IV)
기타 자료 사용자 특이적 None None
주) RevMan에서 각 기능을 제공하고는 있으나 default로 되어 있지 않은 기능들이 있으므로 확인 후 사용

부　록
3) Schunemann HJ, Oxman AD, Higgins JPT, Vist GE, Glasziou P, Guyatt GH. Chapter 11: Presenting results and ‘Summary of findings’
tables. In: Higgins JPT, Green S (editors), Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 (updated March
2011). The Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org. (cochrane handbook, 2011) Copyright ©
2011 The Cochrane Collaboration. Published by John Wiley & Sons, Ltd

PART3.
체계적 문헌고찰과
관련된 주요 이슈들
1. 기존의 체계적 문헌고찰의 활용 · · · · · · · · · · · 203
(Using Existing Systematic Reviews)
1.1. 문헌검색 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 205　
1.2. 체계적 문헌고찰의 질평가 · · · · · · · · · · · · · · · · · 205　
1.3. 자료추출 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 207　

1.4. 추가검색 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 207　
1.5. 기존 체계적 문헌고찰 이용 방법 · · · · · · · · · · · · 207
1.6. 방법과 결과의 보고 · · · · · · · · · · · · · · · · · · · · · · · 207　

1.7. 관련 이슈 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 208　
2. 신속 체계적 문헌고찰 · · · · · · · · · · · · · · · · · · · · · 211

(Rapid systematic reviews)
2.1. 용어 정리 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 211
2.2. 방법론 측면에서의 주요 이슈 · · · · · · · · · · · · · · · 212　
2.3. 신속 체계적 문헌고찰의 역할 · · · · · · · · · · · · · · · 214
1. 기존의 체계적 문헌고찰의 활용
(Using Existing Systematic Review)
2. 신속
(Rapid systematic review)

(Using Existing Systematic Reviews)
요약
• 기존의 체계적 문헌고찰을 활용하는 것이 효율적일 수 있으나, 아직 방법론적으로 정립되지
않았으므로 장점과 단점을 잘 검토하여 활용한다.
• 연구 진행 순서는 1) 사전에 정한 PICOTS-SD에 맞는 체계적 문헌고찰이 있는지 검색, 2) 적
절성 평가, 3) AMSTAR를 이용한 체계적 문헌고찰 질평가 수행, 4) 활용방법 결정, 5) 자료
추출 및 이용의 단계를 거치게 된다.
• 검색 시점, 자료이용 합성 방법, 체계적 고찰의 최선 활용 방법, 추가적 근거의 결합 방법 등에
이슈가 있으며, 아직 정립중인 방법론이기 때문에 실제로 이용할 때는 많은 검토가 필요하다.
PART2. 메타분석
연구에 따라서는 새로운 체계적 문헌고찰 연구를 수행하기보다는, 기존에 출판된 체계적 문헌
고찰을 활용하여 의료기술평가(Health technology assessment,HTA)를 시행
하거나 임상진료지침(Clinical practice guideline, CPG)을 개발하는 것이 효율적일 수 있다.
이러한 연구방법은 아직 방법론적으로 정립되어 있지는 않으며, 추후 확립될 가능성이 있다.
현재로서는 장점과 단점을 검토하여 사용여부를 결정하여야 한다. 장점과 단점은 아래와 같다.
표 1-1. 기존의 체계적 문헌고찰 활용 - 장점과 단점 비교. (AHRQ, 2009) Adapted table AHRQ (Original publisher)

• 시간, 노력, 자원을 아낄 수 있음
• 누락된 연구가 있는지 중복 확인할 수 있음
장점 • 연구 중에 생길 수 있는 방법론적 이슈를 예측, 계획할 수 있음
• 불필요한 중복 연구를 피할 수 있음
• 현재 접근할 수 없는 연구나 구할 수 없는 정보를 검토할 수 있음
• 기존 연구가 오래되거나 질이 낮거나, 핵심 질문에 맞는 연구가 없는 경우
시간과 자원을 오히려 낭비할 가능성이 있음
• 기존 연구에 오류가 있는 경우 오류전파 가능성이 있음
단점
• 기존의 연구를 이용하여 결론을 도출하므로 연구를 수행하는 기관의 신뢰성이나 성실성이 떨어지
는 것으로 평가 받을 수 있음
• 연구방법에 아직 논란이 있음(특히 기존의 체계적 문헌고찰끼리 비교 하는 방법)
부　록

연구수행 방법과 전체 흐름도는 그림 1-1과 같다.
2. 신속
1단계 : 사
전에 정한 PICOTS-SD에 맞는 체계적 문헌고찰이 있는지 검색한다.
2단계 : 검색된 체계적 문헌고찰이 적절한지 평가한다.
3단계 : 적
절하다고 평가하였다면, 검색된 체계적 문헌고찰에 대한 질평가를
수행한 후 기존의 체계적 문헌고찰을 활용하여 평가할지 결정한다.
STEP 1.
사전에 설정한 PICOTS-SD에 대하여
체계적 문헌고찰(SR)을 검색

새로운 체계적 문헌고찰 수행
SR이 검색되었는가?
NO (De novo SR)
 YES
STEP 2.
문헌의 적절성 평가

부적절
참고문헌, 연구배경 및
적절한 SR인가? 내용에 대한 SR을 수기검색
부분적으로 적절
 YES
STEP 3.
문헌의 질 평가

적어도 몇 가지 항목에 대한
NO
문헌의 질이 확실한가?
De novo SR 대신
 YES 검색전략을 사용
STEP 4. (존재하는 SR에서 보고한
기존의 SR을 사용할지 여부에 대한 결정
하나 이상의 SR 검색기간보다 1년 전부터
현재까지 검색하여 문헌을 추가)

STEP 5.
De novo SR 대신
방법 및 결과물 보고 결과를 합성
그림 1-1. 기존의 체계적 문헌고찰을 활용한 의료기술평가 (Using Existing Systematic Reviews) 흐름도. (AHRQ,
2009) Adated from Whitlock, 2008. Reproduced table. AHRQ (Original publisher)
기존의 체계적 문헌고찰을 활용한 의료기술평가가 잘 시행될 수 있는 전제

조건은 다음과 같다.
• 해당 연구의 해당 PICO를 모두 포함하는 적절한 범위의 체계적 문헌고찰

이 존재하는 경우
• AMSTAR 평가 방법론에서 일정 수준 이상의 질을 가진 체계적 문헌고찰
이 존재하는 경우
1.1. 문헌검색
일반적인 검색방법은 앞 장에서 설명된 문헌검색 부분을 참고하면 되며 여기서는 기존의 체계
적 문헌고찰을 활용할 때 적합한 검색 전략만을 제시하고자 한다.
기존의 체계적 문헌고찰을 검색할 때에는 PICOTS-SD에 맞는 검색을 시행해야 한다.

체계적 문헌고찰을 활용할 경우 관련 체계적 문헌고찰을 모두 찾는 것보다는 질 높은 체계적
문헌고찰을 찾는 것이 일차적인 목표가 되기 때문에 많은 문헌을 선별할 수 있는 데이터베이
스를 대상으로 검색하는 것이 필요하다. 그러한 데이터베이스에는 Evidence-based Practice
PART2. 메타분석
Center program, MEDLINE’s Top 120 Index Medicus Journals, Health Technology
Assessments, The Cochrane Library, DARE 등이 있다.
일반 데이터베이스를 이용하는 경우 체계적 문헌고찰에 특화된 검색전략을 이용할 수 있다.

연구주제나 검색할 전자 자료원에 따라 적합한 검색전략이 다를 수 있으나, 일반적으로 SIGN
이나 BMJ Clinical evidence 검색전략이 적합하다. 민감도를 높이기 위해서는 아래의
세 가지 검색전략을 ‘OR'로 묶을 수 있다. Cochrane library는 CDSR과 DARE를
제공하기 때문에 별도의 검색전략은 필요하지 않다. 상세한 검색전략은 부록을 참고한다.
표 1-2. 체계적 문헌고찰을 찾는 검색전략을 제공하는 출처

출처 검색식 적용 가능 데이터베이스
BMJ 부록 참조 Medline, EMBASE
SIGN 부록 참조 Ovid-Medline, Ovid-EMBASE
PubMed systematic[sb] PubMed
1.2. 체계적 문헌고찰의 질평가

체계적 문헌고찰의 질평가는 AMSTAR(assessment of multiple systematic reviews)를 사용
한다. 체계적 문헌고찰의 질평가는 잘 수행된 체계적 문헌고찰을 선택하는 중요한 과정이다.
사용하는 질평가도구 적용 연구설계

AMSTAR 체계적문헌고찰(Systematic reviews)
부　록

체계적 문헌고찰의 질평가는 최소한 2명 이상이 수행하여야 하며 의견이 다
2. 신속
체계적 문헌고찰 를 때 이를 해소할 수 있는 방법을 명시한다. 한 두 연구를 대상으로 시범 평
가를 수행하여 평가자의 의견이 일치하는 지 검증한다.
AMSATR는 총 11개 항목을 평가하도록 이루어진 체크리스트 방식의 도구

이며, 타당도 검증(validation)이 된 도구라는 장점을 지닌다(Shea, 2009).
평가자는 도구를 이용할 때 각 부분 항목에 대하여 ‘예’, ‘아니요’, ‘대답할 수
없음’, ‘적용할 수 없음’ 네 가지로 대답한다. ‘예’는 검토하는 체계적 문헌고
찰이 해당항목에 관하여 적절히 다루었다는 것을 의미하며, ‘아니요’는 해당
항목에 관하여 잘 수행되지 않았을 가능성을 의미한다. ‘대답할 수 없음’은
해당항목을 시행했는지 알 수 없는 경우를 의미하며, ‘적용할 수 없음’은 해당
항목을 적용할 수 없어 수행하지 못한 경우라 할 수 있다.
하지만, 아직까지는 AMSTAR 질평가 결과를 어떻게 활용할 것인지에

대해 합의가 되지 않은 부분이 있다. AMSTAR에서 주요 영역을 정하고 주요
영역의 문항에 가중치를 부여할지에 대한 여부와 체계적 문헌고찰의 질을
범주화 하는 방법이다. AMSTAR 결과를 이용하는 방법은 다양하고, 합의된
방법이 없는 만큼 어떠한 방법을 선택할 것인지 연구진 내부의 충분한 논의
가 필요할 수 있다. 현재로서는 AMSTAR를 점수화하여 0-3점이면 낮은 질,
4-7점이면 중등도의 질, 8-11점은 높은 질로 분류하는 방법이 추천된다.
AMSTAR로 체계적 문헌고찰의 질을 평가하여 일정 정도의 질을 가진 것으

로 판단될 때, 해당 체계적 문헌고찰을 활용할 수 있다. 일정 정도는 현재
합의된 내용이 없으므로 연구진에서 합의하여 결정한다. 일정 정도 이상의
질을 가진 체계적 문헌고찰이 없는 경우에는 새로운 체계적 문헌고찰을 시행
할 수 있다. AMSTAR 영문판과 국문판 전문은 부록을 참조한다.
1.3. 자료추출
체계적 문헌고찰의 어떠한 내용을 어떻게 이용할지는 매우 다양한 방법이 있다. 아래 표에 제시
된 목록 중 필요한 항목을 선정하여 해당 내용을 체계적 문헌고찰에서 추출한다.
표 1-3. 선택된 체계적 문헌고찰에서 이용 가능한 자료 목록. (AHRQ, 2009) Adapted table AHRQ (Original publisher)
• 일차 연구 목록
• 일차 연구의 추출값
• 질평가 도구 및 결과*
• 체계적 문헌고찰의 결론
PART2. 메타분석
• 검색 전략
• 포함/배제 기준
* 단, 다른 질평가 도구를 이용하여 평가할 예정이라면 일차문헌을 모두 찾아 재평가해야 한다.
1.4. 추가검색
체계적 문헌고찰의 주제가 임상연구가 많을 가능성이 있는 분야인 경우에는 추가 검색이 필요
할 수 있다. 선택한 체계적 문헌고찰의 최종 검색일을 확인한 후, 최종검색일의 1년 전부터
현재까지 검색한다. 일차 문헌의 검색 방법은 ‘PART I. 3. 검색방법’을 참고하면 된다. 검색

전략의 경우 선택한 체계적 문헌고찰에 포함되어 있다면, 그대로 이용할 수도 있으며, 새롭게
개발할 수도 있다. 추가 검색된 문헌이 있다면, 질평가와 자료추출, 합성 등을 새로 시행할
필요가 있다.
1.5. 기존 체계적 문헌고찰 이용 방법

선택된 체계적 문헌고찰의 결과를 어떻게 이용할지에 대해서도 아래와 같은 다양한 방법들이
있다.
• 기존 체계적 문헌고찰의 결과를 요약하여 결론 자체로 받아들임

• 최신 근거를 추가하여 메타분석하고 이를 바탕으로 기존의 체계적 문헌고찰 재구성함
• 문헌 검색 전략을 이용하여 추가 검색하고 새로운 체계적 문헌고찰 수행함
• 여러 체계적 문헌고찰이 있을 때 결과가 서로 다른 부분의 이유를 다룸
• 문헌 검색 전략만을 받아들임
1.6. 방법과 결과의 보고

기존의 체계적 문헌고찰을 활용한 체계적 문헌고찰을 수행하면서 사용한 방법과 결과를 아래
부　록
그림 1-2와 같은 형태로 보고할 수 있다.

문헌검색전략에 의해 검색된 검색된 전체문헌 (n=109)
체계적 문헌고찰 (n=109) 국내DB(n=14), 국외DB(n=95)
2. 신속
중복 제거된 문헌(n=13)
관련성이 없는 문헌(n=85)
AMSTAR로 평가한 체계적 문헌고찰

(n=11)
AMSTAR에서 poor로
평가된 체계적 문헌고찰 (n=8)
선택된 체계적 문헌고찰

(n=3)
그림 1-2. 기존의 체계적 문헌고찰 이용 연구 흐름도
1.7. 관련 이슈
기존의 체계적 문헌고찰을 활용하는데 있어 아직까지 합의된 연구방법이 없기 때문에
많은 이슈가 있을 수 있다.
아직까지 합의된 연구방법이 없기 때문에 많은 이슈가 있을 수 있다.
• 검색 시점은?
　최근의 체계적 문헌고찰을 이용할 가능성이 높기 때문에 언제 이후의 체계적 문헌
고찰을 검색할 것인지 논란이 있을 수 있다. 일반적으로 2000년 이후에 체계적
문헌고찰의 출판이 활발해졌기 때문에, 그 이후의 연구를 검색할 수 있겠다. 중재
등의 도입 시기를 고려하여 년도를 정할 수 있다.
• 자료이용 합성 방법
　1.3과 1.5에서 논의한 것처럼 자료를 이용하거나 합성하는 방법은 매우 다양할 수
있다. 결론을 그대로 이용하느냐, 추출된 자료를 이용하여 새로운 합성을 시도하느
냐 등은 주제 및 연구현황에 따라 달라질 수 있기 때문에 어떠한 방법을 선택할 것
인지 많은 검토가 필요하다.
• 체계적 문헌고찰에 대한 최선의 활용 방법

　아직까지 어떻게 활용하여 연구결과를 도출하는 것이 최선인지 연구된 바가 없기
때문에 다양한 방법으로 활용되고 있다. 이에 대한 추가적인 연구가 필요하다.
• 기존 체계적 문헌고찰에 추가적인 근거를 결합하는 방법

　추가검색을 통해 새롭게 포함된 문헌이 있다면, 이를 어떻게 기존의 연구결과에
합성할지에 대해 논의가 필요하다.
! Tips
• 임상연구가 많지 않을 것으로 예상되는 주제(예. 로봇수술, 치매에서의 ginkgo biloba)는 위와 같은

방법으로 시간과 노력을 줄이지 못할 수 있으므로, 주제에 따라 위의 방법론 사용여부를 잘 판단하여
결정해야 한다.
PART2. 메타분석
Shea B, Grimshaw J, Wells G, Boers M, Andersson N, Hamel C, et al. Development of AMSTAR: a measurement tool
to assess the methodological quality of systematic reviews. BMC medical research methodology. 2007;7(1):10-17.
Shea B, Hamel C, Wells G, Bouter L, Kristjansson E, Grimshaw J, et al. AMSTAR is a reliable and valid measurement
tool to assess the methodological quality of systematic reviews. Journal of clinical epidemiology. 2009;62(10):1013-20.
White CM, Ip S, McPheeters M, et al. Using existing systematic reviews to replace de novo processes in conducting
Comparative Effectiveness Reviews. In: Agency for Healthcare Research and Quality. Methods Guide for Comparative
Effectiveness Reviews [posted September 2009]. Rockville, MD. available at: http://effectivehealthcare.ahrq.gov/
healthInfo.cfm?infotype=rr&ProcessID=60.

Whitlock EP, Lin JS, Chou R, Shekelle P, Robinson KA. Using existing systematic reviews in complex systematic
reviews. Ann Intern Med 2008;148:776-82.
부　록

2. 신속
2. 신속 체계적 문헌고찰

(Rapid systematic reviews)
요약
• 신속 체계적 문헌고찰이란 체계적 문헌고찰보다 좁은 핵심질문에 대해 보다 짧은 시간 내 이
루어진 체계적 문헌고찰 형태의 보고서로 정의할 수 있다.
• 신속 체계적 문헌고찰에서 가장 중요한 부분은 시의적절성 (timeliness)과 근거의 질
사이의 균형을 유지하는 것이다. 현재까지 각 기관별로 다양한 방법을 사용하고 있었으며
공통된 방법론을 찾을 수 없었다.
• 시의적절성을 달성하기 위해 문헌검색을 간소화하는 것은 연구결과에 비뚤림을 발생시킬
가능성이 있으며, 비뚤림 위험 평가를 생략할 경우 비뚤림 발행 위험이 유의하게 관찰되었
PART2. 메타분석
다.
• 방법론을 간소화하지 않고 연구질문을 구체화하여 시의적절성을 달성하는 방법도 제기되고
있으나 현실적으로 시행하기 용이하지 않다.
• 신속 체계적 문헌고찰은 방법론 간소화로 인한 제한점을 가지고 있지만 시의적절하게 근거
를 제공하는 초기 보고서 역할을 할 수 있으며, 추후 완전한 체계적 문헌고찰에 의해 보완
되어야 한다.
• 신속 체계적 문헌고찰 작성 시에는 방법론상의 제한점과 그로 인해 발생이 예상되는 비뚤림
에 대하여 최대한 객관적이고 자세하게 보고하는 것이 필수적이다.

신속 체계적 문헌고찰(Rapid systematic reviews, Rapid SR)은 용어, 정의, 시행 기간,
방법론 등 여러 요소에 대하여 아직은 합의된 결론을 찾아가는 단계에 있으며, 현재 통상적
으로 체계적 문헌고찰보다 좁은(narrowed) 핵심질문에 대해 보다 짧은 시간 내 이루어진 체계
적 문헌고찰 형태의 보고서로 받아들여지고 있다.
따라서 본 매뉴얼에서는 정리된 방법론을 제시한다기보다는 방법론 관련 주요 이슈와 신속

체계적 문헌고찰의 역할을 소개하고, 추후 연구에 대하여 제안하고자 한다.
2.1. 용어 정리
현재 신속검토 관련 용어는 사용자에 따라 달리 쓰인다. 용어 사용의 혼란을 피하기 위하여
개념적으로 신속 검토(rapid reviews), 신속 체계적 문헌고찰(rapid systematic reviews),
신속하게 수행하나 체계적 문헌고찰의 방법론을 차용하지 않은 것(rapid non-SR), 세 가지 용
어로 구분하여 사용하도록 한다. 세 가지 용어는 그림 2-1과 같은 관련성을 가진다. 이러한 관
련성에 따르면 신속 체계적 문헌고찰은 신속검토의 한 부분이다.
부　록

Rapid Reviews
2. 신속
Rapid SR
Rapid non-SR
(Rapid HTA)
그림 2-1. 신속 검토(rapid reviews)와 신속 체계적 문헌고찰(rapid systematic reviews)의 개념도
2.2. 방법론 측면에서의 주요 이슈

신속 체계적 문헌고찰은 기본적으로는 체계적 문헌고찰의 방법론을 차용
하지만 이를 보다 신속하게 수행해야 한다. 그렇기 때문에 근거의 질을 유지
하면서도 시의 적절성(timeliness)을 달성하는 것이 가장 큰 이슈이다. 시의
적절성을 달성하기 위하여 제한된 문헌검색, 비뚤림 위험 평가 생략이 빈번
하게 사용되고 있는데, 이것이 연구결과와 근거의 질에 어떤 영향을 끼칠지
에 대해서 고찰할 필요가 있다.
2.2.1. 제한적 문헌검색

1) 신속 체계적 문헌고찰에서 제한적 문헌 검색 현황
ASERNIP-S 2007년 보고서에서 36개의 신속 체계적 문헌고찰과
13개의 체계적 문헌고찰의 검색전략을 비교하였다. 복수 응답 허용에
의한 결과로, 신속 체계적 문헌고찰에서는 포괄적 전자데이터베이스 검색
과 제한된 전자데이터베이스 검색을 한 비율이 비슷하였다. 반면, 체계적
문헌고찰의 경우 보고된 모든 수가 포괄적 전자데이터베이스 검색을 하였
고 수기 검색과 회색문헌 검색 빈도도 훨씬 높았다.(ASERNIP-S, 2007)
표 2-1. 신속 검토와 체계적 문헌고찰의 검색 전략 비교(ASERNIP-S, 2009) Reproduced table. ASERNIP-S
(Original publisher)
문헌검토방법
검색전략 신속 체계적 문헌고찰 체계적 문헌고찰
(n=36) (n=13)
포괄적 전자 데이터베이스 검색, n(%) 18(50.0) 13(100)
제한된 전자 데이터베이스 검색, n(%) 20(55.5) 4(30.8)
수기 검색, n(%) 9(25.0) 9(69.2)
회색문헌 검색, n(%) 15(41.7) 10(76.9)
2) 제한된 문헌 검색이 연구결과에 끼치는 영향에 대해 기존 연구들
주요 전자 데이터베이스에서 쉽게 검색 가능한 영어 출판 연구만 포함했을 때와, 언어제한
없이 포괄적으로 검색을 시행한 메타분석의 효과추정치는 많은 경우 유사하였다. 그러나
주제별로 하위그룹 분석을 시행하였을 때 편차가 컸고, 주제에 따라서는 회색문헌 검색과
비영어 출판 연구 포함이 필수적인 경우도 있었다(예. 보완대체 의학) 또한, 주요
데이터베이스의 영어 연구만 포함해도 효과추정치가 크게 달라지지 않는 주제
(예. 심장학, 산과, 부인과)라 하더라도, 제한된 문헌 검색으로 인하여 효과 추정치에
영향을 미칠만한 개별연구가 누락될 가능성은 항상 존재한다(Egger, 2003).
PART2. 메타분석
주요 전자데이터베이스 검색만으로도 포괄적 검색을 확보된 연구의 대부분이 확보 가능
하다고 보고한 연구들도 있지만 특정연구유형의 연구수에 대한 것으로, 제한된 문헌
검색이 연구결과 (효과 추정치 등)와 근거의 질에 미치는 영향에 대해서는 체계적인
연구가 향후 필요하다고 논하고 있다(Royle&Milne, 2003).
따라서 신속 체계적 문헌고찰에서 제한된 문헌검색을 해도 되는지에 대해서는 결론을

내릴 수 없으며, 제한된 문헌 검색을 한 경우 연구결과와 근거의 질에 미치는 영향에
대하여 임상전문가 및 방법론 전문가와의 논의가 반드시 필요하다.

2.2.2. 비뚤림 위험 평가 생략
비뚤림 위험 평가 생략이 연구결과에 끼치는 영향에 대해 기존 연구들을 검토한 결과, 배정
순서은폐와 눈가림이 제대로 시행되지 않은 질 낮은연구를 포함한 경우 효과추정치가 유의하게
높아져 질 낮은 연구에 의해 중재법의 연구가 과대 추정되는 비뚤림의 가능성이 제기되었다
(Egger, 2003).
따라서 개별 연구에 대한 비뚤림 위험 평가를 시행하여 일정 수준 이하의 연구의 포함여부에

대해 민감도 분석을 시행하는 것은 신속 체계적 문헌고찰에서도 반드시 필요한 것으로 보인
다. 자원이 한정되어 방법론을 간소화해야 하는 경우, 문헌검색을 포괄적으로 하는 것보다 개별
연구의 비뚤림 위험 평가를 제대로 시행하는 것이 잘못된 연구 결과를 제시하게 될 위험성을
줄일 수 있다.
부　록

(Using Existing Systematic Review) 2.2.3. 좁은 연구질문
2. 신속
(Rapid systematic review) 체계적 방법론을 사용하되, 임상 전문가와 이해집단과의 논의를 통해
현 시점에서 가장 필요한 근거에 선택 집중하여 연구 질문을 좁힘으로써
시의적절성을 달성하는 것이 제안되고 있다.(ASERNIP-S, 2007) 이 경우
신속 체계적 문헌고찰에서 방법론 간소화로 인해 잘 못된 연구결과가 도출
될 수 있다는 심각한 위험성을 배제할 수 있다.
그러나 현실적으로 연구 질문의 범위와 시행기간은 의사결정자의 요구에

따라 미리 정해져 조정의 여지가 없는 경우가 많다. 실제로도 극히 소수의
의료기술평가기관만이 연구 질문을 좁힘으로써 시의적절하면서도 양질의
근거를 제공하는 것을 시도하고 있다.
2.3. 신속 체계적 문헌고찰의 역할

방법론의 간소화가 연구결과와 근거의 질에 끼치는 영향에 대하여 밝혀지지
않은 상태에서 방법론을 간소화하여 시의적절성을 달성하는 것은 항상
위험이 존재한다. 이러한 상황에서 신속 체계적 문헌고찰은 제한점을 가지고
있으며 추후 완전한 체계적 문헌고찰에 의해 후행되는 초기 보고서의 역할을
할 수 있다.
이 때 시의적절성을 달성하기 위해 사용한 방법론과 제한점, 그리고 제한점

으로 인한 비뚤림이 연구결과와 근거의 질에 미치는 영향에 대하여 최대한
객관적이고 자세하게 보고하는 것이 필수적이다. 다수의 연구에서 방법론
의 투명한 기술에 대한 중요성과 함께 신속 체계적 문헌고찰의 결론이 항상
정확한 사실을 전달하는 것은 아니며 추후 완전한 체계적 문헌고찰에 의해
반드시 보완되어야 한다고 보고하고 있다(Ganann, 2010).
Andersen SE, Andersen S, Bonnevie BM et al. Health Technology Assessment Handbook. Danish Centre for
Evaluation and Health Technology Assessment. Sundhedsstyrelsen. 2007.
Australian Safety and Efficacy Register of New Interventional Procedures-Surgical(ASERNIP-S) Rapid
versus Full Systematic Reviews: An Inventory of Current Methods and Practice in Health Technology
Assessment. 2007. The Royal Australasian College of Surgeons.
Best L, Stevens A, Colin-Jones D. Rapid and Responsive Health Technology Assessment. Journal of Clinical
Effect. 1997; 2(2): 51-56.
PART2. 메타분석
Burls A. Evolving Methods of Technology Appraisal. University of Birmingham. 2004.
Andersen SE, Andersen S, Bonnevie BM et al. Health Technology Assessment Handbook. Danish Centre for
Evaluation and Health Technology Assessment. Sundhedsstyrelsen. 2007.
Australian Safety and Efficacy Register of New Interventional Procedures-Surgical(ASERNIP-S) Rapid
versus Full Systematic Reviews: An Inventory of Current Methods and Practice in Health Technology
Assessment. 2007. The Royal Australasian College of Surgeons.
Best L, Stevens A, Colin-Jones D. Rapid and Responsive Health Technology Assessment. Journal of Clinical
Effect. 1997; 2(2): 51-56.
Burls A. Evolving Methods of Technology Appraisal. University of Birmingham. 2004.
Canadian Agency for Drugs and Technologies in Health. http://www.cadth.ca/index.php/en/htis

Egger M, Juni P, Bartlett C, Holenstein F, Sterne J. How important are comprehensive literature searches
and the assessment of trial quality in systematic reviews? Empirical study. Health Technol Assess.
2003;7(1):1-76.
Ganann R, Ciliska D, Thomas H. Expediting Systematic Reviews: Methods and Implications of Rapid
Reviews. Implementation Science. 2010; 5(56).
Government Social Research Service(GSR)
Hailey D, Corabian P, Harstall C, Schneider W. The Use and Impact of Rapid Health Technology
Assessment. International Journal of Technology Assessment in Health. 2000; 16(2): 651-6.
Hailey D. A Preliminary Survey on The Influence of Rapid Health Technology Assessments. International
Journal of Technology Assessment in Health Care. 2009; 25(3): 415-418.
http://www.civilservice.gov.uk/my-civil-service/networks/professional/gsr/resources/rea-methods-
rapid-evidence-assessment.aspx
Maddern G, Rapid versus Full Systematic Reviews: Finding The Balance. 2010 Health Technology
Assessment International 2010. 7th Annual Meeting Plenary Session Presentation.
National Institute for Health and Clinical Excellence. Guide to The Single Technology Appraisal Process.
2009. http://www.nice.org.uk/media/8DE/74/STA_Process_Guide.pdf
Royle P, Milne R. Literature Searching for Randomized Controlled Trials Used in Cochrane Reviews: Rapid
versus Exhaustive Searches. International Journal of Technology Assessment in Health Care. 2003; 19(4):
부　록
591-603.

1. 기존의 체계적 문헌고찰의 활용 Shekelle P, Newberry S, Maglione M et al. Assessment of the Need to Update
Comparative Effectiveness Reviews. Report of an Initial Rapid Program Assessment.
2. 신속
(Rapid systematic review) Agency for Healthcare Research and Quality. 2009.
Vestergaard M, Ehlers L, Kidnolm K et al. Introduction to Mini-HTA: A Management
and Decision Support Tool for The Hospital Service. Danish Centre for Evaluation and
Health Technology Assessment. Sundhedsstyrelsen. 2005.

부록
부록 1. 체계적 문헌고찰 보고지침(PRISMA) · · · · · · · · · · · · · · · · · · · · 220
부록 2. 체계적 문헌고찰의 질평가 도구(AMSTAR) · · · · · · · · · · · · · 226
부록 3. 연구설계별 검색필터 (Search filters) · · · · · · · · · · · · · · · · · · 230
3.1 체계적 문헌고찰(Systematic reviews) · · · · · · · · · · · · · · · · · · · · · · 231　

3.2 무작위배정 비교임상시험(Randomized controlled Trials) · · · · · · 236　
부록 4. 보건의료 자료 정보원 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 242　

(Healthcare Information Resource)
부록 1. 체계적 문헌고찰 보고 지침(PRISMA)
1. 체계적 문헌고찰 보고지침(PRISMA)
2. 체
계적 문헌고찰의 질평가 도구 PRISMA 영문 ¹⁾
(AMSTAR)
3. 연구설계별 검색필터(Search filters)

- 체계적 문헌고찰(Systematic review)
Reported
Section/Topic # Checklist item
- 무작위배정 비교임상시험
(Randomized controlled Trial)
on page
4. 보건의료 자료 정보원
(Healthcare Information Resource) TITLE
Identify the report as a systematic review, meta-analysis,
Title 1
or both.
ABSTRACT
Provide a structured summary including, as applicable:
background; objectives; data sources; study eligibility
criteria, participants, and interventions; study appraisal
Structured summary 2
and synthesis methods; results; limitations; conclusions
and implications of key findings; systematic review
registration number.
INTRODUCTION
Describe the rationale for the review in the context of what
Rationale 3
is already known.
Provide an explicit statement of questions being

Objectives 4 addressed with reference to participants, interventions
, comparisons, outcomes, and study design (PICOS).
METHODS
Indicate if a review protocol exists, if and where it can be
protocol and registration 5 accessed (e.g., Web address), and, if available, provide
registration information including registration number.
Specify study characteristics (e.g., PICOS, length of follow-

up) and report characteristics (e.g., years considered,
Eligibility criteria 6
language, publication status) used as criteria for eligibility,
giving rationale.
Describe all information sources (e.g., databases with

Information sources 7 dates of coverage, contact with study authors to identify
additional studies) in the search and date last searched.
Present full electronic search strategy for at least one

Search 8 database, including any limits used, such that it could be
repeated.
State the process for selecting studies (i.e., screening,

Study selection 9 eligibility, included in systematic review, and, if applicable,
included in the meta-analysis).
Describe method of data extraction from reports (e.g.,

piloted forms, independently, in duplicate) and any
Data collection process 10
processes for obtaining and confirming data from
investigators.
1) Liberati A, Altman DG, Tetzlaff J, Mulrow C, Gøtzsche PC, Ioannidis JP, . The PRISMA statement for reporting systematic
reviews and meta-analyses of studies that evaluate health care interventions: explanation and elaboration. PLoS Med. 2009
Jul 21;6(7):e1000100. Epub 2009 Jul 21. Reproduced table and figure. PLoS Medicine (Original publisher)
List and define all variables for which data were sought (e.g., PICOS, funding
Data item 11
sources) and any assumptions and simplifications made.
Describe methods used for assessing risk of bias of individual studies (including
Risk of bias in individual
12 specification of whether this was done at the study or outcome level), and how
studies
this information is to be used in any data synthesis.
Summary measures 13 State the principal summary measures (e.g., risk ratio, difference in means).
Describe the methods of handling data and combining results of studies, if done,
Synthesis of results 14
PART2. 메타분석
including measures of consistency (e.g., I2) for each meta-analysis.
Risk of bias across the Specify any assessment of risk of bias that may affect the cumulative evidence
15
studies (e.g., publication bias, selective reporting within studies).
Describe methods of additional analyses (e.g., sensitivity or subgroup

Additional analysis 16
analyses, meta-regression), if done, indicating which were pre-specified.
RESULTS
Give numbers of studies screened, assessed for eligibility, and included in the
Study selection 17
review, with reasons for exclusions at each stage, ideally with a flow diagram.
For each study, present characteristics for which data were extracted (e.g., study
Study characteristics 18
size, PICOS, follow-up period) and provide the citations.

Risk of bias within Present data on risk of bias of each study and, if available, any outcome-level
19
individual studies assessment (see Item 12).
For all outcomes considered (benefits or harms), present, for each study: (a)
Result of individual studies 20 simple summary data for each intervention group and (b) effect estimates and
confidence intervals, ideally with a forest plot.
Present results of each meta-analysis done, including confidence intervals and

Synthesis of results 21
measures of consistency.
Risk of bias across studies 22 Present results of any assessment of risk of bias across studies (see Item 15).
Give results of additional analyses, if done (e.g., sensitivity or subgroup analyses,

Additional analysis 23
meta-regression [see Item 16]).
DISCUSSION
Summarize the main findings including the strength of evidence for each main
Summary of Evidence 24 outcome; consider their relevance to key groups (e.g., health care providers,
users, and policy makers).
Discuss limitations at study and outcome level (e.g., risk of bias), and at review
Limitations 25
level (e.g., incomplete retrieval of identified research, reporting bias).
Provide a general interpretation of the results in the context of other evidence,

Conclusions 26
and implications for future research.
Funding reference
Funding 27 Describe sources of funding
부　록

# of records identified # of additional records
Identification
2. 체
계적 문헌고찰의 질평가 도구 through databases identified through
(AMSTAR) searching other sources
 
(Randomized controlled Trial) # of records after duplicates removed
Screening
(Healthcare Information Resource) 

# of records screened # of records excluded

Eligibility
# of full-text articles # of full-text articles excluded,

assessed for eligibility with reasons

# of studies included in
qualitative synthesis
Included

# of studis included in quantitative
synthesis (meta-analysis)
그림. Flow of information through the different phases of a systematic review

PRISMA 국문 ²⁾
항목 보고된
섹션/주제 번호
항목 체크리스트 페이지
제목
제목 1 체계적 문헌고찰 또는 메타분석(또는 양쪽 모두) 임을 알 수 있다.
초록
적용 가능한 경우, 다음의 내용을 포함하는 구조화된 요약을 제공한다: 배경, 목적,
2 자료원, 선정기준, 연구대상, 중재, 연구의 질, 자료 합성 방법, 결과, 제한점, 결론, 연
PART2. 메타분석
구조화된 요약
구 결과의 의의, 체계적 문헌고찰 등록 번호
서론
필요성 3 현재까지 알려진 것에 비추어 연구의 필요성에 대해 기술한다.
PICOS(연구대상, 중재, 비교중재, (중재)결과, 연구설계) 형식으로 핵심질문을 명확

연구목적 4
하게 기술한다.
방법
프로토콜이 있다면 이를 명시하고, 이에 대한 접근 방법(예: 웹 주소)과 등록 번호와
프로토콜과 등록 5
같은 등록 정보를 제시한다.
선정기준으로 명시된 연구 특성(예: PICOS, 추적관찰기간)과 보고 특성(예: 연도

선정기준 6

제한, 언어, 출판 상태)을 기술하고 그 이유를 제시한다.
검색에 사용한 모든 정보원(예: 데이터베이스와 해당 데이터베이스의 자료제공

정보원 7
연도, 저자 접촉)과 최종 검색일을 명시한다.
적어도 하나의 데이터베이스에 대하여 검색제한을 포함한 검색전략 전체를 제시하

검색 8
여 검색을 재현할 수 있게 한다.
문헌선택 과정, 예를 들어, 체계적 문헌고찰의 경우 선별, 선정, 포함과정, 그리고

문헌선택 9
적용 가능한 경우 메타분석의 포함과정에 대해 명시한다.
자료추출 방법(예: 시범 평가 후 확정된 추출양식, 독립적 중복 수행)과 연구자로부터

자료수집 과정 10
자료를 구득하고 확인하는 과정에 대해 기술한다.
자료추출 대상의 목록과 정의를 제시하고(예: PICOS, 연구비 출처) 가정한 내용과 단
자료추출 항목 11
순화한 내용을 제시한다.
개별 연구의 비뚤림 위험을 평가한 방법(각 연구 단위 또는 결과변수 단위로 수행되었

개별 연구의 비뚤림 위험 12
는지 여부 포함)이 무엇인지, 평가결과를 자료합성에 어떻게 반영하였는지 기술한다.
요약 측정치 13 주요 요약 측정치(예: 위험비, 평균 차이)를 명시한다.
자료가공 방법 및 결과합성 방법을 제시하고 메타분석을 수행하였다면 개별 분석

자료합성 14
에서의 일관성 측정 방법(예: I2)을 기술한다.
근거의 누적에 영향을 미칠 수 있는 비뚤림 위험 평가 방법을 명시한다. (예: 출판 비뚤림,

전체적 비뚤림 위험 15
개별 연구의 선택적 보고)
추가 분석 방법(예: 민감도 분석, 하위그룹 분석, 메타 회귀분석)을 기술하고, 추가분석이

추가 분석 16
부　록
사전에 계획되었다면 사전에 계획된 방법이 무엇인지 서술한다.

결과
2. 체
계적 문헌고찰의 질평가 도구
(AMSTAR) 선별, 선정 및 최종 포함의 각 단계에서 평가된 연구 수와
연구선택 17
3. 연구설계별 검색필터(Search filters) 배제된 연구 수 및 이유를 흐름도와 함께 제시한다.
- 무작위배정 비교임상시험 개별연구마다 추출된 자료의 특성(예: 연구의 규모, PICOS,
(Randomized controlled Trial) 연구특성 18
추적관찰기간)과 서지정보를 제시한다.
(Healthcare Information Resource) 개별 연구의 비뚤림 위험에 대한 평가 결과를 제시하고, 개별
개별 연구의 비뚤림 위험 19
(중재)결과 수준의 평가가 있다면 기술한다(12번 항목 참조)
개별 연구에서 고려한 모든 (중재)결과(편익 또는 위해)에

개별 연구의 결과 20 대해 다음을 제시한다: 개별 중재군의 단순 요약자료, 효과
추정치 및 신뢰 구간, 그리고 가능하면 forest plot 이용
메타분석이 시행되었다면 메타분석 각각에 대한 결과를 신뢰

결과합성 21
구간 및 일관성 측정치와 함께 제시한다.
전체적 비뚤림 위험 22 전체적 비뚤림 위험 평가 결과를 제시한다(15번 항목 참조).
추가 분석(예: 민감도 분석, 하위그룹 분석, 메타 회귀분석)을

추가 분석 23
시행한 경우, 그 결과를 제시한다.
고찰
개별 주요 (중재)결과에 대한 근거의 강도 등의 주된 결과를
근거요약 24 요약하고, 이러한 내용이 핵심 집단(보건의료 제공자, 사용자,
정책 결정자)과 어떠한 관련성이 있는지 고려한다.
개별 연구 수준과 (중재)결과 수준 (예: 비뚤림 위험), 그리고

제한점 25 현 체계적 문헌고찰 수준(예: 선정된 문헌 확보의 불완전성,
보고 비뚤림)에서의 제한점을 고찰한다.
다른 근거에 비추어 본 결과에 대한 해석과 향후 연구에 대해

결론 26
제시한다.
연구비 출처
현 체계적 문헌고찰의 연구비 출처와 기타 지원(예: 자료
연구비 출처 27 제공)에 대해 기술하고 체계적 문헌고찰에서의 연구비
지원자의 역할을 설명한다.
2) PRISMA 국문판은 한글번역과 영문으로의 역번역을 통해 제작되었으며 본 국문판은 PRISMA group에 의해 검증을 받았다.
국문판은 http://www.prisma-statement.org/statement.htm에서도 확인 및 다운로드가 가능하다.
데이터베이스 검색을 통해 다른 정보원에서 확인된
확인된 문헌 수 추가 문헌 수
(n=) (n=)
검색
 
중복제거 후 남은 문헌 수 (n=)

선별

선별 대상 문헌 수 (n=) 배제된 문헌 수 (n=)

선정 대상 원문 수 배제된 원문 수와 그 이유
PART2. 메타분석
선정
(n=) (n=)

질적 합성에 포함된 연구 수
(n=)

포함
양적 합성(메타분석)에 포함된
연구 수 (n=)
그림. 문헌 선정 흐름도

부　록

부록 2. 체계적 문헌고찰의 질평가 도구(AMSTAR)
2. 체
계적 문헌고찰의 질평가 도구 AMSTAR 영문 ³⁾
(AMSTAR)

Question Judgement Discription
4. 보건의료 자료 정보원 1. Was an ‘a priori’ design provided? □ Yes

(Healthcare Information Resource) The research question and inclusion criteria should be established before the □ No
conduct of the review. □ Can’t answer
Note : Need to refer to a protocol, ethics approval, or pre-determined/ □ Not applicable
a priori published research objectives to score a "yes"
2. Was there duplicate study selection and data extraction? □ Yes
There should be at least two independent data extractors and a consensus □ No
procedure for disagreements should be in place. □ Can’t answer
Note : 2 people do study selection, 2 people do data extraction. consensus □ Not applicable
process or one person checks the other's work.
3. Was a comprehensive literature search performed? □ Yes
At least two electronic sources should be searched. The report must include □ No
years and databases used(e.g. Central, EMBASE, and MEDLINE). Key words □ Can’t answer
and/or MESH terms must be stated and where feasible the search strategy □ Not applicable
should be provided. All searches should be supplemented by consulting
current contents, reviews, textbooks, specialized registers, or experts in the
particular field of study, and by reviewing the references in the studies found.
Note : If at least 2 sources + one supplementary strategy used, select "yes"

(Cochrane register/Central counts as 2 sources; a grey literature
search counts as supplementary).
4. Was the status of publication (i.e. grey literature) used as □ Yes
an inclusion criterion? a) □ No
The authors should state that they searched for reports regardless of their □ Can’t answer
publication type. The authors should state whether or not they excluded □ Not applicable
any reports (from the systematic review), based on their publication status,
language etc.
Note : If review indicates that there was a search for "grey literature" or
"unpublished literature", indicate "yes". SIGLE database,
dissertation, conference proceedings, and trial registries are all
considered grey for this purpose. If searching a source that contains
both grey and non-grey, must specify that they were searching for
grey/unpublished lit.
5. Was a list of studies (included and excluded) provided? □ Yes
A list of included and excluded studies should be provided. □ No
□ Can’t answer
Note : Acceptable if the excluded studies are referenced. If there is an
□ Not applicable
electronic link to the list but the link is dead, select "no".
6. Were the characteristics of the included studies provided? □ Yes
In an aggregated form such as a table, data from the original studies should □ No
be provided on the participants, interventions and outcomes. The ranges □ Can’t answer
of characteristics in all the studies analyzed e.g. age, race, sex, relevant □ Not applicable
socioeconomic data, disease status, duration, severity, or other diseases
should be reported.
Note : Acceptable if not in table format as long as they are described as

above.
3) Shea B, Grimshaw J, Wells G, Boers M, Andersson N, Hamel C, et al. Development of AMSTAR: a measurement tool
to assess the methodological quality of systematic reviews. BMC medical research methodology. 2007;7(1):10-17.
Reproduced table. BioMed Central(Original publisher) and revised AMSTAR: Cochrane colloquium 2010
7. Was the scientific quality of the included studies assessed and documented? □ Yes
‘A priori’ methods of assessment should be provided (e.g., for effectiveness studies if the author(s) □ No
chose to include only randomized, double-blind, placebo controlled studies, or allocation □ Can’t answer
concealment as inclusion criteria); for other types of studies alternative items will be relevant. □ Not applicable
Note : Can include use of a quality scoring tool or checklist, e.g., Jadad scale, risk of bias, sensitivity
analysis, etc., or a description of quality items, with some kind of result for EACH study ("low"
or "high" is fine, as long as it is clear which studies scored "low" and which scored "high"; a
summary score/range for all studies is not acceptable).
PART2. 메타분석
8. Was the scientific quality of the included studies used appropriately in formulating □ Yes
conclusions? □ No
The results of the methodological rigor and scientific quality should be considered in the analysis □ Can’t answer
and the conclusions of the review, and explicitly stated in formulating recommendations. □ Not applicable
Note : Might say something such as "the results should be interpreted with caution due to poor
quality of included studies". Cannot score "yes" for this question if scored "no" for question 7.
9. Were the methods used to combine the findings of studies appropriate? □ Yes
For the pooled results, a test should be done to ensure the studies were combinable, to assess □ No
their homogeneity (i.e. Chi-squared test for homogeneity, I²). If heterogeneity exists a random □ Can’t answer
effects model should be used and/or the clinical appropriateness of combining should be taken into □ Not applicable
consideration (i.e. is it sensible to combine?).
Note : Indicate "yes" if they mention or describe heterogeneity, i.e., if they explain that they cannot
pool because of heterogeneity/variability between interventions.

10. Was the likelihood of publication bias assessed? □ Yes
An assessment of publication bias should include a combination of graphical aids (e.g., funnel plot, □ No
other available tests) and/or statistical tests (e.g., Egger regression test). □ Can’t answer
□ Not applicable
Note : If no test values or funnel plot included, score "no". Score "yes" if mentions that publication
bias could not be assessed because there were fewer than 10 included studies.
11. Was the conflict of interest stated? □ Yes
Potential sources of support should be clearly acknowledged in both the systematic review and the □ No
included studies. □ Can’t answer
Note : To get a "yes", must indicate source of funding or support for the systematic review AND for □ Not applicable
each of the included studies.
‘‘Can’t answer’’ is chosen when the item is relevant but not described by the authors; ‘‘not applicable’’ is used when the item is not relevant,
such as when a meta-analysis has not been possible or was not attempted by the authors.
a The original wording for question #4: Was the status of publication (i.e., grey literature) used/not used as an exclusion criterion? The
authors should state that they searched for reports regardless of their publication type. The authors should state whether or not they
excluded any reports (from the systematic review), based on their publication status, language etc.
부　록

2. 체
계적 문헌고찰의 질평가 도구 AMSTAR 국문
(AMSTAR)

질문 판단 판단근거
4. 보건의료 자료 정보원 1. ‘사전에’ 체계적 문헌고찰의 계획이 수립되었는가? □예

(Healthcare Information Resource) 고찰 수행 전에 핵심질문과 포함기준이 확립되어야 한다. □ 아니요
□ 대답할 수 없음
주 : 프로토콜 유무, IRB 승인이나 사전에 연구목표로 출판된 연구를 참조 □ 적용할 수 없음
하여 “예”라고 체크한다.
2. 문헌선택과 자료추출을 여러 명이 수행하였는가? □예
적어도 두 명의 연구자에 의해 독립적으로 문헌선택과 자료추출이 수행 □ 아니요
되어야 하고, 의견 불일치를 해소한 합의 과정이 제시되어야 한다. □ 대답할 수 없음
□ 적용할 수 없음
주 : 두 사람이 문헌선택, 두 사람이 자료추출과 합의를 하거나 혹은 한
사람이 다른 사람의 자료추출을 체크하였음을 확인한다.
3. 포괄적인 문헌검색을 하였는가? □예
적어도 두 개의 전자 자료원을 이용하여 검색되어야 한다. 검색연도와 데이 □ 아니요
터베이스(예: Central, EMBASE, MEDLINE), 주제어(MeSH 제시 가능)가 □ 대답할 수 없음
기술되어야 하고, 실행 가능한 검색전략이 제시되어야 한다. 최신지견, □ 적용할 수 없음
종설, 교과서, 특성화된 연구 등록원(specialized register) 검토, 해당분야
전문가 자문, 참고문헌 검토 등을 통해 검색이 보완하여야 한다.
주 : 적어도 두 개의 전자 자료원과 하나의 보완 전략이 사용되었으면 “예”

로 체크한다. (Cochrane register와 Central은 두 개의 전자자료원으로
보며, 회색문헌검색은 보완 자료원으로 본다)
4. 포함기준에 출판상태(예: 회색문헌)가 사용되었는가? □예
출판여부에 관계없이 문헌이 검색되었는지, 출판상태와 언어 등에 따라 □ 아니요
문헌을 배제했는지 여부가 기술되어야 한다. □ 대답할 수 없음
주 : 문헌고찰이 “회색문헌”이나 “미출판 문헌”을 검색했다는 명시가
있다면 “예”라고 체크한다. SIGLE 데이터베이스, 학위논문, 학회발표
물, 임상연구등록 DB 모두를 회색문헌이라 고려할 수 있다. 전자자료
원 검색에 회색과 비회색문헌이 모두 포함되었다면 회색문헌과 비출판
문헌을 검색하였음을 명시해야 한다.
5. 포함 및 배제된 연구 목록이 제시되었는가? □예
포함 및 배제된 연구 목록이 제시되어야 한다. □ 아니요
주 : 배제된 연구가 참고문헌으로 있다면 인정할 수 있다. 목록의 전자 □ 적용할 수 없음
링크가 깨졌다면, “아니요”로 체크한다.
6. 포함된 연구의 특성이 제시되었는가? □예
개별연구의 연구대상, 중재, (중재)결과가 표 등의 형태로 제시되어야 한다. □ 아니요
분석된 연구의 특성(예: 연령, 인종, 성별, 사회경제적 상태, 질병상태, 이환 □ 대답할 수 없음
기간, 중증도, 동반질환)이 제시되어야 한다. □ 적용할 수 없음
주 : 위에 제시된 특성들이 표 형태가 아니더라도 인정할 수 있다.

7. 포함된 연구의 질이 평가되고 기술되었는가? □예
사전에 계획된 평가 방법을 제시하여야 한다. 예를 들어 효과성 평가 연구에서는 무작위 위약대조 □ 아니요
이중 눈가림 연구만을 포함시킬 수 있고 배정순서 은폐를 포함기준으로 사용하기도 한다. □ 대답할 수 없음
다른 연구 형태에는 특정기준이 더 적합할 수 있다. □ 적용할 수 없음
주 : 예를 들어 Jadad scale, risk of bias, 민감도 분석 또는 질평가 항목 제시같은 질평가 점수 도

구나 체크리스트을 이용한 각 문헌의 질평가 결과가 제시되어 있다(어떤 문헌이 “낮음”, “높
음”으로 평가되었다는 것을 명백하게 제시한다면 인정할 수 있다. 전체 연구들의 점수의 요약
이나 범위를 제시했다면 인정할 수 없다.)
PART2. 메타분석
8. 포함된 연구의 질은 결론을 도출하는데 적절히 사용되었는가? □예
방법론적 엄격성과 질평가 결과가 자료분석, 결론도출 시 고려되었다. □ 아니요
주 : 포함된 연구들의 질이 낮아 결과는 주의깊게 해석되어야 한다” 등의 언급이 있을 수 있다. 7번 □ 적용할 수 없음
항목에 “아니오”로 체크했다면 이 항목에서 “예”로 평가할 수 없다.
9. 개별연구의 결과를 결합한 방법이 적절하였는가? □예
연구들의 동질성을 평가하여 결과의 결합 가능성이 검정되어야 한다(예: 동질성에 대한 카이 제곱 □ 아니요
검정, I2). 이질성이 있다면 무작위 효과 모형(random effects model)을 사용하고 결과를 □ 대답할 수 없음
결합하는 것이 임상적으로 적절한 지 고려되어야 한다(예: 결합하는 것이 합리적인가?). □ 적용할 수 없음
주 : 예를 들어 중재간의 이질성/다양성으로 인해 통합하지 못했다고 설명하거나, 이질성에

대해 언급하거나 설명하였다면 “예”로 체크한다.
10. 출판 비뚤림의 가능성을 평가하였는가? □예

출판 비뚤림의 가능성을 그래프(예: funnel plot 등) 또는 통계적 검정 결과(예: Egger 회귀검정)로 □ 아니요
평가하여야 한다. □ 대답할 수 없음
주 : unnel plot이나 검사 결과값이 포함되지 않았다면, “아니요”에 체크한다. 포함된 연구가 10개
미만이라서 출판 비뚤림이 평가되지 못했다는 언급이 있다면 “예”로 평가한다.
11. 이해상충이 기술되었는가? □예
체계적 문헌고찰 및 포함된 연구들의 연구비 출처가 명확하게 제시되어야 한다. □ 아니요
주 : “예”로 평가되려면, 체계적 문헌고찰의 연구비 출처나 지원에 대해 명시해야 하며, 또한 포함 □ 적용할 수 없음
된 연구 각각의 연구비 출처가 명시되어야 한다.
“대답할 수 없음”: 시행할 수 있으나 시행여부가 기술되지 않은 경우
“적용할 수 없음”: 시행할 수 없는 경우(예: 메타분석이 가능하지 않거나 저자에 의해 시도되지 않은 경우)
부　록

부록 3. 연구설계별 검색필터
2. 체
계적 문헌고찰의 질평가 도구 부록에 수록한 검색전략은 아래 목록이 원출처이다. 본 부록에는 중재법에 대한
(AMSTAR)
3. 연
구설계별 검색필터(Search filters)
연구설계(연구 디자인) 중심으로 수록하였다. 진단법, 이상반응, 관찰연구 등과 같은
- 체계적 문헌고찰(Systematic review) 연구를 검색하기 위해 추천되는 검색필터는 없으나 아래를 참조할 수 있다.
SIGN
http://www.sign.ac.uk/methodology/filters.html
PubMed clinical Queries

1) Randomized clinical trials: based on the work of Haynes RB et al.
http://www.ncbi.nlm.nih.gov/bookshelf/br.fcgi?book=helpPubMed&part=PubMedhelp
#PubMedhelp.Clinical_Queries_Filters
2) Systematic reviews
http://www.nlm.nih.gov/bsd/PubMed_subsets/sysreviews_strategy.html
Cochrane Highly Sensitive Search Strategies

http://www.cochrane-handbook.org/
Lefebvre C, Manheimer E, Glanville J. Chapter 6: Searching for studies. In: Higgins JPT,
Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version
5.1.0 (updated March 2011). The Cochrane Collaboration, 2011. Available from www.
cochrane-handbook.org
BMJ clinical evidence

http://clinicalevidence.bmj.com/ceweb/about/search_filters.jsp
Centre for Reviews and Dissemination

http://www.york.ac.uk/inst/crd/intertasc/index.htm
3.1. 체계적 문헌고찰
1) Ovid-Medline: SIGN
1. Meta-Analysis as Topic/
2. meta analy$.tw.
3. metaanaly$.tw.
4. Meta-Analysis/
5. (systematic adj (review$1 or overview$1)).tw.
PART2. 메타분석
6. exp Review Literature as Topic/
7. or/1-6
8. cochrane.ab.
9. embase.ab.
10. (psychlit or psyclit).ab.
11. (psychinfo or psycinfo).ab.
12. (cinahl or cinhal).ab.
13. science citation index.ab.
14. bids.ab.

15. cancerlit.ab.
16. or/8-15
17. reference list$.ab.
18. bibliograph$.ab.
19. hand-search$.ab.
20. relevant journals.ab.
21. manual search$.ab.
22. or/17-21
23. selection criteria.ab.
24. data extraction.ab.
25. 23 or 24
26. Review/
27. 25 and 26
28. Comment/
29. Letter/
부　록
30. Editorial/
31. animal/
32. human/

33. 31 not (31 and 32)
2. 체
(AMSTAR) 34. or/28-30,33
3. 연
35. 7 or 16 or 22 or 27
(Randomized controlled Trial) 36. 35 not 34
2) Ovid-Medline: Clinical Evidence
1. ("review" or "review academic" or "review tutorial").pt.
2. (medline or medlars or embase or PubMed).tw,sh.
3. (scisearch or psychinfo or psycinfo).tw,sh.
4. (psychlit or psyclit).tw,sh.
5. cinahl.tw,sh.
6. ((hand adj2 search$) or (manual$ adj2 search$)).tw,sh.
7. (electronic database$ or bibliographic database$ or computeri?ed
database$ or online database$).tw,sh.
8. (pooling or pooled or mantel haenszel).tw,sh.
9. (retraction of publication or retracted publication).pt.
10. (peto or dersimonian or der simonian or fixed effect).tw,sh.
11. or/2-10
12. 1 and 11
13. meta-analysis.pt.
14. meta-analysis.sh.
15. (meta-analys$ or meta analys$ or metaanalys$).tw,sh.
16. (systematic$ adj5 review$).tw,sh.
17. (systematic$ adj5 overview$).tw,sh.
18. (quantitativ$ adj5 review$).tw,sh.
19. (quantitativ$ adj5 overview$).tw,sh.
20. (quantitativ$ adj5 synthesis$).tw,sh.
21. (methodologic$ adj5 review$).tw,sh.
22. (methodologic$ adj5 overview$).tw,sh.
23. (integrative research review$ or research integration).tw.
24. or/13-23
25. 12 or 24
3) Ovid-Embase: SIGN
1. exp Meta Analysis/
2. ((meta adj analy$) or metaanalys$).tw.
3. (systematic adj (review$1 or overview$1)).tw.
4. or/1-3
5. cancerlit.ab.
6. cochrane.ab.
7. embase.ab.
PART2. 메타분석
8. (psychlit or psyclit).ab.
9. (psychinfo or psycinfo).ab.
10. (cinahl or cinhal).ab.
11. science citation index.ab.
12. bids.ab.
13. or/5-12
14. reference lists.ab.
15. bibliograph$.ab.

16. hand-search$.ab.
17. manual search$.ab.
18. relevant journals.ab.
19. or/14-18
20. data extraction.ab.
21. selection criteria.ab.
22. 20 or 21
23. review.pt.
24. 22 and 23
25. letter.pt.
26. editorial.pt.
27. animal/
28. human/
29. 27 not (27 and 28)
30. or/25-26,29
31. 4 or 13 or 19 or 24
부　록
32. 31 not 30

4) Ovid-Embase: Clinical Evidence
2. 체
(AMSTAR)
1. exp review/
3. 연
- 체계적 문헌고찰(Systematic review) 2. (medline or medlars or embase or PubMed).ti,ab,sh.
3. (scisearch or psychlit or psyclit).ti,ab,sh.
(Healthcare Information Resource) 4. (psycinfo or psychinfo).ti,ab,sh.
5. cinahl.ti,ab,sh.
6. ((hand adj2 search$) or (manual$ adj search$)).tw.
7. ((electronic adj database$) or (bibliographic adj database$)).tw.
8. ((pooled adj analys$) or pooling).tw.
9. (peto or dersimonian or (fixed adj effect) or mantel haenszel).
tw.
10. RETRACTED ARTICLE/
11. or/2-10
12. 1 and 11
13. exp meta analysis/
14. meta?analys$.tw,sh.
15. (systematic$ adj5 review$).tw,sh.
16. (systematic$ adj5 overview$).tw,sh.
17. (quantitativ$ adj5 review$).tw,sh.
18. (quantitativ$ adj5 overview$).tw,sh.
19. (methodologic$ adj5 review$).tw,sh.
20. (methodologic$ adj5 overview$).tw,sh.
21. ((integrative adj5 research adj5 review$) or (research adj5
integration)).tw.
22. (quantitativ$ adj5 synthesi$).tw,sh.
23. or/13-22
24. 12 or 23
5) PubMed-Medline
PubMed에서 systematic [sb]는 아래의 검색식을 의미한다.
PART2. 메타분석
(systematic review [ti] OR meta-analysis [pt] OR meta-analysis [ti] OR systematic
literature review [ti] OR (systematic review [tiab] AND review [pt]) OR consensus
development conference [pt] OR practice guideline [pt] OR cochrane database syst
rev [ta] OR acp journal club [ta] OR health technol assess [ta] OR evid rep technol
assess summ [ta])
OR ((evidence based[ti] OR evidence-based medicine [mh] OR best practice* [ti]

OR evidence synthesis [tiab]) AND (review [pt] OR diseases category[mh] OR
behavior and behavior mechanisms [mh] OR therapeutics [mh] OR evaluation
studies[pt] OR validation studies[pt] OR guideline [pt])) OR ((systematic [tw] OR
systematically [tw] OR critical [tiab] OR (study selection [tw]) OR (predetermined
[tw] OR inclusion [tw] AND criteri* [tw]) OR exclusion criteri* [tw] OR main
outcome measures [tw] OR standard of care [tw] OR standards of care [tw])
AND (survey [tiab] OR surveys [tiab] OR overview* [tw] OR review [tiab] OR
reviews [tiab] OR search* [tw] OR handsearch [tw] OR analysis [tiab] OR critique
[tiab] OR appraisal [tw] OR (reduction [tw]AND (risk [mh] OR risk [tw]) AND
(death OR recurrence)))
AND (literature [tiab] OR articles [tiab] OR publications [tiab] OR publication [tiab]
OR bibliography [tiab] OR bibliographies [tiab] OR published [tiab] OR unpublished
[tw] OR citation [tw] OR citations [tw] OR database [tiab] OR internet [tiab] OR
textbooks [tiab] OR references [tw] OR scales [tw] OR papers [tw] OR datasets [tw]
OR trials [tiab] OR meta-analy* [tw] OR (clinical [tiab] AND studies [tiab]) OR
treatment outcome [mh] OR treatment outcome [tw]))
부　록
NOT
(letter [pt] OR newspaper article [pt] OR comment [pt])
Strategy last modified June 2008
3.2. 무작위배정 비교임상시험
2. 체
(AMSTAR)
3. 연
1) Ovid-Medline: SIGN
(Randomized controlled Trial) 1. Randomized Controlled Trials as Topic/
(Healthcare Information Resource) 2. randomized controlled trial/
3. Random Allocation/
4. Double Blind Method/
5. Single Blind Method/
6. clinical trial/
7. clinical trial, phase i.pt
8. clinical trial, phase ii.pt
9. clinical trial, phase iii.pt
10. clinical trial, phase iv.pt
11. controlled clinical trial.pt
12. randomized controlled trial.pt
13. multicenter study.pt
14. clinical trial.pt
15. exp Clinical Trials as topic/
16. or/1-15
17. (clinical adj trial$).tw
18. ((singl$ or doubl$ or treb$ or tripl$) adj (blind$3 or mask$3)).tw
19. PLACEBOS/
20. placebo$.tw
21. randomly allocated.tw
22. (allocated adj2 random$).tw
23. or/17-22
24. 16 or 23
25. case report.tw
26. letter/
27. historical article/
28. or/25-27
29. 24 not 28
2) Ovid-Medline: Clinical Evidence
1. exp randomized controlled trials/
2. "randomized controlled trial".pt.
3. "controlled clinical trial".pt.
4. (random$ or placebo$).ti,ab,sh.
5. ((singl$ or double$ or triple$ or treble$) and (blind$ or mask$)).tw,sh.
6. (retraction of publication or retracted publication).pt.
7. or/1-6
PART2. 메타분석
8. (animals not humans).sh.
9. 7 not 8
3) Ovid-Embase: SIGN
1. Clinical trial/
2. Randomized controlled trial/
3. Randomization/
4. Single blind procedure/

5. Double blind procedure/
6. Crossover procedure/
7. Placebo/
8. Randomi?ed controlled trial$.tw.
9. Rct.tw.
10. Random allocation.tw.
11. Randomly allocated.tw.
12. Allocated randomly.tw.
13. (allocated adj2 random).tw.
14. Single blind$.tw.
15. Double blind$.tw.
16. ((treble or triple) adj (blind$).tw.
17. Placebo$.tw.
18. Prospective study/
19. Or/1-18
20. Case study/
부　록
21. Case report.tw.

22. Abstract report/ or letter/
23. Or/20-22
24. 19 not 23 체계적 문헌고찰 매뉴얼 236  237
4) Ovid-Embase: Clinical Evidence
2. 체
(AMSTAR)
1. (random$ or placebo$).ti,ab.
3. 연
- 체계적 문헌고찰(Systematic review) 2. ((single$ or double$ or triple$ or treble$) and (blind$ or mask$)).
ti,ab.
(Healthcare Information Resource) 3. controlled clinical trial$.ti,ab.
4. RETRACTED ARTICLE/
5. or/1-4
6. (animal$ not human$).sh,hw.
7. 5 not 6
5) EBSCO-CINAHL: SIGN (created by Mark Clowes)

S1. (MH “Clinical Trials+”)
S2. PT Clinical trial
S3. TX clinic* n1 trial*
S4. TX ((singl* n1 blind*) or (singl* n1 mask*))
or TX ((doubl* n1 blind*) or (doubl* n1 mask*))
or TX ((tripl* n1 blind*) or (tripl* n1 mask*))
or TX ((trebl* n1 blind*) or (trebl* n1 mask*))
S5. TX randomi* control* trial*
S6. (MH “Random Assignment”)
S7. TX random* allocat*
S8. TX placebo*
S9. (MH “Placebos”)
S10. (MH “Quantitative Studies”)
S11. TX allocat* random*
S12.S
1 or S2 or S3 or S4 or S5 or S6 or S7 or S8 or S9 or S10 or
S11
6) PubMed Clinical Queries using Research Methodology

Filters
범주: Therapy
① sensitive/broad (99%/70%)
((clinical[Title/Abstract] AND trial[Title/Abstract]) OR
clinical trials[MeSH Terms] OR
clinical trial[Publication Type] OR
random*[Title/Abstract] OR
random allocation[MeSH Terms] OR
therapeutic use[MeSH Subheading])
② specific/narrow (93%/97%)
(randomized controlled trial[Publication Type] OR
(randomized[Title/Abstract] AND
PART2. 메타분석
controlled[Title/Abstract] AND
trial[Title/Abstract]))
7) Cochrane Highly Sensitive Search Strategy for identifying randomized trial

① PubMed-Medline: sensitivity-maximizing version (2008 revision)
1. randomized controlled trial [pt]
2. controlled clinical trial [pt]
3. randomized [tiab]

4. placebo [tiab]
5. drug therapy [sh]
6. randomly [tiab]
7. trial [tiab]
8. groups [tiab]
9. #1 OR #2 OR #3 OR #4 OR #5 OR #6 OR #7 OR #8
10. animals [mh] NOT humans [mh]
11. #9 NOT #10
② PubMed-Medline: sensitivity- and precision-maximizing version (2008 revision)

1. randomized controlled trial [pt]
2. controlled clinical trial [pt]
3. randomized [tiab]
4. placebo [tiab]
5. clinical trials as topic [mesh: noexp]
6. randomly [tiab]
부　록

7. trial [ti]
2. 체
(AMSTAR) 8. #1 OR #2 OR #3 OR #4 OR #5 OR #6 OR #7
9. animals [mh] NOT humans [mh]
(Randomized controlled Trial) 10. #8 NOT #9
③ Ovid-Medline: sensitivity-maximizing version (2008 revision)
1. randomized controlled trial.pt.
2. controlled clinical trial.pt.
3. randomized.ab.
4. placebo.ab.
5. drug therapy.fs.
6. randomly.ab.
7. trial.ab.
8. groups.ab.
9. 1 or 2 or 3 or 4 or 5 or 6 or 7 or 8
10. exp animals/ not humans.sh.
11. 9 not 10
④ Ovid-Medline: sensitivity- and precision-maximizing version

(2008 revision)
1. randomized controlled trial.pt.
2. controlled clinical trial.pt.
3. randomized.ab.
4. placebo.ab.
5. clinical trials as topic.sh.
6. randomly.ab.
7. trial.ti.
8. 1 or 2 or 3 or 4 or 5 or 6 or 7
9. exp animals/ not humans.sh.
10. 8 not 9

부록 4. 보건의료 자료 정보원
(2010년 12월 기준)
2. 체
1. 데이터베이스
(AMSTAR)

- 무작위배정 비교임상시험 1.1. 국내
(Healthcare Information Resource) 1) COre 검색 데이터베이스
기관명 (약어) 유료/무료 url 설명
의학연구정보센터(MedRic)에
서 운영, 한국에서 발간되는 보
한국의학논문
http://kmbase 건의료 분야(의학, 치의학, 약학,
데이터베이스 무료
medric.or.kr/ 간호학, 한의학) 저널의 서지, 초
(KMbase)
록 및 원문 데이터베이스로서
비영리적 목적으로 운영
대한의학학술지 편집인 협의회

가 "국내 의학학술지 평가사업"
http://www
KoreaMed 무료 을 통하여 선정한 170종의 학술
koreamed.org
지에 실린 논문의 영문 서지정
보와 초록정보 데이터베이스
1996년 이후 현재까지 국내
1200여개 학회 및 연구소에서
학술데이터베이스검색 http://kiss.kstudy
무료 발행하는 학회지 및 연구 간행
(KISS) .com/
물의 원문 데이터베이스를 구축
한 사설 데이터베이스
한국과학기술정보연구원
(KISTI)의 학회정보화 지원사업
KORDIC 과학기술학회 http://society.kisti.
무료 에 참여하는 과학기술 분야 학
마을(KISTI) re.kr/
회의 학술정보 제공, 논문검색
및 원문제공
국내외 산재하는 핵심 과학기술

정보를 연계한 서비스, 학술논
국가과학기술정보센터 http://www.ndsl.kr/
무료 문, 특허, 연구보고서, 동향분석,
(NDSL) index.do
산업표진, 과학기술인력 및 사실
정보 등을 통합/개별 검색 가능
2) 학술정보 및 포털
790만여 책의 방대한 자료를 소
http://www.nl.go.kr/ 장한 국가 대표 도서관. 단행본
국립중앙도서관 무료
index.php (도서, 학위논문 등) 및 연속간행
물 검색 제공
국내 주요 도서관을 연계하여
메타 검색 제공 : 국립중앙도서
http://www.dlibrary.
국가전자도서관 무료 관, 국회도서관, 법원 도서관,
go.kr/
국가지식포털 등 9개 기관 메타
검색 제공
국내 석박사학위 논문 및 정기간행물, 단행
국회도서관 무료 http://www.nanet.go.kr/
본 등 데이터베이스 제공
2010.12월 기준 11개 분야의 다양한 정보

DBpia 유료 http://www.dbpia.co.kr/
제공 사설 데이터베이스, 의약학분야는 적음
한국 학술진흥재단에서 운영, 학진 등재지

한국학술지인용색인정보포털 유료 http://www.kci.go.kr/ 및 등 재후보 학술지 검색 및 서지정보 제공,
각종 통계자료 및 인용빈도 산출 제공
국내 지식자원의 정보화를 위해 사단법인,

재단법인, 학술단체, NGO, 전문출판사 등 약
400여 기관과 단체가 참여하여 총 560여종
한국학술교육원e-Article 유료 http://www.earticle.net/
의 간행물을 Internet-DataBase로 구축하
PART2. 메타분석
여 On-Line을 통한 정보의 통합검색 및 원문
제공, 의약학분야는 적음
국립중앙도서관을 중심으로 구성된 전국

http://www.nl.go.kr/kolisnet/ 공공도서관의 소장자료에 대한 통합 데이터
국가자료공동목록시스템(KOLIS) 무료
index.php 베이스이자 도서관간 정보공유 및 상호협력
네트워크
교육과학기술부 출연기관 한국교육학술

http://www.riss4u.net/index. 정보원이 제공하는 학술연구정보서비스, 학
학술연구정보서비스 (RISS) 무료
jsp 위논문, 국내외학술지 논문, 단행본, 공개강
의 등 서지정보 및 원문제공
우리나라의 국가기관들이 보유하고 있는

http://www.knowledge.

국가지식포털 무료 전산화된 국가 지식자료를 통합 검색하여
go.kr/main.jsp
제공
국가R&D를 수행하고 있는 15개 부처·청(대

국가과학기술지식정보 http://www.ntis.go.kr/ 표연구관리전문기관, `08년 기준)과의 연계
무료
서비스 ThMain.do 를 통해 과제,인력, 장비·기자재, 성과 등 국
가가 진행하는 R&D 사업정보 제공
누구나 이용 가능한 과학 및 학술 저널의 사

Directory of Open Access 용을 보다 용이하게 하여 사용도와 그 영향
유료 http://www.doaj.org/
Journals(DOAJ) 을 높이는 것을 목적으로 하며 현재5915여
저널 제공
광주과학기술원 운영, ASP 시스템 이용 도

학술지공동활용협의회(KORSA) 유료 http://www.korsa.or.kr/ 서관 운영 및 관리 등을 하고 있으며 회원 도
서관의 정보를 회원기관간 상호공유
전국 대학의 학위논문 공유, 현재 54개 대학

학위논문공동이용협의회 무료 http://thesis.or.kr/
의 논문 원문 검색 가능
부　록

3) 정책 및 보고서
2. 체
(AMSTAR)
중앙부처에서 수행하는 정책연
https://www.prism.
(Randomized controlled Trial) 정책연구정보서비스 무료 구용역 보고서 검색. 초록, 목록
go.kr/homepage/
4. 보건의료 자료 정보원 및 원문 열람가능
경제, 인문사회연구회 23개 소
정부출연기관 http://www.ikis.re.kr/ 관 연구기관의 각종 연구보고서
무료
지식정보검색시스템 jsp/main.jsp 및 정책 자료를 데이터베이스로
구축함
4) 보건의료
한국의학도서관 협의회 회원기
관이 공동으로 운영하며 한국
교육학술정보원에서 프로그램
의학학술지 과 서버를 관리, 국내 소장 의학
유료 http://medlis.riss4u.net/
종합정보시스템(MEDLIS) 학술지를 도서관간 자원 공유,
한국의학도서관 소장학술잡지
상호대차 및 국내의학학술지논
문의 서지 및 초록 검색 가능
보건정보 전문 데이터베이스.
역학 및 보건통계, 건강증징 및
보건연구정보센터 무료 http://www.richis.org/
보건교육 등 10개 주제별 보건
정보를 분류하여 제공함
1997년 설립되었으며 한국의학
논문데이터베이스(KMBase)
http://www.medric. 사업을 수행하며, 국내외 의학
의학연구정보센터(MedRIC) 무료
or.kr/Main/ 관련 저널 서지정보 및 원문제
공. 그 밖의 학술정보 및 교육
자료 등 제공.
숙명여대 의약정보연구소에서
http://dric.sookmyung. 운영하는, 의약품 관련 정보제
숙명여대 의약정보연구소 유료 ac.kr/notice_detail. 공, 약학분야 디지털도서관 운
html?id=171 영(서지정보 및 원문제공), 의약
품 관련 정보 제공
한국한의학연구원 운영, 한의학
분야 통합검색 시스템으로 한의
한의학술논문통합검색
무료 http://oasis.kiom.re.kr 학분야 학술논문, 한의학분야
(OASIS)
프로젝트 및 각종 한의학 정보
에 대한 검색, 통계, 분석기능 제공
특허청에서 운영. 한의약분야
논문, 약재, 처방, 병증 등을 검
http://www.koreantk. 색할 수 있으며 전통생활 분야
전통의학정보포털 무료
com 도 검색 가능. 한의학 용어(한글,
영문) 및 한양방 병증 매핑 사전
기능 제공
1.2. 국외
1) COre 검색 데이터베이스

미국 국립의학도서관의 서비스로서, MED
LINE 및 기타 생명과학 저널의 1948년
http://www.ncbi.nlm.nih. 이후 생물의학 논문 자료에서 발췌한 1900
PubMed 무료
gov/pubmed/ 만건이 넘는 인용문이 포함되어 있음.
PubMed는 본문 전체와 기타 관련자료로
PART2. 메타분석
이동할 수 있는 링크도 제공
네덜란드의 Elsevier에서 제공하는 생명의

http://www.embase. 학 및 약학 서지 데이터베이스로 EMBASE
EMBASE 유료
com/ 나 Medline을 통하여 가장 최근의 인용 및
초록제공
Cochrane Database of Systematic Reviews

(Cochrane Reviews): 체계적 문헌고찰 및 현재 진행
중인 체계적 문헌고찰의 프로토콜에 대한 전문을 제공함
Cochrane Central Register of Controlled Trials

(Clinical Trials): 500,000이 넘는 임상시험에 대한
인용문헌을 제공함
Database of Abstracts of Reviews of Effects

(DARE) (Other Reviews): 영국의 Centre for
Reviews and Dissemination에 의해 마련되었으며
보건의료 중재법에 대한 효용성을 검토하는 역할을 함
http://www. The NHS Economic Evaluation Database (Eco

The Cochrane Library 유료 thecochranelibrary.com nomic Evaluations): 보건의료 중재법에 대한
경제성 평가관련 데이터베이스 제공
Health Technology Assessment Database

(Technology Assessments): INAHTA 멤버들
과 다른 HTA 기관으로 받은 의료기술평가 보고서
제공
Cochrane Methodology Register (Methods Stu

dies): 체계적 문헌고찰 방법에 대한 참고문헌 등을 제공
About The Cochrane Collaboration (Cochrane

Groups): 각각의 코크란 검토 그룹, 방법론 그룹,
현장 및 네트워크에 대한 목표와 업무범위에 대한
정보제공
부　록

2) Core 이외의 데이터베이스(Other than COre DB)
2. 체
(AMSTAR)
http://www. 간호학 및 동종 보건문헌의 누적
(Randomized controlled Trial) CINAHL 유료 ebscohost.com/ 색인으로 간호학 및 CAM 관련
4. 보건의료 자료 정보원 cinahl/ 보건의료 데이터베이스
세계적인 논문 평가 및 인용
색인 전문출판사인 ISI사에서
발행하는 인용정보제공 데이
터베이스 Science Citation
Index, Social Science Citation
scientific.
Web of Science 유료 Index, Arts & Humanities Cita
thomsonreuters.com/
tion Index의 3개 주제 분야로
구성. 8,500여종의 학술저널
에서 230종 이상의 주제분야
110만 여건의 레코드와 2,300만
여건의 인용정보 제공
세계적으로 가장 광범위하고
다양한 연구방법을 제공함
http://www. (기초과학, 사회과학 및 예술 등
ISI Web of Knowledge 유료 isiwebofknowledge. 의 분야에서 연구자가 관련 문헌
com/ 을 검색하고 추적.평가할 수 있도
록 객관적인 내용과 방법론적 도
구를 제공함)
Health Technology
Assessment (HTA) Database:
INAHTA 멤버들과 세계각국의
HTA 기관들로부터 받은 보고서
제공
NHS Economic Evaluation

Database (NHS EED): 보건의료
중재법과 관련하여 출판된 경제
Centre for Reviews and
http://www.crd.york. 성 평가보고서 제공
Dissemination 무료
ac.uk/crdweb/
(CRD) Database of Abstracts of
Reviews of Effects (DARE):
보건의료중재법의 효과에 대한
review 보고서 제공
Ongoing Reviews Database:

보건의료와 관련하여 진
행 중 인 체 계 적 문 헌
고찰에 대한 정보제공
1800년대 부터 현재까지의 심
리학 문헌 초록 데이터베이스
로, 서지인용문, 초록, 인용된
http://www.apa.org/ 출전 및 기술정보를 보유
PsycINFO 유료
psycinfo 하고 있어 행동 및 사회과학
분야의 광범위한 학술 출판물 가
운데 필요한 정보를 찾을 수 있
도록 지원함
3) 학술정보 및 포털 등 기타 데이터베이스

http://scholar.google. Google에서 제공하는 학술문헌을 광범위하
Google Scholar 무료
co.kr/ 게 검색하기에 용이한 도구
http://www.scopus.com/ 연구문헌과 질높은 연구관련 웹에 대한 서지

Scopus 유료
scopus/home.url 정보와 초록을 제공
영국 국립도서관으로 세계 최대의 도서관 가

british Library 무료 http://www.bl.uk/ 운데 하나이며 전세계에 문서전달 서비스 제
공 (유료)
PART2. 메타분석
무료 또는 낮은 가격으로 의학및 관련 사회
The Health InterNetwork Access http://www.who.int/
무료 과학 주요 저널에 접근할 수 있도록
to Research Initiative (HINARI) hinari/en
도와주는 비영리 네트워크 접속 서비스임.
CSA의 국제 데이터베이스로 약 647,719

http://www.csa.com/ 이상의 저널, 도서, 정부문서, 통계지침
PAIS International 유료 factsheets/pais-set-c.
php 서, 회색문헌, 연구보고서, 학회보고서,
국제기관 발행물, 웹자료 등을 소장
http://www.proquest.
com/en-US/catalogs/ 전세계적으로 가장 많은 학위논문 전문을
Proquest Dissertation and Theses 유료
databases/detail/pqdt. 소장하고 있음.
shtml
http://www. 동료 의료인에 의해 검토(peer review)되며,

Open Medicine 무료

openmedicine.ca 독립적이고 누구나 이용할 수 있는 의료저널
스탠포드 대학 도서관에서 운영하고 있으며

http://highwire.stanford. 의료인들의 검증을 거친 140곳의 학술 출판
High Wire Press 무료
edu/ 사에서 나온 1416종의 저널과 논문 전문을
제공
http://www. 의료계의 검토(peer-review)를 거쳐 독립적

Biomed Central 무료 biomedcentral.com/ 으로 생명의학 저널을 출판하며 결과물을
browse/journals/ 무료 배포하고 있음
http://www. 무료로 전문 이용이 가능한 의학 분야 저널

Free Medical Journals 무료 freemedicaljournals.
com/ 을 제공함
Free biomedical literature http://www.nlm.nih.gov/ 미국 NIH의 국립의학도서관으로 의학 및

resources compiled by the US 무료 docline/freehealthlit.
html 생명과학관련 저널 및 정보제공
NationalLibrary of Medicine
전세계의 과학 및 의학문헌을 공공자원

화 하고자 하는 과학자들과 의사들의 비영
리 기구로, Biomed Central과 유사한 북
미의 독립기구임. 이 기구는 탁월함, 성실
Public Library of Sciences (PloS) 무료 http://www.plos.org/
성, 과학의 사회적 책임, 국제주의 등의 기
준에 따라 출판된 무료 과학저널을 이용
할 수 있도록 하고 있음. Plos Medicine,
Plos Biology 출판
부　록

동 저널 클럽의 목적은 보건의료
2. 체
(AMSTAR)
전문가들이 임상연구 및 체계적
문헌고찰 연구에 대한 문헌
을 잘 선택할 수 있도록 도움을
- 체계적 문헌고찰(Systematic review) ACP Journal Club 무료 http://www.acpjc.org/
- 무작위배정 비교임상시험 주기 위한것으로 각 저널에대한
임상의들의 즉각적인 의견이
4. 보건의료 자료 정보원 제시될 뿐만 아니라 가치가 추가
된 요약문이 제시되기도 함
캐나다 국가기록청(Library and

http://www.
Archives Canada, LAC)의 캐나
Theses Canada 무료 collectionscanada.
다 논문을 포괄적으로 수집하고
gc.ca
보관, 제공함
비록 상업적인 기업이긴 하나
특정 주제에 대한 책의 존재여부
Amazon.com 무료 http://amazon.com 를확인하는데 유용한 도구가 되
는 매우 큰 서적 데이터베이스
중의 하나임
전세계 1만개 이상의 도서관으

http://www.worldcat.
WorldCat 무료 로 부터 얻은 15억 이상의 소장
org
자료 목록 무료제공
NLM(National Library for

http://locatorplus.
LocatorPlus 무료 Medicine)에 대한 도서관 카탈
gov/
로그 제공
캐나다 전역 1300여 도서관

http://www. 소장자료목록 무료제공, 3천
Amicus, The Canadian collectionscanada. 만건 이상의 서적, 잡지, 신문,
무료
National Catalogue gc.ca/amicus/ 정부문서, 논문, 음성기록,
index-e.html 지도, 전자문서, 점자 및 큰 활자
인쇄물을 소장하고 있음
1700만권이 넘는 의학, 과학
http://www.inist.fr/
PASCAL 유료 기술, 사회과학 분야의 문헌,
spip.php?article11
저널 및 연구보고서 등을 제공
Peer reviewed 인도생의학저널

포함하는 DB, 의학전문가, 조사
IndMED 무료 http://indmed.nic.in 자, 학생, 도서관이 인도서적 빠
르게 접근할 수 있도록 하기위한
목적
http://bases.bireme. 라틴 아메리카 및 캐리비언지역

br/cgi-bin/wxislind. 에서 에스파냐어, 포르투칼어
exe/iah/online/? 및 영어로 LILACS, CidSande,
LILACS 무료
IsisScript=iah/iah. PAHO, REPIDISCA, WHOLIS,
xis&base=LILACS& IBECS 등에 수록된 의학문헌
lang=i&Form=F 제공
우크라이나, 러시아 정부 데이터 베이스로 의
http://www.panteleimon.
Panteleimon 무료 학-생물학, 의약화학 등과 관련한 과학저널
org/maine.php3
또는 임상저널을 제공
스페인어로 출판되는 보건의료 분야 근거중
Fisterra 무료 http://www.fisterra.com/
심관련 저널을 제공
누구나 이용 가능한 과학 및 학술저널의 사용
Directory of Open Access 을 보다 용이하게 하여 사용도와 그 영향
무료 http://www.doaj.org/
Journals(DOAJ) 을 높이는 것을 목적으로 하며 현재 5,915여
저널 제공
http://www.oclc.org/
Oalster 무료
oaister
PART2. 메타분석
4) 회색문헌(Gray literature)

회색문헌에 대한 국제협의체. 웹에 기반한
GreyNet 무료 http://www.greynet.org/
자료, 리스트 제공. Grey Journal 제공
유럽의 회색문헌에 대한 정보를 제공하

는 시스템으로 2005년까지 서지정보 제공.
OpenSIGLE 무료 http://opensigle.inist.fr/
매년 열리는 회색문헌 관련 international
conference 정보 제공

캐나다 CADTH에서 보건의료 정책 결정
http://www.cadth.ca/ 자에게 제공하는 회색문헌 정보로 의약품
Grey Matters: a practical search
무료 index.php/en/cadth/ 이나 보건의료기술의 유효성 관련 자료를
tool for evidence-based medicine
products/grey-matters 수록하고 있음. 회색문헌을 검색하는데 실
제 활용할 수 있는 도구(practical tool) 제공
http://www.ovid.
영국의 Department of Health's Library
Healthcare Management com/site/catalog/
and Information Services (DH-Data) 과
Information Consortium(HMIC) 무료 DataBase/99.jsp?top=2
King’s Fund Information and Library
Database &mid=3&bottom=7&su
Service에서 정보 제공
bsectio
정부 fund로 진행하는 연구 보고
National Technical Information
무료 http://www.ntis.gov/ 서의 full text 제공, 350개 주제분야, 약 300
Services(NTIS)
만개 문헌
New York Academy of Medicine Library 에

http://www.nyam.org/
The New York Academy of 서 2개월마다 제공하는 회색문헌관련 보고
무료 library/pages/grey_
Medicine-Grey Literature Report 서로 보건의료분야에서 새롭게 발행된 회색
literature_report
문헌에 관한 정보를 제공한다.
http://www.apa.org/
PsycINFO에서 제공하는 회색 문헌 데이터
PsycEXTRA 무료 pubs/databases/
베이스
psycextra/index.aspx
미국 내 공공의료 및 보건의료서비스 관련
http://wwwcf.nlm.nih.
부　록
진행되는 연구를포함하여 보건의료분야

HSR Projects 무료 gov/hsr_project/home_
연구정보를 제공하는 국가정보센터(회색 문
proj.cfm
헌 상당량 포함)

5) 전문분야
2. 체
(AMSTAR)
3. 연구설계별 검색필터(Search filters) 기관명 (약어) 분야 url 설명

AARP가 개설한 온라인 서지 데
http://www. 이터베이스로서, 노화 및 중년,
4. 보건의료 자료 정보원 AgeLine 노인 ebscohost.com/ 노년기 관련 주제를 주로 다루며
academic/ageline 특히 노화의 사회, 심리, 경제, 정
책, 보건적 측면을 다룸
물리치료(Physiotherapy) 분야
근거 관련 데이터베이스로, 물리
치료 분야의 무작위 대조연구,
http://www.pedro
PEDro 물리치료 체계적 문헌고찰, 근거중심 임상
org.au/
실습 가이드라인에 대한 상세한
도서목록과 논문초록을 이용할
수 있음
작업치료와 관련된 체계적 문헌

http://www.otseeker.
Otseeker 작업치료 고찰 및 무작위 대조연구의 초록
com/
제공 데이터베이스
암예방, 검진, 유전학, 진단학 및

NCI(National Cancer http://www.cancer. 치료정보,암관련 임상정보,
암
Institute) gov/ 통계학 자료 및 관련 환자 가이
드 제공
간호학, 보건학, 보완.대체의학

등을 포함하는 보건의료관련 정
간호, 보를 제공함. 대학기관에서의 간
Nursing & Allied Health com/en-US/catalogs/
보건, 호 및 건강관련 프로그램 뿐만
Source databases/detail/pq_
대체 아니라 건강관리 시설에서 연구
nursingahs.shtml
자들의 수요에 충정할 수 있도록
디자인된 자료를 가지고 있음
http://www.ovid.com American Society of Health

International /site/catalog/Data -System Pharmacists 에 의해
Pharmaceutical 약학 Base/109.jsp?top=2& 만들어 졌으며 약학, 응용약학
Abstracts mid=3&bottom=7&su 그리고 보건관련서지 정보를 제
bsection=10 공함
보완의학, 완화의료및 동종의료

Allied and http://www.ovid.
분야에서 선정된 저널의 서지
Complementary 보완대체 com/site/catalog/
정보를 제공 : 보완의학, 물리치
Database (AMED) DataBase/12.jsp
료, 작업치료/재활/완화치료
소아 보건의료에 관련한 정책,

입법, 실제 및 연구의 데이터베
http://www.childdata.
Childdata 소아보건 이스를 제공하고 관련국제기구
org.uk/
에 대한 정보, 최근 이슈 등을 제
공함
아프리카에 있는 각국에서 건강과 관련된
이슈에 대해 발행된 자료에 대한 접근권을
아프리카 http://indexmedicus. 주기위해 개발됨, 실제로 아프리카에 대한
African Index Medicus(AHILA)
보건 afro.who.int 보건 및 의약품 정보는 거의 없고 세계에서
손꼽히는 서지 데이터베이스에 관한 정보 등
만 있음
호주 호주 국립도서관으로 호주 내 보건의료관련
Australasian Medica Index http://nla.gov.au/ami
보건의료 문헌제공
Index Medicus for the Eastern WHO www.emro.who.int/his/ WHO에서 제공하는 지중해 지역의 보건의
PART2. 메타분석
Mediterranean Region 지중해지역 vhsl 료관련 정보, 문헌 및 학회일정 등 제공
http://health-evidence. 캐나다의 공중보건 및 건강증진에 대한 체계

Health-Evidence.ca 공중보건
ca/articles/search 적 문헌고찰의 데이터베이스
http://www3. 영국 보건경제학사무소 (UK Office of

interscience. Health Economics)와 국제 제약협회 (Inter
Health Economic Evaluations
보건경제 wiley.com/cgi-bin/ national Federation of Phamaceutical
Database (HEED)
mrwhome/114130635/ Manufacturers' Association) 가 취합한
HOME 보건경제학문헌 데이터베이스
American Psychological Association(APA)

에 의하여 만들어 졌으며, 심리학과 행동
과학과 관련한 gray literature 등을 폭넓
게 포함하여 PsycINFO와 다른 APA 데

PsycEXTRA 심리학 http://psycextra.apa.org/ 이터베이스를 보완하는 역할을 함. 문
서의 형태는 technical annual report,
government report, conference paper,
newsletter, magazine, newspaper,
consumer brochure임
CSA Sociological Abstracts abstracts and

indexes the international literature in sociology
and related disciplines in the social and
http://www.csa.com/ behavioral sciences. The database provides
Sociological Abstracts 사회 행동 factsheets/socioabs- abstracts of journal articles and citations to
set-c.php book reviews drawn from over 1,800+ serials
publications, and also provides abstracts
of books, book chapters, dissertations, and
conference papers.
com/products_pq/ full-text로 이용가능한 경영에 관련한 폭넓
ABI Inform 경영
descriptions/abi_inform. 은 서지정보를 가지고 있음.
shtml
http://www. 세계 최대 범위이자 최고 수준의 사회학

ebscohost.com/ 연구조사 데이터베이스,폭넓은 사회학과
SocINDEX 사회학 thisTopic.php? 하위 학문분야(인구학, 성별학, 사회 심리
marketID=1& 학, 약물남용 등)에 대한 서지정보를 가지고
topicID=138 있음
부　록

http://www.
2. 체
계적 문헌고찰의 질평가 도구 스포츠, 스포츠의학, 스포츠과
ebscohost.com/
(AMSTAR) 학, 운동교육, 재활, 보건학, 물
SportDiscus 스포츠 thisTopic.php?
3. 연구설계별 검색필터(Search filters) 리치료 등에 관한 폭넓은 서지
marketID=1&
- 체계적 문헌고찰(Systematic review) 정보를 가지고 있음
- 무작위배정 비교임상시험 topicID=141
보건, 사회서비스, 정책, 사회학,
(Healthcare Information Resource) Applied Social http://www.csa.com/ 심리학, 경제학, 교육, 인종관계
Science Index and 사회과학 factsheets/assia- 등을 포함한 사회과학과 보건정
Abstracts(ASSIA) set-c.php 보에 대한 포괄적인 서지 및 초
록 제공
2. 의료기술평가기관
1) 국제
기관명 (약어) 국가 url 설명

(영국)독립적인 비영리 국제연
합기구, 보건의료 제공자, 정책
http://www. 결정자, 환자들이 특정사안에
Cochrane Collaboration 국제
cochrane.org 대한 결정을 잘 내릴 수 있도록
cochrane review를 통해 정보
제공
(스웨덴)국제 의료기술평가기관
연합으로서 비영리기구임. 현재
International Network
26개국 46회원기관을 가지고
of Agencies for http://www.inahta.
국제 있음. 모든 회원 역시 의료기술
Health Technology org/Home/
평가를 수행하는 비영리기구
Assessment(INAHTA)
로서 지방 또는 중앙정부와 연계
되어 있음
(캐나다)의료기술평가와 관련된
Health Technology 개인 및 기관의 협회, 이 분야의
Assessment- 국제 http://www.htai.org/ 주요 국제회의를 개최하고 있음
International(HTAi) 유용한 컨퍼런스 초록 및 Vortal
HTA의 호스트 정보 제공
(덴마크)의료기술평가를 위한
European
유럽네트워크로서 EU회원국을
Network for
http://www. 포함한 유럽국가들의 유럽 내 의
Health Technology 유럽
eunethta.net/ 료기술평가 위한 효율적 자원
Assessment
사용, HTA대한 지식 공유, 방법,
(EUnetHTA)
과정 개발
European Information (영국) 정보교류와 신의료기술

http://www.
Network on New and 유럽 평가를 위한 의료기술평가기관
euroscan.org.uk/
Changing(EuroScan) 들의 공동 네트워크
국제기구로서 약물경제학(보건경제학)과 보
- 국제 http://www.ispor.org 건성과 연구의 발전을 도모, 원격 교육 프로
그램 제공
international Pharmaco
Society for economic 국제기구로서 약물경제학 (보건경제학)과
Pharmacoe http://www.ispor.org/
Guidelines 국제 보건성과 연구의 발전을 도모, 원격 교육 프
conomics and
Around PEguidelines/index.asp
Outcomes 로그램 제공
Research (ISPOR) the World
THE ISPOR
http://www.ispor.org/
DISTANCE 인터넷을 통해 약물경제학과 성과연구
국제 distancelearning/index.
LEARNING 주제에 대한 정보와 기술제공
asp
PROGRAM
PART2. 메타분석
2) INAHTA members

Agency for Healthcare Research (미국) 보건의료의 질, 비용, 성과 및 환자
미국 http://www.ahrq.gov/
and Quality(AHRQ) 안전 등에 대한 연구를 수행하는 정부기관
(캐나다) 캐나다의 연방 및 지방정부의 보건

의료 결정자들에게 약물 및 기타 의료기술
Canadian Agency for Drugs and
캐나다 http://www.cadth.ca/ 의 효과와 효율성에 대해 신뢰할 만한 중립
Technologies in Health(CADTH)
적 인 조 언 과 근 거 중 심 정 보 를
제공하는 국가기관

의료기술평가(Health Technology Assess
CRD - Centre for Reviews and http://www.york.ac.uk/
영국 ment, HTA) 데이터베이스: INAHTA 회원 및
Dissemination inst/crd/
기타 HTA 기관에서 나온 보고서 제공
(프랑스) 보건의료에 대해 과학적인 근거에

http://www.has-sante. 입각한 전문가의 의견을 제공하는 독립적인
Haute Autorité de Santé(HAS) 프랑스 fr/portail/jcms/c_5443/ 정부 산하 기구. 독립성, 과학적 엄격성, 협력
english?cid=c_5443 (cross functional working)의 3대 원칙을 강
조하고 있음
Danish Centre for Evaluation http://www.sst.dk/ (덴마크) 의료기술평가기관. 질과 기준, 비용

and Health Technology 덴마크 English/DACEHTA. 가치를 높이기 위한 기술평가를 수행 , HTA
Assessment(DACEHTA) aspx 원리 통합
(캐나다) 보건경제학, 보건정책, 의료기술평

가 및 비교효과로부터 보건연구 결과물을 도
Institute of Health
캐나다 http://www.ihe.ca/ 출, 수집, 유포하여 보건의료전달을 개선하
Economics(IHE)
고 지속가능한 미래를 지원하고자 하는 비영
리기구
Institut für Qualität und (독일) 보건의료의 질과 효율성을 위해, 환자

http://www.iqwig.de/
Wirtschaftlichkeit im 독일 를 위한 의료서비스의 장단점을 조사하는 독
index.2.en.html
Gesundheitswesen(IQWiG) 립적인 과학 연구소
벨기에) 의사결정이 이루어져야 하는 경

Belgian Federal Health Care http://kce.fgov.be/index_ 우 서로 다른 4개의 도메인에서 연구를 수
벨기에
Knowledge Centre(KCE) en.aspx?SGREF=5211 행하는 준정부기관 (semi-governmental
부　록
institution)

(캐나다) 퀘벡주 보건복지부장
2. 체
계적 문헌고찰의 질평가 도구 Agence d´Évaluation
http://www.aetmis. 관에게 보고하는 독립기구. 주로
(AMSTAR) des Technologies et des
캐나다 gouv.qc.ca/site/home. 의료기술의 도입과 획득, 사용에
3. 연구설계별 검색필터(Search filters) Modes d´Intervention en
phtml 관한 것과, 서비스의 보급과 구
- 체계적 문헌고찰(Systematic review) Santé(AETMIS)
- 무작위배정 비교임상시험 성방식에 대한 것을 연구
http://www.isciii.
4. 보건의료 자료 정보원 보건부와 국립보건시스템(Nati
(Healthcare Information Resource) Agencia de Evaluación de es/htdocs/en/
스페인 onal Health System, NHS)에
Tecnologias Sanitarias(AETS) investigacion/
과학, 기술적 지원을 제공
Agencia_quees.jsp
http://www.
Andalusian Agency
juntadeandalucia.es/ (스페인) 자치지방인 안달루시아
for Health Technology 스페인
salud/orgdep/aetsa/ (Andalusia)의 의료기술평가기관
Assessment(AETSA)
default.asp?V=EN
(호주) 의료 중재행위에 대한
체계적 문헌고찰을 수행하고
Adelaide Health Technology http://www.adelaide.
호주 보건의료 의사결정의 합리적 근
Assessment(AHTA ) edu.au/ahta/
거를 제공하는 가이드라인을
개발, 제공
AHTAPol - Agency for Health

http://www.aotm.gov. (폴란드) 의료기술평가기관 (영
Technology Assessment in 폴란드
pl/ 어버전 제공안함)
Poland
(호주) 신생외과기술 및 기법에

대해 수준높고 시의적절한 평가
를 제공하는 기관 - 체계적문헌
Australian Safety and http://www.surgeons.
고찰, 의료인의 검토를 거친 문
Efficacy Register of New org/racs/research-
호주 헌에 대한 기술개괄, 임상 및 연
Interventional Procedures and-audit/asernip-s/
구감사 또는 연구수립 및 촉진,
-Surgical(ASERNIP-S) asernip-s-links
horizon scanning을 통한 신생
기술 및 기법평가, 임상진료지침
작성을 위한 데이터제공 등
AVALIA-T - Galician Agency

http://avalia-t.sergas. (스페인) 의료기술평가기관(영어
for Health Technology 스페인
es 버전 제공안함)
Assessment
http://www.gencat.
Catalan Agency for Health
net/salut/depsan/ (스페인) 자치지방인카탈루냐
Technology Assessment and 스페인
units/aatrm/html/ca/ (catalunya)의 의료기술평가기관
Research(CAHTA)
Du8/index.html
(타이완) 규제요건에 대해 신약
Center for Drug http://www.cde.org. 과 신의료 장비를 평가하며, DO
타이완
Evaluation(CDE) tw/eng/default.html H를 대리하여 관련컨설팅 서비
스를 제공
CEDIT-Comitéd´ http://cedit.aphp.
(프랑스) 의료기술을 평가하기
Evaluationetde Diffusion des 프랑스 fr/english/index_
위해 설립된 병원 중심의 기관
Innovations Technologiques present.html
(멕시코) 보건부 산하 기관으로서, 의료기
술과 관련해 객관적이고 믿을 수 있으며 시
http://www.cenetec.
Centro Nacional de Excelencia 의 적절한 정보를 도출하는 것이 주 목적
멕시코 salud.gob.mx/interior/
Tecnológica en Salud(CENETEC) 인 CENETEC는 3가지 주요 프로그램으로
english.html
구성 - 의료장비계획(Medical Equipment
Planning) - 의료기술평가 - e-Health
(네덜란드) 치료제보험법
네덜 (CureInsuranceAct,zvw)과 특별의료비용
College voor Zorgverzekeringen(CVZ) http://www.cvz.nl/
란드 법(ExceptionalMedicanExpensesAct,AWB
Z)의 이행과 재정조달을 조율
German Agency for HTA

(독일) 의료기술평가기관 약물 및 의료장비
at the German Institute for http://www.dimdi.de/
PART2. 메타분석
독일 에 대해 데이터베이스 지원 정보시스템을
Medical Documentation and static/en/index.html
개발하고 운영하는 역할도 맡고 있음
Information(DAHTA @DIMDI)
DECIT-CGATS - Secretaria de http://portal.saude.

Ciência, Tecnologia e Insumos gov.br/portal/saude/ (브라질) 보건의료 연구를 장려하고 향상시
브라질
Estratégicos, Departamento de profissional/area. 키기 위해 설립된 기관
Ciência e Tecnologia cfm?id_area=1088
(덴마크) 독립비영리연구소로, 보건분야대

Danish Institute for Health Services
덴마크 http://dsi.dk/ 상, 또는 보건분야와 협력하여 연구, 커뮤니
Research(DSI)
케이션, 컨설턴트서비스를 제공
Department of Quality and Patient

http://www.redsalud. (칠레) 환자안전 및 질관련 부(department)
Safety of the Ministry Health of 칠레
gov.cl/ (영어버전 제공안함)

Chile(ETESA)
(핀란드) Unit에 의해 위임을 받거나 재정지

Finnish Office for Health Technology http://finohta.stakes.fi/ 원을 받은 조사 및 평가연구를 발표. 대부분
핀란드
Assessment(FinOHTA) EN/index.htm 핀란드어로 제공하며 영어로 제공하는 보고
서도 간혹 있음
(네덜란드) 독립적인 과학자문기구로, 공공

네덜 http://www.
Gezondheidsraad(GR) 보건분야에 대해 장관과 의회에 자문하는 역
란드 gezondheidsraad.nl/en
할을 수행함
(호주,뉴질랜드) 의료중재의 근거를 파악하

Health Services Assessment 뉴질 http://www.healthsac.
고 분석하며, 그 결과를 체계적문헌고찰 및
Collaboration(HSAC) 랜드 net/
경제적평가의 형태로 보급하는 협력기관
(영국) 정보과학, 체계적 문헌고찰, 역학 및

IAHS - Institute of Applied Health http://www.abdn. 공공의료, 의료경제학 및 의료통계학을 대표
영국
Sciences ac.uk/iahs/ 하는 소수의 핵심팀에 의해 운영되며 보건의
료관련 광범위의 평가방법론 및 기술제공
http://www.
Israel Center for Technology (이스라엘) 독립적인 의료기술평가기관. 기
이스 gertnerinst.org.il/
Assessment in Health Care (The 술관리 국가정책에 대해 이스라엘 보건부에
라엘 e/health_policy_e/
Gartner institute)(ICTAHC) 자문하는 것이 주요 임무 중 하나
technology/
http://www.iecs.org. (브라질) 보건의료 연구, 교육, 기술지원을

Institute for Clinical Effectiveness and
아르헨티나 ar/iecs-visor.php?cod_ 위해 노력해온 의학 및 사회과학 전문가가
Health Policy(IECS)
producto=26 창설한 독립비영리기구
부　록

(오스트리아) 보건분야의 과학
2. 체
Ludwig Boltzmann Institut 적 의사결정지원을 위한 독립체.
(AMSTAR) http://hta.lbg.ac.at/
für Health Technology 오스트리아 자원의 효율적이고 적절한 활용
3. 연구설계별 검색필터(Search filters) en/index.php
Assessment(LBI of HTA) 에 유리한 결정을 하도록 과학적
- 무작위배정 비교임상시험 근거를 제시함
(말레이시아) 의료기술평가기관
(Healthcare Information Resource) 안전하고 효과적이며 비용효과
Health Technology http://www.inahta.
적인 기술이 말레이시아의 의료
Assessment Section, Ministry 말레이시아 org/Members/
기관에서 사용되도록 한다는 정
of Health Malaysia(MaHTAS) MaHTAs/
책에 부합하고 있음 (현재 사이
트 이용불가)
(캐나다) 과학적 근거에 대한

체계적 문헌고찰을 수행하고
보건의료분야 전문가들과 협의
http://www.health. 해 온타리오 의료기술자문위
Medical Advisory gov.on.ca/english/ 원회(Ontario Health Technolo
캐나다
Secretariat(MAS) providers/program/ gy Advisory Committee)와 보
mas/mas_about.html 건 및 장기치료부 (Ministry
of Health and Long-Term
Care)에 의한 최신 근거중심
의료 기술 분석을 도출
(호주) 보건부에게 새로운 의료

MedicalServicesAdvisoryCom http://www.msac.gov. 기술의 안전성과 효과성 및 비용
호주
mittee(MSAC) au/ 효율성에 대해 자문하는 의료서
비스 자문 위원회
(스위스) 의료기술평가에 대한
MTU-SFOPH - Medical 스위스 네트워크로 1999년 협회
Technology Unit - Swiss http://www.snhta.ch/ 형태의 법적 기구로 설립됨. 궁
스위스
Federal Office of Public home/portal.php 극적인 목적은 스위스 보건의료
Health 의 효과성, 비용효과성 및 사회
적 신뢰성 증진에 이바지하는 것임
NIHR Coordinating Centre (영국) 의료기술평가 연구의 파

for Health Technology 영국 http://www.hta.ac.uk/ 악과 위탁에 있어 HTA프로그램
Assessment(NCCHTA) 의 업무를 지원
http://www.pcpoh. (영국) 영국보건부와 국가정책

National Horizon Scanning bham.ac.uk/ 입안가들에게 선별된 신의료기
영국
Centre(NHSC) publichealth/ 술에 대해 horizon scanning을
horizon/ 통해 사전통지를 하는 센터
http://www.
(영국) 스코틀랜드 보건의료의
Quality Improvement nhshealthquality.
영국 질을 향상시키기 위한 NHS위원
Scotland(NHS QIS) org/nhsqis/CCC_
회(board)를 지원
FirstPage.jsp
(노르웨이) 보건의료서비스의
Norwegian Knowledge
http://www.nokc. 모든 분야내 방법 및 중재의 수
Centre for the Health 노르웨이
no/ 준과 효과에 대한 근거를 수집
Services(NOKC)
하고 확산시킴
(스페인) 보건의료관련 네크워

Basque Office for http://www.osanet.
크로 의료기술평가관련 보고서
Health Technology 스페인 euskadi.net/r85-
및 방법론관련 보고서 제공. 신
Assessment(OSTEBA) 20357/es/
흥의료기술에 관한 정보제공
(스웨덴) 의료, 경제, 사회적 측면에서 포괄
Swedish Council on Technology 적으로 보건의료기술평가하는 기관으로서
스웨덴 http://www.sbu.se/en
Assessment in Health Care(SBU) 건강문제의 예방, 진단, 치료에 사용되는 핵
심평가방법에 관한 독립적인 공공기관
http://www.madrid.org/
cs/Satellite?idConsejeria
=1109266187266&idList
Consj=1109265444710&c
(스페인) 보건과학관련 연구 커뮤니티로 건
=CM_Agrupador_FP&pa
UETS - Unidad de Evaluación de 강증진, 관리, 평가 및 인증 등의 교육활동과
스페인 gename=ComunidadMa
Tecnologías Sanitarias 연구수행. 의료전문가를 위한 보건과학관련
drid%2FEstructura&idO
평가자료 제공
rganismo=110926622819
6&pid=1109265444699&
language=es&cid=11092
PART2. 메타분석
66187266
VASPVT - State Health Care

http://www.vaspvt.
Accreditation Agency under the (리튜니아) 유럽연합의 의료기술평가관련
리튜아니아 gov.lt/index.php?-
Ministry of Health of the Republic 정보 및 의료기기관련 법령, 지침 등을 제고
1094698562
of Lithuania
(미국) 재향군인회의 근거중심의사 결정발

VA Technology Assessment http://www.va.gov/
미국 전을 전담하고 있는 the Office of Patient
Program(VATAP) vatap/
Care Services내의 전국적 프로그램의 하나
(라트비아) 보건 서비스의 안전성, 효과성,

Health Statistics and
http://vsmtva.vec.gov. 비용효율성을 증진하여 라트비아의 보건의
Medical Technologies State 라트비아
lv/web/en/index.aspx 료 수준을 개선하고자 하는 기관(영문 공개
Agency(VSMTVA)

안됨)
(네덜란드) 의료연구 및 보건분야의 수준과

The Medical and Health
http://www.zonmw.nl/ 혁신을 도모하는 국가기구, 정보전파(know
Research Council of The 네덜란드
en/ ledgetransfer) 및 실행(implementation)을
Netherlands(ZonMw)
적극적으로 도모함
3) 각국 기구

http://www.nice.org.
uk/Guidance/TA
(영국) 건강증진과 질병예방 및 치료에 관한
http://www.nice.org.
국가지침을 제시하는 독립기관인 NICE의
uk/Guidance/IP
National Institute for Health 세 가지 영역은ⅰ)공중보건(NHS) ⅱ)의료기
영국
and Clinical Excellence (NICE) 술 ⅲ)임상진료(국가의료 서비스 내에서 특
http://guidance.nice.
정 질환의 적절한 치료와 관리에 대한 지침)
org.uk/PHG
이며 각 영역에 대해서 지침을 생산
http://guidance.nice.
org.uk/CG
(영국) 근거중심 치의학센터로 전세계적인

Centre for Evidence Based
영국 http://www.cebd.org 근거중심 치의학의 평가 및 교육을 위해 설
Dentistry (CEBD)
부　록
립된 독립기구

(영국) 근거중심 의학을 증진시
2. 체
(AMSTAR)
키기 위하여 옥스퍼드 대학에서
Centre for Evidence Based 설립되었으며, 의료공급자, 의료
3. 연구설계별 검색필터(Search filters) 영국 http://www.cebm.net
Medicine (CEBM) 교육자 및 근거중심의학에 관심
- 무작위배정 비교임상시험 있는 사람들을 위하여 관련 정보
및 지원을 무료로 제공
(Healthcare Information Resource) http://www.
(호주) Southern Health 및 외부
Monash University - Centre southernhealth.org.
호주 기관에 근거에 기반한 보건의료
for Clinical Effectiveness au/page/Health_
서비스제공
Professionals/CCE/
(미국)57개 의료그룹의 독립적

협력기구로 6개의 국가건강계
Institute for Clinical Systems http://www.icsi.org/
미국 획에 의해 지원받아 미네소타 및
Improvement (ICSI) index.aspx?catID=2
주변주들에게 근거중심 보건의
료서비스 제공
(덴마크)유럽지역의 공중보건 및
보건 정책 입안자들을 위한 정보
http://www.euro.who.
서비스 네트워크로 세계 유수 전
int/en/what-we-do/
Health Evidence 문가들을 모아 임상연구관련 연
덴마크 data-and-evidence/
Network(HEN) 구자료 등을 분석케 하여 근거에
health-evidence-
입각한 보건의료중재법을 제안,
network-hen
WHO에서 정책마련 시 활용토록
함
http://www.bcbs. (미국)Blue Cross & Blue

Blue Cross Blue Shield
com/blueresources/ Shield Association의 광범위한
Technology Evaluation 미국
tec/tec- 주제에 대한의료기술평가 수행
Center (TEC)
assessments.html 기관
http://www.ncbi. (미국)보건의료 정책결정에 필

Health Services/Technology
미국 nlm.nih.gov/books/ 요한 정보 및 문서를 무료로 제
Assessment Text (HSTAT)
bv.fcgi?rid=hstat 공해줌
(캐나다)광범위한 예방적 의료
Canadian Task Force on http://www.ctfphc. 조치의 포함이나 배제, 내용 및
캐나다
Preventive Health Care org 빈도를 결정하도록 근거중심권
고안을 제작
University of Alberta - The

http://www.cche. (캐나다)근거중심 보건의료에
Centre for Health Evidence 캐나다
net/ 관한 교육 및 지침자료 제공
(CHE)
(이스라엘)최소의 비용 또는 무
료로 업데이트된 최신의 의학정
Golden Hour - Medical 이스 http://www.
보 및 의료기술 평가도구를 제공
Information Center 라엘 goldenhour.co.il
함으로서 근거중심의학의 활용
을 증진시키기 위해 노력
The British Columbia

Office of Health Technology http://chspr.ubc.ca/ (캐나다) 공공의료 및 공공의료
Assessment (BCOHTA) - 캐나다 publications?progra 서비스가 구성되고 지원받고 전
Centre for health services m=bcohta&by=date 달되는 것에 대한에 대한 정보제공
and policy research
(스위스)의료기술의 효과성, 적절성, 효율성
Swiss Network for Health Technology http://www.snhta.ch/ 뿐만 아니라 사회적, 윤리적 측면, 그리고 영
스위스
Assessment(SNHTA) home/portal.php 향력에 대한과학적평가를 수행하는 의료기
술 평가기관
(캐나다) 보건의료의 질 및 적정성을 향상시

Canadian Association for Health
캐나다 http://www.cahspr.ca 키고 보건의료서비스 및 정책에 적용함으로
Services and Policy Research
서 보건의료를 개선하는데 이바지함
Centre for Health Economics and (캐나다) 보건의료 경제학자 및 정책분석가

http://www.chepa.org/
Policy Analysis (CHEPA), McMaster 캐나다 들에게 보건의료기술평가 및 경제성 평가관
Home.aspx
University 련 문헌 및 정보제공
Centre for Health Economics http://www.chere.uts.
PART2. 메타분석
호주 (호주)보건 경제학 및 의료 서비스 연구기관
Research and Evaluation edu.au/index.html
(미국)미국 경제학 협회(American

Economic Association)의 전자 서지 30년
http://www.aeaweb.
EconLit 미국 이상의 기간에 걸친 전세계 경제학 문헌의
org/econlit/index.php
색인을 제공. 보건 경제학 정보 및 의료기술
의 경제적 평가에 대한 정보도 제공
(미국) 보건의료 정책가, 사업가 및 관련 학

National Bureau of Economic
미국 http://www.nber.org/ 계에 비뚤림 없는 경제성 평가 연구를 수행,
Research (NBER)
확산함
https://research. (미국)발표된 의학 문헌 중 비용효과비에 대

Cost Effectiveness Analysis Registry 미국 tufts-nemc.org/cear4/ 한 포괄적 데이터베이스를 일반 대중이 인터

default.aspx 넷으로 이용할 수 있도록 하고 있음
(캐나다) 다양한 정책주제의 보고서를 보유

British Columbia Centre for Health 하고 있으며, 과거 British Columbia 의
캐나다 http://www.chspr.ubc.ca/
Services and Policy Research 료기술평가원 (BC Office of Health Techno
logy Assessment, BCOHTA)의 정보를 보관
http://www.
myhamilton.ca/
myhamilton/
Effective Public Health Practice (캐나다) 보건의료연구, 교육 및 프로그램 개
캐나다 CityandGovernment/
Project (EPHPP) 발 주요 주체
HealthandSocial
Services/Research/
EPHPP
Institute for Clinical and Evaluative http://www.ices.on.ca/ (캐나다)온타리오주의보건서비스및이용

캐나다
Sciences (ICES) webpage.cfm (utilization)연구기관
(캐나다) 독립적이고 비영리적인 보건의료

Institute for Work and Health (IWH) 캐나다 http://www.iwh.on.ca 연구기관으로 세계 보건의료 안전성 연구관
련 기관 중 상위5개 안에 속함
부　록

(캐나다) 과학적 의료기술 평가
2. 체
계적 문헌고찰의 질평가 도구 Technology Assessment
http://www.mcgill. 와 공정하고 투명한 의사결정
(AMSTAR) Unit of the McGill University 캐나다
ca/tau/ 절차를 통해 자원배분 결정과
3. 연구설계별 검색필터(Search filters) Health Centre(MUHC)
관련한 조언제공
(Randomized controlled Trial) http://www.health.
Ontario Medical Advisory (캐나다)의료기술을 평가하고
gov.on.ca/english/
4. 보건의료 자료 정보원 Secretariat & Ontario 새로운 의료기술 및 서비스의
(Healthcare Information Resource) 캐나다 providers/program/
Health Technology Advisory 이해에 관한 근거중심정책 자문
ohtac/ohtac_
Committee (OHTAC) 을 행정부와 기타정부기관에 제시
mn.html
http://www.ti.ubc. (캐나다) 약품처방과 관련하여

Therapeutics Initiative 캐나다
ca/ 최신의 근거중심 임상정보 제공
http://www.
(캐나다) 지역 근로자의 보건의
WorkSafeBC (the Workers’ worksafebc.com/
캐나다 료 및 안전성을 증진하기 위해
Compensation Board of BC) health_care_
설립된 기관
providers/
(호주)의료 서비스 자문위원회

AustraliaandNewZealandHor http://www. (MSAC),호주 보건부(DoHA) 및
izonScanning 호주 horizonscanning. 호주 보건부장관의자문위원회
Network(ANZHSN) gov.au/ (AHMAC) 모든 관할체의 정책을
발의하는 기관
(호주) 보건 및 간호분야 체계적

Australia-Joanna Briggs http://www. 문헌고찰 정보제공. 일부가 무료
호주
Institute joannabriggs.eduau 이긴 하나, full access를 위해서
는 회원가입이 요구됨
New Zealand http://nzhta.

뉴질 (뉴질랜드)보건의료성과와의료
Health Technology chmeds.ac.nz/
랜드 기술평가를위한정보센터
Assessment(NZHTA) index.htm
(영국) 넓은 범위의 보건의료관

Health Evidence Bulletins –
영국 http://hebw.cf.acuk/ 련 주제에 대한 최고의 근거를
Wales
제공해주는 이정표 역할 수행
(영국) 의료기술평가를 위한 국
National Health Technology http://www.hta. 가기관으로 평가 진행중이거나
영국
Assessment Programme ac.uk/ 완료된 의료기술에 대한 정보 및
보고서 제공
http://www.nice.
org.uk/aboutnice/
whatwedo/
aboutmedicalte
chnologies/ (영국) NHS가 좀더 향상된 구매
NHS Centre for Evidence-
영국 innovation 결정을 할 수 있도록 의료기술에
based Purchasing
landscape/ 대한 객관적인 정보제공
evaluation/
CentreforEvidence
BasedPurchasing.
jsp
http://www.aetna.com/
provider/resource/ (미국) 의료중재법 및 의약품 등에 대한 보험
Aetna Inc. 미국
coverage/cov_det_ 급여 결정 여부를 알려주는 역할을 함
policies.html
(미국,캘리포니아) 캘리포니아의 건강보험

California Health Benefits Review
미국 http://www.chbrp.org/ 법안과 보장범위와 관련된 의료기술에 대해
Program (CHBRP)
평가하는 프로그램
California Technology Assessment (미국,캘리포니아) 의료기술의 객관성과투

미국 http://www.ctaf.org/
Forum (CTAF) 명성을 위해 노력하는 지역사회포럼
(미국) 비영리 보건의료서비스 연구기관으

로 보건의료기술, 관련 위험 및 질관리, 환자
PART2. 메타분석
http://www.ecri.org/
ECRI 미국 안전 개선 증진 및 보건의료환경관리 등에
Pages/default.aspx
초점을 맞추어 연구수행. 보고서와 다른 출
판물은 HTAIS 데이터 베이스에서 확인가능
http://www.hta.hca.
Washington State Health Care (미국)현재 진행 중인 의료기술평가에 대한
미국 wa.gov/assessments.
Authority HTA 정보와 보고서 제공
html
(미국)독립적인 보건의료기술 연구 및 컨설
팅회사로 의료성과의 질향상을 위해 노력
함. 신의료기술, 신흥의료기술 및 쟁점의 대
http://www.hayesinc.
Hayes Inc. 미국 상이 되는 의료기술에 대한 비뚤림 없는 근
com/hayes/
거중심의 보건의료평가를 수행하고 있으며
이러한 의료기술이 삶의 질 및 의료비용 등

에 미치는 영향 등을 평가한다.
Centre for Health Economics, http://www.york.ac.uk/ (영국)경제성평가를 포함한 의료기술에 대

영국
University of York inst/che/ 한 연구를 진행
(미국)Moira Napper에 의해 제공되는보건

http://www.nlm.
Health Economics Information 의료관련 독학코스로 지속되는 교육 워크샵
미국 nih.gov/nichsr/edu/
Resources 의 형태로 의학도서관협회에서 제시된 모듈
healthecon/
로 부터 개발되었음
부　록

2. 체
3. 임상시험 등록원 (Register)
(AMSTAR)

- 체계적 문헌고찰(Systematic review) 기관명 (약어) 국가 url 설명
International Clinical WHO에서 지원하는 국제 임상
http://www.who.int/
4. 보건의료 자료 정보원 Trials Registry Platform 국제 시험 등록 플랫폼 검색 포털 사
(Healthcare Information Resource) trialsearch
Search Portal 이트임
World Health
Organisation (WHO)
http://www.who.int/ (WHO)WHO에서 관리하는 각국
International Clinical 국제
ictrp/en/ 의 임상시험 등록 플랫폼
Trials Registry Platform
(ICTRP)
포털은 완료되었거나 진행 중인
International Federation 임상시험 정보를 검색할 수 있는
http://clinicaltrials.
of Pharmaceutical 단일검색 인터페이스로, 국제
ifpma.org/no_cache/
Manufacturers & 국제 제약업협회(International Fede
en/myportal/index.
Associations (IFPMA) ration of Pharmaceutical
htm
Clinical Trials Portal Manufactures and Associa
tions)가 제공
Community Research &

EU 국가에서 수행되는 임상시
Development Information http://cordis.europa.
EU 험 및 관련 기초연구들에 대한
Service(of the European eu/en/home.html
정보제공 사이트
Union)
미국의 임상시험 등록 사이트로

http://www. 전세계에서 수행되고 있는 임상
ClinicalTrials.gov 미국
clinicaltrials.gov/ 시험의 대부분이 동 사이트에 등
록되고 관리됨
Clinical Study Results.org,

표준화되고 읽기 쉬운 형식으로
The Pharmaceutical
http://www. 시판되고있는 의약품 등에 대한
Research and 미국
clinicalstudyresults.org/ 임상시험 결과를 제공해 주는
Manufacturers of America
사이트
(PhRMA)
http://www.trialscentral. 여러 의학 전문분야의 임상시험
Trials Central 미국
org/ 등록부 목록을 제공
http://www.centerwatch. 임상시험 업계를 위한 임상시험

Center Watch 미국
com/ 등록 서비스와 정보를 제공
암 예방, 검사, 유전학, 진단 및

치료정보,암관련 임상시험,
National Cancer Institute
미국 http://www.cancer.gov/ 통계및 환자 가이드에 대한 PDQ
(NCI)
(Physicial Data Query) 데이터
베이스를 제공함
(미국) 대학, 병원, 연구기관에서
Computer Retrieval of
http://projectreporter. 수행된 연방정부지원 생명의학
Information on Scientific 미국
nih.gov/reporter.cfm 연구과제를 검색할 수 있는 데이
Projects (CRISP)
터베이스
International Standard
http://controlled-trials. 국제 무작위 대조군 임상연구 등
Randomised Controlled 영국
com/isrctn/ 록 사이트
Trial Number Register
http://www.controlled-trials.
UK Clinical Trials Gateway 영국 국제 무작위 대조군 임상연구 등록 사이트
com/ukctr
http://www.ukcrn.org.uk/
UK Clinical Research Network 임상시험 수행에 필요한 정보 등을 알기
index/clinical/portfolio_new/
(UKCRN) Clinical Research Portfolio 쉽게 설명, 지원해주는 사이트
P_search.html
영국
암과 관련한 연구정보를 제공하는 사이트
Cancer Help UK, owned and funded http://www.cancerhelp.org.
로 치료법, 의약품, 증상 등의 정보를 제공
by Cancer Research UK uk/default.asp
해줌
PART2. 메타분석
AustralianNewZealandClinicalTrialsR 호주/ 의약품, 의료기기, 외과적 시술, 진단법, 재
http://www.anzctr.org.au/
egistry 뉴질 활치료 및 대체의학과 관련한 호주 및 뉴
Survey/UserQuestion.aspx
(ANZCTR) 랜드 질랜드 온라인 임상시험 등록 사이트
국내외에 걸쳐 암 치료, 보존적 치료 및 예

National Cancer Institute of Canada
캐나다 http://www.ctg.queensu.ca/ 방 분야의 임상시험을 수행하는 종양학 단
Clinical Trials Group
체
http://www.uniklinik-
Clinical Trial Registry of the University
freiburg.de/zks/live/ Freiburg 의과대학의 임상시험 등록 사이트
Medical Centre Freiburg
uklregister/Oeffentlich.html
PART3. 체계적
German Somatic Gene Transfer 독일 http://www.dereg.de/index_
유전자치료관련 임상시험 등록 사이트
Clinical Trial Database engl.html
독일에서 수행되고 있는 임상시험 등록 사
German Clinical Trials Register
http://germanctr.de/ 이트로, 특히 WHO에 의해 수행되는 임상
(German CTR)
시험이 등록되고 있음
문헌고찰과
http://www.hkclinicaltrials. 홍콩대학에서 수행되고 있는 임상시험 등
HK ClinicalTrials.com 홍콩
com/ 록 사이트
관련된
http://ctri.nic.in/Clinicaltrials/ 인도에서 수행되고 있는 임상시험 등록 사
Clinical Trials Registry -India 인도
관련된
index.jsp 이트
이란의 보건의료교육부에서 설립한 임상

주요주요
Iranian Registry of Clinical Trials 이란 http://www.irct.ir/ 시험 등록 사이트로 WHO에 의해 수행되
이슈들
고 있는 임상시험도 같이 등록되고 있음
부　록 이슈들

일본 후생성의 지원을 받아 일본
2. 체
계적 문헌고찰의 질평가 도구 The Centre for
https://dbcentre3. 의사협회에서 운영하는 임상시
(AMSTAR) ClinicalTrials, Japan
jmacct.med.or.jp/ 험 등록사이트로 현재 대형 임상
3. 연구설계별 검색필터(Search filters) Medical Association
jmactr/ 시험 네트워크 프로젝트를 수행
- 체계적 문헌고찰(Systematic review) (JMACCT)
- 무작위배정 비교임상시험 하고 있음
The Japan
4. 보건의료 자료 정보원 http://www. 일본에서 수행되고 있는 의약품
(Healthcare Information Resource) Pharmaceutical
clinicaltrials.jp/user/ 에 대한 임상시험 정보 제공 사
Information Centre
cte_main_e.jsp 이트
(JAPIC)
일본 일본 대학병원 의료정보 네트워

University hospital 크에서 제공하는 임상시험 등록
Medical Information http://www.umin. 사이트로 수행하고 있는 임상시
Network Clinical Trials ac.jp/ctr/index.htm 험에 대한 정보를 등록할 수 있
Registry (UMIN-CTR) 을 뿐만 아니라 타기관의 임상시
험 정보도 확인할 수 있음
일본 국립보건의료과학원에서
제공하는 임상시험 정보 검색 사
Japan Primary Registries http://rctportal.niph.
이트로 임상시험 수행에 필요한
Network go.jp/
지식, 절차 및 법령 정보 등을 제
공
http://www.
The Netherlands Trial 네덜
trialregister.nl/ 네덜란드의 임상시험 등록 사이트
Register 란드
trialreg/index.asp
Sri Lanka Clinical Trials 스리

http://www.slctr.lk/ 스리랑카의 임상시험 등록 사이트
Registry (SLCTR) 랑카
의약품, 의료기기 및 각종 의료
Chinese Clinical Trials
중국 http://www.chictr.org 중재법과 관련한 중국의 온라인
Register (ChiCTR)
임상시험 등록 사이트
4. 임상진료지침

(국내) 보건복지부 재정지원으
로 운영되는 곳으로 근거중심
임상진료지침정보센터 의학 및 임상진료지침에 대한
한국 http://guideline.or.kr
(KoMGI) 각종 정보를 제공하는 국내 유
일의 Guideline International
Network 회원 사이트임
(국내) 질병관리본부에서 운영.
http://ncrc.cdc.go.kr/ 질환별 임상연구센터의 임상연구
임상연구지원센터(NCRC) 한국
guideline 및 지침개발의 통합 정보관리 및
연구지원 수행.
임상진료지침과 관련된 기관 및 개인의 국제적
비영리 협회(G-I-N)로 임상진료지침과 실제 임
상에의 적용법 등을 체계적으로 개발하는 것을
Guidelines International Network
국제 http://www.g-i-n.net/ 촉진함으로서 건강관리의 질을 향상시키고자
(G-I-N)
함. G-I-N의 국제 가이드라인 도서관은 G-I-N
회원의 지침정보를 정기적으로 업데이트 하고
있음
(영국) 연구자와 정책 입안가들의 국제적 공동체
AGREE - Appraisal and Guidlines http://www. 로, 임상진료지침의 개발, 보고, 평가를 위한 공
영국
Research and Evaluation agreecollaboration.org/ 동의 틀을 마련해 그 수준과 효과를 개선하고자
함
(미국) 근거중심 임상행위와 관련된 문서의 종합
National Guideline Clearinghouse
PART2. 메타분석
미국 http://www.guideline.gov/ 적 데이터베이스이자 가장 널리 사용되는 임상
(NGC)
지침 사이트 임. AHRQ의 모태이기도 했음
(영국) NICE와 다른 기관에서 개발한 임상진료
NHSEvidence-
http://www.library.nhs.uk/ 지침을 모아 놓은 DB. 대부분 영국에서 개발된
NationalLibrary 영국
guidelinesFinder/ 임상진료지침에 초점을 맞추고 있으나 영국에
of Guidelines
없는 지침의 경우 다른 국가의 지침도 수록함.
New Zealand Guidelines Group 뉴질 http://www.nzgg.org.nz/ (뉴질랜드) 임상지침 개발 및 이행에 대한 전문
(NZGG) 랜드 index.cfm? 성과 정보의 비공식 네트워크
(영국) 대학간 가이드라인 네크워크. 국가 임상
Scottish Intercollegiate Guidelines 지침을 개발할 뿐만 아니라 실행 가능성을 파악
영국 http://www.sign.ac.uk/
Network (SIGN) 하는 역할을 함. 지침이 실제로 국가 의료서비스
에서 실행되도록 하는 임무를 띠지는 않음
PART3. 체계적
http://www.eguidelines.
eGUIDELINES 영국 (영국)임상진료지침검색DB
co.uk/index.php
(캐나다) 외과의와 개원의들이 근거중심 임상행
캐나다
http://www.gacguidelines. 위 지침과 가능한 최선의 근거에 기반한 임상행
Guideline Advisory Committee(GAC) (온타
ca/ 위를 활용하도록 장려하여 보건개선을 도모하
리오)
문헌고찰과
고자 하는 위원회
(캐나다, 알버타) 알버타의 임상진료지침을
캐나다 http://www. 관리, 배포. 폭넓은 보건 시스템에 부합하는
관련된
Toward Optimized Practice (TOP) (알버 topalbertadoctors.org/cpg. 보건 수준개선 정책으로서 보건수준에 집중
관련된
타) html 하여 Primary Care Initiative 와 Physician
Office System Program 같은 전략을 보완
(캐나다, 브리티시컬럼비아) 지침과 프로토콜
주요주요
캐나다
이슈들
은 지침 및 규약 자문 위원회(Guidelines and
Clinical Practice Guidelines and (브리티 http://www.bcguidelines.
이슈들
Protocols Advisory Committee, GPAC)의 지시

Protocols in British Columbia 시 컬럼 ca/gpac/
에 따라 개발되며, 브리티시컬럼비아 의사연합
비아)
과 보건부의 공동후원을 받음
(캐나다) 근거중심 임상진료침에 대한 공개 데이
http://www.cma.ca/index. 터베이스 캐나다 의사협회(Canadian Medical
CMA Infobase Clinical Practice
캐나다 cfm/ci_id/54316/la_id/1. Association)가 운영하며, 현재 캐나다의 권위있
Guidelines
htm 는 의료기관이 개발하거나 승인한 1200 개 이상
의 임상진료지침을 보유하고 있음
(캐나다) 의료관련 법령 하에 내,외과 의사들이
College of Physicians & Surgeons of http://www.cpsa.ab.ca/ 진료지침의 표준을 정하는 것을 담당하고 있음.
캐나다
Alberta Homepage.aspx 진료 시 참고할만한 많은 정책과 가이드라인을
부　록
제공하고 있음

http://www.
2. 체
계적 문헌고찰의 질평가 도구 gacguidelines. (캐나다) 캐나다 복지부와 온타리
(AMSTAR)
ca/index.cfm 오 의료협회에 의해 설립된 기구
Guideline Advisory ?pagepath= 로 심층검토를 통해 가이드라인
- 체계적 문헌고찰(Systematic review) 캐나다
- 무작위배정 비교임상시험 Committee (GAC) (Ontario) Partners/Ontario 을 승인함. 우수한 가이드라인에
(Randomized controlled Trial) _Guidelines_ 대한 요약본과 관련 가이드라인
4. 보건의료 자료 정보원 Collaborative 간의 연계 정보가 제공됨
(Healthcare Information Resource) __OGC_&id=18861
http://www. (캐나다) 암 치료 시 적용할 수 있
Cancer Care Ontario 캐나다
cancercare.on.ca/ 는 가이드라인과 근거를 제공함
(미국) 종양학 분야에서 임상진료
National Comprehensive 지침을 제공함NCCN provides
미국 http://www.nccn.org/
Cancer Network (NCCN) clinical practice guidelines in
oncology
http://fss.hs.uottawa. (캐나다, 오타와) 오타와 대학에
Rehabilitation Guidelines 캐나다 ca/EBCpg/english/ 의해 만들어진 근거 중심 재활치
search/index.htm 료에 관한 가이드라인
(미국) 1차 의료 및 예방분야
http://www. 의 독립적 전문가 패널로 ,효능
US Preventive Services uspreventive (effectiveness)에 대한 근거를 체
미국
Task Force (USPSTF) servicestaskforce. 계적으로 고찰하고 임상적 예방
org/ 조치에 대해 권고안을 마련하고
있음
Institute for
(미국) 6개의 보건계획에 의해 후
Clinical Guidelines,
원받는 57개의 의료그룹의 독립
Systems OrderSets, http://www.icsi.org/
미국 적인 협력 기구로 미네소타와 주
Improve and guidelines_and_more/
변주들의 시민을 위해 근거중심
ment Protocols
의 보건의료서비스를 제공함.
(ICSI)
NationalInst
(영국) 영국 국민의 보건을 향상
ituteforHeal
Clinical http://www.nice.org. 시키고 잘못된 진료관행을 방지
thandClinica 영국
Guidelines uk/Guidance/CG 하기 위해 국가 진료지침을 만드
lExcellence(
는데 관여하는 독립적인 기관
NICE)
National
Information
Health
Center
Services (미국) 1993년에 설립 되었으며
on Health
Research http://www.nlm. 보건의료서비스 연구, 임상지침
Services
Information 미국 nih.gov/hsrinfo/ 및 보건 의료기술 연구 관련 정보
Research
Central literaturesites.html 의 수집, 저장, 분석 및 확산 등의
and Health
Literature & 역할을 수행함
Care
Guidelines
Technology
(NICHSR)
(캐나다) 주로 천식 및 항생제 처
http://www.cdm.gouv.
Que'bec-Conseil du 캐나다 방과 관련한 임상지침을 개발하
qc.ca/site/English_
Me'dicament (퀘백) 고 있으며, NGC나 CMA Infobase
publications.phtml
에서는 찾아 볼 수 없음
Registered Nurses'
캐나다 http://www.rnao.org/
Association of Ontario- (캐나다) 간호 관련 임상지침
(온타 Page.asp?PageID=
Nursing Best Practice 제공
리오) 861&SiteNodeID=133
Guidelines
5. 근거중심보건의료

근거중심 보건의료를 촉진하고자 하는 목적으
로 영국의 여러 센터들 가운데 처음으로 옥스
Center for Evidence Based Medicine
영국 http://www.cebm.net 포드에 설립됨. 의사, 임상의, 교사를 비롯해
(CEBM)
EBM에 대해 보다 알고자 하는 사람들에게 무
상지원과 자료제공
Center for Evidence Based Dentistry 전세계적인 근거중심 치과학의 실제 및 평가의

영국 http://www.cebd.org
(CEBD) 증진을 목적으로 운영
PART2. 메타분석
새로운 종류의 의사결정을 지원할 수 있는 출
http://clinicalevidence. 처로 지속적으로 임상적 근거를 제시하고 업데
Clinical Evidence 영국 bmj.com/ceweb/index. 이트하며, 이들을 통합하여 치료 중재 결정시
jsp 가장 적절하고 최신의 임상적 근거를 제공할
수 있는 강력한 지원 체계를 만들려고 함
http://www.medicine. EBM 사이트 등과 연계하여 근거중심의학에

Bandolier 영국
ox.ac.uk/bandolier/ 대한 요약본 제공
근거중심의학에 대한 인터넷 데이터베이스 선

TRIP (Turning Research into Practice) http://www.tripdatabase.
미국 두주자로 실제 임상에 대한 질높은 근거를 빨
Database com/index.html
리 찾을 수 있도록 도와줌

임상 의료 결정을 지지하는 가장 적합한
http://www.ebscohost. evidence를 임상의에게 제공하기 위해 만들어
DynaMed 미국
com/dynamed/ 진 의료 reference source, 3,200개 이상의 주
제에 관한 500개 이상의 저널
6,500개가 넘는 질환 및 질병에 대해서 28,000

http://emedicine.
eMedicine.com 미국 개가 넘는 멀티미디어 파일로 설명된 의학 논
medscape.com
문을 가지고 있음
Birmingham대학에 적을 두고 있는 전문가 집
Aggressive Research Intelligence http://www.arif.bham. 단으로 West Midlands 지역에서 NHS의 의사
영국
Facility (ARIF) ac.uk/ 결정에 연구를 통한 근거를 제공하는 역할을
함
http://www.attract.wales. 임상적 질문에 대하여 근거중심의 빠른 답변을

ATTRACT 영국
nhs.uk/ 제공하는 영국정부 서비스
영국 맨체스터 지역의 긴급 왕립 의사 결정기

BestBETs 영국 http://www.bestbets.org/ 구로, 실제 임상적 질문에 대해 체계적 문헌고
찰방법론을 통한 빠른 근거 중심 답변을 제공.
캐나다 퀘백을 기반으로 하는 사설기관으로,

수많은 peer-reviewed 저널을 기반으로 한 근
거자료를 제공함. 정신건강분야, 의료분야의
http://evidencematters.
Evidence Matters 캐나다 검색 tool를 별도로 제공한다. 확정된 진단을
com/
받은 환자에 대한 최선의 치료법을 결정 하는
데 도움을 주며 PICO를 기반으로 묻고 답하는
방식이다.
부　록
http://www. 보건의료 분야 중재법들에 대한 평가의 이해를

James Lind Library 영국
jameslindlibrary.org/ 돕기 위해 설립된 데이터베이스

Evidence-based Health http://www. 보건의료 관련 전문가들에게 보
2. 체
(AMSTAR)
Care and Public Health 미국 elsevierhealth.com/ 건의료 정책마련에 필요한 최상
(www.elsevierhealth.com) index.jsp 의 근거를 전달해 주는 저널
http://www.
(Randomized controlled Trial) elsevier.com/
4. 보건의료 자료 정보원 wps/find/ 심혈관계 임상의들이 시술 시 근
(Healthcare Information Resource) Evidence-based journaldescription 거에 입각하여 최선의 결정을 할
영국
Cardiovascular Medicine .cws_home/ 수 있도록 근거중심 심혈관계 의
623027/ 료기술평가관련 저널 제공
description#
description
http://www.
의료 재정, 조직 및 의료기술의
Evidence-based sciencedirect.
영국 관리와 관련하여 근거중심에 입
Healthcare com/science/
각하여 연구한 저널 제공
journal/14629410
임상의들이 진료시 참고할 수 있

EBM Online / Evidence- 는 의료 전분야에 대한 근거중심
영국 http://ebm.bmj.com/
Based Medicine 의 지침 및 의료기술 평가결과
제공
정신의학 관련 근거중심 문헌제

EBMH Online / Evidence- 공(진료지침, 의료기술 평가 성
영국 http://ebmh.bmj.com/
Based Mental Health 과연구, 경제성 평가 및 질적 연
구 등)
보건학 관련 근거중심 문헌제공

EBN Online / Evidence- (진료지침, 의료기술 평가, 성과
영국 http://ebn.bmj.com/
Based Nursing 연구, 경제성 평가 및 질적 연구
등)
http://www.
elsevier.com/
산부인과학 관련 근거중심 문헌
Evidence-based wps/find/journal
제공(진료지침, 의료기술 평가,
Obstetrics and 영국 description.cws_
성과연구, 경제성 평가 및 질적
Gynecology home/623029/
연구 등)
description#
description
엄밀하게 저널은 아니지만 주제

http://www.eboncall.
Evidence-Based On-Call 영국 별 연구에 대한 가치평가 자료
org/
제공
http://www.
sciencedirect. 암의 진단, 치료, 예방, 간호, 치
Cancer Treatment
영국 료성과 및 정책과 관련하여 고찰
Reviews com/science// 한 저널 제공
journal/03057372
(영국) 1차 및 최초 접촉(fisrt-
http://www.cks.nhs. contact) 진료 현장에서 공통적
UK Clinical Knowledge
영국 으로 관리되는 상황에 대한 근거
Summaries uk/home 중심정보와 실질적인 "노하우"
를 제공하는 믿을 수 있는 출처
New England School of Acupuncture와
제휴하여 터프츠 의과대학(Tufts University
School of Medicine)이 근거중심의학
Tufts Evidence Based Complementary http://www.tufts.edu/
미국 (EBM) 교과과정을 지원하기 위해 개설됨.
and Alternative Medicine med/ebcam
교과과정은 의대생들에게 보완 대체의학
(CAM)에 적용할 수 있는 EBM을 가르치기
위해 고안됨.
보건 전문가와 일반 대중을 대상으로 하는

The Evidence-Based Complementary
보완대체의학(CAM)관련 근거중심 웹사이
and Alternative Medicine Website for 캐나다 http://www.camline.ca
트로 근거중심 CAM 지식의 보급을 목적으
Healthcare Professionals
로함
PART2. 메타분석
6. 기타 보건의료관련 데이터베이스
6.1. 국내
사망 및 사망원인 등에 관한 통계 및 의약품, 의
통계청 한국 http://www.kostat.go.kr 료기기의 생산, 구매 등과 관련한 통계자료 제
공

국가 승인 통계들을 DB로 구축하여 제공. 성,
국가통계포털 한국 http://www.kosis.kr 연령별 사망원인통계 및 의료비 추이와 구성
등 건강보험 통계제공
http://kostat.go.kr/
shopmall/common/
통계쇼핑몰 한국 CommonAction. 최근의 한국통계연보 및 월보 등을 유료로 제공
do?method=
index&lang=ko
사망원인 및 인구동향관련 통계 등을 통계적

http://mdss.kostat.go.kr/ 노출관리기법(statistical disclosure control
마이크로데이터시스템 한국
mdssext/ methods)를 적용한 제공용 마이크로데이터 형
식으로 제공
질병관련, 건강증진 및 보건산업 관련 통계자

E 나라지표 한국 http://www.index.go.kr
료 제공
복지부에서 제공하는 통계포털사이트로 보건

관련 실태조사 자료 제공. 보건의료(국민건강
보건복지부 정책통계포털 한국 http://stat.mw.go.kr
영양조사 등), 건강보험, 한의학, 건강정책, 질
병정책, 보건산업 관련 통계자료 제공
질병관리본부 한국 http://cdc.go.kr/ 국내 질병 관련 정보제공
매년 국내 의약품 및 의료기기 통계연보 발행

부　록
(생산, 수입, 판매 실적 및 총 생산금액 등을 알

식품의약품안전청 한국 http://www.kfda.go.kr 수 있음) 이 외에 현재 판매되고 있는 의약품 및
의료기기에 대한 허가사항, 위해정보, 관련 법
령정보 제공

건강보험자료(자격, 보험료, 건
2. 체
(AMSTAR) 강검진, 급여내역 등)를 보건의
료 공공연구의 목적으로 국가,
- 체계적 문헌고찰(Systematic review) 국민건강보험공단 한국 http://www.nhic.or.kr/ 행정기관, 대학연구소 등 공공기
관에서 요청하는 경우 국민건강
보험공단의 제공기준, 범위, 절
(Healthcare Information Resource) 차에 따라 자료를 산출"E제공
http://knhanes.cdc. 2008년에 수행한 국민건강영양

국민건강영양조사 한국
go.kr/ 조사 결과자료 제공
2008년부터 전국 기초자치단체
(보건소)에서 실시한 건강설문조
지역사회건강조사 한국 http://chs.cdc.go.kr/ 사로 매년 주민의 건강수준, 건
강생활습관, 의료이용 등에 대한
정보제공
6.2. 국외

OECD health data가 매년 발행
되며, 동 자료를 통하여 OECD
http://www.oecd.org/
OECD 국제 국가별 건강상태, 보건의료자원,
document
보건의료이용 등에 관한 통계자
료를 얻을 수 있음
WHO 통계정보시스템으로 GHO

(global health observatory)
WHOSIS(WHO Statistical http://who.int/whosis/
국제 로 통합되어 전세계 보건관련
Information System) en/
데이터, 분석자료 및 기법, 보고
서 등을 제공
US-Department of Health 미국 보건사회복지부, 각종 질병

미국 http://www.hhs.gov
and Human Service(HHS) 별 통계자료 제공
미국 식약청, 매년 미국의 의약
품 및 의료기기에 대한 통계연보
발행(생산, 수입, 판매 실적 및 총
Food and Drug
미국 http://www.fda.gov 생산금액 등을 알 수 있음) 이 외
Administration(FDA)
에 현재 판매되고 있는 의약품
및 의료기기에 대한 허가사항,
위해정보 및 관련 법령정보 제공
일본 후생성, 출생, 사망, 영아사

Ministry of Health, Labour http://www.mhlw.
일본 망 등과 같은 통계자료 월, 년 단
and Welfare(MHLW) go.jp
위로 제공
중국 식약청, 중국 내 의약품, 의료기기의 허가
SFDA 중국 http://www.sfda.gov.cn
현황 제공 및 관련 법령 정보 등 제공
알버타 주의 복지부 사이트임. 의료인을 위한

http://www.health.gov.
Alberta Health and Wellness 캐나다 가이드라인과 매뉴얼 및 정부발행 서지정보 제
ab.ca
공
캐나다 연방정부 복지부 사이트로 의약품, 의

Health Canada 캐나다 http://www.hc-sc.gc.ca 료기기 등에 대한 허가정보와 정책결정에 근거
가 된 정보제공
영국 식약청, 의약품과 의료기기에 대한 규제

UK-Medicines and Healthcare http://www.mhra.gov.uk/ 를 담당하고 있으며 이러한 제품의 위해연구도
영국
Products Regulatory Agency index.htm 수행함. 이외에 혈액 및 혈액제재의 품질 및 안
PART2. 메타분석
전성 향상과 관련된 업무도 수행
의료보험 및 의료보장제도에 대한 법령 및 가
US-Centers for Medicare & Medicaid http://www.cms.hhs.gov/
미국 이드라인과 동향 및 통계에 관한 보고서 등 제
Services mcd/search.asp?
공
의약품의 인허가를 위한 평가를 담당하고 있는

http://www.ema.europa. 기관으로 시판된 의약품의 인허가시 제출되었
European Medicines Agency(EMEA) 유럽
eu 던 임상시험 정보에 대한 요약본 및 쟁점 사항
등을 제공하고 있음

부　록

NECA - MENUAL - 체계적 문헌고찰 매뉴얼

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

NECA - MENUAL - 체계적 문헌고찰 매뉴얼

Uploaded by

Copyright:

Available Formats

체계적 문헌고찰 매뉴얼

본 매뉴얼은 공공 소유로서 비영리 목적으로의 인용, 배포 및 복제는 한국보건의료연구원의

NECA 체계적 문헌고찰 매뉴얼

본 매뉴얼은 다음과 같이 인용될 수 있습니다.

김수영, 박지은, 서현주, 이윤재, 손희정, 장보형, 서혜선, 신채민.

보건의료분야의 문제를 해결하기 위해 연구를 할 때, 이론적으로 가장 좋은 방법은 전향적무작위

전문가들의 의견을 자문 받으면 쉽게 해결될 수 있을 것으로 생각하지만, 최근 많은 정보들이

이미 외국에서 체계적 문헌고찰 연구방법론을 정리한 책자들이 발간되어 있음에도 이를 활용

한국보건의료연구원은 보건의료분야의 근거평가 작업이 보다 체계적으로 이루어지도록 체계적

“우리는 과학적 근거제시를 통해 국가의료자원의 효율적 이용과 국민의 건강을 지키고 향

체계적 문헌고찰은 “특정 연구 질문에 대답을 얻기 위해 질 높은 문헌 근거를 체계적으로

체계적 문헌고찰에서 얻어진 근거가 의학적 근거 중 가장 강력하다고 할 수는 있지만 모든

한국보건의료연구원은 연구원에서 시행되는 체계적 문헌고찰의 일관성과 질을 향상시키

현 시점에서 체계적 문헌고찰 매뉴얼은 몇 가지 방법론에 대해 표준적인 과정을 제시하고 있습니다.

이 매뉴얼의 일차적인 목적은 한국보건의료연구원에서 시행되는 체계적 문헌고찰의 표준적 과

향후 이 매뉴얼은 실제적인 체계적 문헌고찰의 경험이 축적되면서 한국보건의료연구원 혹은 우

2. 본 매뉴얼은 『중재법』에 대한 체계적 문헌고찰에 한하여 적용할 수 있도록 개발된 매뉴얼

3. 본 매뉴얼은 한국보건의료연구원에서 수행하는 체계적 문헌고찰 연구 시 따라야 하는

4. 본 매뉴얼은 한국보건의료연구원을 제외한 다른 기관이나 단체, 연구진이 체계적 문헌고찰

5. 본 매뉴얼은 기본적으로 연구 방법론과 그동안의 노하우 (know-how) 를 정리한 tips로 구성

6. 본 매뉴얼은 한국보건의료연구원 홈페이지에서 pdf 형태로 다운로드가 가능합니다.

7. 본 매뉴얼은 주기적으로 개정될 예정이며 본 매뉴얼과 관련된 문의 및 건의사항은 한국

PART Ⅰ. 체계적 문헌고찰

7. 자료분석과 결과제시 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 93

3. 메타분석을 위한 소프트웨어 특성 비교 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 198

4. RevMan에서 분석 가능한 메타분석 요약 통계량 · · · · · · · · · · · · · · · · · · · · · · · 199

PART Ⅲ. 체계적문헌고찰과 관련된 주요 이슈들

2.4. 프로토콜의 개정 · · · · · · · · · · · · · · · · · · · · · · · · · · 16

3.3. 검색어와 검색전략 · · · · · · · · · · · · · · · · · · · · · · · · 31

4.1. 문헌선택과 배제를 위한 pilot test · · · · · · · · · · · · · · 47

6.1. 비뚤림 위험 평가란? · · · · · · · · · · · · · · · · · · · · · · · · · · 65

6.4. 비무작위 연구의 비뚤림 위험 평가 · · · · · · · · · · · · · · 72

6.5. 비뚤림 위험 평가의 분석 반영 방법 · · · · · · · · · · · · · · 76

8. 근거수준 평가와 결론의 도출 · · · · · · · · · · · · · · · · · 101

8.2. GRADE · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 103

9.1. 보고지침(Reporting guidance) · · · · · · · · · · · · · · · · 117

PART1. 체계적 문헌고찰

메타분석은 체계적 문헌 고찰과 혼용되어 쓰이기도 하지만 정확히는 체계적 문헌고찰에서 선정

PART3. 체계적 문헌고찰과 관련된 주요 이슈들

일반적으로 종설 또는 문헌고찰(reviews)은 체계적 문헌고찰과 비체계적 문헌고찰 (narrative

체계적 문헌고찰 매뉴얼  1

일반적으로 체계적 문헌고찰은 프로토콜(연구계획) 개발, 프로토콜 등록,

1.1. 연구기획과 프로토콜 개발

(1) 문헌검색: 관련 데이터베이스에서 명확하고 재현 가능한 검색전략으로 검색을 수행하는단계

(2) 문헌선택: 명확한 포함/배제 기준에 따라 문헌을 선정하는 단계

(3) 문헌분류: 선정된 문헌에 대해 연구설계를 분류하는 단계

(4) 자료추출: 포함된 문헌에 대해 필요한 값들을 체계적으로 추출하고 코딩하는 단계

(6) 자료분석과 결과제시: 정성적 합성 또는 정량적 합성(가능한 경우에만)을 수행하고 그 결과

특히 (2)~(5) 단계의 경우 반드시 두 명 이상의 검토자(연구자)가 독립적으로 중복하여 수행하는

PART3. 체계적 문헌고찰과 관련된 주요 이슈들

각각의 상세한 내용은 각 장을 참고하도록 한다.

체계적 문헌고찰 매뉴얼 2  3

그림1-2. 체계적 문헌고찰 연구과정 흐름도

Higgins JPT, Green S (editors) Cochrane Handbook for Systematic Reviews of

PART1. 체계적 문헌고찰

2.1. 체계적 문헌고찰의 기획

PART3. 체계적 문헌고찰과 관련된 주요 이슈들

체계적 문헌고찰 매뉴얼 4  5

핵심질문 완성 후 해당 주제에 대한 기존의 연구가 있는지 충분히 검토하는

기존의 체계적 문헌고찰 및 임상진료지침 (CPG) 이나 의료기술평가 (HTA) 보고서 검색을 위해

- 영국 Center for Reviews and Dissemination(CRD)의 Database of Abstracts of Reviews of

PART3. 체계적 문헌고찰과 관련된 주요 이슈들

7. 자료분석과 결과제시 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 93　

2.4. 프로토콜의 개정 · · · · · · · · · · · · · · · · · · · · · · · · · · 16　

6.1. 비뚤림 위험 평가란? · · · · · · · · · · · · · · · · · · · · · · · · · · 65 　

6.5. 비뚤림 위험 평가의 분석 반영 방법 · · · · · · · · · · · · · · 76 　

(1) 문헌검색: 관련 데이터베이스에서 명확하고 재현 가능한 검색전략으로 검색을 수행하는단계

(4) 자료추출: 포함된 문헌에 대해 필요한 값들을 체계적으로 추출하고 코딩하는 단계

(6) 자료분석과 결과제시: 정성적 합성 또는 정량적 합성(가능한 경우에만)을 수행하고 그 결과

• 특이도(specificity): 부적절한 연구를 배제할 가능성으로 정의되며 특

• 연구가 수행되었지만 출판되지 않는 연구가 많을 것으로 생각되는 경우