Capitulo 1 oO Revisiones sistematicas cientifica consiste en la sintesis de la mejor evidencia disponible para responder a una pregunta concreta mediante la aplicacién de una metodologéa explicita y rigurosa, Para ello, se utili- za la misma metodologia que cualquier estudio de Investigacion: se formula un objetivo, se busca, se identifican y se valoran las pruebas disponibles siguiendo un protocolo con criterios explicitos,yse obtienen conclusiones a partir del anilisis de los datos recogidos y la interpretacién de los resulta dos. Aunque con frecuencia los términos revision sistemitica y metaandliss se emaplean como sinéni- ‘mos, hoy en dia, se reserva el término metaanilisis para el procedimiento estadistico que se utiliza para integrar los resultados de diferentes estudios y obtener una estimacién conjunta, mientras que el de revision sistemstica se aplica a todo el proceso de Is investigacién descrito anteriormente. U: revisi6n sistemtica (RS) de la evidencia FASES DE UNA REVISION SISTEMATICA Una RS es un estudio de investigacién que, a dife- reneia de los presentados en capitulos anteriores, no se realiza sobre datos primarios, es decir, no re- coge la informacién directamente de los sujetos, sino que utiliza los datos vecogidos previamente en otros estudios. Una RS puede considerarse como un estudio observacional en que la epoblacién de estudio» esté formada por los mejores aticulos ori- ginales realizados sobre el tema objeto de la revi- sién. Como cualquier otro estudio, requiere elabo- rar un protocolo que especifique las definiciones y los procedimientos que se efectuaran en sus distin- tas etapas (tablal0.1). DEFINICION DEL OBJETIVO La finalidad de una RS es intentar responder una pregunta clinica concreta valorando todas las pruc- bas disponibles. El primer paso es, pues, defini con claridad y precisén dicha pregunta, expliitando el factor de estudio (intervencidn, exposicion 0 pro- cedimiento diagnéstico que se evahia) y el de com- paacin, la variable de vespuesta (especificando la medida del efecto que se utlizars, como la redue- cin de la incidencia o la mortalidad, la mejoria de sintomas, etc) y la poblacidn de estudio (especif cando el tipo de paciente y la condici6n clinica) También conviene que se identifique el tipo de es- tudio que se incluira, En general, cuanto mas pre- cisa sea la definicidn de la pregunta que se desea contesta, mejor sera la RS. IDENTIFICACION DE LOS ESTUDIOS DISPONIBLES Para que las conclusiones de una RS sean validas, hay que identificar y localizar todos los estudios existentes, idealmente tanto los publicadas como los no publicados. Habitualmente, la biisqueda de evidencias se realiza en una o varias de las bases 201,[Lmér0008 9 MVESTIGACION CLINICA ¥ EPIDEMIOLOGICA Tabla Guta para la realizaci de una revisién sistemst ‘+ Definicin de! objetivo (pregunta de investigncién) + Basqueda de evidencias Bases de datos consultadas Palabras clave uilzadas =Periodo de cobertura Otros requsits: revstas idioma, ete. + Criterios de inciusion y exclusion de estudios + Braluacion de ia calidad de los estuts: Resumen de las earactersticas esenciales de los estudios ~Calficacién de la calidad de fos estudios =Evaluacion dela variabildad entre los investigadores que califican fa calidad delos estudios + Recogida de datos: — Registro de las caracteristicas de fos estudio ‘Tipo de articuo y aho de publicacion Disefo dl estudio Caractersticas de a imtervenclén, (Caractersticas del grupo control ‘Tamafo dela muestra Registro de los resultados de los estudios + Analisis de fos resultados =Pruebas de homogencidad =Combinaci6n estadistica de los resultados Pruebas para detectar diferencias sistemsticas entre estudios —Representacionesgraficas = Andis de sensiblidad Analisis de subgrupos + Conclusiones y recomendaciones de datos més importantes (Medline, EMBASE, biblioteca Cochrane), pero es conveniente comple- rmentarla con wna brisqueda manual en las releren- cias de los articulos localizados, libros y otras revi- siones, ytambién a través de contactos con expertos en la materia para aumentar la exhaustividad de la deteccién de los estudios ¢ intentar identifcar tra- bajos no publicados. En el capitulo 12 se coment con detalle la estrategia de busqueda bibliogratica El protocolo de la RS debe especificar las bases de datos que se consultarén, las palabras clave que se utilizarén, el perfodo de tiempo de cobertura y cualquier otto requisito que se piense utilizar enclla CRITERIOS DE SELECCION Los studios identificados forman la poblacién can- didata. La seleccién de los que se incluiran en la RS debe hacerse a partir de criterios explictos y esta- blecidos con claridad, de forma que el proceso sea reproducible por ottosinvestigadores, Los crterios de seleccién deben referirse a carac- teristicas fundamentals de lo estos. El objetivo fundamental es obtener un conjunto de trabajos, que respondan a una misma pregunta cientiica y con la calidad suficiente para que sus resultados sean validos. Estos crterios deben ser ficilmente ob- jetivables, ya que habitualmente su cumplimiento se evaluard mediante la lectura detallada del arsiculo, por lo que deben basarse en informacién ficilmen- teaccesible en ély que se refleje de forma explicita En primer lugar, se define el tipo de estudio y sus caracteristicas principales, y a continuacién, se establecen otros criterios relacionados habitual- mente con su calidad metodolégica. Los mas fre cuentemente utilizados se refieren a ~ Las intervencineso exposiciones que se evaltian (factor deestudi), Obviamente,sise desea integrar los re- sultados de diferentes trabajos, éstos deben eva- Ivar un mismo factor de estudio. ~ La variable de respuesta Silos estudios utilizan dife- rentes criterios de evaluacidn o diferentes varia- bles de respuesta, resultard muy dificil poder inte- ‘rar sus resultados. ~ Gaiters de seleccién dela poblacim de los estudias ont sginales El efecto puede ser diferente segtin diver- sas caracterisicas de los sujetos estudiados. Por cllo, pueden utilizarse criterios muy restrictivos para incluir s6lo estudios que evaltien poblacio- nes homogéneas,o bien mas laxos y utilizar las di- feventes caractersticas para realizar estratificacio- nes y anilisis de subgrupos. Por ejemplo, en una RS sobre ia eficacia de un determinado tratamien- to hipolipemiante para la prevencidn de la cardio patia isquémica, los revisores debern decidir qué rango de concentraciones de colesterol plasmati- ccovvan a incluir, si admitiran estudios en los que los participantes tengan otvos factores de riesgo asociados, asi como otros criterios relativos ala in- tervencidn de estudio ya las de comparacién. ~ Tama muestra minimo para asegurar una preci- sin suficiente en la estimacin de los resultados. A veces se decide excluir los estudios muy 102Rewsiones sistewancas ff pequeiios, ya que pueden estar realizados de Forma poco rigurosa y sin controles de calidad adecuados ~ Duracién del seguimiento de los etudios, Es necesatio asegurar que los estudios han realizado un segui- iiento suficiente pata poder abservar la resput tade interés ~ Exhaustvidad de la informacién necesatia presenta- daen elanticulo original, VALORACION CRITICA DE LOS ESTUDIOS SELECCIONADOS Idealmente,s6lo deberian inchuirse en una RS aque- Ios estudios con una calidad minima suficiente, es tablecida de antemano, para asegurar que sus sultados sean validos, La evaluacin de la calidad de un estudio es tn proceso subjetivo y més teniendo fen cuenta que, en ocasiones, la informacién neces ria no esta disponible o es inadecuada. Por esta rx- z6n, es preferible valorar sélo algunos aspects clave de suvalidezy relevancia, Existen multiples escalas para realizar esta valo- raci6n, En la tabla 10,2 se presenta una de las més sencillas yutilizadas La mayoria de las excalas conceden tna punt cién de calidad. cada uno de los estudios, que pue- de wtlizarse de diferentes maneras: para definir un punto de corte a partir del cual identificar los tieulos que van a ser incluidos o excluidos de la RS, para ponderar el peso relativo de cada uno de los estudios en el anilisis, para evaluar si existe relacién centre la magnitud del efecto observado y las pu tuaciones de calidad, etc. Esta iltima finalidad po- dea ser vealizada mediante un método grafico, co- ‘mo un metaanalisis acumulativo en que los estudios sean incluidos sucesivamente en el anliss segiin su puntuacién de calidad, de la mayor ala menor, 0 bien mediante un procedimiento estadistco (meta: rregresin) que permite analizar la posible relacién entte el efecto observado y determinadas covaria- bles relacionadas con la calidad, como el tipo de di- seo (ensayo clinico, estudio de cohortes, estudio de casos y controles), la procedencia de los datos (cntrevistas, cuestionarios por correo, etc.) 0 la procedencia de los sujetos (registros poblacionales, hospitals, ete). Es conveniente registra el cumplimiento de los caiterios de seleccién en todos los estudios candida tos, ya que es recomendable prever anilisis de sen- sibilidad, repitiendo e! metaandliss en funcion de diferentes riterios de inclusién y de exclusién para cexaminar si el resultado final y las concinsiones de Ja RS cambian en funcidn de dichos exiterios EXTRACCION DE LOS DATOS El protocolo de la RS ha de contemplar la informa- cin que se extracra de los diferentes estudios: datos generales del estudio, nombre del autor, afio de rea- lizacién, caracteristicas principales del diseio, tipo de pacientes (caracteristicas demogréticas, condi- cin clinica, ec.) caracteisticas metodol6gicas (ta- mafo de la muestra, enmascaramiento, duracibn del estudio, etc), caracteristicas de las intervencio- nes de estudio y de comparacién (pauta de inter- vencién, dusacidn, etc.), comparabilidad inicial de Jos grupos, variables de respuesta, etc. La recogida de informacién sobre el resultado del estudio es fundamental, Debe uilizarse un tini- [J Tabla 10.2. Escala de Jac para valorar la calidad de un ensayo clinicoaletorio Puntos adicionales Pregunta Puntos {Se indica si elestudio Lsi fue aleatorio? ©.No {Se indica siel estudio 151 fue doble ciego? o.No lay una descripcién 15h ‘delas pérdidas de seguimiento? —0:No +1: Se describe of método de aleatorizacién y es adecuado “I: Se describe ef método de aleatorizaciny es inadecuado +1: Se describe ef método de enmascaramiento yes adecuado “I: Se describe ef método de enmascaramiento yes inadecuado Puntuacion total de 0a puntos (ams puntuacion, mayor calidad), 103[Lmér0008 9 MVESTIGACION CLINICA ¥ EPIDEMIOLOGICA co (0, como minimo, que sea comparable), sistema de clasficacion del evento de interés (muerte, apa- ricidn de enfermedad, mejoria de los sintomas, tc.) Por ejemplo, no serfa ito que, para un estu- dio, se uilizara el valor estimado que compara el consumo excesivo de alcohol con Ia ausencia total de dicho consumo como categoria de referencia, mientras que, para otto, se tomara como valor esti- mado aquel que toma como categoria de referencia Ia del consumo de menos de determinada cantidad semanal de alcohol. Se deberia escoger también el mismo tipo de estimador para todos los estudios, 0 caleularlo de nuevo sino aparece en elarticulo, por lo que éste debera contener la informacién necesa- ria, Deno ser asi, habra que contactar con los inves- tigadores para tratar de obtenetla Es conveniente que Ia informacién la extraigan como minimo dos revisores independientes y, ser posible, que desconozcan los resultados, ls autores ylarevista donde se publicaron los articulos prima- rios. Incluso aunque los investigadores sigan estric- ‘amente un protocolo de recogida de datos con cri- {erios explicitos y bien definidos, suele existir cierto componente de subjetividad, Es importante evaluar la concordancia entre ellos para asegurar la calidad de los datos que se uilizarén ESTRATEGIA DE ANALISIS Elvitimo paso de wna RS miele ser a combinacion estadistica de los distintos estudios, si es posible, para obtener n resultado global que este elefec- (o de la intervencidn, exposicién 0 procedimiento diagnéstico en estudio. Sin embargo, los proce- dimientos estadisticos no pueden suplir la falta de sentido comtin o de citerio cinico en el dsefio del protocolo de la xevsin, o de plausbilidad biologi- cacn lainterpretacin de los resultados. As pues, el. lector de una RS debe evaluar estos aspectos antes de examinarlos métodos estadisticos que han wsado los revisores ylos resultados que han obtenido. La combinacién de datos de poca calidad, muy sesga- «dos o procedentes de estudios muy dispares entre sf proeducirs un resultado poco creble En a tabla 10.3 se presenta el exquema de la es- twategia de anslisis de una RS. En primer Inga, de- be evaluatse sila validez de los estudias es suficien- te ysitiene sentido integra los diferentes estudios, para deci si es adecuado combinar estadistica- rmente sus resultados. Después, debe decidirse qué Tabla Fases de la estrategia. de una revisién sistemat ‘+ Decides adecuado realizar una integracién ellos estudios + Decide qué comparaciones se van @hacer + Analizar la heterogeneidad de los estudios (tablas de evidencias. pruebas estacisticas, imétodos gréicos) + Ses adecuado, calcular un estimador global fe! efecto (metaanalisis) con su intervalo éecontianea| + Presentacion grtica de los resultados «+ Analisis de subgrupos + Analisis de sensibidad Para evaluar fa robustez del resultado explora la heterogeneidad de os studios + Bvaluar fa existencia de un posible sesgo e publicaci + Pruebas para detectar diferencias ssteméticas entre estudios comparaciones se van a realizar, definidas con clari- dad a priori y de acuerdo con el objetivo de la RS. El primer paso es analizar la heterogencidad, So- Iamente tiene sentido combinar estadisticamente los resultados silos estudios son lo suficientemen- te homogéneos. En caso contrario, debe explorarse esta heterogeneidad y tatar de identificar los facto- es de los que depende y que pueden explicatla Sise decide realizar un metaaniliss y combinar los resultados, debe determinarse qué tipo de medi- da se utlizard para obtener una estimacién global del efecto y qué procedimiento estadistico se apli- cara para calcular su magnitud y su intervalo de confianza. Los resultados de este metaanilisis sue- len presentarse grificamente para facilitay la com prensién (fig, 10,1), Habitualmente, el resultado de cada uno de los estudios indlividuales se muestra como una linea horizontal que representa el inter valo de confianza (IC) del 95% de la estimacion de Ia medida del efecto, con una sedial que indica la es- timacién puntual observada en dicho estudio. Una ‘ltima linea horizontal representa el resultado glo- bal obtenido con el metaanalisis, cuya estimacion puntual suele representarse por tin rombo, Una li. nea vertical representa la ausencia de efecto (valor uuno cuando se utilizan medidas relativas como la odds ratioo el viesgo relativo, o valor cero cuando se 104Rewsiones sistewancas ff on 1 95 on pc 95) cui mmo 0 PO mn : tuser wo | aoe] | a) sao io ast |e © Joa} TE fucoc 90 va Suse 1901 asm a) um inuioF 1m 3 | Yon ‘EudoG 1993 984 3 ae Suan 98 78 © 50 ‘Emudol 1994 329 : 6.12 fnaio} 194 vo bm com «a Noord Ar icra Naar tam cd tone “ca Figura 10,1. Presentacién grética de una misma revision sistematica, Enel gréfico de la derecha se presentan los resultados en forma acumulativa utilizan medidas absolutas como la diferencia de in- cidencias). Cuando los estuclios se presentan orde~ rnados por algiin criterio, como el ano de su vealiza- ci6n o la puntuacién de calidad, como ocurre en el grifico de la derecha de Ia figura 10.1, se habla de metaanilisis acumulativo. También debe planificarse si se realizaran andl sis de subgrupos para determinar la magnitud del efecto en subpoblaciones de diferentes caracteristi- cas, as como los andlisis de sensibilidad, ditigidos a cvaluar hasta qué punto los resultados del metaans- lisis dependen de determinadas decisiones tomadas cen el diserio de la RS relacionadas con los crterios de inclusin, la inclusion de estuedios ee baja calidad ‘ono publicados, etc. En el anexo 5 se presenta una descripeién més detallada del anilisis de una RS. SESGOS EN UNA REVISION SISTEMATICA En una RS pueden aparecer sesgos en diferentes {ases, especialmente en las de localizacién y selec- cidn de los estudios; algunos de estos sesgos pueden amenazar lavalidez de las conclusiones, SESGO DE PUBLICACION El sesgo de publicacién se refiere al hecho de que xno todos los estudios tienen la misma probabildad de ser publicados, Gon frecuencia, los autores deci- den no enviar sus manuscritos a las revstas, 0 bien los editores ylos revisores de una revista deciden no aceptar algunos estudis en funcién de determina- das caracteristcas, relacionadas mas con los resulta- dos encontrados que con aspectos de calidad. Ello hace que los estudios multicéntricos, eon financia- cién extema y que encuentran resultados estadisti- camente significativos, se publiquen con mayor fre- cuencia, introduciendo un sesgo en a evaluacidn de Jas pruebas disponibles si slo se toman en conside- racién las publicadas. Laprevencidn de este sesgo es importante desde dos perspectivas en primer Ingar, a cienttiea, para conseguir una completa difusiGn del conocimien- to; silas decisiones de los profesionales se han de boasar en los datos publicados, a literatura debe in- cluir todos los estudios que tengan una calidad aceptable. En segundo lugar, desde la perspectiva de los autores que realizan una RS, si se publican preferentemente articulos con resultados positivos, 105[Lmér0008 9 MVESTIGACION CLINICA ¥ EPIDEMIOLOGICA cualquier RS tender a obtener también resultados positivos (fig. 10.2), SESGO EN LA LOCALIZACION DE ESTUDIOS ‘Adems del sesgo de publicacibn, existen otros mu- chos factores que contribuyen a wma inclusién ses- gada de estudios en una RS. Los mas importantes son el sesgo del idioma inglés, el sesgo de las bases de datos, el sesgo de citacién y el sesgo de publica cio miitiple Muchas RS sé inchuyen articulos publicados en in- glés, de manera que los estudios publicados en ottos idiomas quedan excluidos. Ademés, no es in- frecuente que los investigadores de paises de habla no inglesa publiquen los estudios con resultados positivos en xevstas de lengua inglesa, al conside- ims elevantes, ylos negativos en una revista local, con lo que este scsgo positiv se afiade al inherente al de publicacion Sesgo de las bases de datos Las dos bases de datos bibliogréficos més uilizadas, MEDLINE y EMBASE, no tienen la misma cobertura ¥, por lo tanto, si a biisqueda se limita a articulos in- dizados solamente en ta de ellas, puede introdu- cirse un sesgo. Ademis, los criterios de seleccién ala hhora de indlizar las revistas hace que muchas de elas, publicadas en determinados paises, no lo estén, Por ejemplo, de las mas de 4.000 revistas indizadas en EMBASE, MEDLINE 0 Science Citation Index, s6lo 12% procede de paises en vias de desarrollo. Los articulos que se publican en revstas no indi- zaddas en estas bases de datos difcilmente seran loca lizados por los autores de una RS, ys sus resultados dificren del obtenido en los estudlios indizados, el resultado de la revisin sstematica estar sesgado, De hecho, es més probable que los articulos con resulta- dos positivos estén publicados en revstas indizadas Sesgo de citacion Para intentar localizar los estudios que deben in- cluirse en una RS es habitual que los autores com- plementen la bisqueda en las bases de datos con- tactando con expertos en la materia y realizando ‘una btisqueda manual a partir de las referencias bi- bliograficas de los estudios publicados. Cuando se cfectia esta brisqueda manual es probable que se introduzca un sesgo de citaci6n, ya que, por regla general, los estudios con resultados positives se citan con mis frecuencia que los estudios con resul- tados negativos, Por ello, es ms probable inchuir en tuna RS estudios con resultados positivos y sesgar su resultado, La revista en la que se publica un estudio tam- bién puede influir en su citacién y, por tanto, en su probabilidad de que dicho estudio sea incluido en Figura 10.2, Sesgo de publicacién, Cada creulo representa el resultado de un estulo El crculo negro representa clresultade global deos estudosinludos en una revsin sistema. Eleireuo blanco representa la verdadera magnitud delefecto, A revisénsistematica 18a inchido todos es estudosexistentes, Su resultado se aprenima al vordaderoofecte. 8: rvsin sstomstica en que algunas estudiosno han sid includes. Su resukado esta sesgade. 106Rewsiones sistewancas ff Ejemplo 10.1. En el estudio de Helsinki, un ensayo clinico en el que se evalu la eficacia de un fibrato para prevenir la cardiopatia isquémica en pacientes sin antecedentes de la enfermedad, se obtuvieron resultados estadisticamente signficativos y fue pu- bilicado en uma prestigiosa revista (Prick etal, 1987) El estudio tenia otra parte destinada a evaluar Ia efi- cacia de la intervencidn para la prevencién secu daria dela enfermedad, cuyos resultados no fueron estadisticamente significativos. Los resultados de esta segunda parte se publicaron seis afios después en una revista de mucho menor impacto (Frick etal, 1998). El primer articulo fue citado en més de 450 ocasiones durante los tres afi siguientes a su publicacién, mientras que el segundo fue citado s6lo en 17 ocasiones. Sesgo de publicacin multiple La publicacién miiltiple de resultados de un mismo estudio es un fenémeno frecuente que se da espe- cialmente en los estudios de gran envergadura, y que puede conducir a un sesgo. Por un lado, os es tudios con resultados estadisticamente significati- vos tienden a publicarse con més frecuencia; por lo tanto, es mas facil localizarlos e incluirlos en una revisién. Por otro lado, sino se identifican como publicacin miltple, pueden incluirse datos dupli- cados que conduzcan a una sobreestimacién del efecto, En ocasiones, es dificil deducir que los vesul- tados publicados en diferentes articulos proceden de un mismo estudio, especialmente en estudios :ulticéntricos en los que, ademas de los resultados globales, se publican resullados de centros aislados. SESGO POR DATOS AUSENTES © DE MALA CALIDAD En ocasiones, los articulos no incluyen todos los da- tos necesarios para efectuar una RS, Muchos facto- res pueden estar relacionados con la voluntad de los investigadores de hacer puiblicos estos resulta- dos, pero uno de ellos puede ser la direcci6n y la significaci6n estadistica de los mismos. Este sesgo es avis probable en los estudios publicados como comunicaciones a congresos yen los no publicados. SESGO EN LA DEFINICION DE LO$ CRITERIOS DE INCLUSION También es posible introducir un sesgo cuando se establecen los criterios de inclusin y exchusién, ya que son definidos por un equipo investigador fami- liarizado con el tema y, por consiguiente, con los principales estudios publicados. Este conocimiento puede influir a la hora de definir estos crterios, lo que puede conducir a una inclusién selectiva de determinados estudios. REVISIONES SISTEMATICAS QUE USAN DATOS DE PACIENTES INDIVIDUALES Las RS se basan habitualmente en los datos publi- cados en los aticulos originales. Sin embargo, en cocasiones, la presentacién de los datos no favorece su ressin. Por ejemplo, en una RS sobre la eficacia del tratamiento antihipertensivo en ancianas, puc- de ocurrir que algiin estudio no incluya alos pa- cientes mayores de 60 ais, mientas que ots eta blezcan un limite de edad distinto. Ademés, como muchos estudios no presentan resultados estratifi- cados por edad, sus datos no pods inclinse en el anil. La recogida de los datos de los pacientes in- dividuales directamente de los investgadores pue- de resolver alguno de estos problemas, ya que se solictan datos sobre tipos specificos ee pacientes y resultados, Los principios que guian una revisién con datos de pacientes individuals son los mismos que los de cualaniier RS, La principal diferencia es que incor- pora, en la medida de lo posible, toda la evidencia relevante disponible. Se tata de conseguir que to- dos los pacientes aleatorizados y ninguno de los no aleatorizados de cualquier ensayo considerado vii- doy pertinente sean ineluidos se analicensiguien- do el principio de «intencién de tatar Este tipo de RS son el medio més fiable para combinar datos de ensayos clinicos similares. Sus principales ventajas son las siguientes: ~Se pueden realizar analisis de supervivencia, sila variable de respuesta es el tiempo de superviven- «ia o el tiempo hasta que se produce un suceso, Este enfoque es mas potente e informa mejor so- bre el curso de la enfermedad y el efecto del tr2- tamiento en el transcurso del tiempo. ~Se pueden efectuar andisis de subgrupos con una definicidn comiin para poner a prueba y generar hipstesis ~Se puede controlar mejor la calidad de los datos, teniendo la posibilidad de validarlos ycomregirlos, sifiera necesatio, mediante la comunicacién d- recta con los investigadores 107[Lméronos o€ 1 —Esmis fic detectar desviaciones en el protocolo de los estudios individwales, ~Se puede actualizar la informacién sobre el segui- aiento de los pacientes cuando los registros estin disponibles Es mis fil estandarizar las medidas de resultado. Un problema que puede surgir en estas RS es que los datos de wn estudio o mas de uno no estén disponibles. Puede considerarse que, si se ha logra- do reunir el 90.95% de los studios originales, los datos no disponibles no cambiarian sustancialmen- te os resultados de la RS. REVISIONES SISTEMATICAS DE ESTUDIOS OBSERVACIONALES Eltipo de estudios que se incluyen en la RS puede condicionar los resultados. Dado que el ensayo cli nico aleatorio es el disetio que més asegura la com- parabilidad de los grupos, la mayoria de las RS in- luyen solamente este tipo de estudios, lo que permitido desarrollar consensos sobre cémo debe aplicarse esta metodologia. Sin embargo, existe rms controversia sobre cémo realizar una RS cian do se incluyen también estudios observacionales, ya que en estos disefios es mas probable la presencia, de sesgos cuya magnitud y diteccidn a menudo es dil de prever: Existen ottos puntos de controversia en la real n de RS con estudios observacionales, como si es0 no comecto combinar dstintos ipos de diseio (p-¢).,estuios de casos y conteoles con estdios de cohortes) si pueden combinarseestudios de casos y controles que utilizan conttoles poblacionales con otros que utilzan conteoles hospitalaros,o si es 1azonable combinas estudios de cohortes proce- dentes de varios pases ode distintos ambitos labo- ral, poblacional, ete) ‘Algunos autores piensan que no deberian efec- tuarse nunca RS de estudios abservacionales, mien- tras que otros sugieren que lo que no debe efectrar- sees la combinacién estaistica de sus resultados. La consideracin cuidaclosa de ls posibes fuentes de heterogencidad entre los estudios proporcionara probablemente datos mas valiosos que Ia simple combinacién estadistica de los resultados. BIBLIOGRAFiA DE LOS EJEMPLOS Fiick MH, Elo O, Hsspa Ket al Helsinki heart study: pris nary prevention tial with gemfibrozil in middle-aged ren with dyslipidemia. N Engl J Med 1985, 817: 1287 124 Frick MH, Heinonen 0, Huttunen JK, Roekinen P, Marta M, Manninen V. Esicacy of gemiibronl in dlipidaemic subject with suspected heart diteas, Ann Med 1995, 25 AL, Breirocraria Balk EM, Bonis PA, Moskowite Het. Correlation of quality measures with estimates of treatment effet in mcta- analyse ofandomized controlled ile, JAMA 2002; 287; 2975.2982, D'Amico R, Deeks J, Altman DG. Numbers needed to weat derived from metaanalys. Length of fllow ups poorly ‘reported, BMY 1999; $19: 1200, Davey Smith G, Egger M. Meteanalsis. Unresolved issues and future developments, BM] 1998; 816: 221-225, Davey Smith G, Egger M, Philips AN. Meta-analysis. Beyond the grand mean? BM) 1997 315: 16101614, Egger M, Ebrahim S, Smith GD. Where now for metaanaly ‘6 Tt] Rpidemiol 2002; F,31 (2): 15, Egger M, Schneider M, Davey Suith G, Spurious precision? Meta-analysis of observational studies. BMJ 1998; 316; oma Egger M, Smith GD, Bia in location and selection of studies, BMJ 1998; $16: 61-56 Egger M, Smith GD, Phillips AN, Meta-analysis: principles ‘and procedues, BMY 1997; $15: 15881597 Egger M, Smith GD. Meta-analysis. Potentials snd promise BM). 1997; $15: 1871-1874 Egger M, Smith GD, Sterne JA. Uses and abuses of ‘analjis.Cin Med 2001; 1: 478484, Forukawa TA, Guyatt GH, Grith LE, Can we indviduaize the ‘number needed to reat? An empitical study of summary effect measures in meta-analysis. Int Epide- mol 2002; 81: 72.76. Higgin J, Thompson S, Deeks J, Altman D. Statistical hete- rogeneity in systematic reviews of clinical was: entcal appraieal of guidelines and practice, J Health Serv Ree Policy 2002; 7:51.51, Juni, Holenstein F, Sterne J, Bartlet C, Egger M, Direction and impact of language bias in meta-analysis of conto led tals: empizical study. Int J Epidemiol 2002; 31 15438 Juni, Witchi A, Bloch Egger M, The hazatds of scoring the quality of clinical wials for metaanalyis, AMA 1999; 282: 1054-1060 Kjsergard LL, Villumsen J, Gud C Reported methodolo- ff quality and discrepancies between large and small ce tsal in metaanalysis, Aun Intern Med 982.989, Ker SD, lrwg L, Acompatiton of method to detect publication bias in metzanalyis, Stat Med 2001 20: 541554, 1085 Anexo Anilisis de una revision sistematica nos aspectos dela estrategia de analiss de una revisin sistematica (RS), cuyo esquema basico se ha presentado en el capitlo 10, La finalidad del aniliss es obtener un estimador combinado del efec- 0 de un factor de estudio sobre wna variable de res puesta a partir de los resultados obtenidos en dife- rentes estudio. El procedimiento estadistico que se utiliza se denomina metaandiiss. A continuacién se comentan las principales fases del andisis de una RS. A continuacién se desarrollan con detalle algu- ANALISIS DE LA HETEROGENEIDAD La principal condicidn necesaria para combinar los resultados de diferentes estudios es que las diferen- cias entre ellos sean debidas exclusivamente al azar, es decir, que se trate de estudios homogéneos. Por ello, la primera fase del andlisis es evaluar si se cum- ple esta condicién La calidad de os resultados del anilisis depende, por una parte, de a calidad de los datos de los es- radios individuales y, por otra, de las diferencias, entre ellos (caracteristcas de la poblacion estuiada, definiciones de las condiciones clinica, caractristi- cas del factor de estudio, variables de respuesta ana- lizadas, etc). Por tanto, el primer paso consiste en presentar todos estos datos en una tabla, denomina- da faba de eodencias, para poder evaluar si es razona- ble combinar los resultados de los estudios. La heterogencidad de los resultados de los es- tudios individuales no se refiere exclusivamente a hn situacién en que no van en la misma direccibn (p.cj, cuando algunos estudios sugieren que una de- terminada exposicin es protectora frente al desarro- Ilo de una enfermedad, mientras que otros estudios sugieren que es un factor de riesgo ce a misma), sino también cuando las estimaciones de cada estudio son de magnitud muy diferente, aunque no necesaria- mente en ditecciones opuestas (p.¢j,, cuando algu- nos estudios sugieren que una exposicién aumenta ligeramente el riesgo de una enfermedad, mientras que otros sugicren que el aumento de riesgo es muy importante) Dado que los estudios que se analizan son una mestra de todos los posibles estudios que pueden realizarse sobre wn tema, sus resultados pueden di- ferir simplemente por azar, Por un lado, aun cuan- do el efecto fuera el mismo en todos los estudios, los resultados observados variarian alrededor de este «efecto comin fijo» (variabilidad intraestu- dio). Ademis, dado que los estudios pueden pre- sentar ciertas diferencias en la poblacién, en las caracteristicas de la enfermedad o en las de la inter vencisn o factor de estudio, es de esperar que pue- dan existr también ciertas diferencias en la estima- ci6n del efecto (variabilidad interestudios). La presencia de esta heterogeneidad puede eva- Inarse mediante pruebas estadisticas. Si se pone de ‘manifesto la existencia de heterogeneidad, es obli- sgado analizar sus posibles causasy, en ocasiones,abs- tenerse de combinar los resultados. Sin embargo, si elresultado de la prueba no es estadisticamente sig nificativo, no puede descartarse completamente la existencia de heterogeneidad, especialmente si el 347[Lmér0008 9 MVESTIGACION CLINICA ¥ EPIDEMIOLOGICA rrimero de estudios ¢s educido y con muestras de pequefio tamaiio, ya que en esta situacidn existe gran vaiabilidad ya potencia de la prueba para de- tectar diferencias es pequetia, Por ello, se sugiere que, en lugar de usar el nivel de significacion estadistica habitual del 0,05, se use el 0,10, con el fin de paliar parciaimente este problema, El anilisis estadistico debe complementarse con tuna representacin gréfica conjunta de los resulta- dos de los estudios individuales y sus correspon- dientes intervalos de confianza, lo que permitiré Ia inspeccidn visual de la magnitud de las diferencias. Ademés, el analiss de subgrupos también puede facilitar la valoracién cualitativa de las diferencias, entre estudios. ESTIMACION COMBINADA DEL EFECTO Si se considera razonable combinar los resultados de los estudios, se realiza un metaanilisis con la fi- nalidad de obtener una estimacién conjunta del efecto con un intervalo de confianza (IC). Los re- sultados deben expresarse de tna forma estandari- zada para permitis su comparacién, Sila variable de respuesta es dicotémica, suelen wlilizarse medidas como el riesgo relativo o la odds ratio, Si son cxanti- tativas, puede utilizarse In diferencia de medias. Pueden diferenciarse dos modelos estadisticos bisicos para combinar los resultados: el de efectos ‘fs, que s6lo considera la variabilidad presente en cada estudio (intraestudio), y el modelo de ¢fecos aleatoros, que considera tanto la variabilidad intra estudio como la interestudios, al suponer que los studios incluids son una muestra de todos los po- sibles. Cuando no existe heterogencidad, modelos proporcionan resultados pricticamente idénticos. Cuando existe heterogeneilad, lo mas adecuado es no combinar'los resultados, pero, si se decide hacerlo, debe utilizarse el modelo de efectos aleatorios, ya que cs mis conservador ¥ proporcio- nna IC més amplios para la estimacién conjunta, ad- virtiendo claramente a los lectores de las limitacio- nes de este abordaje y de que deben interpretar los resultados con mucha precauci6n, La combinacién estadistica de los diferentes es- tndios implica ponderar los resultados de cada tino de ellos de acuerdo con su precisién. Cuanto més preciso es el resultado de un estudio, més estrecho es su IG, por lo que este estudio debe «pesar ms» cn el resultado final que los que proporcionan re- sultados menos precitos, Para realizar esta ponde- racién, suele utilizarse el inverso de la variancia de In estimacién o el tamaio de la muestra de los estu- dios. Con menos frecuencia se utiliza la punsuacién recibida en el proceso de evaluacidn de su calidad. Las pruebas estadisticas mis utilizadas se presentan enla tabla A5.1 Es importante examina si el resultado global es consistente, es decir, siesta muy influido por las de- [J Tabla A5.1.Principates prucbasestaisticas ulizadas en un metaondlisi Tipo de variable Medida del efecto Modelo Método Dicotémica (dds ratio Efectos fos Peto Mantel-Haenszel Efectos aleatorios Riesgo relativo tects jos Mantel-Haenszel Woolf Efectos aleatorios DerSimonian-Laird Diferencia de resgos Etectos jos Mante-Haensze! Woolt Efectos aleatarios DerSimonian-Laird Continua Diferencia de medias Efectos fos Woolf Efectos alestorios DerSimonian-Laird Diferencia estandarizada de medias _fectos jos Woolf Efectos aleatorios DerSimonian-Laled 348Andusis De UWA REvBION sisteMAnCA J cisiones tomadas durante el proceso de revisién, co- mo por ejemplo, la exclusion de un determinado tipo de estudios los eriterios de seleccin emplea- dos, la wtlizacién de un método de efectos aleato- ros o fijos para combinar los datos, etc. Con esta fi- nalidad pueden realizarse anilisis de sensibilidad, metaanilisis acumulativos, andlisis de subgrupos 0 tana metarregresi6n, PRESENTACION GRAFICA DE LOS RESULTADOS Habitualmente, los resultados de una RS suclen presentarse grificamente en un formato relativa- mente estandar (fig. A5.1). El resultado principal de cada uno de los estudios inchuidos en la xevisiin se muestra como una linea horizontal que repre- senta el IG del 95% de la estimacin de la medida del efecto, yen la que una sefial indica la estimna- cién puntual observada en dicho estudio, Una tti- ma linea horizontal representa el resultado global del metaanslisis, cuya estimacin puntual sele re- presentarse por un rombo, Una linea vertical epre- senta la ausencia de efecto (valor uno, cuando se utilizan medidas relativas como la odds ratio el ries- gorelativo, ovalor cero, cuando se uilizan medidas absolutas como la diferencia de incidencias). Guando los estudios se presentan ordenados por algiin crterio, como el aso de su realizacin, se de- nominan melaandlisisacumulativos (parte derecha de la fig. A5.1), que muestra la ejecucidn repetida del metaansliss cuando un nuevo estudio esta dis- ponible para su inclusién, Ayuda a determinar la Consistencia de los resultados alo largo del tiempo ¢ identificar retrospectivamente el punto en el tiempo en que la estimacidn conjunta del efecto alcanzé un determinado grado de significacién, La primera linea coincide en ambas figuras, mientras que la segunda linea de la figura de la derecha comresponde al andlisis acumulado de los dos pri- meros estudios; la tercera, de tres estudios, y asi, sucesivamente. La amplitud del [C se va reducien- do, ya que cada vez se analiza un mayor mimero de sujetos y la estimacién es mas precisa. Ademis, puede evaluarse sila incoxporacion de nuevos est dios produce alguna modificacién en la estimaci oR 16953) 0n 1c 95% ol 02 05 | 2 5 1 0102 05 1 2 5 10 favo a + Baio 1987 122 iz) +4. Endo 1990.81 vooa] fet doc 1990 85 van] jet ErxdoD 1990 711 asm] ie Budoe 19) 1 zm] ied suadoF 192 He ano] fob Endo 1992 84 afb ak sol 198 1209 Er) Eradol 1994 39 sin] be tudo) 1994 140 6332 a com 3 i Ateoras Atncr ce Atworce aero doer cre! Figura AS.1. Presentacin gra dens esutados de un metaandss obelefiaca de una intervenién sanitaria. Se representan lo valores de odds ratio de cada estudio Indlvidual ya global del metaansliis, Y Sus correspondientes intervals de confianza del 95%, 349[Lmér0008 9 MVESTIGACION CLINICA ¥ EPIDEMIOLOGICA del efecto, En la figura puede apreciarse cémo, 2 medida que se afiaden nuevos estudios, existe una ligera tendencia a la disminucién de la magnitud del efecto (se vaacercando ala linea de ausencia de efecto) ANALISIS DE SENSIBILIDAD fe procedimiento requieve reanalizar los datos en funcién de diferentes criterios y comprobar si se modifican los resultados: analizando solamente estudios experimentales y afiadiendo observaciona- les, incluyendo estudios de menor calidad meto- dolégica 0 con un tamafo de la muestra mas re- ducido, ete. Sila uilizacidn de diferentes criterios conduce a resultados similares, la conclusion de la RS se ve fortalecida, Una forma de andliss de sensibilidad es efectuar el metaanilisis empleando un método de efectos aleatorios y un método de efectos fijos, La estima cién puntual con ambos métodos sera muy similar, pero el IC sera mas amplio con el método de efec (os aleatorios. il IG varia muy poco, se tiene una mayor confianza en que los resultados de la RS son consistentes Otrascaracteristicas de la calidad de los estdios que pueden servi para efectuar un anilisis de sen- sibilidad son la forma en que se asignaron los suje- tosal grupo de intervencién o al de control, o.cémo se evalué la variable de respuesta, Silos resultados de la RS son diferentes al incluir o excluir estudios con menor calidad metodol6gica, os resultados de- ben interpretarse con precaucidn, Algo similar sucede con los estudios no publica- dos, de los que se ha podido obtener informacién. Lo mas correcto, si cummplen crterios de inclusién, es incluitlos en el analiss. De todos modos, convie~ ne analizar también la sensibilidad de los resultados globales de la RS cuando se excluyen estos estudios, lo que puede orientar sobre la posible existencia de tun sesgo de publicacién, Silos resultados difieren ddebe informarse alos lectores del hecho e interpre tar los resultados con cautela El metaandlisis acumulativo, comentado ante- riormente, corresponde aun andlisis de sensibili- dad que permite evaluar cémo influye el eriterio por el que se ordenan los estudios, ya sca el afio de publicacidn o la puntuacién obtenida al evaluar su iad metodologica (p.},, empezando por los de mayor calidad y evaluando cémo la inclusién pro- sgresiva de estudios de menor calidad influye sobre nestimacién combinada del efecto) METARREGRESION Se utiliza para evaluar estadisticamente qué factores influyen sobre la estimacin del efecto, como de- terminadas caracteristicas de los pacientes, de Ia intervencin o del disetio de los estudios Estas carac- teristics pueden ser comunes a todos los pacientes incluidos en os studios, como por ejemplo, lavia de administracin de un tratamiento, oun promedio de todos los pacientes, como la media de edad. Este iti- ‘mo tipo de covariables requiere un interpretacion cautelosa, ya que los valores agregados pueden no representar adecuadamente a grupos minoritarios de pacientes. Los resultados de la metarregresin se informan generalmente como coeficientes de regre- sin con sus IC, que reflejan la influencia de cada variable evaluada sobre la estimacién del efecto, ANALISIS DE SUBGRUPOS Los analisis de subgrupos se realizan cuando interesa evaluar los resultados en algiin grupo especial de su- jetos,en funcion de la edad, sexo u otras variables, y solamente se justfican si se han planeado antes de iniciar la RS, a partir de uma hipstesis fndamentada. Ademas de los problemas de cualquier analisis de subgrupos, en tuna RS es importante tener en cuenta sila comparacién se realiza entre subgrupos de sujetos que proceden de un mismo estudio 0 bien entre subgrupos procedentes de estdios dife- rentes. En esta segunda situacidn, el resultado tiene mayores limitaciones, ya que, al proceder de estu- dios diferentes, pueden existr otros muchos facto- res que influyan sobre los resultados. Guando la finalidad no es tanto obtener estima- ciones por subgrupos como ver silos resultados difie- ren en funcién de los subgrupos que se consideren, se utiliza como otra forma de explorar yexplicar Ia hetexogencidad, EVALUACION GRAFICA DEL SESGO DE PUBLICACION Una forma de evaluar la posibilidad de un sesgo de publicaci6n es el grifico en embudo (/unne! plo), en el que las medidas del efecto observadas en los di- ferentes estudio se presentan en na grifica en que 350Andusis De UWA REvBION sisteMAnCA J ¢l ee de abscisas corresponcte ala magnitud del efec- coyel de ordenadas a alguna medida de su variabi- lidad, generalmente el tamafio muestra (Hig. 3.2) Dado que los estudis de menor tamafio tienen una menor precision en a estimacién del efecto, presen- fan una mayor varibilidad en los resultados. En cam bio, los studios de mayor tamaiio muestran mayor precisin, por lo que sus resultados tienen menor va- siabilidad, Al yepresentar los resultados de los dife- rentesestudiosidentifcados, se obtiene un grfico en forma de embudo invertde o pirémide, sino existe sesgo de publicacién, Cuando, como ocurte en la fic ura, el gréfico no es simétuico (obsérvese que pare cen faltar estudios en el angulo inferior derecho) puede sospecharse que no se han localizado los esta: dios que deberian ocupar este lugar; en este caso, Tamano de la muestra 10,000 1.000 100 Figura A5.2. Grifice en embude para a evaluacién del sesgo de publicacton, On Brewiocraria Egger M, Smita GD, Altman DG (ed). Systematic reviews Tneath care: meta-analysis in context.2*ed. Londres: BMJ Publishing Group, 2001 Higgins J, Thompson S, Deeks, Altman D. Statistical rogeneityin systematic reviews of clinical tal:acitical, appraisal of guidelines and practic. J Health Serv Res Policy 2002: 7:51. Ls) Loannidis JPA, Schmid GH, Quantitative synthesis i systematic reviews. un Intern Med 1997; 177: 820826 Favorece al tratamiento estudis de pequetio tamatio con resultados en con- tra del tratamiento, lo que seria sugestivo de la exis- tencia de un sesgo de publicacion, Este es un método aproximado dificil de interpretar cuando existen pocos estudios. tra utilidad del grafico en embudo es que per rite identifcar agin estudio con comportamiento extrafio, como el indicado como outlier en a figu- 12, AB.2 Se trata de un estudio que conduce a una estimacién muy favorable al tratamiento, pero que queda fuera de la variabilidad que seria esperable simplemente por azar en los estudios de un tamatio de la muestra similar: Ello obliga a revsar euidado- samente las caracteristicas de este estudio con Ia fi- nalidad de identificaralgsin factor que pueda expli- car este comportamiento inesperado. os 10 10 Favorece al contol “MacaskilP, Walter SD, rig L.A comparison detect publication bias in metals, Stat Med 2001; 20; 641-554 MeAuley L, Pham B, Tugwell P, Moher D. Does the incu sion of grey literature influence estimates of interven tion etfectivenese reported in metaanalyis? Lancet 2000, 356: 1228-1251 Satton AJ, Dial J, Tweedie RL, Abrams KR, Jones DR. Ex pirical astetsment of effect of publication bias on meta analy, BMJ 2000; 32015741577 351