Importance de I'erreur 8 et de la taille d'échantillon dans la construction et l'interprétation d'un essai randomisé on Ae ce eee oe aan au o cee eet A oak pot L we, seh 4 any, fee ee, whe “yey eb Lpy fe 7 “re ] _ atx 7 of cs a ins / _ = TE Plead pow done Bt cht ne dtodd” = fo Cnn Heyee A at Le but d'un essai serait de déterminer : Pt: vrai taux de réponse de T comparé a Pc: vrai taux de réponse du groupe contréle (placebo ou référence) = Pte réponse observée pour T (estimation de Pt) “=F Pc réponse observée pour (estimation de Pc) Pc - P stimation de l'efficacité Si Pc = Pt, Pc-Pt = 0 Po — Pt 2? Dépend de I'échantillon de patients Donc : quelle probabilité pour que Pc — Pt = 0 ? ouPc — Ptx0? => degré de signification & p SiP< Q =} 0 rejetteHo B2Si Ho est rejetée (Pc — Pt = 0) = Risque de se tromper ! (<> adire que Pc — Pt dans la réalité) => Faux positif du test statistique = erreur de type |, proba = Q Si p > & => Ho n'est pas a rejeter Mais si Pc vraiment # de Pt => Erreur ! = Erreur de type Il, erreur 6 = Faux négatif du test statistique Erreur type | <> une seule valeur, calculée sur la base de Pce=Pt Erreur type II : calculée sur la base Pc = Pt <=> aune infinité de valeurs A chaque difference Pc - Pt <> une valeur de 6 B3Ces diverses valeurs de [3 => une courbe fonction de A = courbe ROC du test (Operating characteristic curve) Teper cere (eee ee eee ee P= 0297 i m= 66 4 @=008 0 Probability of missing a 7 289% reduction dueto treatment; ~ 0.77 06 Probability of missing "S006 reduction dueto os treatments ~ 0.42 oa 1 0 0.06 an oe 074 030 “Absolute Value of Delta A=P-P B4Si <= A trop haut => Ia taille de 'échantillon =>NB = 728 1 — B = puissance de l'étude Dans notre exemple : Qa : 0,05 si B: 0,10 A: 0,5 => Taille d'échantillon : 202 dans chaque groupe Si possible : La ou B, ou les 2? ZA Question suivante : analyse intermédiaire ? Quand arréte t-on l'essai ? BSETUDE D’ESSAIS NEGATIFS PUBLIES J. Freiman 10 ANNEES => 300ESSAIS = 110 NEGATIFS (Pas de différence entre groupe traitement et groupe contréle : p > 0,05) : hypothése nulle : non rejetée. CRITERES D’ACCEPTATION : 1- p> 0.05 : clairement explicité dans le texte. 2- Essai non significatif 4 0.1 ; admissibilité. 3- Mesure d’ efficacité dichotomique : e Nbre de décés e Nbre de patients avec complications ¢ Nbre de patients sans amélioration => REPONSE EN OUI-NON 4- Nbre de patients suffisants pour que Nbre calculé > 5 dans toutes les cellules 71 ESSAIS RETENUS B6CARACTERISTIQUES DES 71 ESSAIS RETENUS Table 1. Characteristics of the 71 Admissible Negative Trials, Characteristic No.of Trials a ——e Source of trial Lancet 19 ‘New England Journal of Medicine u Journal of the American Medical Association 6 Other 35 Year of Publication 1975-77 26 1970-74 29 1965-69 12 1960-64 4 Category of disease Cardiovascular 27 Gastrointestinal 9 Other 35 ‘Type of controls Placebo 25 Standard treatment 22 Other 24 End point Mortality 41 Complications or lack 30 of improvement BInat METHODES D’ANALYSE DONNEES RECUEILLIES POUR CHAQUE ETUDE : e Pt: Taux de réponse dans le groupe traitement. e Pc: Taux de réponse dans le groupe contrdle. Pe- Pt e nt: taille d’échantillon du groupe traité e nc: taille d’échatillon du groupe contréle e Erreur « retenue dans l’article e Ampleur de la différence retenue comme cliniquement importante (Si non indiquée : 25% et 50%) ° 1-8 DETERMINATION DE: 1. COURBE ROC 2. INTERVALLE DE CONFIANCE A 90% POUR LA DIFFERENCE Pe - Pt B8CALCUL DE B POUR CHAQUE ARTICLE, AVEC o = 0.05 (TEST UNILATERAL) POUR A = 0.25 Pe, RESULTATS ET POUR A=0.50 Pc Table 2. Distribution of the (is (Original Series, 1960-1977), AU) 16 120 21-30 49 41-50 5i-60 61-70 71-86 81-90 91-100 Case} (25% Reduetion in P ) Curnuslative Frequency Frequency % 4 4 5.63 i 5 704 2 7 988 2 ¥ 12.68 5 i 19.72 7 at 29.58 2 23 32.99 16 ao Mas 8 64 S014 7 7k 100.00 Cased (50% Reduction in P.} Cumulative Frequency Frequency —% a a 29.58 i 2 30.99 a 36 36.62 a 5 49.30 5 40 58.34 4 4 61.97 8 32 73.04 > 6h 85.92 9 70 98.59 1 7. 100.00 BSMEME METHODOLOGIE, SUR 65 ESSAIS RANDOMISES PUBLIES EN 1988, RETENUS SUR LES MEMES CRITERES Table 3. Distribution of the Bs (Second Series, 1988). Case 1 Case2 B(%) (25% Reduction in P, ) (50% Reduction in P,) Cumulative Cumulative Frequency Frequency % Frequency Frequency 21 26 28 31 40 45 53 35 62 % 28.77 35.62 38.36 42.47 54.79 61.64 72.60 75.34 95.38 100.00 BIOCONCLUSIONS POSSIBLES 1- LA TAILLE D’ECHANTILLON A ETE SOUS- ESTIMEE LORS DE LA CONSTRUCTION DE L’ETUDE 2- L’EFFICACITE ATTENDUE PAR LES AUTEURS AVAIT ETE ESTIMEE A PLUS DE 50 % A TORD BilINTERVALLES DE CONFIANCE POUR LE POURCENTAGE DE REDUCTION OBSERVE [Pe Pd x 200 Figure 2, Ninety Percent Confidence Limits for the True Percentage Ditference forthe 71 Trials (Griginal Series, 1960-1977), The vertical har at the center of each interval indicates the observed vatue, Po Py for each trial, BizRELATION ENTRE L’ESTIMATION DES 8B AVANT L’ESSAI ET L’INTERVALLE DE CONFIANCE POUR 25% ET 50% DE REDUCTION REELLEMENT OBSERVEE DANS L’ESSAI Table 4. Relation between Pretrial Estimates of 8 and Inclusion of 25 Percent and 50 Percent Reductions within 90 Percent Confidence Intervals for the True Difference. B>10% 90% Confidence Interval, Including 25% Reduction 50% Reduction no totals no totals 10 7 16 50 21 21 of # 14 a 37 a = SEULEMENT 15% (POUR REDUCTION DE 25%) 32% (POUR REDUCTION DE 50%) on eu raison d’arréter |’essai, au lieu de continuer a inclure des patients !!! BISECONDE SERIE D’ESSAIS (1988) IP, Pa x 100 Figure 3. Ninety Percent Confidence Limits far the True Percentage Difference for the 65 New Trials (Second Series, 1988). ‘The vertical bar at the center of gach interval indicates the observed value, B, — Br, for each trial. BidA RETENIR 1- NE PAS ATTEINDRE LE SEUIL DE SIGNIFICATIVITE STATISTIQUE NE VEUT PAS DIRE QUE DEUX TRAITEMENTS SONT IDENTIQUES PB DE LA TAILLE D’ECHANTILLON !!! 2- LORS DE LA CONSTRUCTION D’UN ESSAI RANDOMISE, IL FAUT: e DECIDER DE LA ‘POSITION NULLE’ (PLACEBO OU TRAITEMENT DE REFERENCE) e DECIDER DE LA DIFFERENCE UTILE A OBSERVER e VOIR AVEC LE STATISTICIEN POUR LE CALCUL DE LA TAILLE D’ECHANTILLON !!!! e CALCULER LE RISQUE DE ‘RATER’ UN EFFET INTERESSANT BIS8 EST CONDITIONNE PAR : ea e LA TAILLE D’ECHANTILLON e L’AMPLITUDE DE L’EFFET DANS LE GROUPE CONTROLE (LITTERATURE) => ON PEUT FAIRE PLUSIEURS ESTIMATIONS DE LA TAILLE D’ECHANTILLON => IL FAUT VOIR SI L’ESSAI EST REALISABLE ! = FAIRE LES CALCULS AVEC DIFFERENTES ESTIMATIONS DE L’EFFET ATTENDU ! ! RATTRAPAGE POSSIBLE : META-ANALYSE PB ETHIQUE : SI TENDANCE FAVORABLE AU GROUPE CONTROLE EN COURS D’ETUDE, => ANALYSE INTERMEDIAIRE NECESSAIRE BIGDANS LA SERIE DES 71 ARTICLES 1 PAPIER > INDIQUAIT a ETB 18 PAPIERS — TENDANCE RECONNUE DANS LA DISCUSSION 14 PAPIERS — INDIQUAIENT QUE LA TAILLE D’ECHANTILLON DEVRAIT ETRE AUGMENTEE DANS LES PAPIERS AVEC TENDANCE FAVORISANT LE GROUPE CONTROLE > PAS D’ INTERVALLE DE CONFIANCE DANS LA PLUPART : SI a > 0.05, = CONCLUSION : PAS DE DIFFERENCE SIGNIFICATIVE ! !! SERIE DE 1988 : 8% — INDIQUAIENT « ET B 11% —> B POST ETUDE => AMELIORATION MODESTE EN 10 ANS!!! PB : AS-T-ON ECARTE DES THERAPEUTIQUES EFFICACES, PAR ERREUR METHODOLOGIQUE ? BIT