You are on page 1of 46

EXPERIMENTAL STUDIES: RANDOMIZED 

CONTROLLED TRIALS, FIELD TRIALS, 
COMMUNITY TRIALS 
Abdullatif Husseini, MSc, MPH, PhD
Learning Objectives
• To explore various experimental studies
• To describe the important elements of 
randomized trials.
• To define the purpose of randomization and
of masking.
• To introduce design issues related to 
experimental design.
Gordis, 2014
Epidemiological study designs

Study type

Experimental Observational

Randomized  Field  Community 


trials Descriptive Analytical
controlled trials trials

Case report, case series,  Case control, 
cross sectional cohort, ecological

3
Lind conducted an experiment, which he described as follows:

“I took 12 patients in the scurvy on board the Salisbury at sea. The 
cases were as similar as I could have them…they lay together in one 
place and had one diet common to them all. Two of these were 
ordered a quart of cider per day…Two others took 25 gutts of elixir 
vitriol…Two others took two spoonfuls of vinegar…Two were put 
under a course of sea water…Two others had two oranges and one 
lemon given them each day… Two others took the bigness of 
nutmeg. The most sudden and visible good effects were perceived 
from the use of oranges and lemons, one of those who had taken 
them being at the end of 6 days fit for duty…The other…was 
appointed nurse to the rest of the sick.”
Gordis, 2014
Experimental studies
“ A study in which conditions are under the direct control of the 
investigator. In epidemiology, a study in which a population is 
selected  for a planned trial of a regimen  whose effects are 
measured by comparing the effects of the regimen in the 
experimental group with the outcome of another regimen in a 
control group. To avoid bias members of the experimental and 
control groups should be comparable except in the regimen that is 
offered (to) them. Allocation of individuals to experimental or 
control groups is ideally by randomization ”          
(Last 1995)

5
A simpler definition
“ An experimental study assigns participants to 
intervention and control groups in order to examine 
whether an intervention causes an intended outcome” 
(Jacobsen 2012)

• Which one is a better definition in your opinion? and 
why?

6
Characteristics of experimental studies
• Objective: comparing outcomes between intervention 
and control groups
• Study question: Is there a causal relation between the 
outcome and the exposure
• Population: Individuals with similar characteristics
• Used for measuring relations and effects
• Beware of non compliance with the interventions 

(Source: Jacobsen 2012) 7
Experimental/ intervention studies

• Similar to laboratory experiments


• The epidemiologist conducts an experiment by
introducing an intervention such as a new drug, vaccine
…etc.
• Usually utilizes a random and representative sample
• The sample is divided into an intervention group (takes
the drug) and a control group (placebo)
• Then we observe both groups to detect the effect

8
Prophylactic vs. Therapeutic trial

•Prophylactic trial: designed to evaluate the effectiveness of a 
substance (vaccine) or program (patient education) to prevent 
a disease

•Therapeutic: study of curative drugs or a new medical 
procedure to assess whether they can improve human health
Types of ES
• Clinical trials (most common type, e.g. aspirin in 
reducing mortality after heart attacks)

• Field studies (e.g. testing of vaccines in military 
conscripts)  

• Community studies (e.g. effectiveness of health 
education campaigns in smoking cessation and 
prevention in different cities) 
What ES can involve…
Targets Interventions
• Individuals • Screening/diagnosis
• Communities • Treatment
• Cities • Prevention
Fields Outcomes
• Medicine • Life
• Public health • Death
• Related fields • Anything in between
(Jabbour, 2004)
Experimental (randomized) Studies
•Experimental designs help us overcome many of the problems 
of observational studies related to confounding and bias

•Because of that, experimental designs can more confidently 
attribute cause and effect to associations than non‐
experimental designs

•Although it is a very strong design, it is not always feasible or 
ethical (give examples)
Randomization
•Assigning subjects to the treatment or control 
conditions of a clinical trial randomly

•Well‐implemented randomization avoids the effects 
of confounding by balancing the control and 
treatment groups in terms of characteristics that 
could affect the outcome.
Randomized controlled trial
“A randomized controlled trial is an epidemiological 
experiment designed to study the effects of a particular 
intervention, usually a treatment for a specific disease 
(clinical trial). Subjects in the study population are 
randomly allocated to intervention and control groups, and 
the results are assessed by comparing outcomes. To 
ensure that the groups being compared are equivalent, 
patients are allocated to them randomly, i.e. by chance.”
(Bonita et al  2006)

14
For example an RCT to measure the effect of a 
new blood pressure treatment

Bonita el al 1993
Randomized controlled trial (RCT)
• Considered the strongest study design or the golden standard of 
epidemiology
• Example: We have a new drug for lowering blood pressure (BP) 
(A).
• We divide people with hypertension randomly into two groups: 
the intervention group we give then the new drug A and the 
control group we give them the old drug B.
• Then we observe the mean reduction in BP (for A= 5 mm Hg ; 
for B= 2 mm Hg) 
16
Efficacy of propranolol in treatment of heart attacks 
among 91 males (45‐60 years) with MI
Outcome (alive)
(28 days after admission)

Propanolol Yes No Total


Yes 38 7 45
No 29 17 46
Total 67 24 91

(Jabbour, 2004)
Field trial

• “Field trials, in contrast to clinical trials, involve people 
who are healthy but presumed to be at risk; data 
collection takes place “in the field”, usually among non‐
institutionalized people in the general population.
• Field trials can be used to evaluate interventions aimed at 
reducing exposure without necessarily measuring the 
occurrence of health effects.”
(Bonita et al  2006)

18
Field trial

Bonita et al, 2006
An example of a field trial
• We have famers living in an endemic area of malaria
• We divide them into two groups, one group we will give
the new vaccine and the other a placebo
• After one year we measure the incidence of malaria.
• Vaccine group 5%, Placebo group 10%
• This means that the vaccine reduced malaria incidence
by 50%.

20
Community trial

• “ Experiment in which the unit of allocation to receive  a 
preventive or therapeutic regimen is an entire 
community or political subdivision” (Last 1995)

• Example: community trial of a tuberculosis outreach 
programme in rural Ethiopia. (Bonita 2006)

21
Another example of a community trial

• We have two adjacent villages
• In village A we fluoridated their drinking water
• In village B we left the water as is
• After a year we looked at the % of caries in village A 
children (2%) compare to (6%) in village B children
• So fluoridation reduced the caries among children by ?

22
Phases in testing new drugs
• Animal studies: Assess efficacy and tolerability 
• Phase I: Clinical pharmacological studies
• Phase II: Initial clinical investigation for treatment effects (preliminary 
studies)
• Phase III: Full‐scale evaluation of treatment effects (trials)
• Phase IV: Post‐marketing surveillance
Phases of a Clinical Trial
Source: http://www.nlm.nih.gov/services/ctphases.html

Phase Subjects  Purpose


I small number of volunteers for the  Determine a safe dosage range, and identify side 
first time effects of a new drug or treatment

II Larger group of people Test effectiveness of drug or treatment  and 
further evaluate its safety

III Large groups of people Confirm  effectiveness of drug or treatment; 


monitor side effects;  compare it to existing and  
commonly used therapy 

IV Populations that have taken the drug  Gather information on the drug's effect in 


or treatment after marketing people who have used it and any side effects 
associated with long‐term use
Clinical Trials registration

•Operated by the US National Institutes of Health

•“ a registry and results database of publicly and privately 
supported clinical studies of human participants conducted 
around the world.”

•Clinicaltrials.gov
http://clinicaltrials.gov/
BIOM 530
Design issues
ES can (be): 

• randomized or non‐randomized (then called quasi‐
experimental), 
• controlled or un‐controlled, 
• use placebo or active treatment, 
• blind subjects, investigator, statisticians or none.
Statement of research questions
• Is intervention A 'superior‘ to intervention B in 
delivery the desired outcome?
• Define superior: which endpoints are most clinically 
significant, and which of these can be measured?
• Two ways of assessing outcomes
• Risk (proportion)
• Rate (person‐time)
Randomization
• Randomization is the random assignment of 
interventions to study subjects. 
• It eliminates the possibility of knowing what the 
assignment of the next subject will be. 
• The critical element of randomization is the 
unpredictability of the next assignment.
 Subjects should register for the trial BEFORE randomization
 Otherwise, we may loose them before we start!

 There are many ways of randomization:
 Two most common: advance (assignment generated beforehand) or 
dynamic (assignment generated on the spot)

 To assess whether randomization was successful in having 
comparable groups: 
 Assess the equality of intervention groups with regards to baseline 
characteristics e.g. demographic, clinical and prognostic factors
Cross‐over trials
• During the trial, a subject crosses over from one group to another (i.e. 
from group A to group B and the reverse)

• Each subject receives both A and B treatments (or non‐treatment)

• In this design, subjects are their own control

• Data analysis is matched, but there might by “carry‐over” or residual 
effects from the first treatment received
Non‐randomized (Quasi‐experimental) Studies

• Sometimes, it is not possible to allocate individuals or groups to 
treatment and control groups randomly. It may not be practical, or it 
may be unethical

• The absence of randomization means that we have to look more 
carefully at the effects of possible confounding. This can be done in the 
design phase and/or in the analysis
Blinding (masking)

• Blinding means that certain persons do not know the treatment 
assignment.
• Commonly both the investigators and subjects are blinded (double blinding)
• The aim is to reduce subject and investigator bias. This is of particular 
importance when the outcome is a subjective measure, such as headache or 
low back pain. 
• Who could be blinded?
• Subjects
• Treating clinicians
• Investigators (especially those who assess the outcomes)
• Statisticians
Problems Addressed with Blinding

• Subjects in a trial try to get well or may feel differently if they know what 
they are taking (Placebo Effect)
 Blind subjects
• Placebo effect is especially important when using subjective outcomes.
• If we are comparing a drug to no drug, a placebo is commonly used.  This 
improves comparability of treatment groups in terms of compliance & side 
effects.
• In non‐drug trials, may be impossible / unethical to have a placebo.
• One treatment may have a characteristic side effect which may make blinding 
ineffective.
Problems Addressed with Blinding

• Assessing investigators may try hard to look for outcomes if they know 
assignment (Unconscious bias) 
 Blind assessing investigators 
• Decisions about ancillary treatment, follow‐up, severity of 
toxicity…often made by those who know treatment assignment 
( Unconscious bias)
 Blind treating physicians
• Statisticians try to please investigators by “looking hard” for results
 Blind the statistician
Key issues in analysis

Problem Way to address

Comparability of treatment groups  •Good randomization scheme
•Stratified design

Control for confounders  •Stratified analysis
•Multivariate analysis

Potential loss to follow‐up •Intention to treat analysis “Once randomized, 
always analyzed”

(Jabbour, 2004)
Analysis method is dictated by study endpoint
Study endpoint Type of analysis
•Binary (yes/no, categorical) Comparison of risks  (Relative risk)
•time to event NOT relevant

•Binary (yes/no, categorical) Comparison of rates (Rate ratio), 
•time to event is relevant survival analysis (Kaplan‐Meier 
curve)

•Continuous comparison of two means (t‐test, CI)

(Jabbour, 2004)
Eligibility Criteria
• The criteria that determine whether an individual can be included in 
the sample or not

• Eligibility criteria must be carefully defined, explicitly described, and 
enforced

• Inclusion criteria vary according to the intervention being proposed

• Consult the literature and the records of previous clinical trials to see 
how your inclusion/exclusion criteria compare
Ethical issues
• Equipoise:
We must NOT withhold a potentially effective interventions from subjects, 
particularly those with serious and life‐threatening diseases. Therefore, RCTs are 
ethical only when we do NOT know that drug A is better than drug B
• Informed consent: 
should be obtained from the well‐informed patient or his family and from the 
attending physician. 
• Stoppage rules:
There is an ethical obligation to monitor and analyze data regularly (interim 
analyses) to check for evidence of adverse or beneficial effect of one of the 
interventions. 
If one arms proved unequivocally better than the other, the study should be 
stopped and subjects informed (Data Safety & Monitoring Committee).
In summary… ES
ADVANTAGES DISADVANTAGES
• Randomization tends to balance  • Subject exclusions may limit ability to 
prognostic factors across study groups generalize findings to other patients
• Detailed information can be collected  • A long period of follow‐up may be 
on baseline and subsequent  required to reach a conclusion
characteristics of participants • A large number of participants may 
• Dose level can be determined by the  be required
investigator • Financial costs are typically high
• Blinding can reduce distortion in  • Ethical concerns may arise
assessment of outcome • Subjects may not comply with 
• Assumptions of statistical tests can be  treatment assignment
met

(Jabbour, 2004)
• “STUDY DESIGN: We enrolled 126 pregnant women at risk for depression (Edinburgh 
Postnatal Depression Scale score 9–19 or a history of depression) in early pregnancy and 
randomly assigned them to receive EPA‐rich fish oil (1060 mg EPA plus 274 mg DHA), 
DHA‐rich fish oil (900 mg DHA plus 180 mg EPA), or soy oil placebo. Subjects completed 
the Beck Depression Inventory (BDI) and Mini‐International Neuropsychiatric Interview at 
enrollment, 26–28 weeks, 34–36 weeks, and at 6–8 weeks’ postpartum. Serum fatty acids 
were analyzed at entry and at 34–36 weeks’ gestation.

• CONCLUSION: EPA‐rich fish oil and DHA‐rich fish oil supplementation did not prevent 
depressive symptoms during pregnancy or postpartum.”

40
Questions to consider in reviewing the design and analysis 
of ES
• Have sufficient data been generated from observational studies to justify 
conducting an RCT?
• Have the investigators sufficiently described the trial’s inclusion and 
exclusion criteria and how theses criteria might affect the generalizability of 
the trial’s findings?
• Was the randomization of  study subjects to treatment or exposure groups 
done appropriately? Have potentially confounding factors been adequately 
measured and are they equally distributed between the experimental and 
control groups?
• Were the treatment regimens adequately described?
Questions to consider in reviewing the design and 
analysis of ES

• Does an adequate placebo exist to the active therapy being tested or is 
the new therapeutic approach being compared with standard medical 
practice?
• If competing interventions are being used as either adjunctive or 
standard therapy, are these interventions similarly distributed between 
the respective comparison groups and/or have they been controlled for 
analytically?
• Were the data analyzed according to the principles of intention to 
treat? Was the sample size large enough to adequately examine 
differences in the principal study outcome(s) in intervention and 
comparison groups? 
Bonita et al, 2006
43
Ability to prove causation

Bonita et al, 2006
Thalib, 
2015
45
References:
• Gordis L, (2009). Epidemiology, 5th ed. Philadelphia: Elsevier Saunders.
• Bonita R, Beaglehole R, Kjellstrom T, 2006.  Basic Epidemiology.  Geneva: WHO.
• Friis R, (2010) . Epidemiology 101.  Sudbury, MA: Jones and Bartlett Publishers.
• Coggon, D., Rose, G. A., & Barker, D. J. P. (2003). Epidemiology for the uninitiated. London: BMJ 
Books. 
• Jacobsen K, 2012. Introduction to health research methods: a practical guide. Jones and 
Bartlett Learning.
• Last J,1995. Dictionary of epidemiology. Oxford: OUP.
• Intervention Studies‐ Chapter 7. In Bruce N, Pope D, and Stanistreet D.  Quantitative methods 
for health research: a practical interactive guide. 
• Mills EJ, Chan A‐W, Wu P, Vail A, Guyatt GH, Altman DG. Design, analysis, and presentation of 
crossover trials. Trials. 2009;10(1):27. https://doi.org/10. 1186/1745‐6215‐10‐27.
• Mozurkewich E, et al. Am J Obstet Gynecol. Author manuscript; available in PMC 2014 May 05.
• Some slides were extracted with permission from presentations prepared by:
– Jabbour Samer.  Experimental studies . A. Cohort Studies (CS). AUB 2004 
– Thalib L. Experimental studies. Qatar University 2015
– Abdul Rahim H. Experimental studies Presentation. Qatar University 2015

You might also like