HOW CAN IMPACT BE EVALUATED?

WHICH APPROACHES CAN YOU USE DEPENDING ON THE INTERVENTION’S

CHARACTERISTICS AND THE AVAILABLE DATA? IN RESPONSE TO WHICH EXPECTATIONS?

I WANT TO KNOW IF MY INTERVENTION I WANT TO KNOW IN I WANT TO KNOW WHY AND HOW I WANT TO KNOW ALL THE DESIRABLE
REALLY MADE A DIFFERENCE AND IF SO WHICH CONFIGURATION MY INTERVENTION MY INTERVENTION MADE AND UNDESIRABLE CONSEQUENCES
TO WHAT EXTENT. WORKED THE BEST. THE EXPECTED DIFFERENCE. OF MY INTERVENTION.

Availability of quantitative data on beneficiaries.

Conditions

At least one impact indicator. Direct causal relationship. Sufficiently comparable cases Possibility to reconstruct theory Context and/or consequences not well known
Knowledge of other factors. (results and characteristics). of change (intervention logic or understood. Multiple viewpoints,
AND other explanatory factors). fragmented knowledge.

YES YES NO YES YES

Indisputable before  Possible comparison? > 100 observations. Availability ETHNOGRAPHIC YES

CONTRIBUTION OUTCOME A single global
/after threshold? of quantitative data regarding the MONOGRAPHS ANALYSIS HARVESTING intervention?
> 100 observations ? BEFORE/AFTER
YES NO characteristics of the beneficiaries
and the expected outcome? YES
YES
YES Short causal chains?
In low numbers? Or zoom MOST
LONGITUDINAL STUDIES WITH / WITHOUT SIMULATION on a section of the theory SIGNIFICANT CONCEPT
REGRESSION ANALYSIS, of change. CHANGE MAPPING
PREDICTIVE MODELLING
Is matching possible? PROCESS
IF
Many other potential competing TRACING
explanatory factors.
YES NO

Possible Short causal chain?

experimentation? Exploitable threshold? Few explanatory factors? Competing scientific theories
IF
can explain the expected effects. CONGRUENCE
YES
ANALYSIS (CON)
YES YES NO
NO
NO
RANDOMISED REGRESSION IF Actors have a key role in REALIST This impact evaluation approches tree is available on
CONTROLLED TRIAL DISCONTINUITY QUALITATIVE COMPARATIVE CROSS-CASE IF the success of the programme. EVALUATION www.quadrant-conseil.fr/ressources/ArbreImpact.html
Several causal mechanisms.
ANALYSIS (QCA) ANALYSIS
DIFFERENCE IN
DIFFERENCES (DID)
QUASI EXPERIMENTAL

The use and reproduction of this tree is allowed (except for commercial use)
provided that the source is acknowledged
Quadrant Conseil, 2017 - www.quadrant.coop / Graphic design : www.atelier-beau-voir.fr
 COMMENT ÉVALUER L’IMPACT ? QUELLES APPROCHES POUVEZ-VOUS MOBILISER SELON LES CARACTÉRISTIQUES
DE L’INTERVENTION ET LES DONNÉES DISPONIBLES ? EN RÉPONSE À QUELLES ATTENTES ?

JE VEUX SAVOIR SI MON INTERVENTION JE VEUX SAVOIR JE VEUX SAVOIR JE VEUX CONNAÎTRE TOUTES
A VRAIMENT FAIT LA DIFFÉRENCE DANS QUELLE CONFIGURATION MON POURQUOI ET COMMENT MON INTERVENTION LES CONSÉQUENCES DÉSIRABLES OU
ET DANS QUELLE PROPORTION. INTERVENTION A LE MIEUX MARCHÉ. A FAIT LA DIFFÉRENCE ATTENDUE. NON DÉSIRABLES DE MON INTERVENTION.

Données quantitatives disponibles sur les bénéficiaires.

Conditions

Au moins un indicateur d’impact. Cas suffisamment comparables Théorie du changement reconstructible Contexte, conséquences mal connues ou mal comprises.
Relation causale directe. (résultats et caractéristiques des cas). (logique d’intervention ET Multiples points de vue,
Connaissance des autres facteurs. autres facteurs explicatifs). connaissance fragmentée.

OUI OUI NON OUI OUI

Seuil avant/après Comparaison possible ? > 100 observations. MONOGRAPHIES OUI

ANALYSE DE RECUEIL DES RÉSULTATS Une seule intervention
indiscutable ? Données quantitatives disponibles ETHNOGRAPHIQUES CONTRIBUTION (OUTCOME HARVESTING) globale ?
> 100 observations ? AVANT/APRÈS
OUI NON sur les caractéristiques des
bénéficiaires et le résultat attendu ? OUI
OUI
OUI Chaînes causales courtes ?
En faible nombre ?
ÉTUDES LONGITUDINALES AVEC / SANS SIMULATION ou zoom sur une étape de CHANGEMENT CARTOGRAPHIE
RÉGRESSION, la théorie du changement. LE PLUS SIGNIFICATIF CONCEPTUELLE
MODÉLISATION
Appariement possible ? PRÉDICTIVE RECONSTITUTION
SI
Nombreux autres facteurs explicatifs DE PROCESSUS
potentiels concurrents.
OUI NON (PROCESS TRACING)
Chaînes causales courtes ?
Expérimentation Peu de facteurs explicatifs
Seuil exploitable ? déterminants ?
possible ? SI Théories scientifiques concurrentes ANALYSE DE
expliquant les effets attendus.
OUI
CONGRUENCE
OUI OUI NON
NON
NON
ASSIGNATION ALÉATOIRE DISCONTINUITÉ Rôle clé des acteurs dans ÉVALUATION Cet arbre des impacts et la définition
ANALYSE QUALITATIVE ANALYSE CROISÉE SI la réussite du dispositif. RÉALISTE des approches sont disponibles sur
Plusieurs mécanismes causaux. www.quadrant-conseil.fr/ressources/ArbreImpact.html
COMPARÉE (QCA) DE CAS
DIFFÉRENCE
DE DIFFÉRENCE
QUASI EXPÉRIMENTAL

Vous pouvez diffuser et réutiliser ce document librement

(hors utilisation commerciale) à condition d’en citer la source :
Quadrant Conseil, 2017 - www.quadrant.coop / Graphisme : www.atelier-beau-voir.fr