EVALUATION

DES PROGRAMMES
DE SANTE

Octobre 1997

Dr J-P d'Altilia (AEDES)

Dr M. Henkens (MSF)
 Table des matières

DEFINITION........................................................................................................................................

PREREQUIS........................................................................................................................................

CE QUE N’EST PAS L’EVALUATION.................................................................................................

DIFFICULTES D'ACCEPTATION........................................................................................................

QUI EVALUE ?....................................................................................................................................

EVALUATIONS SELON LE STADE DU PROGRAMME......................................................................

ETAPES ET CONTENU DE CHAQUE ETAPE DE L’EVALUATION....................................................

A. RECHERCHE D'INFORMATION..................................................................................................

1.Chercher une description de la situation de départ......................................................................

2.Vérifier que toutes les étapes du diagnostic et de la programmation existent dans le document
du programme............................................................................................................................

3. Reconstituer l’historique du programme.....................................................................................

4. Rechercher toutes les informations sur les activités réalisées (output), les ressources utilisées,
les résultats atteints....................................................................................................................

B. ANALYSER CHAQUE ETAPE DE LA PLANIFICATION :.............................................................

1. analyse de la conception du programme :..................................................................................

2. analyse de la réalisation du programme :...................................................................................

3. analyse des résultats du programme :.......................................................................................

4. analyse de l'adaptabilité du programme.....................................................................................

5. Essayer d’expliquer les écarts observés, ou les problèmes détectés, avec les acteurs du
programme.................................................................................................................................

C. FAIRE DES PROPOSITIONS CONSTRUCTIVES........................................................................

 Evaluation 1

DEFINITION

Evaluer c’est déterminer la valeur de quelque chose, c’est porter un jugement

de valeur (définition Petit Robert).

Dans les programmes de santé, l’évaluation est un processus qui consiste à porter un jugement
de valeur sur une action, un programme, un processus de décision..., en utilisant, autant que
faire se peut, des bases objectives (faits consignés, rapports, documents...).

Pour porter ce jugement de valeur, dans un souci d’objectivité, on s’attachera à utiliser au maximum
des critères quantitatifs, des mesures. C’est possible souvent, surtout quand l’évaluation a été prévue
dès la conception du programme : on recueille alors tout au long du programme des informations qui
seront utilisées lors de l’évaluation. Malheureusement pour l’évaluateur, ce n’est pas toujours pos-
sible; il faudra alors porter un jugement qualitatif; c’est là qu’intervient le degré d’expertise des évalua-
teurs, leur expérience, qui leur permet de pouvoir comparer la situation à d’autres similaires, ou appro-
chantes qu’ils ont déjà vus.

Dans le contexte MSF, l'évaluation est un des éléments clés de la prise de décision, comme tout autre
recherche active d'information. Evaluer pour le plaisir d'évaluer n'a pas de sens ni de place dans nos
programmes. L'évaluation est utile si l'utilisation des conclusions est prévue dans un projet ou dans la
réorganisation des structures décisionnelles.

On va chercher, par l’évaluation, à mesurer les résultats des actions en fonction des objectifs qui ont
été définis.
C’est un moyen de tirer des leçons de l’expérience.

Elle a deux buts principaux :

1. Améliorer un programme, en mettant en évidence les erreurs passées et les points positifs : éva-
luation formative
2. Faire un bilan global, en mesurant tous les effets du programme (attendus et non attendus). Elle
permet alors de répondre à des questions portant sur l’arrêt du programme, sa continuation ou
même son extension : évaluation sommative.

L’évaluation fait partie intégrante du processus de planification et devrait être prévue dès la concep-
tion du programme. En réalité c’est rarement le cas, de plus très souvent des programmes démarrent
sans planification sérieuse : on peut malgré cela faire des évaluations.

PREREQUIS

Avant de faire une évaluation, il faut que tous les acteurs sachent :

1. à quelles questions veut-on répondre par cette évaluation ? pourquoi fait-on une évaluation ? Cela
permet dès lors de rédiger d'une manière claire les termes de références. ex: est-ce que le pro-
gramme a atteint ses objectifs?, est-ce que ET a amélioré la capacité de MSF de répondre à l'ur-
gence?

2. pour quoi faire ? que va-t-on faire des résultats?

Des scénarios alternatifs doivent pouvoir être considérés en tenant compte des résultats de l'évalua-
tion. Si aucune modification n'est possible en fonction des résultats de l'évaluation, ce n'est pas la
peine d'évaluer.

Donc en bref s'il n'y pas de question précise, ou si on ne peut rien faire des résultats de l'éva-
luation, ce n'est pas la peine d'évaluer
 Evaluation 2

CE QUE N’EST PAS L’EVALUATION

Une évaluation n'est ni un contrôle ni un suivi; mais des activités de contrôle et de suivi font partie
d'une évaluation qui est un processus plus large :

Contrôle (au sens de vérification, inspection)

Un contrôle ne peut s'appliquer que s'il existe des procédures ou des normes connues et acceptées
par les différents acteurs; il s'agit alors de vérifier si les procédures prévues sont effectivement appli-
quées, si les normes sont respectées et si les résultats sont ceux attendus. Le résultat du contrôle est
une fonction de régulation : si un écart est observé, des mesures doivent être prises pour le supprimer
(sanctions, rappel des procédures...)

L'évaluation ne doit pas servir à déterminer le bien et le mal avec éventuellement des sanctions à la
clé; la critique éventuelle doit être constructive, on doit chercher à comprendre pourquoi une action
n’a pas entraîné les résultats attendus.
L’évaluation tentera d’intégrer les éléments nouveaux. Le contrôle se contentera d’appliquer des
normes strictes, non discutables. Pendant une évaluation, tous les acteurs doivent pouvoir s’expliquer.
Il ne faut pas voir la réalité uniquement au travers d’objectifs qui doivent absolument être atteints. Les
objectifs doivent s’adapter.

Suivi

Le suivi va s'intéresser à une partie du cycle global d'un programme : la mise en œuvre, c'est à dire la
partie input  processus  output directs. Le suivi est une activité continue d'analyse de ces
étapes. Il apporte des informations sur le déroulement des activités, les difficultés, mais ne prend pas
en compte toutes les étapes d'un programme, comme l’évaluation. Les données de suivi sont utilisées
pour l’évaluation.

Camouflage

L’évaluation peut être utilisée comme une opération de camouflage, où on tente de cacher certains
aspects, à valoriser coûte que coûte un programme afin de la promouvoir aux yeux des donateurs par
exemple ...

Recherche d'erreurs

Une évaluation ne doit pas insister sur les aspects négatifs sans parler des aspects positifs. Souvent
le fait d’évaluateurs «blasés» pensant que quoi qu’on fasse, rien de bon ne sortira «Vieux africains qui
ont tout vu, ont tout fait ...».

DIFFICULTES D'ACCEPTATION

L’évaluation fait peur et déclenche des réactions passionnées :

• processus froid; beaucoup de protocoles; coûte cher, prend du temps,

• peut mettre en évidence des échecs de programme : suspicion; peur d’être personnellement mis
en cause
• le terme évaluation peut recouvrir différents sens
 Evaluation 3

QUI EVALUE ?

Animateur de l’évaluation

• Externe : regard neuf, plus objectif. Nécessite grande expérience donc coûteux. Souvent plus cré-
dible.
• Interne : faible coût, jugement moins indépendant, souvent moins créatif, moins grande reconnais-
sance extérieure, connaissant bien le programme et/ou l'organisation qui le met en oeuvre.

Le choix se fera en fonction des objectifs de l'évaluation; par exemple si un des objectifs est d'analy-
ser le type de réaction de l'organisation face à un problème d'organisation interne, il vaut mieux une
évaluation interne, car il faut une excellente connaissance du fonctionnement interne de l'organisation.

Les acteurs du programme (ceux qui l'ont mis en œuvre) doivent être intégrés au processus
d’évaluation

EVALUATIONS SELON LE STADE DU PROGRAMME

On trouve dans la littérature de nombreux adjectifs que l’on accole au mot évaluation; en particulier en
fonction de ce que veut mesurer l’évaluation :

Il y a principalement 3 stades de la mise en oeuvre du programme, qui nous intéressent :

 avant le mise en oeuvre ou tout au début,

 pendant le déroulement du programme
 à la fin de celui ci.

évaluation initiale :

Evaluation de la situation de départ (population; problèmes de santé; problème de services, ...) = Ini-
tial Assessment. Dans les interventions d'urgence, quand les réponses sont relativement standard,
des informations très fragmentaires suffisent pour décider d'intervenir et comment. Dans les situa-
tions urbaines, il faut beaucoup plus d'informations pour adapter la réponse à la situation locale, et
souvent le programme est corrigé en fonction des informations recueillies lors de la mise en oeuvre.
Une définition claire des objectifs est toujours utile pour l'évaluation, c'est toujours plus facile de savoir
si les objectifs ont été atteints quand ils sont définis dès le départ.

évaluation opérationnelle :

Permet de savoir si le programme s’est bien déroulé selon ce qui était prévu et si les résultats atten-
dus on été atteints
Dans ce type d'évaluation, on essaye de répondre à deux questions principales: - les objectifs du pro-
gramme permettent-ils de résoudre les problèmes prioritaires identifiés par le diagnostic de situation?
(pertinence ou relevance) - est-ce que le programme a été mis en oeuvre correctement?

On analyse dans ce type d'évaluation le processus (process) et les résultats directs de l'intervention
(outputs).

L'évaluation opérationnelle est différente du monitorage (monitoring), qui est un suivi régulier d'un cer-
tain nombre d'indicateurs. Des rapports d'activités réguliers permettent de suivre ce qui se passe
dans le projet et de modifier sa mise en oeuvre. Les informations recueillies par le monitoring sont
très utiles pour une évaluation opérationnelle. Ne pas en disposer rend l'évaluation très difficile voire
impossible.
 Evaluation 4

évaluation épidémiologique :

Mesurer l’impact sur la santé des populations. Ce type d'évaluation mesure l'impact des interventions
en termes de mortalité et de morbidité, par exemple. Ces informations sont très souvent difficiles à
obtenir de manière fiable et entraînent des coûts importants.

Le plus souvent, MSF ne se lance pas dans ce genre d'évaluation. Si le programme est pertinent, et si la mise
en oeuvre est correcte, alors des résultats en terme d'impact doivent suivre. L'impact des interventions que
nous mettons en oeuvre a le plus souvent été démontré par d'autres.
Ex: si la couverture de vaccination rougeole est bonne (outputs ou résultats directs), alors le nombre de cas et
de décès dus à la rougeole doit diminuer. Dans les camps de réfugiés, nous mesurons la mortalité en tant
qu'indicateur de définition de la gravité d'une situation et de l'impact de plusieurs activités (vivres, abris, EHA, et
soins de santé).
Quand nous nous lançons dans de nouveaux types d'interventions, nous devrions mesurer davantage l'impact
de notre approche.
 Evaluation 5

ETAPES ET CONTENU DE CHAQUE ETAPE DE L’EVALUATION

Il y a 3 grandes étapes dans une évaluation :

A. Recherche d'information
B. Analyse
C. Conclusions et propositions

A. RECHERCHE D'INFORMATION

Chercher une description de la situation de départ


 S’il n’en existe pas essayer de la reconstituer; vérifier si des changements importants ont eu lieu
depuis le début du programme. Qui a initié le programme, quels étaient les intérêts en jeu, les op-
positions éventuelles, les conflits d’intérêts..

Vérifier que toutes les étapes du diagnostic et de la programmation existent dans le docu-
ment du programme

• contexte
• situation sanitaire
• priorités
• contraintes
• objectifs généraux, spécifiques
• calendrier des opérations
• résultats attendus
• ressources prévues
• critères d’évaluation

 Sinon, essayer de les reconstituer, en accord avec les acteurs du programme. Cette étape peut
mettre en évidence des problèmes de non concordance dans la compréhension des objectifs parmi
les différents acteurs.

3. Reconstituer l’historique du programme. Quelles décisions ont été prises, par qui, pour-
quoi, ont-elles entraîné des modifications dans la stratégie, dans le calendrier, y a t-il eu
des événements particuliers, quelles réactions ont-ils entraîné... ? Il est intéressant pour
cette étape de présenter des résultats sous forme de calendrier d'événements.

Exemple 1 : Présentation d'un chronogramme simplifié du déroulement du programme, permet-

tant de situer ses différentes phases dans le temps d'une manière globale et les
unes par rapport aux autres 1

February March April May

5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
Assessment, organisation

Mass vaccination

Curative activities

Evaluation

1
Meningitis epidemic in Nigeria, 1996. Evaluation of the MSF operation in North Nigeria. AEDES
1996
 1992
Rapport d'évaluation des actions de MSF/B dans les camps de réfugiés kurdes en Iran- AEDES 2
25.000
50.000
75.000
100.000

16/01 Intervention militaire alliée

nombre de réfugiés

Fin des hostilités - troubles internes en Irak

Fuite massive des populations kurdes hors d’Irak
01/04 Intervention MSF/F région OURAMIEH (Iran)
18/04 demande financement MSF/B - arrivée mission exploratoire
20/04 arrivée 1er avion assistance - région BAKHTARAN
26/04 début des opérations sanitaires (Kaliche, puis Kanidanial et Kanisrasch)

01/05
10/05 évacuation et fermeture de Kanirash
16/05 début opérations sanitaires camp de Hafez
évacuation et fermeture de Kanidanial

01/06
départ de Caritas - armée allemande
15/06 départ du CICR

01/07
programme2
ments clés du contexte (politiques, conflits...) et la variation de la population du
On remet en perspective les événements importants, par exemple, les événe- Exemple 2 :
Evaluation 6
 Evaluation 7

exemple 3 : Il est souvent intéressant de notifier la succession d'événements, en les situant

dans le temps et de manière géographique. L'utilisation d'une carte permet une
meilleure compréhension pour le lecteur connaissant mal la région. 3

3
Evaluation de l'opération MSF au Kurdistan - Avril, mai, juin 1991 - Document réalisé pour MSF/B,
MSF/H, MSF/F - AEDES - 1992

Bibliographie succincte

C.C.E.Manuel Gestion du cycle de projet, approche intégrée et cadre logique. CCE. 1993
D'Altilia J-P.Planification des ressources dans un district sanitaire. AEDES. 1992
Fontaine D.Evaluer les actions de santé dans le tiers-monde. L'Enfant en Milieu Tropical. Paris : CIE,
1992; n°198,
Institut de Santé et DéveloppementL'évaluation des actions de santé dans les pays en développe-
ment. Paris : ISD, 1988
OMSL'évaluation des programmes de santé, principes directeurs. Genève : OMS, Série : Santé pour
Tous. 1981
Pineault R, Daveluy C.La planification de la Santé, concepts, méthodes, stratégies. Montréal : Agence
d'Arc Inc., 1986
Rougemont A, Brunet-Jailly J.Planifier, gérer, évaluer la santé en pays tropicaux. Paris : Doin, 1989.
Evaluation 8
 Evaluation 9

Exemple 4 : Une technique parfois utilisée pour comprendre la chronologie et la liaison entre
des événements, est de présenter ceux-ci sous forme d'un diagramme de Pert.
 Evaluation 10

4. Rechercher toutes les informations sur les activités réalisées (output), les ressources utili-
sées, les résultats atteints

4.1activités réalisées (output)

exemple 5 : Il faut un relevé exhaustif des activités de soins produites (nombre de cas vacci-
nés, nombre de cas traités..). Il est toujours intéressant de pouvoir replacer ces ac-
tivités en fonction du temps et du lieu. Ce relevé peut être présenté sous forme
d'une simple liste 1

WEEK (week 1 = 1-7.01) ACTIVITIES

Week 7 (12 - 18.02) • Exploratory mission.
Week 8 (19 - 25.02) • Assessment in Kano state.
Week 9 (26.02 - • Start of the CSM Curative program in Kano city IDH.
03.03)
• Assessment in Bauchi state.
• 359 CSM cases treated.
Week 10 ( 04 - 10.03) • Start of the CSM Vaccination campaign in Kano state.
• Start of the CSM Curative program in Kano LGAs.
• Start of the CSM Curative program in Bauchi state.
• Assessment in Katsina state.
• 978 CSM cases treated, 90.440 vaccinated CSM.
Week 11 (11 - 17.03 ) • Start of the CSM Vaccination campaign in Bauchi state.
• Start of the CSM Curative program in Katsina state.
• Start of the Cholera program in Kano city.
• Start of the Measles Vaccination campaign in Kano state.
• 2.270 CSM cases treated, 230.949 vaccinated CSM, 562 Cholera
cases treated.
Week 12 (18 - 24.03) • 3.287 CSM cases treated, 400.037 vaccinated CSM, 467 Cholera
cases treated
Week 13 (25 - 31.03) • Start of the CSM Vaccination campaign in Katsina state.
• End of the Measles Vaccination campaign in Kano state.
• Start of the Measles Vaccination campaign in Katsina state.
• 4.454 CSM cases treated, 402.902 vaccinated CSM, 217 Cholera
cases treated
Week 14 (01 - 07.04) • 4.609 CSM cases treated, 368.548 vaccinated CSM, 101 Cholera
cases treated.
Week 15 (08 - 14.04) • 4.323 CSM cases treated, 405.016 vaccinated CSM, 46 Cholera
cases treated
Week 16 (15 - 21.04) • 3.545 CSM cases treated, 282.779 vaccinated CSM.
Week 17 (22 - 28.04 • End of the Cholera program in Kano city IDH.
• 2.520 CSM cases treated, 295.952 vaccinated CSM.
Week 18 (29.04 - • End of the CSM Vaccination campaign in Kano state.
05.05)
• 1.844 CSM cases treated, 233.307 vaccinated CSM.
Week 19 (06 - 12.05 • End of the CSM Vaccination campaign in Katsina and Bauchi
• End of the Measles Vaccination campaign in Katsina state.
• 958 CSM cases treated, 136 865 vaccinated CSM.
Week 20 (13 - 19.05) • End of the Curative program in Katsina, Bauchi and Kano city IDH.
• 431 CSM cases treated.
• CSM Vaccination Coverage Surveys in Katsina city and in Sumaila
(Kano).
• CSM Morbidity/Mortality Survey in Danja (Katsina).
Week 21 (20 - 26.05) • End of the Curative program in Kano LGAs.
 Evaluation 11

Exemple 6 : les activités peuvent être présentées sous forme de diagramme, permettant ainsi
de mieux visualiser l'évolution.
Kano State - CSM weekly incidence, CSM weekly treated, number of MSF staff
 Evaluation 12

4.2 Ressources utilisées :

 personnel :

exemple 7 : Les ressources en personnel peuvent être exprimées en nombre de personnes,

mais il est souvent plus intéressant de les exprimer dans une unité qui tient compte
de la présence de chaque personne, par exemple, en homme*jours (persons*days)
, ou homme*mois. L'utilisation des ressources humaines peut être présentée en te-
nant compte d'autres critères, comme l'origine ou la fonction 1

Distribution of MSF staff / section

Section Persons Persons*Days Persons*Days %

France 34 1.671 35%
Belgium 21 1.268 26%
Holland 21 1.176 24%
Spain 7 290 6%
Swiss 7 438 9%
TOTAL 90 4.843 100%

Distribution of MSF staff/section and /program component

20 18
16 15
FRANCE
15
10 BELGIUM
Staff #

8
10 6 HOLLAND
4
5 1 2 3 2
1
3
1
SPAIN
SWISS
0
C OOR DINATION KANO B AUC HI KATS INA

Un autre indicateur intéressant est la rotation du personnel. Cet indicateur est particulièrement intéres-
sant dans les programmes d'urgence MSF, car de nombreuses difficultés de mise en œuvre ont été
imputées à une rotation trop rapide, avec des durées de séjour trop courtes du personnel.

Timeliness of staff arrival and departure

Day Week # Staff arrival # Staff departure # Staff arrival % Staff departure %
12/02 7 (exploratory mission) 2
19/02 8-9 40 44%
04/03 10 16 1 18% 1%
11/03 11 9 2 10% 2%
18/03 12 10 2 11% 2%
25/03 13 4 5 4% 6%
01/04 14 3 3 3% 3%
08/04 15 4 4%
15/04 16 7 3 8% 3%
22/04 17 1 9 1% 10%
29/04 18 9 10%
06/05 19 7 8%
13/05 20 18 20%
20/05 21 27 30%
 Evaluation 13

TOT 90 90 100% 100%

4.3 Finances

On s'attachera à recueillir toutes les informations concernant les ressources financières. Elles
sont indispensables pour le calcul des coûts des interventions.
Pour l'analyse, on présentera les ressources financières utilisées, en fonction de différents cri-
tères :
 leur origine
 leur utilisation en fonction du type de dépenses
 leur utilisation en fonction des activités réalisées
 leur utilisation en fonction de critères géographiques...

exemple 81 : Origine des fonds, en fonction des bailleurs de fonds institutionnels et des fonds
propres MSF

FINANCIAL BACKER AMOUNT (ECU) %

A. INSTITUTIONNEL FUNDS 2.380.688 94%

Holland 446.125 18%

Norway 365.281 14%
Denmark 342.969 14%
ECHO 290.938 11%
France 234.375 9%
Belgium 226.406 9%
USA 180.359 7%
Luxembourg 126.797 5%
Germany 59.750 2%
Great-Britain 54.500 2%
Spain 29.438 1%
French local administrations 23.750 1%

B. OTHER FUNDING 155.016 6%

MSF 155.016 6%

TOTAL 2.535.703 100%

 Evaluation 14

exemple 9 : Répartition des dépenses en fonction

. du type de dépenses (personnel, médicaments, transports....) et des activités
réalisées, combinés
. du type de dépenses uniquement
. des activités réalisées uniquement

Expenditures break-down (in ECU, on 10/96) 1

Budgetary items Structure Immunisation Immunisation Curative care Curative care Total %
(CSM) (Measles) (CSM) (Cholera)
1. expatriate staff 144.004 187.349 0 57.731 18.432 407.516 16%
2. local staff 1.547 3.965 0 839 8.555 14.906 1%
3. drugs and medical sup- 0 798.636 52.427 568.485 54.921 1.474.469 58%
plies
4. logistics and sanitation 22.832 6.249 0 34.571 43.943 107.595 4%
5. transportation, freight, 49.904 153.687 5.439 87.253 12.842 309.125 12%
stocks
6. administrative costs 16.508 55.415 2.358 36.551 7.074 117.906 5%
7. miscellaneous 10.416 52.078 2.083 33.330 6.249 104.156 4%
TOTAL 245.210 1.257.380 62.307 818.759 152.015 2.535.672 100%
% 10% 50% 2% 32% 6% 100%

Distribution of expenditures by item

Miscellaneous Expatriate staff Local staff

4% 16% 1%
Administrative
costs
5%

Transportation,
freight, stocks
12%

Logistics and Drugs and medical

sanitation supplies
4% 58%

Curative care
(Cholera)
7%

Curative care
(CSM) Immunisation
35% (CSM)
55%
Immunisation
(Measles)
3%
 Evaluation 15

B. ANALYSER CHAQUE ÉTAPE DE LA PLANIFICATION :

1. analyse de la conception du programme :

1.1. pertinence de l’objectif général en fonction du diagnostic de situation de début du pro-

gramme (contexte, situation sanitaire, priorités, contraintes)

1.2. adéquation des objectifs spécifiques : l’atteinte des objectifs spécifiques permet-elle
d’atteindre l’objectif général ?

1.3. adéquation des activités prévues en fonction des objectifs spécifiques : la réalisation
des activités prévues permet-elle d’atteindre les objectifs spécifiques ?

C'est alors l'expérience des évaluateurs qui compte, leur connaissance d'autres situations si-
milaires. En fonction de cette expérience, les évaluateurs pourront porter un jugement.
C'est parfois très facile, quand la situation est caricaturale : par exemple, dans une si-
tuation de famine, un des objectifs spécifiques est d'apporter des rations caloriques
suffisantes à l'ensemble de la population d'un camp et que les seules activités pré-
vues sont des activités de supplémentation nutritionnelle.

1.4. adéquation des ressources prévues en fonction des activités prévues

C'est là encore l'expérience de situations similaires qui doit être utilisée. Pour reprendre
l'exemple précédent, on pourra répondre qu'il n'y a pas une bonne adéquation, si pour
la supplémentation nutritionnelle, il n'est pas prévu d'aliments enrichis, ou s'il n'est pas
prévu de personnel expérimenté....
Un autre exemple est plus fréquent : dans un programme de mise en place de dispensaires
effectuant des activités curatives, les besoins en médicaments sont estimés à 0.1 $
par nouveau cas...

2. analyse de la réalisation du programme :

2.1. analyse des processus de décision en fonction d'événements inattendus : analyse de

la réactivité du programme.

2.2. différence entre ressources prévues et utilisées (input)

2.3. différence entre activités prévues et réalisées (output)

3. analyse des résultats du programme :

3.1. le programme a-t-il été efficace : atteinte des objectifs spécifiques et de l’objectif gé-
néral

On analysera d'une part les activités réalisées, en terme de "output" (par exemple : nombre
d'enfants vaccinés, nombre de personnes soignées, nombre de litres d'eau ou de kilos
de nourriture distribuée...), mais aussi, on s'efforcera d'analyser l'impact du pro-
gramme sur la santé des populations : "outcome" (nombre de morts évitées, nombre
de handicaps évités....)

3.2. analyse de l’efficience : efficacité/ressources utilisées

On compare alors les résultats (output) aux ressources utilisées pour y parvenir (input), par un
ratio output/input. Il faut naturellement passer en revue les différentes ressources utili-
sées (humaines, financières, matériels...)
 Evaluation 16

Exemple 10 : Pour analyser l'efficacité, on pourra utiliser un indicateur qui est la charge de travail
par personne, exprimé en exprimé en quantité de cas pris en charge par jour, par
exemple 1

Work load: average number of CSM cases treatment per unit of MSF curative staff per
day

Exemple 11 : Pour analyser l'efficience d'un programme, on utilisera des indicateurs de coûts
unitaires, en fonction des activités réalisées (output) ou de l'impact du programme
(outcome) sur la santé de la population 1

CSM immunisation campaign

 The assessment of efficiency is developed by examining the quantity, speed and cost of the outputs .

2.846.795 persons have been vaccinated against CSM in 63 days by 35 persons (MSF vaccination
staff) leading MOH vaccination teams.

 The first index is the average cost per immunisation contact, obtained by dividing the total cost
of the immunisation campaign and the total number of vaccinated people.

The average cost per immunisation contact is thus:

1.406.301/2.846.795 = 0,49 ECU (or 0,61 USD).

This index depends, among other things, on the local situation (accessibility of health facili-
ties, availability of logistic), the target population size and density, the immunisation strate-
gy (fixed/mobile) and the type of vaccine; in the literature, it varies from less than 1 USD to
more than 5 USD in different settings and it is well known that vaccination campaign strate-
gy substantially reduces the average costs per contact.
Furthermore, the character of emergency of the vaccination campaign facing a public health
disaster as the meningitis epidemic in Nigeria led an increase of the expenditures (i.e. sup-
ply of material from Europe by freight).
Finally, the average cost per immunisation contact seems to be acceptably low, indicating that the
vaccination campaign has been efficiently carried out.

 The material cost per vaccine unit is calculated by dividing the cost for vaccine, material for
injections and cold chain by the total number of vaccinated people.

The material cost per vaccine unit is thus :798.636/ 2.846.795 = 0,28 ECU (or 0,35 USD),
 Evaluation 17

This index, representing 57% of the total cost of the vaccination campaign, confirms that
the system of delivering vaccines has been satisfactorily efficient.

 The efficiency can be evaluated through the speed of the supply and the delivering system; in par-
ticular, 6 days between the demand and the supply of the vaccine and 7 days between the supply and
the start of the immunisation campaign seems to be a reasonable period of time.

CSM curative care

The same evaluation process can be established for the curative activities.

 The average cost per treatment is obtained by dividing the total cost of the curative activities and the
total number of treated people.

The average cost per treatment contact is thus :886.169/30.028 = 29,5 ECU (or 36,9 USD).

The costs of drugs accounts for 64% of the total cost of the curative activities.
In conclusion, the curative care activities seem to be timely and efficiently carried out.

Effectiveness

In cost-effectiveness analysis, the result is expressed in terms of a particular health objective, such as
number of cases prevented by immunisation campaign or number of deaths averted by curative activities.

CSM immunisation campaign

In the evaluation of the cost-effectiveness, the calculation of the number of cases prevented by immunisa-
tion campaign is based on information on population, number of cases and relative immunisation sta-
tus.
Unfortunately these data are not available or nor reliable from the surveillance system and it does not
seem sound to calculate, on this bases, this index.

CSM curative activities

In the cost-effectiveness analysis, it is possible to calculate the number of deaths averted by curative acti-
vities; other benefits (such as the disability averted and the life-years gained) cannot be quantified at
present because of the lack of necessary data.
In the calculation of the cost per death averted, some assumptions have to be made:
• all the cases reported are true cases (no false positives);
 the CFR observed before the MSF support was 20 % ( the CFR of non treated cases is usually estimated between
50 and 80%)
• the CFR observed for the cases treated with the support of MSF is 9% (from MSF report).

The cost per death averted by curative activities is calculated by dividing the total cost of the curative acti-
vities and the total number of deaths averted (obtained from the differential CFR with and without treat-
ment).
ECU
 total costs of the curative activities 886.169
 number of treated persons 30.028
 differential CFR with and without MSF support 0,11
 number of deaths averted by curative activities 3.303

The cost per death averted is 886.169/3.303 = 268 ECU (or 335 USD)

It is foreseeable that the cost-effectiveness would be even better if the coverage of the curative activities
would have be extended, specially during the peak of epidemic, and much more cases would be treated.
 Evaluation 18

4. analyse de l'adaptabilité du programme

Dans pratiquement tous les programmes, il existe des événements imprévus, des facteurs
qui avaient été ignorés. Le programme doit alors s'adapter : la planification qui a été faite
(quand elle a été faite) doit être dynamique.
Pendant cette étape on s'efforcera d'analyser si les acteurs du programme se sont adaptés
et ont adapté le programme à une situation changeante : quelles décisions ont été prises
et pourquoi, par qui....

5. Essayer d’expliquer les écarts observés, ou les problèmes détectés, avec les acteurs
du programme

Il ne faut pas se contenter de noter d'éventuels écarts, il faut comprendre pourquoi ces
écarts existent : mauvaise mise en œuvre, mauvaise prévision ou comme c'est le cas le plus
souvent, mauvaise évaluation des contraintes.

C. FAIRE DES PROPOSITIONS CONSTRUCTIVES.

Il faut dans les propositions tenir compte de ce qui est réellement faisable et non de ce qui serait
idéal; par exemple :
 proposer de mettre des médecins d'au moins 15 ans d'expérience, bardés de diplômes au fond
de la brousse
 proposer que le personnel qui part avec MSF sur des missions d'urgence soit systématique-
ment très expérimenté et reste pendant toute la durée du programme...

FACTEURS DE SUCCES D’UNE EVALUATION

• Evaluation prévue dès la conception du programme

• Le but de l’évaluation est bien précis et connu par tous.

• Les acteurs du programme participent à l’évaluation

• Les évaluateurs extérieurs ont la confiance des acteurs : objectifs, capables d’adaptation,
jugement sûr

• Les indicateurs d’évaluation sont valides, disponibles, d’un coût raisonnable et acceptés
par tous

• L’évaluation a été préparée par un recueil continu d’informations

• Le protocole et le calendrier de l’évaluation ont été rédigés avant l’évaluation

• Le coût de l’évaluation est «raisonnable»

• Le résultat de l’évaluation est disponible rapidement, accessible à tous les acteurs et ac-
ceptable.
 Evaluation 19

EVALUATION DES DIFFERENTES ETAPES DU PROGRAMME

1. Evaluation de la conception

Diagnostic de
situation
PERTINENCE

Définition de EFFICACITE
Impact
l’objectif EFFICIENCE
général 3. Evaluation
des résultats
ADEQUATION
EFFICACITE
EFFICIENCE Résultats
Définition des
objectifs
spécifiques

ADEQUATION DIFFERENCE
PREVU-REEL
Prévision des Activitées
activités réalisées

ADEQUATION
DIFFERENCE
PREVU-REEL
Prévision des
Ressources
ressources
utilisées
nécéssaires
2. Evaluation de la réalisation

4. Evaluation du potentiel d’adaptabilité

 Evaluation 20

Principaux documents dont sont tirés les exemples