You are on page 1of 25

PROGRAMME MINISTÈRE

DES NATIONS UNIES DE L’ÉCONOMIE, DES


POUR LE DÉVELOPPEMENT FINANCES ET DU BUDGET

SYSTEME NATIONAL DE SUIVI-EVALUATION

Contribution à la mise en place des cadres logiques

Jean-Luc Dubois

Antananarivo, 10–28 octobre 2002


SOMMAIRE

Introduction

1. Les objectifs stratégiques du développement

Un développement rapide et durable


Un développement durable réduisant rapidement la pauvreté

2. La méthodologie du système de suivi-évaluation

La définition des cadres logiques


La sélection des indicateurs
La référence à des systèmes d’investigation

3. La poursuite de la dynamique actuelle

Des niveaux d’avancement différents


Les questions soulevées lors de l’élaboration des cadres logiques
Suggestions pour la poursuite du processus

Conclusion

Synthèse opérationnelle

Références documentaires

Annexe : Présentation visuelle “le système de suivi–évaluation : les questions soulevées”

2
INTRODUCTION

La nouvelle équipe gouvernementale malgache, dans le cadre du programme de redressement


fait souvent référence à la nécessité d’un “développement rapide et durable”. Si le concept de
“durabilité du développement” a été finalement reconnu dans les milieux internationaux, tant
scientifiques que politiques, celui de “rapidité du développement” reste encore nouveau et demeure,
pour l’instant, essentiellement associé au contexte malgache.

Le développement se veut rapide parce qu’il doit rattraper ce qui a été perçu comme un
retard économique aggravé par la récente crise politique, afin de répondre, le plus vite possible, aux
attentes et aspirations de la population. Mais cela implique aussi de modifier en profondeur certains
mécanismes institutionnels et comportementaux qui sont à l’origine de la lenteur des décisions ou
des blocages dans la mise en œuvre des politiques publiques.

Le développement se veut durable dès lors qu’il s’inscrit dans le long terme, en tenant
compte des contraintes sur les ressources disponibles, que celles-ci soient naturelles, économiques,
sociales ou humaines, et qu’il veille à la constitution d’acquis transmissibles aux générations futures.

Dans ce contexte, le document de politique officiel le plus élaboré demeure le Document


Stratégique de Réduction de la Pauvreté (DSRP). Il présente, en effet, les grandes orientations
stratégiques de la politique gouvernementale, dans ses dimensions macro-économiques et
sectorielles, qui visent à réduire la pauvreté et à améliorer le bien-être de la population. Il considère,
dans ce but, la mise en œuvre de multiples programmes et projets, parmi lesquels les PSDR, FID, PE
II et III, PAIGEP, PDSP, Microfinance, AGETIP, PRRST, PRSM, PAEPAR, CRESED,
SEECALINE, CRESAN, etc.

La question est donc maintenant de voir comment contrôler la rapidité dans la mise en œuvre
de ces programmes et de mesurer leurs impacts sur les niveaux de pauvreté et de bien-être. Or ceci
demande de mettre en œuvre un “système de suivi-évaluation”, au niveau national. Ce système
permettra de suivre, par recours à une batterie d’indicateurs pertinents et à finalité diversifiée, le
déroulement des projets et l’application effective des mesures de politiques publiques. Il permettra
aussi de mesurer les évolutions de la pauvreté et, plus généralement du bien-être, qui en résultent.
Les informations qui seront régulièrement produites, à travers ce système, permettront alors de
guider le gouvernement et ses partenaires financiers du développement, pour ajuster en conséquence
les orientations stratégiques et les interventions correspondantes.

Cependant l’instauration d’un tel système demande que soit clairement établi, en termes
méthodologiques, le lien entre les objectifs des politiques publiques et les indicateurs qui sont censés
en mesurer les effets. Or, le lien entre objectifs et indicateurs de suivi, essentiel pour la mesure de
l’impact des interventions, ne peut s’établir qu’à travers l’élaboration de “cadres logiques”
spécifiques. Il convient donc de mener ce travail technique à tous les niveaux décisionnels : au
niveau national, comme aux niveaux ministériels, régionaux, locaux, et même au niveau des projets.
La construction de tels cadres logiques est actuellement en cours pour l’ensemble des départements
ministériels, sous la coordination de la Direction du Suivi et Evaluation du Ministère de l’Economie,
des Finances et du Budget (MEFB).

Notre mission auprès du MEFB, du 10 au 28 octobre 2002, se situe dans ce contexte.


Financée par le PNUD, elle a permis de participer aux travaux de certaines équipes ministérielles
pour l’élaboration des cadres logiques, puis à l’atelier de concertation du 28 octobre 2002 qui en
présentait la synthèse. De plus, profitant du nouveau contexte politique et des interrogations qu’il

3
suscite, elle a favorisé un dialogue sur les aspects méthodologiques et un approfondissement des
réflexions sur le suivi–évaluation de la pauvreté et du développement humain durable, qui avaient
été initiées lors de la précédente mission1.

Ce rapport comprend trois parties. La première présente les caractéristiques du contexte


économique actuel, à savoir les objectifs stratégiques du “développement rapide et durable” et de la
“lutte contre la pauvreté”. La seconde partie est consacrée aux principes méthodologiques qui, des
cadres logiques aux indicateurs et sources de données, guident la mise en place d’un “système
national de suivi-évaluation”. La troisième partie abordera un certain nombre de questions
concernant la poursuite et le devenir du processus actuel.

Nous tenons, en premier lieu, à remercier Mme Arlette Rakotondrazafy ainsi que ses
collaboratrices du MEFB pour l’ensemble des réalisations effectuées au cours de cette mission –
animation des équipes ministérielles et organisation du séminaire de concertation. Nous remercions
aussi M. Gilbert Aho et Mme Salohy Irodia du PNUD, M. Francis Andrianarison et Mme Ialy
Rasoamanana du PAD1, pour leur appui et conseil permanents dans le déroulement de cette mission.
Une pensée toute particulière est destinée aux équipes ministérielles de l’Aménagement du
Territoire, de la Justice, de l’Environnement, et du Secrétariat d’Etat chargé de la Décentralisation et
du Développement des Provinces Autonomes, avec lesquelles nous avons partagé de nombreuses
heures pour esquisser les cadres logiques et rechercher les indicateurs les plus pertinents. Puisse ce
rapport apporter quelques réponses, conceptuelles comme méthodologiques, aux questions
soulevées pendant les réunions de travail.

I. LES OBJECTIFS STRATEGIQUES DU DEVELOPPEMENT


Les six premiers mois de l’année 2002 ont fortement modifié le contexte économique et
politique de Madagascar. La crise politique de succession gouvernementale a cassé le
processus de forte croissance (autour de 7%) qui s’annonçait pour l’année 2002 et a engendré
six mois de décroissance économique. Le nouveau gouvernement, qui a hérité de cette
situation, se trouve dans l’obligation de mettre en œuvre une politique de redressement et de
fournir des résultats positifs pour faire face aux attentes respectives de l’opinion publique et
de ses partenaires financiers.

Dans un tel contexte, il est normal de préconiser un mode de développement qui s’effectue
de manière rapide et qui soit durable. De manière rapide, afin de pouvoir se rendre compte vite des
nouvelles avancées résultant des décisions prises et des interventions mises en oeuvre. Mais aussi,
de manière durable, pour que ces avancées se traduisent par autant d’acquis économiques et
sociaux, qui deviendront pérennes pour les générations futures.

Or, les objectifs stratégiques qui, dans le contexte actuel, guident les politiques publiques se
réfèrent à deux sources. La première se trouve dans les discours du nouveau gouvernement à
l’intention de la Nation. Elle met l’accent sur l’urgence des besoins à satisfaire pour répondre aux
aspirations de la population et impose des délais de réalisation. La seconde source est issue des
travaux de prospective à moyen terme qui sont menés, avec les partenaires financiers du
développement, sur les moyens et possibilités de l’économie malgache. Elle intègre les contraintes,
1
Mission conclue par une réunion des responsables techniques le 27 septembre 2001 et la remise d’un rapport de
mission : “Méthode pour le choix des indicateurs et rôle de l’observatoire de la pauvreté” et “La sélection des
indicateurs pour le suivi – évaluation de la pauvreté : méthode et exemples spécifiques”, Vers un Observatoire de la
Pauvreté à Madagascar.

4
comme les opportunités, qui existent en termes de ressources naturelles, humaines, sociales et
financières.

Ces deux approches sont complémentaires. Leur combinaison présente l’intérêt de pouvoir
articuler, lors de la prise de décision, l’urgence du court terme à une vision de moyen terme. Et ainsi,
à travers des politiques publiques adéquates, de vouloir réduire rapidement la pauvreté tout en
améliorant, de façon durable, le bien-être de la population.

Nous examinerons, en premier lieu, les définitions et les conséquences, en termes


opérationnels, du concept de “développement rapide et durable”. Ensuite, nous reviendrons sur les
orientations stratégiques du Document Stratégique de Réduction de la pauvreté (DSRP) afin de
montrer la complémentarité qui existe entre ces deux approches. Elles permettent à la politique
gouvernementale de combiner efficacité à court terme et vision à moyen et long terme.

1. Un développement rapide et durable

La mise en œuvre de politiques publiques qui conduisent à un “développement rapide et


durable” est l’objectif affirmé du gouvernement. Ce message passe d’ailleurs fort bien. A de
nombreux niveaux institutionnels, particulièrement au sein de l’administration, on peut noter, en
conséquence, une intense mobilisation pour accélérer les processus décisionnels, tout en veillant à la
cohérence des actions préconisées. C’est pourquoi, par souci de clarté et de partage des idées, il nous
a semblé utile de préciser les deux concepts que sont le développement rapide et le développement
durable.

Réflexions sur le développement rapide

L’expression “développement rapide”, régulièrement citée dans les discours officiels, est
propre à Madagascar. C’est sans doute la première fois qu’un gouvernement fait de l’idée de
“rapidité” du développement un élément important de sa stratégie à court et moyen terme. Le fait de
vouloir rendre cette idée opérationnelle implique de transformer un concept politique, à l’origine, en
interventions qui ont des finalités économiques ou sociales. L’identification des applications
correspondantes demande, cependant, de répondre à un certain nombre de questions d’ordre
analytique.

Par exemple, quel est l’objectif visé par la rapidité du développement ? Est-ce de redresser le
pays aussi vite que possible pour rattraper le retard de croissance et, donc, d’amélioration du bien-
être, qui résulte de la crise de succession politique ? Dans ce cas, l’accent doit être surtout mis sur le
court terme afin que le taux de croissance annuel du PIB par tête soit suffisamment élevé pour
permettre de combler rapidement le retard. Autrement dit, il faudra investir dans les secteurs les plus
touchés par la crise, notamment ceux qui ont le plus gros potentiel de récupération et, parmi ceux-ci,
ceux qui auront le plus fort impact social.

Par contre, si l’objectif est de rattraper le retard, plus général, de décennies de décroissance
du PIB par tête, la vision se situe alors dans un horizon de moyen et même de long terme. Elle
demande alors de s’attaquer aux mécanismes qui ont jusqu’ici rendu la croissance insuffisante et ont
ainsi freiné le développement. Elle implique, outre le fait de relancer la croissance et de la maintenir
à une allure rapide, de déceler où se trouvent les blocages d’ordre structurel, de simplifier les
procédures administratives, de modifier les processus décisionnels et même, dans certains cas,
d’inciter au changement dans les comportements relationnels.

5
Face à ce questionnement, plusieurs réponses ont déjà été apportées par les nouvelles
pratiques administratives de ces derniers mois. Ainsi, la mise en place de la Coordination Générale
des Projets et l’installation de coordonnateurs généraux au sein de chaque ministère en sont quelques
exemples. Ceci a eu pour effet d’insuffler une dynamique de résultats qui tend à améliorer la
cohérence entre les projets, les programmes et les mesures de politiques publiques. On peut même
penser qu’à terme, cela permettra aussi de supprimer un certain nombre de blocages institutionnels.

Mais, cela n’empêche pas d’examiner, en parallèle, les moyens qui permettraient d’agir
directement sur la rapidité du développement et donc de réfléchir aux implications qui en
résulteraient dans les différents domaines économique, social, culturel, politique, etc..

Il faut, par exemple, aborder les questions économiques relatives à la capacité d’absorption
financière des secteurs productifs, aux taux d’investissement correspondants, aux effets induits, à
leur durée, etc.. De même, la prise en compte des conséquences sociales du développement introduit
la nécessité d’un développement qui socialement durable - ce que nous abordons au paragraphe
suivant. Quant à la dimension culturelle, elle demande de voir quelles valeurs sont perçues comme
essentielles par la population (comme par exemple, le rapport au temps, à la hiérarchie, l’argent, le
respect des autres : “fihavanana”,…) et quels changements le processus de développement risque-t-il
de causer au sein de cette hiérarchie des valeurs,. Sur ce sujet, on peut noter la qualité des travaux
déjà entrepris sous l’égide du PNUD concernant la vision du futur chez les décideurs2 et dans les
communautés de base3.

Ces quelques réflexions montrent l’intérêt actuel, et surtout à venir, des travaux de recherche
et d’analyse dans le domaine particulier des sciences sociales et humaines. Ils deviennent
indispensables pour guider les décideurs malgaches dans le choix des grandes orientations du
développement. Il en résulte la nécessité d’intensifier l’effort financier relatift à la constitution et au
fonctionnement d’équipes de recherche malgaches.

La durabilité du développement

Le “développement durable”, de par sa définition internationale, se présente comme un mode


de développement qui veille à ce que “les générations actuelles puissent satisfaire à leurs besoins
sans compromettre la capacité des générations futures à répondre aux leurs”4. Cet aspect de
durabilité est généralement abordé à travers trois dimensions principales : les durabilités
économique, sociale et écologique (ou environnementale).

La durabilité économique demande que la croissance se pérennise de façon auto-entretenue.


Autrement dit, qu’elle engendre les éléments qui lui permettront de se poursuivre régulièrement. Un
certain nombre de conditions doivent alors être respectées : des principes d’équilibre
macroéconomiques (équilibre budgétaire, équilibre de la balance des paiements, maîtrise de
l’inflation, etc.) ainsi que des règles d’investissement (allocations budgétaires et taux
d’investissement sectoriels, coefficient de capital, niveau de productivité, ratio consommation -
épargne, etc.). Il est, notamment, essentiel de ne pas léguer de charges d’endettement excessives

2
Rasoanindrainy S., 2002, “La vision du futur chez les décideurs malgaches”, Culture et Prospective, PNUD DAP1,
Antananarivo.
3
Focus Development Association, 2002, “Perception du futur par les communautés de base malgaches”, Culture et
Prospective, PNUD DAP1, Antananarivo.
4
CMED [Commission Mondiale Environnement et Développement], 1989, Notre avenir à tous, Editions du Fleuve,
Montréal. Il s’agit de la publication du Rapport Brundtland produit sur ce thème en 1987.

6
aux générations futures, car cela les empêcheraient de financer la croissance à un niveau au moins
équivalent à celui des générations actuelles.

De son côté, la durabilité sociale met l’accent sur conséquences sociales de la croissance.
Elle implique que “les politiques publiques – que celles-ci soient économiques, sociales ou
environnementales – ne causent pas de dysfonctionnements sociaux tels qu’ils remettent en cause
les acquis sociaux, les potentialités humaines et les capacités d’amélioration du bien-être pour
l’ensemble de la population actuelle comme à venir”. Autrement dit, il faut veiller à ce qu’un
certain nombre d’acquis, exprimés en termes de capital humain (en relation avec l’accès à la santé, à
l’éducation, à la sécurité alimentaire, etc.) et de capital social (en assurant la cohésion sociale et en
combattant l’exclusion sociale) soient au moins préservés sinon renforcés. En effet, si elles sont
bien transmises aux générations futures, ces formes de capital contribuent à la pérennité de la
croissance.

Enfin, la durabilité écologique (ou environnementale) met l’accent sur la préservation des
ressources non-renouvelables, les économies d’énergie, la lutte contre la pollution, et la
transmission du capital naturel aux générations futures. Des principes de conduite (par exemple,
durabilité forte et faible, principe de précaution), des règles de gestion (règle d’Hartwick pour le
remplacement des ressources détruites, protection des ressources non renouvelables, droits de
propriété, développement “propre”, etc.) permettent de protéger ou de renouveler le capital naturel
de manière à ce que les générations à venir puissent en bénéficier également pour assurer la
croissance et le développement.

Il résulte de tout cela que toute politique publique qui s’inscrit dans le cadre d’un
développement durable, doit veiller à ce que les différentes conditions de durabilité soient bien
respectées par les différentes interventions : projets, programmes ou mesures de politiques
publiques.

2. Un développement durable réduisant rapidement la pauvreté

Dans le cas de Madagascar, on peut remarquer que l’initiative PPTE (Pays Pauvres Très
Endettés), qui vise à recycler une partie de la charge de la dette dans des actions réduisant la
pauvreté, intègre plusieurs éléments de durabilité. En effet, facilitant le désendettement du pays, elle
contribue à sa durabilité économique. En imposant d’allouer les fonds ainsi dégagés à des secteurs
comme la santé, l’éducation, l’emploi, qui favorisent la constitution du capital humain, elle
contribue à la durabilité sociale. Enfin, en veillant à ce que certaines interventions combinent la
protection de l’environnement et la lutte contre la pauvreté, elle introduit la durabilité écologique.

Le DSRP et ses axes d’intervention stratégiques

Or, le Document Stratégique de Réduction de la Pauvreté (DSRP), qui s’inscrit dans le cadre
de l’initiative PPTE, reprend à son compte ces éléments de durabilité. Il présente à travers trois axes
stratégiques, articulés de façon cohérente, les interventions qu’il conviendrait de mettre en œuvre
pour réduire la pauvreté à moyen terme.

Le premier axe vise à “améliorer les performances économiques en y faisant participer les
plus pauvres”. Il recouvre l’ensemble des actions entreprises pour que la politique
macroéconomique soit bien équilibrée (gestion budgétaire et investissement), pour que les politiques
sectorielles améliorent les infrastructures (transports, travaux publics), permettent d’accroître la
production (secteur privé, agriculture, mines, pêches) et de mieux gérer les ressources naturelles

7
(environnement, eaux et forêts). Les ministères responsables des interventions correspondantes
doivent cependant veiller à leur impact social sur les catégories pauvres, à travers l’accès à l’emploi
et aux moyens de production (terre, crédit) et de communication (transports, marchés).

Le second axe vise à “développer les services essentiels de base et à élargir les filets de
sécurité aux couches les plus vulnérables”. L’accent est mis sur l’accès à l’éducation, la santé, l’eau
potable, autant d’éléments qui entrent dans la constitution du capital humain. Pour les catégories les
plus pauvres, des actions de protection sociale (filets de sécurité) sont préconisées sous la forme de
systèmes de micro-crédit, de programmes de nutrition, de travaux à haute intensité de main d’œuvre,
de micro-réalisations communautaires. Ces interventions permettent de renforcer les potentialités
individuelles (capital humain ou financier) comme collectives (capital social).

Enfin, le troisième axe vise à “mettre en place un cadre institutionnel favorable permettant de
renforcer les capacités et d’améliorer la gouvernance”. Les actions correspondantes permettent de
renforcer l’autonomie des provinces en déconcentrant les fonctions de l’Etat, et en décentralisant un
certain nombre de services essentiels pour accroître leur présence au niveau local. Dans ce cadre,
l’amélioration de la gouvernance passe par une amélioration de la justice et de la sécurité.

Ces trois axes permettent de replacer l’ensemble des interventions, menées par les différents
ministères, dans un cadre de cohérence dont la finalité ultime est la réduction de la pauvreté. Une
pauvreté qui se manifeste de plusieurs manières : pauvreté monétaire, de conditions de vie et de
potentialités5. Le DSRP demeure ainsi le seul document qui permette d’articuler, au niveau national
et à travers une vision de moyen terme et de finalité unique, l’ensemble des interventions prévues
par chaque ministère en termes de projets, de programmes ou de mesures de politique spécifiques.

De plus, on peut remarquer qu’il aborde, de façon transversale, plusieurs questions


fondamentales comme les problèmes environnementaux et la gestion des ressources naturelles, les
risques et la vulnérabilité de certains groupes sociaux, et même, dans une moindre mesure, certains
aspects de l’inégalité sous ses différentes formes : sociales, spatiales ou de genre. Or, le fait : (i) de
combattre la pauvreté des potentialités – par accroissement du capital humain, du capital social ou
par la potentialisation6 de certaines catégories sociales -, (ii) de tenir compte de la relation entre
pauvreté et environnement, (iii) de considérer la vulnérabilité de certains groupes sociaux et (iv)
d’intégrer les inégalités, confère, par définition, une optique de durabilité aux orientations
stratégiques du DSRP.

Il en résulte que si le DSRP apparaît bien comme un instrument qui vise à combattre la
pauvreté, il n’en comporte pas moins, en son sein, des éléments qui lui permettant de veiller à ce que
le développement soit aussi durable à moyen et long terme.

Efficacité à court terme et prospective à moyen terme

Il résulte de cette situation une synergie possible entre une vision politique du
développement, qui se veut rapide et durable, et la programmation stratégique de réduction de la
pauvreté qui ressort du DSRP. La première demande des résultats rapide concernant la réduction de
la pauvreté afin de déboucher sur des acquis durables en termes de bien-être. La seconde fixe les

5
Pour une description des formes de pauvreté, on se reportera à Dubois J-L., 2001, “Méthode pour le choix des
indicateurs et rôle de l’observatoire de la pauvreté”, Vers un Observatoire de la Pauvreté à Madagascar, INSTAT et
PNUD, Antananarivo.
6
Traduction française du terme “empowerment”, il exprime bien un renforcement du pouvoir de certaines catégories.
Ce qui donne une dimension participative et de gestion politique au développement.

8
grands axes de cette orientation et les interventions à mettre en œuvre pour réduire la pauvreté et
assurer la durabilité économique, sociale et écologique.

La combinaison de ces deux approches permet donc, d’une part, d’encadrer des interventions
menées à court terme par une vision de long terme et, d’autre part, de veiller à ce que l’efficacité à
court terme soit en cohérence avec la durabilité à moyen et long terme.

Autrement dit, on peut considérer que si la dimension “rapidité” du développement vise à


réduire aussi rapidement que possible certaines des formes de pauvreté, notamment monétaire et de
conditions de vie, par une forte efficacité des interventions à court terme, c’est la dimension
“durabilité” de ce développement qui assure la constitution des potentialités sur le long terme, puis
la transmission de ces acquis aux générations futures. Ainsi donc, la cohérence entre la rapidité et la
durabilité du développement est assurée par la vision, à moyen et long terme, que confèrent les
orientations stratégiques du DSRP. Il y a bien complémentarité entre les deux approches et c’est
cette double finalité qui fait la force, et l’originalité, du discours actuel sur développement de
Madagascar.

Dans ce cadre de réflexion sur le développement, il faut maintenant examiner quels sont les
caractéristiques de l’instrument qui sera susceptible de mesurer, à court terme, l’efficacité des
interventions publiques, tout en évaluant, à moyen terme, l’impact sur la réduction de la pauvreté et
le bien-être de la population. Un tel instrument, qui peut être défini comme le “système national de
suivi-évaluation”, demande une méthodologie particulière pour tenir compte, de manière efficace,
cette double finalité de développement.

II. LA METHODOLOGIE DU SYSTEME DE SUIVI -


EVALUATION
La première partie de ce rapport, a montré comment le gouvernement pouvait promouvoir
un développement qui “réduise rapidement la pauvreté et améliore de façon durable le bien-être des
populations” et, sur cette base, fournir à court terme, une réponse rapide et efficace au problème de
la pauvreté, tout en visant, à moyen terme et par le biais d’une stratégie cohérente, la constitution
des acquis caractéristiques d’un bien-être durable.

Le “système national de suivi-évaluation” permettra de suivre ces avancées, de mesurer les


acquis correspondants, de vérifier leur durabilité. Son objectif sera double : (i) mesurer l’efficacité, à
court terme, des ministères dans la mise en œuvre des projets et programmes, et (ii) mesurer
l’impact, à moyen terme, des politiques publiques sur la réduction de la pauvreté et l’amélioration
des conditions de vie. Il s’appuiera pour cela sur une batterie d’indicateurs.

Dans ce contexte plusieurs ateliers de concertation et de formation ont été organisés, par la
Direction du suivi-évaluation (MEFB), avec l’appui du PNUD, pour diffuser, auprès des équipes
ministérielles, une méthodologie commune de suivi-évaluation et engendrer une dynamique
collective.

Un premier atelier s’est tenu les 13 et 14 août 20027 pour présenter le dispositif national et
ses composantes ministérielles, les fonctions de suivi-évaluation, les outils (cadre logique,

7
Ministère de l’Economie et de la Planification, Atelier de concertation sur le système de suivi et évaluation, 13 et 14
août 2002, Rapport final, Direction du suivi et évaluation, Antananarivo.

9
indicateurs, rapport annuel) ainsi que les travaux déjà entrepris par certaines équipes ministérielles
relevant des secteurs de l’enseignement secondaire et l’éducation de base, de l’enseignement
technique et la formation professionnelle, l’eau et l’assainissement, la santé et la nutrition.

Un deuxième atelier a eu lieu du 9 au 13 septembre 20028 pour former les équipes


ministérielles à l’élaboration des cadres logiques. Par le biais d’un manuel spécifique ont été ainsi
présentées : (i) les différentes étapes de l’élaboration d’un cadre logique (définition, finalité,
construction, utilisation), (ii) le choix des indicateurs (définition, classement typologique,
caractéristiques de pertinence, utilisation pour l’analyse), (iii) le système de reporting (rapport
annuel, tableaux de présentation). D’autres ateliers, plus ciblés, ont été organisés au sein de certains
ministères pour former leurs cadres à la méthodologie du système de suivi-évaluation.

1. La définition des cadres logiques

Cette méthodologie s’appuie sur la prise en compte du lien qui doit exister entre les objectifs
des interventions et les indicateurs de suivi qui sont censés en mesurer les effets. Or ce lien ne peut
être retracé que par l’établissement de “cadres logiques” qui présentent les objectifs retenus et
déterminent, pour un secteur donné, quels indicateurs objectivement vérifiables sont les plus
pertinents pour suivre les résultats et évaluer l’impact des interventions publiques.

Les premiers travaux d’identification des indicateurs pour les secteurs de l’éducation9, de la
santé , de l’eau et l’assainissement11, ont été menés au cours de l’année 2000 pendant le processus
10

d’élaboration du DSRP et en s’appuyant sur les données produites par l’INSTAT12. En 2001, les
travaux ont plus porté sur : (i) les critères de sélection d’une liste restreinte d’indicateurs pertinents,
(ii) la relation entre les objectifs, les indicateurs et les sources de données, (iii) les objectifs du
système de suivi-évaluation, et (iv) l’éventualité d’un observatoire de la pauvreté13. Les résultats de
ces travaux ont été présentés et discutés lors d’une réunion regroupant plusieurs ministères, le 27
septembre 2001.

L’élaboration du cadre logique est la première étape fondamentale de mise en place du


système de suivi-évaluation. En effet, c’est le cadre logique qui, par le lien entre les objectifs
assignés à une intervention donnée et les valeurs des indicateurs, permettra de juger si les objectifs
ont bien été atteints et de quelle manière.

De façon formelle, le cadre logique se présente comme un tableau retraçant deux relations
importantes. La première s’exprime verticalement par un certain nombre de rubriques inscrites de
haut en bas en première colonne du tableau, à savoir les objectifs d’une intervention, ses résultats,
ses activités et ses moyens. Elle traduit la séquence opérationnelle suivante : les moyens sont utilisés
8
Ministère de l’Economie et de la Planification, Manuel : Atelier de réflexion en suivi et évaluation,9-13 septembre
2002, Direction du suivi et évaluation, Antananarivo.
9
Cellule technique DSRP, 2000, Secteur éducation : appui à la mise en place d’un système national intégré de suivi de
la pauvreté, document n°9, Ministère de l’Enseignement Secondaire et de l’Education de Base, SNAP-STA, PNUD,
Antananarivo.
10
Cellule technique DSRP, 2000, Secteur santé : appui à la mise en place d’un système national intégré de suivi de la
pauvreté, document n°7, Ministère de la Santé, SNAP-STA, PNUD, Antananarivo.
11
Cellule technique DSRP, 2000, Secteur eau et assainissement : appui à la mise en place d’un système national
intégré de suivi de la pauvreté, document n°8, Ministère de l’Energie et des Mines, SNAP-STA, PNUD, Antananarivo.
12
Cellule technique DSRP, 2000, Les sources des statistiques sociales à Madagascar et l’élaboration d’un Tableau de
Bord Social, document n°6, INSTAT, SNAP-STA, PNUD, Antananarivo.
13
Dubois J-L., 2001, “Méthode pour le choix des indicateurs et rôle de l’observatoire de la pauvreté” et “La sélection
des indicateurs pour le suivi – évaluation de la pauvreté : méthode et exemples spécifiques”, Vers un Observatoire de la
Pauvreté à Madagascar, INSTAT et PNUD, Antananarivo.

10
pour entreprendre des activités, afin obtenir des résultats et ainsi de satisfaire à des objectifs. On
admet, généralement par convention, que les objectifs peuvent être décomposés, en un objectif
global sur la pauvreté ou le bien-être à moyen terme, et plusieurs objectifs spécifiques, propres au
secteur considéré à court terme.

La deuxième relation s’exprime horizontalement. Elle traduit le fait que pour chaque moyen
utilisé (ou activité mise en œuvre, ou résultat obtenu, ou objectif atteint), on peut associer un
indicateur objectivement vérifiable (IOV) permettant de décrire simplement la situation. A cet
indicateur peuvent être rajoutées des informations le concernant comme, par exemple, les sources de
données envisagées pour sa production, ou son niveau de désagrégation (par sexe, par région, etc.).

La force du cadre logique réside dans le fait qu’il peut être construit et utilisé pour tout
niveau d’intervention : par exemple, pour : (i) une action ou un projet seul, (ii) un programme
regroupant plusieurs actions, (iii) une politique publique regroupant plusieurs programmes et
projets, (iv) un ministère mettant en œuvre différentes mesures de politique sectorielle, (v) un pays
utilisant différents ministères pour réaliser ses politiques macroéconomiques et sectorielles. En
élaborant des cadres logiques pour chacun des niveaux d’intervention et en les articulant en cascade
– c’est à dire par agrégation successive -, on peut regrouper l’ensemble des moyens, consolider les
activités, additionner les résultats ou fusionner les objectifs, de façon à ce qu’à chaque niveau
d’agrégation on puisse faire le lien avec un ou plusieurs indicateurs pertinents.

Au niveau le plus agrégé d’une “politique visant à réduire rapidement et de façon durable la
pauvreté”, ce qui importe c’est de savoir si les objectifs fixés par le DSRP ont bien été atteints
(aspect de durabilité), dans quels délais (aspect de rapidité) et de quelle manière (aspect
d’efficacité). Il faut donc préconiser un noyau d’indicateurs correspondant à ce niveau.

C’est pourquoi, il convient de bien distinguer, lors de la construction du cadre logique au


niveau de chaque ministère, les différents types d’objectifs : d’une part, les objectifs de court terme,
propres au ministère considéré, et, d’autre part, l’objectif global de moyen et long terme qui exprime
l’impact sur la pauvreté ou le bien-être, faisant ainsi le lien avec le DSRP.

Pour simplifier le processus de suivi, du moins à ses débuts, mieux vaut qu’il y ait peu
d’objectifs spécifiques (de 1 à 3) et un seul objectif global. De même, il vaut mieux qu’à chaque
objectif ne soit associé qu’un petit nombre d’indicateurs très pertinents. Les indicateurs qui
concernent les résultats, les activités et les moyens permettent de voir comment se déroulent les
interventions, au sein de chaque ministère, et de juger de l’efficacité de la mise en oeuvre.

2. La sélection des indicateurs

Les indicateurs sont identifiés par le biais des cadres logiques qui les relient aux objectifs,
résultats, activités et moyens. Un nombre trop élevé d’indicateurs rendra cependant le système de
suivi-évaluation plus difficile à manœuvrer. C’est pourquoi, il est préférable de ne retenir qu’une
liste restreinte d’indicateurs, au sein de chaque ministère, pour chaque projet, programme ou mesure
de politique publique. D’autant plus que le choix des indicateurs est une opération relativement
difficile qui demande de faire appel à des critères de sélection objectifs.

Pour certains domaines, il existe des indicateurs internationalement reconnus. Il n’y a donc
pas de problème de choix et de sélection. C’est le cas, par exemple, des taux de scolarisation brut ou
net pour l’éducation, ou de la mortalité infantile et de la mortalité maternelle pour la santé. Dans
d’autres cas, comme par exemple, pour l’environnement, la justice, la décentralisation, il faut

11
rechercher des indicateurs qui traduisent bien la situation du secteur considéré. Il n’y a pas
nécessairement de normes internationales s’ajustant correctement à la réalité socio-institutionnelle.
L’identification des indicateurs correspondants implique alors un travail d’analyse complexe face à
une réalité particulière. Le fait qu’un indicateur soit capable de représenter parfaitement l’objectif
visé exprime donc le premier critère de sélection d’un indicateur : celui de la pertinence.

Pourtant, si la pertinence est un critère nécessaire, elle ne suffit pas, pour autant, pour retenir
un indicateur. Car celui-ci doit encore être objectivement vérifiable. Ceci implique qu’il soit
observable et fiable, autrement dit qu’il puisse être mesuré avec précision sur la base de méthodes
d’échantillonnage correctes. Il faut, enfin, que l’indicateur retrace correctement les variations du
phénomène observé pour pouvoir conclure à un impact ou l’efficacité d’une intervention. Il s’agit
d’un critère de sensibilité au phénomène étudié. En effet, les variations de certains indicateurs ne
sont décelables que sur longue période de 3 à 5 ans et, dans ce cas, ils sont d’aucune d’utilité pour
un suivi ou une évaluation à court terme.

La satisfaction des trois critères de pertinence, observabilité (ou mesurabilité) et sensibilité,


permet de réduire fortement le nombre d’indicateurs à suivre régulièrement. Il en résulte une liste
d’indicateurs suffisamment compacte et réduite pour caractériser une situation, pour en retracer
l’évolution, pour permettre une évaluation et ainsi aider à la prise de décision. Lorsqu’il y a trop
d’indicateurs à considérer en même temps, la prise de décision devient difficile, surtout lorsque l’on
prend en compte les effets à la marge de chaque indicateur. Mieux vaut donc réduire le nombre
d’indicateurs envisagés à un petit nombre qui satisfasse le mieux possible aux trois critères de
sélection.

Ceci étant dit, il convient toutefois de remarquer que les indicateurs diffèrent selon le niveau
d’intervention, le niveau d’observation ou de décision, et l’horizon retenu. La mise en cascade des
cadres logiques tient compte de cette situation et permet d’éviter une multiplication des indicateurs.
Ainsi, le niveau d’intervention permet de distinguer le (ou les) indicateurs d’impact, pour un objectif
global, des indicateurs qui sont associés à des objectifs spécifiques. Viennent ensuite les indicateurs
de résultats, d’activités et de moyens.

Lorsqu’on met l’accent sur le niveau d’observation (d’analyse ou de décision), on peut


distinguer plusieurs d’indicateurs : les indicateurs macros au niveau national, les indicateurs
décentralisés (ou régionalisés) et les indicateurs ciblés (locaux ou autochtones)14. Cette distinction
est importante car la pauvreté doit se percevoir et s’analyser au niveau local, pour permettre la
conception de politiques macroéconomique ou d’interventions sectorielles visant à la combattre. Or,
ce ne sont pas forcément les mêmes indicateurs qui caractériseront la pauvreté au niveau local et au
niveau global.

Enfin, on distingue les indicateurs en fonction de leur horizon à court, moyen et long terme.
Si les indicateurs du développement (ou indicateurs du millénaire) ont clairement un objectif de long
terme à 2015, les indicateurs répondant aux objectifs du DSRP concernent l’impact à moyen terme.
Par contre, les indicateurs de résultats, d’activités et de moyens permettent de mesurer l’efficacité
des ministères à court terme.

Le fait de classer les indicateurs permet de clarifier la méthodologie du système de suivi-


évaluation et, par l’utilisation d’un discours commun sur les concepts techniques, de faciliter les

14
Pour des explications plus détaillée, on se reportera à Dubois J-L., 2001, “Méthode pour le choix des indicateurs et
rôle de l’observatoire de la pauvreté”, Vers un Observatoire de la Pauvreté à Madagascar, INSTAT et PNUD,
Antananarivo.

12
échanges entre les différentes équipes ministérielles. Ceci est d’autant plus indispensable que
certains domaines sont transversaux et peuvent être abordés à travers différents secteurs. Ainsi en
est-il de l’eau qui concerne la santé, l’environnement, les ressources productives et la qualité de vie.
Or, cette transversalité impose que, pour les secteurs transversaux, ce soient les mêmes indicateurs
qui soient suivis par des équipes ministérielles différentes.

3. La référence aux systèmes d’investigation

Comme on vient de le voir, la relation horizontale objectifs-indicateurs des cadres logiques,


permet d’associer à chaque indicateur une ou plusieurs sources de données susceptibles de fournir
les informations indispensables à son calcul. On peut aussi indiquer le niveau de désagrégation :
national, par province, par sexe, par milieu urbain et rural, etc..

De son côté, le critère d’observabilité (ou de mesurabilité) pose clairement le problème de la


source d’information car on ne doit retenir que des indicateurs facilement mesurables. Le critère
d’observabilité fait explicitement référence à la collecte d’information et aux méthodes statistiques
correspondantes. La question est donc de savoir quels systèmes d’investigation sont les plus
appropriés pour fournir les informations statistiques recherchées et, par la même occasion, quelles
institutions auront à les mettre en oeuvre.

Il convient, en premier lieu, de remarquer que nombre d’informations sont régulièrement


recueillies par les services statistiques de certains ministères comme, par exemple, la santé,
l’éducation, l’agriculture, etc., ou par certaines agences (par exemple l’environnement, l’eau,
l’électricité, etc.). D’autres informations sont obtenues par les enquêtes nationales menées par
l’INSTAT (enquête auprès des ménages, enquête démographique, auprès des entreprises, sur les
prix, etc.). De plus, un certain nombre d’informations sont fournies au niveau local par les projets et
programmes qui sont mis en œuvre.

Toutes ces informations, qui sont couramment disponibles et souvent reprises dans des
documents de synthèse (par exemple le tableau de bord social, le tableau de bord de
l’environnement, etc.), doivent être privilégiées pour l’élaboration des indicateurs de suivi-
évaluation. Cependant, il faudra prévoir des opérations spécifiques pour répondre aux besoins
d’information propres de certains ministères. Comme par exemple, pour connaître les effets des
actions de formation professionnelle, la situation interne des établissements pénitentiaires ou la
perception de la pollution par les populations concernées.

Dans un tel contexte, il importe que l’INSTAT, même s’il ne réalise pas lui-même toutes les
opérations de collecte d’information, soit informé de leur lancement et de leurs caractéristiques, afin
de pouvoir en coordonner la production, assurer l’harmonisation des concepts et garantir la qualité
méthodologique.

III. LA POURSUITE DE LA DYNAMIQUE ACTUELLE


La mobilisation autour d’un développement qui veut “réduire rapidement la pauvreté et
améliorer de façon durable le bien-être des populations” est source de dynamisme au sein de
l’administration. Les coordonnateurs généraux de projets sont au centre de cette dynamique : ils
jouent, en effet, au sein des ministères un rôle de catalyseur en étroite coordination avec les Services
d’Etude et de Planification et les cellules d’évaluation, lorsque celles-ci existent déjà.

13
Ce dynamisme s’exprime de deux manières. Il y a, d’une part, la mise en cohérence de
l’ensemble des projets, des programmes et, plus généralement, des engagements pris dans le cadre
des politiques publiques. On assiste donc à une re-formulation des objectifs à court et moyen terme
au sein de chaque ministère. Il y a, d’autre part, la mise en place de dispositifs de suivi-évaluation au
sein de chaque ministère, qui sont les composantes décentralisées du système national de suivi-
évaluation.

Chaque dispositif de suivi-évaluation ministériel élabore donc, en suivant la méthodologie


classique, le cadre logique lui permettant d’identifier les indicateurs qu’il devra suivre en fonction
des objectifs retenus. La construction de ces cadres logiques soulève, néanmoins, un certain nombre
de questions d’ordre conceptuel, statistique ou institutionnel qu’il a fallu aborder au cours des
séances de travail avec les différentes équipes ministérielles.

Ces questions diffèrent selon le domaine concerné et selon le degré d’avancement de


l’équipe. On commencera donc par une rapide revue de la situation d’avancement des différentes
équipes. Ensuite, seront examinées les principales questions soulevées afin d’apporter quelques
éléments de réponse. Enfin, dans un troisième point, seront suggérées quelques propositions
concernant la poursuite du processus de mise en place du système de suivi-évaluation.

1. Des niveaux d’avancement différents

Les équipes ministérielles ne sont pas toutes au même niveau dans l’élaboration des cadres
logiques. Les équipes des secteurs relatifs à l’éducation, la santé ou l’agriculture, bénéficient d’une
culture plus ancienne en termes de mesure statistique, de suivi d’indicateurs et même d’évaluation
des opérations. Il faut tenir compte de ces différences si l’on veut efficacement aider chaque équipe
à réaliser son potentiel, quelle que soit son expérience passée. De plus, il faut faire en sorte que les
équipes les plus avancées aient l’occasion de partager leurs expériences avec les équipes moins
avancées pour les aider dans la résolution des problèmes rencontrés.

On commencera donc par distinguer les équipes les plus avancées des équipes nouvellement
investies dans l’élaboration des cadres logiques.

Les plus anciens cadres logiques

Certaines équipes ministérielles ont commencé les premiers travaux sur les cadres logiques
dans le cadre de l’élaboration du DSRP en 2001, en s’appuyant sur leurs expériences du recueil et du
traitement régulier d’informations statistiques. Les travaux correspondants ont été présentés lors du
premier atelier de concertation des 13 et 14 août 2002. Ces équipes appartiennent aux secteurs de
l’éducation (Ministères de l’Enseignement Secondaire et de l’Education de Base MINSEB,
Ministère l’Enseignement Technique et de la Formation Professionnelle METFP), de la santé
(Ministère de la Santé), et de l’eau et assainissement (Ministère de l’Energie et des Mines).

L’équipe du MINSEB est l’une des plus avancée dans la mise en œuvre des cadres logiques.
Elle bénéficie d’une “culture de l’information” qui vient du recueil régulier d’informations
statistiques auprès des établissements scolaires, à travers son service d’Etude et de Planification. Un
certain nombre d’indicateurs sont disponibles et chiffrés. La priorité est donc maintenant de
s’assurer de la fiabilité des données et de l’exhaustivité des informations. Ce qui demande de
renforcer le processus de collecte.

14
On retrouve, avec le METFP, un problème similaire concernant les informations issues des
établissements techniques – exhaustivité et fiabilité des informations - mais la différence vient de la
formation professionnelle. Dans ce cas, les indicateurs correspondants ont bien été identifiés, mais la
difficulté se trouve dans les sources d’information. En effet, si on veut répondre aux besoins
d’information, il faut envisager des instruments d’investigation spécifiques : enquête auprès des
entreprises (formation professionnelle) ou des ménages (auto-emploi), observatoire de la formation
et de l’emploi, etc..

Pour l’Enseignement supérieur, la construction des cadres logiques commence tout juste.
L’équipe se met en place et bénéficie de l’expérience des deux ministères précédents grâce à la forte
coopération qui existe entre les trois équipes.

L’équipe du Ministère de la Santé possède, elle aussi, une bonne “culture de l’information”
en raison du recueil régulier d’information statistiques auprès des centres de santé (CBS), par le
biais de son service d’Etude et de Planification. De plus certaines informations sont fournies par
l’INSTAT à travers différentes enquêtes nationales (enquêtes auprès des ménages EPM, enquête
Démographique et de Santé EDS, etc.). Un certain nombre d’indicateurs sont donc déjà disponibles
et chiffrés. Il y a néanmoins besoins d’informations sur des maladies précises. Or cela demande des
investigations ciblées sur certaines catégories de personnes et donc des méthodologies spécifiques.

En ce qui concerne l’eau et l’assainissement, la construction du cadre logique est terminée et


un certain nombre d’indicateurs sont disponibles à partir des relevés réguliers (par exemple la
consommation urbaine d’eau) ou des résultats des enquêtes nationales (EPM). Les indicateurs sont
obtenus par une combinaison d’enquêtes ciblées ou d’inventaires. La difficulté majeure vient de la
transversalité de ce secteur qui demande de s’assurer que le même noyau d’indicateurs, se référant à
des définitions uniquessoit bien pris en compte par toutes les équipes ministérielles concernées.

Les cadres logiques les plus récents

D’autres équipes ont commencé l’élaboration de leurs cadres logiques à partir de juillet 2002
dans le cadre de la nouvelle politique de développement et en s’appuyant sur les ateliers de
formation et de concertation successifs (13-14 août, 9-13 septembre).

Les séances régulières de travail menées avec les équipes des ministères de l’Environnement,
de l’Aménagement du territoire, de la Justice et du Secrétariat d’Etat chargé de la décentralisation
ont montré la pertinence des cadres logiques pour suivre le déroulement et évaluer l’impact des
interventions. Elles ont aussi fait ressortir la difficulté à identifier, pour un secteur donné, les
indicateurs pertinents en fonction des objectifs retenus par les programmes ou le DSRP et en tenant
compte des sources d’informations existantes.

Pour le ministère de l’Environnement, le cadre logique est très complet et présente, sous
forme de tableau, une bonne hiérarchisation des objectifs (global et spécifiques), des résultats
recherchés et des activités correspondantes. La difficulté vient de la diversité des interventions qu’il
convient de suivre, certaines caractérisant l’ensemble du territoire, d’autres étant extrêmement
ciblées. De plus, il existe une très forte transversalité dans les actions prévues par les programmes
PEII et PEIII. La difficulté se situe autant dans la détermination d’indicateurs pertinents que dans les
instruments d’investigation qui permettront de les produire régulièrement. Le tableau de bord de
l’environnement, élaboré conjointement par le Ministère et par l’Agence de l’environnement fait le
point de la situation en termes d’information.

15
Le cadre logique du Ministère de l’Aménagement du Territoire est maintenant complet, les
indicateurs ont été sélectionnés pour tous les niveaux et les sources de données identifiées. Il faut
s’assurer de la disponibilité effective des informations auprès des institutions correspondantes,
notamment auprès de l’INSTAT et, en fonction des possibilités, retenir le noyau d’indicateur le plus
approprié.

Au Ministère de la Justice, le cadre logique est en cours d’élaboration. La difficulté se situe


au niveau de la recherche des indicateurs qui permettent de répondre le mieux possible aux objectifs
inscrits dans le PAGEP et le DSRP. La diversité des interventions prévues, tant qualitatives que
quantitatives, qui concernent des populations différentes impose une recherche approfondie pour
déterminer les indicateurs les plus pertinents. Une formation interne sur la finalité et la
méthodologie du suivi-évaluation pourrait être envisagée pour aider l’équipe.

Pour le Secrétariat d’Etat chargé de la Décentralisation et du Développement des Provinces


Autonomes, le cadre logique est en cours de finalisation. Les indicateurs objectivement vérifiables et
les sources de données correspondantes ont été identifiées. La difficulté vient du fait qu’un certain
nombre d’indicateurs retraçant le processus de décentralisation et la bonne gouvernance sont d’ordre
qualitatif.

Lors de l’atelier de concertation du 28 octobre 2002, d’autres équipes ministérielles ont aussi
présenté le résultat de leurs travaux. Elles venaient des ministères de l’Agriculture et de l’Elevage,
des Transports et de la Météorologie, des Travaux Publics, de l’Energie et des Mines, des Eaux et
Forêt ainsi que de la Sécurité Publique. Un certain nombre de questions ont été soulevées au cours
de cet atelier qui sont reprises dans le paragraphe ci-dessous.

2. Les questions soulevées lors de l’élaboration des cadres logiques

Lors des rencontres avec certaines des équipes ministérielles, lors des séances de travail
approfondies avec d’autres équipes, enfin, au cours de l’atelier de concertation du 28 octobre, trois
catégories de questions ont été soulevées : (i) des questions d’ordre conceptuel concernant la finalité
du système d’évaluation, (ii) des questions proprement méthodologiques, et (iii) des questions
relatives au système d’information. Des réponses ont été apportées lors des échanges et débats de
l’atelier de concertation du 28 octobre. Elles ont été incluses dans les parties correspondantes de ce
rapport.

La finalité du système de suivi-évaluation

La question de la finalité du système de suivi-évaluation rejoint le problème plus


fondamental de la différence entre les résultats à court terme et les impacts à plus long terme.
Autrement dit, de la différence entre les objectifs propres à chaque ministère, à travers la mise en
œuvre de ses projets et programmes, et les orientations stratégiques de la politique économique
telles que définies par le DSRP. Les réponses à cette question se trouvent exposées dans la première
partie de ce rapport. Elles expliquent la synergie entre les approches complémentaires du
développement rapide, de la lutte contre la pauvreté et du développement durable qui permet de
déboucher sur un objectif global : celui d’un développement qui “réduit rapidement la pauvreté et
améliore de façon durable les conditions de vie”. Il en résulte une originalité propre à Madagascar :
apporter, sur le court terme, une réponse rapide et efficace au problème de la pauvreté, tout en
permettant, qu’à moyen terme il en résulte, à travers une stratégie cohérente de constitution
d’acquis, de mise en valeur des potentialités, de renforcement des capacités un bien être durable
pour la population actuelle et à venir.

16
Les aspects méthodologiques

Une deuxième série de questions concerne les aspects de la méthodologie qui ont été
présentés dans la deuxième partie de ce rapport. Certaines questions sont relatives à l’articulation
des cadres logiques au niveau des projets, des ministères et du pays, et, dans ce cas, la réponse réside
dans la méthode d’articulation en cascade des différents cadres logiques afin d’assurer, par
inclusions successives, le lien entre les différents niveaux d’intervention.

D’autres questions sont relatives à la transversalité de certains secteurs et, dans ce cas, il
convient de définir un noyau d’indicateurs communs répondant aux mêmes objectifs, en veillant à ce
que les cadres logiques correspondent bien entre eux. Il est cependant nécessaire de repérer toutes
les situations de transversalité. L’eau est, certes, un exemple, mais on peut penser aussi aux
transports, à l’énergie, à certains aspects de l’agriculture ou de l’environnement, etc.

Dans tous les cas, l’essentiel est de favoriser le dialogue entre équipes ministérielles pour
faciliter l’harmonisation des cadres logiques.

La coordination des besoins d’information

La première étape de mise en place du système de suvi-évaluation, qui concerne l’élaboration


des cadres logiques, se termine par la recherche des sources d’information nécessaires à la
production régulière des indicateurs. Or, les cadres logiques allant maintenant vers leur finalisation,
il est normal que les questions se portent surtout sur le système d’information. Cet aspect a été
particulièrement souligné lors de l’atelier de concertation du 28 octobre.

Un certain nombre de données sont facilement disponibles à travers les productions de


l’INSTAT à partir de ses enquêtes nationales ou des synthèses d’information qu’il opère, comme
par exemple, le tableau de bord. Certaines de ces informations viennent des services ministériels
spécialisés dans la collecte de données d’inventaire comme, par exemple, pour la santé et
l’éducation). D’autres informations viennent d’investigations ciblées concernant des projets
spécifiques ou des catégories de population. Toutes ces informations ont un rôle dans le suivi et
l’évaluation des interventions mises en œuvre.

Or l’INSTAT ne peut produire pas toutes les informations à travers ses propres enquêtes
nationales et représentatives. Certaines opérations d’investigation ciblées sont le fait d’autres
services ministériels, voire d’opérateurs de projets spécifiques. Par contre, il faut que l’INSTAT
soit courant de tous les besoins d’information, pour voir celles qu’il peut intégrer dans ses
opérations d’enquêtes nationales et ainsi organiser leur programmation. De plus, il demeure
essentiel que l’INSTAT puisse assurer l’homogénéité des concepts et méthodes utilisées et garantir
la fiabilité des informations recueillies, en donnant son avis sur la qualité et la déontologie
statistique des opérations prévues.

Ceci implique de prévoir des mécanismes de concertation. La mise en place du Comité


National de Coordination des Informations Statistiques (CNCIS) est un moyen de faciliter cette
concertation, même s’il faudra continuer à envisager des réunions techniques spécifiques entre
chaque équipe ministérielle et les statisticiens de l’INSTAT.

Dans ce cadre, il devient possible, pour l’INSTAT, d’envisager un programme exhaustif


d’opérations d’enquêtes, ou d’investigations variées, sur plusieurs années afin de répondre à

17
l’ensemble des besoins statistiques requis par le suivi-évaluation. La mise en place d’un “schéma
directeur de la statistique” peut alors s’avérer utile. Il permet de programmer les grandes opérations
d’enquête avec leur périodicité, le renforcement des composantes ministérielles du système national
statistique et les financements annuels requis, qu’ils soient d’origine nationale ou extérieure. Il peut,
de plus, devenir un instrument de négociation avec les partenaires financiers pour s’assurer de leur
volonté d’investir de façon pérenne dans le système national d’information statistique.

3. Suggestions pour la poursuite du processus

L’instauration du système national de suivi-évaluation contribue à une certaine dynamique


de réforme en assurant, au sein de l’administration publique, une meilleure cohérence de l’ensemble
des interventions, une plus grande efficacité, une meilleure relation avec la société civile et l’opinion
publique. Cette dynamique concerne l’ensemble des ministères.

L’enchaînement des étapes suivantes

La mise en place le système de suivi-évaluation suit un processus en trois étapes


méthodologiques. La première consiste à élaborer, au sein de chaque ministère, les cadres logiques
qui relient les objectifs des interventions à la liste d’indicateurs permettant de voir si ces objectifs
ont bien été réalisés, dans quels délais et de quelle manière. La seconde consiste à mettre en place
les systèmes d’investigation qui permettent d’obtenir de façon régulière, à partir de sources
d’informations diverses, les données concernant ces indicateurs. Enfin, la troisième consiste à
analyser les résultats de ces indicateurs, sous forme d’études de suivi ou de rapports d’évaluation,
pour évaluer l’efficacité et l’impact des interventions, et guider les orientations stratégiques.

La première étape de ce processus est en voie de finalisation : les cadres logiques sont
élaborés dans la quasi-totalité des ministères, même si les équipes ne sont pas toutes au même
niveau de compréhension, d’élaboration et de finalisation. Il est vrai que l’élaboration des cadres
logiques, la sélection des indicateurs, la recherche des sources d’information, continuent de soulever
des problèmes méthodologiques, propres à chaque ministère. Il faut donc épauler les équipes qui ont
des difficultés en profitant de l’expérience de celles qui ont le plus avancé. En ce sens, l’organisation
régulière de séminaires de concertation, sous l’égide la Direction du Suivi et de l’Evaluation du
MEFB, apporte une réponse adéquate. On peut aussi envisager l’organisation de séminaires de
formation interne à chaque ministère, ainsi que la présence d’un expert national, spécialisé dans ce
domaine, qui soit disponible pour résoudre les problèmes à la demande.

Les équipes les plus avancées sont déjà entrées dans la deuxième étape du processus, à savoir
celle du recueil et de la production régulière de l’information. Pour celles-là, comme pour les
équipes à venir, il faut envisager un travail de concertation et d’innovation avec l’INSTAT pour
ajuster le système national d’information aux besoins du suivi-évaluation.

La troisième étape consiste à traiter et analyser les indicateurs de façon à faire ressortir les
évolutions et montrer les résultats et impacts. Elle peut commencer dès que certains indicateurs sont
produits sur une base régulière. C’est le cas, notamment, des équipes ministérielles qui ont déjà
accès à une collecte régulière d’information.

18
Un fonctionnement adaptable et interactif

Une fois ces trois étapes d’investissement méthodologique terminées, le système de suivi-
évaluation doit pouvoir fonctionner de manière routinière, à travers ses différentes composantes
ministérielles, en produisant des études de suivi et des rapports d’évaluation.

Il faut qu’il ait, auparavant, évité un risque important : celui de la complexité. C’est à dire
que, pour chaque ministère, les objectifs, global comme spécifiques, soient bien sériés, que le
nombre d’indicateurs à suivre soit limité à ceux qui sont les plus pertinents, et que les opérations
d’investigation soient relativement simples. Plus le système de suivi-évaluation sera simple à
manier, plus il pourra s’adapter, dans le temps, aux nouvelles contraintes d’objectifs et de résultats
qui apparaîtront.

A travers le fonctionnement régulier de ses composantes ministérielles, le système de suivi-


évaluation permettra de mesurer l’efficacité dans la mise en œuvre des interventions publiques et la
réalisation des objectifs à moyen terme concernant la réduction de la pauvreté et l’amélioration des
conditions de vie. Il permettra aussi de vérifier la pertinence des indicateurs retenus, notamment leur
sensibilité aux variations des phénomènes étudiés.

Il en résulte que chaque année, il sera possible de revoir, en fonction des études de suivi et
des rapports d’évaluation, la pertinence des objectifs, ainsi que la validité des indicateurs retenus, et,
en fonction des nouveaux besoins de la politique de développement, d’ajuster les objectifs, quitte à
rajouter ou à retirer des indicateurs. Cette nécessaire adaptation du système à de nouveaux objectifs,
en fonction des résultats obtenus, impose souplesse et maniabilité et nécessite, en permanence,
l’harmonisation des procédures sous la coordination de la Direction du Suivi et de l’Evaluation du
MEFB.

CONCLUSION
On peut noter, à travers les textes officiels et discours concernant la politique de
redressement mise en œuvre à Madagascar, une volonté de promouvoir un développement qui
“réduise rapidement la pauvreté et améliore de façon durable le bien-être des populations”. Le but
est de fournir, sur le court terme, une réponse rapide et efficace au problème de la pauvreté, tout en
visant, à moyen terme et par le biais d’une stratégie cohérente, à mettre en place les acquis
caractéristiques d’un bien-être durable.

Le développement se construit ainsi autour d’un double objectif. Un objectif immédiat, qui
impose de s’assurer de l’efficacité des projets, programmes et mesures de politiques publiques,
macroéconomiques comme sectorielles, qui sont mis en œuvre. Un objectif de plus long terme qui
veille à ce que ces réalisations s’inscrivent bien, de manière cohérente, dans des orientations
stratégiques visant la réduction de la pauvreté, l’amélioration des conditions de vie, la protection
des ressources naturelles et humaines.

Il résulte de cette vision un dynamisme qui est orchestrée par la Coordination Général des
Projets, au sein des différents ministères, en ce qui concerne le premier objectif et par les équipes
chargées de la réalisation du Document Stratégique de Réduction de la Pauvreté pour le second. Un
dynamisme qui pousse à des résultats rapides, visibles pour tous, s’inscrivant dans la constitution
d’acquis à plus long terme. Dans chaque ministère, les coordinateurs généraux de projets veillent à
la cohérence de la politique sectorielle et cherchent à obtenir rapidement des résultats par le biais

19
d’une bonne allocation des moyens et des activités. De son côté, le DSRP permet l’articulation des
différentes politiques, macroéconomiques et sectorielles, au travers de grandes orientations
stratégiques, quitte à les réajuster en fonction des résultats obtenus. De cette manière l’efficacité à
court terme et cohérence à moyen terme peuvent être assurés en parfaite synergie.

La mise en place d’un système national de suivi-évaluation permet de suivre ce double


objectif. Il doit mesurer régulièrement les résultats, à court terme, de la réalisation des interventions,
et les impacts, à plus long terme, sur la réduction de pauvreté et l’amélioration des conditions de
vie. Décentralisé au sein de chaque ministère, il permet de mesurer l’efficacité dans le dé roulement
des interventions, ce qui impose une bonne coordination entre les coordonnateurs généraux de
projet (CGP) et les services d’études et de planification. Une coordination d’autant plus
indispensable que les interventions se situent à différents niveaux – projets, programmes et
politiques publiques – et qu’il faut prendre en compte la transversalité de certains secteurs comme
l’eau, par exemple.

Le processus de mise en place s’effectue en trois étapes, la première consistant à élaborer,


les cadres logiques, la seconde à mettre en place les systèmes d’investigation et la troisième à
évaluer l’efficacité et l’impact des interventions. Dans ce cadre, il est possible de mesurer, du même
coup, à court terme la rapidité et l’efficacité des interventions, à moyen terme leurs impacts en lien
avec les orientations du DSRP, et, à plus long terme, pour 2015, la satisfaction des objectifs
internationaux de développement définis lors du sommet du millénaire.

Or, cette mise en place avance relativement vite. Le processus n’a officiellement démarré
qu’à la mi-août 2002 et toutes les équipes ministérielles sont maintenant en train de finaliser la
construction des cadres logiques, la détermination des indicateurs et la recherche des sources
d’information correspondantes. Ce processus soulève de nombreuses questions d’ordre conceptuel,
statistique ou institutionnel. C’est pourquoi il est nécessaire, non seulement, de conseiller
spécifiquement chacune des équipes mais aussi de favoriser les échanges et dialogues entre équipes
ministérielles, ce qui a toujours été l’objectif des différents l’atelier de concertation, notamment
celui du 28 octobre 2002.

Certes, toutes les équipes ne sont pas au même niveau puisque certaines sont déjà entrées
dans la deuxième phase relative au recueil régulier de l’information et se posent la question de
l’amélioration du système de collecte statistique existant. Une étroite concertation avec l’INSTAT
s’avère donc nécessaire pour s’assurer que les besoins d’information de chaque ministère entrent
bien dans la programmation des opérations d’enquête nationales envisagées par l’INSTAT.

La troisième phase qui concerne l’analyse des indicateurs (leurs niveaux et leurs évolutions)
pour la production de rapports d’évaluation pourra commencer dès qu’un certain nombre
d’indicateurs seront produits régulièrement. Ainsi, la mise en place du système national de suivi-
évaluation et de ses composantes ministérielles est tout à la fois un véritable challenge et la source
d’une nouvelle dynamique. Une challenge dont la Direction du Suivi et Evaluation (MEFB) assure
la coordination d’ensemble.

20
SYNTHESE OPERATIONNELLE

Cette courte synthèse reprend sous la forme d’une liste de propositions opérationnelles, les
principaux points qui ont été développés dans ce rapport.

1. Il y a une complémentarité totale entre les deux approches “développement rapide et


durable”, d’une part, et “réduction de la pauvreté”, d’autre part. Elle se réalise en préconisant une
politique de développement qui “réduit rapidement la pauvreté et améliore de façon durable le bien-
être des populations”. Elle s’opère en visant un double objectif : l’efficacité à court terme (sous la
responsabilité des CGP) et la réussite des orientations stratégiques à moyen terme (sous la
responsabilité du DSRP).

2. Le système national de suivi-évaluation tel qu’il est conçu permet justement de vérifier la
satisfaction de ce double objectif en évaluant tout à la fois “l’efficacité dans la mise en œuvre des
projets et programmes” et “l’impact des politiques sur la réduction de la pauvreté et l’amélioration
des conditions de vie”. En effet, la méthodologie qui est appliquée à travers les cadres
logiques permet de relier un objectif global, des objectifs spécifiques, des résultats aux activités et
aux moyens, en s’appuyant sur des indicateurs.

3. Dans chacun des cas (objectifs, résultats, activités, moyens), il ne faut sélectionner qu’un
petit noyau d’indicateurs extrêmement pertinents (exprimant bien le phénomène étudié), facilement
observables (ou mesurables) par des instruments d’investigation existants, et très sensibles à la
moindre variation du phénomène étudié. Pertinence, observabilité-mesurabilité, et sensibilité sont
les trois critères essentiels qu’il convient de respecter. Mieux vaut peu d’indicateurs pour éviter
d’accroître la complexité du système de suivi-évaluation.

4. Le meilleur moyen de s’assurer de l’efficacité du déroulement des projets et programmes est


la décentralisation du système national de suivi-évaluation au niveau de chaque ministère. C’est ce
qui se fait avec la mise en place d’équipe dans chaque ministère et l’élaboration de cadres logiques
en cascade. Les cadres logiques en cascade permettent de passer des projets aux programmes, des
programmes à la politique du ministère. Ils sont le moyen de surveiller l’efficacité à chaque niveau
d’interventionl, quel que soit le regroupement des objectifs.

5. Il faut maintenant finaliser la première étape concernant l’élaboration des cadres logiques
par les équipes ministérielles. Toutes les équipes ne sont pas au même niveau de compréhension,
d’élaboration et de finalisation. Il faut donc aider les équipes qui ont des difficultés en profitant de
l’expérience de ceux qui sont bien avancées. Les séminaires de concertation réalisés par la
Direction du Suivi et de l’Evaluation du MEFB qui coordonne tout le processus sont une réponse
adéquate.

6. L’élaboration des cadres logiques, la sélection des indicateurs, la recherche des sources
d’information soulèvent de nombreux problèmes méthodologiques. Ce qui est normal. Outre les
séminaires de concertation, on peut envisager l’organisation de séminaires de formation interne à
certain ministère, ainsi que la présence d’un expert national spécialisé dans ce domaine, qui soit
disponible pour résoudre les problèmes à la demande.

7. Certaines équipes sont déjà entrées dans la deuxième étape de mise en place du système, à
savoir le recueil et la production régulière de l’information. Pour celles là, comme pour les équipes

21
à venir, il faut prévoir une concertation régulière avec l’INSTAT. Si ce dernier ne produit pas toutes
les informations à travers ses propres enquêtes nationales représentatives, il doit pouvoir
coordonner la production d’information, assurer l’homogénéité des concepts et méthodes utilisées et
garantir la fiabilité des informations recueillies.

8. Pour répondre à ses propres besoins (comptes nationaux, indice des prix, etc.), comme à
ceux des composantes ministérielles du système national d’évaluation, l’INSTAT pourrait alors
envisager un programme exhaustif d’opérations d’enquêtes, ou d’investigations diverses, sur
plusieurs années. La réalisation d’un tel “schéma directeur de la statistique”, qui prévoit toutes les
opérations de renforcement du système national statistique, impose de recevoir un financement
annuel régulier, ou du moins confirmé à l’avance. Ceci demande aux partenaires financiers de
prévoir un investissement régulier dans le système d’information statistique.

9. La troisième étape peut commencer dès que certains indicateurs sont régulièrement produits.
Elle consiste à traiter et analyser les indicateurs de façon à faire ressortir les évolutions et montrer
les résultats et impacts. Certaines équipes sont déjà prêtes en raison de la collecte régulière
d’information. La formation au reporting a déjà été effectuée lors des séminaires de concertation
précédents, mais un approfondissement des méthodes d’analyse peut être envisagé.

10. Une fois complétée les trois étapes d’investissement méthodologique, le système national de
suivi–évaluation, peut fonctionner sur une base régulière à travers ses composantes ministérielles. Il
peut alors s’adapter en permanence à de nouveaux objectifs, à de nouvelles demandes
d’information, à la production d’évaluations différentes. Il suffira chaque année de revoir la
pertinence des objectifs, ainsi que la validité des indicateurs retenus, et en fonctions des besoins
changer les objectifs, quitte à rajouter ou retirer des indicateurs.

Références documentaires

Cellule technique DSRP, 2000, Secteur éducation : appui à la mise en place d’un système national intégré
de suivi de la pauvreté, document n°9, Ministère de l’Enseignement Secondaire et de l’Education de Base,
SNAP-STA, PNUD, Antananarivo.

Cellule technique DSRP, 2000, Secteur eau et assainissement : appui à la mise en place d’un système
national intégré de suivi de la pauvreté, document n°8, Ministère de l’Energie et des Mines, SNAP-STA,
PNUD, Antananarivo.

Cellule technique DSRP, 2000, Secteur santé : appui à la mise en place d’un système national intégré de
suivi de la pauvreté, document n°7, Ministère de la Santé, SNAP-STA, PNUD, Antananarivo.

Cellule technique DSRP, 2000, Les sources des statistiques sociales à Madagascar et l’élaboration d’un
Tableau de Bord Social, document n°6, INSTAT, SNAP-STA, PNUD, Antananarivo.

CMED [Commission Mondiale Environnement et Développement], 1989, Notre avenir à tous, Editions du
Fleuve, Montréal.

22
Dubois J-L. et F-R. Mahieu, 2002, « La dimension sociale du développement durable : réduction de la
pauvreté ou durabilité sociale ? » in Développement durable ? Doctrines, pratiques, évaluations J-Y. Martin
(ed.), IRD, Paris, pp.73 –94

Dubois J-L., 2001, “Méthode pour le choix des indicateurs et rôle de l’observatoire de la pauvreté” et “La
sélection des indicateurs pour le suivi – évaluation de la pauvreté : méthode et exemples spécifiques”, Vers
un Observatoire de la Pauvreté à Madagascar, INSTAT et PNUD, Antananarivo.

Focus Development Association, 2002, « Perception du futur par les communautés de base malgaches »,
Culture et Prospective, PNUD DAP1, Antananarivo.

INSTAT [Institut National de Statistique], 2000, Tableau de bord social : appui à la mise en place d’un
système national intégré de suivi de la pauvreté, PNUD, Antananarivo.

INSTAT, 1995, Enquête permanente auprès des ménages : rapport principal, DSM, Antananarivo.

Ministère de l’Economie et de la Planification, 2002, Atelier de concertation sur le système de suivi et


évaluation, 13-14 août 2002, Rapport final, Antananarivo.

Ministère de l’Environnement et Office National pour l’Environnement, 2002, Tableau de bord


environnemental, Antananarivo.

PNUD[Programme des Nations Unies pour le Développement], 2002, Approfondir la démocratie dans un
monde fragmenté, Rapport mondial sur le développement humain, De Boeck Université, Bruxelles.

PNUD, 2000, Le rôle de la gouvernance et de la décentralisation dans la réduction de la pauvreté, Rapport


national sur le développement humain, Antananarivo.

PNUD, 1997, Suivi et évaluation dans une perspective de résultats, Manuel pour les responsables de
programmes, New York.

Rasoanindrainy S., 2002, « La vision du futur chez les décideurs malgaches », Culture et Prospective, PNUD
DAP1, Antananarivo.

ROR [Réseau des Observatoires Ruraux], 2002, Fiches signalétiques 2001, UPDR, U..E., Antananarivo.

23
ANNEXE

Présentation visuelle
“le système de suivi-évaluation : les questions soulevées”

Atelier de concertation du 28 octobre 2002

24
25

You might also like