Évaluer pour améliorer les actions de développement

ÉVALUER

pour améliorer les actions

de développement

2014 2016 Agence Française de Développement PLAN D’ACTION

SOMMAIRE À RETENIR 04 I.

Pourquoi l’Agence Française de Développement évalue-t-elle ses interventions ? Évaluer avant tout pour améliorer l’efficacité des interventions Évaluer également pour accroître les connaissances sur le développement Évaluer ensuite dans une perspective de redevabilité et de transparence

07 09 09 09

II. Nos principes et critères d’évaluation Indépendance Qualité Utilité Partenariat Coordination Transparence

11 12 12 12 12 12 13

III.

Un axe fort : diversifier les méthodes d’évaluation pour mieux appréhender les effets des interventions Les évaluations ex-post de projet Les évaluations approfondies Les évaluations stratégiques Les synthèses d’évaluations et méta-évaluations Les revues

15 16 17 17 18 18

IV.

Les engagements de l’AFD en matière d’évaluation pour les années à venir Améliorer l’évaluabilité des interventions Programmer les évaluations de manière plus stratégique Garantir la qualité des évaluations Rendre les évaluations plus utiles Travailler en collaboration avec ses partenaires

19 20 20 20 21 23

ANNEXES

24

Types d’évaluation Glossaire

Conditions d’évaluabilité

Principaux travaux réalisés entre 2010 et 2014

25 26 27 28

À RETENIR

L’efficacité et la qualité de l’aide au développement est une préoccupation croissante pour ses acteurs. Depuis la Déclaration de Rome (2002), à celle de Busan (2011), en passant par les principes énoncés à Paris sur l’efficacité de l’aide (2005) et étendus à Busan à l’efficacité du développement (2011), l’évaluation des actions de développement est reconnue par tous comme une nécessité, et un apport majeur pour accroître redevabilité, transparence et amélioration des pratiques et des résultats.

Aussi, en tant qu’opérateur pivot de l’aide au développement, l’Agence Française de Développement (AFD) ne se doit pas seulement de mettre en œuvre, au travers de projets, programmes, stratégies et instruments financiers, la politique d’aide au développement de la France, mais également d’apprécier la pertinence, la qualité et l’efficacité de son intervention sur le long terme. C’est dans cette perspective – et prenant en compte les recommandations du rapport d’observations provisoires de la Cour des Comptes de mars 2011 sur l’évaluation de l’aide publique au développement (APD), la dernière revue par les pairs de l’OCDE et les recommandations de son Comité des évaluations –, que l’AFD a formalisé sa vision, ses objectifs et ses engagements en matière d’évaluation1.

L’exigence première pour l’AFD en matière d’évaluation est qu’elle soit conçue et utilisée avant tout comme un outil d’apprentissage au service de l’amélioration de ses opérations, au travers des enseignements qu’elle permet de tirer de l’expérience, et de leur rétroactivité sur ses opérations futures. La politique d’évaluation de l’AFD entérine cette priorité, et énonce les principes, normes et standards auxquels elle se réfère2.

1 - Cf. Politique de l’évaluation de l’AFD, 2013 (disponible également en anglais et en chinois), téléchargeable sur http://www.afd.fr/home/recherche/evaluation-capitalisation 2 - Cf. en annexe le glossaire des termes employés. Un astérisque signale les mots dont la définition y figure.

4

La politique d’évaluation ne se limite pas aux missions de la Division de l’évaluation et de la capitalisation de l’AFD. Elle concerne l’ensemble des acteurs concernés par ses actions de développement aux différentes étapes du cycle du projet, depuis la conception des actions, jusqu’au suivi des résultats, au partage et à la prise en compte des conclusions et recommandations. L’évaluation doit donc se penser en amont et tout au long de la mise en œuvre du projet, en lien avec nos partenaires.

L’AFD s’engage ainsi pour les prochaines années à : • Améliorer la façon dont ses interventions (projets, programmes, stratégies, instruments) sont conçues et suivies.

• Programmer les évaluations en réponse aux besoins stratégiques et d’apprentissage de l’AFD. • Renforcer l’utilité et l’utilisation des évaluations, notamment par la mise en place, au sein de l’AFD, d’un système de réponses aux conclusions des évaluations et de suivi de leurs recommandations.

• Accroître l’indépendance et la qualité des travaux d’évaluation en clarifiant le rôle de chacun dans la préparation, la conduite et la validation des évaluations.

5

1

POURQUOI L’AGENCE FRANÇAISE DE DÉVELOPPEMENT

ÉVALUE-T-ELLE SES INTERVENTIONS ?

1 POURQUOI L’AGENCE FRANÇAISE DE DÉVELOPPEMENT

ÉVALUE-T-ELLE SES INTERVENTIONS ?

En tant que principal opérateur de l’aide au développement de la France, l’AFD intervient dans plus de 90 pays, où elle finance et accompagne des projets de développement portés par des États, des collectivités locales, des ONG, des banques et intermédiaires financiers du Sud, des entreprises publiques ou privées et des établissements publics.

Ses engagements financiers s’élèvent à 8 milliards d’euros par an. Ses objectifs sont divers et ambitieux car ils visent à s’adapter aux besoins de ses pays d’intervention : lutte contre la pauvreté dans les pays les plus pauvres, réduction des sources de tensions dans les pays en crise, promotion de trajectoires économiques soutenables, lutte contre les inégalités sociales et contre le changement climatique autour du mandat de croissance verte et solidaire dans les pays à revenus intermédiaires et émergents. La nature de son mandat et l’éthique qui l’accompagne, vis-à-vis de bénéficiaires de plus en en plus nombreux, rendent incontournable pour l’AFD d’apprécier la qualité et l’efficacité de ses interventions sur le long terme, de questionner ses modes de faire, et de tirer les leçons de son expérience, afin de continuer à améliorer ses pratiques et ses résultats.

8

É VA LU E R P O U R A M É L I O R E R L E S AC T I O N S D E D É V E LO P P E M E N T

Les missions de l’AFD rendent incontournable

l’appréciation de la qualité et de l’efficacité de ses interventions sur le long terme.

L’évaluation est envisagée et organisée en premier lieu comme un processus

et un outil d’apprentissage et d’amélioration

des interventions.

Dans ce cadre, l’évaluation est envisagée et organisée à l’AFD en premier lieu comme un processus et un outil d’apprentissage et d’amélioration de ses interventions.

L’AFD fait sienne la définition du CAD de l’OCDE : l’évaluation est l’appréciation systématique et objective de la valeur et de la portée d’un projet, d’un programme ou d’une politique de développement, en cours ou achevé, de sa conception, à sa mise en œuvre et à ses résultats*. L’évaluation à l’AFD couvre tous les projets et programmes financés par l’Agence (y compris les financements des initiatives ONG), les cadres d’interventions géographiques, sectoriels et thématiques dans lesquels ils s’insèrent et les outils financiers que l’AFD met en œuvre.

L’AFD hiérarchise les objectifs fixés à l’évaluation de la manière suivante :

ÉVALUER AVANT TOUT POUR AMÉLIORER L’EFFICACITÉ* DES INTERVENTIONS L’évaluation sert d’abord à améliorer les stratégies, programmes et projets d’aide futurs de l’AFD, grâce aux enseignements tirés de l’expérience.

ÉVALUER ÉGALEMENT POUR ACCROÎTRE LES CONNAISSANCES SUR LE DÉVELOPPEMENT L’évaluation produit aussi des connaissances, alimentant ainsi le débat sur les enjeux de développement et ceux de l’aide publique au développement.

ÉVALUER ENSUITE DANS UNE PERSPECTIVE DE REDEVABILITÉ ET DE TRANSPARENCE L’évaluation participe, en outre, à l’obligation de rendre compte, aux ministères de tutelle, aux différentes parties prenantes au processus de coopération en France et à l’étranger et aux contribuables et citoyens, de la performance de l’AFD comme opérateur pivot de la politique d’aide au développement.

9

2

NOS PRINCIPES

ET CRITÈRES D’ÉVALUATION

2 NOS PRINCIPES

ET CRITÈRES D’ÉVALUATION L’évaluation obéit aux principes énoncés par la charte d’éthique professionnelle du groupe AFD et par la charte de l’évaluation des politiques publiques et des programmes publics de la Société française de l’évaluation (SFE)3. À l’instar des autres bailleurs de fonds bilatéraux, l’AFD souscrit en matière d’évaluation aux principes du Comité d’aide au développement (CAD) de l’OCDE, qu’elle décline de la façon suivante :

INDÉPENDANCE La conduite ou la supervision des évaluations sont réalisées par un service indépendant de celui qui est chargé de la conception et de la mise en œuvre des financements de projets de développement. Le dispositif d’évaluation est supervisé par un Comité des évaluations composé des représentants des ministères de tutelle de l’AFD et de personnalités indépendantes. Ce Comité formule un avis sur la pertinence et la qualité des travaux d’évaluation, ainsi que sur leur programmation et les moyens qui leur sont alloués.

QUALITÉ La qualité des évaluations s’apprécie à travers les compétences des personnes chargées de les conduire et de les réaliser, ainsi que la pertinence du processus évaluatif et la rigueur et la clarté du rapport d’évaluation produit.

UTILITÉ Une évaluation n’est programmée que lorsqu’elle est susceptible de contribuer aux objectifs suivants : améliorer les interventions, produire des connaissances, rendre des comptes.

PARTENARIAT L’AFD s’est engagée à mettre en œuvre le Partenariat de Busan pour une coopération efficace au service du développement. Elle veut contribuer à la mise en place d’un cadre de redevabilité mutuelle en associant et impliquant ses partenaires aux processus d’évaluation qu’elle conduit.

COORDINATION Pour faciliter la réalisation d’évaluations conjointes, l’AFD communique son programme d’évaluations au Réseau du CAD sur l’évaluation (EVALNET). Au moment de lancer une évaluation, elle vérifie s’il n’est pas plus approprié de mener un travail conjoint avec d’autres bailleurs de fonds qui doit être conduit en s’appuyant sur les principes du CAD en matière d’évaluations conjointes.

3 - http://www.sfe-asso.fr/index.php.

12

É VA LU E R P O U R A M É L I O R E R L E S AC T I O N S D E D É V E LO P P E M E N T

TRANSPARENCE Conformément à la démarche de responsabilité sociétale de l’AFD, les évaluations produites par la Division Évaluation et capitalisation sont systématiquement publiées et téléchargeables sur son site Internet. L’AFD publiera également des « fiches de performance » des projets, qui synthétisent les résultats des évaluations de projets. Tout en respectant les obligations légales et les règles édictées par la SFE, les données qui ont servi au travail d’évaluation sont également rendues accessibles au public.

L’AFD a pour ambition d’évaluer sa contribution à un développement durable.

L’AFD appuie ses travaux d’évaluation sur les cinq critères définis par le CAD : • La pertinence* renvoie à la bonne adéquation des objectifs* de l’intervention au problème à traiter, aux besoins de ceux qui en sont bénéficiaires ou encore aux priorités de l’AFD. • L’efficacité* indique dans quelle mesure les objectifs spécifiques* poursuivis ont été atteints ou sont en passe de l’être.

• L’efficience* apporte un jugement sur les ressources mobilisées pour les atteindre.

• La soutenabilité* apprécie dans quelle mesure l’intervention est susceptible de produire des résultats* dans le temps, une fois qu’elle a cessé.

• L’impact* est l’ensemble des effets de l’intervention, qu’ils soient positifs ou négatifs, directs ou indirects, voulus ou non.

L’AFD a par ailleurs pour ambition de contribuer à un développement durable. C’est pourquoi, en matière d’évaluation, l’AFD souhaite apporter une attention particulière à plusieurs enjeux transversaux qu’elle juge fondamentaux. Ainsi elle veille à analyser sa contribution à la lutte contre le changement climatique, à la protection de la biodiversité, à la lutte contre la pauvreté ainsi qu’à la réduction des inégalités. Elle intègre en particulier la dimension genre dans l’analyse de la pertinence, de l’efficacité et de l’impact de ses interventions. Parce qu’elle est d’abord un prêteur, l’AFD s’attachera aussi à apprécier les effets de ses concours financiers sur la situation financière de ses emprunteurs et nuance son appréciation des critères d’évaluation, notamment celui de la soutenabilité, en fonction de l’instrument financier mobilisé.

Enfin, l’AFD tente d’identifier sa « valeur ajoutée » dans l’intervention évaluée, afin d’apprécier en quoi elle est différente de celle de n’importe quel autre bailleur qui aurait pu financer l’intervention. Les effets des apports non financiers (expertise technique, dialogue avec le bénéficiaire, réactivité, implication…) et leur spécificité à l’AFD sont ainsi systématiquement étudiés.

13

3

UN AXE FORT :

DIVERSIFIER LES MÉTHODES D’ÉVALUATION POUR MIEUX APPRÉHENDER LES EFFETS DES INTERVENTIONS

3 UN AXE FORT :

DIVERSIFIER LES MÉTHODES D’ÉVALUATION POUR MIEUX APPRÉHENDER LES EFFETS DES INTERVENTIONS L’AFD mène essentiellement quatre catégories de travaux d’évaluation qui sont défi­nies par le champ évalué, l’approche et les méthodes utilisées, ainsi que par leurs objectifs.

Les évaluations ex-post de projets sont conçues

pour faciliter le dialogue sur les résultats avec

nos contreparties.

LES ÉVALUATIONS EX-POST DE PROJET Les évaluations ex-post se focalisent sur le degré d’atteinte des objectifs spécifiques des projets. Elles portent sur tous les types de concours financiers de l’AFD. Les évaluations ex-post de projets servent un objectif d’apprentissage, en lien avec les contreparties. Les projets à évaluer sont sélectionnés selon deux critères : l’opportunité d’un dialogue sur les résultats* avec le bénéficiaire, et l’intérêt de l’évaluation en termes d’apprentissage. La programmation des évaluations de projets cherche à être représentative du portefeuille de projets achevés en termes de secteur, de zone géographique et d’instrument.

En général, les projets de l’AFD sont évalués selon une procédure décentralisée.

Les évaluations décentralisées de projets Les évaluations décentralisées de projet sont pilotées par les agences locales de l’AFD à l’étranger, avec l’appui de la Division Évaluation et capitalisation.

Ce dispositif mis en place par l’AFD à partir de 2007 présente trois précieux atouts : > La proximité avec les contreparties qui sont impliquées dans le processus évaluatif. L’évaluation participe ici de la démarche d’aide au développement au même titre que la mise en œuvre des opérations. L’un des objectifs centraux des évaluations décentralisées est d’organiser progressivement un dialogue sur les résultats avec les parties prenantes des opérations financées. > La possibilité de recours à l’expertise locale, qui est, autant que possible, privilégiée, afin de bénéficier de sa bonne connaissance du contexte et de soutenir le développement des capacités locales en évaluation. > La diffusion de la culture d’évaluation dans les services opérationnels et auprès des partenaires de l’AFD.

16

É VA LU E R P O U R A M É L I O R E R L E S AC T I O N S D E D É V E LO P P E M E N T

LES ÉVALUATIONS APPROFONDIES

Les évaluations approfondies portent souvent sur des projets innovants.

Leur champ d’analyse est le plus souvent un projet ou un ensemble de projets relevant d’un même secteur ou mettant en œuvre le même instrument financier. L’objectif est d’obtenir des connaissances sur les résultats* et les impacts* d’une intervention et, lorsqu’ils sont établis, de comprendre les mécanismes liant l’intervention à ces résultats et ces impacts. Les évaluations approfondies portent souvent sur des projets innovants ou mettant en œuvre des modèles promus par l’AFD. Ces travaux d’évaluation qui se situent à la croisée des chemins entre la recherche et l’évaluation font appel aux méthodes « basées sur la théorie » et aux méthodes expérimentales et quasi-expérimentales propres aux évaluations d’impact basées sur une comparaison « avec-sans » l’intervention. Une exigence centrale pour l’AFD est l’adéquation de la méthodologie à la nature de l’opération évaluée, l’objectif de l’évaluation et le type de question posée dans l’évaluation.

Les évaluations approfondies sont sélectionnées selon trois critères : • Plus-value de l’évaluation : la question n’a-t-elle pas déjà été traitée par une autre évaluation faite par l’AFD ou par d’autres bailleurs de fonds ? Dans ce dernier cas, à quelles conditions peut-on se contenter des enseignements obtenus par ces évaluations ? Un exercice de revue systématique4 ne permettrait-il pas de répondre à la question ?

• Déficit de preuves (evidence gap) : a-t-on un doute spécifique sur la pertinence ou l’efficacité de l’intervention ? Présente-t-elle un caractère innovant ou est-elle destinée à être reproduite ?

• Évaluabilité : l’intervention est-elle évaluable à un coût raisonnable, y compris en termes d’investissement méthodologique ?

LES ÉVALUATIONS STRATÉGIQUES Les missions de l’AFD sont définies dans des cadres d’interventions (géographiques, sectoriels et transversaux). Ces derniers font l’objet d’évaluations, dans le but d’améliorer la qualité de ces outils de cadrage stratégique. Ces évaluations, tournées vers un objectif d’amélioration des performances des interventions (évaluations formatives*) servent également à rendre des comptes sur la stratégie d’intervention menée par l’AFD dans un secteur, une géographie ou sur une thématique donnée.

4 - Revue de littérature centrée sur une question de recherche qui rassemble, sélectionne et synthétise tous les travaux de recherche et d’évaluation réalisés sur cette question.

17

LES SYNTHÈSES D’ÉVALUATION ET MÉTA-ÉVALUATIONS La Division Évaluation et capitalisation réalise des synthèses d’évaluations de projets par thème, secteur ou zone géographique, destinées à améliorer les opérations grâce aux enseignements tirés des évaluations déjà réalisées. Les méta-évaluations, qui « évaluent les évaluations », permettent quant à elles de jeter un regard critique sur le processus évaluatif et son efficacité en termes de contribution aux besoins de connaissances et de redevabilité.

LES REVUES La Division Évaluation et capitalisation mène également des travaux de revue dont l’objectif est délibérément formatif*. Ils ne répondent donc pas strictement aux critères et méthodologies de l’évaluation, et prennent différentes formes : cartographies, analyses de grappes d’opérations, revue de portefeuille, bilans... Ces revues permettent d’apprécier la performance d’interventions complexes difficilement évaluables (par exemple les projets pour lesquels il n’est pas possible d’isoler la contribution de l’AFD à l’atteinte de ses objectifs de développement : aides sectorielles passant par un fonds commun, aides budgétaires globales ou sectorielles…). Elles se focalisent sur les aspects opérationnels de mise en œuvre et ne cherchent pas autant que les évaluations à apprécier les résultats et l’impact des interventions.

L’évaluation des activités Outre-mer L’AFD a une mission d’accompagnement des politiques publiques de l’État en faveur du développement économique et social Outre-mer. Elle intervient comme opérateur ou comme partie prenante à la mise en œuvre des politiques que la Délégation générale à l’Outre-mer (DéGéOM) a mandat d’évaluer. Ce positionnement spécifique se traduit, en matière d’évaluation, par l’adaptation des critères d’évaluation du CAD, l’intégration des interventions de l’AFD dans le champ couvert par les évaluations conduites par la DéGéOM et la possibilité de se voir confier par elle la réalisation d’évaluations d’impact de politiques publiques menées dans les DOM. Les évaluations des activités Outre-mer visent principalement des objectifs d’apprentissage, d’aide à la décision et de renforcement du dialogue avec les parties prenantes à l’intervention évaluée. Les évaluations concernent (i) les cadres d’intervention géographiques et les parties des cadres d’intervention sectoriels consacrés à l’Outre-mer et (ii) des projets où l’évaluation contribue au partenariat de l’AFD avec les collectivités territoriales et les établissements publics locaux qui les mettent en œuvre. L’évaluation porte alors à la fois sur les concours financiers accordés par l’AFD et sur ses activités d’appui-conseil.

18

É D U C AT I O N - F O R M AT I O N - E M P LO I : L A J E U N E S S E A U C Œ U R D U D É V E LO P P E M E N T

4

LES ENGAGEMENTS DE L’AFD EN MATIÈRE D’ÉVALUATION

POUR LES ANNÉES À VENIR

4 LES ENGAGEMENTS DE L’AFD EN MATIÈRE D’ÉVALUATION

POUR LES ANNÉES À VENIR

AMÉLIORER L’ÉVALUABILITÉ DES INTERVENTIONS L’amélioration de l’évaluabilité des interventions est une priorité de la politique d’évaluation de l’AFD pour les prochaines années. Ceci implique la prévision en amont du démarrage du projet d’un dispositif robuste de suivi et d’évaluation du projet, ainsi que l’amélioration du reporting à l’achèvement pour disposer des informations objectives et quantitatives nécessaires à la réalisation des évaluations. Une intervention évaluable est une intervention dont i) les objectifs* et les dispositifs de suivi ont été clairement formulés dès sa conception et ii) les réalisations et les résultats ont été effectivement suivis tout au long de sa mise en œuvre.

Pour être évaluable, une intervention doit être correctement suivie.

L’amélioration de l’évaluabilité des interventions

est une priorité.

PROGRAMMER LES ÉVALUATIONS DE MANIÈRE PLUS STRATÉGIQUE La programmation des travaux d’évaluation repose sur i) l’identification des champs peu évalués et des priorités stratégique de l’AFD, ii) la consultation avec les services opérationnels de l’AFD et iii) l’application des critères de sélection des sujets à évaluer. Ciblée sur un objectif d’apprentissage, la programmation ne cherche pas à couvrir la totalité des interventions de l’AFD. Le programme d’évaluations s’inscrit dans une perspective triennale et est établi en concertation avec les ministères de tutelles. Il est présenté pour avis au Comité des évaluations de l’AFD avant d’être approuvé par la directrice générale de l’AFD. Conformément aux décisions du Comité interministériel de la coopération internationale et du développement CICID, le programme est intégré dans le programme pluriannuel consolidé de l’évaluation de l’aide publique au développement (APD) française. Le programme est communiqué au CAD de l’OCDE et mis en ligne sur le site de l’AFD.

GARANTIR LA QUALITÉ DES ÉVALUATIONS L’AFD cherche à assurer la meilleure qualité possible aux évaluations. Cela implique : (i) de s’assurer, dès la phase de conception, de la bonne évaluabilité des interventions, (ii) de formuler des termes de référence clarifiant la finalité de l’évaluation et de son contexte et

20

É VA LU E R P O U R A M É L I O R E R L E S AC T I O N S D E D É V E LO P P E M E N T

proposant un nombre restreint de questions évaluatives ; (iii) de sélectionner les prestataires de manière rigoureuse ; (iv) de choisir une approche méthodologique adaptée ; (v) de prévoir la participation de personnes qualifiées au sein du groupe de référence ; et (vi) d’anticiper la restitution et la diffusion des résultats de l’évaluation.

L’Agence s’engage en particulier à améliorer la qualité des évaluations décentralisées en adoptant une programmation plus stratégique et en impliquant les services opérationnels dans la préparation et le suivi de ces évaluations.

Le contrôle qualité est assuré à plusieurs niveaux. Pour les évaluations décentralisées, ce contrôle est assuré par la Division de l’évaluation. Pour les évaluations pilotées par la Division de l’évaluation, le contrôle est effectué par l’évaluateur externe, puis par la Division de l’évaluation assistée du groupe de référence. Le groupe de référence est constitué de représentants des services opérationnels de l’AFD concernés, des parties prenantes à l’intervention évaluée, d’experts du Département de la recherche et de personnes qualifiées extérieures, y compris en matière d’évaluation. Les ministères de tutelle peuvent être invités à y participer. La diversité de sa composition est essentielle pour assurer la qualité et l’indépendance des travaux. Le groupe de référence est consulté aux différentes échéances du travail d’évaluation, pour suivre, commenter, et valider les travaux. Il enrichit, au travers des différents regards et expertises complémentaires de ses membres, le travail de l’évaluateur.

Enfin, le Comité des évaluations se prononce sur la qualité des travaux d’évaluation menés par l’AFD.

RENDRE LES ÉVALUATIONS PLUS UTILES L’AFD est déterminée à renforcer de manière systématique l’utilisation des évaluations qu’elle produit, qu’il s’agisse : 1. d’une utilisation directe, c’est-à-dire d’une utilisation des constats, conclusions et recom­mandations de l’évaluation par les décideurs et parties prenantes ; 2. d’une utilisation conceptuelle, qui vise à contribuer au débat intellectuel en général ; 3. d’une utilisation persuasive de l’évaluation, dans une perspective de plaidoyer.

L’implication des services opérationnels dans le processus évaluatif

est essentielle pour garantir l’utilité des évaluations.

L’utilisation directe à des fins de rétroaction L’un des objectifs principaux de l’évaluation est d’améliorer les opérations grâce à la rétroaction des leçons apprises sur les interventions nouvelles et éventuellement sur les interventions en cours. L’implication des services opérationnels dans le choix des sujets à évaluer, dans la préparation de l’évaluation et dans la conduite des évaluations est une garantie de l’utilisation ultérieure de l’évaluation. L’influence du processus évaluatif sur les acteurs est aussi importante que celle du « produit » final de l’évaluation.

21

Afin de renforcer l’utilisation des évaluations, un

système de réponse aux conclusions et de suivi des recommandations est mis en place.

Afin de renforcer l’utilisation des évaluations, les services opérationnels (Direction des opérations et Division du partenariat avec les ONG) sont tenus de répondre formellement aux conclusions de l’évaluation, de s’impliquer dans la formulation des recommandations et de mettre en place un système de suivi de ces recommandations. Dans certains cas, lorsque l’évaluation débouche sur des conclusions qui peuvent remettre en cause la poursuite d’une activité ou qui suggèrent un changement radical d’orientation, il appartient au Comité exécutif de l’AFD d’apporter la réponse aux conclusions.

Outre ce mécanisme, l’AFD mentionne, lorsque c’est pertinent, les enseignements tirés de l’évaluation dans les notes de présentation des nouveaux projets à ses instances de décision.

Afin de renforcer la rétroactivité entre le suivi des recommandations et l’amélioration des nouvelles interventions, la programmation devra prévoir des évaluations portant régulièrement sur le même objet (thématique et instrument, notamment). Une telle répétition permettra d’apprécier dans les nouvelles interventions la prise en compte des leçons apprises.

La clarté et la concision des rapports seront recherchées pour rendre les résultats plus accessibles.

L’utilisation à des fins de capitalisation La clarté et la concision des rapports est un des critères de qualité des évaluations et permet de les rendre plus accessibles. Chaque évaluation prévoit la production d’une synthèse de 4 pages, donnant lieu à une publication dans la série « Question de développement » de l’AFD. L’AFD organise des restitutions de ces travaux en interne et, lorsque cela est pertinent et possible, dans les pays concernés. En outre, l’AFD communique par différents canaux sur ces travaux, en organisant ou en participant à des événements ponctuels, des séminaires d’échanges de pratiques et à des initiatives prises par d’autres bailleurs et groupes de réflexion au niveau international.

L’AFD publie l’ensemble de ses évaluations, principalement dans deux séries : la série Ex-post, « Évaluations de l’AFD », et la série « Évaluations conjointes ». Certains travaux de la division Évaluation et capitalisation sont également publiés dans les séries du Département de la recherche. Les publications sont diffusées, notamment via le site internet de l’AFD et distribuées gratuitement dans le cadre d’événements organisés par l’AFD ou par d’autres institutions ou bailleurs.

Afin de mieux partager en interne les ressources issues des évaluations, l’AFD compte mettre en place une base de données accessible à tous ses agents permettant d’accéder facilement à tous les rapports d’évaluation.

22

É VA LU E R P O U R A M É L I O R E R L E S AC T I O N S D E D É V E LO P P E M E N T

L’utilisation à des fins de plaidoyer Si toutes les évaluations doivent être publiées, certaines, qui touchent des interventions ou des modèles que l’AFD promeut, sont particulièrement utiles : l’AFD peut vouloir donner une plus grande visibilité à leurs enseignements et mobilisera alors des outils de communication spécifiques. La Division de l’évaluation veille à produire un message équilibré et réaliste et à communiquer autant sur les succès que les échecs qui sont aussi porteurs de leçons.

Les évaluations filmées participent au processus d’évaluation. Elles sont par ailleurs un outil d’information et de formation, également utilisable à des fins de communication, que l’AFD souhaite développer.

Les évaluations conjointes avec les partenaires

sont promues.

TRAVAILLER EN COLLABORATION AVEC SES PARTENAIRES La Division de l’évaluation travaille de manière très étroite avec les unités d’évaluation de ses ministères de tutelle qui siègent à son Comité des évaluations. Les unités d’évaluation, qui sont autonomes, se concertent sur leur programme respectif et les approches et méthodes à mettre en œuvre. Elles réalisent régulièrement des évaluations conjointes des politiques et stratégies française en matière d’aide au développement comme les évaluations pays.

Au niveau européen, la Division de l’évaluation collabore étroitement avec les services d’évaluation de la Commission et des États membres et contribue aux efforts de convergence en matière de pratiques d’évaluation avec la BEI et la KfW, dans le cadre de l’Initiative de reconnaissance mutuelle des procédures.

La Division de l’évaluation promeut les évaluations conjointes avec ses partenaires et joue un rôle d’appui-conseil auprès des structures d’évaluation de ses partenaires privilégiés qui se sont engagés à améliorer leurs propres pratiques d’évaluation. Enfin, elle participe activement aux réseaux de responsables et praticiens de l’évaluation au niveau international, et, au niveau national, en particulier la Société française de l’évaluation (SFE) dont elle est membre, et le collectif F3E (Fonds pour la promotion des études préalables, des études transversales et des évaluations), dédié aux ONG et aux collectivités locales françaises engagées dans les actions de solidarité internationale.

23

ANNEXES

TYPES D’ÉVALUATION

Approche/Méthode

Objectif principal (secondaire)

Projets

Évaluation par rapport aux objectifs (goal-based evaluation), revues (pour les projets complexes)

Amélioration des interventions, dialogue avec les maîtrises d’ouvrage sur les résultats

Évaluations approfondies

Projets, grappe de projets, instruments

Méthodes « basées sur la théorie », méthodes expérimentales et quasi expérimentales

Production de connaissances, (Amélioration des interventions, redevabilité)

Évaluations stratégiques

Cadres d’interventions sectoriels, géographiques, transversaux

Évaluation par rapport aux objectifs, revues

Amélioration des interventions (redevabilité)

Grappe de projets

Méta-évaluation

Amélioration des interventions

Type d’évaluation

Évaluations ex-post de projet

Synthèses d’évaluations

Champ

25

GLOSSAIRE

Efficacité : critère d’évaluation qui permet d’apprécier dans quelle mesure les résultats attendus ont été effectivement atteints.

Efficience : critère d’évaluation qui permet d’apprécier dans quelle mesure les résultats sont obtenus à des coûts « raisonnables ». Évaluation formative : évaluation tournée vers un objectif d’amélioration des performances de l’intervention. Une évaluation formative peut porter sur les interventions achevées mais aussi sur les interventions en cours. Évaluation d’impact : évaluation scientifiquement rigoureuse visant à identifier les effets strictement attribuables à une intervention au moyen d’un contrefactuel, c’est-à-dire en comparant l’évolution d’une population traitée par rapport la situation qui aurait prévalu en l’absence de toute intervention.

Impact (au sens du CAD) : effets positifs et négatifs, directs ou indirects, intentionnels ou non, induits par une intervention.

Intervention : action conduite ou soutenue par l’AFD afin d’induire un changement.

Objectifs généraux (finalités) : changements attendus auxquels l’intervention doit contribuer.

Ils justifient généralement l’intervention.

Objectifs spécifiques : changements souhaités dans la situation ou des comportements des bénéficiaires ou dans leur évolution. Ces changements sont objectivement vérifiables et les réalisations du projet en sont la cause principale.

Pertinence : critère d’évaluation qui indique dans quelle mesure les objectifs de l’intervention correspondent au problème ou aux enjeux identifiés. La pertinence peut intégrer, par extension, la notion de cohérence : mesure dans laquelle l’objectif de l’intervention s’inscrit dans un cadre stratégique plus large.

Réalisations : biens et services produits par l’intervention et mis à disposition des bénéficiaires.

Résultats : changements obtenus qui se situent généralement au niveau de la situation ou des comportements des bénéficiaires, directement induits par l’intervention.

Revue analytique : examen de la performance d’une intervention, portant principalement sur ses aspects opérationnels.

Revue systématique : revue de littérature centrée sur une question de recherche qui rassemble, sélectionne et synthétise tous les travaux de recherche et d’évaluation réalisés sur cette question.

Soutenabilité : mesure dans laquelle les résultats obtenus perdurent une fois l’intervention terminée.

26

CONDITIONS D’ÉVALUABILITÉ

L’AFD réalise des efforts de formation et de contrôle de qualité afin que les interventions respectent les critères d’évaluabilité suivants :

Clairement définis, quantitativement et qualitativement.

Objectifs

Objectifs spécifiques (résultats attendus) et réalisations attendues clairement identifiés, autant que possible quantifiés, dotés de valeurs cibles.

Clairs, univoques et directement liés aux différents niveaux d’objectifs.

Indicateurs

Valeur de départ et valeur cible renseignées pour chaque indicateur de résultat.

Disponibilité, fiabilité, méthodes et fréquence de collecte des informations nécessaires au suivi des indicateurs définies et moyens nécessaires prévus au budget.

Dispositif de suivi décrit.

Suivi Valeur observée des indicateurs de résultats systématiquement comparée à la valeur de départ, aux évolutions précédentes et à l’objectif fixé.

27

PRINCIPAUX TRAVAUX RÉALISÉS ENTRE 2010 ET 2014 DOCUMENTS CLÉS SUR L’ÉVALUATION À L’AFD

Documents accessibles sur les pages « évaluation » du site afd.fr : http://www.afd.fr/home/recherche/evaluation-capitalisation « Programme d’évaluation de l’AFD 2014-2015 », 2014. « Bilan 2013 des activités d’évaluation à l’AFD », 2014. « Politique de l’évaluation de l’AFD », 2013 (également en anglais et en chinois).

PRINCIPAUX ÉVÉNEMENTS

Deuxième séminaire conjoint F3E5-AFD, « Analyser, suivre et évaluer sa contribution au changement social », 5 novembre 2014.

Conférence Idées pour le Développement (ID4D), « Comment favoriser le développement et la sécurité des espaces saharo-sahéliens ? », Paris, 24 octobre 2013 (autour la capitalisation de connaissances et de l’évaluation de 20 ans d’interventions de l’AFD dans le secteur de l’hydraulique pastorale au Tchad).

Séminaire sur le financement de la santé dans les pays en développement, Paris, 27 et 28 mai 2013 (autour de l’évaluation de l’impact du programme SKY au Cambodge et de la recherche évaluative menée sur la gratuité des soins : Abolishing User Fees for Patients in West Africa: Lessons for Public Policy).

Journée d’étude de la Société française d’évaluation, Paris, 28 février 2013.

Premier séminaire conjoint F3E AFD, « L’évaluation en évolution : pratiques et enjeux de l’évaluation dans le contexte de l’efficacité du développement », 15 octobre 2012.

9e Conférence AFD-EUDN6, « Malaise dans l’évaluation : quelles leçons tirer de l’expérience du développement », 26 mars 2012.

Séminaire du NONIE7, Paris, 28-29 mars 2011.

PUBLICATIONS

Les évaluations sont téléchargeables sur : http://www.afd.fr/home/publications/travaux-de-recherche. Évaluations ex-post de projets « Réhabilitation des marchés centraux, les leçons tirées des projets d’Ouagadougou, Mahajanga et Phnom Penh », 2013. « Impacts des projets menés dans le secteur de la pêche artisanale au Sénégal », 2011.

AFD Municipal Development Project in the Palestinian Territories, 2011. Évaluations approfondies (dont évaluations d’impact) « Les évaluations d’impact dans le domaine du développement, état des lieux et nouveaux enjeux », 2014. « Agroécologie : Évaluation de quinze ans d’actions d’accompagnement de l’AFD », 2014.

5 - F3E : Fonds pour la promotion des Études préalables, des Études transversales et des Évaluations.

6 - EUDN : European Research Developpement Network.

7 - NONIE : Network of Networks for Impact Evaluation.

28

É VA LU E R P O U R A M É L I O R E R L E S AC T I O N S D E D É V E LO P P E M E N T

« Évaluer l’impact des instruments financiers en faveur des entreprises », 2014. « Évaluation des lignes de crédit de l’AFD à la Banque ouest-africaine de développement (2000-2010) », 2014. « Étude sur la facilité d’innovation sectorielle pour les ONG (FISONG) », 2013. « Secteur de l’hydraulique pastorale au Tchad. Évaluation et capitalisation de 20 ans d’interventions de l’AFD », 2013 Abolishing User Fees for Patients in West Africa: Lessons for Public Policy, 2013. « Bien assurer la santé ou assurer les biens ? », 2012. « L’assurance maladie dans les zones rurales du Cambodge : sélection adverse en fonction de facteurs observables et non observables », 2012. « Au-delà de la sélection adverse : déterminants de l’adhésion à un programme d’assurance maladie dans les zones rurales du Cambodge », 2012. « Évaluation de l’impact du microcrédit en zone rurale au Maroc », 2012. « Analyse des déterminants de la demande de services financiers dans le Maroc rural », 2011.

Assessing the Effects of Health Insurance: the SKY Micro-Insurance Program in Rural Cambodia, 2010.

Randomized Controlled Evaluation of SKY Micro-Insurance, 2010. « Évaluation de l’impact du programme SKY au Cambodge, Monographies de villages », 2010.

Addressing Development Challenges in Emerging Asia: A Strategic Review of the AFD-ADB Partnership Final Report, Period Covered: 1997-2009, 2010. « Bilan de l’assistance technique à la Fédération des paysans du Fouta Djallon (FPFD) en Guinée : 15 ans d’accompagnement », 2010. Évaluations stratégiques « Évaluation des interventions de l’AFD dans le secteur sanitaire et médico-social Outre-mer », 2014. « Évaluation de la contribution de l’AFD au Fonds de partenariat pour les écosystèmes critiques (CEPF) », 2014. « Évaluation des activités de Coordination Sud dans le cadre de la convention AFD/CSud 2010-2012 », 2014.

Refining AFD’s Interventions in the Palestinian Territories, Increasing Resilience in Area C, 2014. « Évaluation stratégique de projets ONG dans le domaine de la santé (Mali, Burkina Faso, Cambodge) », 2013. « Secteur forestier dans les pays du Bassin du Congo : 20 ans d’intervention de l’AFD », 2011 « Évaluation ex-post de 15 projets ONG à Madagascar », 2011. « La coopération française dans le secteur forestier du Bassin du Congo sur la période 1990-2010. Note de cadrage », 2011..

29

« Évaluation partenariale des projets d’appui à la gestion des parcs nationaux au Maroc », 2011. « Étude des interventions post-catastrophe de l’AFD », 2011. « Adapter les pratiques opérationnelles des bailleurs dans les États fragiles », 2010.

Synthèses d’évaluation « Méta-évaluation des projets ‘‘lignes de crédit’’ », 2012. « Capitalisation des démarches pour la mise en œuvre des projets de formation professionnelle : cas de la Tunisie et du Maroc », 2010. Évaluations conjointes « Évaluation conjointe des prêts Climat à l’Indonésie (Joint Evaluation Indonesia Climate Change Programme Loan [ICCPL]) », 2014. « Évaluation conjointe des opérations d’appui budgétaire au Maroc », 2014. « Plan décennal de développement du secteur de l’éducation du Bénin (PDSE 2006-2015). Évaluation à mi-parcours, évaluation conjointe du gouvernement du Bénin, du ministère danois des Affaires étrangères (DANIDA) et de l’AFD », 2012. « Le rôle de chef de file : l’expérience de l’aide publique au développement de la France », 2011. « Évaluation du Fonds français pour l’environnement mondial (FFEM) », décembre 2011. Évaluations filmées « Municipalités palestiniennes : en quête d’avenir », 2012. « Projet Eau à Soweto, 2005-2010 », 2011. « Construire contre les marées », 2008.

Conférences et séminaires « L’évaluation en évolution : pratiques et enjeux de l’évaluation dans le contexte de l’efficacité du développement », 2014.

Evaluation and its Discontents: Do We Learn from Experience in Development?, Proceedings of the 9th AFD-EUDN Conference 2012, 2012 (publié également en français dans la Revue d’économie du développement).

Autres publications « Rapport conjoint au Parlement sur les évaluations de l’aide publique au développement française, 2010/2012 », 2014. « Bilan des évaluations décentralisées réalisées par l’AFD en 2010 et 2011 », 2013. « Bilan évaluatif de la politique française de coopération au développement entre 1998 et 2010 », 2013. « Bilan des évaluations décentralisées réalisées par l’AFD entre 2007 et 2009 », 2011.

30

Institution financière publique, l’Agence Française de Développement (AFD) agit depuis plus de soixante-dix ans pour combattre la pauvreté et favoriser le développement durable dans les pays du Sud et dans les Outre-mer. Elle met en œuvre la politique définie par le Gouvernement français.

Présente sur quatre continents où elle dispose d’un réseau de 71 agences et bureaux de représentation, dont 9 dans les Outre-mer et 1 à Bruxelles, l’AFD finance et accompagne des projets qui améliorent les conditions de vie des populations, soutiennent la croissance économique et protègent la planète.

En 2013, l’AFD a consacré 7,8 milliards d’euros au financement de projets dans les pays en développement et en faveur des Outre-mer. Ils contribueront notamment à la scolarisation d’enfants, à l’amélioration de la santé maternelle, à la promotion de l’égalité entre les femmes et les hommes, à l’appui aux agriculteurs et aux petites entreprises, au renforcement de l’accès à l’eau, à l’énergie et aux transports. Les nouveaux projets financés contribueront également à lutter contre le dérèglement climatique, en permettant notamment d’économiser 3,3 millions de tonnes d’équivalent CO2 par an.

Agence Française de Développement (AFD) 5, rue Roland Barthes - 75598 Paris cedex 12 FRANCE Tél. : + 33 1 53 44 31 31

www.afd.fr Création : Arc en Ciel • Réalisation : Transylvanie - Juillet 2014 • Crédit photo : © Thinstock, Chris - Fotolia.com.