CCIA No Small Change Francais, in French, WORD

No Small Change Évaluation du succès de votre projet de monnaie communautaire

Le présent rapport a été préparé par NEF dans le cadre du projet de collaboration Community Currencies in Action (CCIA).

CCIA est un partenariat transnational qui vise à développer et fournir des exemples de monnaies communautaires dans de nombreuses régions d’Europe du Nord-Ouest. CCIA promeut le partage des connaissances et des meilleures pratiques pour renforcer la capacité des communautés européennes à constituer des réseaux dynamiques et prospères à même d'offrir des réalisations sociales, économiques et environnementales.

CCIA conçoit, développe et met en œuvre des monnaies communautaires (MC) à travers l'Europe du Nord-Ouest, en proposant un ensemble éprouvé de structures d'appui pour faciliter le développement des MC en Europe du NordOuest et promouvoir leur utilisation comme moyen (politique) crédible d'obtenir des réalisations positives.

CCIA est en partie financé par le programme INTERREG IVB pour l'Europe du Nord-Ouest, un instrument financier de la politique de cohésion de l'Union européenne - Investir dans les opportunités.

Pour en savoir plus sur CCIA, rendez-vous sur notre site Internet : www.communitycurrenciesinaction.eu

Rédigé par : Leander Bindewald et Susan Steed Remerciements : Ruth Naughton-Doe pour ses informations sur la banque de temps de Hull et East Riding et ses précieux commentaires, Mike Unrau pour ses informations sur le Calgary Dollar, Tony Greenham, Becky Booth, Christophe Place, John Newman et Alice Martin pour leurs commentaires.

Sommaire

Introduction

Le présent manuel a été préparé par la New Economics Foundation (NEF), dans le cadre du projet Community Currencies in Action (CCIA) du Programme UE Interreg IVB ENO, pour aider les organisateurs de monnaies communautaires (MC) à tirer le meilleur parti de leur projet en apprenant à évaluer son impact. L'évaluation d'un projet permet d'en clarifier les objectifs et d'obtenir plus facilement appui et financement.

Nous vous aidons à évaluer l'impact d'une MC en appliquant la théorie du changement (TdC), qui s'adapte à un certain nombre de situations. Elle est utilisable au début d'un projet pour définir ses objectifs et aider à évaluer son succès.

Ce manuel commence par une présentation générale de l'évaluation d'impact, avant d'étudier plus en détail la théorie du changement, y compris le processus qui l'accompagne, avec des conseils sur l'organisation d'un atelier permettant de définir précisément les objectifs du projet et de commencer à évaluer les progrès accomplis. Nous étudierons enfin les étapes suivantes à appliquer et le recueil de preuves démontrant la réalisation des objectifs définis dans le cadre du projet de monnaie.

Public intéressé Ce manuel s'adresse à différents publics : Professionnels des monnaies communautaires : que vous gériez une monnaie communautaire ou réfléchissiez à sa création, le cadre défini dans le présent manuel peut vous être utile. Notre approche s'applique à différents niveaux, de la base aux initiatives des collectivités territoriales.

Responsables politiques et investisseurs : vous travaillez pour une collectivité territoriale ou pour l'État et voulez comprendre les réalisations que les monnaies peuvent offrir et comment évaluer ces changements. La diversité des projets de monnaie et des perspectives ne permettent pas de cerner facilement les objectifs de chaque initiative. Notre approche TdC peut vous aider.

Chercheurs et professionnels d'autres domaines : même si elle est axée sur les monnaies, l'approche TdC est utilisable pour évaluer n'importe quel type de projets, surtout s'ils comportent des interactions complexes entre plusieurs acteurs et ont différents impacts sociaux.

Titre

5

Monnaies communautaires Du déclin des économies locales aux problèmes environnementaux, l'argent est au cœur de beaucoup de problèmes mondiaux. De plus en plus de personnes se tournent donc vers d'autres moyens d'échange. La crise financière de 2008 s'est accompagnée d'un essor des bitcoins et autres cryptomonnaies. La dernière décennie a vu des innovations et un intérêt inégalés pour les monnaies complémentaires ou communautaires. Ce domaine n'avait jamais suscité autant d'initiatives, de modèles, de théories et d'espoirs. L'attention médiatique est de plus en plus forte et les responsables politiques s'intéressent de près à l'impact des MC aux niveaux individuel et communautaire.

Les priorités quotidiennes font toutefois souvent passer à la trappe le suivi des objectifs du projet et l'évaluation du succès des MC. Dans certains cas, les objectifs sont flous dès le départ, compliquant l'évaluation. Par ailleurs, les réalisations sociales et environnementales liées à certaines MC se prêtent mal à une mesure économique.

Pour garantir la croissance durable de ce vaste domaine, les professionnels des MC doivent mieux définir leurs objectifs et mesurer leurs progrès.

Titre

6

De l'importance de la preuve du succès L'impact du projet de monnaie doit être mesuré. Sans appréhender clairement les objectifs du projet, la stratégie à mettre en œuvre est aléatoire. Et sans savoir si vous avez réussi à atteindre vos objectifs, vous aurez plus de mal à trouver appui et financement.

Il n'y a pas de méthode idéale pour évaluer votre projet. Tout dépend des ressources disponibles et de ce que vous souhaitez faire des résultats. Le Chapitre 1 porte sur les évaluations d'impact et l'intérêt de la TdC au premier stade de l'évaluation du projet.

Qu'est-ce que la TdC et comment permet-elle de mesurer l'impact d'un projet ?

La TdC est un outil simple, flexible et puissant utilisable à n'importe quel stade d'un projet et avec n'importe quel budget. Dans sa forme la plus simple, la TdC décrit la manière dont votre structure ou votre projet met en œuvre le changement nécessaire pour atteindre les objectifs définis.

Elle se présente sous la forme d'un organigramme ou d'un diagramme montrant les étapes du projet et la manière dont il atteint ses objectifs immédiats et à long terme.

La TdC peut être utile pour plusieurs raisons : Elle permet de clarifier les réalisations attendues. Vous pouvez tester ces réalisations auprès des acteurs, demander leur avis et changer vos plans en conséquence.

Elle vous permet de vous demander si les réalisations visées sont réalistes et de réfléchir à vos hypothèses de changement.

En identifiant les résultats attendus et comment y parvenir, la TdC peut servir de base à la préparation du cadre complet d'évaluation du projet.

La TdC apporte une clarté utile pour les communications avec les acteurs, les utilisateurs ou les partenaires financiers.

Le Chapitre 2 étudie les différents types de TdC. Développement de la TdC dans un atelier Pour développer une TdC, une bonne solution consiste à réunir vos acteurs clés dans un atelier, pour leur permettre de réfléchir et de discuter des objectifs communs du projet et de les décomposer en réalisations de court, moyen et long termes. Le but est de préciser ce que vous souhaitez obtenir. Le Chapitre 3 fournit des conseils pratiques pour organiser un atelier TdC. Vous pouvez choisir d'utiliser les informations fournies de plusieurs manières différentes, pour changer ou réaligner l’axe des activités de votre projet. Elles peuvent servir de base à une évaluation plus rigoureuse ou être adaptées à vos besoins particuliers.

L'intérêt de ce type d'évaluation est de mesurer vos progrès par rapport à des réalisations importantes pour les acteurs. Il s'agira vraisemblablement d'un mélange de réalisations sociales, Titre

7

économiques et environnementales, reflétant ce qui compte pour vos adhérents ou utilisateurs.

Utilisation de la TdC pour le recueil de preuves Une TdC ne prouve pas la réalisation des objectifs recherchés ; elle permet avant tout de les identifier. C'est donc une première étape importante pour préparer l'évaluation complète de l'impact de votre projet. Le Chapitre 4 indique brièvement comment définir la phase suivante de l'évaluation du projet : Quoi mesurer ? Les bonnes évaluations d'impact mesurent ce qui est important et pas simplement le plus facile à compter. Décomposez les réalisations de votre TdC en indicateurs précis et définissez la manière dont vous allez les mesurer à court, moyen et long termes.

Comment mesurer ? Vous pourrez recueillir des données en lançant votre monnaie ou avec des outils personnalisés de recueil de données.

Quand mesurer ? Recueillez des données de référence avant le démarrage de votre projet ou avant que quelqu'un s'associe à votre projet, puis mesurez l'évolution du projet à intervalles réguliers.

Qui impliquer ? Les participants doivent être des représentants de votre projet, sans sélectionner les meilleurs exemples. Est-il possible de mesurer les réalisations par rapport à un groupe témoin d'individus comparables n'ayant pas participé au projet ?

Pour plus d’informations : Pour en savoir plus sur la définition d'un projet de monnaie, consultez notre site Internet : www.ccia.eu.

Titre

8

1.L'évaluation d'impact « Les complexités des causes et des effets défient l'analyse. » Douglas Adams, Dirk Gently, détective holistique 1 Cette première partie étudie les évaluations d'impact et l'utilité de la théorie du changement (TdC). La TdC est un exercice intéressant en soi mais elle doit idéalement servir de première étape dans le cadre de l'évaluation d'un projet.

Les lacunes de l'évaluation Le monde est plein de problèmes : inégalité mondiale, pauvreté et exclusion, chômage, dégradation de l'environnement, qui tournent souvent autour de l'argent. De nombreux lecteurs s'intéressent peut-être déjà à certains de ces problèmes et ont peut-être déjà défini un projet de monnaie communautaire (MC) pour s'y attaquer.

La difficulté, c'est que si les gouvernements, associations, groupes communautaires et individus gèrent des programmes et projets pour essayer de résoudre ces problèmes, peu de données sont disponibles sur ce qui fonctionne. Entre les aspirations des projets et programmes et la preuve que les interventions fonctionnent, il y a souvent un pas qui, dans le domaine des MC, est souvent immense pour plusieurs raisons : •

Trop peu d'études de cas. Très peu de gouvernements ou de grandes organisations investissent dans les systèmes de monnaie. Or, lorsqu'un projet est soutenu par de l'argent public, la pression pour en évaluer l'impact est d'autant plus forte. La plupart des projets étant réduits ou gérés par des organisations de base, les ressources manquent souvent pour en évaluer l'impact, activité qui constitue rarement une priorité. Par ailleurs, les études qui existent sont souvent galvaudées, comme pour la banque de temps Blaengarw du Pays de Galles ou le projet de MC indépendante de la banque WIR en Suisse, qui n'indiquent pas vraiment pourquoi ces projets marchent lorsque d'autres échouent.

•

Des réalisations trop générales pour être mesurées. Les réalisations ou changements à obtenir dans le cadre des projets de MC sont souvent de « haut niveau ». Les projets parlent parfois de changer le système financier et le fonctionnement de l'argent, mais ces hautes aspirations sont difficiles à décomposer en réalisations claires à court terme, mesurables au niveau local. Et dans certains cas, les organisations ne souhaitent pas définir précisément ces réalisations. Pour certaines, l'objectif consiste à participer au changement systémique et à travailler avec d'autres groupes de monnaies pour y parvenir.

•

Difficulté à isoler l'impact des MC d'autres facteurs. Les MC offrent parfois d'autres réalisations. Une partie du succès

est liée à l’adoption des monnaies dans la vie quotidienne des gens. Plus les MC s'intègrent à la vie quotidienne, moins leur rôle est visible et plus le changement est difficile à leur attribuer plutôt qu'à d'autres facteurs ou activités.

•

Des projets multipartites et collaboratifs. Le succès repose souvent sur la réalisation d'un certain nombre de changements. Un projet de monnaie peut parfois servir de catalyseur ou de point de départ pour le changement mais ne suffira pas à lui seul. Les projets impliquent souvent un grand nombre d'acteurs et la participation de nombreux groupes et organisations complique la définition des objectifs et le recueil des données.

Comprendre l'impact Une TdC constitue une bonne manière de réfléchir à l'impact d'un projet. Elle offre un certain nombre d'avantages : elle est utile pour mieux cerner les réalisations du projet et ce qui est réalisable et pour planifier le recueil d’informations de base. Les avantages de la TdC sont recensés dans le Chapitre 2.

Une TdC n'apporte toutefois pas en soi de preuve d'impact. Elle peut être appréhendée comme la première étape d'une évaluation.

Par exemple Nesta, l'association d'aide à l'innovation, la place au Niveau 1 de ses extrants.2 La figure 1 montre comment la TdC peut permettre de clarifier les réalisations visées et de déterminer les données de base à recueillir pour une évaluation complète. La TdC est également compatible avec beaucoup d'autres méthodes d'évaluation. C'est, par exemple, souvent la première étape d'une analyse du retour social sur investissement.3

*Matériau supplémentaire (couche virtuelle montrant le niveau de preuve NESTA et le retour social sur investissement) ici :* Exemples de questions pour les différents cas d'utilisation Figure 1 : Cascade de l'évaluation d'impact

Clarifier les réalisations : des extrants aux réalisations Comme le montre la partie suivante, et comme le suggère le terme TdC, la TdC vise à déterminer ce qui change. Plutôt que de décrire les activités et les résultats produits, l'objectif ici consiste à déterminer en quoi ils sont importants pour les participants. La question « En quoi est-ce important » revient d'ailleurs souvent dans ce manuel et notre boîte à outils car c'est l'essence même de la TdC. Depuis quelques années, la mesure des réalisations a le vent en poupe. Portant autrefois sur les extrants, le suivi et l'évaluation (ainsi que la demande de services) sont utiles pour la gestion et

l'audit de projets. Aujourd'hui, l'objectif consiste plutôt à mesurer (et demander) des changements plus larges et profonds. L'intérêt des extrants ne va plus de soi. Au Royaume-Uni, de nombreuses collectivités territoriales restructurent des services pour les axer sur des réalisations.4 Les bonnes raisons d'étudier les projets en termes de réalisations ne manquent pas. Ils mettent en lumière les axes à long terme d'un projet et les changements visés plutôt que les résultats des activités. Nous allons voir en quoi cela peut s'appliquer aux monnaies ci-après. L'intérêt est d'inciter les organisations à recueillir des données au-delà des extrants (nombre d'utilisateurs ou de transactions) qui sont souvent plus simples à mesurer. Cela ne va pas de soi. Pour la plupart, les organisations devront déployer des outils particuliers pour mesurer les réalisations du projet. Nous y reviendrons dans le Chapitre 4.

Choisir les bons indicateurs Une fois les réalisations définies, vous pouvez les décomposer en indicateurs mesurables. (Nous y reviendrons plus en détails dans le Chapitre 4).

Il est important de bien réfléchir aux indicateurs à utiliser car ils seront probablement différents à court et à long terme. Des compromis seront parfois nécessaires entre ce qui est facile à mesurer et ce qui correspond le mieux aux objectifs à atteindre. Il est évidemment bien plus facile de compter le nombre d’utilisateurs de votre système de monnaie que de dire si elle a eu un impact positif sur leur vie.

Nous encourageons les groupes à recueillir des données sur les extrants et sur les réalisations. À court terme, les extrants peuvent en effet être des indicateurs pertinents pour mesurer la réalisation de certains objectifs. Le nombre d'utilisateurs d'une monnaie et de transactions peut être important pour atteindre l'échelle nécessaire à la réalisation des objectifs à long terme.

Les extrants et réalisations peuvent aussi être contradictoires. Par exemple, la réalisation visée par une banque de temps peut consister à créer de solides réseaux sociaux entre les participants.

Les interactions constituant un moyen de créer ces réseaux, le nombre d'utilisateurs et le nombre de transactions peuvent servir d'indicateur à court terme par rapport à l'objectif défini. Sur le long terme en revanche, les changements positifs apportés par le projet peuvent remettre en cause la pertinence des indicateurs utilisés.

Dans les cas de banques de temps ou de systèmes d'échange local (SEL), on observe qu'après avoir noué de nouvelles relations sociales par l'intermédiaire de la monnaie, les utilisateurs cessent de compter leur temps de travail et de se « payer ». Si vous vous contentez de mesurer les extrants (nombre de transactions réalisées dans la monnaie), vous aurez l'impression de manquer votre but alors qu'en réalité, les réseaux seront tellement solides qu'ils n'auront plus besoin de la monnaie pour exister.

Réalisations/impact L'évaluation d'impact se distingue des autres méthodes d'évaluation des projets par son souci d'identifier la cause du changement (causalité). L'objet de l'évaluation d'impact consiste à comprendre le rôle joué par le projet ou la politique dans la réalisation des objectifs recherchés, et non plus seulement à enregistrer les réalisations. La figure 1 montre la différence entre le recueil des preuves de changement (réalisations) et la certitude que vous/votre projet avez contribué au changement.

Or il n'est pas possible d'étudier précisément l'impact d'une intervention. Vous ne pouvez pas observer le monde sans votre projet. Vous ne pouvez pas savoir avec certitude ce qui ce serait passé si vous aviez agi différemment ou n'aviez rien fait.

Les évaluateurs sont confrontés à deux difficultés majeures : •

L'effet de sélection : les individus, entreprises ou communautés adhérents choisissent généralement de participer au projet. Même si vous mesurez les réalisations « avant » et « après » le démarrage du projet, les changements ne sont pas nécessairement dus au projet. Le programme de dissuasion par la peur constitue un bon exemple. Il reposait sur l'idée que la présentation des réalités de la délinquance aux enfants les dissuaderait d'y plonger.

Les études avant/après semblaient soutenir le programme avec très peu de participants récidivistes. Or, par rapport à un groupe témoin, le taux de récidive s'est avéré supérieur à celui des non-participants. S'il s'agissait de la réalisation principale visée, il aurait mieux valu ne rien faire. 5

•

Particularité du contexte : les projets sont souvent propres à un lieu ou une époque. Même s'il fonctionne dans un secteur géographique ou avec un groupe particulier, un projet ne pourra pas forcément être répliqué ailleurs (validité externe). Il peut être très difficile d'identifier précisément les ingrédients du succès.

Si les méthodes varient, les bonnes évaluations partent d’un questionnement sur la manière dont le changement survient dans le monde et ne surestiment pas l'impact d'un projet. Il est difficile de comprendre ce qui fonctionne ou ne fonctionne pas. Il est important d'étudier rigoureusement la survenue d'un changement et de ne pas formuler d'hypothèses sur l'effet produit. La TdC permet au moins d'étudier et de discuter de l'impact du projet même si vous ne pouvez ou ne voulez pas essayer de revendiquer un lien de causalité.

Qui devrait réaliser l'évaluation ?

Le choix d'évaluer le projet de monnaie en interne, de faire appel à un évaluateur externe ou à une université dépendra des ressources disponibles et de l'objet de votre évaluation (Cf. Figure 2 ci-après). Étude interne •

Pours : solution plus économique. Vous contrôlez le processus et pouvez définir un processus que vous comprenez et que vous pouvez adapter si besoin.

•

Contres : solution moins objective. Voulant vous donner les informations que vous recherchez, les participants peuvent vous fournir des données biaisées. Votre organisation n'a pas forcément l'expertise nécessaire ou l'étude peut mettre sous pression le personnel/les volontaires.

Recours à un évaluateur externe •

Pours : il peut être plus simple d'acquérir l'expertise voulue.

L'étude peut être jugée plus objective si elle est réalisée par un prestataire de confiance. Vous pouvez délimiter l'étude, définir les délais et contrôler les résultats.

•

Contres : cette solution peut être coûteuse. Les prestataires ne sont pas tous du même niveau et il peut être difficile de savoir ce que vous recherchez. La relation commerciale peut affecter l'objectivité. Les organisations peuvent avoir du mal à appliquer la méthodologie d'évaluation une fois l'étude terminée.

Partenariat avec une université •

Pours : le financement est normalement déjà prévu. Les études universitaires sont considérées comme objectives et impartiales. Les universités ont la rigueur et l'expertise nécessaires et peuvent parfois développer des méthodes personnalisées.

•

Contres : le travail et les études des universitaires n'ont souvent rien à voir avec le type d'informations recherché par les projets de monnaie. La procédure peut également paraître longue. Le processus et les délais peuvent être difficiles à contrôler et les règles suivies par le milieu universitaire peuvent générer retards et bureaucratie.

Les trois options peuvent toutefois être combinées. Vous pouvez payer une formation proposée par des évaluateurs externes, travailler avec un étudiant pour recueillir des données sur certaines réalisations et procéder vous-même à l'essentiel de l'analyse.

Le choix du prestataire dépendra également de l'objet de votre étude.

Figure 2 : Objet d'une évaluation

Cette partie propose un tour d'horizon de l'évaluation d'impact.

Beaucoup d'organisations n'auront pas à entrer plus en détail dans la mesure d'impact. Mais si vous réfléchissez en amont à ce que vous essayez de faire, aux changements que vous pouvez raisonnablement espérer et à la manière de recueillir des données en cours de route, vous pourrez, par la suite, gagner du temps et de l'énergie.

2.Qu'est-ce que la théorie du changement ? « ToC thinking is viewed as one approach to help people deal positively with the challenges of complexity. » (L'approche de la théorie du changement permet d'aborder la complexité de manière positive) Isabel Vogel6 Pourquoi appliquer la théorie du changement (TdC) ?

Plusieurs raisons peuvent vous inciter à appliquer la TdC : de la mise en place d'un cadre d'évaluation à la clarification des objectifs des acteurs.7 Les avantages suivants sont les plus courants dans le cadre des initiatives de monnaie communautaire (MC) : Clarifier les réalisations des projets de monnaie. Cet aspect est très important pour le développement du projet, pour mieux décider de l'affectation des ressources et communiquer auprès des utilisateurs, investisseurs et autres acteurs.

Voir si les réalisations définies sont réalistes et étudier les hypothèses de changement, en s'appuyant parfois sur des preuves existantes, le cas échéant. Il peut s'agir aussi des retours des participants sur le terrain sur le projet de monnaie. Le projet peut offrir des réalisations qui n'étaient pas forcément l’objectif principal au départ.

Développer un cadre complet d'évaluation. La TdC est une première étape dans le cadre de l'évaluation, suivie par le développement d'indicateurs et de moyens de mesurer les progrès accomplis par rapport aux réalisations définies.

Quand appliquer la TdC ?

La TdC peut servir à n'importe quel stade d'un projet : de l'idée de départ à l'évaluation d'un projet de monnaie déjà bien établi. La procédure différera légèrement selon le stade du projet auquel elle est appliquée.

Regarder en arrière pour évaluer : beaucoup de personnes souhaiteront utiliser la TdC pour définir leur stratégie d'évaluation.

Elles consacreront éventuellement plus de temps à la définition d'indicateurs mesurant les progrès accomplis par rapport aux réalisations définies.

Regarder en avant pour planifier : une TdC peut également être utile en phase de planification. Beaucoup de groupes peuvent avoir l'intention de lancer une MC mais sans savoir quel type de monnaie mettre en place. Dans ce cas, l'intérêt consiste plutôt à

appréhender ce que les acteurs souhaitent et les ressources disponibles pour mettre en œuvre le projet. Les activités peuvent alors être définies.

Les projets peuvent se trouver à n'importe quelle étape intermédiaire. Un projet de monnaie peut utiliser une TdC pour définir une stratégie d'avancement et impliquer les acteurs dans la définition des étapes suivantes.

Différents types de TdC Les méthodes d'application de la TdC sont variables, qu'il s'agisse du type de questions posé ou de la présentation des résultats. 8 Elles présentent toutefois des similitudes synthétisées dans l'Encadré 1 : Composantes de la TdC ci-après.

Les réalisations définies peuvent vous servir à évaluer les progrès accomplis ou à réfléchir au type de monnaie à mettre en place.

L'approche de la TdC présente des parallèles avec le développement d'une « carte des impacts » pour les évaluations ou d'un « cadre de réalisations » pour les prestations demandées (Cf. glossaire).

[Encadré] Encadré 1 : Composantes de la TdC adaptées du texte d'Isabel Vogel9 Contexte de l'initiative monétaire But ou vision de la monnaie Acteurs qui bénéficieront du changement à long terme Processus ou séquence (du court au long terme) du changement Hypothèses sur la réalisation des changements Schéma et synthèse présentant le résultat de la discussion.

[Fin] Rôle des différents acteurs Notre approche vise à identifier les bénéficiaires d'un projet ou d'une politique. Les évaluations demandées par le gouvernement parlent souvent de bénéfices pour « le Royaume-Uni » ou pour « l’économie » sans préciser exactement les bénéficiaires et les payeurs. Des informations importantes peuvent ainsi être cachées comme, par exemple, des politiques régressives.10 Il est donc important d'identifier clairement les acteurs et les bénéficiaires d'un projet, sachant que tout le monde n'attache pas la même importance aux mêmes choses, notamment selon la situation et la culture.11 Identification de réalisations inattendues L'évaluation des changements apportés par votre projet de MC doit intégrer les réalisations attendues et inattendues ainsi que les réalisations positives et négatives.

Les réalisations inattendues peuvent être positives. Par exemple, le projet belge E-Portmonnee (porte-monnaie électronique) avait pour principal objectif de réduire les déchets et d'encourager les comportements respectueux de l'environnement. En discutant avec un employé municipal sur le terrain, l'équipe de projet s'est toutefois rendu compte que le projet permettait également de mieux connaître les résidents participants qui se déplacent pour chercher et utiliser leurs points. Les évaluateurs auraient pu passer à côté de cette réalisation positive s'ils n'avaient pas parlé à tous les acteurs.

Les effets inattendus peuvent bien sûr aussi être négatifs. Par exemple, une étude de Ruth Naughton-Doe sur la banque de temps mise en place avec les sans-abris de Londres et du Pays de Galles a montré que certains utilisateurs se sentaient stigmatisés en utilisant des billets en temps plutôt que de l' « argent normal ».12 Les réalisations négatives sont plus difficiles à identifier et à entendre pour les organisateurs du projet, les personnes affectées négativement par le projet n'étant pas forcément les personnes que vous inviteriez spontanément à un atelier. D'où l'intérêt d'un partenariat avec une université ou un évaluateur externe qui pourra obtenir un retour plus impartial et équilibré des participants.

Il est difficile pour les organisations d'être honnêtes sur ce qui ne marche pas alors qu'elles doivent se battre pour obtenir des financements. Or, il est important d'être honnête et de faire profiter les autres de ce qui s'est mal passé dans le cadre du projet outre les réussites. Une fois que vous avez identifié l'impact réel du projet, vous pouvez prendre des mesures pour limiter les éventuelles conséquences négatives.

Quelle est la différence entre une TdC et un modèle logique ?

Dans ce manuel, la TdC désigne un schéma présentant globalement ce que vous souhaitez changer et les pré-requis pour y parvenir. Il est, pour nous, essentiel d'y associer vos acteurs clés.

Ce type de processus peut être désigné par d'autres termes : modèle logique, storyboard et carte des impacts. S'ils sont souvent utilisés indifféremment, ces termes désignent pourtant des concepts différents même si tout le monde n’appréhende pas les différences de la même manière.

La TdC a été développée pour appréhender des initiatives complexes difficiles à présenter dans un modèle linéaire de changement.13 Les TdC visent à clarifier les hypothèses de changement. La manière dont nous abordons la TdC ressemble à la description des modèles logiques. Pourtant, le but est de clarifier les réalisations et de comprendre comment le changement survient plutôt que de décrire comment une initiative fonctionne pour mettre en place les changements.

Si on vous demande de préparer une TdC pour un investisseur potentiel, il peut être bon de préciser exactement ce qu'il souhaite, plusieurs personnes utilisant des termes similaires pour désigner des réalités différentes.

La TdC comme point de départ L'approche de la TdC a aussi ses limites. Les MC fonctionnent dans des systèmes comportant des interactions complexes difficiles à faire figurer dans une TdC. La tentation peut être grande d'utiliser plutôt un modèle linéaire de changement pour présenter le projet.

Les responsables politiques doivent aussi être prudents lorsqu’il s’agit d’appliquer les résultats d'un projet de monnaie à une autre région, les MC étant propres à un contexte. Ce qui fonctionne quelque part ne fonctionnera pas nécessairement partout.

La TdC constitue toutefois un bon point de départ. L'Institut Aspen la qualifie de « brainstorming session that should set the stage for more intense work after the meeting » (session de brainstorming préparant le terrain pour un travail plus approfondi). 14 Le Chapitre 3 étudie l'organisation d'un atelier de TdC, mais ce n'est qu'un début. Un atelier bien animé peut soulever des questions, que nous présentons en partie dans le schéma de la Figure 4 ci-après. Vous pouvez en discuter plus en détails avec les participants et d'autres acteurs et ajouter d'autres réalisations et pré-requis.

3.Guide pratique de la théorie du changement « An ounce of practice is generally worth more than a ton of theory. » (Une once de pratique vaut généralement plus qu'une tonne de théorie) E.F. Schumacher

L'application de la théorie du changement (TdC) à un projet donné peut, à première vue, sembler décourageante. Ce chapitre décrit comment nous avons appliqué la méthode à des ateliers sur notre monnaie pilote Community Currencies in Action (CCIA) pour rendre la méthode la plus intelligible possible et vous permettre de la réutiliser facilement. Nous espérons qu'avec l'aide de notre boîte à outils, vous arriverez facilement à organiser un atelier sur la TdC et à réfléchir aux résultats.

Attentes Avant de planifier votre atelier, réfléchissez précisément à ce que vous voulez obtenir. Informez-en les gens que vous voulez solliciter et vérifiez que tout le monde a les mêmes attentes. Puis attelezvous à l'organisation pratique : fixez une date, retenez le lieu de la réunion et invitez les participants. N'oubliez pas que l'atelier peut être perçu par la plupart des invités comme une charge de travail supplémentaire. Communiquez clairement sur l'intérêt de leur participation pour la cause commune. Prévoyez suffisamment de temps mais sans immobiliser les participants trop longtemps non plus. Il s'est avéré qu'une réunion de 2,5 à 3,5 heures peut convenir suivant le nombre de participants attendus et votre aisance à animer un groupe. Vous pouvez également organiser une série de réunions plus courtes si vos acteurs peuvent se rencontrer régulièrement.

Objet de votre atelier de TdC L'atelier peut être plus ou moins organisé avec les deux objectifs suivants : a) Préparation d'un programme d'évaluation La TdC indique au chercheur ou à l'évaluateur les réalisations concrètes d'un projet ou d'une initiative. Elle permet ainsi de réfléchir aux réalisations visées de plusieurs points de vue au lieu de partir d'hypothèses générales que chacun peut avoir sur un programme de MC. b) Planification du projet en amont ou à des points stratégiques D'autres sources15 ont présenté la TdC principalement comme un outil de planification stratégique. Elle peut ainsi vous permettre de

réfléchir à vos activités, à vos communications, à l'affectation des ressources et à l'engagement des acteurs de manière plus ciblée.

En tout état de cause, la clarification apportée par la TdC s’accompagne d’une vision nouvelle et approfondie des activités et ambitions de votre projet.

Qui inviter ?

Il n'y a pas de « mauvais » participants mais vous devez surtout inviter les personnes qui seront affectées par votre projet ou qui sont concernées par la planification. Les invités qui comprennent et partagent l’objectif de l’atelier apporteront des contributions intéressantes.

L'organisation de votre atelier dépendra de plusieurs facteurs : par exemple le secteur d'intervention de vos participants, leur planning ou leur niveau d'implication dans le projet.

Si vous êtes sûr(e) de pouvoir réunir les participants à une heure qui leur convient, vous avez intérêt à réunir le groupe d'acteurs le plus large possible. La diversité des points de vue enrichira le panorama général. C'est grâce aux perspectives et aux expériences de ceux qui ne sont pas régulièrement impliqués dans le projet mais sont directement ou indirectement affectés par vos activités que vous pourrez vous faire une idée réaliste du projet. Il pourra s'agir des personnes et organisations qui utilisent la monnaie, d’investisseurs, de représentants de la communauté et d’employés d’organisations partenaires.

Le nombre de participants affectera l'organisation pratique de l'atelier. Vous pourrez faire intervenir trois à 20 personnes. Un groupe plus important serait très difficile à encadrer dans un lapse de temps limité. Même les présentations prendraient trop de temps.

La TdC ne passe pas nécessairement par un atelier complet d'acteurs. Si vous n'avez que quelques personnes à solliciter à ce stade du projet, vous pourrez organiser un autre type de rencontre.

Organisation Les éléments clés présentés ici devraient être faciles à adapter à vos besoins.

L'une des méthodes les plus courantes pour animer la TdC est la technique du « storyboard ». Il s'agit de présenter le scénario de votre projet dans un schéma ou une image pour animer la discussion, encadrer les participants et pré-structurer les résultats que vous devrez obtenir.

Le storyboard utilisé (et enrichi pendant l'atelier) peut partir de deux feuilles blanches de tableau de conférence accrochées au mur ou d'un grand tableau blanc.

Les différents éléments du scénario seront enrichis petit à petit avec les contributions des participants, pour dresser un panorama commun et vous aider à rédiger le compte rendu de l'atelier.

Vous pouvez recueillir les idées des participants sur des post-it ou les noter vous-même. Vous pourrez faire les deux. Vous pouvez, avec l'accord des participants, enregistrer les interventions.

Il est toujours bon d'utiliser plusieurs modes de communication pendant un atelier. Vous pouvez animer une discussion avec l'ensemble des participants et les faire travailler en petits groupes, pour maintenir leur attention. Une pause, avec des rafraîchissements, au bout d'une heure et demie maximum, sera utile pour rafraîchir les corps et les esprits.

Logistique et installation de la salle L'organisation d'un atelier de TdC n'est pas plus difficile ou laborieuse que pour n'importe quelle réunion. Ceci dit, plus vous vous consacrerez à la planification et à la préparation de l'atelier, et plus vous aurez de chance d'obtenir des résultats utiles et moins vous aurez de travail pour rédiger le compte rendu.

Lorsque vous invitez les participants, vous devez tenir compte de leurs emplois du temps et trouver un moment qui convienne à la majorité. L'installation de l'atelier peut affecter son succès et sa qualité. Misez sur une salle informelle, lumineuse, sobre et spacieuse. Il est souvent bon de prévoir de l'espace pour constituer des petits groupes.

L'installation la plus évidente, comme pour beaucoup de conversations, consiste à former un cercle dans lequel tous les participants se font face. Vous accrocherez probablement votre storyboard au mur de manière à ce que tout le monde le voie.

Les équipements seront assez simples : un tableau de conférence, des post-it ou cartes, un marqueur pour chaque participant et de quoi accrocher des feuilles au mur (patafix, punaises ou ruban adhésif).

Un appareil photo pourra être utile pour photographier les feuilles au mur à la fin de l'atelier. Vous pourrez aussi prévoir une sonnerie agréable pour rappeler les participants après la pause-café.

Déroulement typique d'un atelier Comme indiqué précédemment, le storyboard, décrivant les réalisations de votre projet à court, moyen et long termes, sera le

principal résultat de votre atelier. On prévoit habituellement trois feuilles blanches (pour le court, le moyen et le long terme) accrochées l'une à côté de l'autre pour montrer que les réalisations à court terme sont nécessaires aux réalisations à moyen terme qui précéderont les réalisations à long terme.

Ces objectifs pourront être précisés par d'autres informations, indiquées sur d'autres feuilles de papier : 1) Liste de tous les acteurs : recenser, au début de l'atelier, la liste de tous les acteurs du projet sur une feuille à part accrochée à gauche du storyboard, incluant les participants éventuels à votre atelier et, plus important encore, les acteurs qui ne sont pas directement représentés. Les participants verront ainsi les effets en chaîne d'un projet sur différentes personnes. Les participants verront aussi que les effets positifs du projet pourront être liés aux contributions de nombreux intervenants.

2) Liste de toutes les activités : pour être sûr(e) de bien cibler les réalisations, dressez la liste complète de toutes les activités concrètes d'un projet. Cet exercice permettra à tout le monde de travailler avec les mêmes activités en tête de manière à traiter de la question posée sans laisser d'autres idées parasiter la conversation. Les activités recensées pourront être consultées au moment de discuter des réalisations.

3) Espace pour la vision : à l'autre extrémité du storyboard, prévoyez un espace pour les ambitions ou visions de très haut niveau de votre projet, que vous pouvez recenser avant de commencer à parler des réalisations. Elles seront souvent très proches de vos réalisations à long terme mais il sera bon de leur consacrer un espace pour revoir à la baisse vos réalisations de manière à les rendre réalistes et mesurables.

Pour renseigner les trois niveaux de la TdC, vous pouvez scinder les participants en plus petits groupes de discussion pour les objectifs à court, moyen et long termes. Plusieurs solutions sont possibles : vous pouvez organiser trois groupes, travaillant, par exemple, sur les étapes avec lesquelles ils se sentent le plus à l'aise suivant leur durée d'engagement dans le projet, ou vous pouvez créer des groupes mixtes proposant des idées pour chacune des étapes, pour permettre aux participants d'articuler leurs idées sur chacune des trois étapes.

Les groupes travailleront normalement pendant 10 à 15 minutes, en laissant suffisamment de temps aux groupes pour présenter leurs idées, chaque participant pouvant intervenir à tout moment. En votre qualité d'animateur, vous devez tout écouter et noter tout ce qui doit être écrit. Maintenez l'attention des participants sur la tâche principale tout en prévoyant du temps pour étudier suffisamment en détail chacune des suggestions.

Conseils et résolution des problèmes En invitant différents acteurs à votre atelier, vous avez l'occasion unique d'avoir différents points de vue sur votre projet. À cet égard, n'oubliez pas que les participants qui acceptent votre invitation sont là pour vous aider. Rendez-leur en les traitant, eux et leurs points de vue, comme des apports importants et écoutez-les.

Puisqu'ils vous consacrent du temps, soyez clair(e) sur ce que vous leur demandez et pourquoi. Au début de l'atelier, un tour de présentation est important, même si peu de participants ne connaissent pas tout le monde. Demandez aux participants de se présenter, de présenter leur rôle ou leur engagement dans le projet et leur motivation à participer à l'atelier de manière à ce que tout le monde se sente à l'aise. Un simple exercice de chauffe peut aider les participants à se sentir inclus et à participer activement à l'atelier.

La première tâche d'un animateur consiste à obtenir des réponses franches et concises et à canaliser le débat vers les objectifs de la réunion. Ce faisant, il est facile de marcher sur les pieds d'un participant, surtout lorsque le temps manque et lorsque l'attention doit se porter sur différentes tâches (noter les interventions et vérifier l'état de la discussion par rapport à l'ordre du jour). Il peut être utile d'avoir au moins deux co-animateurs, en précisant le rôle de chacun tout au long du processus et en se consultant régulièrement, notamment lorsque les participants se mettent en groupes ou à l'occasion des pauses-café.

Même lorsque les tâches et les questions paraissent simples, les hasards et méandres d'une conversation ou les idées des participants devront être recadrés suivant les objectifs de l'atelier.

Par exemple, pendant un atelier de TdC, les réponses portent souvent sur des activités ou extrants plutôt que sur des réalisations.

Des questions ou rappels simples permettent de remettre la discussion sur les rails. La question la plus importante est la suivante : « En quoi est-ce important ? » C'est lorsque vous n'avez plus à poser cette question que vous êtes sûr(e) d'avoir une vraie réalisation.

Par exemple : Q : Quel est votre objectif à moyen terme ?

R : Un volume plus important de transactions dans le cadre de la banque de temps.

Q : En quoi est-ce important ?

R : Parce que ça indique que les gens participent davantage à la banque de temps.

Q : Mais pourquoi faut-il davantage d'activités pour votre projet ou les participants ?

R : Parce que les gens se sentent plus utiles et valorisés et gagnent en estime.

Analyse et réévaluation À l'issue de votre atelier, vous devez avoir le sentiment d'avoir réuni les bonnes personnes et vous sentir prêt(e) à mesurer vos réalisations et évaluer votre impact. Ou, si votre atelier a été organisé au tout premier stade du projet, vous devriez être motivé(e) pour commencer à travailler sur votre monnaie. L'atelier a pu toutefois soulever des questions vous obligeant à réévaluer la suite des événements. C'est une réalisation importante qui peut vous faire gagner ensuite beaucoup de temps. Vous devez tirer des leçons des remarques des participants et de votre propre analyse de l'atelier.

Si vous lancez un nouveau projet, vous pourrez vous poser les questions suivantes : •

Qui est venu ? Avez-vous réussi à faire venir les bonnes personnes et les bons partenaires ? Auriez-vous souhaité faire venir des acteurs qui ne sont pas venus ? Pourquoi ?

•

Avez-vous les bonnes ressources et les bonnes conditions pour atteindre vos objectifs ? Que faut-il d'autre ?

•

Pensez-vous avoir le bon modèle de monnaie et le bon projet pour les réalisations articulées ?

•

Quel impact ont des modèles similaires ailleurs et quels projets ont atteint vos objectifs ? (Par exemple, de nombreux groupes souhaitent suivre le modèle des monnaies locales des territoires en transition adossées à la livre sterling du fait de leur succès rapide et de l'engouement médiatique qu'il a suscité. Maintenant que vous êtes mieux armé(e) pour réfléchir à vos objectifs stratégiques, peut-être que d'autres modèles conviendraient mieux ?)

Bien plus complexes que beaucoup d’autres projets communautaires, le lancement et la gestion d'une monnaie communautaire demandent beaucoup de travail.

Soyez réaliste dans vos objectifs. Il sera difficile de changer votre modèle de monnaie en cours de route. La définition de jalons clairs vous aidera à réfléchir et à adapter votre progression. Le recueil de données par rapport à vos réalisations vous aidera à voir où vous en êtes ou à quel point vous vous êtes éloigné(e) de vos objectifs.

Une évaluation sérieuse mesurant les réalisations permet d'éviter les échecs, la perte d'énergie et la dispersion des ressources. Le développement communautaire est émaillé de nombreux échecs de projets de monnaie. Faites attention à ne pas en faire partie !

Rédaction de votre TdC Après avoir recueilli les informations des acteurs à l'occasion de l'atelier TdC, vous devez trouver une logique dans ce qui s'est dit et synthétiser les réponses dans un document TdC. Si vous avez sollicité des chercheurs pour procéder à l'évaluation, vous devez travailler avec eux.

S'il vous reste du temps pendant l'atelier, demandez aux participants de regrouper les réalisations proposées par thèmes sur les feuilles de court, moyen et long termes. Ou il peut être bon de le faire plus tard. Finalement, ce que vous voulez, c'est une image ni trop complexe, ni trop confuse ou simpliste de la manière dont le projet doit apporter des changements. Ces extrêmes pourraient remettre en cause la valeur de la TdC aux étapes suivantes de l'évaluation, présentées au Chapitre 4.

Dans la plupart des cas, le document fini de TdC se présente sous forme d'organigramme, reliant les réalisations à court, moyen et long termes. Ces réalisations peuvent être regroupées de différentes manières, selon les acteurs concernés ou le contexte socioéconomique.

L'importance relative de chaque changement vous indiquera ce que vous devez garder et ce que vous devez laisser de côté. Seul ce qui compte vraiment ou se trouve au cœur du projet doit être inclus à la présentation globale de la TdC. Des exemples de TdC du projet CCIA sont présentés ci-après ou sur le site Internet CCIA. Les ateliers n'ont pas tous été organisés de la même manière, selon les projets de monnaie, aboutissant à des différences de groupement et de présentation des réalisations dans les documents finaux.

Suivant les personnes auxquelles vous souhaitez soumettre la TdC, une représentation graphique pourra suffire. Dans d'autres cas, il pourra être intéressant de préparer un rapport plus détaillé de plusieurs pages, présentant d'autres éléments recueillis pendant l'atelier (acteurs, activités, buts/visions) et des points clés ou interventions que vous souhaitez conserver.

Exemple de TdC

Théorie du changement : TradeQoin – Réseau coopératif d'échanges entre entreprises

Théorie du changement : Crédits-temps à Ely & Caerau et à Blaengarw

Pour en savoir plus sur la définition d'un projet de monnaie, consultez notre site Internet : www.ccia.eu.

4.Évaluation du projet : de la théorie à la preuve du changement « The measure of intelligence is the ability to change. » (L'intelligence se mesure à notre aptitude à changer) Albert Einstein

Ce chapitre explique comment tirer le meilleur parti des enseignements de l'atelier TdC (théorie du changement). Comme indiqué précédemment, une TdC constitue un bon point de départ pour définir les réalisations visées par un projet. Rien ne prouve toutefois qu’elles se sont concrétisées. La prochaine étape consiste donc à mesurer les réalisations.

Mesure Le rapport TdC doit identifier clairement les réalisations ou changements attendus. Commencez par vous poser des questions simples sur la manière de mesurer ces réalisations : •

Quoi ?

•

Comment ?

•

Quand ?

•

Qui ?

Quoi mesurer : décomposition des réalisations en indicateurs L'atelier TdC a dû vous aider à identifier les objectifs et réalisations principaux de votre projet. Pour être mesurées, ces réalisations sont souvent décomposées en indicateurs. Des indicateurs sont proposés, à titre d'exemple, dans l'Encadré 2 : Calgary Dollars.

Il est toujours préférable de relier le plus possible les indicateurs aux réalisations importantes pour vos acteurs en lien avec votre TdC. Axez votre analyse sur ce qui change et pas simplement sur des données basiques comme le nombre d'utilisateurs ou de transactions.

Dans la pratique, vous devrez éventuellement faire des compromis.

Si vous travaillez avec un investisseur ou un gouvernement avec des objectifs propres, vous risquez de recueillir en priorité les données qui les intéressent eux. Vous aurez parfois l'impression que votre projet en pâtit, notamment si vous devez poser aux utilisateurs des questions qu'ils jugeront indiscrètes. Faites preuve de bon sens pour concilier des intérêts contradictoires.

Il pourra être intéressant de recueillir des données démographiques de base sur vos utilisateurs (âge, origine ethnique, handicap) parce

que les investisseurs voudront savoir qui bénéficie du projet. Vous pourrez ensuite rapprocher vos données des résultats du recensement pour vérifier que votre banque de temps est représentative de la population locale.

[Encadré] Encadré 2 : Calgary Dollars : développement d'indicateurs clairs Les Calgary Dollars (C$) sont une monnaie communautaire qui rentre dans l’appellation des dollars canadiens (sans être adossée sur eux). Les entreprises participantes peuvent choisir d'accepter des C$ pour 25 % à 100 % du prix de leurs biens et services.

Le projet s'est lancé dans un processus d'évaluation, pour rendre compte aux investisseurs et évaluer le niveau de réalisation des objectifs. L'organisation a commencé par définir un modèle de TdC décomposant les réalisations à long terme en étapes évaluées au moyen d'indicateurs.

Plusieurs aspects intéressants se dégagent : •

Ce qu'ils mesurent : l'une des réalisations à long terme est la suivante : « Calgarians have adequate incomes to sustain their families and participate fully in their communities ». (les habitants disposent de revenus suffisants pour faire vivre leur famille et participer pleinement à la vie de la communauté). Le Tableau 1 présente une réalisation à moyen terme (et les indicateurs associés) permettant d'atteindre cet objectif à long terme. Les données recueillies vont au-delà de la mesure du niveau de transactions, avec des réalisations qui auraient été complètement ignorées si seuls les C$ en circulation avaient été mesurés. En effet, l'utilisation de C$ augmente la réserve de dollars canadiens et consolide les réseaux sociaux, permettant aux habitants de mieux vivre sans dollars.

•

Quand ils mesurent : pour utiliser des C$, les participants doivent remplir une enquête permettant de recueillir des données de base. Tous les participants font l'objet d'une nouvelle étude chaque année dans le cadre de la gestion de la monnaie. La première enquête a un excellent taux de réponse de près de 100 % et la deuxième un taux de plus de 60 %.

[Fin]

Tableau 1 : Calgary Dollars – réalisations à moyen terme et indicateurs

Réalisation à moyen terme

Indicateurs

Méthode de recueil des données

Les participants acquièrent du capital avec les C$ gagnés et dépensés

C$ et dollars canadiens gagnés/dépensés par les participants dans le cadre des transactions avec des C$

L'enquête pose des questions objectives sur :

Perceptions de l'effet des C$ sur le capital économique des participants

- le nombre de C$ dépensés/reçus - le nombre de dollars canadiens reçus dans le cadre des transactions avec des C$ - le nombre de biens et services échangés sans transaction monétaire.

L'enquête pose également des questions subjectives sur le ressenti des participants par rapport à l'argent - après avoir commencé à utiliser des C$, 63 % des participants ne se préoccupent plus ou se préoccupent rarement d'argent.

Comment mesurer : recueil intégré de données Vous pouvez recueillir des données de plusieurs manières différentes, certaines pouvant être très fastidieuses. Nous encourageons les organisations à trouver le moyen de recueillir des données utiles pour vous, vos utilisateurs, votre personnel et les volontaires.

Vous pouvez éventuellement recueillir des données dans le cadre des activités quotidiennes du projet au lieu d'en faire une activité à part entière, mais ce n'est pas toujours possible. Réfléchissez aux rendez-vous prévus avec les utilisateurs pour voir si vous pouvez en profiter pour recueillir des données sur les réalisations. Par exemple, Paxton Green au sud de Londres a prévu quelques questions rapides de bien-être dans le formulaire rempli par tous les adhérents. Dans le cadre de la banque de temps de Hull et East Riding, les adhérents doivent répondre à un questionnaire complet sur les réalisations (Cf. Encadré 3 : Banque de temps de Hull et East Riding ci-après).

[Encadré] –Encadré 3 : Banque de temps de Hull et East Riding – recueil intégré de données Depuis son lancement il y a deux ans, la banque de temps de Hull et East Riding recueille des données auprès de tous les nouveaux adhérents au moyen d'enquêtes avant et après.

Les enquêtes ont été préparées à l'occasion d'un atelier avec neuf courtiers en temps de l'ensemble du Royaume-Uni, afin de bien mesurer le changement.

Les enquêtes mesurent des données quantitatives sur les réalisations suivantes :

• • • •

Contacts sociaux liés au bien-être Capital social/réseaux sociaux Niveau de participation Motivations et bénéfices de l'adhésion.

Des questions qualitatives sont aussi prévues pour permettre aux adhérents de faire des observations sur leurs attentes ou des suggestions sur les améliorations à apporter au projet.

Préparées par Ruth Naughton-Doe16, elles sont utilisables dans d'autres projets de MC à condition d'en demander l'autorisation à l'auteur.

Conscient de l'intérêt du recueil de données, le coordinateur de la banque de temps de Hull et East Riding était prêt à expliquer l'importance de l'étude aux adhérents. L'étude a donc été intégrée à la réalisation du projet avec un questionnaire à remplir par tous les nouveaux adhérents, permettant d'obtenir un taux de réponse de près de 100 %. Le courtier a également consacré du temps au recueil de données de suivi, avec un taux de réponse de 35 %, qui devrait augmenter avec la montée en puissance de la banque de temps.

[Fin] Il convient de noter que le recueil de données au moyen d'une enquête « avant/après » prend du temps et nécessite de l'expertise pour analyser les résultats. Avant de lancer ce type de processus, le personnel (et/ou les volontaires) doit participer à la conception et la méthode de recueil définie doit être réaliste. Ce qui marche pour un projet ne marche pas forcément pour un autre. Le nombre de réponses obtenues dépendra vraisemblablement de la manière dont le personnel s’implique dans le processus.17 Vous pouvez également réfléchir aux données recueillies dans le cadre de la gestion quotidienne du projet et concevoir votre système d'exploitation ou votre logiciel de manière à obtenir facilement les données utiles. Comme indiqué dans le Chapitre 2, le nombre d'utilisateurs n'est pas une réalisation. Par contre, si vous pouvez montrer que les utilisateurs échangent davantage avec de nouveaux utilisateurs ou dépensent dans des entreprises où ils n'étaient jamais allés, vous aurez des statistiques beaucoup plus révélatrices.

Dans son ouvrage, Key indicators of time bank participation (indicateurs clés de participation à la banque de temps), E. Collom propose quelques suggestions sur l'utilisation des données de transactions de la banque de temps dans le cadre de l'évaluation. 18 L'intégration de l'analyse ou de la fourniture des données est une bonne chose, le recueil et l'analyse des réponses pouvant prendre beaucoup de temps.

Faites preuve de créativité dans le recueil de preuves. Les investisseurs aimant les histoires et les photos, n'hésitez pas à en utiliser pour parler de vos activités. Si vous organisez un déplacement dans le cadre du projet, pouvez-vous utiliser le temps

passé dans le car pour distraire les participants et recueillir des données sur les réalisations ?

Pensez à obtenir l'accord des participants. Expliquez clairement pourquoi vous leur posez des questions d'évaluation et veillez à garantir leur anonymat s'ils le souhaitent. Dans certains cas, vous pourrez leur demander la permission de les re-contacter pour une enquête de suivi. Vous devrez aussi obtenir leur consentement pour utiliser leur nom ou leur photo sur des supports destinés à être rendus publics.

Profitez au mieux du temps des participants. Si vous préparez un questionnaire sur les réalisations, profitez-en pour obtenir des commentaires et des idées sur ce qui pourrait être changé dans le projet.

Veillez à respecter les lois et règles européennes ou nationales relatives à la protection des données et de la vie privée. 19 [Encadré] Encadré 4 : Outils de recueil de données Données administratives : données recueillies dans le cadre du projet, qui peuvent être très basiques, telles que le nombre d'utilisateurs, le nombre de transactions, etc. Une analyse plus utile peut consister à étudier les utilisateurs qui établissent de nouveaux contacts par l'intermédiaire de la monnaie.

Questionnaires sur les réalisations : normalement conçus uniquement pour recueillir des données sur des réalisations, ils peuvent être également intégrés à la mise en œuvre du projet. Ils peuvent être remplis en ligne, sur papier, par téléphone ou texto. Ils doivent, de préférence, être réguliers.

Questionnaire ponctuel sur les réalisations : vous pouvez recueillir ponctuellement des données sur les réalisations, par exemple si vous organisez une nouvelle formation, un événement particulier, etc.

Recueil de données qualitatives : entretiens individuels, groupes de travail, ateliers.

Outils personnalisés : un certain nombre d’outils d'analyse sont créés dans un but précis, mais vous pourrez les intégrer à votre propre questionnaire sur les réalisations ou les utiliser séparément.

[Fin de l'encadré] Quand mesurer : pouvez-vous mesurer le changement ?

Vos données seront plus convaincantes si vous mesurez les changements survenus pour les utilisateurs (ou d'autres acteurs) sur la durée et si vous pouvez attribuer ces changements à votre projet.

Les questionnaires posant des questions sur les réalisations après un événement ne sont pas toujours convaincants. Ils ne sont pas distribués à ceux qui n'ont pas participé au projet et vous ne pouvez

pas savoir pourquoi ils n’ont pas participé. Les participants sont rarement objectifs, voulant vous dire ce que vous voulez entendre.

Mieux vaut pouvoir mesurer le chemin parcouru par les utilisateurs par rapport à leur situation avant l'événement. Pour ce faire, vous devrez recueillir des données sur les réalisations à intervalles réguliers, avant de pouvoir passer à une autre activité.

Même en mesurant des données « avant/après », il n'est pas toujours facile d'attribuer les changements observés au projet. C'est là qu'un groupe témoin n'ayant pas participé au projet ou n'ayant pas participé autant que d'autres personnes peut être utile. Nous y reviendrons dans la partie intitulée « Priorité à l’impact » ci-après.

Qui mesurer : évitez de sélectionner les meilleurs exemples Dans le cadre de la mesure des réalisations, vous devrez recueillir des données sur le plus grand nombre possible d’acteurs clés.

L'outil de recueil devra être adapté aux différents groupes d’acteurs.

S'agissant des collectivités territoriales, vous pourrez passer par des entretiens individuels avec les contacts clés pour voir comment vous les aidez à atteindre leurs objectifs stratégiques. S'agissant des utilisateurs clés, vous devrez également pouvoir recueillir des données quantitatives. Si vous travaillez avec des acteurs économiques ou des partenaires de rachat qui sont souvent très occupés, vous pourrez suivre une approche plus rapide.

Vous devrez penser à la représentativité des utilisateurs étudiés. Il est tentant (et courant) de sélectionner les utilisateurs les plus fréquents pour étudier les réalisations les concernant. Vous voudrez éventuellement utiliser quelques études de cas pertinentes, mais elles ne remplaceront pas les données de réalisation.

Outre les membres ou participants clés, les personnes qui ne participent pas au projet sont également intéressantes pour plusieurs raisons. Se sont-elles montrées intéressées par le projet sans utiliser la monnaie ou sans l'utiliser beaucoup ? Pourquoi ?

Leurs objectifs étaient-ils différents ? Ces questions permettent souvent de savoir comment le projet amène le changement – Cf. Encadré 5 : Brixton Pound pour en savoir plus.

[Encadré] Encadré 5 : Brixton Pound – quels sont les changements apportés par la monnaie ?

Lorsque le projet Payroll local (salaire local) a été lancé pour permettre aux employés municipaux de Lambeth de se faire payer une partie de leur salaire en monnaie complémentaire, les réalisations obtenues ont été comparées entre ceux qui se sont inscrits pour participer et ceux qui se sont dits intéressés. Les résultats constatés sont les suivants : •

La plupart des changements n'ont concerné que les participants qui se sont inscrits au programme. Par exemple, 40 % des employés qui se sont fait payer en partie en B£ ont déclaré être davantage sortis à Brixton pour déjeuner, contre moins de 2 % pour les autres.

•

Des réalisations ont également été constatées par ceux qui ne se sont pas inscrits au programme. Par exemple, plus de 40 % des personnes interrogées ont déclaré que le conseil municipal de Lambeth était innovant et 25 % ont dit ressentir davantage de fierté pour Brixton même sans participer. Ces résultats sont toutefois inférieurs à ceux obtenus avec les employés qui se sont fait payer en partie en B£.

[Fin]

Figure 3 : Présentation schématique de l'engagement des utilisateurs principaux

Les échelles de mesure peuvent varier. Les différences sont présentées dans le Tableau 2. Pour certaines organisations, il ne sera pas possible, nécessaire ou souhaitable de prendre des mesures plus avancées. L'étude sera donc beaucoup plus basique.

Dans certains cas, des procédures d'évaluation plus avancées et rigoureuses seront relativement simples à appliquer, notamment par l'intermédiaire d'un partenariat avec une université. Le réseau Transition Network propose des conseils utiles pour collaborer avec des chercheurs.20 Tableau 2 : Niveaux de mesure des réalisations Basique Quoi

Extrants, essentiellement.

Avancé Utilisation d’indicateurs permettant de mesurer les progrès accomplis par rapport aux objectifs de long terme.

Mélange d'indicateurs objectifs et subjectifs.

Questionnaire très basique

Recueil de données dans le cadre de la réalisation du projet et des nouveaux projets lancés.

Collaboration avec un tiers (par ex. université) qui peut vérifier vos résultats.

Quand

Données recueillies ponctuellement.

Données recueillies avant, après et régulièrement au cours de la participation. Utilisation d'un groupe témoin ne participant pas au projet.

Qui

Réalisations recueillies auprès d’un échantillon arbitraire d'utilisateurs volontaires.

Réalisations recueillies auprès d’un échantillon représentatif de groupes d'utilisateurs et d'autres acteurs. Réalisations mesurées par rapport à un groupe témoin.

Commen t

Souhaitez-vous établir un lien de causalité ?

Le recueil de données peut également permettre de voir dans quelle mesure les réalisations sont dues au projet. Plus vous planifierez cette étape en amont et plus vos résultats seront probants.

Deux approches permettent de mesurer l'impact : la première, l'« évaluation d'impact itérative », essaie d'évaluer le lien de causalité pendant ou après le projet. La deuxième, modèle d'évaluation d'impact, axée sur l'identification de l'effet de causalité, est souvent utilisée par les économistes ou évaluateurs des politiques au sein du gouvernement ou des universités.

1) Évaluation d'impact itérative Figure 4 : De la réalisation des objectifs à l'impact

Une méthode d'évaluation, du type retour social sur investissement, identifie trois points clés à étudier pour passer de la réalisation des objectifs à l'impact du projet :

Poids mort : quelle part du changement aurait eu lieu de toute façon, même sans projet ?

Attribution : quelle part du changement est due au projet et quelle part à d'autres facteurs ?

Déplacement : le projet a-t-il déplacé un problème ?

Par ailleurs, si vous arguez que vos réalisations ont un effet à long terme, vous devrez penser à la diminution de l'impact au fil du temps.

Vous pouvez réfléchir à ces effets de plusieurs manières différentes. Vous pouvez étudier ou « mesurer rétrospectivement » votre influence,21 ou vous pouvez recueillir des opinions dans le cadre de vos outils de recueil de données. 22 Même si vous ne pouvez pas prouver ces effets de manière concluante, si vous y réfléchissez, vous percevrez les changements induits de manière plus honnête et réaliste.

2) Priorité à l'impact La deuxième méthode vise à identifier l'impact d'un projet en définissant une évaluation visant à identifier un lien de causalité. Au lieu d'essayer d'évaluer l'attribution, le poids mort et le déplacement en fin de processus, vous procédez à une évaluation qui les intègre automatiquement. La méthode la plus facile à comprendre (mais aussi la plus controversée) est l'essai aléatoire contrôlé mais il existe d'autres méthodes qui n'intègrent pas de groupe témoin de la même manière.

Beaucoup de ces méthodes ne seront pas réalistes pour les organisations de base. Pour beaucoup, l'utilisation d'un groupe témoin peut sembler peu pratique voire même peu éthique. Pour avoir un groupe témoin, vous devez refuser l'accès à votre projet à quelques personnes, ce qui ne semble pas juste. A contrario, il n'est pas forcément éthique d'investir de l'argent public dans un projet sans preuve de son efficacité. L'utilisation d'un groupe témoin peut permettre de démontrer l'impact du projet de monnaie.

Si vous pouvez travailler en partenariat avec une université, vous pourrez trouver un moyen de procéder à une étude rigoureuse d'une manière appropriée pour tout le monde. L'Encadré 6 : Déploiement progressif d'un projet porte sur l'étude des différences entre les zones qui utilisent la monnaie et les autres. Vous pouvez également, comme dans le cas des Brixton Pounds, recueillir des informations de base sur les personnes qui se sont déclarées intéressées par un projet mais ne se sont pas inscrites ou qui se sont inscrites mais n'ont pas utilisé régulièrement la monnaie.

[Encadré] Encadré 6 : Déploiement progressif d'un projet Une équipe de la Solvay Brussels School of Economics and Management évalue le système de porte-monnaie électronique Limburg.net qui fait partie des monnaies pilotes CCIA. Il s'agit d'une monnaie à points visant à faciliter les comportements durables, respectueux de l'environnement, dans 13 zones de Limburg.

L'objectif est de déployer le projet à l'ensemble de la région de Limburg.

L'équipe développe une série d'indicateurs visant à mesurer le changement par rapport aux objectifs à long terme de réduction des déchets de Limburg. Elle a proposé, avant de déployer le projet plus largement, d'utiliser les zones n'utilisant pas encore la monnaie comme groupe témoin (« différence de différence »). Les progrès accomplis au niveau des indicateurs peuvent ainsi être comparés avant et après participation au projet, et avec des personnes habitant des zones non couvertes par le projet. Cette étude profite du déploiement progressif du projet, qui permet de n'exclure aucun groupe du projet.

[Fin]

Conclusion Vous devez désormais mieux connaître les différentes options d'évaluation et savoir comment vous lancer dans une TdC pour votre projet, afin d’obtenir un feedback immédiat et de prévoir une évaluation plus complète.

Il est souvent tentant de reléguer l'évaluation en queue des priorités mais l'évaluation sera meilleure (et plus facile) si vous prévoyez les étapes et le recueil de données dans le cadre de votre projet.

L'évaluation est importante et doit être intégrée à la stratégie et au développement futur du projet. En consacrant du temps à l'évaluation de la réalisation de vos objectifs, vous pourrez démontrer que votre projet de monnaie peut contribuer à changer l'économie et améliorer la vie des gens.

Glossaire Activités : description de ce que vous faites concrètement dans le cadre de votre projet de MC. Par exemple, l'administration d'une monnaie, l'organisation d'événements sociaux, la promotion d'entreprises locales sont des activités.

Attribution : identification de la part de changement due à la contribution d'autres organisations ou personnes et pas simplement à votre monnaie communautaire. Par exemple, des participants peuvent trouver un emploi après avoir utilisé votre MC, mais ce ne sera que partiellement « attribuable » à votre projet. Vous devrez également attribuer ce résultat à leurs compétences et à leur motivation.

Poids mort : mesure des réalisations qui auraient été obtenues de toute façon, même sans projet de MC. Par exemple, votre monnaie peut inciter des gens à faire du bénévolat local mais certains l'auraient fait sans MC. Déplacement : dans certains cas, un projet peut aboutir à une nouvelle réalisation aux dépens de la réalisation initialement prévue ailleurs. Par exemple, l'éclairage d'une rue peut sécuriser la rue mais « déplacer » les actes de délinquance dans la rue d'à côté.

Impact : évaluation de la manière dont le projet de MC a abouti à des réalisations pour les participants.

Carte des impacts : tableau montrant en quoi une organisation apporte une différence, comment elle utilise ses ressources dans des activités aboutissant à des réalisations particulières pour différents acteurs.

Indicateurs : moyen de mesurer les progrès accomplis par rapport aux réalisations attendues.

Modèle logique : manière dont une organisation apporte un changement. Proche d'une TdC, elle est toutefois plus « linéaire ».

Un modèle logique étudie généralement comment une organisation utilise des intrants pour fournir des activités, puis comment ces activités deviennent des réalisations.

Importance relative : concept utile pour savoir si vous devez inclure un élément dans votre TdC, qu'il s'agisse d'une réalisation, d'un acteur ou d'une activité. Un élément est important si son absence peut affecter les décisions prises.

Extrants : description quantitative de ce qui est produit par les activités pour chacun des acteurs. Par exemple, participation de 3 000 personnes à une banque de temps et participation de 10 entreprises à des ateliers d'engagement.

Réalisations : changements consécutifs aux activités. Par exemple, amélioration sanitaire, renforcement de la confiance sociale, etc.

Données qualitatives : données descriptives, qui ne peuvent être chiffrées.

Données quantitatives : données pouvant être chiffrées ou mesurées.

Acteurs : personnes, organisations ou entités affectées par le changement, positif ou négatif, lié à l’activité analysée.

Dans ce manuel, nous avons également mentionné différents types de monnaie communautaire ou projets de monnaie communautaire, comme la banque WIR ou les monnaies des territoires britanniques en transition. Pour en savoir plus sur ces projets, rendez-vous sur le site www.community-currency.info

Notes de fin

1 Vogel, I. (2012) Review of the use of ‘Theory of Change’ in international development. Consulté sur http://r4d.dfid.gov.uk/pdf/outputs/mis_spc/DFID_ToC_Review_VogelV7.pdf

2 Puttick, R. & Ludlow, J. (2013) Standards of evidence: An approach that balances the need for evidence with innovation. Londres, NESTA. Consulté sur http://www.nesta.org.uk/sites/default/files/standards_of_evidence.pdf [le 26 mars 2014] 3 Nicholls, J., Lawlor, E., Neitzert, E., Goodspeed, T. (2012) A Guide to social return on investment. Londres : Services du Premier Ministre.

4 Blume, T. & Randle, A. (2013) Social value: A commissioning framework. Part 1: Lessons from Lambeth.

Consulté sur http://www.collaboratei.com/media/4098/Social%20Value%20A%20Commissioning%20Framework %20Report.pdf [le 26 mars 2014]

5 Haynes, L., Service, O., Goldacre, B., & Torgerson, T. (2012) Test, learn, adapt: Developing public policy with randomised control trials. Londres : Services du Premier Ministre. Consulté sur https://www.gov.uk/government/uploads/system/uploads/attachment_data/file/62529/TLA-1906126.pdf

6 Vogel, I. (2012) op. cit.

7 Anderson, A. (n.d.) The community builder’s approach to Theory of Change: A practical guide to theory development. New York: Aspen Institute. Consulté sur http://www.dochas.ie/Shared/Files/4/TOC_fac_guide.pdf [le 26 mars 2014] 8 Ibid.

9 Vogel, I. (2012) op. cit.

10 Steed, S. (2013) How economics is used in government decision making. Londres, New Economics Foundation. Consulté sur http://www.neweconomics.org/page/-/images/publications/Economics%20in %20policymaking%20-%20Briefing%202.pdf.

11 Nicholls, J., Lawlor, E., Neitzert, E., Goodspeed, T. (2012) op.cit.

12 Naughton-Doe, Ruth (à paraître - 2014/15) What can time banking contribute to social care delivery? A realistic evaluation of time banking in England. Thèse PhD de l'Université de Bristol.

13 Clark, H. & Anderson, A., (2004) Theories of change and logic models: Telling them apart – présenté en 2004, à l'occasion de la conférence de l'American Evaluation Association. Consulté sur http://dmeforpeace.org/learn/theories-change-and-logic-models-telling-them-apart 14 Anderson, A. (n.d.) op. cit.

15 Ibid.

16 Naughton-Doe, Ruth (à paraître - 2014/15) What can time banking contribute to social care delivery? A realistic evaluation of time banking in England. Thèse PhD de l'Université de Bristol.

17 Ibid.

18 Collom, E. (2012) ‘Key indicators of time bank participation: Using transaction data for evaluation’, International Journal of Community Currency Research 16 (A) pp18-29.

19 Ainsi, dans le cadre de la loi UE sur la protection des données, l'organisation ou la personne physique qui recueille et traite les données, ou « responsable du traitement de données », doit éventuellement se faire connaître auprès de l'organisme national de régulation. Consultez la Directive 95/46/CE sur la protection des données et le règlement général sur la protection des données, qui doit la remplacer. Par exemple, au Royaume-Uni, les responsables du traitement de données doivent se faire connaître auprès de l'Information Commissioner’s Office http://ico.org.uk.

20 Henfrey, T., & Brangwyn, B. (2013) Transition research primer: Transition and researchers: Unlocking the potential for collaboration. Totnes: Transition Research Network.

21 Hobson, K., Mayne, R., Hamilton, J., Monitoring and Evaluation for Sustainable Communities: Phase1 (2014), Oxford: University of Oxford School of Geography and the Environment. Consulté sur http://www.geog.ox.ac.uk/research/technologies/projects/monitoringandevaluation 22 Vous pouvez, par exemple, demander aux gens dans quelle mesure la réalisation est perçue comme le résultat du projet de MC. Vous trouverez des exemples de questions et des informations sur la manière de procéder dans Steed, S., & Nicholles, N. (2010) Small slices of a bigger pie, Londres: New Economics Foundation. Consulté sur http://s.bsd.net/nefoundation/default/page/file/86c098b42b969e12c6_wam6i8ux8.pdf