Impact meten: hoe, wat, waarom?

Impact meten: hoe, wat, waarom?

Zomeruniversiteit Hasselt – 26 augustus 2019

Impact assesment: hoe, wat, waarom?

1. Rikolto?

2. Hoe en waar willen we (bijdragen aan) verandering?

3. Hoe en waarom meten we verandering?

Wereldwijd staan we voor grote uitdagingen

Een groeiende wereldbevolking, steden die uit hun voegen barsten

Een veranderend klimaat

Steeds ouder wordende boeren

Recept van ons voedselsysteem veranderen Lekker eten dat goed is voor mens, boer en klimaat

Internationale netwerkorganisatie 17 landen, 7 bureaus, 157 personeelsleden

82.000 boeren in 83 boerenorganisaties

2. Hoe en waar willen we bijdragen aan verandering?

Analyse voedselsysteem = “veld” onderzoeken

context

Actoren in het veld + hun perspectieven

Veranderingsflow en bestaande dynamieken

Je mogelijkheden / capaciteiten

…

In welke context bevinden we ons?

Voedselsysteem?

Erkennen dat voedselsysteem complex is

Ontrafelen context: veranderingsflow weergeven

Je veranderingsstrategie kiezen (hypotheses)

Voorbeeld pathway of change - Vietnam

Capaciteiten boerenorganisatie versterken (business skills, marketing, contracten onderhandelen

BO’s management team verbetert (…) skills en hebben betere kennis van onderhandelingstechnieken en strategieën

BO’s management team heeft een grotere professionaliteit en onderhandelen voor beterevoorwaarden in contracten

Betere inkomens voor kleinschalige boeren

BO’s en kleinschalige boeren zijn betere geïntegreerd in de keten, hebben meer win-win contracten, betere prijzen voor producten

Voorbeeld POC - BelgiĂŤ

Dialoog tussen burger/consument & retail geeft extra stimulans voor verduurzaming aankoopbeleid - sector

Verduurzaming voedselsysteem in BelgiĂŤ

Proces leidt naar bruikbare handvaten voor verduurzaming

VE zet dialoogproces op tussen burgers/consumenten en retailers

Burgers/consumenten en retailers zoeken samen naar knelpunten en oplossingen.

Middenveldorganisatie s stimuleren leden richting duurzame consumptie

Burgerbeweging (en druk) ontstaat rond duurzame consumptie

‌ wetende dat er beperkte controle is op impact

3. Verandering (impact) meten

Waarom?

• Donor rapportage • Intern & extern leren  acties beter sturen via inzicht in complexe context • Doelpubliek: wie heeft extra ondersteuning nodig? Zelf-analyse

Wanneer?

Baseline (jaar 1)

Mid-term evaluatie (jaar 3) OUTCOME

Eindevaluatie (jaar 5) IMPACT

Monitoring & evaluatiesysteem

Sleutelvragen die scope impactmeting bepalen 1. Op welk niveau wil je impact meten?

2. Welke methodes gebruik je?

3. Welk niveau van nauwkeurigheid wil je?

Sleutelvragen die scope impactmeting bepalen

1.Op welk niveau wil je impact meten?

Wat is de focus van de impactmeting?

Rikolto’s impactniveaus

duurzame voedingssector & institutionele omgeving

Sterke boerencoĂśperaties

Verbeteren levenscondities kleinschalige boeren & toegang consumenten

Sleutelvragen bij impactmeting

2. Welke methode kies je?

Impact op boeren niveau • Onderzoeksvragen:  inkomen  Ecologische duurzaamheid  Stem en invloed

• Tool: (household) enquêtes • Sample grootte: ten minste 200-300 boeren die ondersteund worden + 200 – 300 boeren uit controle groep (hangt ook af van verwachte effect)

Impact op consumenten niveau • Onderzoeksvraag: Toegang en consumptie van gezonde en duurzame voeding is mainstream • Tool 1: populatie enquêtes  Gebruik bestaande surveys indien mogelijk (bv. Middenveld, overheid, bedrijven)

• Tool 2: trend analysis  Vergelijken sectordata over tijd (bv. Aankopen in supermarkten)

• Sample grootte: bepaald in functie van gewenst effect

Impact bij partnerorganisatie (FO / school level) • Onderzoeksvraag: verandering in organisatorische / duurzaamheidscapaciteiten • Tool 1: SCOPEinsight assessments • Tool 2: Process Tracing interviews  Levert overtuigend bewijsmateriaal over bijdrage en effectiviteit van Rikolto’s werk mbt. capaciteitsversterking  Interessant voor donoren (RoI)

• Sample grootte: 4-8 boerenorganisaties of scholen

Impact op sectorniveau • Onderzoeksvraag: veranderingen op sector niveau • Tool 1: Qualitative Comparative Analysis (QCA)  Genereert hypotheses die gevalideerd moeten worden door triangulatie (gesprekken / datacollectie bij derden)  Veel cases nodig om causale relaties te detecteren

• Sample grootte: 20 interventies op institutioneel niveau

Sleutelvragen bij impactmeting

3. Welke mate van nauwkeurigheid verwacht je bij impactmeting?

Sleutelvragen bij impactmeting

Controlegroep?

Sample grootte?

Datacollectie vs. externe (bestaande data)? ‌

Uitdagingen impact meting Kost Timing (vaak binnen programma – impact mogelijk?)

Bijdrage Rikolto filteren Nauwkeurigheid (bias – controlegroep - ...)

Moeilijk of gevoelig meetbare data (bv. mentaliteit – inkomen) • Logistieke struikelblokken (geografische versnippering, conflict, ongeletterdheid,…)

• ...

• • • • •

Spectrum van creatieve, innovatieve tools om verschillende facetten van interventies te meten

Duurzaamheidstool tool Senegal

Scope Insight tool Meten van business & organisatie skills van boerenorganisatie

Scope Insight tool

Scope Insight tool Meten van business & organisatie skills van boerenorganisatie

• Kwantitatieve data • Geharmoniseerde tool – vergelijkbaar (benchmark) • Makkelijk om sterktes en zwaktes op te sporen – strategie aan te passen • Baseline & impact • Consortium van organisaties (AMEA) – credibele tool • Bruikbaar voor organisaties zelf ten aanzien van bv. financiële instellingen, …

Sensemaker: patronen zoeken in verhalen With support from the Bill & Melinda Gates Foundation

Meten en beter begrijpen van de minder tastbare veranderingen in handelsrelaties tussen kopers en boerenorganisaties zoals ze ervaren en gepercipieerd worden door boeren

SenseMaker is een leergerichte monitoring en evaluatiemethode die vertrekt vanuit de verhalen en ervaringen van mensen.

The Inclusive Business Scan

Step 1: Story collection

“Think about a specific recent moment or event when you felt particularly encouraged or concerned about being a producer and selling your produce to the company.�

Step 2: Self interpretation

Toepassing: inclusive Business scan 2014-2017  Doel: peilen naar inclusie van kleinschalige boeren in formele markten (impact)  Inzicht verwerven naar effectiviteit nieuwe business modelen (onze strategie)  Kost-effectief

Cacao Indonesia (500+500 stories) Cacao Nicaragua (300 stories) Coffee Congo (800+520 stories)

Rice Senegal (400 stories) Mango Burkina Faso (150 stories) Beans Guatemala (400 stories )

T5 Facteurs explicatifs des quantités des cerises livrées à la MSL Prix élevé par rapport à celui de la concurrence n=488 N/A: 6%

57%

75%

143 histoires portant la production de café de haute qualité et l’adoption de bonnes pratiques culturales, où trois quarts considèrent plus explicitement le prix élevé comme facteur déterminant les quantités apportées (la moitié de ces trois quarts provenant des MSL Mathungu, Rughetsi, Kighali et Ihunga).

On observe la même tendance (75%) pour les sondés considérant la commercialisation collective comme l’un des services principaux fournis par la CooKKanz.

5%

Distance entre le champ et la MSL

L’endettement auprès des acheteurs porte à porte

There is a sub-group of micro-washing stations that has shared experiences that made them proud and who oftentimes are proportionally more explicit in saying that: The benefits of collaboration are worth the effort They trust the coop to find the best market for their produce The value of collective marketing as a service provided by the coop Linking the production of high quality coffee and adopting GAP with higher sales prices Prices paid for their produce allow in future investments  Positive deviance, outliers to be studied further?

Voices that count Jongeren in landbouw (Nicaragua)

Ook voor planning mogelijk (baseline) 2015-2016  Patronen detecteren in complexe context  Inzicht in uitdagingen, struikelblokken en drivers voor jongeren in agri-business  Meerwaarde voor jongeren : participatief project met jongeren

Ecuador+ Peru (389 stories) Nicaragua (478 stories)

Zambia (600 stories)

T1. In jouw verhaal, wat hield jongeren tegen?

Gebrek relevante capaciteiten 14% Where do you live?

N/A: 8%

Urban area Rural area

12% 23%

Gebrek aan business opportuniteiten

15%

46%

53% 45%

Gebrek aan middelen

T3. In your example, what were people pursuing?

Power/status/reputation Highest educational degree obtained

19%

Elementary school

N/A: 2%

High/Technical school University

8%

44%

26%

41%

34%

19%

33%

Happiness

33% 13%

40%

Wealth/income

Situatie Rikolto België • Scholen: nulmeting vs.

Vooruitgangsmeting over duurzaamheidspraktijken • Retailers: dieptegesprekken, externe sectorverslagen • Consumenten: enquêtes TA,.. ?

Voorbeeld vragen Wat versta jij onder gezonde, duurzame voeding?

Wordt er op je school aandacht besteed aan gezonde en/of duurzame voeding tijdens de les.

Ben je tevreden over het voedingsaanbod op school?

Heb jij de afgelopen twee jaar iets zien veranderen op het vlak van voeding op je school?

Welke voeding wordt er geserveerd op jouw droomschool?

Liesbeth Van Meulder Liesbeth.vanmeulder@rikolto.org