Suivi & Évaluation Programmes d’enrichissement de produits alimentaires: Un aperçu

Suivi & Évaluation Programmes d’enrichissement de produits alimentaires: Un aperçu Atelier de Formation des Formateurs en Enrichissement de la Farine Dakar, Sénégal, 7-10 Décembre 2009 Laird J. Ruth Centres pour le contrôle et la prévention des maladies (CCP/CDC) Programme de Contrôle International de la malnutrition (IMMPaCt) www.cdc.gov/immpact Initiative pour l'enrichissement de la farine www.ffinetwork.org 1

Thèmes • Définition et concepts de surveillance • Aperçu du système de surveillance des aliments enrichis • Principes généraux de création d’un système de surveillance • Sources de données pour la surveillance

2

La surveillance: dĂŠfinition et concepts

3

Cadre pour la surveillance des programmes d'enrichissement des aliments

4

Surveillance du Processus (Programme) • Intrants étendus aux ressources financières, humaines, et matérielles utilisés pour ce programme • Les Activités sont des actions spécifiques prises ou travail entrepris à travers ces intrants, tels que le financement, l’assistance technique et autres types de ressources mobilisés pour produire des résultats spécifiques.

• Les Résultats comprennent les produits, biens d’équipement et services qui sont issus d’interventions qui sont pertinentes pour l’atteinte des résultats • Les Résultats s’étendent aux effets ou impacts potentiels ou réalisés d’un programme dans la population cible. 5

Model Logique de S&E

6

Définition du Programme d'enrichissement des aliments: • La collecte continue, en cours, la revue, l’analyse et l’utilisation de renseignements et de résultats, pour évaluer la manière dont le programme s’exécute par rapport aux critères prédéfinis.

7

Surveillance du Programme • Collecte en cours de données et de renseignements pour aider à évaluer les “processus ” de mise en oeuvre d’un programme, c’est-à-dire Intrants et activités entreprises, et produits et services (résultats) générés p ar le programme selon les critères préétablis, et revue de la performance qualité (c’est-à-dire répondre à la question, “comment se poursuit le programme?”).

8

Planification de la Surveillance et Evaluation

9

Aperçu du système de Surveillance d'enrichissement

10

Pourquoi faire la surveillance d’un programme d'enrichissement alimentaire ?

1. Pour garantir que les aliments enrichis respectent le contenu nutritionnel et les normes de sécurité 2. Pour évaluer l’accès, l’utilisation et la couverture des aliments enrichis par les personnes (le consommateur) 3. Pour gérer de manière efficace et durable le programme d'enrichissement pour éliminer les carences en vitamines et minéraux 11

Système de Surveillance

12

Exemple d’Indicateur #1 Question

Mesure Production accrue de farine enrichie selon les spécifications

Indicateur • Proportion de farine enrichie/ non enrichie produite

13

Exemple d’Indicateur #2 Question

Mesure Achat accrue de farine enrichie et de dérivés

Indicateur • Proportion de ménages avec la farine “étiquetée” enrichie

14

Exemple d’Indicateur #3 Question

Mesure

Indicateur

Proportion accrue de femmes non en grossesse (15-49) consommant régulièrement la farine enrichie

• Proportion de femmes non en grossesse (15-49) consommant régulièrement la farine enrichie

15

Principes généraux pour la création d’un système de surveillance 1. La responsabilité à chaque niveau doit être claire: a) Pour qui sont les données collectées (autorités)? b) Quelles données sont collectées (questions et indicateurs)? c) Comment les données sont collectées (méthodologie)? d) Qui collecte les données (personnel)? e) Quand sont collectées les données (fréquence)? f) Qui analyse les données ?

16

g) Qui fait le rapport sur les données et quand?

Exemple: Processus de surveillance de l’enrichissement de la Farine Est-ce qu’il y a suffisamment de farine enrichie accessible?

Déterminer pour qui collecter les données Alliance Nationale pour l’ enrichissem ent

Déterminer ce que vous devez connaître

Determiner comment et qui collecte les données

Déterminer la fréquence de collecte des données

Determiner qui fait le rapport des données Alliance Nationale pour l’ enrichissem ent

Question

Indicateur

Méthode

Responsabilité

Fréquence

Est-ce qu’il y a suffisamment de farine enrichie disponible pour la population?

Quantité de farine enrichie (local et/ou importé) relatif aux besoins de la population

1. Analyser les données de la production industrielle et des ventes

Minoteries et distributeurs; Commerce

Annuellement (en cours)

2. Évaluation du commerce de détail

17

Mise en oeuvre de la Surveillance • Gérer les projets de système de surveillance (collecte de données, analyse et processus de reporting) pour:  Corriger les problèmes potentiels  Permettre aux “autorités” d’expérimenter le système et :  Leur rôle, niveau d’efforts, et importance dans le processus  Les genres de renseignements spécifiques qui seraient disponibles à travers le système de surveillance. *Parvanta, 2003 18

Sources des données pour la Surveillance • Systèmes de données existantes – Données des statistiques sanitaires; anémie de ANC – Enquêtes sur les Indicateurs à Grappes multiples (MICS) – Enquêtes sur la santé reproductive – Enquête sur les Dépenses et Revenus des ménages (HEIS) – Autres enquêtes venant d’autres secteurs (ONG, gouvernement, Universités, etc.)

19

Sources des données pour la surveillance • Surveillance Sentinelle (échantillonnage calculé) – Écoles – Lieux de travail – Cliniques et sanitaires

• Recherches qualitatives et rapports – Universités – Industrie 20

Évaluation du programme l’Évaluation objective d’un programme qui couvre ses besoins, sa conception, sa mise en oeuvre, son efficacité et sa durabilité

12/11/13

21

Objectif de l’Évaluation • Analyser pourquoi les impacts ont ou n’ont pas été réalisés • Explorer les résultas non voulus • Informer sur la pratique, prise de décision et politique 12/11/13

22

Questions d’Évaluation • L’intervention a t-elle atteint les objectifs voulus?

• Les changements dans les résultats peuvent –ils s’expliquer par l’intervention, ou par queques autres facteurs qui ont lieu simultanément?

• Est-ce que les impacts varient entre les groupes de bénéficiaires voulus, et dans le temps?

• Y-a t-il des effets non voulus de l’intervention, que ce soit positif ou négatif?

• Quelle est la rentabilité de l’intervention en comparaison avec les projets alternatifs?

23

Étapes dans la conception de surveillance de l’enrichissement de la farine & système d’évaluation

24

24 24

DÊcrire le programme: modèle Macro Logique pour S&E

12/11/13

25

Planification de la surveillance & Évaluation

12/11/13

26

La Collecte des données fiables • Dépend de l’objectif de l’évaluation • Peut être simple et pas coûteux … ou très complexe et cher

12/11/13

27

Exemple avec l'enrichissement de la farine et la réduction de l’anémie chez les femmes • Base et enquête 2-3 ans après • Base et enquête 2-3 ans après, cherchant des facteurs de confusion • Base + fin d’enquête avec 12/11/13 contrôle

• Permet de dire s’il y’a un changement dans le niveau d’anémie ou pas • Permet de dire que l’impact peut être lié au programme • Permet de dire que l’impact est susceptible d’être 28 causé par le programme

Choix des indicateurs • L’Efficacité des indicateurs est liée aux résultats • Changement dans les comportements • Consommation d’aliments /micronutriments • Biochimie/ physiologique/ fonctionnel – Pour anémie: hémoglobine, sérum ferritine, réactions inflammatoires (CRP, AGP) et autres si le budget le permet

12/11/13

29

Sources des données pour l’Évaluation • Programme basé sur la surveillance (système sentinelle):  Basé sur le PHC (c’est-à-dire Femmes au 1er trimestre de grossesse). Centre de soins sentinelles.  Mères et enfants vus au niveau des PHC  Surveillance basée sur les écoles (élèves filles du secondaire). Écoles sentinelles  Gros employeurs de main d’oeuvre féminine. Lieu de travail sentinelle • Surveillance basée sur la population:  Enquêtes par grappes périodiques nationales/sous nationales *Parvanta, 2003 12/11/13

30

Exemple issu du programme d'enrichissement de la farine en Afrique du Sud

12/11/13

31

Statut de Micronutriment des femmes non enceintes en âge de reproduction avant et après la mise en oeuvre du programme national d'enrichissement Période de Preenrichissement (95% CI)

Periode de Postenrichissement (95% CI)

p-value

Sérum Folique < 2.5 ng/ml

16.3%

0%

0.001

Cellule de Globule rouge Folique < 164 ng/ml

26.4%

1.9%

0.000

Sérum de Ferritine <12.0 µg/ml

25.0%

25.0%

0.74

Hémoglobine <11.0 g/dl

7.5%

5.0%

0.51

Vitamine B12 <145 pg/ml

6.3%

11.3%

0.16 32

Modjadji SEP., Alberts RL. Folate and iron status of South African non-pregnant women of childbearing age before and after enrichissement of foods.

SAJCN: Vol 20, No 3; 89, 2007.

Système de surveillance des défauts du tube neural – Un système de surveillance NTD a été établi en 2002 – 12 hôpitaux publics dans 4 provinces – Depuis 2002, 53,000 naissances /an ont été contrôlées – La Prévalence de NTDs a été réduite de 30.5% après l'enrichissement obligatoire (p<0.05) Prévalence du NTDs dans La législation de l'enrichissement avant et après obligatoire de l’acide folique en Afrique du Sud Pré enrichissement (2001-2003)

Post enrichissement (2005-2006)

Taux /1000 naissances

Taux /1000 naissance

Eastern Cape

2.11

1.26

KwaZulu Natal

1.05

0.78

Mpurnalanga

1.36

1.02

Free State

1.29

1.03

1.41

0.98

Province

Sayed AR., Bourne D., Pattinson R., Nixon J., Henderson B.Total Decline in the prevalence of neural tube defects following folic acid CI: 1.15-1.67 enrichissement and its cost-benefit in South Africa. Birth Defects Res A 95% Clin Mol Teratol.

2008 Apr;82(4):211-6.95% CI: 0.69-1.26

33 33

Système de surveillance de la mortalité Périnatale  Causes de décès >7 jours enregistrés dans 164 centres de soins de santé sentinelle  NTD périnatal mortalité réduite de 65.9% (P<0.001)  Comme contrôle, le taux de mortalité périnatal de l’hydrocephalus, non lié aux NTDs, n’a pas changé de manière significative (P=0.77)

Réduction des taux de la mortalité périnatale issus des NTDs en Afrique du Sud

34

Sayed AR., Bourne D., Pattinson R., Nixon J., Henderson B. Decline in the prevalence of neural tube defects following folic acid enrichissement and its costbenefit in South Africa. Birth Defects Res A Clin Mol Teratol. 2008 Apr;82(4):211-6.

Fréquence de l’évaluation?

• Faite périodiquement mais non fréquemment • Donnez plus de renseignements sur la mise en oeuvre du programme et l’impact généré à travers le système de surveillance en cours • C’est souvent dirigé sur les problèmes identifiés à travers le processus de 12/11/13 35 surveillance

Quand faire l’evaluation de l’impact ?

• Une fois que le système de surveillance indique: – Une mise en oeuvre adéquate du programme

• Un besoin de production régulière et de distribution de produits enrichis • D’habitude après 1 an, plus souvent après 18-24 mois – Programme adéquat de couverture pour une période minimum (dépend de la cible de nutriment) 12/11/13

Pas avant !

36

Justification et partage de conclusions • Critiquer dans le but de soutenir les aspects et adapter le programme si des améliorations sont nécessaires • Comparer les données issues des différentes sources (si disponibles) • Obtenir l’engagement des autorités de prendre en considération les résultats et de prendre des actions en conséquence 12/11/13 37 • Communiquer et diffuser

Publications utiles @

www.cdc.gov/eval

38

38 38

Ssources utiles: Sur le Web • NEW! Intro to Program Evaluation for PH Programs—A Self-Study Guide: http://www.cdc.gov/eval/whatsnew.htm • Innovation Network: http://www.innonet.org/ • W.K. Kellogg Foundation Evaluation Resources: http://www.wkkf.org/programming/overview.aspx?

CID=281 • University of Wisconsin-Extension: http://www.uwex.edu/ces/lmcourse/ 39

39

Rappelez vous ….

Il n y a pas de systèmes de surveillance parfaits “Nous ne pouvons que choisir les meilleurs” *Parvanta, 2003 40

Merci de votre attention ! lairdruth@cdc.gov

surveillance et Évaluation Programmes d'enrichissement des aliments: Aperçu Général technique Consultation 7 Juillet, 2006 USAID - www.a2zproject.org 41