3.2. SMS 2: Guide d’Indicateurs de la Stabilisation (Generation de l’apprentissage

3.2. SMS 2: Guide d’Indicateurs de la Stabilisation (Generation de l’apprentissage)

Créé en collaboration avec plus de 40 organisations, STAREC et le ministère du Plan, ce guide est destiné à soutenir toutes les organisations qui mettent en œuvre des projets de stabilisation en consolidant le grand nombre d'indicateurs provenant de diverses sources et en les organisant par thème et par produit.

En utilisant une approche bottom up (ascendante) et participative, l'unité conjointe de suivi et d'évaluation (équipe SMS) a créé des paniers ad hoc d'indicateurs visant à mesurer le niveau de réalisation de chaque produit standard et résultat standard des projets de stabilisation (page 10). Chaque indicateur et son outil de collecte de données ont été spécialement adaptés au contexte de la RDC et ont été testés dans les trois provinces de l'Est de la RDC.

Qu'est-ce qu'un panier d'indicateurs ?

Le SMS propose un "panier" d'indicateurs, généralement un regroupement de deux à neuf indicateurs qui permettent à l'équipe SMS de mesurer le même concept sous plusieurs angles afin de comprendre complètement la situation. L'utilisation de paniers pour mesurer le succès dans un domaine de l'aide étrangère est une meilleure pratique reconnue. Les paniers d'indicateurs peuvent aider à atténuer les limites ou les faiblesses potentielles de tout indicateur individuel. Dans une activité comportant plusieurs produits/résultats, chaque objectif doit comprendre un panier d'indicateurs.

Qu'est-ce qu'un indicateur standard ?

SMS et l'équipe SMS utilisent des indicateurs standard à l'échelle nationale pour collecter des données de performance agrégeables auprès des différents partenaires de mise en œuvre. Les indicateurs standard ont été développés en collaboration avec plus de 40 acteurs de la stabilisation en RDC, et ils sont expliqués dans les lignes directrices de stabilisation pour la RDC (pour plus d'informations, voir page 15).

Le Guideline

Les directives relatives aux indicateurs - définies comme "la bible" par plusieurs partenaires de mise en œuvre et la contrepartie gouvernementale, contiennent une description détaillée de chaque indicateur, notamment :

Definition

Relevance

Une description de ce que l'indicateur vise à mesurer, avec une orientation claire sur les données à collecter, y compris le numérateur et le dénominateur et les méthodes de calcul.

Þ De cette façon, tous les partenaires ont une idée claire de ce qui doit être collecté et comment.

Il explique pourquoi l'indicateur est important pour le résultat correspondant dans le contexte de la RDC.

Þ De cette façon, les organisations partenaires comprennent la valeur des données qu'elles collectent, en étant plus attentives à la qualité des données recueillies.

Outils et méthodes de collecte de données

Il propose l'outil de collecte de données obligatoire à utiliser pour recueillir les données de chaque indicateur.

Þ Cela est essentiel pour compiler les données, en consolidant le grand nombre d'indicateurs provenant de divers partenaires.

Moyens de vérification

Déssagregation

Il fournit les documents minimaux obligatoires que les partenaires doivent stocker et classer pour prouver que tous les rapports relatifs à l'indicateur sont corrects.

C'est la base des évaluations de la qualité des données (DQA) que l'équipe SMS effectue après chaque période de déclaration. Il s'agit d'un processus dans lequel l'exactitude et la cohérence de toutes les données rapportées sont vérifiées par rapport aux directives.

Illustre la façon dont les données doivent être décomposées pour un apprentissage optimal.

Les directives permettent aux partenaires de mesurer les progrès avec la même méthodologie, ce qui permet aux méthodes de recherche comparative d'identifier les approches de stabilisation qui ont fonctionné et celles qui n'ont pas fonctionné. Grâce à cette harmonisation des données, l'équipe SMS disposera de preuves pour orienter les investissements futurs vers des approches éprouvées dans l'Est de la RDC.

Mise en œuvre du SMS 2 : Révision du cadre logique des partenaires de FCS

Dès qu'un nouvel appel à propositions est lancé, les directives relatives aux indicateurs sont mises en ligne à la disposition de tous les candidats. De cette façon, lorsqu'une nouvelle proposition est reçue, les partenaires de mise en œuvre ont déjà intégré les indicateurs standard pertinents à inclure dans leur cadre logique.

Les partenaires se voient proposer un modèle pour créer leur cadre logique composé d'indicateurs standard et d'indicateurs de projet (c'est-à-dire des indicateurs utiles à la gestion du projet du partenaire de mise en oeuvre mais ne faisant pas partie des indicateurs standard de l'ISSSS).

Une fois qu'un projet est sélectionné et notifié, l'équipe SMS organise une session de travail avec le partenaire de mise en œuvre nouvellement recruté pour réviser le cadre logique et le choix des indicateurs standard. Une fois que les exigences relatives à la qualité des données par rapport aux directives sont expliquées et que les indicateurs ont été définis, l'équipe SMS offre son soutien pour réviser le budget de S&E du projet afin de s'assurer qu'un financement suffisant est consacré à la collecte obligatoire de données.

Le choix des indicateurs standard par les partenaires n'est pas imposé. Les activités et les produits prévus par les partenaires et la meilleure façon de mesurer les progrès au moyen d'indicateurs standard sont discutés dans le cadre d'un processus participatif.

Une fois le projet lancé, l'équipe SMS organise un " atelier de démarrage MEAL ". Au cours de cet atelier, l'équipe SMS s'engage avec les partenaires, en particulier le personnel désigné pour le S&E, les gestionnaires de projet et les agents impliqués dans la collecte de données, afin de créer une compréhension commune des indicateurs, des protocoles et outils de collecte de données, et de la procédure d'évaluation de la qualité des données.

Supporting les partenaires dans la collecte de données: CommCare Mobile Data Collection App

L'équipe SMS aide tous les partenaires de SFC à effectuer la collecte de données par rapport à leur cadre logique en leur fournissant des outils ICT4D personnalisés par le biais de l'application de données mobiles CommCare. Une fois que chaque partenaire a finalisé le cadre logique, l'équipe SMS procède à la conception du questionnaire pour chaque indicateur (indicateur standard et indicateur de projet) dans la platteforme numérique CommCare. Si le partenaire dispose de ses propres tablettes ou d'autres instruments appropriés pour collecter les données, il peut simplement télécharger l'application sur son appareil et procéder à la collecte des données après avoir reçu les autorisations de sécurité d’accès. Si le partenaire n'a pas accès à des tablettes, celles-ci peuvent être louées gratuitement auprès de l'équipe SMS de chaque province pendant la durée de la collecte des données.

Une fois la collecte des données terminée, le partenaire de mise en œuvre connecte simplement ses tablettes à Internet et synchronise les données avec le serveur CommCare basé à New York. Le serveur n'est accessible qu'au coordonnateur S&E de l'UAS et à l’Expert ICT4D de l'UAS, qui téléchargent les données, les nettoient et les partagent avec les partenaires.

Assurer le partage et la visualisation des données : SMS VISUAL

Après nettoyage et vérification des données, toutes les données collectées par les partenaires sont publiées sur le site web et immédiatement accessibles à toutes les parties prenantes.

Mise en oeuvre du SMS 2: Responsabilités

Responsabilités de l’équipe SMS Chaque fois qu'un nouveau projet FCS est financé, l'équipe a l'obligation de (1) rencontrer les gestionnaires de projet pour réviser le système de S&E du projet, expliquer le rôle du SMS et les directives des indicateurs de stabilisation, s'assurer que les indicateurs standards ont été sélectionnés de manière appropriée et que les ressources de S&E dans le budget sont suffisantes pour mettre en œuvre le SMS, (2) organiser un atelier de lancement du SMS en invitant les chefs de projet et le personnel de S&E de chaque membre du consortium à expliquer le rôle du SMS et à valider ensemble les directives relatives aux indicateurs standard, (3) soutenir le partenaire dans la collecte de données en le formant à CommCare et en préparant les outils de collecte de données sur CommCare. (4) Nettoyer les données et les envoyer aux partenaires chaque fois qu'une collecte de données est effectuée, (5) effectuer le DQA (évaluation de la qualité des données) pour vérifier la qualité et la précision des données, en décourageant les fausses déclarations, et (6) mettre les données sur la plateforme en ligne SMS Visual une fois les données vérifiées.

Responsibilities of the FCS Implementation partners

Les partenaires doivent (1) allouer 5 % de leur budget aux activités de S&E conformément au manuel d'opérations de FCS, (2) former leurs agents recenseurs aux directives et aux outils de collecte de données et demander l'aide de l'équipe SMS si nécessaire, (3) collecter les données tous les six mois à l'aide de l'application CommCare - s'ils ne disposent pas de tablettes pour la collecte de données, ils peuvent les louer gratuitement auprès de l'équipe SMS, (4)

Responsibilities of the SSU Thematic Experts

participer à l'évaluation de la qualité des données (DQA) et prendre des mesures en fonction des recommandations, et (5) accéder à la plateforme SMS Visual pour évaluer leurs performances.

Chaque fois qu'une nouvelle collecte de données est publiée sur SMS Visual, ils soutiennent la révision des données et des tendances et leur incorporation dans leur analyse thématique.

3.3. Evaluation de la qualité des données & Triangulation des données (Répond au suici du niveau 3)

3.3.1 Evaluation de la qualité des données (DQA)

Les Staff SMS effectueront des évaluations semestrielles de la qualité des données afin d'évaluer la validité, la fiabilité et l'actualité des données et, le cas échéant, de procéder à des ajustements. Il s'agit d'une tâche essentielle pour s'assurer que les données recueillies par les partenaires le sont par rapport aux exigences des directives de stabilisation des indicateurs. Celles-ci peuvent donc être consolidées, ce qui permet de comparer les performances des différents projets.

L'équipe SMS organisera également des formations formelles de S&E sur le DQA pour tous les partenaires. Le DQA est composé des éléments suivants :

Validité

Integrité

Selon les Lignes directrices pour le suivi de la stabilisation - Critères de définition, les données doivent représenter clairement et adéquatement les résultats escomptés.

Lorsque les données sont collectées, analysées et communiquées, des mécanismes doivent être mis en place pour réduire la possibilité de manipuler intentionnellement les données pour quelque raison que ce soit. L'intégrité des données est le plus grand risque d'être compromise pendant la collecte et l'analyse des données. L'intégrité des données est garantie par l'utilisation de l'application CommCare fournie par l'équipe SMS, qui offre le plus haut niveau de protection des données contre la manipulation.

Precision Les données doivent être suffisamment précises pour présenter une image fidèle des performances et permettre la prise de décisions de gestion aux niveaux appropriés. L'une des questions est de savoir si les données sont à un niveau de détail approprié pour influencer les décisions de gestion connexes. Une deuxième question est de savoir si la marge d'erreur (la quantité de variation normalement attendue d'un processus de collecte de données donné) est acceptable compte tenu des décisions de gestion susceptibles d'être affectées. Cet examen est effectué pour vérifier si l'indicateur standard est significatif ou s'il doit être corrigé.

Fiabilité

Les données doivent refléter des processus de collecte de données et des méthodes d'analyse stables et cohérents dans le temps. La question clé est de savoir si les analystes et les gestionnaires arriveraient aux mêmes conclusions si le processus de collecte et d'analyse des données était répété. L'équipe SMS doit être certaine que les progrès vers les objectifs de performance reflètent des changements réels plutôt que des variations dans les méthodes de collecte de données.