Program MEL Guide espanol

Oxfam América

Monitoreo, Evaluación y Aprendizaje a Nivel de Programa

Una guía para el diseño de sistemas Equipo LEAD

Julio del 2009

1

Borrador destinado a pruebas de campo en SAMRO entre agosto-octubre del 2009.

Este documento brinda orientación para el personal de campo de Oxfam América sobre cómo diseñar sistemas de Monitoreo, Evaluación y Aprendizaje (MEL Estratégico) a nivel de programa. Cubre lo siguiente:

1) ¿Qué es un MEL a nivel de programa?

2) ¿Qué decisiones deben ser tomadas?

3) ¿Cómo pueden documentarse esas decisiones?

La guía está dirigida a Coordinadores de Programa experimentados y a Directores Regionales Adjuntos ya competentes en MEL. No es una guía para principiantes; ni tampoco una guía paso a paso de “Cómo hacerlo”. En lugar de eso, se trata de una guía que describe los elementos mínimos requeridos para establecer un sistema programático útil de MEL. El personal experimentado puede, pensamos, construir fácilmente tales sistemas por sí mismos, siempre que los requisitos sean claros. No creemos que el establecimiento de sistemas de MEL a nivel de programa debiera requerir de asistencia externa por parte del LEAD.

La guía se basa en ejemplos reales de sistemas de MEL desarrollados en los programas de campo de Oxfam América. Los mismos están disponibles en la sección llamada “orientación suplementaria”. La utilización de ejemplos concretos es una estrategia deliberada de aprendizaje: El LEAD cree que si los elementos de los sistemas de MEL de programa están claros, el personal experimentado y las contrapartes podrán producirlos.

Los ejemplos brindan al personal una muestra concreta de qué es “lo suficientemente bueno” y, esperamos, permitirá también al personal poder decir: “Ahora tengo una mejor idea, una que mejora esto”.

2

Al buscar una orientación simple, breve y directa, esta guía se encuentra vinculada a un cuerpo mucho más amplio de consejos, ejemplos y orientación para todo el ROPE II. El documento que tienen en sus manos está disponible en PADARE –en una forma modificada y extendida- en la sección de Orientación de MEL de Programa. Allí, se podrá encontrar también orientación sobre un cierto número de aspectos sobre un buen monitoreo, evaluación y aprendizaje, los cuales son precursores esenciales para poder desarrollar sistemas de MEL a nivel de programa (tales como Teoría de Cambio de Programa, Narrativas sobre Puntos de Referencia de Impacto, Suposiciones y Riesgos de Programa) o que vinculan MEL a nivel de programa a M&E más operacionales (tales como el Plan de Implementación de Programa (PIP). La mayor parte de este material está incluido en el documento llamado “Orientación Suplementaria”, el cual acompaña este borrador de directrices.

Finalmente: Esta orientación es un borrador; una prueba. Será probado por el personal de campo de SAMRO entre agosto-octubre del 2009, luego revisado y mejorado para su circulación general en el FY10.

3

Contenido

I.

Introducción al Monitoreo, Evaluación y Aprendizaje de Programa..........................................................................p. 5

II.

El Plan de MEL de Programa...........................................p. 8

III.

Elementos Fundamentales del Diseño del MEL de Programa..........................................................................p.10

1. Selección de Indicadores de Impacto y Resultado....................................................................p. 11

2. Diseño de la recolección de datos para indicadores (usuarios, fuentes, frecuencias y quién efectúa la recolección)................................................................p. 17

3. Productos de Impacto, Aprendizaje y Calendario......p. 20

4. Estimados de Presupuesto para MEL de Programa.....p.21 ________________________________________________________________________

4

I. Introducción al Monitoreo, Evaluación y Aprendizaje de Programa.

El propósito del Monitoreo, Evaluación y Aprendizaje de Programa (algunas veces llamado MEL Estratégico o MEL a nivel de programa [1]) es provocar un aprendizaje y una mejora continuos a través del seguimiento del progreso hacia la meta del programa.

Un buen sistema nos permite estar de acuerdo tanto en logros como en retrasos.

Permite asimismo que las contrapartes y los agentes primarios de cambio tomen parte en estas conversaciones.

Los MEL de programa efectivos llevan a cambios en las estrategias de programa, mejoras constantes en nuestro trabajo y fortalecimiento de las contrapartes y de los agentes primarios de cambio, proporcionando además evidencia creíble de la contribución de Oxfam a la eliminación de las causas fundamentales de la pobreza y de la injusticia social.

Los sistemas de monitoreo, evaluación y aprendizaje a nivel de programa –en contraposición al proyecto de M&E- nos permiten relatar una historia a lo largo del tiempo (10-15 años). La historia se centra en los cambios en las causas fundamentales de la pobreza y de la injusticia social que el programa está logrando. Por lo tanto, el sistema se centra particularmente en entender qué está cambiando en las vidas de los agentes primarios específicos de cambio y se basa en la Teoría de Cambio de Programa [2] (Ver el ejemplo de EARO, pp. 32-34 de la Orientación Suplementaria).

______________________ [1] Los términos MEL Estratégico y MEL de Programa son sinónimos en el contexto de OA. En adelante, usaremos el término MEL de Programa para describir el sistema de Monitoreo, Evaluación y Aprendizaje de OA a nivel de programa.

[2] El Sistema de MEL de Programa está diseñado para probar La Teoría de Cambio de Programa, la cual es el enfoque central del sistema de MEL. Así, recomendamos volver a revisar cuidadosamente la Teoría de Cambio de Programa como un requisito previo para desarrollar el sistema de MEL de Programa.

Los sistemas de MEL a nivel de programa presuponen que los procesos sociales complejos no son lineales ni pueden tampoco probarse fácilmente. Asumen que los impactos duraderos sobre las causas fundamentales de la pobreza casi nunca serán atribuidos únicamente a Oxfam. Un efectivo MEL a nivel de programa, por lo tanto, se concentrará en una contribución plausible (más que en atribución). Un MEL efectivo a nivel de programa permite probar nuestras suposiciones e hipótesis centrales de cómo es que ocurre el cambio. Nos permite también mejorar constantemente esa hipótesis.

5

Tabla 1: Diferenciación de Niveles de Monitoreo, Evaluación y Aprendizaje

Nivel de Programa (Estratégico)

-Nivel de Programa (Documento de Estrategia de Programa PSP).

-Investiga e informa sobre cambios a nivel de resultado e impacto.

-Centrado en la generación de conocimiento y aprendizaje aplicado, con miras a impactos mejorados con el tiempo.

-Prueba presunciones subyacentes y riesgos potenciales para los agentes primarios de cambio.

Nivel de Proyecto / Donante (Operacional)

-Nivel de Proyecto y de Donante (Plan de Implementación de Programa -PIP).

-Informa sobre resultados, actividades y evidencia emergente de resultados.

-Se centra en responsabilidad en la entrega de compromisos y atribución de resultados.

-Confirma o no el progreso y logros de las actividades.

6

Sistemas MEL a nivel de Programa: Principios de Diseño 1. El MEL de programa basado en derechos, es diferente del proyecto principal de M&E. Un sistema de MEL a nivel de programa no puede operar fuera de las necesidades, intereses y capacidades de las contrapartes de programa y de los agentes primarios de cambio. Ellos deben tener una fuerte influencia en la definición de los objetivos de programa, en los indicadores que demostrarán el progreso y en la interpretación y análisis de los datos de monitoreo y evaluación.

Los sistemas de MEL basados en derechos utilizan el M&E mismo para fortalecer y construir la capacidad de las contrapartes y agentes primarios de cambio. La intervención de los grupos de interés, simplemente, no es opcional.

2. Los sistemas de MEL a nivel de programa necesitan ser lo suficientemente simples para generar acuerdos entre todas las contrapartes y grupos de interés claves, así como ser lo suficientemente rigurosos para narrar una historia verosímil del impacto y ser lo suficientemente útiles para motivar una intervención iterativa, reflexión crítica y aprendizaje con el tiempo. Estos tres objetivos –simplicidad, rigor e intervención- pueden ser conflictivos unos con otros.

3. Cada programa tiene diferentes metas, contextos, culturas y contrapartes. Esto significa que habrán diferentes monitoreos, evaluaciones y planes de aprendizaje, así como indicadores, técnicas y planteamientos. El sistema de MEL de cada programa será único.

4. Los programas y sistemas de MEL de programas son idealmente co-diseñados y administrados por una coalición de contrapartes estratégicas –incluyendo a representantes de los agentes primarios de cambio- quienes comparten un compromiso de trabajo conjunto hacia un objetivo de impacto común. (ver ROPE II para más información sobre los Grupos de Trabajo de Programa).

5. Se espera que cada programa tenga una relación en curso con un instituto de investigación local / regional. El propósito de esta relación es: 1) proporcionar mecanismos a través de los cuales el personal de programa afronte retos referidos a estrategias, monitoreos y evaluación de datos. 2) canalizar hacia el programa buenas prácticas y razonamientos sofisticados, expertos y académicos, provenientes de otros ámbitos. 3) Proporcionar una investigación objetiva, periódica y externa de impacto. Esta investigación externa complementa los datos

7

actuales de monitoreo interno que los programas recogerán y analizarán regularmente.

II. Plan de MEL de Programa El plan de MEL de programa es el producto más importante para documentar lo escogido en el MEL. Servirá para guiar estrategias, hacer donaciones, planes de investigación y eventos de aprendizaje a lo largo de la vida del programa. Establece los indicadores de impacto y resultado del programa, los planes de recolección de datos, fechas de publicación, métodos, responsabilidades para el MEL, momentos y eventos de aprendizaje y presupuesto. Ver la página siguiente para un ejemplo de formato.

MEL a Nivel de Programa ¿Qué debe ser Indicadores medido?

¿Cómo medir? ¿Cuándo? / Procesos de ¿Quién? ¿Con qué Aprendizaje, frecuencia? productos y Costo? publicaciones

Meta del Programa de Impacto:

espacios para partes separadas del objetivo de impacto

¿Qué debe ser Indicadores medido?

¿Cómo medir? ¿Cuándo? / Procesos de ¿Quién? ¿Con qué Aprendizaje, frecuencia? productos y Costo? publicaciones

Objetivo de Cambio Estratégico 1:

Objetivo de Cambio Estratégico 2:

8

Objetivo de Cambio Estratégico 3:

¿Qué debe ser Indicadores medido?

¿Cómo medir? ¿Cuándo /¿Con Procesos de ¿Quién? qué frecuencia? Aprendizaje, ¿Costo? productos y publicaciones

Teoría del Cambio –Presunciones Presunción 1 Presunción 2

COSTO TOTAL DE LA INVESTIGACIÓN: COSTO TOTAL DEL IMPACTO DE EVALUACIÓN: INVESTIGACIÓN TOTAL $MEL: Proyecciones Programa:

del

Presupuesto

de

En 2010 = $ m →7% máximo PMEL = $ k.

En 2011 = $ m → 7% máximo PMEL = $ k.

En 2012 = $ m → 7% máximo PMEL = $ k.

En 2013 = $ m → 7% máximo PMEL = $ k.

En 2014 = $ m → 7% máximo PMEL = $ k.

Este es un ejemplo. Ustedes deben adaptarlo y modificarlo de acuerdo a su contexto.

(Ver también los planes MEL HARO y EARO en la Orientación Suplementaria, pp. 15-20, 35-37).

III.

Elementos Fundamentales de MEL a nivel de Programa

9

Decidir qué y cómo estudiar y analizar el impacto es uno de los componentes más importantes de los sistemas de monitoreo, evaluación y aprendizaje. Quién recolecta qué información y cómo son recolectados, analizados y utilizados los datos puede reforzar las desigualdades de poder en una comunidad, o si es hecho hábilmente, puede ser una fuerza para crear una equidad más grande. Estas preguntas requieren atención especial en un planteamiento basado en derechos. Necesitamos asegurarnos de que la investigación de MEL a nivel de programa respete el tiempo de las personas. Debemos ser cuidadosos acerca de proteger a personas y hogares que puedan estar brindando datos que actores poderosos puedan explotar. Necesitamos asegurarnos que los datos y análisis regresen a las comunidades involucradas en la investigación. Incluir a los actores locales al definir qué debe ser investigado y al conducir una investigación, puede generar conocimiento alineado con los objetivos de defensoría de nuestra programación basada en derechos.

Cuando varios grupos de interés son consultados y están de acuerdo sobre qué información se requiere y cómo recogerla, esto constituye el primer paso en crear un verdadero aprendizaje y conocimiento compartido. Un consenso exitoso acerca de qué información recoger y el proceso de recolección de datos puede llevar a eventos de aprendizaje y productos con valiosa información, susceptible de ser comparada a lo largo de un amplio margen de contextos.

10

1. Selección de Indicadores de Impacto y Resultado Los indicadores son variables que analizan progreso y lo hacen posible a través de la recolección de datos para identificar tendencias a largo plazo. Los indicadores pueden ser cuantitativos, cualitativos, o una combinación de ambos. Para el MEL a nivel de programa queremos concentrarnos en los indicadores de impacto de programa y en los indicadores de resultado intermedio. Ambos tipos están presentes en todas las intervenciones de programa y pueden incluir a múltiples contrapartes y grupos de interés al momento de recolectar y analizar datos.

Indicadores de impacto de alto nivel

Indicadores: Recolectados a lo largo de todas las intervenciones de programa (Derivados de la teoría común de cambio)

Indicadores de nivel de Proyecto e Intervención

Indicadores a nivel de Proyecto •

Resultado

•

Proceso

Resultado a nivel intermedio alto

Indicadores a nivel de Proyecto 11

Indicadores a nivel de Proyecto

•

Resultado

•

Resultado

•

Proceso

•

Proceso

La siguiente es una tipología de indicadores relevante para el MEL a nivel de programa:

Indicadores de Impacto: Miden los cambios significativos a largo plazo en las vidas e influencia social de los agentes primarios de cambio, así como en su fortalecimiento. El impacto en las causas básicas es siempre medido por un grupo de indicadores de resultado, no por un solo indicador.

Indicadores de Resultado: Los indicadores de resultado evalúan la contribución a los cambios en las relaciones, actitudes, conductas, ideas, políticas, valores, prácticas, instituciones, condiciones humanas y ambiente activo, como una consecuencia directa o indirecta de un conjunto de acciones y de sus resultados.

Indicadores de Proceso: Estos indicadores miden la efectividad de las medidas de las intervenciones (aportación, actividades, producción), tales como: cuan oportunas son, coordinación, calidad del producto investigado, percepción del proceso por parte de las personas, satisfacción con respecto a la capacitación, satisfacción con respecto al enfoque de las contrapartes, etc. Los indicadores de proceso son evaluados con mayor frecuencia a nivel de proyecto. Sin embargo, uno o dos indicadores de procesos de alto nivel son buenos a nivel de programa, por ejemplo, la valoración satisfactoria de una comunidad sobre la efectividad de una organización con base comunal en un área específica.

Un aspecto único de las estrategias de programa de Oxfam América es la identificación de los puntos de referencia de impactos a 3, 6 y 9 años. Los indicadores de impacto, resultado y proceso están vinculados a estos puntos de referencia para producir informes de progreso que pueden ser medidos y ubicados en sus límites de tiempo.

Propósito / Función de los Indicadores de Impacto y Resultado Los indicadores aseguran que una cierta información mínima sea recolectada con regularidad durante el transcurso de un programa. Son importantes para hacer la evaluación iterativa: asegurando que datos similares y comparables sean recolectados en momentos diferentes en el tiempo. Sin una estructura consistente en un conjunto de indicadores claramente definidos, la evaluación se torna más ad hoc y menos capaz de capturar sistemáticamente los cambios a largo plazo.

12

Elementos Centrales del Producto 1. Cada programa debe tener un claro conjunto de cuatro a ocho indicadores de impacto a largo plazo relacionados con el objetivo de programa y la narrativa de puntos de referencia de impacto.

Oxfam asume que el cambio a largo plazo en la vida de las personas es sostenible cuando la gente misma es capaz de mantener y agregar otros cambios positivos a través del ejercicio de sus derechos y a través de un ambiente que apoya sus derechos.

Una buena serie de indicadores de impacto de programa hace posible evaluar por lo menos tres de las cuatro grandes dimensiones de un impacto basado en derechos como que vemos a continuación:

1. Cambio en las condiciones de vida de las personas (por ejemplo, menos conflictos, mejor compensación, salud, activos económicos, etc).

2. Una creciente intervención de los agentes primarios de cambio (conocimiento, capacidad, mecanismos internos, liderazgo, generación de ideas).

3. Cambio en las estructuras de oportunidad del medio (políticas, estructuras, códigos, normas, leyes, procedimientos, presupuestos).

4. Cambio en la conducta social (incluyendo el fortalecimiento de políticas, cambios en la conducta normativa, cambios en cómo son consultadas las personas por los gobiernos locales, cambios en el accionar de las compañías mineras, etc).

Todo lo antes mencionado no constituye categorías estrictas y los indicadores encontrarán coincidencias. Existen ejemplos disponibles de conjuntos de indicadores en la orientación suplementaria. Hay ejemplos para el Programa de Extractivas de EARO, el Programa de Agua de HARO, el Programa de Violencia de Género de CAMEXCA y el Programa de Industrias Extractivas de WARO.

Cualidades de un “buen” indicador Si un indicador fue diseñado para hacer posible el seguimiento del cambio, podemos decir entonces que un “buen” indicador es aquel que hace esto tan fácil y válidamente como sea posible.

13

Relevante – los indicadores necesitan ser relevantes al contexto, al tema sobre el cual está trabajando el programa y al objetivo que está siendo estudiado. Este ejemplo podría ser un indicador relevante para el estudio de la respuesta del gobierno o de las mineras con respecto a comunidades, asumiendo que el programa se encuentre trabajando en ese objetivo.

Específico – los detalles en este texto, tales como “válido” o “aldeas afectadas” aclara qué tipo de evidencia específica se necesita.

% de quejas / reclamos válidos sobre minas procedentes de las aldeas afectadas sobre las cuales está realmente actuando el gobierno o las compañías.

Medidas que se desean analizar – un cambio en este indicador es claramente un signo positivo o negativo. El número total de reclamos, por contraste, no sería una buena medida. Otro ejemplo contrastante: “gastos familiares en salud”, es una medida ambigua para referirse a un mejor acceso a servicios de salud, porque un incremento en tales gastos podría ser tanto algo bueno como malo. – podría significar que los hogares tienen más recursos para servicios de salud, o que la incidencia de la enfermedad se ha incrementado. Una mejor medida de logros positivos en salud podría ser la cobertura de inmunización para los niños de un año de edad.

Evaluable – Este indicador es factible de ser monitoreado porque la información se encuentra ya disponible en las organizaciones de base comunal. Asimismo es posible evaluarlo porque se puede detectar el cambio de un año a otro.

Nota: Un indicador no necesita contener una cantidad. De hecho, ciertos indicadores sólo pueden ser estudiados a través de enfoques cualitativos. Los indicadores cualitativos son también evaluables, relevantes, no ambiguos y específicos.

Por ejemplo: “Percepciones de los líderes comunitarios sobre los cambios más significativos en la seguridad de las mujeres en su vecindario”.

Nota: Un indicador no necesita contener una cantidad. De hecho, ciertos indicadores sólo pueden ser estudiados a través de enfoques cualitativos. Los indicadores cualitativos también son evaluables, relevantes, claros y específicos. Por ejemplo: “La percepción de los líderes comunales sobre los cambios más significativos en la seguridad de las mujeres en su vecindario”.

14

2. Los indicadores deben ser vinculados a narrativas de puntos de referencia de impacto.

La tabla que se muestra a continuación proporciona un ejemplo tanto de indicadores de impacto a largo plazo, como de importantes indicadores de resultados derivados a partir de las narrativas de puntos de referencia.

Indicador de Impacto – Duración del Programa % de la población indígena que entiende información básica que los ciudadanos activos necesitan saber acerca de los derechos relacionados con la minería.

Categoría del Cambio

Agencia

Comparación del cambio en la medida de pobreza a nivel provincial comparado con el promedio nacional.

Condiciones de vida

% de ingresos gubernamentales procedentes de Industrias Extractivas que ha sido reinvertido en las áreas afectadas.

Estructura de Oportunidad

Calidad de la inclusión comunitaria en temas importantes de decisión con respecto a la minería.

Relaciones Sociales

Resultados relacionados con declaración de puntos de referencia

la Relación de los Puntos de Referencia de Resultados con los arriba mencionados Indicadores de Impacto a Largo Plazo?

Para el año 2012, la existencia de un protocolo adoptado por parlamento para la mejor aplicación de la Ley de Compensación Justa.

Los resultados relacionados con los puntos de referencia, si son logrados, proporcionarán evidencia importante que se está progresando hacia los cuatro indicadores de impacto indicados en la parte Para el 2012, la calidad de los códigos superior media de la tabla.

Al mismo mineros en Mali, Senegal y Burkina Faso en tiempo, son precursores necesarios para el términos de harmonización con el código logro de indicadores de impacto a largo regional minero pasado por ECOWAS. plazo (tales como niveles de pobreza en una provincia).

15

Elementos Mínimos de Proceso Los indicadores pueden ser desarrollados en una de dos maneras: El personal de programa de Oxfam puede inicialmente desarrollar los indicadores a través de un ejercicio interno y luego validar y ajustarlos con los grupos de interés de programa.

Alternativamente, los indicadores pueden ser desarrollados conjuntamente con las contrapartes, agentes primarios de cambio, y /o el grupo de trabajo de programa.

Típicamente, el proceso de selección de indicadores empieza con una lluvia de ideas de varios indicadores posibles, lo cual resultará en una lista muy ambigua. Esta lista deberá ser depurada hasta alcanzar de cuatro a ocho indicadores fundamentales de impacto que el personal de programa, contrapartes y posibles Program Working Group – PWG (OI), quieran seguir a lo largo de la vida del programa.

Las siguientes preguntas son útiles al definir los cuatro a ocho indicadores fundamentales de impacto después de revisar el objetivo de programa, objetivos estratégicos, narrativas de puntos de referencia y la teoría de cambio:

•

Pregúntense ustedes mismos ¿qué elementos de evidencia serían los más importantes para monitorear en relación con los indicadores?

•

¿Es este indicador algo que nosotros podamos razonablemente esperar afectar en los próximos diez años?

•

¿Será este indicador una medida clara para el cambio que el programa quiere ver?

•

¿Es clara la unidad de análisis?

•

¿Capturan los indicadores el nivel apropiado de escala / alcance?

•

¿Cubren los indicadores los cuatro importantes dominios de cambio requeridos para impactos duraderos en las causas fundamentales (condiciones de sustento, agencia, estructuras de oportunidad, relaciones sociales)?

Nota: Aún si los indicadores se desarrollan primero internamente, es importante que sean validados con los mayores grupos de interés de programa, incluyendo idealmente a representantes de los agentes primarios de cambio. Al incluir a las contrapartes y a los grupos de interés, se crea también un sentido de compromiso para aprender y participar en la recolección de información sobre los indicadores a través del tiempo.

16

Luego de ponerse de acuerdo sobre el conjunto de indicadores de impacto a largo plazo, se volverá a visitar las declaraciones de puntos de referencia PSP y se asegurarán que los resultados identificados estén en línea con ellos y que tengan un flujo lógico.

Conjunto de Indicadores de Impacto y Resultado para los Programas: Ejemplos HARO – Programa del Agua, pp. 13-14 en la Orientación Suplementaria.

EARO – Programa de Extractivas, pp. 32-34 en la Orientación Suplementaria.

WARO – Programa de Extractivas, pp. 55 en la Orientación Suplementaria.

2. Diseño de la Recolección de Datos para los Indicadores La recolección de datos es el proceso por el cual los grupos de interés de programa reflexionan acerca de quienes recolectan la información, cómo lo harán y cómo se utilizarán los datos. Una vez analizados, los datos nos ayudarán a entender qué progreso estamos logrando, qué obstáculos estamos encontrando y genera ideas y posiciones para defensoría de política.

Los métodos de recolección de datos están hechos para los indicadores y para las preguntas que están siendo investigadas. Ellos dependen, también, de los recursos disponibles, habilidades del personal y de las contrapartes, estructuras de tiempo, alcance y nivel de rigor necesarios. Esto es además de los criterios ya bien conocidos de validez, confiabilidad y utilidad de los datos finales.

Propósito / Función de la Recolección de Datos El propósito de la recolección y análisis de datos es calcular el progreso con respecto a los objetivos, ayudar a los participantes del programa a aprender, mejorar continuamente las estrategias y proporcionar los medios para una responsabilidad pública efectiva.

Elementos Centrales del Diseño de Recolección de Datos

17

Los siguientes elementos necesitan ser comprendidos como parte del diseño de la recolección de datos para los indicadores:

1.

Información existente – Para cada indicador, proporciona cualquier información conocida acerca del mismo e incluye fechas. Cuando sea posible, debemos utilizar información secundaria (datos recolectados por otros) porque se ahorra tiempo y dinero.

2.

Fuentes Alternativas de Información – Proporcionan detalles sobre las fuentes factibles de datos con respecto a los indicadores que no han sido cubiertos por las fuentes secundarias. Por ejemplo, para el indicador “% de quejas / reclamos válidos provenientes de las aldeas afectadas sobre las cuales está realmente actuando el gobierno o las compañías”, esta columna puede incluir detalles tales como “reclamos oficiales registrados en audiencias públicas, cortes locales, con el EPA, con el ombudsman de la minería o con los funcionarios locales”.

Registros de los reclamos presentados están disponibles en CSO y grupos locales de monitoreo.

3.

Quién recolecta los datos – En esta columna se describe si es que la evidencia es recolectada o compilada internamente por Oxfam, por el personal de una contraparte o externamente por una institución de investigación o consultor de evaluación. ¿Ayudan las comunidades locales a recolectar información?

4.

Cómo recolectar los datos – Proporciona ideas iniciales sobre cómo estudiar esta variable. Esto incluye información sobre muestreo, es decir, cómo es que son seleccionados lugares o individuos para el estudio (todas las comunidades que están trabajando directamente con una contraparte, al azar, estratificadas o selección intencional, oportunista).

Proporciona asimismo una idea de alcance: aproximadamente cuantos lugares / individuos puedan ser incluidos, cubriendo qué áreas o poblaciones. Por ejemplo: “Centrarse en grupos –10 aldeas seleccionadas a propósito, con hombres y mujeres por separado, a lo largo de un área cubierta por una contraparte”.

Finalmente, brinda ideas sobre los métodos que podrían ser utilizados. ¿Se trata de una acción de investigación participativa en un conjunto de lugares escogidos específicamente? ¿Es una encuesta de hogares? ¿Se trata de entrevistas abiertas con personas seleccionadas por ser diseñadores de 18

políticas? ¿Es una encuesta telefónica a nivel nacional? Es conveniente listar más de un método, especialmente allí donde sea importante triangular información (comparando conjuntos diferentes de datos del mismo indicador).

5.

Con qué frecuencia – ¿Se ha recolectado la información una vez al año? ¿Ha sido compilada en una base continua a partir de registros semanales? ¿Provienen estos datos de eventos ocasionales que son documentados mientras ocurren, tales como resultados de una visita de lobby?

6.

Para qué producto - ¿Cómo se agregará la información compilada? Por ejemplo, ¿En una base de datos? ¿En un informe escrito anual de programa? ¿En un mapa?

7.

Eventos de Aprendizaje - ¿Dónde y cuándo se podrán compartir los resultados?

Elementos Mínimos de Proceso Una forma de organizar los elementos de un proceso de recolección de datos es el uso de una tabla (ver pp. de la Orientación Suplementaria para ejemplos). La tabla reduce los datos recolectados hacia sus componentes, incluyendo: fuentes potenciales de información para indicadores, métodos de recolección de datos, ideas sobre quién recolectará la información, con qué frecuencia, para qué producto de aprendizaje y para qué evento(s) de reflexión. La tabla es un paso interno intermedio antes de finalizar un plan de MEL de programa.

Para llenar la tabla, todos los indicadores de impacto y de los puntos de referencia (idealmente de seis a diez en total) serán escritos en una tabla en la columna izquierda.

Los encabezados serán ubicados a lo largo de la fila de arriba, uno por columna.

Completar esta tabla es un ejercicio colectivo que incluye contrapartes y grupos de interés de programa (idealmente el Grupo de Trabajo del Programa). Algo de trabajo interno puede ser hecho por el personal de programa de Oxfam, antes de compartirlo con los grupos de interés de programa si se desea, siempre y cuando esto sea validado por el grupo más amplio de trabajo. En algunos casos, cuando sea difícil integrar a un grupo de trabajo de programa, se pueden llevar a cabo conversaciones sobre la tabla en grupos más pequeños o persona a persona entre Oxfam y grupos de interés individuales.

Recomendamos completar toda la tabla en un solo taller.

19

La tarea de completar la tabla requiere aproximadamente un día de trabajo de grupo plenario y de grupo pequeño. Una vez que las columnas hayan sido descritas y discutidas por un facilitador, un proceso útil consiste en completar un indicador colectivamente en una plenaria y luego dividirse en grupos pequeños, llenando cada uno no más de dos indicadores. Se asignará cuidadosamente los indicadores a los grupos según la relevancia y la pericia. Cada grupo presentará sus resultados para discusión y validación en una plenaria. Al fin de la jornada, la tabla estará completa y habrá consenso sobre su contenido y responsabilidades.

Una tabla de recolección de datos es asimismo una forma de verificar la factibilidad del MEL de programa. Es probable que se constate que la tabla de recolección de datos es demasiada ambigua y requiera más tiempo y recursos de los que están disponibles. La próxima conversación sería entonces sobre la simplificación y prioridad de los indicadores y de la recolección de datos. Una vez que la tabla parezca realista, entonces podrá ser utilizada para escribir el plan de MEL de programa.

Ejemplos de las Regiones HARO – Ejemplo de Recolección de Información para Indicadores del Programa del Agua, pp. 15-20 de la Orientación Suplementaria EARO – Ejemplo de Recolección de Información para Indicadores del Programa de Extractivas, pp. 35-37 de la Orientación Suplementaria.

3. Productos de Aprendizaje, Impacto y Calendario Una vez que tengamos una idea clara de los impactos deseados, indicadores de tales impactos y métodos de recolección de información y roles, necesitaremos un plan para productos y procesos analíticos, de defensoría y de aprendizaje. El calendario y la naturaleza de los productos cambiarán conforme vayan cambiando el ambiente de programa y las estrategias. Al mismo tiempo, un plan indicativo de 10 a 15 años tendrá más posibilidades de ser puesto en marcha en la práctica si se puede visualizar en la fase de diseño.

Propósito / Función La producción planificada de una serie de productos de aprendizaje e impacto nos a ayuda a:

20

•

Rastrear cambios y la posible contribución de las intervenciones de programa con respecto a los impactos sobre las causas fundamentales de la pobreza y de la injusticia social.

•

Mejorar las estrategias y tácticas de programa, basadas en evidencia objetiva.

•

Crear mejores productos de políticas de defensoría dotados de una mayor base en evidencias y ofrecer un mecanismo concreto a través del cual tales productos sean identificados y presupuestados en el ciclo de planeamiento.

•

Influenciar la conducta de otros actores, cuando sean constatadas las prácticas exitosas y se disemine la información acerca de las mismas en mercados de ideas locales, nacionales, regionales e inclusive globales.

•

Lograr apoyo adicional de donantes y grupos de interés para nuestro trabajo, cuando los productos de conocimiento de Oxfam se muestren como resúmenes confiables de buenas prácticas, así como ideas bien fundamentadas para la mejora de políticas.

Calendario de Publicaciones y Eventos de Aprendizaje A partir de nuestra experiencia piloto de MEL estratégicos, hemos hallado que el desarrollo de un calendario de producción de impacto y de productos de aprendizaje concreta nuestro compromiso de narrar una historia de impacto a lo largo del tiempo, obtenida desde diferentes elementos de nuestro sistema de MEL a nivel de programa.

Esperamos que un calendario de publicaciones establecido en el primer año, podría servir como reflexión y ser confirmado o corregido anualmente, o cada tres años como mínimo.

El calendario también informa sobre el presupuesto para programas.

Ejemplos de las Regiones Calendario de Publicaciones de EARO, p. 37 de la Orientación Suplementaria.

4. Estimados de Presupuesto para MEL de Programa El ROPE II estipula que el 7% de los presupuestos de programa sean destinados al MEL. Esto significa que para un programa de $600,000 dólares al año, un MEL anual de $50,000 dólares es deseable. Esta cantidad debe cubrir todas las actividades de monitoreo, evaluación y aprendizaje, incluyendo los requisitos específicos de las donaciones. Esta cantidad, por lo tanto, cubre cosas como estudios especiales sobre indicadores particulares, eventos de aprendizaje (conferencias, reuniones, reflexiones), investigación adicional sobre contexto y poder, investigación de políticas, etc. Esta cantidad también debe servir para apoyar los costos de las visitas de monitoreo y actividades del personal de Oxfam.

21

Propósito y Función de un Presupuesto de MEL Un presupuesto explícito para varios años es una prueba de realidad acerca de los planes de MEL. Un presupuesto así permite también que el personal escoja mejor al incluir actividades de MEL en las propuestas restringidas de donaciones. También aclara qué tipos de investigación de impacto no pueden ser hechas, debido a los recursos limitados.

Finalmente, un presupuesto de MEL efectivo tiene la misión de ayudar a Oxfam y a las contrapartes a mejorar su criterio de selección entre los métodos de MEL y los recursos disponibles.

Consideraciones Mínimas de Proceso Hacer un presupuesto de MEL a nivel de programa es un proceso iterativo*. Un presupuesto útil de MEL a largo plazo llevará varios días para ser desarrollado y podría requerir que el personal tenga acceso a las personas –investigadores o especialistas en MEL- que poseen conocimientos técnicos sobre recolección de datos y métodos de análisis.

Este conocimiento técnico es particularmente útil con respecto a las consideraciones sobre el posible costo de métodos diferentes – y para disminuir o aumentar las opciones de costos.

El primer paso es calcular el 7% de su actual presupuesto de programa para los próximos tres años. Esto revelará los fondos que se tienen para el MEL.[3] Luego, revisar los indicadores a nivel de programa, uno por uno, y recordar el método(s) que se adoptó para recolectar información en contraste con aquellos indicadores y recordar con qué frecuencia se recopilan los datos. ___________________ [3] Noten que los recursos para los estudios de base a nivel de programa no son considerados parte central del presupuesto de MEL. Están disponibles, realizando un pedido a PADARE y al personal de LEAD, orientaciones separadas sobre líneas de base.

Actualmente los recursos de líneas de base son dados a LEAD, y LEAD trabaja luego con el personal de programa e investigadores locales sobre los TOR de líneas de base, implementación y análisis. *Iteraciones en el contexto de un proyecto se refieren a la técnica de desarrollar y entregar componente incrementales de funcionalidades de un negocio. Esto está comúnmente asociado al desarrollo ágil de software, pero podría referirse a cualquier material. Una iteración resulta en uno o más paquetes atómicos y completos del trabajo del proyecto que pueda realizar alguna función tangible del negocio. Múltiples iteraciones contribuyen a crear un producto completamente integrado. A esto se lo compara comúnmente con el enfoque de desarrollo en cascada.

22

Se debe estimar luego el costo anual de recolección de datos en relación a los indicadores. Nota: normalmente, algunos indicadores son sólo investigados cada 3 5 años, puesto que el cambio en relación a los mismos no se piensa que sea factible en períodos de tiempo más cortos. En este caso, sin embargo, ustedes aún necesitan identificar en qué año tendrá lugar un estudio en particular. Su presupuesto de MEL, por lo tanto, puede fluctuar de año en año, pero con el tiempo debe asentarse en el objetivo de presupuesto de 7%.

Al estimar costos, recuerden incluir todos los costos: consultores, viajes de campo, practicantes, analistas temporales de datos, talleres, conferencias, producción de informes / estudios, etc.

La guía de presupuesto del 7% se ha hecho para apoyar el proceso formal y las evaluaciones de impacto –lideradas por investigadores externos- cada 3 – 5 años.

Normalmente, después de estimar por primera vez el presupuesto para la recolección de datos, análisis, productos de conocimiento y eventos de aprendizaje en su MEL de programa, encontrarán que han sido demasiado ambiciosos. Entonces deben:

a) Identificar métodos más efectivos en cuanto a costos.

b) Identificar diferentes indicadores que sean más fáciles de analizar.

c) Buscar recursos adicionales para el sistema de MEL.

Las cantidades presupuestadas para su sistema de MEL deben, cuando finalicen, ser incluidas en la columna 4 del plan de MEL (ver página 9).

Ejemplos de las Regiones Plan de MEL de IE de EARO, pp. 35-37 en la Orientación Suplementaria.

Plan MEL de Agua de HARO, pp. 15-20 en la Orientación Suplementaria.

23