Guía básica para la evaluación de Impacto de los proyectos y programas de las OSC

Guía Básica para la

Evaluación de Impacto de los Proyectos y Programas de las Organizaciones de la Sociedad Civil para el Desarrollo Sostenible

ALIANZA ONG

ALIANZA ONG Calle Caonabo No. 22 Gazcue, Santo Domingo, República Dominicana Tel. 809-221-9192 www.alianzaong.org.do info@alianzaong.org.do

Diciembre 2018 Santo Domingo, R.D. 40 páginas ©Alianza ONG, 2018.

Presidenta Alianza ONG Regla Brito de Vargas Directora Ejecutiva Alianza ONG Addys Then Marte Investigación y Elaboración: Raniero Cassoni Herelys Leiva Coordinación de Edición: Severín Carminati Revisión: Angélica Pérez Diseño y Diagramación: Elvis Zorrilla

Los planteamientos expuestos en esta publicación no reflejan necesariamente las opiniones de Alianza ONG ni de las organizaciones que la auspician. Este documento se ha realizado con el apoyo de Fundación Popular.

5

INTRODUCCIÓN CAPITULO 1 Las “3P“ 1.1 Las Diferencias entre Política Pública, Programa y Proyecto 1.2 Ciclo de vida de los Programas y Proyectos Capítulo II La Evaluación de impacto 2.1 Monitoreo, Evaluación y su diferencia con Evaluación de Impacto

6

6 7

9 9

9

2.2 ¿Qué es una Evaluación de impacto?

10

2.3 Evaluación de impacto: ¿Por qué? ¿Para qué?

11

Capítulo III Diseño 3.1 Términos de referencia 3.1.1 3.1.2 3.2.3 3.1.4 3.1.5 3.1.6

Diseño de programa/proyecto a evaluar Objetivo y alcance de la evaluación Elaboración de preguntas Disponibilidad de datos Momento de la evaluación Aspectos financieros

3.2 Métodos de Evaluación 3.2.1 Métodos Cuantitativos 3.2.1.1 Experimental 3.2.1.2 Cuasi Experimental 3.2.1.2.1 3.2.1.2.2 3.2.1.2.3 3.2.1.2.4

Variables instrumentales Pareamiento Regresión discontinua Diferencias en diferencias

3.2.1.3 No experimental 3.2.1.3.1 Antes y después 3.2.1.3.2 Solo después

3.2.2 Métodos Cualitativos 3.2.3 Claves para la elección de modelo según el proyecto/programa

Capítulo IV Implementación 4.1 ¿Quién evalúa?

13 9

13 13 14 14 15 15 15

16 17 17 18 18 19 20 20 21 21 21

22 22 25

25

4.2 Los instrumentos de recolección

26

4.2.1 Encuesta 4.2.2 Datos secundarios 4.2.3 Análisis Costo beneficio 4.2.4 Análisis Costo efectividad 4.2.5 Entrevistas individuales 4.2.6 Grupos focales 4.2.7 Observación participante

26 27 27 29 30 31 31

Capítulo V Análisis Capítulo VI ¿Cómo utilizar la información?

6.1 El informe

32 33

33

6.2 Estrategia de comunicación

33

6.3 Como armar un plan de comunicación

34

Capítulo VII El Aprendizaje 7.1 La evaluación como aprendizaje Glosario de Términos Bibliografía

35

35

36 37

ÍNDICE

4

RESUMEN EJECUTIVO

Resumen Ejecutivo

La guía de evaluación de impacto tiene como objetivo fundamental apoyar a las Organizaciones de la Sociedad Civil (OSC), ofreciendo en pasos sencillos un instrumento que refuerza la rendición de cuentas, la sustentabilidad, la rentabilidad y la profesionalización de la intervención del espacio público, a través de programas y proyectos.

La presencia cada vez mayor del tercer sector en diferentes países con logros trascendentales para el desarrollo, han fortalecido las iniciativas de emprendimientos sociales para ofrecer soluciones a las desigualdades y problemas sociales. Este documento constituye un aporte para quienes desde las iniciativas sociales promueven cambios en beneficio de la población.

Presentamos una guía dirigida a quienes se desenvuelven en el campo del desarrollo social, especialmente, a miembros de las organizaciones de la sociedad civil. Es una introducción general que contiene conceptos y herramientas, orientadas a fortalecer la capacidad de comprensión, interpretación y análisis de las informaciones relacionadas a la evaluación de impacto.

La amplia bibliografía disponible relacionada a cada uno de los capítulos dificultó resumir en breves y elementales pasos una guía. Cada uno de los temas tiene una profundidad en investigaciones y estudios de casos que sustentan el registro académico de una disciplina cada vez más profesionalizada. Por ello, ofrecemos en cada capítulo material complementario disponible en la web, para quienes desean profundizar y especializarse en algún tema de interés y requiera más información.

Iniciamos revisando conceptos básicos como políticas públicas, programas y proyectos. Este primer ejercicio de definición ofrece las herramientas de análisis sobre el ciclo de vida y sus etapas. Luego, revisamos y delimitamos en qué consiste la evaluación, el monitoreo y la evaluación de impacto, cuestionando la importancia de su aplicación en los procesos de implementación.

Una vez resuelto si aplicar o no la evaluación de impacto, ofrecemos un repaso por las principales herramientas metodológicas, describiendo los diferentes enfoques: experimentales, no experimentales, cuantitativos y cualitativos, así como las principales técnicas de recolección y tipos de evaluadores.

Brindamos una serie de pasos para realizar el análisis, como el corazón de la evaluación de impacto, con la intención de lograr un producto tangible como el informe, registro de una experiencia que una vez documentada y compartida se transforma en un documento valioso para futuras intervenciones, así como el plan de comunicación que posiciona el trabajo realizado por una institución.

4

Toda evaluación se aplica con el fin de obtener un aprendizaje, cuyas lecciones sean la base de futuras intervenciones. La concientización del poder de cambio social de las OSC junto con el constante aprendizaje técnico beneficia la labor que desempeñan, por lo que incentivamos la profesionalización, documentación y la difusión de las experiencias, en especial, con otras organizaciones dedicadas al desarrollo social, con miras a fortalecer el ejercicio de prácticas colaborativas orientadas a lograr objetivos comunes en pro del beneficio colectivo. El liderazgo que desde nuestra propia experiencia podemos compartir, incide en la capacidad de innovar y lograr los resultados deseados.

Introducción El compromiso de lograr cambios que beneficien el desarrollo del país ha impulsado diferentes iniciativas por parte de la sociedad civil, algunas de ellas exitosas, otras con importantes aprendizajes, mientras que otro porcentaje desaparece en las sombras de proyectos no documentados.

La experiencia acumulada en cada una de las intervenciones que son compartidas optimiza la generación de proyectos con experiencias que permiten cambiar de enfoques para lograr las metas. Asimismo, permiten construir una red de articulación entre las OSC con miras a la profesionalización de las intervenciones sociales, su perdurabilidad y la rentabilidad de sus acciones, siendo la medición de impacto una herramienta de transparencia ante la sociedad y de aprendizaje para la institución.

La necesidad de interrelacionarse con las instituciones del Estado, la relación con las comunidades intervenidas, la captación de cooperantes y la motivación al capital humano orientado a la consecución de metas, son elementos a tomar en cuenta para comprender la evaluación de impacto, como pieza de un rompecabezas institucional que conforma el corazón del universo de acción de cada OSC. La implementación de programas y proyectos deben estar acompañada cada vez más de medición de resultados, no bastan las buenas intenciones para producir cambios. La guía está diseñada para la comprensión de la evaluación de impacto, con miras a fortalecer la implementación de la gestión basada en resultados (GBR) por parte de las OSC como instituciones que aportan al desarrollo de la nación.

Es necesario tomar en cuenta el desarrollo del proyecto como un ciclo susceptible de ser evaluado, con la entrega de productos tangibles, no solo a los donantes sino a las comunidades que abren sus puertas para creer en una institución no gubernamental.

La presente guía constituye una introducción a un fascinante mundo que ha venido evolucionando académicamente a partir de la acumulación de experiencias documentadas. Ha sido elaborada con un lenguaje llano y sencillo, por lo que no requiere de una determinada formación académica para su comprensión.

Está dirigida a todos aquellos apasionados por el desarrollo social, en especial, a los integrantes de las OSC que desean adquirir herramientas para mejorar sus prácticas y compartir conocimientos.

5

Capítulo I Las “3P”

1.1 Las Diferencias entre Política Pública, Programa y Proyecto En el campo de las ciencias sociales las definiciones conceptuales requieren delimitarse ante la diversidad de enfoques. Considerando que los programas y proyectos de intervención social, son de carácter público y pudieran estar relacionados a una política pública, debemos identificar los conceptos para comprender el objeto, las características, elementos comunes y sus diferencias. La conjugación y trascendencia de estos conceptos son necesarios para la comprensión de la guía de evaluación de impacto.

Política Pública: es la acción que ejecuta una entidad investida de autoridad y legitimidad que a través de un proceso de toma de decisiones, decide o no intervenir sobre el espacio público a través del desarrollo de programas y proyectos para el logro de metas sociales.

Ejemplo

Problemas detectados: acoso sexual laboral y feminicidio.

Política Pública de Protección de los derechos de la mujer.

Actores interrelacionados: Ministerio del Trabajo, Ministerio de la Mujer y Ministerio de Interior y Policía (Estado) aunado a los organismos multilaterales, así como organizaciones de la sociedad civil.

Programa: Es el diseño técnico macro que conforma un conjunto de proyectos que persiguen los mismos objetivos. Se establecen prioridades de intervención a través de la sistematización y definición del marco institucional, contemplando el componente político asociado al mapa de actores.

La elaboración de programas desde las OSC impulsa un real cambio a través de la implementación de diferentes proyectos, los beneficios obtenidos y su periodicidad de ejecución brinda una mayor efectividad en la consecución de las metas propuestas.

Ejemplo

6

Problemas detectados: acoso sexual laboral y feminicidio.

Política Pública de Protección de los derechos de la mujer.

Programa de concientización y protección de la mujer.

Proyecto: es el diseño de actividades con un objetivo determinado por un tiempo delimitado. Es el punto de partida de la ejecución de una intervención de lo público. Debe tener delimitado una población objetivo en función de la necesidad que se pretende satisfacer, un espacio demarcado y los lapsos de implementación predefinidos¹. El reto es lograr los objetivos propuestos respetando los tiempos determinados en el diseño. ¹Cohen y Franco, 2005

Ejemplo

Problemas detectados: acoso sexual laboral y feminicidio.

Política Pública de Protección de los derechos de la mujer.

Programa de concientización y protección de la mujer.

Proyecto de Asesoría Jurídica para las mujeres en el sector textil Proyecto de Educación Laboral

CUADRO DE COMPARACIÓN Política Pública

Programa

Proyecto

Política de protección de los derechos de la mujer

Programa de concientización y protección de la mujer

Proyecto Asesoría jurídica para las mujeres en sector textil

Objetivo

Al ser un problema de salud pública se debe garantizar los derechos de la mujer.

Contribuir con la cobertura y defensa de los derechos de la mujer contra la violencia.

Garantizar la defensa y protección de las mujeres.

Acción

Se define de acuerdo al momento, debido a que se adapta a las necesidades y nuevas demandas.

Sus objetivos provienen de la toma de decisiones entre los diferentes niveles de actores.

(De carácter nacional hacia el local).

La vigencia del proyecto está atada a la existencia del programa. Sus objetivos son precisos y focalizados.

Problema: Violencia contra la mujer

Actores

De Abogados

Ciclo de vida de los Programas y Proyectos El ciclo de vida está compuesto por las etapas que conforman cada política, programa y proyecto, desde que se asume afrontar un problema de carácter público. El debate académico sobre los componentes que conforman el ciclo de vida tiene diferentes enfoques, sin embargo, todos coinciden en la existencia de las siguientes fases: Diagnostico, Diseño, Ejecución y Evaluación.

El conocimiento de las distintas fases facilita la gestión, optimiza el control y mantiene el programa o proyecto alineado con los objetivos estratégicos. Entendiendo que es una planificación flexible y adaptable a las situaciones que dinamizan el entorno de implementación, sin descuidar la esencia que originó el proyecto, así como los objetivos y metas dispuestas con el propósito de generar bienestar colectivo.

La interacción propia de los ciclos de vidas, la interrelación con otros proyectos, actores y las dinámicas sociales, son insumos que inciden en el desarrollo de la implementación, por lo que es importante su armonización para lograr los objetivos propuestos.

7

El ciclo de vida se ajusta a las etapas de los proyectos, programas y políticas: Identificación del problema (diagnóstico): delimitar el contexto de la necesidad o demanda no satisfecha.

La toma de decisión: la conjugación de los diferentes actores para tomar acciones con respecto a solucionar la falla de gobierno.

El diseño: nos referimos al proceso de formulación de los objetivos y metas.

Implementación: contempla la ejecución de las políticas, programas o proyectos.

Evaluación: es un elemento que delimitamos al final de todo ciclo, pero está presente en cualquier etapa de acuerdo a lo requerido para el éxito de políticas, programas o proyectos.

La cronología del tiempo no está asociada a una duración preestablecida pero sí a una jerarquización en torno al tiempo de duración. Las políticas públicas se pueden considerar la matriz que enmarcan los programas y proyectos, por lo tanto, tienen una mayor temporalidad condicionada al cumplimiento de su ciclo, cuyos resultados culminan con un rediseño, producto del aprendizaje y la adaptación a nuevas circunstancias. En el caso de los programas, su ciclo de vida depende de las acciones que lo proyectos deben desarrollar para el logro de sus objetivos. Finalmente, los proyectos suponen una menor duración que las políticas y los programas.

Ejemplo

Problemas detectados: acoso sexual laboral y feminicidio.

POL PUB

PROGRAMA

PROYECTO

Política Pública Protección de los Derechos Humanos

Fortalecimiento Institucional para la atención a las víctimas de violencias (2 años)

Educación Laboral (1 año)

Duración 4 años

Concientización de los derechos humanos (2 años)

Asesoría Jurídica para mujeres del sector textil (1 año)

Material Complementario: Para más información puedes visitar los siguientes links para profundizar los conceptos, sus diferencias y el ciclo de vida: https://www.cippec.org/wp-content/uploads/2017/03/1546.pdf Planificación de políticas, programas y proyectos sociales Conceptos de Política Pública, Programa y Proyecto Páginas: 11 al 17 El ciclo de vida de las políticas públicas: Paginas: 64 al 71

8

https://www.cippec.org/wp-content/uploads/2017/03/1415.pdf Monitoreo y evaluación de políticas, programas y proyectos sociales Conceptos de Política Pública, Programa y Proyecto Páginas: 11 al 17 https://www.adb.org/documents/guidelines-preparing-design-and-monitoring-framework Guidelines for Preparing a Design and Monitoring Framework Una guía elaborada para la comprensión del diseño y el monitoreo a través de esquemas o mapas conceptuales.

Capítulo II

La Evaluación de impacto

2.1 Monitoreo, Evaluación y su diferencia con Evaluación de Impacto En el ciclo de vida de los proyectos, programas y políticas continuamente vamos a encontrar los conceptos de monitoreo, evaluación y evaluación de impacto.

El monitoreo es un instrumento de gestión basado en el seguimiento que se realiza a la ejecución, utilizando los datos para optimizar la implementación de los programas, la toma de decisión y la administración.

Su importancia radica en la capacidad de recolectar información trascendental para mantener la ejecución alineada a los objetivos estratégicos. Su implementación abarca desde el desempeño, la implementación y los costos.

La evaluación se refiere a intervenciones periódicas de valoración de acuerdo a los objetivos estratégicos.

El objetivo es medir la capacidad de generar resultados previstos en la planificación del proyecto o programa. Es decir, compara dos situaciones para medir si hay diferencia entre la situación base y la situación intervenida. Permitiendo identificar elementos para la readaptación del proyecto o programa de acuerdo a los resultados obtenidos.

A continuación, presentamos un cuadro comparativo:

Monitoreo

Evaluación

Evaluación de Impacto

Tiempo

Continuo.

Periódico.

Periódico.

Objetivo

Seguimiento.

Comparar dos estados

Medir el Cambio

Método

Recopila información.

Responde preguntas específicas.

Responde preguntas para analizar causalidad.

Resultado

Evolución de indicadores.

Corrección oportuna.

Aprendizaje.

Elaboración propia

9

Qué es una Evaluación de impacto?

?

Primero debemos saber ¿Qué es evaluar? Evaluar es fijar el valor de una cosa y para hacerlo, se requiere de un procedimiento que permita comparar el objeto a evaluar con respecto a un criterio². En el campo de las políticas públicas, programas y proyectos, usualmente encontramos este concepto vinculado a procesos de gestión, resultado, seguimiento e impacto. Es importante comprender que la evaluación consta de 3 componentes: Objeto: se refiere a la meta por la cual se emitirá un juicio de valor.

Referente: es el criterio establecido para realizar la comparación.

Estrategia: es la sistematización de la recolección de la información y el análisis posterior.

Ejemplo

Proyecto de Asesoría Jurídica para las mujeres en el sector textil

La meta es lograr un incremento en las denuncias por acoso laboral en el sector textil, en consecuencia, el objeto a medir es la cantidad de denuncias efectivas realizadas a partir de la implementación del proyecto.

El referente es la cantidad de mujeres que realizan las denuncias. Para evaluar la efectividad, la estrategia en este caso es: grupos focales para medir el impacto de la información suministrada entre quienes no denunciaban antes y las que siempre denunciaron.

La amplitud de la definición de evaluación requiere ser conceptualizado en el marco del impacto, basado en la interrogante ¿Cuál es el impacto del programa según el interés del resultado? La evaluación de impacto se define como el proceso de medición de resultados logrados con la implementación, analizando la causalidad del impacto (causa y efecto) en una población beneficiaria.

Todo programa o proyecto reconoce la existencia de un problema social y en consecuencia, busca dar respuesta a través de un conjunto de acciones (intervención) que suponen puede tener algún efecto positivo sobre el problema (hipótesis).

A diferencia de otras evaluaciones en las que se busca evaluar procesos, gestión o resultados, en las evaluaciones de impacto el objetivo es identificar si los cambios son “directamente” atribuibles a la intervención.

Por ejemplo, imaginemos un programa de fomento al emprendimiento que dispone la entrega de microcréditos a emprendedores que quieran iniciar su negocio. Cinco años más tarde, al finalizar la implementación, se comprueba que la actividad emprendedora aumentó en un 20%. Si tratáramos de medir el impacto tomando solo como referencia la situación antes y después del programa, podríamos concluir que el aumento es consecuencia directa de la intervención.

Pero… ¿Qué pasaría si durante en el tercer año de implementación, el Estado dictó una ley de apoyo al emprendimiento?. ¿Podríamos afirmar que el aumento en la actividad emprendedora es consecuencia “directa” del programa?.

10

2

Cohen y Franco, 1992

La respuesta a esta pregunta constituye el gran desafío que enfrentan las evaluaciones de impacto. Desde este punto de vista, el impacto de un programa /proyecto es la diferencia entre los resultados que experimentan los beneficiarios con la intervención y lo que hubiese pasado con ellos de no implementarse el programa/ proyecto, como podemos ver en la siguiente figura.

Resultado obtenido por los beneficiarios del programa/proyecto Resultado obtenido por los mismos beneficiarios del programa/Proyecto si no hubieran participado

IMPACTO Fuente: adaptación, Poverty Action Lab, 2014.

La respuesta a la pregunta ¿Qué hubiese pasado con esos mismos beneficiarios de no implementarse el programa/ proyecto? es lo que se conoce como “contrafactual”. Para estimar el contrafactual, lo ideal sería poder medir el impacto con los mismos beneficiarios, pero como sabemos, es imposible que un mismo sujeto participe y no participe al mismo tiempo en un programa. Entonces, la alternativa encontrada por los expertos ha sido emplear diferentes métodos para comparar los resultados obtenidos por el grupo de beneficiarios, con otro grupo de sujetos que, aunque no participan en el programa, son estadísticamente muy similares a los beneficiarios, con lo cual, teóricamente la única diferencia entre ellos ha sido el estar o no expuesto a la intervención.

Mas adelante, en el Capítulo III, volveremos a este tema y veremos en detalle los diferentes métodos, así como sus ventajas y desventajas. También ofreceremos datos claves para elegir el método de evaluación de impacto que mejor se adapte a cada programa/ proyecto.

Por qué? Para qué? ?

?

2.3 Evaluación de impacto:

Las intervenciones tienen como objeto producir bienestar en situaciones de minusvalía o necesidad, para lo cual, se impulsa un cambio a través de la implementación proyectos, programas y/o políticas. La evaluación de impacto, cuya esencia es estudiar la causalidad de la acción con los resultados en la generación de cambio, aporta información valiosa para valorar los beneficios obtenidos en favor de la población, en términos de eficacia, eficiencia, rendición de cuentas y aprendizajes de orden operativo e institucional.

La evaluación de impacto mide los cambios de la población beneficiaria atribuibles a la implementación, utilizando diferentes enfoques metodológicos y técnicas de recolección que evidencien la causalidad de los resultados. Estos resultados deben contar con la disposición organizacional de aprender para optimizar las futuras intervenciones o adaptar las correcciones a una nueva ejecución.

11

Adicionalmente, es un instrumento que robustece la rendición de cuentas y aporta legitimidad ante los donantes. Finalmente, su aplicabilidad depende de las afirmaciones ya planteadas y que cumpla con: La capacidad de incorporar los cambios o innovaciones en futuras intervenciones.

Indicadores medibles que demuestren la causalidad de la intervención, identificando los hechos que produjeron el cambio en la población beneficiada en contraste con la no intervenida.

Responder a las demandas de los actores involucrados, en especial; los donantes que buscan medir el retorno social de su inversión.

Viabilidad desde el punto de vista económico y financiero para la factibilidad de su realización.

El suministro de resultados en el tiempo establecido. La extemporaneidad reduce la credibilidad, veracidad y pertinencia del resultado del informe.

Como hemos visto, si bien las evaluaciones de impacto reportan un gran número de beneficios, no en todos los programas y proyectos resulta necesario o conveniente realizarla, por lo que es importante considerar: Si existe evidencia que demuestre que la intervención de un programa similar funciona en circunstancias similares. En este caso, invertir recursos en una nueva evaluación resulta conveniente si incorpora un nuevo enfoque o innovaciones al programa que aún no han sido probadas3.

Si el programa es de corta duración.

- Si la intervención a evaluar no es susceptible de aumentos en su escala o aplicabilidad en otros entornos.

- Si ha tenido o tiene excesivos cambios en el tiempo.

- Si los resultados afectan a muy pocas personas.

Material Complementario http://guia.oitcinterfor.org/sites/default/files/guia/guia-evaluacion-impacto.pdf Guía para la Evaluación de Impacto de Formación Páginas: 19 al 28 http://siteresources.worldbank.org/INTHDOFFICE/Resources/IEP_SPANISH_FINAL_110628.pdf La evaluación de impacto en la práctica Páginas: 1 al 30

12

3

(Gertler, Martínez, Premand, Rawlings, & Vermeersch, 2017)

Capítulo III Diseño

3.1 Términos de referencia Realizar una evaluación de impacto requiere considerar y tomar decisiones sobre múltiples aspectos que abarcan desde la definición del objetivo, los recursos disponibles, la elaboración de preguntas, la conformación del equipo de trabajo y los procesos de análisis de datos, entre otros. En las líneas siguientes, exploraremos lo aspectos antes señalados, como términos de referencia relevantes y comunes en cualquier evaluación, con independencia del tamaño o del tipo de programa/ proyecto. Algunos ellos, como la formación del equipo de evaluación y el análisis de datos, serán abordados más adelante en capítulos especiales.

3.1.1 Diseño del programa / proyecto a evaluar Hay dos elementos del diseño del programa a evaluar que serán la base del esquema de la evaluación de impacto. El primero de ellos es la teoría del cambio, la cual usualmente se encuentra definida en el marco lógico o de resultados del proyecto. Entendemos por teoría del cambio “la descripción de cómo se supone que la intervención conseguirá los resultados deseados, incluye la secuencia de eventos que generan resultados, analizan las condiciones y los supuestos necesarios para que se produzca un cambio”4. La correcta y clara identificación de la teoría del cambio es primordial en el diseño de la evaluación, ya que de allí se desprenderán los supuestos claves con los cuales posteriormente se elaborarán las preguntas.

El segundo elemento es el contexto operativo del programa, pues de él dependerá en buena medida la selección del método que mejor se ajuste a la evaluación. De acuerdo con la literatura especializada, el contexto operativo responde a 3 preguntas: ¿El programa tiene recursos para atender a todos los beneficiarios elegibles?. ¿El programa se ofrecerá a todos los beneficiarios de una vez?. Es decir, ¿será de una fase o varias fases?. ¿Cómo se determinará quienes serán los beneficiarios?, ¿Cuál será el mecanismo de selección (sorteo, inscripción voluntaria, algún índice o un sistema mixto)?.

4

(Gertler, Martínez, Premand, Rawlings, & Vermeersch, 2017).

13

3.1.2 Objetivo y alcance de la evaluación La determinación de los objetivos es un paso vital en cualquier proceso de medición de impacto. Por ello, es importante invertir el tiempo suficiente en considerar detalladamente: Las razones que motivan la evaluación de impacto. ¿Por qué y para qué se desea realizar la evaluación?. Esto ayudará a clarificar lo que se pretende conseguir y con ello, la descripción del objetivo y alcance.

La descripción de los objetivos generales y específicos. Los objetivos generales deben presentar los interrogantes, que se desean responder sobre los impactos del programa en un conjunto de indicadores relacionados con el tipo de beneficio que se otorga (por ejemplo, mayor acceso o calidad en educación, salud etc.), mientras que los objetivos específicos presentan los indicadores para cada uno de los impactos que se desean medir, en un conjunto específico de la población beneficiada (niños, mujeres, emprendedores etc.).

• Programa/ proyecto a evaluar: Programa de microcrédito al emprendimiento.

• Motivación: contar con información basada en evidencia para considerar la expansión de programa a otras provincias del país.

Ejemplo

• Objetivo General: conocer el impacto del programa de microcrédito en el rendimiento de los emprendimientos.

• Objetivo específico: Medir el crecimiento (o decrecimiento) en la tasa anual de rendimiento de los emprendimientos de mujeres jóvenes emprendedoras de 16 a 36 años participantes en el programa en la provincia de Dajabón, en el periodo 2016-2018.

3.1.3 Elaboración de preguntas Usualmente, las evaluaciones genéricas están dirigidas a dar respuesta a las preguntas ¿Es exitoso el proyecto en el logro de sus resultados?, ¿Contribuye el proyecto a su objetivo final?, mientras que en el caso de las evaluaciones de impacto las preguntas están orientadas a establecer la relación causa – efecto (impacto). En consecuencia, es necesario que las mismas se ajusten al supuesto (hipótesis) establecido en la teoría del cambio empleada en el marco lógico o de resultados del programa, haciendo hincapié en el impacto, es decir, que pueda cuantificar la diferencia de los resultados antes y después como resultado directo del proyecto o programa. Algunos ejemplos de preguntas: ¿Cuál es el efecto del programa de microcrédito a emprendedores en el rendimiento de sus emprendimientos?. ¿Cuál es el efecto del programa de dotación de libros en las escuelas en el rendimiento escolar?.

14

3.1.4 Disponibilidad de datos Incluye la revisión de las fuentes de información disponibles, la calidad esperada de la información recolectada y la anticipación a posibles fallas. Preguntas claves para abordar: ¿Qué tipo de datos serán necesarios para la evaluación?, ¿Se cuenta con información preexistente que se pueda utilizar?.

De necesitar levantar información, ¿Cuáles serán las fuentes?. Es decir, ¿de dónde o de quién se obtendrá la información? ¿Cómo se obtendrá? ¿Qué criterios se emplearán para evaluar la calidad de la información? ¿Qué dificultades se pueden presentar?. Por ejemplo, ¿es posible que surjan problemas en el llenado de formularios, en las fechas de entrega o en la comunicación con alguna de las fuentes?. ¿Qué hacer si se detectan fallas en los procesos o en la información recogida?

3.1.5 Momento de la evaluación Desde el punto de vista temporal, las evaluaciones de impacto pueden dividirse en dos grupos: Prospectivas: Son aquellas que se plantean junto con el diseño del programa/ proyecto y se desarrollan en la implementación. Evalúan hacia el futuro, partiendo de la recolección de información relativa a la situación “antes” de la intervención (línea base) en el grupo de beneficiarios y no beneficiarios con el objetivo de realizar comparaciones una vez finalizada la implementación.

Retrospectivas: En este tipo de evaluación, la medición se realiza después de iniciada o culminada la fase de implementación del programa / proyecto y los grupos de comparación se construyen ex post. Evalúa hacia el pasado. Suelen tener mayores limitaciones, pues una vez iniciado el proyecto resulta más complejo disponer de información de la situación previa a la implementación.

3.1.6 Aspectos financieros Comprende definir cuánto dinero costará la evaluación o según al caso, cuáles son los recursos disponibles para realizarla. Recomendamos incluir una partida en el mismo diseño del proyecto que deberá tener en cuenta los costos desde la fase de diseño de la evaluación hasta el análisis, incluyendo los costos de supervisión, recolección de información y la previsión de fondos extras por imprevistos.

Finalmente, aunque no es un requisito indispensable, recomendamos incluir un apartado considerando los posibles obstáculos que pueden presentarse una vez iniciado el proyecto, tales como la implementación de otros proyectos en el área del programa, cambios sobrevenidos en la ejecución del proyecto, cambios políticos - administrativos externos o internos, retrasos en la entrega de fondos etc. Esto con el fin de establecer mecanismos de contención y control en caso de concretarse alguna de estas situaciones.

15

Principales métodos No existe un método universal aplicable a todas las evaluaciones, por el contrario, existen múltiples metodologías para la evaluación de impacto. La diversidad de enfoques permite combinarlos de acuerdo con los objetivos, siendo complementarios y no excluyentes entre sí. Por ello, cada programa o proyecto podrá elaborar la “receta” que mejor se ajuste a su caso, tomando en cuenta los objetivos, los recursos disponibles y el diseño operativo, entre otros elementos.

En las siguientes páginas presentaremos una breve introducción -no técnica- a los principales métodos agrupados según su naturaleza cuantitativa y cualitativa. Recordemos que en términos generales, al hablar de enfoques cuantitativos, nos referimos a aquellos que están principalmente orientados a describir, analizar o comprobar un fenómeno a través de datos numéricos e instrumentos estadísticos, mientras que los cualitativos, son aquellos usualmente utilizados por las ciencias sociales, dirigidos a explorar y entender fenómenos con información no numérica (lenguaje, imágenes) y el uso de técnicas como grupos focales y entrevistas , por solo citar algunos ejemplos.

Históricamente, los métodos cuantitativos eran los métodos por excelencia empleados por los evaluadores. Sin embargo, actualmente la mayoría de los autores coinciden en afirmar la utilidad de la incorporación de los métodos cualitativos en las evaluaciones de impacto, ya que mientras los primeros ofrecen información sobre la relación de causalidad, los segundos contribuyen a tener una mejor idea del por qué se alcanzaron o no ciertos resultados, lo que aporta una mayor integralidad y robustez a las evaluaciones.

El enfoque cualitativo ha ganado aún más relevancia al comprender la dinámica del espacio público, en la que distintos fenómenos sociales impactan la cotidianidad por la complejidad individual de los actores y la reacción colectiva frente a los incentivos.

Métodos de Evaluación

16

3.2.1 Métodos Cuantitativos 3.2.1.1 Experimental

Este método sigue la lógica de los ensayos clínicos dirigidos a probar la eficacia de un medicamento. En estos experimentos, se identifica un grupo de pacientes dispuestos a participar en el ensayo y se suministra la medicina a solo una parte de ellos elegidos al azar, mientras que a los restantes se les entrega un placebo5. Después de un tiempo, se comparan los resultados de ambos grupos y se determina -según parámetros previamente establecidos- sí el medicamento fue efectivo o no.

En el caso de las políticas, programas y proyectos sociales, la “medicina” es la intervención con la cual se espera producir un cambio positivo en la sociedad, para lo cual, de un universo de candidatos que comparten características similares, se crean dos grupos. El primero de ellos, conformado por aquellos que se benefician de la intervención “beneficiarios”, y otro grupo integrado por los que no participan de los beneficios del proyecto/programa, a éste último grupo lo llamaremos “no beneficiarios”6. Siendo el objetivo principal, el comparar e identificar las diferencias después de la implementación. En la siguiente figura podemos observar gráficamente el funcionamiento del método experimental7.

Fuente: Adaptación Blasco, 2009.

La nota característica del método experimental es que los miembros de ambos grupos son elegidos de forma aleatoria, es decir, completamente al azar. Por lo que también es llamado “asignación aleatoria”. Esta forma es la más valorada en las evaluaciones de impacto por su objetividad y rigurosidad metodológica. ¿Por qué resulta tan importante la aleatorización?

Recordemos que metodológicamente hablando, el objetivo es que ambos grupos en promedio compartan las mismas características y estén expuestos a las mismas condiciones externas. En teoría, la única diferencia debe ser el recibir o no los beneficios del programa, lo que asegura que las posibles diferencias en los resultados sean debido a la intervención y no a diferencias preexistentes.

5

(Sustancia que careciendo por sí misma de acción terapéutica, produce algún efecto favorable en el enfermo, si este la recibe convencido de que esa sustancia posee realmente tal acción. (RAE, 2014).

6

7

En la literatura especializada usualmente se denomina grupo de “control” o “comparación”.

Aún cuando en el gráfico se observa que los grupos están conformados por personas, en la vida real, la selección puede ser de personas, escuelas, comunidades, hospitales o cualquier otra unidad susceptible de ser destinatario del programa/ proyecto.

17

Entonces, al realizarse la selección al azar, cada candidato posee la misma probabilidad de ser seleccionado para alguno de los grupos (beneficiarios o no beneficiarios). Esta igualdad de posibilidades minimiza el riesgo de que en la selección, hayan influido otros elementos que marquen diferencias importantes en los grupos antes de iniciar la fase de implementación (sesgo de selección).

3.2.1.2 Cuasi experimental

Al igual que en el método experimental, en los métodos cuasi experimentales buscamos medir el impacto a través de la comparación de los resultados en dos grupos, pero en este caso, los miembros de los grupos de “beneficiarios” y “no beneficiarios” no son elegidos al azar antes de la implementación del programa/ proyecto.

Existen diferentes diseños experimentales y la diferencia entre ellos radica en la forma en la que cada uno busca eliminar los posibles sesgos de selección que el método experimental logra a través de la aleatorización.

3.2.1.2.1 Variables instrumentales En este diseño se utiliza en una variable que no determina los resultados que se quieren afectar con el programa, pero sí la probabilidad de ser beneficiario. Su uso es útil para asegurar que la estimación de impacto no sea contaminada por sesgos y también cuando la asignación al programa es aleatoria, pero por algún motivo los grupos no resultan estadísticamente idénticos. El más usual es el llamado “promoción aleatoria”, en donde, en vez de asignar la participación de modo aleatorio, se crea una promoción o incentivo entre los candidatos a conformar el grupo de beneficiarios.

Por ejemplo, supongamos que Mercedes, directora de programas de “EmprenD+”, organización dedicada al empoderamiento de mujeres en la provincia de Dajabón, desea evaluar el impacto del programa de formación para emprendedoras en los ingresos de sus emprendimientos.

La inscripción en el programa es abierta y voluntaria, por lo que es posible que encontremos 3 tipos de emprendedoras:

Tipo 1

Las que siempre participarían

Tipo 2

Las que nunca participarían

Tipo 3

Las que participarían si se promueve. Puede que las integrantes de este grupo no tienen suficiente información sobre los horarios y beneficios del programa o no se encuentran suficientemente motivadas para participar.

En este punto, ¿Sería válida la evaluación de impacto si Mercedes compara solo los resultados entre las que siempre participarían y las que nunca lo harían (tipo 1 y 2)?.

18

La respuesta es no, porque de hacerlo habrá una distorsión (sesgo) en la evaluación del impacto.

TIPO 1 Las que siempre participarían

TIPO 1 Las que siempre participarían

¿Por qué?

Porque es posible que existan muchas diferencias entre las emprendedoras que se inscriben y las que no se inscriben que son difíciles de identificar (mayor motivación, formación etc.). Nuevamente, recordemos que en las evaluaciones de impacto es indispensable que ambos grupos (beneficiarios y no beneficiarios) compartan características similares.

Para corregir este hecho, Mercedes incorpora en su evaluación la visita de un promotor a un grupo de las emprendedoras (elegidas aleatoriamente), con el objetivo de aumentar la motivación para inscribirse. De esta forma, da respuesta a los emprendedoras tipo 3 y neutraliza los efectos de las posibles diferencias entre las que se inscriben y no se inscriben.

Proceso de promoción aleatoria

3.2.1.2.2 Pareamiento (Matching) En esta modalidad se utilizan bases de datos y técnicas estadísticas, para construir luego de la implementación del programa/proyecto un grupo de “no beneficiarios”, en donde a cada uno de sus miembros se les asigna una “pareja” o “match’ en el grupo de beneficiarios. El criterio para realizar este “emparejamiento’ es la probabilidad de que un individuo, dadas sus características antes de iniciar el programa, fuese seleccionado como beneficiario.

Imaginemos que una vez implementado el proyecto de formación, Mercedes desea medir el impacto y para ello, cuenta con una extensa base de datos con información sobre los negocios de las emprendedoras que se inscribieron en el curso y las que no (antigüedad, ingresos, si el emprendimiento brinda un servicio o elabora un producto etc.). En este caso, con el uso de la información disponible y técnicas estadísticas Mercedes podrá construir un grupo de no beneficiarias, en base a las características comunes y así realizar las comparaciones entre los grupos para estimar el impacto.

19

3.2.1.2.3 Regresión discontinua (DRD) En este método se utiliza un índice o un parámetro que contiene un límite claramente definido, para determinar la elegibilidad de los miembros de grupos de beneficiarios y no beneficiarios. La mejor forma de entenderlo es a través de un ejemplo. Supongamos que deseamos medir el impacto de un programa cuyo fin es aumentar la disposición a emprender entre los jóvenes. En este caso, podemos emplear la edad como parámetro para establecer la elegibilidad y definir 30 años como edad límite. Tendríamos entonces, jóvenes de 29 y 30 años que podrían participar y otros jóvenes de 31 y 32 años que no podrían participar porque superan la edad límite. Sin embargo, es muy probable que los jóvenes de 31 y 32 años sean similares en sus todas características a los de 30 y 29, diferenciándose solo por ser o no beneficiarios de la intervención, con lo cual, podemos evaluar el impacto a través de la comparación de resultados entre los grupos de jóvenes que están por debajo y por encima del límite establecido.

3.2.1.2.4 Diferencias en diferencias (DD) En esta metodología se asume que antes de la implementación del programa existían diferencias importantes entre los grupos (beneficiarios - no beneficiarios), y que éstas no cambian en el tiempo. Estas diferencias son reconocidas, aceptadas y “aisladas” en los resultados para asegurar que el impacto estimado del programa no sea “distorsionado” por ellas.

20

Mediante este modelo es posible identificar el impacto del programa/proyecto sin necesidad de mecanismos de selección aleatoria y sin que los miembros de los grupos de beneficiarios y no beneficiarios sean idénticos en sus características antes de la implementación.

Volvamos al ejemplo de Mercedes y el programa de formación para emprendedoras. En este caso, aplicar este método supondría medir las diferencias antes y después de la implementación del programa en el grupo de emprendedoras beneficiarias de la intervención (primera diferencia) y medir las diferencias en el grupo de emprendedoras que no participaron en el programa en los mismos momentos -antes y después(segunda diferencia).

3.2.1.3 No experimental8

En los métodos no experimentales, todas las mediciones y estudios se realizan solo con un (1) grupo, el cual está conformado por las personas favorecidas por la intervención, es decir, solo toma en cuenta el grupo de beneficiarios. A diferencia del experimental y el cuasi experimental, no existe un grupo de “no beneficiarios” para comparar los resultados obtenidos.

El trabajar con un solo grupo, puede ser consecuencia de no estar previsto en la planificación de la evaluación o que existan razones económicas o técnicas que impiden la construcción de los grupos.

Estos métodos no permiten aislar en el resultado la influencia de otros factores, y por ello suelen considerarse poco rigurosos, sin embargo, permiten afirmar la influencia de la intervención en los resultados obtenidos. En la literatura especializada este tipo de métodos se denominan diseños seriados o estudios longitudinales.

3.2.1.3.1 Antes y después Como su nombre lo indica, se efectúa una primera medición en la población beneficiaria antes de la implementación del proyecto/programa y luego, se comparan los valores obtenidos con los resultados de otra u otras mediciones realizadas después. Estas segundas mediciones pueden hacerse en diferentes momentos, bien una vez culminada la intervención o en una fase intermedia.

3.2.1.3.2 Solo después En este caso, se realiza la medición una vez culminada la intervención y luego, en base a la información disponible, se reconstruyen las condiciones iniciales con el objetivo de recrear la situación antes de la implementación del programa /proyecto para realizar comparaciones que permitan generar una estimación de impacto.

8

Basado en Cohen y Francis, 1992.

21

3.2.2 Métodos Cuantitativos9 Estos métodos se caracterizan por el uso de información no numérica (lenguaje e imágenes) para describir, explorar y entender el impacto del programa, así como por el empleo por parte de los evaluadores de diferentes técnicas de trabajo en campo para interactuar con los beneficiarios en el terreno. A diferencia de los métodos cuantitativos, no buscan establecer la relación de causalidad (intervención – resultado) mediante la construcción de grupos de comparación (contrafactual) y el uso de sofisticadas herramientas estadísticas.

Otra de sus diferencias con los métodos que hemos visto hasta ahora, es que no persigue aislar factores o elementos externos a la intervención para identificar el impacto. Por el contrario, abarca enfoques no cubiertos por los análisis cuantitativos aportando información sobre las percepciones, juicios de valor y contexto personal, social, económico, dando respuesta a las siguientes preguntas: ¿cuál es el entorno en el cual se generó el impacto?; ¿cuáles fueron los mecanismos que generaron el impacto?; ¿cuál es la percepción de los beneficiarios sobre el impacto?.

Existe un debate sobre la capacidad de este método para de determinar la causalidad en los resultados de los proyectos/programas, por ello, tradicionalmente el método cuantitativo ha sido el más utilizado. Sin embargo, como mencionamos antes, la literatura especializada coincide en afirmar cada vez más la conveniencia de la incorporación de métodos cualitativos en la evaluación de impacto, por sus aportes para el entendimiento de los mecanismos y contextos que definen la relación de causalidad.

El método cualitativo más usado en las evaluaciones de impacto es el Estudio de casos, el cual permite estudiar de manera detallada una situación particular considerando el contexto en que se presenta, a fin de comprenderla en sus múltiples dimensiones10.

En el caso de evaluación de impacto, la situación a estudiar corresponde a la ejecución del programa/proyecto y los efectos de éste en los beneficiarios. Los estudios de casos describen y definen los que piensan los beneficiarios y sus percepciones acerca de las necesidades iniciales contrastado con el impacto del programa11. ¿Cuáles son los pasos para realizar un estudio de casos?

Para realizar los estudios de casos, los evaluadores hacen uso de múltiples técnicas de recolección de información tales como la observación directa, las entrevistas y los grupos focales, entre otras técnicas comunes, que serán presentadas más adelante en el capítulo 4.

3.2.3 Claves para la elección de modelo según el proyecto/programa Como mencionamos antes, no existe un enfoque metodológico universal aplicable a todas las mediciones de impacto. Cada programa/ proyecto posee particularidades en términos de contexto, recursos y capacidad operativa que son necesarios tomar en cuenta para la realización exitosa de la evaluación, por ello, presentamos un cuadro que contiene información clave de los métodos estudiados hasta ahora, con un resumen operativo que busca facilitar a los tomadores de decisión, la selección o combinación del método que mejor se adapte a los requerimientos de cada caso en particular.

9

22

10

Basado en Navarro, 2005.

(Barzelay & Cortázar Velarde, 2004) 11

(Navarro, 2005).

Cuadro comparativo de los principales métodos de la evaluación de impacto.

MÉTODOS CUANTITATIVOS

Experimentales

• Es el método favorito de los expertos en evaluación de impacto por la credibilidad de los resultados.

• Requiere la creación de los grupos antes de la implementación del programa/proyecto, lo cual no siempre es posible.

• Necesita una cantidad suficiente de candidatos para poder hacer grupos estadísticamente significativos. Algunos sugieren que la cantidad de candidatos debe ser al menos dos veces más grande que el número de beneficiarios estimados en el programa/proyecto.

• Es necesario que los candidatos a conformar ambos grupos compartan características similares.

• Es un mecanismo imparcial y transparente de selección en aquellos casos en los cuales el número de candidatos supera la cantidad de beneficiarios que es posible atender en el proyecto. Por ejemplo, hay 50 escuelas elegibles para brindar asistencia pero el programa/ proyecto solo puede seleccionar 10.

• Debe existir un estudio de línea de base de los candidatos previo a la construcción de los grupos de beneficiarios y no beneficiarios.

• Suelen calificarse como muy costosas.

Cuasi Experimentales

• Utiliza fuentes de datos existentes.

• Consume menos tiempo y son menos costosos que los diseños experimentales.

• Recomendados cuando el diseño de la evaluación se realiza una vez ha comenzado la implementación del proyecto.

Variables Instrumentales

• Recomendable cuando no es posible aplicar el método experimental.

• Requiere identificar una variable instrumental adecuada, lo cual no siempre resulta sencillo.

Regresión Discontinua

• Requiere una regla de elegibilidad clara que permita identificar el límite del parámetro por encima del cual se participa en el programa y por debajo no.

• Requiere que no haya otros programas o proyectos que apliquen el mismo parámetro.

• La limitación más importante de esta metodología es que evalúa únicamente el impacto para un grupo particular (quienes están justo por debajo y justo por encima del límite establecido).

• Resulta inaplicable en aquellos casos en donde las reglas de elección no se cumplen o cambian en el tiempo.

Diferencias en diferencias

• Recomendable cuando no es posible aplicar el método experimental, regresión discontinua o variables instrumentales.

• Requiere contar con dos mediciones en ambos grupos, una antes de la implementación de programa/ proyecto y otra después. En total, requiere cuatro (4) mediciones para su validez.

• Requiere datos previos de los candidatos antes de la implementación.

Pareamiento (Matching)

• Se realiza una vez iniciada la implementación.

• Recomendable cuando no es posible aplicar el método experimental, regresión discontinua o variables instrumentales.

• Es necesario contar con amplia información sobre la población beneficiaria y no beneficiaria en línea de base, pues esta será la información clave para realizar correctamente el “emparejamiento”.

No experimental

• Puede utilizarse en aquellos casos en los cuales existen razones técnicas o financieras que impiden la construcción de los dos grupos.

• No elimina el efecto del contexto, por lo que no puede determinar en qué medida los cambios son consecuencia “directa” del programa/ proyecto.

• Son más fáciles de ejecutar que los experimentales y cuasi experimentales.

Antes y después

• • • •

Solo Después

Mide el impacto como la diferencia entre la situación anterior y posterior a la intervención.

Es un método de uso común para la evaluación de impacto programas y proyectos sociales.

No requiere información de los no beneficiarios.

Requiere contar con información de la situación antes de la implementación.

• Es el más débil de los métodos.

MÉTODOS CUALITATIVOS Análisis de Casos

• Recomendable para evaluaciones pequeñas, con tiempo, espacio y recursos limitados.

• Explora en forma más profunda y permite lograr una visión más amplia del impacto.

• Permite al evaluador evidenciar la complejidad de la vida social.

Fuente: Elaboración propia, basado en Navarro, 2006; Gertler, 2017 y Blasco, 2009.

23

Material Complementario Para más información puedes visitar los siguientes links: Términos de referencia: https://openknowledge.worldbank.org/bitstream/ handle/10986/25030/9781464808883.pdf?sequence=4&isAllowed=y.

La evaluación de impacto en la práctica Páginas 35-46. https://www.researchgate.net/publication/283724064_La_evaluacion_de_impacto_de_los_ programas_sociales_en_el_Peru_The_impact_assessment_of_social_programs_in_Peru.

La evaluación de impacto de los programas sociales en el Perú Páginas 103-115.

Métodos de evaluación: https://openknowledge.worldbank.org/bitstream/ handle/10986/25030/9781464808883.pdf?sequence=4&isAllowed=y.

La evaluación de impacto en la práctica Páginas 51-174. http://guia.oitcinterfor.org/ .

Guía para la evaluación de impacto de la formación profesional Páginas 41-50. http://www.ivalua.cat/documents/1/06_06_2017_14_05_29_Guia5_Impacto_ diciembre2009_revfeb2009_massavermella.pdf Guía práctica n°5 Evaluación de impacto https://www.povertyactionlab.org/es/research-resources/introduction Introducción a las Evaluaciones Análisis de factibilidad para la evaluación de impacto: https://www.coneval.org.mx/Evaluacion/MDE/Paginas/Evaluacion_Impacto.aspx Evaluación de la política social Análisis de casos: http://files.docentia.webnode.es/200000032-6c7096d69f/estudiosdecaso_INTRO.pdf Evaluaciones mediante Estudios de Caso

24

Capítulo IV

Implementación Quién evalúa?

?

4.1

En la guía continuamente nos cuestionamos sobre la pertinencia de la evaluación de impacto, una vez decidido la necesidad de realizarlo, nos preguntamos quién garantiza una buena evaluación. Presentamos los diferentes enfoques metodológicos para luego decidir qué actor debe evaluar la implementación. Para ello, expondremos las distintas modalidades de evaluadores con sus ventajas y desventajas, así como los roles y responsabilidades de los equipos de investigación y ejecución. ¿Quién debe evaluar?. Presentamos las diferentes modalidades: Interna: implica que el equipo implementador o alguna división de la institución realizaría la evaluación de impacto. Ejemplo: Los implementadores o un departamento de la institución dedicado a la evaluación.

Externa: es realizada por actores externos a la institución, tales como consultoras especializadas, universidades u organismos multilaterales. Supone una mayor objetividad al no tener intereses que afecten la objetividad. Ejemplo: Contratación de servicios de consultoría de una universidad.

Mixta: Es la combinación de factores internos y externos unificando los enfoques para maximizar los aspectos positivos de ambos. Ejemplo: La contratación de un servicio de consultoría integrado con el equipo evaluador de la institución.

Participativa: es la inclusión de beneficiarios como actor evaluador a través de diferentes mecanismos facilitados por los actores. Ejemplo: Los evaluadores instrumentan algunos mecanismos de participación para que los beneficiarios brinden una retroalimentación desde su perspectiva.

Actores que evalúan

Ventajas - Minimiza el costo económico.

- Mayor influencia de aprendizaje para el programa.

Interna

Capital humano de la institución ejecutora.

Externa

- Consultora privada.

- Imparcialidad garantiza una mayor objetividad.

- Unidades especialistas - Aumenta la credibilidad. de universidades.

- El interés se reduce a una relación comercial.

- Entidades multilaterales.

Mixta

Combinación de actores internos y externos.

Participativa Programa.

Desventajas - No elimina el choque de intereses.

- Reduce el nivel de credibilidad.

- Minimiza la objetividad.

- Implica un mayor costo.

- Disminuye el grado de aprendizaje ante el rechazo del equipo.

- Socializa los resultados - Se alarga el proceso.

- Tienen que integrarse los equipos - Aumenta credibilidad - Maximiza la capacidad de detectar causalidades. para el trabajo conjunto.

Elementos de causalidad.

De ejecución

25

Los instrumentos de recolección Llegó la hora de definir cuáles serán los instrumentos de recolección para construir la evidencia de medición de impacto, con el objetivo de responder las preguntas de la evaluación. Para esta guía hemos seleccionado las técnicas más comunes en la evaluación de impacto (cuantitativas, cualitativas y participativas), en un breve esbozo presentamos la utilidad, las ventajas, desventajas y limitaciones. Estas son: 1. Encuestas, 2. Datos secundarios, 3. Cálculo de la relación Costo- beneficio (ACB), 4. Cálculo de la relación Costo - Efectividad (ACE), 5. Entrevistas individuales, 6. Grupos focales, 7. Observación participante.

4.2.1 Encuestas: Es un instrumento de tipo cuantitativo de medición que se aplica a diferentes situaciones que requiera la investigación. Su objeto es medir la valoración colectiva de acuerdo al objetivo que plantea el cuestionario, facilitando la sistematización de respuestas a través de un patrón de preguntas.

Preguntas Abiertas

Aquellas que permiten que el encuestado exprese libremente su opinión

Preguntas Cerradas

Aquellas en donde se limita las opciones de respuestas

Preguntas Semiabiertas

Aquellas que reducen la respuesta a un máximo de palabras

La desventaja de este tipo de instrumentos es la conducción direccionada del cuestionario, ya que restringe la capacidad de respuesta de los encuestados, limitando el campo de investigación y no identifica otros factores.

Pasos para diseñar una Encuesta: 1.

2.

3.

4.

5.

6.

Definir el objetivo y la información que se espera obtener para la evaluación.

Determinar la muestra de encuestados que represente la totalidad del universo.

Diseñar el cuestionario considerando los tipos de preguntas que puede utilizar.

Comprobar y validar el cuestionario ejecutando una prueba a un grupo reducido.

Capacitar al personal que va a implementar el instrumento.

Sistematizar los resultados.

Material Complementario: https://www.coneval.org.mx/Informes/Evaluacion/Impacto/Uso_de_una_encuesta_ panel_para_evaluaciones_de_impacto.pdf Uso de una encuesta panel para evaluaciones de impacto: ensayo metodológico con la ENNViH https://www.cippec.org/wp-content/uploads/2017/03/1415.pdf Monitoreo y evaluación de políticas, programas y proyectos sociales.

Páginas 101-102.

26

4.2.2 Datos secundarios Es un método basado en la recolección de datos a través de fuentes secundarias que han realizado investigaciones de interés para nuestro proyecto, programa o política. Los insumos se sistematizan para la realización del análisis dependiendo de la temporalidad.

Existen tres tipos de fuentes para encontrar este tipo de información: Datos recolectados por alguna institución que no son de acceso público, ejemplos centros de salud, centros educativos, entre otros.

Informes de instituciones especializadas de gobiernos, organizaciones no gubernamentales, agencias multilaterales, universidades, etc.

Informe previo a la implementación del proyecto, programa o política pública.

Ventaja: Es una opción económica para realizar una evaluación de impacto.

Desventaja: los datos pueden resultar insuficiente para la evaluación de impacto.

Metodología para el uso de los datos secundarios Detectar datos disponibles y seleccionar su utilidad de acuerdo a la confianza con la institución recolectora de la información.

Analizar los objetivos que motivaron las investigaciones para lo cual fue producido el informe.

Identificar si la fecha es pertinente para ser incluido como fuente para la evaluación de impacto.

Sistematizar los datos obtenidos.

Material Complementario: https://www.cippec.org/wp-content/uploads/2017/03/1415.pdf Monitoreo y evaluación de políticas, programas y proyectos sociales.

Págs. 107-108

4.2.3 Análisis de Costo Beneficio (ACB) Es una técnica que compara los beneficios y los costos de implementación del proyecto, cuantificando en términos monetarios su relación. Si los primeros (beneficios) son mayores a los costos, es un indicio positivo de la implementación. Ahora bien, si por el contrario es mayor el gasto, se debe rechazar la implementación del proyecto, salvo algunas excepciones que pueden conllevar a la reconsideración o rediseño, afianzando la búsqueda orientada al logro de metas propuestas que propició la creación del proyecto.

27

Para seleccionar el método, recomendamos tomar en cuenta cuatros factores críticos: 1. La posibilidad de monetizar los bienes o servicios de acuerdo al mercado.

2. Identificar los supuestos que servirán de mecanismo para lograr el impacto deseado, transformarlos de productos a resultados y monetizarlo.

3. La calidad de la información en cuanto a vigencia para estimar los beneficios.

4. Que se corresponda al siguiente esquema del proyecto: Insumo → producto → resultados → impacto (beneficios).

El objetivo de la técnica es analizar la eficiencia de la relación costo – beneficio, sus resultados determinan la viabilidad, la sustentabilidad y replicabilidad del proyecto, programa o política. Es un instrumento muy frecuente en la entrega de informes de evaluación de impacto, pero insuficiente para medir la causalidad del cambio.

Metodología del instrumento: 1. Realizar una lluvia de ideas que permita analizar la incidencia del proyecto positiva o negativamente.

2. Determinar y anualizar los costos (capital humano, estructura física, equipos y materiales etc.).

3. Determinar los beneficios directos e indirectos.

4. Relacionar cada beneficio con el costo 5. Analizar el resultado como indicador para comparar opciones o analizar la factibilidad de implementación del proyecto.

El resultado de la fórmula es el Valor Actual Neto del ingreso y el Valor Actual de Costos, una vez obtenido los resultados se debe aplicar la siguiente operación: Relación Costo – Beneficio =

Beneficios Costos

Un proyecto es viable y aceptable cuando la relación sea mayor a uno (≥1), esa relación significa que los beneficios, entendido como el presupuesto a recaudar o a implementar para el proyecto es mayor que la inversión realizada. De esa forma solo se evalúa desde la visión financiera, la implementación de un proyecto.

Ejemplo:

28

Material Complementario: https://repositorio.cepal.org/bitstream/handle/11362/1915/S3092C678E_es.pdf Evaluación de proyectos sociales Págs. 171 al 199 https://dialnet.unirioja.es/descarga/articulo/5583839.pdf Análisis Coste-Beneficio https://publications.iadb.org/bitstream/handle/11319/7416/Monografia%20Tasa%20 de%20descuento%20social%20y%20Evaluacion%20de%20proyectos.pdf?sequence=1 Tasa de descuento social y evaluación de proyectos: algunas reflexiones prácticas para América Latina y el Caribe http://pubdocs.worldbank.org/en/412081463422874348/Core-Sesion-4-Introducciona-Analisis-Costo-beneficio-y-Costo-efectividad-F-Mejia.pdf Una introducción al análisis económico: Costo Efectividad y Costo Beneficio

4.2.4 Análisis de costo efectividad (ACE) Es un instrumento eficiente que introduce la perspectiva del evaluador para el logro de metas sociales. Al tener claro los objetivos, el evaluador realiza diferentes simulaciones para decidir entre varias formas de intervención, aquella que logre el resultado con el mayor nivel de efectividad económica.

Es importante armar la matriz de recursos de la implementación de la siguiente manera: ─ ─ ─ ─

Gasto de Capital Humano: el personal asociado a la intervención.

Estructura física: oficinas, salones o cualquier instalación física necesaria.

Equipo y materiales: insumos que faciliten el trabajo de la intervención.

Otros insumos: complementarios para la implementación del proyecto.

Finalmente, para elegir la mejor opción se aplica el análisis de sensibilidad que prueba en diferentes escenarios la solidez de la efectividad. Es decir, comprueba la capacidad de lograr los objetivos bajo cualquier supuesto de conducta, dinámica e interacción. La trascendencia de esta última etapa se puede decir que es un llamado a tierra, sobre las posibilidades reales de la efectividad y no caer en el excesivo optimismo, afectando la planificación del tiempo, del coste y de las metas posibles.

Por ejemplo, una fundación implementa un proyecto de construcción y dignificación de hogares en la zona de Villa Mella, en Santo Domingo. En una primera etapa, efectúa un proceso de socialización de los objetivos del proyecto, recolectando la información de las familias para asignar los beneficiarios. En una segunda etapa, incorpora un equipo de construcción encabezado por 4 profesionales y 40 trabajadores durante los fines de semana.

El resultado esperado es la construcción de 5 nuevos hogares y 32 viviendas dignificadas.

29

La directiva de la OSC pide realizar un análisis de costo efectividad para comprender el impacto del mismo, analizando otras alternativas con base al siguiente presupuesto:

PRESUPUESTO TOTAL Capital Humano

18,000,000.00

Estructura

9,500,000.00

Materiales

35,900,000.00

Otros

14,000,000.00

TOTAL

80,400,000.00

Al realizar el análisis de sensibilidad entre alternativas para comprobar sí con el mismo presupuesto se puede incrementar la meta esperada, se plantean diferentes enfoques entre las que se destaca un modelo mixto entre autoconstrucción y la construcción por el equipo. Al comparar con el mismo presupuesto la cantidad de viviendas construidas sube a 10 y las viviendas dignificadas llegan a 60. Para dar con dicha hipótesis se redistribuyó el presupuesto y se convocó a voluntarios. Con este enfoque y con el personal establecido se espera lograr la meta base inicial a un menor costo.

Material Complementario: https://repositorio.cepal.org/bitstream/handle/11362/1915/S3092C678E_es.pdf Evaluación de proyectos sociales Págs. 199 al 225 https://idblegacy.iadb.org/es/temas/efectividad-en-el-desarrollo/evaluation-hub/ analisis-costo-efectividad,17905.html Análisis Costo Efectividad

4.2.5 Entrevistas individuales Es un instrumento orientado a la recolección de información cualitativa explorando la perspectiva de diferentes actores, la entrevista se realiza entre uno o dos actores con el evaluador. La herramienta permite al entrevistado ofrecer una perspectiva del caso que estamos evaluando, comentando sobre las actividades, los procesos, sus análisis, propuestas, reacciones y otros elementos que sirva como insumo para la construcción del informe. Al ser personalizado, el encuentro permite una mayor libertad de profundizar en las respuestas, recabando información muy valiosa para la evaluación de impacto. Podemos considerar como desventaja, la influencia personal del evaluador, que puede influenciar desde su óptica el objeto de la entrevista.

Pasos para instrumentar la entrevista: 1. Definir el objetivo de la información a recolectar.

2. Construir un mapa de actores. (ver material complementario).

3. Definir los cuestionarios a ser aplicados (un cuestionario base pero adaptar a cada actor).

4. Aplicar la Entrevista.

30

Material Complementario: https://planificacionsocialunsj.files.wordpress.com/2011/09/quc3a9-es-el-mapeo-deactores-tapella1.pdf El mapeo de actores claves

4.2.6 Grupos focales Es un instrumento similar a la entrevista, la diferencia radica en la cantidad de entrevistados; la cual no es mayor a 12 personas. La dinámica consiste en la aplicación de un cuestionario que será guiado por el entrevistador para generar un debate entre los participantes, desarrollar dinámicas y controlar el tiempo.

La diversidad invita a los partícipes a explorar alternativas o defender argumentos. La recolección de información requiere de una grabación audiovisual para analizar las perspectivas, experiencias, expresiones corporales y el debate sobre los asuntos concernientes al proyecto, programa o política.

Pasos para la construcción del grupo focal: 1. Definir el objetivo de la información a recolectar construyendo un cuestionario base.

2. Identificar el mapa de entrevistados.

3. Realizar las convocatorias de acuerdo a las estrategias12 que convengan a la realización del grupo focal.

4. Desarrollar la guía cuestionario y socializarla con el entrevistador para el diseño de una estrategia que enriquezca la información a recolectar, tales como video, imágenes, dibujos, entre otras. Así como desarrollar dinámicas que exploren otras formas de expresión como dibujo y cartas.

5. Sistematizar la información del grupo focal.

4.2.7 Observación participante Consiste en la capacidad del evaluador de explorar, conocer y acercarse al objeto de la evaluación de impacto, dicha interacción permite formular nuevas preguntas, verificar datos, explorar otros enfoques y jerarquizar los supuestos de causalidad. Es el método inicial por excelencia para evaluadores externos para luego diseñar una hoja de ruta de aplicación de otros instrumentos. ¿Cómo realizar la observación participante?.

1. Definir el objeto y tiempo adecuado para observar.

2. Diseñar una guía de observación.

3. Realizar la jornada de observación.

4. Sistematizar la información recabada.

12

Se refiere a la estrategia de selección homogénea o heterogénea de perspectiva, sexo, beneficiarios y no beneficiarios.

31

Capítulo V Análisis

Hagamos un repaso a la guía; hablamos de la importancia de los conceptos de política pública, programa y proyecto con su ciclo de vida, revisamos la evaluación y el monitoreo, sus ventajas, desventajas y diferencias. Nos cuestionamos sobre la importancia de la evaluación de impacto, revisamos las distintas metodologías hasta llegar las técnicas de recolección, pero no hemos definido qué hacer con toda esa información.

En este capítulo abordaremos como transformar todo lo recolectado en términos de aprendizajes para futuras implementaciones. Para ello, debemos retomar la hoja de ruta que durante el cuestionamiento sobre evaluar o no construimos con base de interrogantes a ser respondidas a través de los diferentes instrumentos de recolección. En ese sentido, como evaluador debemos construir una matriz de datos que permita el procesamiento de cada uno de los insumos a partir de las preguntas.

Se debe comprender que los resultados de las técnicas implementadas deben analizarse según la naturaleza y dimensión de los instrumentos, así como de los actores. Es importante no caer en la contradicción de las respuestas que los actores puedan aportar, sino construir el análisis como una diferencia de criterio o falta de consenso en la implementación, por poner un ejemplo.

Al construir la matriz de datos se realiza un primer informe con base a la información procesada, con el objeto, identificar los elementos críticos de la investigación, desde una óptica análisis descriptivo. Luego con los elementos esenciales se realiza un segundo análisis inferencial para elaborar las conclusiones de la evaluación. El desarrollo intelectual de esta actividad requiere de discusiones, debate y acuerdos del equipo de trabajo, para fortalecer los argumentos y enfoques sobre los resultados obtenidos.

Hacer un buen análisis es tan importante como la rigurosidad de las técnicas de recolección, si no se interpretan los resultados de manera correcta se corre el riesgo de desperdiciar todo el proceso anterior. A continuación, expondremos una serie de pasos comunes que faciliten al lector la relación entre los resultados y las respuestas de las interrogantes que motivaron la evaluación de impacto.

Pasos para el análisis 1. Sistematizar la información de acuerdo a la hoja de ruta y las preguntas establecidas.

2. Realizar un análisis descriptivo a partir de la información procesada.

3. Concentrarse en los elementos esenciales de causalidad de la evaluación de impacto.

4. Realizar un segundo análisis que complemente la realizada anteriormente con la información cuantitativa que soporte el análisis.

5. Concluir y brindar recomendaciones.

32

Capítulo VI

Cómo utilizar la información?

?

6.1 El informe El producto más importante para la socialización de los resultados es la redacción del informe como producto tangible. Visibiliza las acciones de la política, programa o proyecto al brindar un panorama de los resultados obtenidos, presenta conclusiones y aprendizajes del mismo. Los elementos presentes en el informe brindan herramientas para la rentabilidad y sustentabilidad de la implementación, la adaptación de sugerencia para las próximas implementaciones, pero sobretodo identifica la causalidad del impacto en la generación del cambio de la intervención.

El propósito del informe es la rendición de cuentas para los donantes y los actores involucrados. La estructura debe contar con un índice como hoja de ruta al lector. A continuación, presentamos algunos pasos para la redacción del informe: 1. Desarrollar un esquema de temas de acuerdo a la hoja de ruta planteada y resuelta a través del análisis. De esa manera, se podrá contar con una guía para la redacción.

2. Describir la metodología utilizada para el desarrollo de la evaluación de impacto, las preguntas que motivaron la investigación y los objetivos específicos propuestos para la recolección de datos.

3. Presentar los resultados de las investigaciones con la fiabilidad correspondiente a cada instrumento.

4. Revisar la estructura acondicionada al lector incluyendo un resumen ejecutivo.

Claves para redactar el informe: ─ Redacta las ideas y luego da formato protocolar. ─ El texto debe ser breve, conciso y claro para el lector. ─ Es muy importante tomar en consideración el público objetivo del informe. ─ Los gráficos, esquemas y diseños especiales ayudan a comprender los resultados. ─ Incluir fuentes, letras cursivas, viñetas y negritas. ─ Contar las anécdotas que sean necesarias para comprensión.

Estrategia de comunicación La socialización de resultados es una actividad clave en la sustentabilidad de las Organizaciones de la Sociedad Civil (OSC), siendo necesario el diseño de estrategias para comunicar de forma adecuada los resultados en los cuatro niveles de stakeholders que influyen en la realización de la intervención, estos son: público interno, donantes, otras organizaciones de la sociedad civil, comunidad y entorno social.

33

El público interno: se refiere al equipo de trabajo de la institución, es el capital humano de mayor incidencia en el compromiso al logro de metas. La retroalimentación de experiencias, el comprender los aciertos y fallas de implementación surten un mayor efecto para el aprendizaje organizacional. Por lo tanto, la comunicación debe ser bidireccional sobre las experiencias logradas de la implementación, las prospectivas de la institución y la comunidad, la relación con el donante y la rendición de cuentas públicas.

Los donantes: se refieren a los financistas del proyecto y requieren un tipo de información específica sobre el impacto obtenido a partir de la inversión realizada. La comunicación se basa en evidenciar los resultados obtenidos de la implementación, desarrollando una relación de confianza entre los actores.

La comunidad beneficiaria: requiere un tipo de comunicación muy específica, dirigida a construir la confianza con los beneficiarios y los no beneficiarios que perdure el tiempo para la implementación.

El entorno social: se refiere a los anuncios del impacto a la colectividad local, regional y nacional para desarrollar una marca de transparencia con la ciudadanía.

Tercer sector: compartir las experiencias con otras OSC, con la intención de visibilizar enfoques de los proyectos con los resultados obtenidos, optimizar la labor social y sus resultados en pro de los objetivos que fundaron cada institución.

Cómo armar un plan de comunicación?

?

Brevemente haremos un repaso de los 8 pasos que nos muestra el Manual para Planes de Comunicaciones de Alianza ONG13 disponible en el website de la institución.

1. Contextualizar: realizar un análisis de entorno a lo interno de la institución y en su relación con lo exterior, a través de una matriz FODA. 2. Definir los objetivos: direccionar la comunicación al logro de objetivos estratégicos de la institución.

3. Clarificar el público objetivo: definir a quienes dirigimos la comunicación 4. Construir el mensaje: de forma sencilla y digerible para quienes sean sujetos de interés para la institución.

5. Planificar los recursos a utilizar: se requiere tener claro los costos que acarrean cualquier plan. La comunicación requiere de capital humano capacitado para dicha labor.

6. Establecer los canales: se refiere a los medios de comunicación para transmitir el mensaje.

7. Diseñar el plan de acción: elegir las acciones de acuerdo a los objetivos planteados en los pasos anteriores.

8. Establecer mecanismos de control y evaluación: realizar seguimiento y verificando que se cumpla con los objetivos planteados.

34

http://alianzaong.org.do/wp-content/uploads/2018/02/Alianza-Manual-ComunicaciónPara-la-WEB.compressed.pdf Manual para planes de Comunicación Institucional 13

(Tejada, 2017)

Capítulo VII

El Aprendiza je

7.1 La evaluación como aprendizaje A modo de conclusión, recordemos que las organizaciones de la sociedad civil (OSC) surgen como respuesta a las limitaciones que el mercado y el Estado presentan para garantizar el bienestar colectivo, siendo su objetivo fundamental contribuir al desarrollo de sociedades más justas y equitativas. Para lograr este fin, las OSC despliegan sus actividades en el marco de programas y proyectos que establecen un conjunto de acciones que suponen pueden tener algún efecto positivo en la realidad social.

Desde este punto de vista, el desarrollo de programas y proyectos no constituye un fin en sí mismo, sino una herramienta para impulsar un cambio en la sociedad. Siendo la evaluación de impacto, una poderosa fuente de aprendizaje que brinda a las diferentes organizaciones conocimientos basados en evidencia, acerca de si están o no en el camino correcto como agentes generadores de cambio, aportando importantes lecciones sobre la realidad social que desea modificar; el propio desempeño de los programas y proyectos, (qué programas funcionan y en qué contexto), permitiendo a los tomadores de decisiones implementar mejoras. Asimismo, permite impulsar el aprendizaje organizacional, al incrementar la eficacia de futuras evaluaciones de programas y el uso de los recursos de forma más eficiente.

Además, las lecciones derivadas de la evaluación no se limitan al programa y la organización, pues algunos autores destacan la evaluación como herramienta de aprendizaje social por considerar que la sociedad puede aprender a partir de un análisis formal de las intervenciones sociales y sus resultados, mejorando su capacidad para generar consensos con respecto a lo que es conveniente o no para sus intereses colectivos14.

Finamente, consideramos que este tipo de evaluación aporta a las OSC un mayor nivel de profundidad y comprensión de las intervenciones, lo cual brinda experiencia para hacerlo mejor, acercándose así al propósito primigenio que no es otro que mejorar la calidad de vida de la población objetivo.

14

(Vara, 2007).

35

GLOSARIO DE TÉRMINOS

36

Análisis Costo Beneficio

Técnica que compara los beneficios y los costos de implementación del proyecto, cuantificando en términos monetarios su relación.

Análisis Costo- Efectividad

Análisis comparativo de costo – efectividad económica entre diferentes tipos de intervención para lograr el objetivo de un proyecto.

Contrafactual

Estimación de lo que hubiese sucedido con el grupo de beneficiarios de no haber participado en el programa / proyecto.

Cadena de valor

Herramienta estratégica que permite el análisis de las actividades estratégicas que impulsan una actividad. Visualiza a los procesos como un ente que aporta producción del sistema.

Evaluación de impacto

Proceso de medición de resultados logrados con la implementación, analizando la causalidad del impacto (causa y efecto) en una población beneficiaria.

Falla de Gobierno

Falla que se produce cuando el Estado buscando solucionar una falla de mercado, dicta una regulación que no solucionan el problema, sino que por el contrario, agrava las condiciones como consecuencia de la intervención.

Falla de Mercado

Fallas que se producen cuando la economía no es capaz de asignar los recursos de una forma eficiente, creando brechas sociales que a través de la intervención pública se busca solventar.

Intervención

Conjunto de acciones propuestas por una política, programa o proyecto que se espera afecten la realidad social que se desea abordar.

Línea base

Medición realizada antes de la implementación de programa que permite caracterizar la situación previa a la intervención con el objetivo de realizar futuras comparaciones y evaluaciones.

Marco Lógico

Herramienta para el diseño de políticas, programas y proyectos que describe los insumos, actividades y resultados esperados en base una hipótesis causa- efecto.

Monitoreo

Instrumento de gestión basado en el seguimiento que se realiza a la ejecución, utilizando los datos para optimizar la implementación de los programas, la toma de decisión y la administración

Programa

Es el diseño técnico macro que conforma un conjunto de proyectos que persiguen los mismos objetivos

Proyecto

Punto de partida de la ejecución de una intervención. Debe tener delimitado una población objetivo en función de la necesidad que se pretende satisfacer, un espacio demarcado y los lapsos de implementación predefinidos

Política Publica

Acción que ejecuta una entidad investida de autoridad y legitimidad que a través de un proceso de toma de decisiones, decide o no intervenir sobre el espacio público a través del desarrollo de programas y proyectos para el logro de metas sociales

Sesgo de selección

Error en la selección de los miembros de los grupos de beneficiarios y no beneficiarios para la evaluación. Este error trae como consecuencia que los grupos tienen grandes diferencias entre sí, lo que hace que no sean comparables y distorsiona la estimación del impacto del programa/proyecto (subestima o sobrestima los resultados).

Gestión Para Resultados en el Desarrollo

Es una estrategia que tiene su origen en los años 70, tiene como finalidad el logro de objetivos mejorando el desempeño y los resultados. Es la conjunción de planificación, seguimiento y evaluación que toda institución y organismos gestiona para optimizar rentabilidad.

Bibliografía Arias, O. D. (s.f.). Plan estratégico del Tercer sector de Acción Social. Guía de Evaluación de Programas y Proyectos Sociales. Madrid, España: Plataforma de ONG de Acción Social.

Barzelay, M., & Cortázar Velarde, J. C. (2004). Una guía práctica para la elaboración de estudios de caso sobre buenas prácticas en gerencia social. Washington : Instituto Interamericano para el Desarrollo Social (INDES) y Banco Interamericano de Desarrollo (BID).

BID. (06 de julio de 2018). Efectividad para mejorar vidas BID. Obtenido de https://idblegacy.iadb.org/es/ temas/efectividad-en-el-desarrollo/evaluation-hub/inicio,17844.html BID, B. I. (6 de julio de 2018). Pautas para la elaboración de estudio de casos. Obtenido de https://publications.iadb.org/bitstream/handle/11319/6434/Pautas%20para%20la%20elaboración%20de%20Estudios%20de%20Caso.pdf Billorou, N., Pacheco, M., & Vargas, F. (2011). Guía para la evaluación de impacto de la formación. Montevideo: OIT/Cinterfor.

Blasco, J., & Casado, D. (2009). Guía práctica 5, Evaluación de impacto. Barcelona: Iválua.

Campos, J., Serebrisky, T., & Suárez-Alemán, A. (2016). Tasa de descuento social y evaluación de proyectos. Washington: Banco Interamericano de Desarrollo.

Cohen, E., & Franco, R. (1992). Evaluación de proyectos sociales. Mexico: Siglo XXI editores.

CONEVAL, C. N. (6 de julio de 2018). Análisis de factibilidad para llevar a cabo una evaluación de impacto.

Obtenido de https://www.coneval.org.mx/Evaluacion/MDE/Paginas/Evaluacion_Impacto.aspx David Casado, F. T. (2013). Guía Práctica 10. Evaluar el impacto de las Políticas Públicas Activas. Cataluña: Institu Catalá d´ Avaluaió de Politíques Públiques.

Di Virglio, M., & Solano, R. (2012). Monitoreo y evaluación de políticas, programas y proyectos sociales.

Buenos Aires: CIPPEC y UNICEF. Fernandez Arroyo, N., & Schejtman, L. (2012). Planificación de políticas, programas y proyectos sociales.

Buenos Aires: CIPPEC y UNICEF. Gertler, P., Martínez, S., Premand, P., Rawlings, L., & Vermeersch, C. (2017). La evaluación de impacto en la práctica, Segunda edición . Washington: Banco Interamericano de Desarrollo y Banco Mundial.

Guedez, V. (2008). Ser Confiable. Caracas: Planeta.

Hehenberger, L., Harling, A.-M., & Scholten, P. (2013). La guía práctica para la medición del impacto. Madrid: EVPA.

37

Hernández Licona, G., de la Garza Navarrete, T. P., & (comp). (2013). Uso de una encuesta panel para evaluaciones de impacto. Mexico: CONEVAL. Hugo Navarro, K. K. (2006). Pauta Metodológica de Evaluación ex antes y ex post de Programas Sociales de Lucha Contra la Pobreza. Santiago de Chile: Naciones Unidas, Cepal.

Jim Clifford, L. H. (2015). Métodos propuestos para la medición del impacto social. Luxemburgo: Comisión Europea.

Kotter, J. P. (2000). Qué hacen los líderes. Barcelona: Gestion 2000.

Kotter, J., & Cohen, D. (2002). El corazón del cambio. Boston: Harvard Business School Press.

Lafuente, C., & Marín, A. (septiembre-diciembre, 2008). Metodologías de la investigación en las ciencias sociales: Fases, fuentes y selección de técnicas. Revista Escuela de Administración de Negocios, pp. 5-18.

Lahera, E. (2002). INTRODUCCION A LAS POLITICAS PUBLICAS. Santiago de Chile: CEPAL. Nina Billoru, M. P. (2001). Guía para la evaluación de impacto de la formación. Ginebra, Suecia: Oficina Internacional del Trabajo (OIT/Cinterfor).

ONU. (2002). Declaración de Johannesburgo sobre el Desarrollo Sostenible. Johannesburgo: ONU. Ortega Aguaza, B. (5-2012). Análisis Coste-Beneficio. eXtoikos, 146-148.

Povertyactionlab. (6 de julio de 2018). Obtenido de https://www.povertyactionlab.org/es/research-resources/introduction Sanz, J. (2011). Guía práctica 8 La metodología cualitativa en la evaluación de políticas públicas. Barcelona: Iválua.

Tejada, M. (2017). Manual para Planes de Comunicaciones. Santo Domingo : ALIANZA ONG. Valdes, M. (8 de julio de 2018). La evaluación de impacto de proyectos sociales: Definiciones y conceptos.

Obtenido de https://www.mapunet.org/documentos/mapuches/Evaluacion_impacto_de_proyectos_sociales.pdf Vara-Horna, A. (2007). La evaluación de impacto de los programas. Lima : Fondo Editorial de la Universidad de San Martín de Porres.

Venacham. (2003.). Responsabilidad Social Empresarial en las Américas. Caracas: Ediciones Alianza Social Venacham.

38

ALIANZA ONG

Calle Caonabo No. 22, Gazcue, 10205 Santo Domingo, RepĂşblica Dominicana www.alianzaong.org.do | www.impulsar.org