Politicas de evalución en la Cooperacion para el Desarrollo

ES 03

POLÍTICAS DE EVALUACIÓN EN LA COOPERACIÓN PARA EL DESARROLLO Diferentes aproximaciones a una realidad cambiante Sonia Franco Alonso Ana Ballesteros Pena Sara M. Ulla Díez Aisha Al-Said Albella

Edición: Septiembre 2015 © Ministerio de Asuntos Exteriores y de Cooperación Secretaría de Estado de Cooperación Internacional y para Iberoamérica Secretaria General de Cooperación Internacional para el Desarrollo Documento realizado por: Sonia Franco Alonso, Ana Ballesteros Pena, Aisha Al-Said Albella, especialistas en evaluación y Sara M. Ulla Díez, Jefa de Área de Evaluación de la División de Evaluación de Políticas para el Desarrollo y Gestión del Conocimiento. Secretaría General de Cooperación Internacional para el Desarrollo.

Las opiniones y posturas expresadas en este documento no se corresponden necesariamente con las del Ministerio de Asuntos Exteriores y Cooperación.

NIPO on line: 502-15-071-7 Se autoriza la reproducción total o parcial de esta obra por cualquier medio o procedimiento, conocido o por conocer, comprendidas la reprografía y el tratamiento informático, siempre que se cite adecuadamente la fuente.

Para cualquier comunicación relacionada con esta publicación, diríjanse a: División de Evaluación de Políticas para el Desarrollo y Gestión del Conocimiento Secretaría General de Cooperación Internacional para el Desarrollo Ministerio de Asuntos Exteriores y de Cooperación Serrano Galvache, 26, torres Ágora, Torre Norte. 28071 Madrid Tel.: +34 91 394 8808 evaluacion-sgcid@maec.es

ÍNDICE 1. INTRODUCCIÓN ............................................................... 1

2. CONCEPTOS PREVIOS ...................................................... 3

2.1. La evaluación en un escenario complejo ............... 3 2.2. Evolución de la evaluación en cooperación internacional para el desarrollo ........................... 4 2.3. Qué entendemos por política de evaluación y cuál es su relación con la práctica evaluativa .............. 8 2.4. La aproximación a la evaluación de la Cooperación Española ............................................................ 10

3. ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS

DE

EVALUACIÓN

Y

LA

POLÍTICA

DE

EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA ................. 14

3.1. Documentos incluidos en el análisis ................... 14 3.2. Dimensiones analizadas...................................... 17 3.3. Principales resultados ........................................ 18

4. CONCLUSIONES ............................................................. 49 4.1. Las principales tendencias en las políticas de evaluación de cooperación internacional para el desarrollo en la actualidad ................................. 49

REFERENCIAS BIBLIOGRÁFICAS…………………………………..56

iii

INTRODUCCIÓN

1. INTRODUCCIÓN El año 2015 supone un hito en las políticas de cooperación internacional para el desarrollo desde que en el año 2000 con la Conferencia del Milenio se estableciera la Agenda de los Objetivos de Desarrollo del Milenio. La aprobación, en septiembre de este año, de los 17 Objetivos de Desarrollo Sostenible propuestos en el Final Draft of the outcome for the UN Summit to adopt the Post2015

Development

Agenda

(UN,

2015)

tras

un

debate

ampliamente participativo que ha tenido lugar durante los últimos dos años, dirigirá la atención sobre “un plan de acción para las personas, el planeta y la prosperidad”. En este nuevo marco de actuación, la evaluación toma mayor protagonismo que en la anterior agenda, a través de la inclusión del epígrafe “Seguimiento y revisión”, que contiene 17 metas generales y concretas para los niveles global, nacional y regional.

El 2015 también ha sido reseñable por la celebración del Año Internacional de la Evaluación y del Año Europeo del Desarrollo, pues se han abierto muchos debates en la comunidad internacional en torno a los elementos clave que deben confluir para que la función de evaluación, que se sustenta sobre la política de evaluación y la práctica evaluativa, pueda implantarse de una manera consistente en el sistema de cooperación internacional para el desarrollo. Tres son los aspectos que vienen suscitando más consenso en este sentido: un ambiente y un contexto sociopolítico a favor de la evaluación, un marco institucional adecuado, y suficientes y apropiadas capacidades individuales de los distintos actores públicos.

Las políticas o guías de evaluación de las agencias donantes analizadas en este documento son el reflejo de los pasados y

1

Políticas de evaluación de la cooperación para el desarrollo actuales debates en torno a los elementos mencionados en el párrafo anterior y al renovado compromiso de consolidar la cultura de la evaluación en el ámbito de la cooperación para el desarrollo.

Fruto de estos debates, y con el objetivo de mejorar la función evaluativa en el ámbito de la cooperación internacional, las agencias bilaterales y multilaterales han acudido a ejercicios de diseño y puesta en marcha de políticas de evaluación.

En este sentido, el objetivo de este artículo al presentar el resultado del análisis de los contenidos de las políticas de evaluación de cooperación internacional para el desarrollo de algunas agencias bilaterales y multilaterales de desarrollo. Estas, en parte sirvieron para la construcción de la Política de Evaluación de la Cooperación Española (MAEC, 2013a), con el fin de retroalimentar y fortalecer la función de evaluación y orientar el cambio para la mejora de la política de cooperación internacional para el desarrollo.

La estructura del documento comienza con un apartado que introduce el marco conceptual y de políticas, con una breve descripción de la cooperación española, desde el que se han analizado el resto de políticas y directrices de evaluación. En el apartado siguiente se presenta una revisión del contenido de diferentes políticas de evaluación, incluyendo la

Política

de

Evaluación de la Cooperación Española. El documento cierra con las principales conclusiones y recomendaciones de cara a la nueva agenda de los Objetivos de Desarrollo Sostenible.

2

CONCEPTOS PREVIOS

2. CONCEPTOS PREVIOS

2.1. La evaluación en un escenario complejo La cooperación internacional para el desarrollo, como toda acción pública, debe rendir cuentas de su quehacer ante la ciudadanía y tiene la responsabilidad de aprender de su práctica.

La

evaluación

de

cualquier

intervención

de

cooperación

1

internacional para el desarrollo , la acción humanitaria y la educación para el desarrollo deben abrigar desde la comprensión hasta la retroalimentación y deben contribuir a la rendición de cuentas y a la mejora del objeto evaluado considerando los cambios que ha generado en la realidad.

El

actual

internacional

escenario para

el

de

complejidad

desarrollo,

en

el

de que

la

cooperación las

agencias

multilaterales y los países donantes se enfrentan a una realidad muy compleja (Argilés, 2013; Collins y Stirrat, 2008; Ramalingam, Laric y Primrose, 2014), traslada al ámbito de la evaluación grandes desafíos técnicos y políticos, de ahí que, en la actualidad, los sistemas de evaluación se encuentran ante la encrucijada de adaptarse para responder a tales retos. La evaluación debe ser un medio para generar aprendizajes que permitan mejorar la eficacia y la calidad de las intervenciones de la cooperación internacional para el desarrollo, así como aportar elementos suficientes para la transparencia y la rendición de cuentas. Para ello, en el proceso evaluativo deben emplearse una metodología y unas técnicas rigurosas en la recolección y el análisis de la información.

1 Hablaremos de intervención en sentido genérico para facilitar la lectura. No obstante, llamamos la atención de que con ello, nos referimos a cualquier acción o instrumento que emplee la cooperación internacional para el desarrollo, desde los documentos de estrategia política hasta los proyectos más concretos.

3

Políticas de evaluación de la cooperación para el desarrollo La evaluación debe formar parte nuclear, por tanto, del sistema de gestión del conocimiento de la cooperación internacional para el desarrollo, pues se trata del proceso que permite comprender y valorar críticamente el conjunto de elementos y dimensiones que integran las intervenciones, favoreciendo el aprendizaje y la extracción de lecciones consistentes y útiles, tanto sobre los propios objetos de evaluación como sobre los contextos en los que éstos se enmarcan. Por ello, el proceso de aprendizaje de la evaluación debe implicar tanto a las personas e instituciones responsables de la dirección y gestión de las intervenciones como al conjunto de actores que participan en su diseño y ejecución, así como a las personas y organizaciones que son destinatarias finales de los programas (MAEC, 2013a).

Como hemos señalado, la evaluación facilita la transparencia y contribuye a la responsabilización a través de la rendición de cuentas.

Por

ello,

es

necesario

que

las

evaluaciones

sean

equilibradas y rigurosas, que los informes de evaluación sean públicos y accesibles y que aporten información relevante para explicar el funcionamiento y los resultados de las intervenciones de cooperación internacional para el desarrollo (Monterde, 2014; Ulla y Argilés, 2014; Winckler, 2014). La evaluación contribuye además a la transformación social no sólo a través del uso de sus productos, sino también en cuanto proceso catalizador de cambios en los niveles personal, organizativo y sistémico. Para propiciar este potencial transformador, es fundamental apoyar el desarrollo de las capacidades de los diferentes actores implicados, promover su participación efectiva en las distintas fases de los procesos evaluativos, e impulsar el diálogo, la reflexión crítica y la revisión de las prácticas y asunciones (MAEC, 2013a).

2.2. Evolución de la evaluación en cooperación internacional para el desarrollo Para nuestro repaso por el recorrido de la evaluación de la cooperación

4

internacional

para

el

desarrollo, hemos tomado

CONCEPTOS PREVIOS inicialmente como referencia, hasta el año 2000, la cronología de la evaluación en cooperación para el desarrollo

de Cracknell

(2000), donde se establecen cuatro fases de evaluación en el marco de la Ayuda Oficial al Desarrollo (AOD): desarrollos tempranos (desde finales de la década de 1960 hasta 1979); explosión de interés (entre 1979 y 1984); mayoría de edad (entre 1985 y 1988); y evaluación de la ayuda en la encrucijada (desde 1988 hasta la publicación de su libro en el año 2000).

Otro documento de referencia fundamental para conocer el recorrido de la evaluación en las últimas décadas es el informe del CAD en el que realizan un análisis a la luz de 30 años de experiencia en evaluación (OCDE, 2013), donde, se proponen los hitos más importantes que, históricamente, hicieron evolucionar la evaluación de la ayuda tal y como se entiende en la actualidad.

En los años sesenta el enfoque para evaluar la mayoría de las intervenciones de cooperación internacional para el desarrollo se ceñía a la estimación de las tasas de retorno financiero y económico (Binnendijk, 1989). Durante esa época, en la que la ayuda se orientaba en buena medida a la ejecución de proyectos de creación de infraestructuras y fortalecimiento industrial, el enfoque de evaluación utilizado parecía apropiado para el tipo de cooperación que realizaban los donantes. A partir de esta década, el Informe Partners in Development, también llamado Informe Pearson (Pearson, 1969), desplazó el énfasis de la inversión en infraestructuras del sistema de cooperación internacional para el desarrollo hacia la satisfacción de las necesidades básicas de las personas pobres. Por ello, la estimación de las tasas de retorno financiero y económico como método de valoración de proyectos se volvió insuficiente por las dificultades que mostraba para conocer datos sobre equidad, distribución, beneficio social e impacto.

5

Políticas de evaluación de la cooperación para el desarrollo Tras el surgimiento de diversas propuestas metodológicas para la evaluación de la cooperación internacional para el desarrollo, el Comité de Ayuda al Desarrollo (CAD) de la OCDE decidió poner en marcha sendos seminarios sobre evaluación durante la década de los setenta que dieron como resultado la celebración de dos reuniones de alto nivel: en noviembre de 1979, la Reunión de Alto Nivel para la creación del Group of Correspondents on Aid Evaluation y en 1982 la organización de un Encuentro de Alto Nivel (OCDE, 2013a). Como resultado del debate producido durante estas

conferencias

y

del

contexto

previo,

las

agencias

multilaterales y los países donantes adoptaron de forma amplia el Enfoque del Marco Lógico, tanto como herramienta de diseño como para los marcos conceptuales de la evaluación. La construcción de los marcos conceptuales, llamados por el CAD marco global, marco país, marco de proyecto y marco de la agencia donante (OCDE, 1975), tenía como principal objetivo valorar la contribución hacia el logro de los resultados, conocer los problemas de desarrollo de un

país

concreto

para

analizar

las

limitaciones

de

las

intervenciones implementadas, analizar los efectos concretos de un proyecto, así como informar a las autoridades responsables de la AOD del uso y destino de los fondos de cooperación.

Durante las décadas de los setenta y ochenta, las teorías del desarrollo giraban en torno a los proyectos como las unidades más importantes de intervención, en el crecimiento como objetivo del desarrollo, en la sustitución de importaciones y en la planificación desde las sedes centrales. Esta visión de la planificación y la implementación dominaba las visiones en la evaluación de la cooperación para el desarrollo, que se centró, durante esta época y salvo algunas excepciones, en la evaluación de proyectos como único instrumento de la cooperación, en el análisis coste beneficio, en el precio sombra y en la autoevaluación o la evaluación centrada en las unidades de planificación. Durante esta fase de la evaluación de la AOD, el énfasis metodológico se concentró en establecer la evaluación como una parte clave del ciclo del

6

CONCEPTOS PREVIOS proyecto y se orientó el énfasis hacia el diseño y el establecimiento de criterios para conocer en qué medida se había logrado el éxito en el desempeño del proyecto (Cracknell, 2000).

No fue hasta los años ochenta cuando las agencias y los países donantes comenzaron a desarrollar y publicar metodologías de evaluación que trataban de poner cierta claridad en lo que hasta ese momento había sido un trabajo menos coordinado (con algunas agencias más avanzadas y con otras más rezagadas en el diseño y gestión de evaluaciones)2. Es en esta década cuando se crean estructuras y se publican documentos que, con algunos cambios, siguen vigentes en la actualidad. Son, por ejemplo, los casos de la creación del grupo de evaluación de la ayuda en el CAD en 1982, la celebración de conferencias y la publicación de una gran variedad de libros y artículos sobre la evaluación de la cooperación internacional para el desarrollo, que aún a día de hoy siguen de actualidad. El impulso inicial hacía la realización de evaluaciones conjuntas se inició también en los años ochenta, en lo que conoce como el “multi-donor coordination of evaluation activities”, y desde entonces, la importancia de las evaluaciones conjuntas ha sido creciente.

Sin embargo, la definición de evaluación de la ayuda no se publicaría hasta el año 1991, en el documento del CAD de Principios para la evaluación de la ayuda al desarrollo (OCDE, 2013a). Los principios de eficacia de la ayuda, establecidos por el CAD en 1992 (OCDE, 2013a), profundizaron asimismo en este cambio de paradigma a través de la combinación de la orientación a resultados de desarrollo, la apropiación, las alianzas y los enfoques a largo plazo, elementos que influyeron en la selección de los criterios del CAD (pertinencia, eficacia, eficiencia, impacto y

2 Por ejemplo, el Banco Mundial y la agencia USAID comenzaron a utilizar el enfoque del marco lógico como herramienta de diseño de intervenciones diez años antes que los donantes europeos.

7

Políticas de evaluación de la cooperación para el desarrollo sostenibilidad)

como marco principal

para la

realización

de

evaluaciones.

Posteriormente, a partir de la Declaración de los Objetivos de Desarrollo del Milenio (2000) y del Consenso de Monterrey (2002), los donantes de AOD se orientaron a la implementación de los Programas País, al ajuste estructural, hacia las políticas orientadas hacia el exterior y a la toma de decisiones descentralizada, que se reflejó en la evaluación a través de la planificación de las evaluaciones, el diseño de políticas de evaluación, el análisis de riesgos y la realización de evaluaciones participativas (Picciotto, 2002).

A pesar de que existen otras publicaciones que proponen cronologías diferentes, y aunque todas tienen en común que establecen diferencias entre las fases anteriores y el momento actual, la propuesta de Cracknell tiene unas características que nos sirven para nuestro análisis, así como para abrir las puertas a una descripción del momento actual de la evaluación de la cooperación internacional para el desarrollo, desde el año 2000 a nuestros días.

2.3. Qué entendemos por política de evaluación y cuál es su relación con la práctica evaluativa Tomando como punto de partida la literatura existente al respecto, es importante reflexionar sobre lo que es y lo que no es una política de evaluación con el fin de delimitar nuestro marco de análisis. Una de las preguntas clave a la hora de plantearse una posible definición de política de evaluación tiene que ver con la forma en que la distinguimos de otros lineamientos estratégicos que podrían potencialmente confundirse con ella. Por ejemplo, ¿cuáles serían las diferencias entre una política y una guía, una directriz,

una

orientación,

un

mandato,

una

norma

o

una

aproximación teórica? La respuesta no es siempre clara, ni las

8

CONCEPTOS PREVIOS definiciones permiten siempre una discriminación exacta. Una propuesta sería que las directrices, las orientaciones, etc. se convierten en políticas de evaluación sólo cuando se adoptan conscientemente por la organización o por el Estado para guiar las decisiones o acciones sobre evaluación de determinada política (Trochim, 2009). Siguiendo este planteamiento, las directrices y orientaciones sobre evaluación en cooperación internacional para el desarrollo se convierten en política de evaluación cuando la organización o la agencia responsable las utilizan para instaurar su manera de hacer evaluación en cooperación internacional para el desarrollo.

Partiendo de estas premisas ¿cómo definiríamos política de evaluación? Cooksy, Mark y Trochim (2009,4) entienden las políticas de evaluación “como (aunque no sólo) mandatos de alto nivel integrados en la legislación que se utilizan para guiar la práctica de la evaluación”. Por su parte, Trochim (2009) define la política de evaluación como "todo mandato o principio que un grupo u organización utiliza para guiar sus decisiones y acciones al hacer evaluación”. ¿Cuáles serían entonces las señas de identidad de una política de evaluación? Nos encontramos, en primer lugar, con que la política de evaluación es un elemento crítico para la práctica de la evaluación porque da forma y moldea a la práctica evaluativa, de modo que puede posibilitar, promover o limitar, la potencial contribución que la evaluación puede realizar.

Un

segundo

elemento

importante

que

subyace

a

estas

definiciones es la idea de que la política de evaluación merece más atención explícita, tanto en la literatura formal como en el diálogo informal sobre evaluación.

Una tercera creencia sería que una mayor participación de los y las profesionales de la evaluación en la política de evaluación

9

Políticas de evaluación de la cooperación para el desarrollo podría abrir la puerta para mejoras significativas en la práctica de la evaluación (Trochim, 2009).

Para clasificar las políticas de evaluación en su relación con la práctica evaluativa, Trochim propone analizar los siguientes ocho aspectos de las políticas: 1. Objetivos: definición de evaluación (qué es y qué no es

evaluación).

2. Participación:

qué

actores

están

involucrados

en

los

procesos de evaluación.

3. Fortalecimiento

de

capacidades:

recursos

humanos

destinados a evaluación.

4. Gestión: qué se evalúa y cuándo se evalúa, cómo se

gestiona el proceso, con qué marco presupuestario se cuenta.

5. Roles: cuáles son las responsabilidades que las diferentes

personas tienen en los procesos de evaluación.

6. Procesos

y

métodos:

aproximaciones

metodológicas

recomendadas o requeridas.

7. Utilidad:

cómo van a ser usados los resultados, las

conclusiones y las recomendaciones de la evaluación.

8. Metaevaluación: evaluación de la evaluación, principios y

valores.

Aunque el propósito de nuestro análisis no es clasificar las políticas revisadas, la propuesta analítica de Trochim nos resulta de gran utilidad para la organización de nuestro análisis.

2.4. La aproximación a la evaluación de la Cooperación Española En el IV Plan Director de la Cooperación Española 2013–2016 (en adelante el IV Plan Director) se señala que el objetivo final de la Cooperación Española es “contribuir al desarrollo humano, la disminución de la pobreza y el pleno ejercicio de los derechos”,

10

CONCEPTOS PREVIOS situando al conocimiento derivado de las buenas prácticas y de los fracasos como elemento de aprendizaje para el logro de dicho objetivo.

De esta forma, el aprendizaje y la mejora se sitúan como dos pilares fundamentales para la Cooperación Española. En esta misma línea, el IV Plan Director hace una apuesta explícita por enmarcar sus acciones bajo un enfoque para resultados de desarrollo que deben quedar expresamente definidos en los procesos de diálogo que se establecen entre los actores de la Cooperación

Española

y

sus

interlocutores,

los

cuales

son

contextualizados en cada una de las áreas en las que la Cooperación

Española

desarrolla

su

trabajo. Con

el

fin

de

promover el cambio en los países donde actúa, la Cooperación Española deberá contar con diferentes fuentes de conocimiento: • La gestión de la información mediante sistemas que garanticen la accesibilidad, fiabilidad y actualización de la información.

• La evaluación orientada a la mejora continua.

• La generación de conocimientos referidos a la realidad de los problemas del desarrollo mediante investigaciones y estudios del desarrollo.

• El seguimiento vinculado a resultados de desarrollo.

Si bien todos los Planes Directores de la Cooperación Española han incluido indicaciones en materia de evaluación, la primera Política de Evaluación de la Cooperación Española, formalizada como tal, no se publicó hasta el año 2007. Este documento, junto a las Metodologías de Evaluación de la Cooperación Española y al Manual de Gestión de Evaluaciones de la Cooperación Española (MAE, 2007a), sentaban las bases de la función de evaluación en

11

Políticas de evaluación de la cooperación para el desarrollo el sistema de cooperación español en los últimos años3. De ahí que en 2012 el Ministerio de Asuntos Exteriores y de Cooperación (MAEC) de España plantease la necesidad de abrir el nuevo ciclo con la revisión de la Política de Evaluación de la Cooperación Española, con el fin tanto de adaptarla a los desafíos que se venían planteando dentro del contexto internacional como de adecuarla a un escenario económico y político-administrativo español que había sufrido importantes cambios.

La División de Evaluación de Políticas para el Desarrollo y Gestión del Conocimiento de la Secretaría General de Cooperación Internacional para el Desarrollo (SGCID) de la Secretaría de Estado de Cooperación Internacional y para Iberoamérica (SECIPI) del MAEC (en adelante, la División de Evaluación), fue la responsable de liderar el proceso de revisión de la Política de Evaluación de la Cooperación Española de 2007 (MAE, 2007b).

Esta revisión fue llevada a cabo de manera participativa a través de un proceso de reflexión abierto al conjunto de la Cooperación Española durante el año 2012, concretándose la redacción del nuevo documento a lo largo del primer trimestre de 2013 (MAEC, 2013).

Este proceso de revisión comenzó en el primer semestre de 2012 con un diagnóstico de la situación, para el que se contó con especialistas del ámbito académico y de la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (AEVAL). Entre los espacios de participación que nutrieron la nueva

Política

de

Evaluación

tuvo

un

papel

especialmente

relevante la celebración de las Jornadas sobre evaluación y cooperación para el desarrollo de diciembre de 2012, organizadas por la División de Evaluación, en las que se contó con la participación

de

especialistas

en

evaluación

y

cooperación

3 En el sitio Web de Cooperación Española http://www.cooperacionespanola.es/ está disponible toda la documentación relevante en este sentido.

12

CONCEPTOS PREVIOS nacionales e internacionales. También Incluyeron un taller de trabajo con los diferentes actores de la Cooperación Española para presentar y debatir un primer borrador de la nueva Política, y también se contó con una página Web, que permitió recabar de manera abierta diferentes comentarios de todas aquellas personas interesadas en el proceso.

La nueva Política de Evaluación de la Cooperación Española (MAEC, 2013a) fue aprobada formalmente por el titular de la SECIPI el 17 de mayo de 2013 y está actualmente en vigencia.

Resumidamente, los cuatro pilares sobre los que se asienta la Política de Evaluación de 2013 son los siguientes: •

Mejora de la articulación de la función de evaluación en el conjunto del sistema español de cooperación.

•

Incremento de la calidad, la credibilidad y la utilidad de las evaluaciones, de manera que impulsen el aprendizaje y la retroalimentación.

•

Respuesta a los nuevos retos que plantea la agenda al desarrollo.

•

Fomento de la transparencia y de una mayor rendición de cuentas.

De manera paralela, la División de Evaluación llevó a cabo un estudio sobre el estado de la evaluación en la cooperación descentralizada española y un análisis comparado de las políticas de evaluación de cooperación para el desarrollo en la comunidad internacional cuya finalidad era servir de base y de orientación en el proceso de revisión de la Política de Evaluación de la Cooperación Española. Por tanto, la actual Política de Evaluación de la Cooperación Española es fruto tanto de un proceso participativo de consultas como de un proceso de reflexión. El análisis que se presenta en este documento formó parte de ese trabajo.

13

Políticas de evaluación de la cooperación para el desarrollo

3.

ANÁLISIS

COMPARADO

DEL

CONTENIDO DE DISTINTAS POLÍTICAS DE

EVALUACIÓN

EVALUACIÓN

DE

Y

LA LA

POLÍTICA

DE

COOPERACIÓN

ESPAÑOLA 3.1. Documentos incluidos en el análisis El objetivo inicial del trabajo era el abordaje de una nueva Política de Evaluación de la Cooperación Española, y a tal fin se realizó un análisis bibliográfico que permitiera concretar los campos y dimensiones de las políticas de evaluación que debían ser

objeto

de

especial

análisis

o

categorización.

Entre

la

bibliografía inicialmente examinada destacaron dos estudios: el trabajo realizado, conjuntamente, por la Agence Française de Développement (AFD) y el Overseas Development Institute (ODI), en 2007, titulado A Comparative Study of Evaluation Policies and Practices in Development Agencies; y el estudio publicado por el Comité de Ayuda al Desarrollo (CAD) de la Organización para la Cooperación y el Desarrollo Económico (OCDE) en 2009, titulado Development Evaluation Resources and Systems - A Study of Network Members.

Los criterios de selección de las agencias

e instituciones

bilaterales y multilaterales de desarrollo objeto del

análisis

comparado han sido: por un lado, su trayectoria en cooperación internacional para el desarrollo y la importancia de la función de evaluación en su política; y por otro, sus analogías respecto al sistema español, su actualidad y su carácter innovador. Se incluyeron en el análisis las directrices, orientaciones y políticas de evaluación

de

cooperación

para

el

desarrollo

de

agencias

bilaterales y multilaterales de desarrollo. Un primer análisis fue

14

ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA realizado en 2012 si bien posteriormente se actualizó en los primeros meses de 2014, con la revisión de las políticas, estrategias, orientaciones y mandatos de aquellos donantes bilaterales donde se hubieran producido modificaciones a lo largo de los últimos meses4. En síntesis, entre 2012 y 2014 se analizaron las políticas, estrategias, orientaciones de evaluación de la cooperación internacional para el desarrollo de diez Estados miembros del CAD de la OCDE; dos bancos regionales de desarrollo; cuatro organismos multilaterales de desarrollo del Sistema de Naciones Unidas; y dos instancias de la Comisión Europea responsables de la cooperación al desarrollo y la acción humanitaria. Nueve de los cuales tienen, stricto sensu, una política de evaluación de su cooperación para desarrollo como tal, mientras que los otros nueve habían hecho públicos distintos documentos de orientaciones y directrices con distintos niveles de profundidad y detalle.

En la tabla 1

a continuación5 se caracterizan los casos

analizados, el país, la agencia u organismo y la tipología del documento:

4

Concretamente, la comparativa se complementó con la revisión de: las Directrices actualizadas de JICA [Official development assistance (ODA). Evaluation Guidelines, 2013. Japan International Cooperation Agency (JICA)]; la nueva Política del DFID [DFID Evaluation Policy, 2013. Department for International Development (DFID), United Kingdom (UK) Government]; la Política de la AEFD [Politique d’évaluation de l’AFD, 2013. Agence française de développement (AFD)] ; y la nueva Política de la cooperación suiza [Politique d’évaluation de la DDC, 2013. Direction du développement et de la coopération (DDC)].

5 En el documento matriz, que sirvió de base para el análisis, se analizó el contenido de cada uno de los casos analizados. La información recogida se sistematizó por apartados, con uno dedicado a cada uno de los aspectos analizados donde se dedicaba un espacio reservado para cada uno de los casos analizados.

15

Políticas de evaluación de la cooperación para el desarrollo Tabla 1.- Tipología de los casos analizados País/ Agencia/ Organismo

Tipología

Estados miembros del CAD de la OCDE Alemania (BMZ/GIZ/KfW)6

1.

2.

Australia (AusAID)

7

Política 8

3.

Dinamarca (DANIDA)

4.

Estados Unidos de América (USAID)9

5.

Francia (AFD)10

6.

Japón (JICA)11

7.

Noruega (NORAD)12

8.

Suecia (SIDA)

Orientaciones Directrices Política Orientaciones y

Política Directrices

13

Orientaciones Directrices

14

9.

Reino Unido (DFID)

Política

10.

Suiza (DDC)15

Política

Bancos regionales de desarrollo 1.

Banco Europeo de Reconstrucción y Desarrollo

(BERD) 2.

Banco Interamericano de Desarrollo (BID)

Política Orientaciones

Sistema de Naciones Unidas (SNU) 1.

Organización Internacional del Trabajo (OIT)

Política

2.

ONU Mujeres

Política

3.

Programa de Naciones Unidas para el

Desarrollo (PNUD) 4.

Fondo de Naciones Unidas para la Infancia

(UNICEF)

Política Política

Unión Europea (Comisión Europea) EuropeAid16

1.

Orientaciones

6 Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)/ Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ)/ Kreditanstalt für Wiederaufbau ( KfW) 7 Australian Agency for International Development (AusAID) 8 Danish International Development Agency (DANIDA).

9 United States Agency for International Development (USAID).

10 Agence Française de Développement (AFD).

11 Japan International Cooperation Agency (JICA).

12 Norwegian Agency for Development Cooperation (NORAD).

13 Swedish International Development Cooperation (SIDA).

14 Department for International Development (DFID).

15 Direction du développement et de la coopération (DDC).

16

ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA País/ Agencia/ Organismo 2.

Tipología

European Community Humanitarian Office

Orientaciones

(ECHO)

Fuente: elaboración propia

3.2. Dimensiones analizadas Partimos de la premisa de que la implantación de una función de evaluación consistente requiere de un ambiente favorecedor, un marco institucional adecuado y de la existencia de suficientes capacidades individuales17. Con el fin de que el exhaustivo escrutinio

llevado

a

cabo

de

la

selección

de

directrices,

orientaciones y políticas de evaluación de cooperación para el desarrollo permitiera poner de relieve el estado de la cuestión, en la comparativa se agruparon los distintos aspectos analizados en cuatro

bloques

principales:

marco

institucional,

concepto,

aproximación metodológica y utilidad. Esta concentración por bloques conceptuales nos ha permitido constatar un conjunto de preocupaciones comunes en el campo de la práctica de la evaluación, así como identificar ciertas tendencias emergentes. En la tabla que sigue se detallan los aspectos anteriormente citados que conforman cada uno de los cuatro bloques.

A lo largo de la presentación de contenidos hemos ido incorporando ejemplos de políticas y documentos que representan casos interesantes para cada elemento analizado. Parece obvio que cada agencia tiene su planteamiento y, por tanto, los documentos no

responden

a

un

mismo

esquema

ni

están

igualmente articulados internamente. Por tanto, este documento no pretende en ningún caso hacer un listado exhaustivo ni análisis crítico de las políticas, ni mucho menos de las prácticas. El objetivo 16 Durante la fase de análisis EuropeAid todavía no tenía un documento de política como tal, que se publicaría el 14 de agosto de 2014: Evaluation Matters - The evaluation policy for European Union Development Co-operation.

17 http://www.oecd.org/dac/evaluation/dcdndep/42974509.pdf

17

Políticas de evaluación de la cooperación para el desarrollo es ofrecer una interpretación, a partir de los contenidos recogidos en los documentos, de la dirección hacia la que camina la evaluación desde algunas instituciones bilaterales y multilaterales de cooperación internacional para el desarrollo.

Tabla 2.- Bloques analíticos Marco

Aproximación

Concepto

institucional

metodológica

Ubicación en la

Definición

estructura y

conceptual de

competencias

la evaluación

Modelos de evaluación

Criterios de

Utilidad Transparencia y

rendición de cuentas Comunicación de

selección de las evaluaciones Planificación de

Funciones de

Enfoques de

la evaluación

evaluación

evaluaciones

los resultados de las evaluaciones Utilización de los

resultados Tipología de

Sistemas de seguimiento y revisión

Principios de

evaluaciones

evaluación

Control de calidad

Aprendizaje y generación de capacidades

Fuente: elaboración propia

3.3. Principales resultados 3.3.1. Marco institucional Dentro de este bloque se han analizado aquellos elementos recogidos

en

las

políticas

que

contemplan

consideraciones

vinculadas con la institucionalización de la evaluación en el seno del sistema de cooperación internacional para el desarrollo. A lo largo de este apartado, se señalan aquellos elementos que definen qué rol debe cumplir la evaluación en el sistema. Se aborda cuál es la configuración de la estructura y competencias asociadas a la función de evaluación, cómo se caracterizan en la política sus procesos de planificación y seguimiento, y cuáles son los criterios de selección de las evaluaciones que cada organismo se propone

18

ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA llevar a cabo periódicamente. En suma, en análisis en este sentido ha girado en torno al reparto de competencias en materia de evaluación y la estructura para llevarlo a cabo. a.

Ubicación en la estructura y competencias En relación con la institucionalización, las políticas de evaluación

pretenden clarificar el marco en el que opera la función de evaluación. Situar adecuadamente esta función en el sistema (en aquellos casos en los que esto no está suficientemente manifiesto) y hacer explícitas las ideas clave sobre la concepción de la evaluación, sus principales ejes y su articulación y relación con otras unidades o en el marco de otros procesos son aspectos que se recogen, con un mayor o menor nivel de detalle, en muchas de las políticas analizadas, como por ejemplo, en los casos de la AFD, AusAID, USAID, SIDA, DDC y el DFID. En el caso de la DDC se incluye además la idea de capturar las tendencias nacionales e internacionales en evaluación, mientras la política británica incluye referencias hacia la toma de conciencia sobre la importancia de la evaluación, así como hacia la necesidad de incrementar la calidad y el rigor.

En lo tocante a la ubicación estructural de la unidad de evaluación, es interesante revisar, por un lado, dónde se ubican las unidades y departamentos de evaluación a nivel jerárquico y línea de mando y, por otro, en qué medida las políticas establecen de

forma

clara

el

mandato

asignado

a

estas

unidades

o

departamentos de evaluación en cuanto a sus responsabilidades y competencias. La determinación de la ubicación jerárquica del departamento central de evaluación, así como de la línea de mando superior a la que el departamento debe informar, se ha ido convirtiendo progresivamente en una cuestión clave en el ejercicio de la evaluación en las instituciones públicas.

19

Políticas de evaluación de la cooperación para el desarrollo De forma creciente, la preocupación por la independencia de esta función, en aras de evitar posibles presiones y garantizar una difusión adecuada y transparente de los hallazgos de los procesos de

evaluación,

ha

estado

en

el

centro

de

los

debates

internacionales, tanto en el caso de los donantes bilaterales como en los organismos multilaterales de desarrollo. Para tratar de garantizar esta independencia, una de las estrategias centrales es la determinación de la línea de información y comunicación desde el departamento de evaluación hacia las instancias encargadas de dar el visto bueno final a los procesos. En este sentido, los esfuerzos han estado encaminados a alejar cada vez más la función

de

evaluación

de

aquellas

unidades

directamente

implicadas en actividades de planificación, implementación y seguimiento de la AOD, así como de la toma de decisiones directa sobre el destino de las contribuciones. De esta forma, se trata de separar y elevar la línea de comunicación con el fin de que esta función pueda ejercerse con la independencia que es requerida.

Generalmente se relaciona a la independencia con una mayor credibilidad y rendición de cuentas, no obstante, uno de los posibles inconvenientes de este “aislamiento” podrían ser las mayores trabas para el aprendizaje y la retroalimentación al sistema. En algunos casos esto se resuelve estableciendo varios niveles, por ejemplo, la unidad de evaluación “independiente” se ocuparía

de

las

evaluaciones

centralizadas,

y

se

ve

complementada por el trabajo de unidades descentralizadas que gestionarían directamente sus evaluaciones operativas.

En este punto destaca la Política de Evaluación de AusAID en la que

se

establece

que

el

departamento

de

evaluación

es

estructuralmente independiente del funcionamiento del programa de ayuda, la política, y los departamentos de estrategia y la toma de

decisiones,

depende

donde,

directamente

por del

ejemplo, director

su

subdirector

general.

Otra

general

institución

bilateral interesante en este punto, es DANIDA, que en sus directrices plantea, que su departamento de evaluación responde

20

ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA directamente ante el Ministerio de Cooperación para el Desarrollo a través de la Secretaría de Estado de Políticas de Desarrollo y es independiente de las funciones operativas del Ministerio de Asuntos Exteriores (departamentos en sede y representaciones en el extranjero que participan en la cooperación al desarrollo). Por último, en el caso de JICA se especifica que, como resultado de un proceso

de

reforma

institucional

del

Ministerio

de

Asuntos

Exteriores de Japón en 2011, la División de Evaluación fue reubicada estructuralmente en una posición jerárquica superior a la que ostentaba anteriormente. El objetivo expreso de esta modificación fue, justamente, la preservación de la independencia de la implementación de evaluaciones.

Frente a este planteamiento, se identifican también otras políticas de evaluación donde la preocupación por la ubicación jerárquica de la evaluación no se recoge. En este grupo se encuentran las políticas de evaluación del DFID y de USAID. Una posible explicación a esta ausencia puede venir del hecho de que la cultura de evaluación tiene un nivel de consolidación muy elevado en

el

sistema

por

lo

que

estas

precauciones

no

resultan

necesarias. Este podría ser el caso, por ejemplo, del USAID de Estados Unidos ya que, en el caso del Reino Unido, lo que parece haberse incorporado a su nueva política (aunque se instauró en 2011) con el fin de avanzar hacia la independencia de la función ha sido la generación de comités o unidades fuera del sistema, con una composición de expertos/as independientes, que tratar de velar por ello. En el caso concreto de Reino Unido nos referimos a la Comisión Independiente para el Impacto de la Ayuda (ICAI por sus siglas en inglés). Otra cooperación que, junto con otros mecanismos, ha recurrido también a esta estrategia, en este caso de forma complementaria a la definición clara de la ubicación jerárquica, es Australia que dispone de un Comité Independiente de Evaluación (IEC, por sus siglas en inglés). En ninguno de los casos analizados se reflexiona específicamente sobre los posibles inconvenientes del “aislamiento” de estas unidades centrales de

21

Políticas de evaluación de la cooperación para el desarrollo evaluación

desde

el

punto

de

vista

del

aprendizaje

y

la

retroalimentación. Quizá, porque se prima la independencia en aras de garantizar la credibilidad de los resultados y responder a rendición de cuentas pública, frente a unidades de evaluación integradas en los órganos de planificación con más capacidad para incidir

de

manera

relevante

en

el

aprendizaje

y

la

retroalimentación al sistema, y porque son sistemas en los que la coordinación entre unidades es suficientemente robusta como para garantizarla en la evaluación.

En la Cooperación Española, la Política de Evaluación establece de forma clara cuál es la dependencia jerárquica de la unidad central de evaluación. En concreto, se establece que: “Para preservar su independencia respecto a las unidades responsables de la planificación y la ejecución de la AOD, la División de Evaluación de Políticas para el Desarrollo y Gestión del Conocimiento (DEGCO) responde directamente ante la persona titular de la SGCID y tiene asignado el ejercicio de las funciones que le atribuye el Real Decreto 342/2012 (…)”.

En el principio de independencia de la Política se señala concretamente: “(…) Para ello, se deberá garantizar la diferenciación orgánica de las unidades responsables de la evaluación y se asegurará que la validación de los informes de evaluación no recaiga en los agentes directamente encargados del diseño, la gestión o la implementación de las intervenciones que sean objeto de evaluación” (Pág.6).

Respecto a la determinación de las competencias asignadas a las distintas unidades o departamentos, la mayoría de las políticas definen a lo largo del texto las funciones asignadas a la/s

22

ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA unidad/es encargadas de la evaluación, éste es el caso de AusAID, AFD, DANIDA, USAID, DDC, SIDA y JICA, entre otras.

La realización y/o encargo de las evaluaciones es una de las tareas fundamentales asignadas a las unidades de evaluación. Por ello, la identificación de algunos criterios u orientaciones para la selección de aquellos “objetos” que serán evaluados suele ser otro apartado comúnmente incorporado a las políticas de evaluación analizadas. Ahora bien, existen algunas excepciones a este planteamiento general, como es el caso de USAID cuya política no recoge ninguna consideración al respecto. b.

Criterios de selección de evaluaciones No obstante, como se acaba de indicar, la mayoría de las

políticas bilaterales analizadas sí establecen algunos criterios de selección, aunque el grado de detalle varía sustancialmente entre unas y otras. Por una parte, en varias de las políticas las consideraciones respecto a la selección no especifican mucho más que la necesidad de que de forma periódica se evalúe el conjunto o un porcentaje significativo de la “cartera” de intervenciones, modalidades y/o países prioritarios definidos en la planificación de la cooperación internacional del país. Este es el caso, por ejemplo, de la DANIDA, que establece que su programa de evaluación debe demostrar una cobertura adecuada de toda la "cartera" de cooperación al desarrollo. La cobertura del programa incluye las diferentes modalidades e instrumentos, un equilibrio entre las distintas áreas geográficas, países grandes y pequeños y áreas temáticas. En esta misma línea, tenemos a la DDC, que define la necesidad de cubrir el 40% de las estrategias, países prioritarios y de los temas prioritarios en un periodo de ocho años y SIDA, que aunque no hace especificaciones concretas, sí indica que, en el largo plazo, se busca evaluar toda la gama de áreas de intervención, modalidades de ayuda, países y categorías de país donde la cooperación sueca esté activa.

23

Políticas de evaluación de la cooperación para el desarrollo

Por otra parte, otros donantes sí definen algunos criterios un poco más concretos que les conducirán a la selección de las intervenciones. Así, por ejemplo, en las orientaciones de Alemania se plantea la necesidad de que el programa de evaluación aborde temas de relevancia para los actuales debates nacionales e internacionales sobre la política de desarrollo; la AFD recoge los criterios de valor añadido de la evaluación, ausencia de evidencia y evaluabilidad; AusAID incorpora como criterios los beneficios potenciales para el aprendizaje, cobertura y materialización y riesgos para la eficacia de la ayuda; y, por último, el DFID establece el requisito de justificar la necesidad y las razones para acometer una evaluación.

Vemos que los elementos más relevantes son, por una parte, la prevalencia de un criterio de cobertura que suele ir ligado a una función de evaluación que tiene como principal propósito la rendición de cuentas; y por otra parte, la importancia que tiene que las evaluaciones aborden temas relevantes si lo que se busca es que sean influyentes, esto es, la selección de qué evaluar buscaría

aprovechar

las

ventanas

de

oportunidad

en

cada

momento determinado.

A este respecto, la Política de Evaluación de la Cooperación Española incorpora un conjunto de criterios de priorización de las evaluaciones de carácter general, que según recoge el propio texto responden a un doble criterio: la cobertura, por una parte, y la utilización y la retroalimentación del sistema, por otra. Sobre cada uno de los criterios generales, se definen un conjunto de parámetros para orientar la selección. Así, respecto a la cobertura se deberá tener en cuenta los siguientes parámetros: tipología de los objetos de evaluación; distribución geográfica; contenido de las intervenciones;

variedad

de

modalidades

e

instrumentos;

y

tipología de las evaluaciones. Por el lado de la utilización y retroalimentación, se priorizarán las evaluaciones que respondan a

24

ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA las

siguientes

características:

potencial

de

generación

de

información oportuna y significativa; respuesta a compromisos previos

u

oportunidad

de

la

evaluación;

relevancia

de

la

intervención según ciertos criterios clave; naturaleza innovadora o carácter piloto de la intervención y potencial de ampliación o replicación; existencia de riesgos o incertidumbres; ausencia o insuficiencia de fuentes alternativas de información; y viabilidad y relación coste/resultados del ejercicio evaluativo. c.

Planificación de las evaluaciones El ejercicio de planificación de las evaluaciones es una

práctica

común

en

los

donantes

bilaterales

analizados.

Se

observan variaciones en la periodicidad de la elaboración de la planificación, de tal forma que mientras en el JICA se planifica anualmente, la DDC lo hace cada cuatro años, incorporando revisiones periódicas. Lo más común son las planificaciones bienales, como en el caso de la cooperación alemana, NORAD, DANIDA y USAID en el nivel central, entre otras, o planificaciones trienales, como en el caso de AusAID, aunque sujetas a una revisión anual para valorar si este plan continúa siendo pertinente.

En el caso de la Política de Evaluación de la Cooperación Española, se ha definido, asimismo, una planificación con periodicidad bienal, no obstante, con el fin de asegurar una cierta flexibilidad, las previsiones del Plan Bienal español se revisan anualmente. d. Sistemas de seguimiento y revisión Las referencias explícitas al seguimiento y revisión de la propia política de evaluación no son muy numerosas. En este sentido, algunos donantes, como por ejemplo la AFD de Francia, hacen coincidir la revisión de la política de evaluación con los planes estratégicos de la cooperación francesa. En otros casos, como AusAID, se propone una revisión a los dos años de la aprobación de la Política. Por último, en el caso del DFID del Reino

25

Políticas de evaluación de la cooperación para el desarrollo Unido se estipula que se realizará una revisión anual de la eficacia de la política y una revisión formal a los cinco años de su aprobación.

Para el caso de España se señala la evaluación y revisión periódica

de

Política

en

el

marco

de

las

evaluaciones

correspondientes de los planes directores (pág.18) y se estipula que se llevará a cabo una primera revisión de los avances en los cambios institucionales, organizacionales y de capacidades requeridos para el adecuado despliegue de la Política de Evaluación coincidiendo con el examen intermedio del IV Plan Director.

Tabla 3.- Marco institucional

Marco institucional •

Las políticas de evaluación suelen tener como finalidad enmarcar el contexto en el que opera la función de evaluación

•

No todas las políticas de evaluación muestran el mismo nivel de detalle en la ubicación jerárquica de las unidades de evaluación

•

La práctica de la planificación de las evaluaciones está generalizada en los casos analizados

•

Las

políticas

establecen

criterios

o

directrices

para

seleccionar los objetos que serán evaluados •

No están generalizadas las referencias explícitas al seguimiento o la autoevaluación de la política Fuente: elaboración propia

3.3.2. Concepto En este segundo apartado que hemos denominado concepto incluimos la definición de evaluación, las funciones y los principios. A lo largo de este apartado analizaremos qué se entiende por la evaluación en las diferentes políticas de evaluación de cooperación internacional para el desarrollo, cuáles son las

26

ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA funciones que desempeña la evaluación en el ciclo de gestión de las intervenciones de cooperación internacional para el desarrollo y respecto al conjunto del sistema de cooperación y, cuáles son los principios

generales,

enfoques

transversales

y

pautas

de

actuación que sirven de orientación para todas las personas y entidades implicadas en la práctica evaluadora de las agencias y organismos analizados. a. Definición conceptual de la evaluación Respecto

a

la

definición

de

evaluación,

los

distintos

documentos analizados hacen mayoritariamente referencia a la definición de evaluación del CAD de la OCDE (OCDE, 2002): ‘‘La evaluación del desarrollo es una valoración sistemática y objetiva de una intervención para el desarrollo en curso o ya concluida, de su concepción, su puesta en práctica y sus resultados. En el contexto del desarrollo, por evaluación se entiende la determinación del valor o importancia de una intervención de esta naturaleza”.

En este sentido, existen pocas discrepancias y parece imperar un

cierto

consenso,

no

obstante,

cada

país

u

organismo

internacional hace sus aportes. Por ejemplo, los organismos del Sistema de Naciones Unidas (SNU) se remiten a las normas del Grupo de Evaluación de Naciones Unidas (GENU). Por ejemplo, en la Política de UNICEF se cita literalmente que: “(…) una evaluación es una valoración, lo más sistemática e imparcial

que

sea

posible,

de

una

actividad,

proyecto,

programa, estrategia, política, asunto, tema, sector o esfera operacional o del desempeño institucional. En las evaluaciones se centra la atención en los logros previstos y los alcanzados y se examina la cadena de resultados, los procesos, los factores contextuales y la causalidad, a fin de hacer una apreciación de

27

Políticas de evaluación de la cooperación para el desarrollo esos logros o de la falta de los mismos. Su propósito es determinar la pertinencia, las repercusiones, la eficacia, la eficiencia y la sostenibilidad de las intervenciones y aportes de las organizaciones del sistema de las Naciones Unidas. La evaluación ha de proporcionar información fáctica que sea fiable, veraz y útil, y que permita incorporar oportunamente las conclusiones, recomendaciones y enseñanzas en los procesos de adopción de decisiones”.

ECHO, por su parte, como instancia encargada de la acción humanitaria en la Unión Europea, hace referencia a la definiciones de

evaluación

de

la

ALNAP

(Active

Learning

Network

for

Accountability and Performance in Humanitarian Action) y de la HPN (Humanitarian Practice Network).

En la Política de Evaluación de la Cooperación Española se hace asimismo referencia al CAD de la OCDE y se recoge literalmente la definición de evaluación expresada en el IV Plan Director donde se señala que: “La evaluación es un proceso sistemático y planificado de recogida de información con el objetivo de analizar, interpretar y valorar de manera crítica y objetiva una intervención, política o estrategia de cooperación para el desarrollo, incluyendo su diseño, su puesta en práctica, su estructura de gestión y sus resultados” (Pág.3). b. Funciones de la evaluación En cuanto a las funciones de la evaluación, en cada política se hace énfasis en aspectos distintos, coincidiendo, en muchos casos, la importancia del aprendizaje y la rendición de cuentas pública a la ciudadanía, que son las dos funciones compartidas de forma claramente mayoritaria. Por ejemplo, en la política de evaluación de USAID se subraya que la evaluación es el medio a través del

28

ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA cual se puede obtener información sistemática y significativa sobre los

logros

y

deficiencias

de

sus

esfuerzos.

La

evaluación

proporciona la información y el análisis para evitar la repetición de errores y aumentar la posibilidad de que se logren más beneficios en el futuro. Debe estar integrada dentro de un contexto que permita la toma de decisiones basada en la evidencia y que premie el aprendizaje y es fundamental para fortalecer el futuro de la Agencia. Para USAID la evaluación de su política de cooperación internacional

para

el

desarrollo

cumple

dos

propósitos

fundamentales: rendición de cuentas y aprendizaje.

Para la cooperación danesa la evaluación cumple dos finalidades interrelacionadas. Primero, la evaluación es uno de los diversos instrumentos del Ministerio de Asuntos Exteriores y la DANIDA para llevar a cabo elecciones y acciones para alcanzar los objetivos generales y específicos de la cooperación. Segundo, pero de igual importancia, la evaluación es un medio para facilitar el aprendizaje sobre

las

experiencias

positivas

y

negativas

en

contextos

específicos. A este respecto, la evaluación sería el medio para generar lecciones de contextos específicos y valorar su aplicación y utilidad en un ámbito mayor. Para el Gobierno de Dinamarca la evaluación de su política de cooperación al desarrollo es también un instrumento clave en los esfuerzos por mejorar la eficacia de la ayuda. La evaluación complementa y funciona de forma conjunta con otros procesos del ciclo de programación y herramientas de gestión de la ayuda.

Interesante es, en este sentido, la puntualización que hace ONU Mujeres al señalar que para su organización la evaluación es un medio para aplicar el programa de incorporación de la perspectiva de género y las normas y los principios descritos en la Convención para la eliminación de todas las formas de discriminación contra las mujeres, la Plataforma de Acción de Beijing, los Objetivos de Desarrollo del Milenio, etc., en coherencia con su propio mandato.

29

Políticas de evaluación de la cooperación para el desarrollo En esta línea, la Cooperación Española se sitúa dentro de la corriente mayoritaria pero trata de ir más allá al señalar que la evaluación es un “medio para generar aprendizajes que permitan mejorar

la

eficacia

y

la

calidad

de

nuestro

sistema

de

cooperación”, reiterando su función transformativa de la realidad, rendir cuentas y mejorar la transparencia. Así, para la Cooperación Española las cuatro funciones complementarias de la evaluación de las intervenciones que conforman su Política son: aprender, mejorar, rendir cuentas y transformar. c. Principios En lo tocante a los principios, las políticas analizadas van desde adherirse sin ambages a los principios y estándares de calidad del CAD de la OCDE: imparcialidad e independencia, credibilidad, utilidad, participación de los socios locales y coordinación con otros donantes, como JICA, NORAD, la cooperación alemana y la DDC, hasta la creación y propuesta de sus propios principios, sin renunciar a estos estándares y teniéndolos en cuenta. En muchos casos, como por ejemplo AusAID y la AFD, tienen además en cuenta

en

su

Política

los

principios

de

sus

sociedades

y

asociaciones profesionales de evaluadores/as. Los organismos de Naciones Unidas por su parte, hacen asimismo referencia a los principios del GENU. Respecto a las particularidades, es interesante mencionar que en la Política del DFID del Reino Unido se hace una referencia específica a cómo deben aplicarse estos principios en el caso de que las evaluaciones se realicen en contextos afectados por conflictos o en Estados frágiles. De otro lado, ECHO, dedicada a la acción humanitaria, asume los principios comunes de la acción humanitaria del conjunto de donantes, la llamada “Iniciativa de la Buena Donación Humanitaria” (GHD, por sus siglas en inglés), que contiene 23 principios y define los criterios y valores comunes que deben guiar la acción humanitaria. Entre estos principios destacan:

30

ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA el respeto al marco ético y jurídico, el fortalecimiento de los organismos humanitarios y respeto a sus mandatos, la búsqueda de la calidad, la eficacia y la transparencia de la acción y el fomento de la participación de la población humanitaria (GHD, 2003).

La Cooperación Española en su Política de Evaluación enfatiza que los principios son un elemento esencial como “patrones de conducta para una adecuada garantía de la calidad en el cumplimiento de la función evaluadora”.

Estos principios son:

independencia, imparcialidad, transparencia, credibilidad y utilidad, eficiencia, participación y refuerzo de capacidades y coordinación y complementariedad.

Tabla 4.- Concepto

Concepto •

La definición de evaluación del CAD de la OCDE es asumida y compartida de forma mayoritaria.

•

En cuanto a las funciones de evaluación, las dos

mayoritariamente

asumidas

son

el

aprendizaje y la rendición de cuentas a la ciudadanía •

Hay un acuerdo considerable con respecto a los principios, y normas de calidad del CAD de la

OCDE,

si

complementarias asociaciones

bien o

hay

propuestas

alternativas

profesionales,

o

los

en

propios

grupos internos en el caso de los organismos multilaterales Fuente: elaboración propia

31

Políticas de evaluación de la cooperación para el desarrollo 3.3.3. Aproximación metodológica Dentro de este apartado, se han analizado las consideraciones que se hacen en materia metodológica, cuáles son los modelos y enfoques que guían la evaluación, si en las políticas se señalan criterios de evaluación específicos, y la tipología de las evaluaciones. A nuestro juicio, el mayor interés de este apartado radicaba en intentar detectar si en este marco de complejidad creciente y cambio continuo en cooperación internacional para el desarrollo, las políticas de evaluación afrontan –desde el punto de vista metodológico- el reto de asegurar la robustez de sus procedimientos. Tal como se señala en la introducción de la Política de

Evaluación

de

la

Cooperación

Española,

para

que

las

recomendaciones sean válidas, sólidas, coherentes y útiles, éstas deben ser concisas y concretas y responder a las necesidades de información de los actores del instrumento evaluado. En este sentido, la política apuesta por la innovación, el aprendizaje continuo, el despliegue de distintos enfoques, métodos y técnicas, la integración de las dimensiones transversales, la participación de equipos multidisciplinares en la evaluación y la asunción de los gestores y de los equipos de evaluación de las limitaciones de cada ejercicio. a. Modelos de evaluación En el momento actual de la evaluación de la cooperación internacional para el desarrollo se está reflexionando de manera generalizada sobre cuáles son los enfoques y modelos más apropiados en los procesos de evaluación. Sin embargo, a pesar de que la realidad demanda una aproximación diversa y rica desde el punto de vista epistemológico y metodológico, en buena parte de las políticas analizadas se adoptan explícitamente los criterios de evaluación del CAD de la OCDE como referente generalizado. En este grupo se encuentran la DDC, JICA, NORAD, GIZ, AFD,

32

ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA AusAID, DANIDA, OIT, ONU Mujeres, BERD, BID, EuropeAid y ECHO. Cabe destacar, no obstante, que las políticas del DFID, USAID, SIDA, PNUD y UNICEF no hacen referencia a los criterios del CAD de la OCDE, lo que nos indica cierta diversidad –y quizá tendencia– en relación a los criterios de evaluación del CAD como modelo de evaluación. En el caso concreto del DFID su actual política, publicada en mayo de 2013, ya no contempla los criterios de evaluación del CAD. Este cambio se ha dado asimismo en SIDA, que en su anterior documento marco de evaluación proponía el uso de criterios de evaluación y, sin embargo, en su actual política no hace referencia a los criterios. En este mismo sentido, en la Política de Evaluación de la Cooperación Española se asume que tales criterios son útiles pero no imprescindibles. Es decir, que los modelos de evaluación deberán adaptarse tanto al contexto de la evaluación, a las necesidades de información y a las características de las intervenciones evaluadas.

En el subepígrafe de “Consideraciones metodológicas” de la Política de Evaluación de la Cooperación Española se señala que para cumplir con su función: “(…) la evaluación de la Cooperación Española se nutrirá de diferentes aproximaciones teóricas y metodológicas, tendrá en cuenta la variedad de tipologías de evaluación existentes, aprovechará el amplio repertorio de técnicas de investigación

científicamente

aceptadas,

y

buscará

la

complementariedad y la triangulación entre los diferentes métodos y técnicas. La selección metodológica dependerá, fundamentalmente, del objeto concreto de evaluación, de las preguntas a las que se quiera dar respuesta, y de los fines que se persigan con la misma”. (Pág. 5).

33

Políticas de evaluación de la cooperación para el desarrollo Esta flexibilidad respecto a las aproximaciones metodológicas es compartida por otros Estados miembros del CAD de la OCDE, como NORAD, GIZ, AusAID y DANIDA. Sin embargo, las agencias de otros donantes, como Japón, Francia o Suiza, prefieren asentar ciertos lineamientos respecto a las metodologías en sus políticas.

El caso de USAID es ilustrativo, pues en su política se prevé la realización de evaluaciones de impacto, aunque no de forma exclusiva. Por otro lado, se señala que durante los procesos de evaluación se deben usar métodos que generen la mayor calidad y credibilidad. Para ello, se contemplan tanto las metodologías cuantitativas como las cualitativas y se considera óptima su combinación, señalándose específicamente que no se privilegia ningún método sobre otro. No obstante, para la modalidad de las evaluaciones

de

impacto,

se

considera

que

los

métodos

experimentales son los que generan una evidencia más robusta y se indica que sólo se deberían usar métodos alternativos cuando la asignación aleatoria no sea factible. Otro aspecto significativo respecto

a

las

consideraciones

metodológicas,

es

su

recomendación de que se usen datos desagregados por sexos, prestándose atención a las relaciones de género en todas las áreas relevantes.

En la Política del DFID del Reino Unido se mencionan dos maneras de evaluar complementarias: por la teoría del cambio y midiendo el impacto. El BERD y el BID le dan especial importancia a la valoración de la eficacia y la medición del impacto y ECHO, debido a su mandato, se guía por los principios, normas y criterios de evaluación de la acción humanitaria. b. Enfoques Respecto a los enfoques que deben guiar la realización de las evaluaciones, de nuevo, en muchas de las Políticas de los Estados miembros del CAD de la OCDE que se han analizado se hacen

34

ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA referencias específicas a los estándares y principios del CAD y, adicionalmente, se pueden hacer otras menciones puntuales, como por ejemplo en la Política del DFID, en la que hay un apartado referido a la ética, donde se señala que los equipos de evaluación deben

tener

en

cuenta

las

diferencias

en

la

cultura,

el

comportamiento y la legislación local, así como las creencias y prácticas religiosas, la orientación sexual, la roles de género, la discapacidad, la edad y el origen étnico, entre otros enfoques.

ECHO se remite al Consenso Europeo de la Ayuda Humanitaria de 2007 y las Políticas de los organismos del SNU, por su parte, hacen referencia al GENU. El caso de la Política del PNUD es especialmente

ilustrativo,

pues

aunque

no

se

habla

específicamente de enfoques, sin embargo, en su Manual de Planificación, Seguimiento y Evaluación de los Resultados de Desarrollo, en su versión de 2009, se señala que las evaluaciones del PNUD estarán guiadas por los principios de igualdad de género, un enfoque basado en los derechos y el desarrollo humano. Para ello, el PNUD valorará el grado en el que sus iniciativas han tratado los temas de inclusión social y de género, de igualdad y de empoderamiento y hasta qué punto han contribuido a fortalecer la aplicación de estos principios a los diferentes esfuerzos de desarrollo en un país dado. Asimismo, el PNUD abordará cómo se ha incorporado en el diseño su compromiso con los enfoques basados en los derechos y la problemática de género.

La Política de Evaluación de la Cooperación Española recoge, en este sentido, lo señalado en el IV Plan Director, donde se concreta que se “desarrollarán herramientas específicas para garantizar la incorporación de enfoques sensibles a los derechos humanos, al género, a la sostenibilidad ambiental y a la diversidad cultural”. La Política tiene un subapartado específico denominado “enfoques transversales” en el que se señala que se “promoverá la integración transversal de los enfoques de derechos humanos, género, diversidad cultural y sostenibilidad ambiental en el

35

Políticas de evaluación de la cooperación para el desarrollo ejercicio de la función evaluadora”. En la introducción de la Política también se hace mención a los enfoques transversales como un desafío de carácter teórico y metodológico y se especifica que éstos deberán incorporarse en los procesos evaluativos desde el momento mismo de su concepción y diseño. c. Tipología de evaluaciones En la mayoría de los casos revisados los documentos incluyen una tipología de evaluaciones de acuerdo a los diferentes intereses institucionales. Las posibles clasificaciones son numerosas y diversas, tanto como las dimensiones que las definen, desde el momento adecuado para evaluar y el foco de análisis hasta el propósito de la evaluación para los actores implicados en el proceso evaluativo, entre otros. A continuación se presenta una clasificación clásica de acuerdo a algunas de las dimensiones más 18

comúnmente empleadas :

Tabla 5.- Tipología de evaluaciones

Dimensión

Tipología Ex-ante Intermedia

Tiempo

Final Ex-post De diseño

Foco de análisis

De proceso De resultados

18

Características Se realiza antes del inicio de la intervención Se realiza en el ecuador de la intervención Coincide con el período de finalización de la intervención Se realiza cierto tiempo después de que la intervención haya terminado Se analizan la racionalidad, coherencia y calidad del planteamiento de la intervención Se analiza la puesta en práctica de la intervención, el foco está en su implementación Se analizan los productos derivados de la implementación de la intervención, y sus efectos en la población beneficiaria

Esta tipología pretende recoger algunas de las clasificaciones más comunes y está basada en la literatura existente. A la hora de conceptualizar los tipos de evaluación y sus características es importante recordar que existen otras variaciones, así como modelos híbridos.

36

ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA Dimensión

Tipología

Características

De impacto

Formativa Finalidad Sumativa Interna Sujeto

Mixta Externa

Compleja

Objeto

Complejidad intermedia

Simple

Unilateral Gestión

Colaborativa Conjunta

Se analizan los cambios en la población que son atribuibles a la intervención y/o a los que la intervención ha contribuido Pone el énfasis en el aprendizaje y la mejora, coincidiendo, generalmente, con la evaluación intermedia Pone el énfasis en la emisión de un juicio final de conjunto, siendo generalmente la evaluación final Se realiza por personas vinculadas, directa o indirectamente, a la gestión y/o ejecución del programa Se realiza por un equipo que integra personal externo y personas vinculadas a la gestión y/o ejecución del propio programa Se realiza por personas ajenas a la ejecución y/o gestión del programa Cuando el objeto de evaluación está integrado por múltiples componentes, varios niveles de implementación y actores participantes con diferentes agendas, largas cadenas causales con muchos resultados intermedios o productos que solo pueden ser logrados integrando Cuando el objeto de evaluación involucra procesos y estrategias que no pueden ser totalmente controladas o predichas con anterioridad y que responden a retos y oportunidades suscitados durante la ejecución del instrumento evaluado Cuando el objeto es una unidad sencilla de intervención, en la que los resultados son conocidos, los productos están estandarizados y es fácilmente replicable La toma de decisiones y la gobernanza de la evaluación depende de un solo actor La toma de decisiones es única y la gobernanza se comparte entre distintos actores La gobernanza y la toma de decisiones sobre la evaluación se comparte entre distintos actores

Fuente: elaboración propia, basado en la literatura existente

En

los

categorías,

documentos las

analizados

evaluaciones

se

distingue,

estratégicas,

entre

otras

operativas,

descentralizadas, sectoriales, temáticas, ex-ante, intermedias, finales, ex-post, de diseño, de proceso, de resultados, de impacto, formativas, sumativas, internas, externas, mixtas, etc. Como uno de los aspectos más sugerentes, destaca la importancia que tiene

37

Políticas de evaluación de la cooperación para el desarrollo para SIDA la realización de evaluaciones conjuntas, lideradas o con participación de los países socios, con un enfoque participativo.

Respecto a los actores, USAID plantea tanto evaluaciones externas como mixtas, con la mayoría de personal interno (si existe el conocimiento) y con una persona experta externa, en aras de promover y consolidar el aprendizaje.

En la Política de Evaluación de la Cooperación Española no se presenta una tipología de evaluaciones y se remite, para ello, al Plan Bienal de Evaluaciones (MAEC, 2013b). Es en el primer plan bienal de evaluaciones elaborado tras la aprobación de la Política (Plan Bienal 2013-2014) donde se establece una clasificación, si bien

ésta

no

responde

a

las

características

técnicas

ni

metodológicas de las evaluaciones, como en las taxonomías de la tabla anterior, sino que obedece a una clasificación acorde a la pluralidad de actores que conforman el sistema de cooperación español, y a la función de la División de Evaluación en ese sistema, de la siguiente forma: • Evaluaciones promovidas en el ámbito de la SECIPI: o Evaluaciones centralizadas. o Evaluaciones operativas. o Evaluaciones sujetas a regulación específica.

• Evaluaciones promovidas por otros actores institucionales de la Cooperación Española. d. Control de calidad Un ámbito de clara preocupación común es la búsqueda de la calidad de las evaluaciones. Esta preocupación impregna las políticas analizadas prácticamente en su totalidad, lo que se ve reflejado de forma expresa en la redacción de los principios que deben guiar los procesos evaluativos. Asimismo, como resultado de los procesos de descentralización de la función de evaluación en varias de las cooperaciones analizadas, se identifica una atención

38

ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA especial a la calidad de las evaluaciones descentralizadas, como es el caso de la AFD. Desde un punto de vista temporal, los controles de calidad se pueden realizar ex-ante, durante o ex-post. Así, de manera exante, en la fase de diseño y elaboración de los términos de referencia se pueden incluir controles para asegurar su suficiente calidad (AFD y DFID) y limitar los riesgos, incluso identificando la necesidad de limitar el número de preguntas, y asegurando la contratación de los mejores equipos posibles (AFD), mediante un proceso abierto y transparente (DFID y JICA). Seguidamente, el control durante el proceso de evaluación se suele ejercer mediante el establecimiento de comités que revisan y valoran los diferentes productos que se van generando a lo largo de la evaluación con el fin de que tengan la calidad requerida. Este es el caso, por ejemplo, de DANIDA y DFID, por ejemplo. Sin embargo, en las políticas analizadas, el mayor énfasis se suele poner en la generación de mecanismos para el control final de los informes de evaluación. Este control de calidad se puede realizar de diversas formas, entre las que se pueden destacar: la revisión interna de los informes finales por parte del nivel jerárquico superior o de especialistas en evaluación, como recogen las políticas de SIDA, AFD,

AusAID y USAID, por ejemplo; la contratación de grupos

asesores o comités externos, en diversas modalidades, que realizan una valoración de la calidad de los productos en función de unos criterios establecidos, como explicitan, por ejemplo, AusAID y DANIDA; y, en ocasiones, el diseño y exigencia de cumplimentación, por parte de las unidades que realizan el seguimiento y gestión del ejercicio evaluativo, de una ficha de calidad, como la AFD que, en función de una serie de parámetros, valora la calidad del proceso y del producto en el que se han visto implicados. Una última posibilidad planteada es la de realizar controles de calidad de una muestra definida de evaluaciones con una cierta periodicidad, como plantea el DDC de Suiza.

39

Políticas de evaluación de la cooperación para el desarrollo La Política de Evaluación de la Cooperación Española plantea sus principios “como un elemento esencial (…) que conforman patrones

de

conducta

para

una

adecuada

calidad

en

el

cumplimiento de la función evaluadora” y propone avanzar en la calidad de las evaluaciones mediante la implantación de un sistema de control de la calidad de las evaluaciones y la realización de metaevaluaciones que permitan extraer lecciones aprendidas.

Tabla 6.- Aproximación metodológica

Aproximación metodológica •

Conviven

una

reflexión

abierta

en

la

comunidad evaluadora internacional sobre la flexibilidad en modelos y metodologías, junto a las políticas que siguen asumiendo de forma única los criterios del CAD de la OCDE •

Se observa un amplio consenso en torno a los enfoques de nuevo del CAD de la OCDE

•

La mayoría de los casos examinados incluyen una

tipología

de

evaluaciones,

cuya

diversidad está de acuerdo con sus distintos intereses institucionales •

En muchos casos hay implantados sistemas de control de calidad de las evaluaciones Fuente: elaboración propia

3.3.4. Utilidad de la evaluación Durante nuestro análisis, la transparencia y rendición de cuentas, la mejora de la utilidad de las evaluaciones, el avance

hacia

una

mayor

calidad

de

los

procesos

y

el

aprendizaje y la creación de capacidades en evaluación en donantes y países socios han emergido, en todos los casos, como los ámbitos de atención preferente.

40

ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA a. Transparencia y rendición de cuentas La transparencia y rendición de cuentas constituyen una preocupación para los poderes públicos, ya que cada vez se incrementan más las exigencias para dar cuenta a la sociedad de las diferentes iniciativas y compromisos que las instituciones públicas asumen, así como de sus logros y áreas de mejora. Para dar respuesta a esta inquietud las diferentes políticas analizadas han articulado determinados mecanismos. La publicación de los resultados de las evaluaciones es una cuestión clave que se recoge en la totalidad de los textos analizados. Dado que parece ser ya una práctica habitual y consolidada en muchos de los sistemas de cooperación de nuestro entorno, lo que hacen algunas políticas es dar un paso más en la línea de generar mecanismos que permitan una vinculación mayor de la publicación con la utilización y el aprendizaje de los ejercicios de evaluación. De esta forma, va a incluirse la exigencia de que no solo sean publicados los informes de evaluación en toda su extensión, sino que se faciliten formatos adecuados y un lenguaje comprensible, con el fin de contribuir a la accesibilidad de la información por audiencias diversas, aunque guardando la debida precisión de los datos. Éste es el caso, por ejemplo, de AusAID, JICA y el DFID. La política de este último también recomienda que los informes incluyan una dirección de contacto para poder transmitir preocupaciones formales sobre la evaluación. Otros mecanismos que incluyen algunos donantes para facilitar el acceso a la información son la generación de bases de datos

o

repositorios

que

centralicen

los

informes

y

otros

documentos de evaluación, de tal forma que se contribuya a la accesibilidad. Es el caso, por ejemplo, de SIDA, el DFID y la DDC. Paralelamente, y en aras de una mayor rendición de cuentas, también se ha impulsado la publicación de otros productos clave relativos a los procesos de evaluación que permiten una visión más global de los ejercicios evaluativos. En este sentido, muchas políticas especifican la obligatoriedad de la publicación de los

41

Políticas de evaluación de la cooperación para el desarrollo Términos de Referencia, las respuestas de gestión (USAID, por ejemplo) y sus planes de seguimiento, entre otros. Asimismo, en el caso del DFID se indica que se mejorará el acceso a los datos primarios generados por las evaluaciones con el fin de favorecer su uso posterior.

Un tercer elemento fundamental para la rendición de cuentas y transparencia, no tanto respecto a los procesos individuales de evaluación,

sino

sobre

el

ejercicio

de

las

funciones

y

responsabilidades de las unidades encargadas de evaluar, son los informes periódicos de evaluación. La exigencia de elaborar informes de este tipo está recogida en las políticas de NORAD, DFID, JICA, AusAID, USAID y de la DDC y la Cooperación Española, entre otras. Estos son utilizados por los donantes para dar cuenta ante los órganos de dirección, coordinación y, mediante su difusión pública, al resto de actores del sistema, de los avances y principales resultados en materia de evaluación alcanzados en un periodo determinado. En algunos casos, se limitan a centralizar la información sobre el estado de situación de las evaluaciones planificadas, incluyendo también los resultados principales de aquellas que se han finalizado y los cambios operados, y en otros, tienen un carácter más global, detallando a su vez todas las actividades

llevadas

a

cabo

por

las

unidades

centrales

de

evaluación.

En el caso de la Cooperación Española, su política de evaluación también establece prácticas vinculadas con la transparencia y la rendición de cuentas, tales como la publicación de un Informe Anual de Evaluación, que es elaborado por la SGCID en consulta con el resto de actores de la Cooperación Española, la publicación de los informes de evaluación, la elaboración de una estrategia de comunicación, y la creación de una base de datos que permita almacenar y procesar la información relativa a las evaluaciones de la Cooperación Española.

42

ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA b. Comunicación En lo tocante a la comunicación de los resultados de las evaluaciones, es cada vez más frecuente que la publicación de los informes de evaluación se considere una práctica imprescindible pero

insuficiente.

En

esta

línea,

en

los

principales

foros

internacionales de evaluación, en la actualidad, se debaten distintos aspectos relativos a la mejora de la comunicación de cara a contribuir a la utilización de los resultados. Estos debates se han materializado, analizadas con

de la

forma

diversa,

introducción

en

las

distintas

de diferentes

políticas

estrategias de

comunicación. Así, un primer aspecto incluido en algunas políticas tiene que ver con la propia estructura y contenido de los informes de evaluación. La política del DFID, por ejemplo, establece la necesidad de garantizar un número limitado de conclusiones y recomendaciones que emerjan de los análisis y hallazgos. Estas se deben presentar de forma clara y concisa, marcando prioridades y cuando sea posible, múltiples opciones de cursos de acción.

Referencias similares se pueden encontrar en las orientaciones de la cooperación japonesa.

En segundo lugar, se establece la necesidad de adaptar el lenguaje de los informes a los diferentes públicos a los que se dirija, salvaguardando la rigurosidad de las informaciones, como se observa en el ejemplo del DDC. Otro aspecto adicional respecto al lenguaje tiene que ver con lo relativo a las traducciones, así en el caso del JICA se recoge la traducción, muy relevante tanto para fortalecer la relación con los países socios como de cara a la difusión a otros donantes y para la gestión del conocimiento. Junto a la adaptación del lenguaje se incluye también la necesidad de generar formatos adaptados y orientados al uso, tal como se recoge

en

la

Política

de

evaluación

de

AusAID.

Algunos

documentos van más allá, especificando que se elaborarán resúmenes con los resultados de las evaluaciones, notas de prensa o bien boletines de difusión, entre otras posibilidades, como en los

43

Políticas de evaluación de la cooperación para el desarrollo casos de JICA y DANIDA, por ejemplo. Un tercer elemento que empieza a surgir con fuerza en el ámbito de la evaluación es la utilización de las redes sociales para la difusión. Hay ejemplos de políticas en las que ya se concreta que se explorarán las posibilidades que las redes sociales ofrecen en este ámbito, como es el caso de DANIDA. c. Utilización de los resultados Otro gran bloque que emerge con gran intensidad a lo largo de las políticas de evaluación analizadas es el relativo a la utilidad de los resultados de los procesos de evaluación. Este, en el caso de algunas de las políticas más recientes, como la francesa, ha emergido como un aspecto clave que se incorpora de forma integral al conjunto del proceso de evaluación. Esta política pretende institucionalizar algunas prácticas vinculadas con la participación en los procesos de evaluación de las unidades operativas desde los momentos iniciales de programación de las evaluaciones y redacción de términos de referencia hasta la elaboración de las recomendaciones, o de una parte de ellas. La política francesa, en esta línea, establece la posibilidad de que las recomendaciones sean elaboradas por los propios evaluadores o bien que este ejercicio se haga en un proceso conjunto entre los evaluadores y los servicios implicados. La relación completa de estos mecanismos de mejora de la utilización se adjunta de forma específica en uno de los anexos de la propia política.

También resulta relevante en este sentido la importancia que algunas políticas, como la del DFID, otorgan a la determinación del momento más adecuado para la realización de la evaluación con el fin de que este proceso se vincule de forma clara con la utilización de los hallazgos y conclusiones para la toma de decisiones sobre el objeto evaluado. Un instrumento clave para contribuir al uso de las evaluaciones,

que

prácticamente

todos

los

donantes

tanto

bilaterales como multilaterales analizados han incorporado como

44

ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA obligatorio a sus políticas de evaluación, es la respuesta de gestión o respuesta de la administración, en algunas de sus posibles denominaciones. En muchos casos, se indica que estas respuestas deben ir acompañadas de un plan de seguimiento que permita ir valorando

periódicamente

el

grado

de

implantación

de

las

diferentes iniciativas incluidas y los avances a lo largo del tiempo, como se observa por ejemplo en la Política de SIDA. Otro elemento adicional que trata de garantizar que la respuesta de gestión resulte oportuna en el tiempo, es la obligatoriedad de que esta sea elaborada y publicada en un plazo de tiempo concreto con el fin de que las recomendaciones no pierdan vigencia y sean pertinentes para la toma de decisiones.

Para el incremento de la utilización muchos donantes proponen una variedad de acciones de encuentro y debate sobre los resultados entre los diferentes actores implicados: desayunos, seminarios, foros, tanto de forma interna, para quienes están más vinculados con los procesos evaluados, pero también de forma externa, contribuyendo también de este modo a la difusión de la cultura de evaluación en todos los ámbitos. La DANIDA detalla en su política una gran variedad de estas actividades de difusión e intercambio y el DFID también incorpora en su política foros de discusión y debate de los hallazgos. Un último aspecto relevante, que incorporan tanto la política del DFID como la de la AFD, es la descripción de los diferentes usos previstos de las evaluaciones, cuando distinguen entre la utilización instrumental, la conceptual y la simbólica.

En el caso de la Política de Evaluación de la Cooperación Española,

con el objetivo de contribuir a la utilización de los

resultados de las evaluaciones, se ha dado relevancia a varios aspectos: 1.

La necesidad de desarrollar las capacidades de evaluación de los actores implicados en los ejercicios evaluativos así como su participación en sus fases.

45

Políticas de evaluación de la cooperación para el desarrollo 2.

La importancia de elaborar respuestas de gestión a las recomendaciones de las evaluaciones y sus siguientes planes de mejora.

3.

El

fomento

de

las

relaciones

con

los

medios

de

comunicación para promover la cultura de evaluación.

4.

El refuerzo de las sistematizaciones de las evaluaciones financiados por la AOD española.

d. Aprendizaje y generación de capacidades El último bloque que emerge de forma clara en las políticas analizadas es el aprendizaje y la generación de capacidades, en relación tanto con la gestión como con la práctica de la evaluación, en aras del conocimiento y de la consolidación de la cultura de evaluación. En primer lugar, y en línea con lo que se introducía en el bloque anterior, el impulso de la realización de evaluaciones conjuntas

se

considera

una

práctica

fundamental

para

el

incremento de capacidades de los diferentes actores implicados, también por parte de los países socios.

El fortalecimiento de capacidades en los países socios es una preocupación

muy

ampliamente

recogida

en

la

política

de

evaluación del DFID. Este interés no se centra solo en lo relativo a los sistemas de evaluación nacionales, sino que implica también el refuerzo de capacidades en las empresas, la contratación de consultores locales, etc. El objetivo explícito es el de fortalecer la cultura y práctica de la evaluación. Desde el punto de vista de los sistemas de evaluación de los donantes, la implicación

de los

equipos en el desarrollo de las evaluaciones desde el principio hasta las recomendaciones, como en el caso de la AFD, se considera también relevante.

Como acción complementaria, distintos documentos proponen la realización de seminarios y jornadas que desarrollen aspectos determinados en materia de evaluación, como recoge AusAID, lo

46

ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA que también se complementa con la generación de guías y otro tipo de publicaciones que traten diferentes aspectos de la práctica y puedan orientar a los equipos de evaluación. A esto habría que añadir la variedad de actividades propuestas en el apartado de utilidad de las evaluaciones, en forma de seminarios, foros, desayunos,

reuniones,

entre

otros,

que

se

recogían

muy

exhaustivamente en la política de DANIDA. Adicionalmente,

diferentes

donantes

se

comprometen

a

participar en redes de evaluación (p.ej. DFID y AusAID) y a la promoción

de

organizaciones

profesionales,

que

desarrollen

aprendizajes mutuos y permitan una retroalimentación desde diferentes espacios de actuación en materia evaluativa (DFID).

En el caso de la Cooperación Española, se propone que el aprendizaje

y

la

generación

de

capacidades

se

promuevan

mediante el fortalecimiento de capacidades de los actores de la Cooperación Española y sus socios, potenciando los sistemas de evaluación de estos últimos; la investigación sobre evaluación de la cooperación para el desarrollo; la participación en redes de evaluación que mejoren el intercambio de información; y la organización de actividades de formación en la materia.

Tabla 7.- Utilidad de la evaluación

Utilidad •

Publicación de los resultados de las evaluaciones

•

Diseño y puesta en marcha de estrategias de comunicación.

•

Participación activa de los actores en el proceso de evaluación

•

Adecuación del momento de la realización de la evaluación

•

Realización

y

publicación

de

informes

47

Políticas de evaluación de la cooperación para el desarrollo Utilidad periódicos de evaluación por parte de las unidades de evaluación •

Incorporación,

como

respuesta

gestión

de

obligatoria, en

todas

de las

evaluaciones •

Impulso de la realización de evaluaciones conjuntas

•

Fortalecimiento de capacidades tanto en los países donantes como en los países socios Fuente: elaboración propia

48

CONCLUSIONES

4. CONCLUSIONES Los resultados de este análisis comparado nos han permitido desembocar en ciertas conclusiones que hemos enmarcado en torno a las principales tendencias que orientan las políticas de evaluación en el ámbito de la cooperación internacional para el desarrollo.

4.1. Las principales tendencias en las políticas de evaluación de cooperación internacional para el desarrollo en la actualidad En

la

actualidad

(re)diseñando

sus

muchas políticas

agencias de

y

evaluación

organismos de

están

cooperación

internacional para el desarrollo. A esta aparente coincidencia contribuye, en gran medida, que en la actualidad hay un ambiente favorable para la evaluación de las políticas públicas en general y a la evaluación de la cooperación internacional para el desarrollo en particular. Esta coyuntura a favor de la evaluación es de suma importancia para la mejora de la cooperación internacional para el desarrollo, porque, tal como nos señala la OCDE (2013a), sienta las bases para la construcción de una cultura de aprendizaje y respalda el uso de las evidencias en la toma de decisiones, es útil para replantear el papel de la evaluación en una política formal y envía una señal de que la agencia de desarrollo está comprometida con el logro de resultados y la transparencia.

Por tanto, que los países/organismos donantes y sus países socios cuenten con políticas de evaluación fuertes tiene sin duda repercusiones favorables para todo el sistema de cooperación internacional para el desarrollo desde la transparencia y la rendición de cuentas públicas pasando por el aprendizaje y la mejora. Dentro de esta corriente favorable a la evaluación se arrastra asimismo la necesidad de delimitar lo que cabe esperar de una política de evaluación, como documento vivo que debe crecer

49

Políticas de evaluación de la cooperación para el desarrollo con la práctica de la evaluación, a fin de mejorar la cooperación internacional para el desarrollo.

Uno de los elementos que emerge del análisis realizado tiene que ver con la preocupación de qué es, qué no es, y para qué debe servir, una política de evaluación, etc. Es importante, por ello, acotar hasta dónde puede llegar la política de evaluación y de qué manera se articula y se complementa la función de evaluación con otras funciones conexas como el seguimiento, el observatorio, la auditoría, la memoria, etc. Análogamente, la política de evaluación debe estar adecuadamente articulada con el resto de documentos estratégicos que determinan estas funciones. La evaluación tiene un papel fundamental como herramienta orientada a generar evidencias,

dar

respuestas

sobre

cuestiones

específicas,

y

retroalimentar la toma de decisiones. De ahí que la utilización de las evaluaciones sea de interés general en todas las políticas analizadas, tal como hemos visto,

tanto de cara a aprovechar

adecuadamente los conocimientos generados, como a fortalecer la calidad y la eficacia del sistema de cooperación internacional para el desarrollo. Durante nuestro análisis han sobresalido distintos aspectos clave en las políticas de evaluación de la cooperación internacional para el desarrollo, que a continuación exponemos.

Las unidades de evaluación operan como motores del cambio, apoyadas en políticas de evaluación fuertes. Se ha observado una tendencia clara a crear unidades especializadas en evaluación, que deben estar debidamente dotadas y cualificadas con el fin de impulsar y fortalecer la función de evaluación. El creciente ambiente favorable a la evaluación de la cooperación internacional

para el

desarrollo ha supuesto un importante

aumento del número de evaluaciones, impulsado en gran medida por las unidades de evaluación, quienes necesitan contar con unas políticas de evaluación que respalden el fortalecimiento de una función de evaluación independiente y a la vez las integren como unidades legitimadas dentro del sistema de cooperación.

50

CONCLUSIONES Para

evitar

posibles

presiones

y

garantizar

una

difusión

adecuada y transparente de los hallazgos de los procesos de evaluación es necesario asegurar la independencia de la función de evaluación en los sistemas de cooperación internacional para el desarrollo. Esto nos lleva a la reflexión que gira en torno a la ubicación

de

las

unidades

de

evaluación

en

las

distintas

estructuras. Este aspecto está presente en la mayoría de las políticas de evaluación analizadas, tanto en el caso de los donantes bilaterales como en los organismos multilaterales de desarrollo.

Para tratar de garantizar la independencia de la función de evaluación, los esfuerzos han estado encaminados a alejar en la medida de lo posible la función de evaluación de aquellas unidades directamente

implicadas

en

actividades

de

planificación,

presupuestación, implementación y seguimiento de la AOD. No obstante, esto ha podido ralentizar, en muchos casos, el fortalecimiento del

aprendizaje y la retroalimentación a los

sistemas. En la actualidad agencias y organismos

buscan una

convivencia armoniosa entre la independencia (pensada para una mayor credibilidad y mejor rendición pública de cuentas)

y el

aprendizaje y la retroalimentación al sistema. En algunos casos esto se resuelve estableciendo varios niveles, por ejemplo, la unidad

de

evaluación

independiente

evaluaciones

centralizadas

y

gestionarían

directamente

sus

gestionarían

sus

resultados.

las

se

ocuparía

unidades

las

descentralizadas

evaluaciones Esta

de

reflexión

operativas se

y

aprecia

especialmente en las políticas de los organismos multilaterales, muchos de ellos inmersos en procesos de revisión para la mejora de su gestión interna.

Es interesante observar el aumento en la diversificación en las aproximaciones epistemológicas y metodológicas de evaluación, como, por ejemplo, la teoría del programa, y el menor peso relativo de perspectivas como la de los criterios, (como los propuestos por el CAD), como único enfoque de

51

Políticas de evaluación de la cooperación para el desarrollo evaluación. También se puede hablar, adicionalmente, del rol que se está asignando en los últimos tiempos a la evaluación de impacto, cuyo uso de evaluación se ha visto reforzada por la importancia dada por los donantes a la eficacia de la ayuda internacional para el desarrollo.

Hay

una

clara

apuesta

hacia

la

búsqueda

de

procedimientos para garantizar la calidad de los procesos evaluativos. En la actualidad conviven tres grandes inquietudes en lo referente al uso de las evaluaciones: la oportunidad (con respecto al tiempo), la pertinencia (con relación a los actores implicados) y la calidad (y fiabilidad de los productos resultado del proceso evaluativo). En las políticas se señala que la práctica de la evaluación debe ser rigurosa en su metodología por el bien de su credibilidad y asimismo, que los resultados de las evaluaciones deben ser tenidos en cuenta especialmente por los actores que están destinados a abordar las recomendaciones, por tanto, la evaluación debe ser necesaria, creíble y

llegar en el momento

oportuno. En todo caso, para que una evaluación sea útil, rigurosa y creíble deberá integrarse desde las primeras fases al ciclo de la intervención y responder a las singularidades de la cooperación internacional para el desarrollo como objeto de evaluación. Las políticas de evaluación, como hemos visto, deben asegurarse de marcar las pautas en este sentido.

Hay una tendencia clara en la comunidad evaluadora en subrayar la relevancia de que las evaluaciones sean influyentes y persuasivas. Para ello, en primer lugar, es importante que se garantice la calidad del todo el proceso de evaluación con una buena gestión a lo largo de todo él, así como una participación activa de todos los actores implicados. Y en segundo lugar, es necesario que al final de los procesos de evaluación, tanto las personas que toman las decisiones sobre el objeto evaluado como el personal técnico, tomen decisiones concretas respecto a la aplicación de las recomendaciones.

52

CONCLUSIONES Hay

una

progresiva

incorporación

de

los

distintos

protagonistas de la intervención en evaluaciones cada vez más participativas. Respecto a la participación, el parecer de que debe ser fortalecida es unánime en la comunidad evaluadora internacional (Estrella y Gaventa, 1998), y así ha sido señalado explícitamente en las políticas de evaluación más recientes. En paralelo convive, sin embargo, la preocupación de que

la

multiplicidad

y

de

actores,

que

enriquece

las

perspectivas

sensibilidades en lo que respecta a la cooperación internacional para el desarrollo, también demanda un esfuerzo adicional de coordinación, articulación, clarificación de roles, refuerzo de capacidades, generación de incentivos para el trabajo conjunto, de parte de unidades de evaluación. Éstas en muchos casos, todavía no se han consolidado suficientemente dentro de su estructura organizativa e institucional, por lo que puede entrañar una complejidad de su gestión difícil de asumir.

En este sentido, las políticas de evaluación, entendidas como los mandatos o principios de alto nivel que se sirven para guiar la práctica de la evaluación; es decir, para orientar las decisiones y acciones de una organización o de un país con el fin de llevar a cabo la evaluación de su política de cooperación al desarrollo de políticas, son, como hemos visto, el marco adecuado tanto para subrayar los contornos de diálogo entre actores como para promoverlo.

Hay disparidad en la visión estratégica y en los criterios de selección de evaluaciones. Está extendido aunque no generalizado el establecimiento de criterios que permitan una selección de las evaluaciones, pero tanto los criterios como su naturaleza es dispar. Se puede observar cierto consenso en torno de los criterios de cobertura y de relevancia, si bien su aplicación difiere en gran medida. En todas las políticas de evaluación analizadas hemos observado una constante en la necesidad de

53

Políticas de evaluación de la cooperación para el desarrollo fundamentar la importancia de la evaluación en el sistema de cooperación internacional para el desarrollo.

Se observa un gran protagonismo de la comunicación de los resultados. La

manera

de proceder

de la comunidad

evaluadora para que efectivamente la función de evaluación esté orientada al cambio para la mejora de la cooperación, ha sido reforzar la comunicación de los resultados. Esto se refleja en sus políticas de evaluación, en la actualidad se está reflexionando, por ejemplo, sobre la utilidad de los informes de evaluación tal y como que se vienen haciendo. Hay una preocupación compartida sobre las limitaciones de los informes de evaluación para alcanzar audiencias mayores. Esto ha desembocado en una atención mayor a la comunicación en contenido y forma, y su relación con la rendición de cuentas, el aprendizaje y la gestión del conocimiento.

Las respuestas de gestión de las administraciones son la vía para operativizar las recomendaciones. Con el fin de que se consolide una función de evaluación que equilibre y concilie el aprendizaje y la rendición de cuentas, una herramienta clave es la denominada

respuesta

administración,

que

se

de

gestión

presenta

o

como

respuesta el

de

instrumento

la que

contribuye al uso y la utilidad práctica de las evaluaciones y que la mayoría

de los donantes analizados han incorporado como

obligatoria a sus políticas de evaluación.

Uno de los grandes retos de la agenda de cooperación internacional para el desarrollo en la actualidad es la desigualdad, que en muchos casos ya no es solamente entre países, sino también dentro de las propias sociedades y comunidades, y que es extensiva a todo el planeta. De ahí la relevancia de la función de evaluación para mejorar la calidad de la ayuda. La evaluación, además de cumplir con el propósito de la transparencia y la rendición de cuentas debe servir como medio para generar

54

CONCLUSIONES aprendizajes que permitan mejorar la eficacia y la calidad de las intervenciones de cooperaci贸n internacional para el desarrollo.

55

Políticas de evaluación de la cooperación para el desarrollo

REFERENCIAS BIBLIOGRÁFICAS Agence française de développement (AFD) (2007). Evaluation Policies and Practices in Development Agencies. París: AFD. -

(AFD). Información sobre la política de evaluación de la cooperación al desarrollo francesa. Recuperado de: http://www.afd.fr/home/recherche/evaluationcapitalisation

-

(2013). Politique d’évaluation de l’AFD. París: AFD. Recuperado

de:

http://www.afd.fr/jahia/webdav/site/afd/shared/RECHE RCHE/Evaluation/document/politique-evaluation-afd.pdf Agence

française

de

développement

(AFD)

–

Overseas

Development Institute (ODI) (2007). A Comparative Study of

Evaluation

Policies

and

Practices

in

Development

Agencies. París: AFD. Argilés Marín, J.M. (2014). La evaluación de la acción exterior española:

reflexiones

a

partir

de

la

experiencia

de

evaluación en la política de cooperación internacional para el desarrollo. Madrid: Real Instituto Elcano. http://www.realinstitutoelcano.org/wps/portal/web/rielcano _es/contenido?WCM_GLOBAL_CONTEXT=/elcano/elcano_es /zonas_es/cooperacion+y+desarrollo/eee15-2014-argilesevaluacion-accion-exterior-espanola-reflexionesexperiencia-cooperacion-desarrollo Australian Government Overseas Aid Program (AusAID) (2012).

Evaluation Policy 2012–2015. Canberra: AusAID. Banco Europeo de Reconstrucción y Desarrollo (BERD) (2012).

European

Bank

for

Reconstruction

and

Development

Evaluation Policy. Londres: BERD. Binnendijk, A.L. (1989). Donor agency experience with the monitoring and evaluation of development projects. En Evaluation

Review.

Londres:

SAGE.

Recuperado

de:

http://erx.sagepub.com/content/13/3/206 Banco Interamericano de Desarrollo (BID). Información sobre la

56

REFERENCIAS BIBLIOGRÁFICAS política de evaluación del BID. Recuperado de: http://www.iadb.org/es/oficina-de-evaluacion-ysupervision/acerca-de-la-oficina-de-evaluacion-ysupervision-ove,6655.html Bundesministerium Für Wirtschaftliche Zusammenarbeit - BMZ (German

Federal

Ministry

For

Economic

Development

Cooperation) - Deutsche Gesellschaft Für Internationale Zusammenarbeit Institute

Gmbh

(GIZ)

Kreditanstalt

Für

-

Reconstruction Wiederaufbau

Credit (KfW

Bankengruppe). Información sobre las orientaciones en seguimiento y evaluación de la política de cooperación alemana. Recuperado de: http://www.bmz.de/en/what_we_do/approaches/evaluation /Evaluation/index.html Canadian International Development Agency (CIDA) (2004). Guía de Evaluación de la ACDI. Ottawa: ACDI. Collin, S. y Stirrat, R. (2008). Current Challenges in Development Evaluation, SAGE Publications. Los Ángeles, Londres, Nueva Delhi y Singapur, Vol 14 (2), 193-208.

Comisión Europea. (2006). Consenso Europeo sobre Desarrollo (2006/C 46/01). Recuperado de: http://europa.eu/legislation_summaries/development/gener al_development_framework/r12544_es.htm Comisión Europea, European Community Humanitarian Office (ECHO).

Información

sobre

la

evaluación

de

ECHO.

Recuperado de: http://ec.europa.eu/echo/evaluation/index_en.htm Comisión Europea, Dirección General de Desarrollo y Cooperación.

EuropeAid. Información sobre la evaluación de EuropeAid. Recuperado

de:

http://ec.europa.eu/europeaid/how/evaluation/introduction /introduction_es.htm Confédération suisse. Département fédéral des affaires étrangères (DFAE), Direction du développement et de la coopération (DDC) (2013). Politique d’évaluation de la DDC. Recuperado

57

Políticas de evaluación de la cooperación para el desarrollo de: http://www.sdc.admin.ch/en/Home/Effectiveness/Evaluatio ns Cooksy, L. J., Mark, M. M., & Trochim, W.M.K. (2009). Evaluation policy and evaluation practice: Where do we go from here?

En W.M.K. Trochim, M. M. Mark, & L. J. Cooksy (Eds.), Evaluation policy and evaluation practice. New Directions for Evaluation, 123, 103–109.

Crackell,

B.E.

(2000).

Evaluating

development

aid:

issues,

problems and solutions. Thousand Oaks, California: Sage Publications.

Danish International Development Agency (DANIDA) (2012a).

DANIDA’s Evaluation Guidelines. Copenhagen: DANIDA. -

(2012b).

DANIDA’s

Evaluation

Policy.

Copenhagen:

DANIDA. Department

for

International

Development

(DFID),

United

Kingdom (UK) Government (2009). Building the evidence to reduce

poverty,

The

UK’s

policy

on

evaluation

for

international development. Londres: DFID. -

(2012). Learning what works to improve lives. Draft Evaluation policy, Londres: DFID.

-

(2013). DFID Evaluation Policy 2013. Recuperado de:

https://www.gov.uk/government/publications/dfidevaluation-policy-2013 Estrella, M y Gaventa, J (1998). Who counts reality? Participatory Monitoring and Evaluation: a literature review. IDS Working Paper 70.

Fondo de Naciones Unidas para la Infancia (UNICEF) (2008).

UNICEF Evaluation Policy. Nueva York: UNICEF. Good Humanitarian Donorship (GHD). (2003). Good Humanitarian Donorship (GHD) principles and good practices. Stockholm: GHD. Japan International Cooperation Agency (JICA) (2007). Part 1.

Evaluation in JICA en Annual Evaluation Report. pp. 9-24.

Tokio: JICA.

58

REFERENCIAS BIBLIOGRÁFICAS -

(2010). New JICA Guidelines for Project Evaluation.

Recuperado de: http://www.jica.go.jp/english/our_work/evaluation/index .html (2013).

Official

development

assistance

(ODA).

Evaluation Guidelines. Recuperado de:

http://www.mofa.go.jp/policy/oda/evaluation/basic_doc uments/pdfs/guidelines2013.pdf Ley 28/2006, de 18 de julio, de Agencias estatales para la mejora de los servicios públicos.

Ley 23/1998, de 7 de julio, de Cooperación Internacional para el Desarrollo.

Ministerio de Asuntos Exteriores (MAE) (1998). Metodología de Evaluación de la Cooperación Española (I). Madrid: MAE. -

(2001). Metodología de Evaluación de la Cooperación Española (II). Madrid: MAE.

-

(2007a). Manual de Gestión de Evaluaciones de la Cooperación Española. Madrid: MAE.

-

(2007b).

Política

de

Evaluación

de

la

Cooperación

Española. Madrid: MAE. Ministerio

de

(2007c).

Asuntos

Exteriores

Estrategia

de

y

de

Género

Cooperación en

Desarrollo

(MAEC) de

la

Cooperación Española. Madrid: MAEC. -

(2012). IV Plan Director de la Cooperación Española 2013 – 2016. Madrid: MAEC.

-

(2012). Informe de la evaluación intermedia del III Plan Director de la Cooperación Española. Madrid: MAEC.

-

(2013a).

Política

de

Evaluación

de

la

Cooperación

Española. Madrid: MAEC. -

(2013b). Plan de evaluaciones 2013-14. Madrid: MAEC.

Monterde Díaz, R. (2014). Calidad y utilidad de las Evaluaciones en la Cooperación Española para el Desarrollo en España.

Propuestas para profundizar en la construcción de cultura de evaluación. Documento de Trabajo. Serie CECOD.

59

Políticas de evaluación de la cooperación para el desarrollo Número 24/2014. Madrid: CEU Ediciones.

Naciones Unidas (NNUU) (2005a). Estándares de evaluación del Sistema de las Naciones Unidas. Nueva York: UNEG. -

(2005b). Normas de evaluación del Sistema de las Naciones Unidas. Nueva York: UNEG.

Norwegian Agency for Development Cooperation (NORAD) (2006).

Evaluation Policy 2006-2010. Oslo: NORAD. ONU Mujeres (2012). Política de evaluación de la Entidad de las Naciones

Unidas

para

la

Igualdad

de

Género

y

el

Empoderamiento de las Mujeres. Nueva York: ONU Mujeres.

Orden AEC/2909/2011, de 21 de octubre, por la que se establecen las bases para la concesión de subvenciones de cooperación internacional para el desarrollo.

Organización Internacional del Trabajo (OIT) (2005). Un nuevo marco de políticas y estrategias de evaluación en la OIT. Ginebra: OIT. OCDE (1975). AID Evaluation. The experience of members of the Development Assistance Committee and of International Organisations. Paris: CAD. -

(2001). Evaluation Feedback for effective learning and accountability. DAC working party on aid evaluation.

Paris: CAD.

-

(2002).

Glosario

de

principales

términos

sobre

evaluación y gestión basada en resultados. París: CAD. -

(2005). Declaración de París sobre Eficacia de la Ayuda.

París: CAD.

-

(2006). Evaluation Systems and Use: a Working Tool for Peer Reviews and Assessments. París: CAD.

-

(2008). Agenda de Acción de Accra. Accra: CAD.

-

(2009). Development Evaluation Resources and Systems - A Study of Network Members, París: CAD.

-

(2010a). Estándares de calidad para la evaluación del desarrollo. Paris: CAD.

-

(2010b). Evaluation in Development Agencies. Better Aid. París: CAD.

60

REFERENCIAS BIBLIOGRÁFICAS -

(2010c). Glosario de los principales términos sobre evaluación y gestión basada en resultados. París: CAD.

-

(2011a). Alianza Global de Busan para una Cooperación Eficaz al Desarrollo. Busan: CAD.

-

(2011b).

Informe

del

Peer

Review

del

CAD

a

la

Cooperación Española 2011. París: CAD. -

(2013a). The DAC Network on Development Evaluation – 30 years of strengthening learning in development, DAC Network on Development Evaluation, OECD: Paris.

Pearson, L. (1969). Partners in Development- Report to the Commission on International Development. London, Pall Mall Press.

Picciotto, R. (2002). Development Cooperation and Performance Evaluation: the Monterrey Challenge. Washington: World Bank.

Programa de Naciones Unidas para el Desarrollo (PNUD) (2011).

La política de evaluación del PNUD. Nueva York: PNUD. Ramalingam, B., Laric, M., Primrose, J. (2014). Form best practice to best fit. Understanding and navigating wicked problems in

international

development.

Overseas

Development

Institute Working Paper. Londres: ODI. Servicio Europeo de Acción Exterior (SEAE). (2014). Evaluation Matters

-

The

evaluation

policy

for

European

Union

Development Co-operation. Recuperado de: https://ec.europa.eu/europeaid/sites/devco/files/evaluation -matters_en_0.pdf Swedish International Development Cooperation Agency (SIDA) (2010). SIDA’s Evaluation Guidelines & Evaluation Plan 2010. Stockholm: SIDA. Swiss Agency for Development and Cooperation (SDC) (2008).

Evaluation policy. Berna: SDC. Trochim, W.M.K. (2009). Evaluation policy and evaluation practice.

En W.M.K. Trochim, M.M. Mark, & L.J. Cooksy (Eds.), Evaluation policy and evaluation practice. New Directions for Evaluation, 123, 13–32.

61

Políticas de evaluación de la cooperación para el desarrollo Ulla Díez, S. y Argilés Marín, J.M. (2014). El camino pendiente hacia la consolidación de la evaluación en la Cooperación Española.

Madrid:

CECOD.

http://www.cecod.org/LinkClick.aspx?fileticket=s02RPFmUk Iw%3D&tabid=1054&language=es-ES United Nations Evaluation Group (UNEG) (2011). UNEG Framework for Professional Peer Reviews of the Evaluation Function of United Nations Organizations. Nueva York: UNEG. -

(2012). Evaluation Capacity in the UN System. Nueva York: UNEG.

United Nations Office of Internal Oversight Services (OIOS).

Guidance to Programmes for Developing an Evaluation Policy.

Recuperado

de:

http://www.un.org/Depts/oios/pages/ied_guidance_for_dev _ep.pdf United Nations (2015). Final Draft of the outcome for the UN Summit to adopt the Post-2015 Development Agenda.

United States Agency for International Development (USAID) (2011).

Evaluation

Policy.

Learning

from

Experience.

Washington: USAID. Winckler, O. (2014). Some thoughts on Development Evaluation Processes. IDS Bulletin, Volume 45, Number 6. Sussex: Institute of Development Studies.

World Health Organization (WHO) (2012). Draft formal evaluation policy. Ginebra: WHO.

62

Este y otros documentos relacionados se pueden encontrar en: http://www.cooperacionespa単ola.es/es/publicaciones