Evaluando el Impacto de Procesos de Diálogo: algunas reflexiones desde el campo

EVALUANDO EL IMPACTO DE LOS PROCESOS DE DIÁLOGO: ALGUNAS REFLEXIONES DESDE EL CAMPO

EVALUANDO EL IMPACTO DE LOS PROCESOS DE DIÁLOGO: ALGUNAS REFLEXIONES DESDE EL CAMPO

Este documento fue preparado por Maureen Mayne, Gerente de Proyecto de RBLAC, PNUD. Se encuentra disponible también en inglés.

Contenido Perspectiva General ............................................................... 1 1 Propósitos y metas del Taller Generativo ......................... 3 2 Ámbito y Propósitos de la Evaluación del Diálogo .............. 5 2.1 Evaluación y Rendición de cuentas ................................................................................. 6 2.2 Evaluación y Aprendizaje .............................................................................................. 8

3 Retos ................................................................................. 13 3.1 Propósito: Rendición de cuentas vs. Mejora de la práctica .......................................... 13 3.2 Ámbito: Micro, mezzo, macro vs. Corto plazo/Largo plazo .............................................. 13 3.3 Uso: Diseño del proceso vs. Marco integral ................................................................... 14 3.4 Foco: Proceso vs. Resultado ......................................................................................... 14 3.5 Delimitación: Proceso vs. Proyecto ............................................................................... 14 3.6 Naturaleza: estructura y apertura ................................................................................. 15

4 Pensamientos iniciales sobre el marco integral ............. 17 4.1 Principios generales como guía al marco .................................................................... 17 4.2 Implicaciones en términos de medición ........................................................................ 20

5 Conclusiones y retos hacia adelante .............................. 23

A S S E S S I N G T H E I M PA C T O F D I A LO G U E P R O C E S S E S

Perspectiva General L

a creciente utilización de procesos de diálogo para abordar crisis emergentes a nivel mundial, y para generar consenso entre partes interesadas en torno a algún asunto complejo de índole económica, social o política, se ha visto acompañada de la necesidad y la demanda de contar con mejores metodologías de evaluación para:

En última instancia, los procesos de evaluación buscan captar mejor el significado del éxito y de cómo éste puede medirse en el contexto de un diálogo. Pero, sin importar que sea vista como una herramienta de aprendizaje o de rendición de cuentas e incidencia, la evaluación está repleta de considerables retos, dilemas y tensiones a la hora de definir el ámbito, propósito y enfoque de la intervención.

1) Medir el impacto de las intervenciones de diálogo (consecuencias buscadas o no),

Este resumen da cuenta de las reflexiones expresadas por practicantes de diálogo y de la resolución de conflictos en torno a los multifacéticos roles y elementos de la evaluación, y a su relevancia en la determinación de procesos de diálogo. En este documento, generalmente se entiende un proceso de diálogo como un proceso de resolución de conflictos pero también como un enfoque relacional (dialógico) para la interacción humana y la transformación. Se comparten las discusiones que tuvieron lugar en el Taller Generativo sobre Evaluación que fue convocado conjuntamente por PNUD y el Centro Carter y se llevó a cabo en el Centro Carter, Atlanta, Estados Unidos, el 24 y 25 de enero de 2007. Al poner de relieve las lecciones clave aprendidas y al introducir ideas preliminares sobre un marco integral para la evaluación sistemática de procesos de diálogo, este documento busca proporcionar a los practicantes de diálogo algunas pautas conceptuales y prácticas para la evaluación de procesos de diálogo.

2) Comprender de mejor manera cuándo y cómo deben utilizarse los procesos de diálogo, y cómo pueden diseñarse y conducirse para lograr un máximo impacto, 3) Convencer a los actores externos e internos de participar en dicha intervención, o apoyarla, y 4) Aportar en la construcción del campo del diálogo mediante la identificación de buenas prácticas, sistematizando las lecciones aprendidas y encontrando elementos comunes para estudios comparativos.

ALGUNAS REFLEXIONES DESDE EL CAMPO

1

1

Propósitos y metas del Taller Generativo

E

n enero de 2007, el Centro Carter y el Programa de las Naciones Unidas para el Desarrollo convocaron a un taller para reflexionar y aprender sobre la evaluación y valoración de procesos de diálogo, explorando el tema desde diversos enfoques y experiencias prácticas en América Latina, el Caribe y otras regiones del mundo. El taller reunió a practicantes del campo del diálogo, expertos en resolución de conflictos y académicos, así como a profesionales de PNUD y del Centro Carter.

El taller buscó generar conocimiento relevante sobre cómo analizar y mejorar la profundidad, la calidad y el impacto de las intervenciones de diálogo. En particular, facilitó discusiones en torno a un conjunto de indicadores y criterios útiles para medir los resultados y el impacto de procesos de diálogo, y sentó las bases para una metodología efectiva de evaluación de impacto.1 El diálogo puede ser definido tanto como un proceso así como un enfoque. Es un proceso participativo e incluyente orientado a resolver asuntos complejos de índole social, económica o política mediante la reunión, en un espacio seguro, de partes interesadas en determinado problema o asunto. El proceso facilitado promueve el entendimiento entre los participantes y busca identificar nuevas opciones consensuales y visiones compartidas. Según hicieron mención los participantes del taller, el diálogo puede lograr las siguientes metas: compartir entendimiento y visión, transformar

1. Retolaza, I. y Díez Pinto, E. (2007). Evaluating Multi-Stakeholder Dialogues: a Comparative Analysis (Evaluando Diálogos Multiactor: un Análisis Comparativo) –, Documento preparatorio para el Taller de Reflexión Generativa: Evaluando el Impacto de los Diálogos Democráticos, Centro Carter, Atlanta, enero 24-25 200724-25 2007

ALGUNAS REFLEXIONES DESDE EL CAMPO

relaciones entre grupos o a lo interno de los mismos, influir en la elaboración de políticas, crear contenido para una mayor incidencia de las políticas.

En comparación, el enfoque dialógico puede describirse mejor como un código de conducta para los practicantes de diálogo y como una cualidad de la interacción que puede resultar efectiva para producir cambios positivos. El código de conducta ‘extrapola de los principios rectores sobre cómo acometer el trabajo de promover, organizar y facilitar los procesos de diálogo’2. Ésta es la razón por la que el diálogo y otros procesos como la mediación y la negociación pueden adoptar enfoques que sean más dialógicos o menos, dependiendo de los principios rectores y de la calidad de las interacciones entre los participantes3.

Durante el Taller Generativo, el diálogo fue considerado principalmente como un proceso – a veces más como un proceso de resolución de conflictos (una herramienta más variada de metodologías de resolución de conflictos dentro de una caja de herramientas) que una metodología más amplia para el cambio societal – y no tanto como un enfoque. Esta tendencia puede explicarse con base a la composición del grupo participante en el taller. Los practicantes de diálogo tienden a definirlo como un enfoque, mientras que los expertos en resolución de conflictos se inclinan más a definir el diálogo como un proceso en el mismo nivel que otros procesos de resolución de conflictos, tales como la mediación y la negociación.

2.‘Democratic Dialogue – A Handbook for Practitioners’ (Diálogo Democrático- Un Manual para Practicantes) (2007) 3. ‘‘Democratic Dialogue – A Handbook for Practitioners’ (Diálogo Democrático- Un Manual para Practicantes) (2007)

3

La evaluación puede definirse en forma general como un juicio del avance hecho para lograr metas y objetivos particulares, identificar efectos buscados y no buscados, y permitir comprender las razones por las que un proceso específico fue o no exitoso.4 Tal como el personaje mitológico Jano, una estrategia completa de evaluación no debe únicamente contemplar lo que ha sucedido en el pasado sino también proporcionar una guía que permita ver hacia adelante.

Este documento refleja la predominancia del diálogo entendido como un proceso de resolución de conflictos. Pretende presentar algunas reflexiones iniciales en torno a los roles, propósitos y retos de la evaluación de procesos de diálogo y cómo afectan y contribuyen a la definición de un marco más amplio para la evaluación. Al final de este documento se presentarán los principales pensamientos sobre dicho marco.

4. idem

4

E VA LU A N D O E L I M PA C TO D E LO S P R O C E S O S D E D I Á LO G O

2

Ámbito y Propósitos de la Evaluación del Diálogo

E

l diálogo, como herramienta para la construcción de la democracia y la prevención de conflictos, ha sido víctima de su propia fama. Utilizado bajo diferentes nombres y contextos, y para diversos propósitos, en algunos casos el diálogo ha visto su esencia central y sus principios diluidos en procesos mal diseñados, los que a su vez han afectado bastante su credibilidad como un campo de práctica. En algunas instancias, el diálogo ha sido propuesto como el proceso adecuado pero sus impactos o efectos parecieran haber sido limitados, y ha surgido la “fatiga del diálogo”.

Las partes interesadas terminan cansadas de ‘hablar’ sin ver ningún avance a raíz de la serie de diálogos. Dicha fatiga del diálogo se ha desarrollado por varias razones: 1) el diálogo se utiliza en el contexto correcto pero el proceso está mal diseñado y/o facilitado, 2) a pesar de que el proceso se diseña cuidadosamente, el diálogo se organiza en contextos no adecuados y los participantes no se encuentran listos para participar genuinamente en el proceso, 3) los procesos de diálogo son bien diseñados, los participantes están listos para participar genuinamente en el proceso pero los resultados del diálogo no se implementan a nivel de políticas públicas.

‘El diálogo es un proceso para contribuir a la creación de ciudadanía; entendiendo ciudadanía en su sentido más puro de los dueños de una sociedad’.

Participante

ALGUNAS REFLEXIONES DESDE EL CAMPO

¿Por qué está incrementándose la necesidad de diálogo en América Latina y el Caribe?

1. El desarrollo de la democracia en la región, por sí mismo, está demandando más mecanismos participativos.

2. Paradójicamente, el desencanto con la democracia y los limitados resultados positivos a nivel social y económico han dado lugar a nuevas necesidades de soluciones innovadoras que pueden crearse mediante procesos de diálogo.

3. El surgimiento de nuevos actores en la arena política requiere de nuevos espacios para la discusión e interacción; espacios que deben ser más incluyentes que los canales institucionales tradicionales.

4. La polarización social en América Latina como resultado de los altos niveles de desigualdad.

5. El tipo de enfoque de ‘el ganador se lo lleva todo’, que no permite enfoques colaborativos hacia la política e incrementa aún más las tensiones políticas.

Basado en el discurso de Rebeca Grynspan, Directora de DRALC

5

Asuntos y preguntas iniciales clave de los practicantes de diálogo: ¿Estamos acaso teniendo algún impacto?

¿Cuál es la conexión entre el diálogo y los cambios sociopolíticos más amplios?

¿Cómo utilizar la evaluación para que no se trate solamente de probar que sucedió un cambio sino también de entender por qué ha ocurrido el cambio?

¿Cómo construir puentes entre los académicos y los metodólogos en diálogo, y los que realmente sustentan el poder (los actores reales)? ¿Cuánto daño puede ocasionarse con las intervenciones que hacemos?

¿Cómo puede la evaluación ayudar a salvar la brecha entre el diálogo como proceso de cambio y las realidades de del desarrollo del diálogo como un proyecto?

¿Estamos evaluando el diálogo en sí o estamos intentando evaluar algo más? ¿Cómo traducir los resultados de la evaluación y comunicarlos a la opinión pública? ¿Cómo encaja el diálogo con otras herramientas y metodologías que tenemos? ¿Cómo nos mantenemos conscientes de otras posibilidades metodológicas que pudieran aplicarse?

6

De este modo, la evaluación de procesos de diálogo se ha convertido en algo vital para los practicantes, promotores y participantes de los diálogos pues les permite entender cuándo el diálogo es relevante y cuándo no, bajo qué condiciones conduce a un impacto y a qué nivel y cómo puede, en última instancia. influir en el nivel de políticas y provocar un cambio positivo dentro de una sociedad.

Durante el taller, los propósitos de la evaluación se definieron bajo una doble lectura: 1) garantizar la rendición de cuentas, y 2) proporcionar guías para futuros procesos (aprendizaje).

2.1 Evaluación y Rendición de cuentas 2.1.1 Identificar y medir el cambio social Al preguntárseles cuál pensaban ellos que era la meta principal del diálogo, los practicantes de diálogo y resolución de conflictos participando en el taller sobre evaluación coincidieron en lo siguiente: los procesos de diálogo suscitan el cambio societal y promueven relaciones constructivas. De hecho, el diálogo vincula y promueve el cambio individual, organizacional y societal. En consecuencia, evaluar procesos de diálogo es identificar y medir el cambio societal en diferentes niveles de una sociedad.

Una teoría de cambio se refiere a cómo los practicantes creen que puede ocurrir el cambio a nivel individual, intergrupal y sistémico, dados ciertos supuestos y acciones reconocidos que conducirán a una transformación positiva. Puesto que la teoría nutre a la práctica y viceversa, la claridad en la teoría empleada en el diseño para provocar el cambio ayuda a construir procesos más claros de diálogo. Los practicantes de diálogo deben ser explícitos en cuanto a la teoría de cambio que están utilizando para provocar una transformación positiva de las relaciones existentes entre las partes interesadas. La falta de claridad sobre cómo iniciar el cambio puede conducir a varios intentos inconexos e inútiles para impactar positivamente a los individuos y a las sociedades como un todo.

E VA LU A N D O E L I M PA C TO D E LO S P R O C E S O S D E D I Á LO G O

Pero, ya que las teorías de cambio generalmente han estado implícitas en el diseño de un proceso de diálogo, es difícil evaluar cómo ciertas actividades específicas resultan en una alteración de perspectivas o supuestos o en un cambio en las relaciones con otros grupos.

Existe una creciente necesidad en el campo de identificar, aclarar y probar las hipótesis y supuestos en torno a cómo crear cambio dentro de una sociedad utilizando metodologías como la mediación y el diálogo.

Así, la explicitación por adelantado de una teoría de cambio puede lograr los siguientes resultados: 1) permite a los practicantes seguir una estrategia mientras se adaptan a contextos y dinámicas específicas, 2) permite poner a prueba teorías de cambio particulares, nutriendo en esta forma el marco teórico a partir del cual se justifican los procesos de diálogo, 3) participa en el desarrollo de la práctica al identificar nuevas herramientas conducentes al cambio.

La evaluación participa en la necesidad de aclarar las teorías de cambio utilizadas pero también ayuda a identificar nuevas teorías que surgen de la práctica como parte de un ejercicio posterior de aprendizaje.

‘si hubiera alguna forma de (…) una oportunidad constante para un diálogo entre partes opuestas en la que ninguno de los lados tuviera que desprestigiarse al convocar a una discusión, esto sería una forma maravillosa de evitar muchos de los problemas políticos, no sólo en este hemisferio sino en otros.’

Presidente Carter

2.1.2 Medir el impacto en los niveles micro, mezzo y macro La medición del ‘impacto’ de los procesos de diálogo puede constituir un esfuerzo osado, especialmente cuando se trata de evaluar el impacto a nivel macro. Puesto que la realidad es compleja, sistémica y caótica, la contribución de los procesos de diálogo al cambio no es

ALGUNAS REFLEXIONES DESDE EL CAMPO

lineal, y la cadena causal para moverse de un nivel de influencia a otro puede no ser siempre pertinente ni clara. No obstante, en aras de la claridad, dividiremos el impacto del diálogo en tres categorías: el nivel micro, el nivel mezzo y el nivel macro.

El nivel micro se refiere a los individuos que participan en el diálogo. Los practicantes usualmente son conscientes y están bien informados sobre los instrumentos e indicadores que pueden utilizar para medir cambios en los individuos y en las relaciones entre ellos.

La evaluación se enfoca en medir cambios en actitudes y destrezas.

El nivel mezzo corresponde a la comunidad en su sentido más amplio. Cuando los practicantes de diálogo intentan medir el impacto a nivel mezzo, buscan indicadores de cambio ‘fuera del salón de conferencias’. En el nivel mezzo, los participantes en el diálogo son los agentes de cambio. Traen de vuelta a su comunidad el aprendizaje surgido del diálogo. El impacto a nivel mezzo busca precisamente la forma en que los participantes expanden dicho aprendizaje a su comunidad. Los indicadores buscarán pruebas sobre si los participantes se están o no convirtiendo en agentes de cambio en sus propios grupos de influencia, si están adoptando un lenguaje de diálogo y aplicando las destrezas aprendidas para influenciar positivamente las perspectivas de los grupos.

El nivel macro corresponde al nivel más amplio de impacto. Cuando los practicantes de diálogo intentan convencer a los donantes para que apoyen su iniciativa, hacen referencia a este nivel también como la meta transversal de un proceso de diálogo.

2.1.3 Evaluar el proceso y los resultados Para que las evaluaciones estén completas, deben considerar tanto el proceso como los resultados.

Los indicadores orientados al proceso buscan identificar la calidad del diseño del proceso y de su facilitación. Estos indicadores son internos al proceso (impulsados internamente).

No buscan medir el impacto de la intervención de diálogo. Ayudan a monitorear el proceso, garantizando que los facilitadores preserven

7

un espacio seguro, equiparen el poder entre los participantes y orienten las discusiones hacia el logro de un entendimiento común entre las partes interesadas. Los indicadores orientados al proceso pertenecen al nivel micro.

La evaluación orientada a los resultados busca identificar resultados tangibles e intangibles del diálogo. Este tipo de evaluación aspira a entender el impacto o efecto externo ‘visible’ o ‘invisible’ del proceso, tanto a nivel mezzo como macro. Usualmente se identifican estos resultados al final del proceso y tienden a medir el impacto ‘fuera del salón’. Por ende, esta parte de la evaluación es más ‘impulsada externamente’. Los resultados tangibles pueden ser la firma de acuerdos, leyes, compromisos públicos, actividades conjuntas resultantes del diálogo y la institucionalización pública y privada de mecanismos y estructuras de monitoreo una vez que el diálogo ha terminado.

Los resultados intangibles se encuentran más en el cambio sutil de las relaciones entre grupos o partes interesadas (acción colectiva e iniciativas comunes sobre otros asuntos, cambio en los estereotipos, atribuciones y supuestos, nivel de confianza e interacción). Para medir los ‘resultados intangibles’, es importante involucrar a las disciplinas de psicología social y sociología en la determinación de indicadores y metodologías.

2.2 Evaluación y Aprendizaje 2.2.1 DURANTE: Mantener el foco y la energía en el proceso La evaluación como práctica ha sido tradicionalmente considerada, en el mejor de los casos, como un ejercicio aparte aislado del diseño general del proceso de diálogo y, en el peor de los casos, como una disciplina separada con poca interacción entre los dos.

Recientemente, los practicantes de resolución de conflictos han comprendido la necesidad de utilizar la evaluación no sólo como una petición

de los donantes sino como un instrumento para mejorar la práctica y compartir el aprendizaje.

De ser una carga, la evaluación ha sido gradualmente considerada como un medio para introducir energía al proceso. De hecho, las metodologías de evaluación permiten a los practicantes y participantes re-enfocar el proceso y reconsiderar los insumos, las metas y el impacto.

‘El paso de un enfoque en el uso externo de la evaluación hacia usos internos de la misma refleja una creciente madurez del campo del diálogo.’

Participante Durante el taller se presentó un análisis comparativo de tres procesos de evaluación: los casos de Colombia y Jamaica, en donde se aplicó la metodología de escenarios cívicos, y el caso de Argentina en donde se empleó la metodología de mesa redonda sectorial. Según explicaron los autores, ‘ninguno de los tres diálogos tenía instalado algún tipo de sistema de monitoreo preestablecido. No se definió ningún indicador antes de que los diálogos empezaran y ninguna entidad formal estaba a cargo de implementar un sistema de monitoreo orientado al aprendizaje5’.

‘La evaluación es una forma de mantener la energía en el proceso y de abordar y atraer nuevos participantes al proyecto’.

Participante

La evaluación ayuda a establecer metas y expectativas realistas Los participantes en el taller recomendaron que la evaluación sea parte del diseño de una intervención de diálogo ya que ayuda a enfocar el proceso en metas e impactos buscados,

5 Retolaza, I y Díez Pinto, E. (2007). Evaluating Multi-Stakeholder Dialogues: a Comparative Analysis (Evaluando Diálogos Multiactor: un Análisis Comparativo)

8

E VA LU A N D O E L I M PA C TO D E LO S P R O C E S O S D E D I Á LO G O

realistas y alcanzables. De hecho, uno de los problemas identificados por los practicantes y los donantes es que, a fin de lograr el financiamiento, los gerentes de proyecto que utilizan el diálogo como parte del diseño del proyecto o los mismos practicantes de diálogo tienden a presentar metas confusas y no realistas a la comunidad de donantes. De forma más precisa, las metas y el impacto buscado que se describen en las propuestas de financiamiento tienden a enfocarse en el nivel macro mientras que, tal como se mencionó anteriormente, no existe casi ninguna posibilidad de demostrar la relación existente entre una iniciativa de diálogo y un cambio en los niveles políticos, sociales y económicos macros.

Adicionalmente, la comunidad de donantes necesita ser concientizada sobre los resultados esperados de un proceso de diálogo, su potencial y también sus limitaciones. Los donantes tienden a esperar resultados o contribuciones que un proceso de diálogo puede no estar en capacidad de lograr. No estamos diciendo que los procesos de diálogo no tengan ningún impacto a nivel macro pero, en general, esto no debe considerarse como el área principal de enfoque cuando se esté buscando financiamiento puesto que es extremadamente difícil probar la efectividad de las iniciativas de diálogo en ese nivel. Presentar metas a nivel macro implicaría conclusiones distorsionadas con poco sustento y que, en última instancia, conducirán a frustraciones no sólo del lado de los donantes sino también del lado de los participantes si se les dice que dicho proceso conducirá a un cambio societal, cuando eso no sea del todo obvio. Debemos ser cuidadosos al manejar expectativas.

Las metas contempladas, acordadas dentro del equipo de diálogo y con participantes y donantes, ayudarán a definir la teoría de cambio utilizada por los practicantes de diálogo. La teoría influirá todos y cada uno de los aspectos del diseño e implementación del diálogo.

Monitorear y evaluar apropiadamente un proceso de diálogo significa hacer visibles los supuestos subyacentes de los practicantes de diálogo.

Las buenas estrategias de evaluación transforman el pensamiento deseado en pensamiento cuidadoso sobre las metas a lograr, su factibilidad y las condiciones requeridas para

ALGUNAS REFLEXIONES DESDE EL CAMPO

alcanzar los objetivos establecidos. La evaluación identifica los insumos y actividades necesarios para desarrollar el proceso de diálogo así como la serie de productos cuyas combinaciones conducen al logro de resultados específicos, los cuales al combinarse llevan a un impacto buscado o no buscado.

La evaluación ayuda a reflexionar sobre los elementos clave del diseño La primera parte de esta sección pretende mostrar la necesidad de metas realistas cuando el diálogo ha sido definido como la herramienta apropiada a utilizar en la búsqueda de entendimiento entre partes interesadas. La evaluación también debe ser reflexiva al seleccionar al diálogo como la metodología de intervención. De hecho, puede ser que el diálogo no sea la herramienta correcta a usar bajo contextos específicos: por ejemplo, cuando el nivel de conflictividad es demasiado alto y cuando no puede garantizarse un espacio seguro.

El diálogo como parte de una ‘caja de herramientas’ de intervenciones Por lo tanto, es importante considerar que el diálogo como proceso, y no como enfoque, forma parte de una ‘caja de herramientas’ de resolución de conflictos. No es la solución para todos los problemas y utilizarlo independientemente del contexto en el cual deberá operar sin considerar ni sopesar otras herramientas de resolución de conflictos y la creación de consensos constituye un error que la evaluación deberá ser capaz de identificar y ayudar a prevenir.

Pensando al límite, la elección del diálogo también puede compararse con la elección de no intervenir en la prevención de una crisis.

No intervenir puede conducir a un conflicto que provoque cambios societales más rápidos y mayores. Podríamos considerar que el diálogo, al igual que muchos procesos de prevención de conflictos y otros tipos de intervenciones, como la ayuda humanitaria, pueden prevenir estas crisis y bloquear o posponer el cambio positivo.

Para escoger el instrumento correcto es crucial hacer un análisis cuidadoso del contexto en el cual tendrá lugar la intervención. Dicho

9

análisis debe incluir una revisión de los asuntos en juego, los actores que deben involucrarse en un proceso, las dinámicas de poder y una revisión exhaustiva de intervenciones pasadas.

De forma similar, antes de hacer una evaluación, especialmente si es externa o sucede mucho tiempo después de que tuvo lugar el evento a evaluar, debe prepararse un análisis meticuloso del contexto, los actores y los asuntos en juego.

Gente clave versus más gente Uno de los elementos clave del diseño del proceso es la selección de participantes. Dependiendo de la teoría de cambio seleccionada por los practicantes de diálogo, los grupos meta pueden variar y el nivel social involucrado puede ser diferente (diálogo de la élite vs. diálogo de bases).

Fuente: Mary B. Anderson y Lara Olsen, Confronting War: Critical Lessons for Peace Practitioners (Confrontando la guerra: Lecciones cruciales para los practicantes de la paz) Cambridge, MA: The Collaborative for Development Action, Inc., 2003), pág. 69 .

Cuando el diálogo está dirigido a un cambio en las políticas, lo que significa que la meta del diálogo es desarrollar contenidos para una mayor incidencia o para agendas públicas, la apropiación del proceso de diálogo por parte de los tomadores de decisiones nacionales o locales es muy importante para salvar la brecha entre el diálogo y la toma de decisiones en políticas.

El diálogo es un instrumento complementario para las instituciones democráticas en cuanto ayuda a fortalecer instituciones débiles o de transición en las que la cultura política es disfuncional o anacrónica. Por el otro lado, elegir no incluir a tomadores de decisiones en el proceso de diálogo puede: 1) poner en riesgo la futura implementación de acuerdos y acciones, 2) poner en peligro lo que fue acordado y/o hecho durante el diálogo. Por otra parte, incluir tomadores de decisiones en el proceso requerirá un buen manejo del poder.

El Estado o los actores políticos pueden involucrarse de diferentes maneras: los

10

funcionarios de alto rango no siempre necesitan participar directamente en el proceso pero deben estar involucrados en el mismo desde un inicio, ser conscientes de los acuerdos alcanzados y cumplir el rol de interlocutores para la implementación de las propuestas definidas por los participantes. Hay muchas formas de comprometer a las partes interesadas pero es correcto suponer que el involucramiento de la élite es esencial para influir en el nivel sociopolítico o el proceso estará condenado al fracaso. En Colombia y Jamaica no se creó el vínculo con los hacedores de políticas y los resultados del proceso de diálogo no fueron implementados por los políticos pues éstos no se sentían conectados con los acuerdos alcanzados.

Esto es probable que ocurra cuando los diálogos en torno a políticas son llevados a cabo por actores sociales (la sociedad civil), quienes tienden a no tomar en cuenta la necesidad de incluir a los hacedores de políticas en las etapas tempranas del proceso y no sólo cuando el diálogo ha concluido.

El manejo del espacio político desde el comienzo, es crucial. Si los tomadores de decisiones participan directamente en el diálogo o no es algo que tiene mucho que ver con las conexiones entre líderes políticos clave y el proceso de diálogo. El equipo de diálogo necesita reunirse con ellos y establecer buenos contactos: la implementación de redes es esencial para obtener el compromiso de las esferas más altas y encontrar aliados dentro de la clase política. Por esto es tan importante la composición de un equipo de diálogo: necesita ser aceptado por las partes interesadas, mantener la confianza, y apoyar y proteger el proceso de las amenazas a su éxito. Cada miembro necesita ser reconocido como una persona imparcial y objetiva, equidistante de los diversos grupos representados en el diálogo. Cuando los convocantes desean la participación de líderes políticos de alto nivel en el proceso, necesitan asegurarse que no habrá manipulación alguna y que dichos políticos no sabotearán el proceso.

Si no participan tomadores de decisiones en el proceso, debe manejarse ese espacio de forma tal que se cree alguna apropiación cuando llegue el momento de implementar los acuerdos generados por el diálogo. Al final del proceso, es importante para el equipo de diálogo acompañar a los tomadores de decisiones en la implementación de las decisiones que surgieron

E VA LU A N D O E L I M PA C TO D E LO S P R O C E S O S D E D I Á LO G O

del diálogo. La ausencia de seguimiento después del diálogo podría limitar la influencia de éste en los niveles superiores, niveles éstos que pueden conducir a contribuciones a nivel macro. La falta de acompañamiento por parte del equipo de diálogo puede llevar a una ‘fatiga del diálogo’ (los acuerdos alcanzados no influyen en los tomadores de decisiones).

El manejo del poder Los participantes en el taller definieron el diálogo como una herramienta de distribución de poder. El diálogo funciona mejor cuando su diseño y facilitación toman en consideración el poder como una dimensión que necesita ser abordada. El poder equilibrado o asimétrico crea dinámicas que deben ser tomadas en cuenta dentro, en torno a, y durante todo el proceso de diálogo y su espacio. Uno de los aspectos más complicados al organizar un proceso de diálogo es la selección de sus participantes. Usualmente, los practicantes de diálogo se preocupan por el riesgo potencial de que los participantes poderosos manipulen políticamente y, en consecuencia, el proceso sea contraproducente al reforzar las desigualdades de poder.

El diálogo como una herramienta para la redistribución de poder ‘Existe una fuerte relación entre el diálogo y el poder. Mediante el diálogo pueden modificarse las relaciones existentes de poder en la medida en que muchas más personas participan en el proceso de desarrollar alternativas a sus problemas.’

Elena Díez Pinto, al resumir las discusiones sobre poder y diálogo.

Un promotor de diálogo explicó que una forma de convencer a personas de alto nivel que tienen mucho poder para que participen en un proceso de diálogo es mostrándoles que ‘dentro del salón’ deben respetar con igualdad las visiones de los demás sin intentar convencerlos o amenazarlos pero que, ‘dentro y fuera del salón’,

ALGUNAS REFLEXIONES DESDE EL CAMPO

ganarán respeto y legitimidad. En ese sentido, la legitimidad es una forma constructiva de poder.

Tal y como lo mencionan algunos practicantes de diálogo, los líderes son a veces criticados por sus propios grupos de influencia por participar en ejercicios de diálogo pero los resultados positivos de dichos procesos pueden terminar incrementando su legitimidad, consolidando así su rol como representantes.

También surgió el tema del reto en torno a la selección de participantes como representantes de su comunidad o de un grupo particular de interés. Iñigo Retolaza resumió que existe la necesidad de garantizar que los participantes participen de buena fe y que son ellos los responsables de los resultados del proceso y de ‘canalizar efectivamente las voces e intereses de aquellos a los que dicen representar’6. La participación de líderes en un diálogo es todo menos una decisión neutral: influye el diseño central, el impacto y el éxito del proceso seleccionado.

Adicionalmente, como lo señala Retolaza, los participantes mencionaron la importancia estratégica de trabajar a nivel local, especialmente cuando se está tratando con una situación de poder o élites: ‘la descentralización de diálogos públicos hacia niveles subnacionales fue entendida como un mecanismo para democratizar el diálogo en sí (trascendiendo los diálogos de las élites) y para salvar la brecha entre los representantes y sus grupos de influencia.

Por otro lado, acercar los diálogos públicos a los ciudadanos comunes fue considerado como un mecanismo sano para incrementar la apropiación y ampliar la aceptación de los resultados logrados y, por consiguiente, de las acciones a tomar más adelante.’7

El rol de los medios Dependiendo del contexto en el cual se desarrolle el diálogo, los medios pueden ser un actor interno o externo que revigoriza un proceso introduciendo algo de presión constructiva

6 Retolaza, I. (2007). Dialogue and Power Relations: How far can we go? (El Diálogo y las Relaciones de Poder: ¿Hasta dónde podemos llegar?)

7 idem

11

sobre los participantes para que cumplan con los acuerdos alcanzados, o bien que lo hace peligrar al sacar a luz discusiones delicadas, tomando partido o cuestionando la validez del proceso. Algunas veces es mejor incorporar a los medios desde un inicio de forma que la opinión pública sea consciente del diálogo; otras veces es preferible mantener la confidencialidad de las discusiones hasta que el diálogo termine.

Los practicantes de diálogo deben sopesar cautelosamente la participación de los medios durante el diseño del proceso. La opinión pública debe recibir una cobertura amplia con mensajes claros y poderosos; por lo tanto, es muy importante trabajar con los medios para que los mensajes transmitidos correspondan a la realidad del proceso.

equilibrio de género, activistas sociales, facilitadores, convocantes. Una comunidad de aprendizaje comprometida y que incluya a estos diversos actores creará y mantendrá la tecnología de punta del diálogo y permitirá avanzar de pensamientos fragmentados hacia significados compartidos.

2.2.2 DESPUÉS: Proponer guías constructivas para acciones futuras

PROPÓSITOS DE LA EVALUACIÓN:

Tal como se mencionó anteriormente, una de las metas al evaluar procesos de resolución de conflictos es mejorar la práctica mediante la identificación de lecciones aprendidas clave a lo largo de todo el proceso y al final. Ser reflexivos permite a los practicantes de diálogo mejorar sus destrezas, evitar cometer los mismos errores, y definir mejor sus instrumentos para provocar el cambio social.

Es por esta razón que las evaluaciones deben estar orientadas hacia la acción futura. Deben explorar los éxitos y fallas de cada proceso, tanto en términos de proceso como de resultados, e identificar aquello que puede hacerse en forma diferente para que los practicantes de diálogo maximicen la efectividad de la metodología utilizada y adapten su teoría de cambio a contextos e interacciones específicos.

De este modo, una característica importante de una buena evaluación es que proporcione una guía constructiva para iniciativas futuras y que ayude a construir la práctica y la legitimidad del diálogo como un instrumento válido y efectivo para el cambio social.

Por consiguiente, el desarrollo de conocimiento sobre el diálogo requiere de un enfoque de aprendizaje colaborativo y multiactor que incluya a académicos, practicantes, donantes, promotores, políticos, diferentes generaciones,

12

El rol y propósito de la evaluación depende realmente de la definición dada al diálogo y, de si, se le entiende como un proceso que tiene un inicio y un fin o como un enfoque que puede aplicarse a cualquier tipo de proceso de interacción humana.

Medir la contribución del diálogo al: • Calcular su influencia en el cambio societal • Identificar su impacto en los niveles micro, mezzo y macro • Evaluar, tanto el proceso, como los resultados

Aprender del proceso y construir el campo del diálogo al: • Ayudar a establecer metas y expectativas realistas • Reflexionar sobre los elementos clave del diseño • Definir de mejor manera el éxito en un proceso de diálogo • Proponer una orientación constructiva para la acción futura

Ser una herramienta para la rendición de cuentas

Ser una herramienta para la incidencia Basado en las discusiones que tuvieron lugar durante el taller

E VA LU A N D O E L I M PA C TO D E LO S P R O C E S O S D E D I Á LO G O

3

Retos

L

a evaluación de procesos de diálogo presenta retos especiales que Peter Woodrow, de CDA-Collaborative Learning Projects, resume así: los tiempos, el rastreo y la medición de impactos es una tarea difícil ya que algunos efectos pueden ser observables inmediatamente y otros mucho después que el proceso ha concluido. En términos del rastreo y medición del impacto, Woodrow identifica tres retos principales: 1) medir lo no cuantificable, 2) la dificultad en la atribución (qué cosas podemos atribuir directamente al proceso de diálogo en términos de cambio social), y 3) el efecto negativo potencial de la atribución.

el aprendizaje. Al identificar las lecciones aprendidas clave, la evaluación contribuye al mejoramiento del diálogo como un campo de práctica. La evaluación promueve la práctica reflexiva al ayudar a los practicantes a mantener el foco en las metas a lograr y proporcionarles herramientas e indicadores que contribuirán a valorar su avance. También ayuda a mejorar el proceso. Al establecer criterios y buscar la excelencia, la evaluación contribuye a garantizar un proceso ético y profesional cuando se le incluye desde el inicio, especialmente cuando la evaluación incluye indicadores orientados a procesos e indicadores orientados a resultados.

Adicionalmente a este análisis, el grupo identificó otros seis retos y dilemas. Estos retos y dilemas tienen que ver con: 1) el propósito de la evaluación, 2) su ámbito, 3) su uso, 4) su foco, 5) su delimitación, y 6) su naturaleza. Finalmente, los participantes cuestionaron el rol y la pertinencia de los indicadores, y la utilización de criterios como un nivel más relevante y estratégico para evaluar el diálogo.

Como se mencionó previamente, la comunidad de donantes y los practicantes de diálogo pueden tener visiones diferentes del propósito de evaluar procesos de diálogo.

Los donantes tienden a estar muy enfocados en la calidad del proceso diseñado por los practicantes de diálogo y en la medición de su éxito (rendición de cuentas), mientras que para los practicantes de diálogo la evaluación debe también cumplir el rol de de construir la práctica y mejorar el aprendizaje entre la comunidad de diálogo (mejoramiento de la práctica). La evaluación y sus hallazgos deben entonces ser relevantes tanto para los actores internos como para los externos, y los criterios e indicadores utilizados deben servir para ambos propósitos.

3.1 Propósito: Rendición de cuentas vs. Mejora de la práctica El objetivo original de la evaluación era medir el impacto o contribuciones del diálogo y hacer responsables de ello a los practicantes. La comunidad de donantes ha sido muy entusiasta en cuanto a ‘ver los resultados’ de los procesos como el diálogo, que a menudo son considerados procesos ‘blandos’. El principal objetivo al evaluar un diálogo era mostrar su impacto.

Progresivamente, la evaluación se ha ido convirtiendo en una herramienta para

ALGUNAS REFLEXIONES DESDE EL CAMPO

3.2 Ámbito: Micro, mezzo, macro vs. Corto plazo/Largo plazo Dependiendo de la teoría inicial de cambio y de la contribución esperada del proceso de diálogo, el marco a desarrollar debe definir un ámbito y tiempos estratégicos para garantizar

13

que el impacto buscado y el no buscado estén considerados en cada estrato societal, en el estrato considerado pertinente para la intervención de diálogo (niveles individual, organizacional y sociopolítico).

Sin embargo, prácticamente no hay indicadores tangibles de cambio que puedan utilizarse para demostrar el vínculo causal existente entre los procesos de diálogo y el cambio societal. En forma más particular, si el proceso de diálogo debiese tener algún impacto en el nivel macro, probablemente tomaría años hacerlo visible. En consecuencia, dos de los principales riesgos que los practicantes de diálogo enfrentan son: 1) la tendencia a usar indicadores ‘distorsionados’ de éxito en el nivel macro (indicadores amortiguados), y 2) la tentación de utilizar erróneamente indicadores micro o mezzo para probar el impacto societal de los procesos de diálogo en el nivel más amplio.

Una de las conclusiones que surgió del taller es que la práctica debe enfocar su trabajo principalmente en la evaluación a dos niveles: micro y mezzo. Estos niveles son los más guardan más pertinencia con las actividades de resolución de conflictos. En un nivel superior, el vínculo causal es muy difícil de demostrar y en realidad puede ser contraproducente buscar el cambio en ese nivel, especialmente dentro de un marco limitado de tiempo. El nivel macro podría ser manejado en forma diferente por parte de los practicantes de resolución de conflictos y las instituciones promotoras pero sin desconectarlo de los otros dos niveles. Uno de los retos principales estriba en cómo vincular realmente el espacio político con el proceso de diálogo.

Dependiendo del nivel de evaluación que estemos considerando (micro, mezzo, macro), algunos diálogos podrán parecer innegablemente exitosos en el nivel micro pero como un candente fracaso en el nivel macro: un diálogo puede ser muy exitoso en cambiar las percepciones entre los participantes y un fracaso en influenciar los procesos de elaboración de políticas.

El camino correcto es mejorar la medición del éxito a nivel micro y a nivel mezzo, insistir en el vínculo entre micro y mezzo (siendo el mezzo el nivel de impacto más estratégico de los procesos

14

de diálogo). Sin embargo, esto no significa que deba descartarse el nivel macro. Al contrario, el nivel macro debe ser tomado en consideración; debe buscarse el impacto pero probablemente desde una perspectiva de mayor plazo.

3.3 Uso: Diseño del proceso vs.

Marco integral La utilización de un marco de evaluación debe ser específica al contexto, amigable para los practicantes de diálogo, suficientemente flexible para adaptarse a la situación cambiante pero también propensa al análisis comparativo entre casos, de forma tal que se puedan extraer las mejores prácticas y compartir el conocimiento.

3.4 Foco: Proceso vs. Resultado Para ser integral, la evaluación debe incluir indicadores de éxito orientados al proceso e indicadores de éxito orientados a los resultados.

La combinación de ambos permitirá a la evaluación hacer responsables a los practicantes y mejorar la práctica. Un proceso de diálogo puede llevar a resultados positivos concretos aunque el proceso haya sido mal conducido, y un diálogo bien gestionado puede conducir a un éxito limitado aún si los acuerdos logrados no se implementan.

3.5 Delimitación: Proceso vs.

Proyecto Generalmente, el diálogo es parte de una intervención o programa mayor, y no está claro si la evaluación puede o debe aislar el impacto generado por el proceso de diálogo por sí mismo o si éste debe evaluarse dentro del marco de la iniciativa más amplia. La experiencia jamaicana ha demostrado el reto de intentar evaluar exclusivamente el impacto del diálogo en particular.

E VA LU A N D O E L I M PA C TO D E LO S P R O C E S O S D E D I Á LO G O

3.6 Naturaleza: estructura y apertura Existen tensiones entre la rigidez de una estructura de evaluación y la naturaleza orgánica de un diálogo que se adapta al contexto y a las dinámicas en las cuales evoluciona.

Uno de los participantes mencionó que si uno se enfoca demasiado en la evaluación puede terminar limitando la flexibilidad del proceso.

La evaluación y la estructura que implica desde el comienzo del proyecto pueden muy bien contradecir la naturaleza orgánica del diálogo que se desarrolla de acuerdo al contexto en el que evoluciona.

Dichas tensiones pueden conducir a frustraciones entre los practicantes de diálogo que siguen el enfoque orgánico y los donantes que tienden a preferir un proceso bien estructurado, el cual fue diseñado desde el comienzo de la iniciativa con criterios e indicadores fijos.

Tiende a ser preocupante emplear la evaluación para convencer a donantes que no forman parte del proceso de diálogo y que no siempre son conscientes del diálogo y las contribuciones esperadas de la intervención. Los malentendidos por parte de los donantes en cuanto a metas y resultados de un diálogo pueden influenciar los propósitos, criterios e indicadores de la evaluación y diferir del tipo de evaluación que mejor encajaría para evaluar la transformación social.

RETOS Y DILEMAS DE LA EVALUACIÓN Rendición de cuentas vs.

Mejora de la práctica ¿Cómo hacer que la evaluación sea relevante para los actores internos y externos, considerando que ambos esperarán el análisis de indicadores diferentes?

Ámbito y tiempos de las contribuciones del diálogo al cambio ¿Cómo evaluar un proceso a nivel micro, mezzo y macro? ¿Cómo combinar eso con las perspectivas de corto, mediano y largo plazo?

Evaluación a la medida vs.

Necesidad de comparación Si los procesos de diálogo son hechos a la medida, ¿cómo diseñar un marco de evaluación que permita el análisis comparativo entre experiencias y a la vez una valoración específica del impacto (producto y resultado) que ha tenido un diálogo en particular?

Proceso vs. Resultado ¿Cómo construir una evaluación que abarque tanto los indicadores orientados a procesos como los orientados a resultados?

Proyecto vs. Proceso ¿Estamos analizando un proceso o un proyecto?

Evaluación estructurada vs.

Proceso abierto ¿Cómo establecer una estrategia estructurada de evaluación y a la vez mantener el proceso abierto y flexible?

Basado en la discusión del Taller Generativo sobre Evaluación, enero 25-26, 2007

ALGUNAS REFLEXIONES DESDE EL CAMPO

15

4

Pensamientos iniciales sobre el marco integral

D

ebido a que cada proceso de evaluación se define junto con la intervención de diálogo, éste guarda una estrecha relación con el contexto. Sería entonces contraproducente y realmente incorrecto, proponer una ‘receta’ para las estrategias de evaluación. No obstante, algunas características se consideran esenciales para contribuir a una estrategia de evaluación exacta, completa y bien articulada. Las metodologías de evaluación son exitosas si son participativas y adaptables, y si son procesos abiertos propensos a un análisis comparativo.

4.1 Principios generales como guía al marco 4.1.1 Participativo y dialógico Para ser exitosos, los procesos de evaluación deben ser participativos de forma que incluyan opiniones, perspectivas e intereses de todas las personas y entidades involucradas en el proceso, utilizando un enfoque dialógico.

La inclusión de la comunidad de donantes en el proceso de evaluación es importante por dos razones. Primero, promueve las discusiones entre los practicantes de diálogo y los donantes en torno a los resultados y el impacto esperados de la intervención, estableciendo así expectativas comunes realistas. En segundo lugar, es también una actividad estratégica puesto que ayuda a convencer a los donantes sobre la validez y el profesionalismo del proceso de diálogo: más que simples conversaciones entre personas, los procesos de diálogo se diseñan para lograr metas y resultados específicos.

ALGUNAS REFLEXIONES DESDE EL CAMPO

Finalmente, incluir a la comunidad de donantes a menudo ayuda a definir una estrategia completa de evaluación. La comunidad de donantes puede ayudar a incluir una perspectiva de la estrategia de evaluación que esté más ‘orientada hacia los resultados’. En efecto, los practicantes de diálogo son muchas veces criticados por estar demasiado enfocados en indicadores ‘orientados al proceso’, mientras que en su mayor parte los donantes están enfocados en los resultados sin dar mucha importancia a los indicadores basados en el proceso. Adicionalmente, la comunidad de donantes está usualmente más interesada en encontrar indicadores de rendición de cuentas mientras que los practicantes de diálogo se inclinan más hacia la búsqueda de lecciones aprendidas y mejores prácticas. La definición de una estrategia común de evaluación ayuda a salvar las brechas existentes entre las dos visiones y a encontrar un número equilibrado de indicadores orientados al proceso y a los resultados, así como indicadores de rendición de cuentas vs. lecciones aprendidas. Para lograr una colaboración y asociación fructíferas, es importante concientizar mejor a la comunidad de donantes sobre la esencia y metas de los procesos de diálogo y desarrollar estrategias tendientes a convencerlos de financiar más procesos abiertos.

Adicionalmente, es esencial involucrar a los participantes del diálogo en el proceso de evaluación desde el mismo inicio. La discusión de los objetivos a lograr y de las limitaciones y oportunidades que presentan las condiciones contextuales y estructurales de una intervención particular de diálogo ayuda a los participantes a establecer con los facilitadores expectativas realistas. Al definir juntos los objetivos del diálogo, el proceso se vuelve de

17

ellos. De este modo, la definición conjunta de la estrategia de evaluación con los facilitadores ayuda a promover la apropiación porque los participantes identifican por sí mismos algunos de los resultados que desean ver emerger de las conversaciones.

Por otra parte, es también muy importante involucrar cuidadosamente en el proceso a autoridades locales o nacionales. Si los gobiernos no estuvieran interesados en participar en un diálogo, involucrarlos en la estrategia de evaluación es una buena forma de convencerlos a tomar parte más activa. Hacerles ver que los procesos de diálogo son más que meras discusiones entre personas y que su impacto puede ser evaluado contribuye a sacarlos de su escepticismo y puede llegar a ser tan fructífero como convencerlos para que participen realmente en el proceso.

Sin embargo, debemos ser cuidadosos al diseñar la estrategia de evaluación en forma participativa. Si no se lleva a cabo cuidadosamente, el proceso podría conducir a algunas manipulaciones por parte de los donantes o de las autoridades locales o nacionales. Ésta es la razón por la cual el diseño común de evaluaciones entre varias partes interesadas de un proceso de diálogo debe utilizar el enfoque dialógico. Tal y como se mencionó previamente, un enfoque dialógico busca aprender uno del otro, escuchar sin intentar convencer a los otros, aceptar los valores y perspectivas de los demás, y buscar un entendimiento común. El diálogo es también una herramienta para diseñar y conducir una evaluación de un proceso de diálogo.

De este modo, además de ser una herramienta para el aprendizaje y la rendición de cuentas, la evaluación se ha convertido también en un instrumento que contribuye al empoderamiento de las partes interesadas. Acordar una estrategia sólida de evaluación contribuye a un diálogo exitoso.

4.1.2 Adaptable La segunda característica de un proceso exitoso de evaluación es su propensión a adaptarse al contexto en el cual se organiza el diálogo

18

pero también a las dinámicas y metas que emergen a medida que el proceso se desarrolla.

Tal como se mencionó anteriormente en este documento, los procesos de diálogo no operan en un vacío. Al contrario, se van construyendo sobre un contexto particular, sobre dinámicas temporales o permanentes cuya evolución es a menudo difícil prever. Pueden surgir tensiones políticas o sociales, los equilibrios de poder pueden modificarse, pueden emerger nuevas ideas y perspectivas. Para estar en capacidad de evaluar los factores externos (exógenos) e internos (endógenos) de un proceso exitoso de diálogo, la evaluación necesita tomar en cuenta los parámetros contextuales y estructurales. En consecuencia, puede haber marcos e indicadores diferentes para etapas diferentes del proceso de diálogo.

4.1.3 Abierto a consecuencias buscadas y no buscadas En tercer lugar, el diseño de la evaluación debe permitir que tanto los resultados buscados como los no buscados sean reflejados y analizados. Para poder captar estos resultados buscados y no buscados, el proceso debe ser suficientemente abierto y receptivo a las nuevas consecuencias. Esto implica que los indicadores de avance/cambio/impacto puedan modificarse o adicionarse durante y después de que el proceso tuvo lugar.

4.1.4 Propenso al análisis comparativo Adicionalmente, los participantes en el taller añadieron un criterio final: que la estrategia de evaluación sea propensa al análisis comparativo.

Tal como se mencionó anteriormente, una de las metas de la evaluación es participar en la creación de un campo de práctica mediante la identificación de lecciones aprendidas (lo que ayuda a mejorar las metodologías de diálogo) y la construcción de credibilidad (mostrando resultados que no son puntuales sino que han sido alcanzados sistemáticamente por ciertos tipos de diálogo). Para poder lograr lo anterior, las experiencias y resultados del diálogo – aunque todos ellos son específicos al contextodeben ser analizados a través del mismo prisma.

E VA LU A N D O E L I M PA C TO D E LO S P R O C E S O S D E D I Á LO G O

CASO DE PAÍS

ENFOQUE TEÓRICO

Jamaica

Teoría de Cambio del Diálogo Sostenido Capital social del Banco Mundial Marco de implementación

LLUVIA DE IDEAS SOBRE EL MARCO COMÚN DE EVALUACIÓN:

Argentina

La evaluación como un proceso integral y continuo Enfoque constructivista Participativo y dinámico

El marco debe permitir no sólo la comparación entre estudios de caso sino también entre herramientas de resolución de conflictos. Es importante comprender las compensaciones de cada proceso, especialmente si estamos hablando en términos de evaluación.

Colombia

El potencial transformador del diálogo Cambio de tercer orden Historia de aprendizaje

El marco debe permitir la práctica reflexiva.

En lugar de contar con indicadores comunes de éxito, el marco general podría enfocarse en criterios generales comunes. Los criterios e indicadores de línea base para comparaciones cruzadas deben completarse con indicadores contextuales.

En última instancia, todos los procesos de diálogo buscan provocar un cambio societal positivo mediante la creación de relaciones constructivas dentro o entre comunidades.

Un marco común permitiría extraer lecciones aprendidas de varios ejemplos y así construir lecciones aprendidas al nivel de la práctica; lecciones aprendidas que sean más generales y que no estén conectadas a un contexto en particular.

Además de permitir la comparación entre casos, el marco debe además permitir la comparación con otras herramientas de resolución de conflictos como la mediación o la negociación.

ALGUNAS REFLEXIONES DESDE EL CAMPO

El marco debe permitir la identificación de resultados buscados y no buscados.

El marco debe ser capaz de distinguir entre una muy buena implementación del diálogo y el mismo diálogo, siendo totalmente irrelevante a nivel sociopolítico.

El marco debe tomar en consideración el contexto: esto no es fácil porque el contexto, que es siempre idiosincrático, juega un papel importante en cómo se diseña un proceso y qué resultados pueden esperarse.

La evaluación es una herramienta para un medio: el marco debe ser útil y relevante para los practicantes de diálogo.

El marco debe diseñarse de forma que permita identificar lecciones aprendidas y buenas prácticas ya que esto ayudará a construir el campo del diálogo.

El marco debe ser útil no sólo para evaluar resultados y productos sino para el diseño del proceso.

Vincular las metodologías con los enfoques teóricos: puede ser que el campo no haya aún desarrollado o utilizado suficiente conocimiento teórico sobre cómo vincular el nivel de cambio individual con el nivel organizacional y el nivel societal. Las metodologías necesitan estar basadas en teorías y no sólo en la experiencia acumulada y en las mejores prácticas.

19

4.2 Implicaciones en términos de medición 4.2.1 Indicadores vs. Criterios Indicadores: Los indicadores proporcionan evidencia del logro de resultados particulares. Permiten a los practicantes valorar el avance logrado hacia la consecución de un resultado o meta en específico.

No obstante, el mero uso de indicadores para medir la contribución de los procesos de diálogo al cambio societal positivo ha sido cuestionado.

Durante la discusión sobre la pertinencia de los indicadores, surgieron numerosas inquietudes:

Las metas vagas, amplias o grandiosas conducen a indicadores pobres y a una interpretación distorsionada de los mismos: es tremendamente importante tener metas realistas.

Los indicadores predefinidos pueden limitar el panorama observado, y los evaluadores/ practicantes pueden pasar por alto oportunidades importantes para tener un impacto.

Los indicadores se convierten en sustitutos de un buen análisis e interpretación. Los indicadores no deben equipararse con las metas. Tal y como mencionó Koenraad Van Brabant, los indicadores son únicamente la indicación de ‘algo más’. Es ése algo más lo que importa y no el indicador por sí mismo.

‘El indicador más confiable en Mostar, Bosnia-Herzegovina, fue el tipo de música que tocaban en los bares locales. Si el nivel de tensión era muy alto, tocarían música nacionalista en ambos lados. Si la tensión era relativamente baja, entonces tocarían música pop general de Europa del este o de América. Desde la perspectiva local, ése era el indicador más claro.’

Participante A medida que el proceso evoluciona para adaptarse a contextos generalmente volátiles podría ser necesario modificar los indicadores durante el transcurso de un programa.

El diálogo, como un proceso de duración indefinida, hace que la definición de indicadores predeterminados y limitados sea casi contradictoria con la misma naturaleza del proceso. Algunos procesos

20

son espontáneos y poco estructurados.

Algunos practicantes temen que la creación de indicadores pueda limitar la libertad del proceso. Al mismo tiempo, contar con demasiada libertad y metas evasivas podría conducir a una contribución o impacto restringido al cambio positivo.

Énfasis excesivo en medidas cuantitativas cuando el diálogo a menudo involucra resultados e impactos no cuantificables.

‘Los indicadores deberían ser la forma de garantizar que existan criterios.’

Participante Ante estas limitaciones, algunos practicantes cuestionaron realmente el enfoque en indicadores ya que es posible que estos no sean capaces de identificar hasta qué punto el cambio institucional y social puede atribuirse a una intervención de diálogo. Desde la perspectiva de los participantes, enfocarse en criterios y no en indicadores pareciera ser más apropiado para la definición de un marco de evaluación.

‘Necesitamos ser muy cuidadosos con no equiparar la evaluación con los indicadores, pues sería muy peligroso caer en eso.’

Participante

E VA LU A N D O E L I M PA C TO D E LO S P R O C E S O S D E D I Á LO G O

Propuesta para categorizar los indicadores: Peter Woodrow, experto en resolución de conflictos, propuso agrupar los indicadores en tres categorías principales: nivel de Participante/ Individual, nivel de Proyecto/Programa, y nivel Sociopolítico. La agrupación de indicadores en categorías puede lograr los siguientes resultados: 1) abordar todos los niveles de contribución al cambio social (desde el nivel individual hasta el macro), 2) entender cómo estos indicadores muestran la pertinencia del diálogo para tratar con los factores impulsores del conflicto.

Los criterios podrían ser fijos y predeterminados (los mismos criterios para todas las experiencias de diálogo) mientras que los indicadores dependerían del contexto en el que el diálogo tiene lugar y, por ende, tendrían que adaptarse a la situación y a su evolución en el tiempo. Los indicadores tendrían entonces el propósito de corroborar los criterios.

4.2.2 El Impacto Muchos de los participantes no se sintieron cómodos con el término ‘impacto’ y ‘cómo medir el impacto’. El término pareciera ser demasiado amplio y poco manejable. Otros participantes propusieron estudiar las contribuciones (positivas y negativas), la influencia, los efectos, los efectos colaterales y los resultados indirectos.

Lo mismo aplica a la utilización del término ‘causalidad’ cuando los procesos de diálogo no son lineales. En este caso, es mejor hablar de evidencia o argumento.

4.2.3 Herramientas para la evaluación Las siguientes herramientas fueron propuestas durante el seminario:

Entrevistas grupales/individuales

Análisis de narraciones

Carta de testimonio

Análisis de efectividad de costos

Propuesta de Criterios de Evaluación8: 1. pertinencia – lo apropiado del diálogo en el abordaje de los asuntos clave en cuestión 2. efectividad – en lograr las metas planteadas 3. eficiencia – de la entrega de productos y resultados en forma oportuna

Matriz de la participación sobre la base de género

Cobertura de prensa Percepción de la opinión pública (encuestas)

4. impacto – resultados/efecto del diálogo en los niveles micro/mezzo/macro

Dichas herramientas podrían formar parte de la evaluación y estar conectadas con los indicadores y los criterios.

5. sostenibilidad – de las relaciones mejoradas y de los mecanismos establecidos para implementar los acuerdos resultantes del diálogo

El desarrollo del marco sería diseñado por académicos y practicantes de diálogo sobre la base de estas consideraciones iniciales.

6. vínculos – con gente clave y con más gente 7. consistencia con los valores de la prevención de conflictos y de la construcción de paz 8. cobertura – de las varias dimensiones de los conflictos (internacional/regional/interna/ intergrupal 9. coherencia

8 Propuesta de Peter Woodrow en el Taller Generativo sobre Evaluación, enero 25-26, 2007

ALGUNAS REFLEXIONES DESDE EL CAMPO

21

5

Conclusiones y retos hacia adelante:

A

ctualmente, el campo y la práctica del diálogo experimentan una discrepancia entre el marco metodológico desarrollado por practicantes para montar los mejores procesos de diálogo y la riqueza metodológica de las metodologías de evaluación disponibles.

Para continuar fortaleciendo el diálogo como un campo, los practicantes deben salvar la brecha y garantizar que la evaluación y el diálogo se refuercen mutuamente: la evaluación ayuda a diseñar y mejorar los diálogos en tanto que el diálogo puede ser el enfoque utilizado para diseñar una estrategia de evaluación.

1. Diseñar un Marco Común de Evaluación Los esfuerzos de evaluación sirven para dos propósitos principales: 1) medir la contribución del diálogo al cambio societal positivo, haciendo así que los practicantes de diálogo asuman la responsabilidad y lo utilicen como herramienta para la incidencia, y 2) promover el aprendizaje reflexivo y la práctica mejorada del diálogo como una metodología para resolver asuntos complejos en forma consensual. Se espera que el desarrollo de un marco Común para la evaluación concilie ambos propósitos y vincule exitosamente la teoría con la práctica. El diseño de dicho marco incluirá a practicantes de diálogo y resolución de conflictos así como a académicos, y se nutrirá con las discusiones dentro de la comunidad de práctica en crecimiento alrededor del mundo.

complejos y provocar un cambio positivo.

Aunque el desarrollo de un marco integral para la evaluación es un ejercicio necesario, está claro que también son pertinentes muchos otros análisis, pensamientos, experiencias y lecciones aprendidas compartidas sobre cómo mejorar la práctica. Entre todo esto, el manejo del poder y el tratamiento efectivo del espacio político son áreas significativas de estudio y reflexión para desarrollar más este campo de práctica.

Los participantes recomendaron mantener discusiones continuas entre los miembros de la Comunidad de Práctica sobre el poder y el manejo del poder dentro y alrededor del proceso de diálogo.

3. Transmitir mejor el rol y los propósitos del diálogo a los Hacedores de Políticas Durante el taller, el Presidente Carter enfatizó la necesidad de elaborar una nota de política dirigida a tomadores de decisiones para explicarles los roles y propósitos del diálogo y los objetivos que ha logrado. Dicho documento, en formato amigable, se utilizaría como una herramienta de incidencia pertinente para los funcionarios de alto nivel.

4. La Comunidad de Diálogo jugará un rol clave al garantizar el continuo crecimiento del diálogo como un campo de práctica.

2. Entender mejor y manejar el poder En el centro de las discusiones sobre la evaluación siempre estuvo presente la necesidad y la meta transversal de desarrollar procesos exitosos de diálogo tendientes a resolver asuntos societales

ALGUNAS REFLEXIONES DESDE EL CAMPO

23