2007
A GOSTO ww.segeplan.gob.gt
Redacción: Arq. Marlyn Marín (SEGEPLAN) Revisión: Arq. Susana Palma (SEGEPLAN) Jacksonvilliam Nagornni (FAO) Ilustración: Arq. Marlyn Marín
Edición Agosto 2007 Se autoriza la reproducción total o parcial citando la fuente.
ÍNDICE 1. Generalidades 2. Definiciones 3. Aspectos a Considerar en el Seguimiento & Evaluación 3.1 Indicadores de proceso 3.2 Indicadores de desempeño 3.3 Preguntas estratégicas de SS&Ev ¿Por qué, o por qué no? 3.4 Datos vrs. decisiones 4. Aplicación del seguimiento y evaluación 4.1 Análisis de fortalezas, oportunidades, debilidades y amenazas (FODA) 5. Pasos para el desarrollo del sistema de seguimiento y evaluación 5.1 Cómo hacerlo? 6. Comunicación Social Referencias Bibliográficas Anexo Índice de Esquemas Esquema 1: Las 3E del SS&Ev Esquema 2: Enfoque de sistemas Esquema 3: Lógica de un proyecto Esquema 4: Ejemplo de FODA para el SS&Ev Esquema 5: Ejemplo de boleta para el SS&Ev Esquema 6: Sistematización del proceso de seguimiento Esquema 7: Formato de evaluación que se utiliza en los talleres PET/PDM
5 7 9 10 10 12 13 14 14 16 17 21 22 23
9 11 12 15 20 21 24
La importancia de planificar radica en la necesidad de saber hacia donde queremos ir y qué queremos conseguir. La importancia del seguimiento y evaluación radica en saber qué camino estamos recorriendo y cuánto nos estamos acercando o alejando de nuestros objetivos. Marlyn Marín
4
SIGLAS CODEDE COMUDE FAO FODA GDD GRRD ID IP INE INGUAT MAGA MDTA MDTF MGT MINEDUC MOSE MSPAS ONG OMP PDM PET SEGEPLAN SINAPRE SINPET SNCI SNIP SS&Ev UTD
y
ABREVIACIONES S A IGLAS Y
BREVIACIONES
Consejo Departamental de Desarrollo Consejo Municipal de Desarrollo Organización de las Naciones Unidas para la Agricultura y la Alimentación (por sus siglas en inglés) Fortalezas, Oportunidades, Debilidades, Amenazas Gestión Desconcentrada y Descentralizada Gestión de Riesgo para la Reducción de Desastres Indicador de desempeño Indicador de Proceso Instituto Nacional de Estadística Instituto Guatemalteco de Turismo Ministerio de Agricultura, Ganadería y Alimentación Modelo de Desarrollo Territorial Actual Modelo de Desarrollo Territorial Futuro Modelo de Gestión Territorial Ministerio de Educación Módulo de Seguimiento y Evaluación Ministerio de Salud y Asistencia Social Organización no Gubernamental Oficina Municipal de Planificación Plan de Desarrollo Municipal Plan Estratégico Territorial Secretaría de Planificación y Programación de la Presidencia Sistema Nacional para la Preinversión Sistema Nacional de Planificación Estratégica Territorial Sistema Nacional de Cooperación Internacional Sistema Nacional de Inversión Pública Seguimiento y Evaluación Unidad Técnica Departamental
5
Guía de Seguimiento y Evaluación PET/PDM
1.
GENERALIDADES
El seguimiento y evaluación (SS&Ev) es parte de la vida cotidiana de cada persona; es “sentido común”: Si algo no resulta como se había planificado, se busca el porqué y, luego, se modifican actividades y/o redefinen objetivos. En este sentido, el proceso de SS&Ev debe verse como una parte esencial del proceso cotidiano de aprendizaje o de toma de decisiones de cada persona y del proceso de Planificación Estratégica Territorial (PET) o del Plan de Desarrollo Municpal (PDM). El SS&Ev es un aspecto esencial de todo proyecto participativo, permite a la población del territorio determinar el progreso de los PET/PDM y tomar las medidas necesarias para resolver problemas, haciendo ajustes en los objetivos y actividades sin perder de vista que este proceso tiene el propósito de ser un instrumento de apoyo para mejorar la eficiencia y efectividad de los actores en el manejo de actividades ya que aprenden a tomar conciencia de los factores que influyen en el cumplimiento de los objetivos planteados (cuánto se alejan o cuánto se acercan al mismo). Este proceso permite: l l l l l l l
Aumentar el control de los actores (comisión de SS&Ev) sobre el proceso de los PET y los PDM. Aumentar la credibilidad a través de la difusión de resultados. Analizar la evolución del avance. Contar con una base que permita examinar el progreso e impacto que se está generando. Mejorar la toma de decisiones. Identificar y anticipar problemas, permitiendo así tomar las medidas necesarias para resolverlos. Medir bienes y/o servicios generados, efectos directos e indirectos en el corto (resultados), mediano y largo plazo (impactos). El proceso de SS&Ev y la toma de decisiones van intimamente ligados.
6
La Secretaría de Planificación y Programación de la Presidencia (SEGEPLAN) facilita el proceso de planificación participativa, colaborando en el diseño del Módulo de SS&Ev (MOSE) en el Sistema Nacional de Planificación Estratégica Territorial (SINPET); el acompañamiento de los PET/PDM y la asesoría en el análisis de la información recopilada. No obstante la misma población es la que debe implementar el proceso de SS&Ev. Se pretende, por lo tanto, que la población haga el SS&Ev y registre periódicamente en el SINPET los avances o retrocesos del PET/PDM. Para esto es importante que en cada territorio donde se inicie la PET, se establezca un grupo o comisión de seguimiento y evaluación para que este se encargue de realizarlo a lo largo de las disitintas fases que componen el proceso, con la asesoría de la SEGEPLAN. En este sentido y para asegurar que la información generada por el proceso de SS&Ev sea utilizada de modo efectivo en la toma de decisiones, se requiere de una estructura organizativa, que podría estar conformada como una comisión en el seno del Consejo de Desarrollo correspondiente. Esta comisión será la que vele porque en la priorización anual de inversión pública sean integrados los PET/PDM. El SS&Ev debe hacerse en el transcurso de las cuatro fases del proceso PET: el progreso del proceso (fase preparatoria), concordancia con las prioridades del territorio que puede traducirse en eficacia (fase de análisis territorial), la evolución general del PET/PDM y su efectividad, alcance de los objetivos, que se traduce en eficiencia (fase de planificación) e involucramiento del Sistema Nacional de Preinversión (SINAPRE), el Sistema Nacional de Inversión Pública (SNIP) y el Sistema Nacional de Cooperación Internacional (SNCI), relación y coordinación entre las comunidades y las instancias involucradas en el territorio, etc. (fase de ejecución o puesta en marcha) que se traduce como efectividad. Debe considerarse, entonces, que es un proceso continuo, integrado en las distintas etapas desde su inicio, por lo que proporciona oportunidades para aprender de la acción. Para que este proceso resulte verdaderamente eficaz, debe realizarse de forma abierta con una amplia participación de los interesados y debe llevarse a cabo periódicamente, centrándose en la verificación del cumplimiento de los indicadores de proceso y de desempeño. Para desarrollar el SS&Ev adecuadamente es necesario tomar medidas complementarias, como capacitaciones, asistencia técnica, asignación adecuada de los recursos, entre otros. Además es indispensable evaluar el éxito del PET/PDM y verificar si se han cumplido los objetivos previstos, con el fin de informar a otras partes interesadas, en particular a la sociedad civil, los Consejos de Desarrollo, autoridades y fuentes de financiamiento: Gobierno, cooperantes e iniciativa privada. El SS&Ev puede desempeñar una función reconocida de ayuda y potenciación de las poblaciones locales para que controlen su desarrollo, con autoevaluaciones críticas de las experiencias colectivas que refuercen su capacidad de autogestión. De este modo el SS&Ev puede dirigir los sistemas de información en sentido no sólo ascendente, sino también descendente, no obstante, es de vital importancia comprender que cualquier información cualitativa debe complementarse con datos cuantitativos, lo cual puede lograrse mediante la identificación y selección de indicadores de proceso y de desempeño. Por ejemplo, si el objetivo es crear cadenas productivas, podría usarse como indicador el nivel de competitividad del territorio, en el cual se analizan las condiciones propicias para el desarrollo de empresas y/o unidades productivas. Este análisis definirá los ambientes favorables para la productividad y competitividad a través de la evaluacion de las condiciones de infraestructura, recursos naturales, instituciones financieras, capital humano y el capital cultural.
7
Guía de Seguimiento y Evaluación PET/PDM
2.
DEFINICIONES
Seguimiento: El seguimiento se traduce como el “acompañamiento del desarrollo de una acción”. Es un proceso analítico continuo que produce datos e información sintética. Permite la rápida percepción de la situación y la intervención oportuna para corregir las acciones en ejecución. Por tanto, el seguimiento es un instrumento de gestión importante de soporte al proceso de toma de decisiones, en el cual se toma en cuenta la planificación de acciones estratégicas, la evaluación de resultados, las responsabilidades, la selección de prioridades y el destino de los recursos. El seguimiento se fundamenta en datos e información, porque es un proceso sistémico de registro y organización de datos e información sustantivas que tienen como objetivo plantear la realidad para tomar decisiones y divulgar los resultados. Es un medio de verificación continua y periódica de ejecución del PET/PDM en términos del alcance de objetivos y metas intermedias y los productos inmediatos.
Evaluación: La Evaluación se traduce como la EFECTIVIDAD de los procesos, en otras palabras es el impácto positivo o negativo que se obtiene en el desarrollo de un territorio o en la vida de los habitantes de ese territorio, tal y como lo perciben ellos mismos, así como las modificaciones tendientes a la sostenibilidad que se registran en su entorno. La evaluación está ligada con la efectividad de las acciones, en su sentido más amplio, o sea, cuál es el resultado final después del esfuerzo empleado en su ejecución. Esta va ligada al proceso de toma de decisiones, con mucho más rigor que el resultado del seguimiento. Mientras el seguimiento apunta hacia la dirección correcta, la evaluación mide la intensidad, la velocidad y el acierto de las accionenes implementadas. Con el tiempo una medición acertada de los indicadores, posibilita la sostenibilidad de la acción. Las acciones de seguimiento y evaluación son complementarias; de un lado las actividades de seguimiento permiten un acompañamiento sistemático de la ejecución de las acciones provenientes del PET/PDM, alcanzando los niveles de la ejecución física y de las metas inmediatas, por el otro lado la evaluación busca medir los impactos y efectos de acciones públicas, procurando identificar las relaciones causales y de causa y efecto observadas.
8
Eficiencia: Se refiere a la utilización óptima de los recursos para lograr el alcance del fin inicial, en otras palabras “es el buen uso de los recursos”, lograr lo mayor posible con lo que contamos. Un grupo que logra una alta productividad con relación a los recursos que dispone es “eficiente”. Eficiencia es alcanzar los objetivos por medio de la elección de alternativas que pueden dar como resultado el mayor beneficio posible.
Eficacia: Valora el impacto de lo que hacemos, del producto o servicio que prestamos. No basta con producir al 100 % de efectividad el servicio o producto que nos fijamos, tanto en cantidad y calidad, sino que es necesario que el mismo sea el adecuado; aquel que logrará realmente satisfacer a la población o impactar en el territorio. La eficacia procura demostrar si los resultados involucrados en el proyecto están siendo alcanzados, para esto se necesita un valor de referencia o una línea basal. Cuando un grupo alcanza las metas y objetivos que habían sido previamente establecidos, el grupo es EFICAZ.
Efectividad: La efectividad tiene como finalidad medir los impactos y efectos de las acciones. Es la relación entre los resultados logrados y los resultados propuestos, en otras palabras, nos permite medir el grado de cumplimiento de los objetivos planteados. La efectividad nos sirve para medir determinados parámetros de calidad que toda planificación debe preestablecer y también para poder controlar los errores del proceso y aumentar el valor agregado.
Indicadores: Como su nombre lo dice “indican” la existencia de algún fenómeno que puede ser: educativo, ambiental, económico, social, cultural, productivo, turístico, etc. Un indicador permite medir el avance en el cumplimiento de los objetivos.
9
Guía de Seguimiento y Evaluación PET/PDM
3.
ASPECTOS A CONSIDERAR EN EL SEGUIMIENTO & EVALUACIÓN Esquema 1 Las “3E” del SS&EV
SEGUIMIENTO
Eficiencia Uso óptimo de los recursos (humanos, financieros, materiales y tecnológicos)
¿Las inversiones están siendo ejecutadas como fueron planificadas en los PET/PDM? (SINAPRE -SNIP-SNCI)
&
EVALUACIÓN
Eficacia
Efectividad
Alcance de los objetivos
Alcance de los objetivos, sus impactos y efectos
¿Los objetivos son logrados?
Análisis comparativo
¿Las expectativas de la visión están siendo alcanzadas?
Fuente: Elaboración propia
El SS&Ev sirve para contribuir a la gestión de los recursos y a las actividades de un proceso o proyecto, con el objeto de promover sus impactos durante un período ininterrumpido. Para ello es necesario asegurarse que las metas del proyecto se perciben claramente. También es importante realizar un esfuerzo consciente para identificar las medidas correctivas que permitan obtener un impacto mayor. Es muy importante mantenerse actualizado de los detalles de la ejecución del proyecto y reunir información adecuada acerca de los logros. En un modelo participativo lo que realmente importa es la forma en que la gente interactúa, cómo se intercambian y se desarrollan las ideas y, cómo se motiva a las personas y se las ayuda a aprender y aportar su contribución en la medida de sus posibilidades. Las aspiraciones de la población del territorio y sus procesos de desarrollo deben constituir el núcleo esencial de la gestión y del SS&Ev. Si se quiere que el SS&Ev dé resultados positivos, es necesario basarlo en las necesidades de información del grupo encargado de las gestiones, en el uso que éstos hacen de la información y en su deseo de crear un entorno de aprendizaje. Por consiguiente, la calidad del SS&Ev en cualquier proyecto dependerá por completo de la calidad de la gestión general.
10
Para la construcción de indicadores es necesaria la participación de especialistas en la temática que se desea medir debido a que estas personas son las que cuentan con el conocimiento específico para hacer los lineamientos con la precisión necesaria. Para el SS&Ev de los PET/PDM es necesario hacer las alianzas sectoriales necesarias ya que para cada tema existe un ente rector que cuenta con personal técnico especializado quienes pueden aportar datos y conocimientos para la elaboración de los indicadores y además porque cada sector es el responsable por la ejecución de los programas con sus proyectos y actividades que se desglosen en el PET/PDM.
3.1 Indicadores de proceso: Los indicadores de proceso evalúan la forma en que se llevan a cabo las actividades. En otras palabras, estos indicadores determinan diferencias reales, son indicadores cualitativos, son fáciles de interpretar pero deben estar asociados a un resultado. Pueden utilizarse para identificar problemas en la prestación de servicios y sugerir soluciones específicas, como también en los procesos para monitorear actividades en unidades o programas y guiar la toma de decisiones cada día. Para estos indicadores puede tomarse como referencia la Escala de Lickert, la cual debe cumplir con lo siguiente: Los ítems deben facilitar respuestas relacionadas con el fenómeno medido, aunque dicha relación no tiene por qué ser necesariamente manifiesta; cada ítem debe declarar no sólo las dos posturas extremas, sino también graduar las intermedias. A medida que la escala gane en sensibilidad, ganará también en precisión; los ítems deben ser fiables y seguros. La fiabilidad con frecuencia se logra a costa de la precisión. Cuanto más refinada es una medición, más probable es que en dos medidas repetidas obtengamos puntuaciones distintas. En esta escala el parámetro de referencia deberá ser la puntuación máxima posible para el indicador. Estos indicadores pueden construirse con base en las evaluaciones que se realizan en las reuniones o talleres en cada una de las fases del PET/PDM. (Ver anexo 1 - Formato de evaluación)
3.2 Indicadores de desempeño: Los indicadores de desempeño son simples, se expresan en forma de estadísticas absolutas dan una descripción imparcial de los resultados obtenidos, son indicadores cuantitativos, con los cuales se puede realizar un análisis comparativo expresado en porcentajes. Estos indicadores incorporados en los PET/PDM incluyen una meta o compromiso, así el resultado de los indicadores permite contar con una medida del logro de las metas propuestas. Estas metas pueden estar directamente relacionadas con alguno de los productos o subproductos (bienes o servicios) planteados. Los indicadores de desempeño miden el logro de los objetivos del programa o actividades que reflejan el cumplimiento de la visión y las metas del PET/PDM; miden el costo, la calidad, pertinencia y efectos del servicio; verifican que los recursos se utilicen con eficiencia y eficacia; proporcionan información del rumbo del PET/PDM, los logros, la velocidad y avance de los resultados.
11
Guía de Seguimiento y Evaluación PET/PDM
Para construir indicadores de desmpeño debe tomarse en cuenta, como aspecto relevante, el conocimiento y entendimiento de la visión, objetivos y programas estratégicos del PET/PDM. Para construirlos se recomienda:
l
l
Establecer metas para los indicadores. Determinar la meta ideal o estándar a alcanzar para cada indicador, es decir, el valor o rango numérico necesario para decir que se ha logrado el cumplimiento del objetivo. Validar los indicadores. Establecer claramente el contexto en el que se seleccionan los indicadores y para qué, es decir, que exista consistencia entre los indicadores y los objetivos que se quiere alcanzar con su uso. Es importante que exista un alto grado de consenso entre los involucrados en la selección y validación de los indicadores. La validación se considera un proceso contínuo en el que la definición de los indicadores se va perfeccionando a la luz de la experiencia adquirida. Establecer un marco conceptual o modelo teórico con un enfoque de sistemas. Esquema 2 Enfoque de Sistemas
Programa 1
Entrada
Programa 2
Salida
Valor esperado
s
l
Definir los factores críticos de éxito. Para esto debe identificarse: ¿Qué debería ocurrir como resultado para considerar que se ha tenido éxito en el logro del objetivo? Esta pregunta no tiene que relacionarse con lo que se tiene que hacer para lograr los resultados, sino a los resultados mismos que deben ocurrir para considerar que se ha tenido éxito en el logro del objetivo. Los factores críticos de éxito expresan resultados finales. Para crear indicadores deberá hacerse relación entre: a) Lo ejecutado vrs. lo programado y b) Lo actual vrs. lo ideal.
rso
l
Consensuar las dimensiones que se desea considerar: eficiencia, eficacia, efectifvidad, calidad, distribución presupuestaria, recursos humanos, impactos, etc.
cu
l
Conocer, entender e identificar los objetivos, los programas estratrégicos o las actividades clave de la PET.
Re
l
Eficiencia Evalúan la relación entre los recursos y su grado de aprovechamiento por parte de los procesos o actividades del sistema
Efectividad Resultado del logro de la eficiencia y la eficacia
Eficacia Evalúan la relación entre la salida del sistema y el resultado esperado del sistema
Fuente: Guía metodológica para la construcción de indicadores de desempeño. Dirección General de Planeación, Universidad Nacional Autónoma de México (Falta fecha)
12
3.3 Preguntas estratégicas de SS&Ev ¿Por qué, o por qué no? l
¿Es adecuado lo que estamos haciendo ahora para mejorar la situación planteada?
l
¿Nos ocupamos de las prioridades de los objetivos?
l
¿Se han cumplido los planes (propósitos, productos y actividades)?
l
¿Es correcta la lógica de la intervención?
l
Lo que estamos haciendo ahora, ¿es lo mejor para obtener el máximo deseado?
l
¿Se utilizan los recursos del mejor modo posible?
l
l
¿Qué podríamos hacer de otra manera para mejorar la ejecución y conseguir el máximo con un costo aceptable y sostenible? ¿En qué medida ha contribuido el proyecto a mejorar la situación inicial (u otras metas a largo plazo)?
l
¿Qué consecuencias positivas o negativas imprevistas se han tenido y por qué?
l
¿Seguirá teniendo el proyecto un impacto positivo, después de “n” años?
Todo proyecto o programa sigue una lógica general que describe lo que tiene que alcanzarse, por qué y cómo. La lógica comienza con la descripción de la situación que un grupo de interesados desea mejorar. La visión acerca de la manera de cambiar esta situación debe basarse en los problemas y las aspiraciones de las partes interesadas. Esta visión justifica la existencia del proyecto o programa. Es inevitable que haya puntos de vista diferentes de los problemas principales, y de lo que se entiende por mejora. Por eso son tan importantes los métodos participativos de planificación. Esquema 3 Lógica de un proyecto
Situación que se debe mejorar: Problemas y visiones Situación mejorada: Impacto Efectos directos; Cambios resultantes Plan para mejorar la situación: Marco lógico, visión, meta, etc
Realización del proyecto Insumos
Actividades
Productos concretos
Fuente: Adaptado de: International Fund for Agricultural Development (IFAD). Gestión orientada al impacto en el desarrollo rural. Guía para el S y E de proyectos. (Falta fecha).
13
Guía de Seguimiento y Evaluación PET/PDM
3.4 Datos Vrs. Decisiones
¿Quieres decirme, por favor, qué camino debo tomar para salir de aquí?- Preguntó Alicia. l Eso depende mucho de adónde quieres ir – Respondió el Gato. l Poco me preocupa a dónde ir...- Dijo Alicia. l Entonces, poco importa el camino que tomes - Replicó el Gato. “Alicia en el País de las Maravillas” Lewis Carroll, 1865 Es necesaria una actitud crítica de los datos para tomar las decisiones correctas. Normalmente se asocia el seguimiento con “datos” o cuadros de cifras. Se considera que, para proceder a un seguimiento adecuado, es importante dedicar tiempo a perfeccionar los indicadores. Así, muchos proyectos acaban preparando largas listas de datos numéricos que se creen necesarias, aunque gran parte de estos datos pocas veces influyen en la orientación del proyecto. Un SS&Ev adecuado es sofisticado en la información que genera pero sencillo en su estructura: puede consistir en algo tan sencillo como organizar reuniones participativas de revisión y planificación, registrar las actividades realizadas y proceder al seguimiento del impacto de un conjunto muy limitado de “indicadores clave”. Otro problema preocupante de los proyectos complejos es la dificultad de incluir temas transversales en una jerarquía lineal de objetivos. Por ejemplo, si se desea que las actividades del programa o proyecto presten especial atención a la equidad de género, a la pluriculturalidad, a la gestión para la reducción de riesgo de desastres, o cuidado ambiental. En cualquiera de los casos, incluir un bien o servicio relativo a cualquiera de los temas transversales del PET/PDM, puede aislar el tema, cuando lo que se quiere en realidad es integrarlo en todas las actividades. Sin embargo no es posible ignorar el carácter singular de este bien o servicio, ya que con ello se correría el peligro de prescindir de indicadores para evaluar el desempeño en cada una de estas variables.
Riesgo
Dónde lo ponemos?
Para llegar al sitio donde se quiere ir, se debe saber qué información necesita para el viaje. Si no se hacen las preguntas adecuadas, no se obtendrán respuestas útiles. Pero las preguntas que pueden hacerse son muchas ¿Cómo elegir, y a quién hacer participar en el proceso? Al decidir la información que debe ser objeto de seguimiento y evaluación, se deberá tener presente lo siguiente:
14
l l
l l l l
Incluir información que ayude a determinar en qué medida el PET/PDM se ocupa adecuadamente de los temas transversales. Buscar información que pueda ayudar no sólo a verificar los fines sino también a explicar los progresos. Sólo sabiendo por qué ocurre o no algo, podrá decidirse la acción correctiva necesaria. Asegurar que se incluya información que pueda ayudar a responder las cuestiones esenciales: eficacia, eficiencia, efectividad y sostenibilidad. Información operacional suficiente para saber si se está haciendo un uso óptimo de los recursos, y si las operaciones son de buena calidad. Determinar los impactos positivos y negativos no previstos, para adoptar las medidas correctivas que puedan ser necesarias. Es importante tomar en cuenta el principio “menos es más”. Incluir solamente un elemento de información para que algún miembro del proyecto lo utilice claramente para mejorar el impacto. Revisar regularmente la lista de necesidades de información, a fin de eliminar la información que no parezca esencial.
Al contar con los datos e información que serán útiles para el SS&Ev se debe considerar lo siguiente. l l l
l l
l
Los datos del SS&Ev sólo ayudarán al PET/PDM si se utilizan en reflexiones críticas con los interesados pertinentes. La reflexión crítica se basa en las preguntas: “¿por qué?”, “¿y qué?” y “¿y ahora qué?”, que deben hacerse después de que los datos de SS&Ev indiquen lo que ha ocurrido. Las reflexiones pueden hacerse en cualquier reunión –formal o informal– con individuos y grupos importantes, con los interesados directos, en reuniones de Consejo, etc., pero en todo caso hay que tratar de responder activamente a las preguntas indicadas. Debe planearse de qué manera se van a integrar de forma clara las reflexiones realizadas con diferentes interesados o grupos. La identificación periódica de las “lecciones aprendidas” ayudará a sistematizar las experiencias del PET/PDM para decidir las mejoras que deben introducirse con objeto de aumentar el impacto. Las “lecciones aprendidas” también son esenciales para ayudar a los demás a sacar provecho de sus problemas y éxitos. Los eventos externos, como las misiones de supervisión y las evaluaciones, son momentos valiosos para ver la PET/PDM desde otros puntos de vista e identificar las mejoras estratégicas.
4.
APLICACIÓN DEL SEGUIMIENTO Y EVALUACIÓN Algunos métodos existentes pueden ser aplicados para el SS&Ev. 4.1 Análisis de fortalezas, oportunidades, debilidades y amenazas (FODA) El propósito es identificar las fortalezas, oportunidades, debilidades y amenazas de un proyecto o grupo, y la medida en que esta valoración cambiará con el tiempo. Desde una perspectiva de SS&Ev, este método es útil, por ejemplo, para evaluar cualitativamente los bienes o servicios prestados por un programa o proyecto y las relaciones entre los interesados y las organizaciones ejecutoras o coejecutoras, los grupos locales y beneficiarios directos. La forma de hacerlo es que el grupo seleccionado define, discute y registra el mayor número posible de factores para cada concepto. Debe insistirse en que las fortalezas y debilidades se refieren a los aspectos internos: el territorio, el programa, proyecto, o la actividad.
15
Guía de Seguimiento y Evaluación PET/PDM
Las oportunidades y las amenazas pueden considerarse en relación con los factores internos o externos que los afectan, por ejemplo: l
Fortalezas: Lo que funciona bien en un proyecto o situación. Los aspectos de los que la gente habla con orgullo.
l
Oportunidades: Ideas sobre el modo de subsanar las debilidades y sacar provecho de las fortalezas.
l
Debilidades: Lo que no ha funcionado tan bien.
l
Amenazas: Las cosas que limitan o amenazan toda la serie de oportunidades de cambio.
Otra posibilidad es que diferentes subgrupos, por ejemplo una Oficina Municipal de Planificación (OMP) o una comunidad, efectúen por su cuenta un análisis FODA. Comparar los diferentes análisis puede promover un debate fructífero acerca de las diferencias y las similitudes de las experiencias y las posibilidades. Esquema 4 Ejemplo de FODA para el SS&Ev Programa turístico por un ecosistema sostenible Debilidades
Fortalezas Un grupo de jóvenes está dispuesto a trabajar en el programa. Don “Privado” tiene un área protegida que puede utilizarse como parte del recorrido.
No tenemos suficiente transporte. No se cuenta con financiamiento para el proyecto. La comunidad está poco interesada en el programa.
Oportunidades No necesitamos construir infraestructura hotelera porque ya la tenemos. Las autoridades apoyan los proyectos ambientales. En la universidad hay gente que conoce de manejo ambiental con enfoque ecoturístico.
Amenazas Los explotadores madereros no respetan las normas. Algunos turistas tienen temor de ser víctimas de la delincuencia.
Una ONG proporciona ayuda en preservación y conservación de la zona.
Acciones Contactar a la universidad para pedir ayuda de capacitación y educación ambiental y de ecoturismo. Gestionar con el Ministerio de Educación (MINEDUC) para crear una carrera técnica de ecoturismo en el territorio. Discutir el problema acerca de los explotadores madereros con el alcalde. Realizar una reunión con el grupo de jóvenes y otros miembros de la comunidad. Diseñar un plan de incentivos para los que se encargarán de la socialización y del mantenimiento de las zonas seleccionadas. Establecer una alianza o entendimiento con la ONG para la posible asistencia del programa de preservación y conservación de especies endémicas. Hacer alianza con el Instituto Guatemalteco de Turísmo (INGUAT) y Gobernación para contar con seguridad adecuada en los lugares identificados.
16
El análisis FODA es un método adaptable y flexible que permite registrar diferentes puntos de vista y concentra la atención de los participantes en la acción conjunta. Este método es útil para promover la aportación de muchas personas, y ayuda a pensar en posibles soluciones y dificultades, en el contexto de la planificación estratégica territorial. Este tipo de análisis puede convertir los errores o deficiencias en procesos constructivos de aprendizaje, y hacer que problemas complejos sean más fáciles de resolver en el plazo más corto posible.
5.
PASOS PARA EL DESARROLLO DEL SISTEMA DE SEGUIMIENTO Y EVALUACIÓN1 l l l
l
l
l l l l
l l l l l l l l l l l l l
1
Identificar y calificar todas las instituciones posibles de ser involucradas con el proceso PET/PDM, en todos los niveles de acción. Definir el proceso de seguimiento, estableciendo los alcances, papeles y la cuestión de feed back con todos los actores involucrados y en todos los niveles de actuación. Identificar todos los representantes de las instituciones posibles de ser involucradas con el proceso de planificación estratégica territorial y completar la Comisión Territorial de Seguimiento y Evaluación. Identificar y calificar las capacidades de los integrantes de la comisión acerca del contenido del tema de monitoreo, detectando necesidades, planteando y ejecutando eventos de capacitación sobre el asunto. Identificar, calificar y monitorear, los indicadadores de los PET/PDM, en discusiones con los miembros del Consejo correspondiente y con la Comisión Territorial de Seguimiento y Evaluación. Establecer el modelo conceptual del sistema de seguimiento y discutirlo con los integrantes de la Comisión Territorial de Seguimiento y Evaluación. Identificar las acciones a ser monitoreadas, identificando procesos, proyectos y actividades. Identificar y calificar las variables capaces de explicar cada uno de los procesos, proyectos y actividades. Seleccionar y calificar los indicadores a ser utilizados vinculados a cada uno de los procesos, proyectos, actividades y sus respectivas variables (ver ítem específico acerca de indicadores). Definir los factores de ponderación. Identificar y calificar los parámetros de referencia para cada indicador seleccionado. Identificar y calificar las posibles fuentes de datos para las variables seleccionadas Definir la metodología de cálculo del indicador (sea de desempeño o de proceso). Definir las relaciones de dependencia entre los indicadores. Sistematizar el Proceso de Seguimiento desarrollando el respectivo módulo de seguimiento y Evaluación (MOSE) del SINPET. Seleccionar y registrar los datos en el MOSE en el SINPET. Asignar los valores de los indicadores y sus resultados para el proceso de seguimiento. Discutir los resultados de los indicadores que presentan los alcances y los desvíos. Registrar las percepciones de los actores del proceso PET/PDM y el consejo correspondiente. Establecer procedimientos para el ejercicio del seguimiento. Evaluar el proceso de seguimiento con la finalidad de corregirlo y hacer las perfecciones demandadas. Divulgar los resultados del seguimiento y evaluación.
FAO-SEGEPLAN (2006) Jacksonvilliam Nagornni. Informe: Documento de referencia acerca de SS&Ev. aplicado a los PET. Guatemala
17
Guía de Seguimiento y Evaluación PET/PDM
5.1 Cómo hacerlo? l
Definición del objeto de seguimiento:
Al identificar el objeto de seguimiento se debe hacer la siguiente pregunta: ¿Qué quiero medir? Esto servirá para medir los avances en el cumplimiento de los objetivos del PET/PDM y los efectos que se generen. Debe partirse de tres componentes básicos: acción, objeto y descripción. l l
l
La acción a realizar se define a través de un verbo específico: mantener, construir, fortalecer, incrementar, disminuir, controlar, promover, atender, proteger, etc. El sujeto sobre el que recae la acción contiene al menos un sustantivo y corresponde a un producto o efecto que se espera proveer o generar: kilómetros de carretera, servicios de salud, mortalidad materna, mortalidad infantil, cobertura escolar, redes de comunicación, etc. Los elementos descriptivos de la acción que recae sobre un sujeto responde interrogantes como: ¿Cuánto?, ¿Dónde?, ¿Cuándo? En este caso se puede incluir el nombre del plan, programa o proyecto a través del cual se lleva acabo la acción.
EJEMPLO: Remodelar los museos del territorio de la cuesta. Acción
Objeto
Descripción
Mantener la red vial entre los territorios de la cuesta y de la loma. Acción
Objeto
Descripción
En algunos casos los objetos de seguimiento no siempre mantienen el orden de sus componentes y en muchas ocasiones no incluyen elementos descriptivos de la acción. EJEMPLO: Fortalecer la participación ciudadana en gestión para la reducción de riesgo. Acción
Objeto
Pavimentar
130 kilómetros de la red vial.
Acción
Objeto
Definido el objeto de seguimiento, se deberán realizar algunas preguntas para garantizar su estructura y pertinencia: l l l l l
¿Es clara la acción que se realizará y el objeto de dicha acción? ¿Están definidos los efectos que se espera generar en la comunidad? ¿El objeto de seguimiento refleja lo que se quiere medir? ¿Constituye una prioridad para el territorio? ¿Quién dará cumplimiento a la acción?
18
Luego de identificado, garantizado y consensuado el objeto de seguimiento, deberá dejarse por escrito e incorporarse al MOSE del SINPET para llevar un historial de avance. Formulación de indicadores:
l
Al formular indicadores se debe hacer la siguiente pregunta: ¿Cuánto falta para alcanzar la meta? Como se dijo antes, los indicadores son una representación cuantitativa que sirve para medir el cambio de una variable con respecto a otra y que al compararse con información o datos anteriores, permite valorar el desempeño. Todos los objetos de seguimiento definidos deben tener asociado al menos un indicador que de cuenta del avance en su cumplimiento. En el caso de los PET/PDM se toma como línea basal el Modelo de Desarrollo Territorial Actual (MDTA) que permite hacer un análisis comparativo de cómo se ha evolucionado para alcanzar la visión o el Modelo de Desarrollo Territorial Futuro (MDTF). La formulación de indicadores se desarrolla a partir de tres etapas: a) Identificación del tipo de indicador; b) selección del mejor indicador a partir de criterios mínimos de calidad; c) definición de información complementaria del indicador. a)
b)
Criterios
Identificación del tipo de indicador: Dependiendo del objeto de seguimiento, su cumplimiento se cuantificará a través de indicadores de procesos (IP) e indicadores de desempeño (ID). En este sentido el seguimiento se centrará en la recolección y análisis de información entorno a la provisión de bienes y servicios y los efectos que se generan en el corto, mediano y largo plazo. Selección del indicador: El indicador debe permitir, a partir de una cuantificación numérica, medir el avance en el cumplimiento del objeto de seguimiento. Para tal efecto debe cumplir con cinco criterios y la revisión del cumplimiento de estas condiciones mínimas de calidad se puede realizar a partir de cinco preguntas básicas: Característica
Pregunta ¿Es el indicador… … un reflejo lo más directo posible del propio objeto?
Claro
Preciso y sin ambigüedades
Relevante
Adecuado para el tema a tratar … suficientemente preciso para garantizar una medición objetiva?
Económico
Disponible a costos razonables
… capaz de emplear el medio más práctico y económico de obtención de datos?
Medible
Ser susceptible de validación independiente
… sensible al cambio en el resultado, pero relativamente inmune a otros cambios?
Adecuado
Proporcionar una base suficiente … factible de ser desagregado en la medida de lo necesario para informar sobre el resultado? para valorar el desempeño
19
I.
Guía de Seguimiento y Evaluación PET/PDM
Además de verificar la calidad del indicador, se debe buscar que la acción a realizar, definida en el objeto de seguimiento, corresponda a la acción realizada cuantificada.
EJEMPLO:
Objeto de seguimiento
Indicador
I.i
Habilitar 9 parques arqueológicos
Parques arquológicos habilitados
II.
Asimismo, constituir como unidad de medida, el sujeto sobre el que recae la acción definida en el objeto de seguimiento.
EJEMPLO:
Objeto de seguimiento
II.i
Restaurar 13 museos de historia
Indicador
Museos de historia restaurados
Una vez definido el indicador, este se complementa con información entorno a lo que se desea evaluar: unidad de medida, línea basal, avance, fecha, fórmula de cálculo, etc. En el SINPET podrán encontrarse datos e información oficial en forma de tablas y mapas dinámicos.
20
Esquema 5 Ejemplo de boleta para el SS&Ev Indicador: Fortalecer la participación ciudadana en gestión para la reducción de riesgo (GR) Unidad de medida: Personas capacitadas en GR Línea basal o línea base (Dato del MDTA) xx Personas de xxxx hab. Fecha (de MDTA): Noviembre 10 de 2005 Avance (Datos después de.): Porcentaje de avance:
xxx Personas capacitadas en GR
xx %
Fecha (de análisi comparativo):
Octubre 22 de 2006
Fórmula de cálculo, gráfica y/o tabla: Tasa de crecimiento, porcentaje de avance, etc.
Fuente oficial de información: Fuente alterna: Justificación:
INE, MAGA, MINEDUC, MSPAS, etc.
OMP, AREA DE SALUD, DIRECCIÓN DE EDUCACIÓN, etc. Fuente alterna por no existir datos oficiales.
Conclusiones: Se ha establecido que se ha avanzado en un 85 por ciento en el objetivo trazado en el PET/PDM, por lo que para alcanzar la meta establecida deberá trabajarse en: ACTIVIDADES por mejorar
ACTIVIDADES a realizar
RESPONSABLES
RECURSOS
El seguimiento es periódico y depende de la temporalidad definida para cada indicador ya sea mensual, bimensual, trimestral, semestral o anual. Esto dependerá del grupo encargado de realizar el SS&Ev del PET/PDM.
21
Guía de Seguimiento y Evaluación PET/PDM
Esquema 6 Sistematización del proceso de seguimiento Territorio 1 Programa 1 Proyecto o actividad
Proyecto o actividad ID1
ID2
Programa 2
ID3
ID1
Proyecto o actividad ID1
ID2
Proyecto o actividad ID1
Fuente: Elaboración propia con base en FAO-SEGEPLAN (2006) Jacksonvilliam Nagornni. Informe: Documento de referencia acerca de SS&Ev. aplicado a los PET. Guatemala
ID2
6.
COMUNICACIÓN SOCIAL
Algo que no debe pasarse por alto es la socialización de los avances. Como se dijo con anterioridad, la comunicación de los resultados que se obtengan es importante difundirla a la población del territorio en el cual se está incidiendo, con el propósito de dar a los habitantes una herramienta para entender los procesos, para entender que los cambios no se obtienen de la noche a la mañana, y que cada uno es parte importante del desarrollo y avance que se obtenga. Además es importante comunicar los avances para que las autoridades adquieran credibilidad, para que los procesos de inversión sean transparentes y para conseguir fuentes de financiamiento con fondos del estado, cooperantes, iniciativa privada y ONG’s.
Para lograr un desarrollo socioeconómico sostenible resulta esencial contar con un Estado eficaz. El advenimiento de la globalización ha traído consigo presiones crecientes que buscan que gobiernos y organizaciones del mundo entero se muestren más receptivos a las demandas de partes interesadas internas y externas que exigen gobernabilidad, rendición de cuentas y transparencia, mayor eficacia del desarrollo y entrega de resultados tangibles. Gobiernos, parlamentos, ciudadanos, el sector privado, ONG, la sociedad civil, organismos internacionales y los donantes se encuentran entre las partes interesadas que pretenden un mejor desempeño. Conforme aumentan las demandas de mayor rendición de cuentas y de resultados reales, se vislumbra una necesidad concomitante de un sistema mejorado de seguimiento y evaluación de las políticas, programas y proyectos basado en resultados. Kusek y Rist, 2005
22
REFERENCIAS BIBLIOGRÁFICAS R B EFERENCIAS
IBLIOGRÁFICAS
Banco Mundial, Departamento de evaluación de operaciones del Banco Mundial, Desarrollo de la capacidad de Evaluación. Seguimiento y Evaluación: instrumentos, métodos y enfoques. Washington, D.C. (Falta fecha) (2005) Jody Zall Kusek , Ray C. Rist, Banco Mundial. Diez pasos hacia un sistema de seguimiento y evaluación basado en resultados. Washington, D.C. Boletín-2001:14 Adaptación: Sub-regional workshop on lobbying, advocacy, gender and monitoring national programmes, Centro Africano para el Empoderamiento, Género y “Advocacy” (AC-EGA), of the BPFA. Herramientas de evaluación y seguimiento. Kenia, (1999) Women's Environment and Development Organization (WEDO). Modelo de seguimiento. Kenia, (1999) Internacional Fund for Agricultural Development (IFAD). Gestión orientada al impácto en el desarrollo rural. Guía para el SyE de proyectos. (Falta fecha) Marisol Estrella con Jutta Blauert, Dindo Campilan, John Gaventa, Julián Gonsalves, Irene Guijt, Deb Johnson y Roger Ricafort (editado por) Aprender del cambio,Temas y experiencias en seguimiento y evaluación participativos. (Falta fecha) Mostajo Guardia, Rossana. Productividad del Sector Público. Evaluación de la gestión del gasto público e indicadores de desempeño en Guatemala. Comisión Económica para América Latina. Serie documentos de la CEPAL. Santiago, Chile (2000) Organización de las Naciones Unidas para la Agricultura y la Alimentación (FAO) (por sus siglas en inglés) 1994. Guía para proyectos participativos de nutrición. FAO-SEGEPLAN (2006) Jacksonvilliam Nagornni. Informe: Documento de referencia acerca de SS&Ev. aplicado a los PET. Guatemala FAO-SEGEPLAN (2006) Jacksonvilliam Nagornni. Informe Tercera misión: Sistema de seguimiento (monitoreo) y evaluación, estudio y definición de los indicadores de desempeño. Guatemala Programa Mundial de Evaluación de los Recursos Hídricos (WWAP) (2003). Informe mundial para la revalorización de los recursos de agua. Secretaría de Planificación y Programación de la Presidencia (SEGEPLAN) (2006). Sistema de Metas de Gobierno (SIGOB) Manual de metodologías, sistemas de seguimiento a resultados del Gobierno de Guatemala. (2006) Sistema Nacional de Planificación Estratégica Territorial (SINPET). Base Metodológica. Guatemala (2006) Sistema Nacional de Planificación Estratégica Territorial (SINPET). Marco Conceptual. Guatemala Universidad Nacional Autónoma de México (UNAM). Dirección general de planeación. Guía metodológica para la construcción de indicadores de desempeño. México, D.F. (Falta fecha)
23
Guía de Seguimiento y Evaluación PET/PDM
ANEXO A NEXO
Por Jacksonvilliam Nagornni Para los indicadores del proceso de participación en todas las etapas de los PET se presentan las variables a ser consideradas. I. Relacionar todas las instituciones que participan de la planificación estratégica territorial en cada nivel de planificación (Nacional, Departamental, Intermunicpal, Municipal y Comunitario) identificando las siguientes variables: i. Número de instituciones existentes que deberían participar del proceso de planificación estratégica territorial. ii. Número de instituciones involucradas, de cada nivel de planificación, con el proceso de planificación estratégica. II. Relacionar los eventos programados y ejecutados por tipo (movilización, capacitación, planificación, diagnóstico, programación, seguimiento y evaluación), identificando las siguientes variables: i. Número de eventos involucrados con la planificación estratégica territorial programados. ii. Número de eventos involucrados con la planificación estratégica territorial ejecutados. III.Identificar las personas que participan en cada evento – identificando las siguientes variables: i. Número de instituciones representadas en cada evento, por nivel de planificación. ii. Número de personas que participan en cada evento, por nivel de planificación. Para los indicadores del proceso de conducción de los PET, en cada evento (movilización, capacitación, planificación, diagnóstico, programación, seguimiento, acciones de monitoreo, y evaluación) debe ser recogida, junto a cada uno de los participantes, una evaluación que permita medir los niveles de percepción acerca de la finalidad del evento; del dominio del contenido al final del evento; su participación; y sus perspectivas vislumbradas a partir del evento. De aquí pueden ser extraídas tres variables: i. Percepción de la finalidad del evento; ii. Dominio del contenido al final del evento; y, iii. Perspectivas vislumbradas a partir del evento. En la medición de estas variables podría ser utilizada la escala de Lickert, observando los siguientes parámetros: 4 = Excelente; 3 = Bueno; 2 = Regular; 1 = Malo; y, ND = Crítico. IV. Proceso de Participación IV.i.
Nivel de participación institucional l Nivel de participación institucional publica. l Nivel de participación institucional privada. l Nivel de participación institucional de las representaciones sociales de los beneficiarios. l Nivel de participación institucional consolidado.
24
IV.ii. Regularidad de participación institucional l Regularidad de participación institucional de la red publica. l Regularidad de participación institucional de la red privada. l Regularidad de participación institucional de las representaciones sociales de los beneficiarios. l Regularidad de participación institucional consolidado. IV.iii. Regularidad de participación personal l Regularidad de participación personal de instituciones publicas. l Regularidad de participación personal de instituciones privadas. l Regularidad de participación personal de las representaciones sociales de los beneficiarios. l Regularidad de participación personal consolidado. IV.iv. Indicador general de participación en los PET Interpretado como la media aritmética simple de los indicadores de participación. Esquema 7 Formato de evaluación que se utiliza en los talleres PET/PDM SECRETARÍA DE PLANIFICACIÓN Y PROGRAMACIÓN DE LA PRESIDENCIA Subsecretaría de Políticas Territoriales Dirección de Políticas Regionales y Departamentales Moderador del evento: Evaluación: Nombre de la actividad. Fecha: Lugar: Facilitador: Escala: 1= Muy malo; 2= Malo; 3= Regular; 4= Bueno; 5= Muy bueno No
ITEM
1 2 3 4 5 6 7 8 9 10
Se cumplieron los objetivos del taller Apreciación de los contenidos del taller Los conocimientos y experiencia de expositores Conducción del taller Material del taller Apoyo logístico del taller Los recursos audiovisuales y didácticos La utilidad de los contenidos para el trabajo El tiempo de duración del taller El local del evento y refrigerios
Observaciones y comentarios:
1
2
ESCALA 3 4
5