Hacia un entendimiento

Hacia un entendimiento común…

Sobre elementos vinculados a la Planificación Estratégica y el Marco de Efectividad de Plan

Equipo de programas de ROA

Junio, 2011

Contenido I. Introducción ..................................................................................................................... 2 ¿A quién está dirigido?: ...................................................................................................... 3 Objetivos del documento: ................................................................................................... 3 II. Antecedentes: ................................................................................................................. 4 III. Elementos conceptuales claves ..................................................................................... 7 IV. Preguntas frecuentes ................................................................................................... 10

Hacia un entendimiento común...

Página 1

I. Introducción Plan es una organización internacional con presencia en 48 países en desarrollo, cuya producción oficial de documentos se genera principalmente en inglés para luego ser traducida a otros idiomas, entre ellos, el español.

Dependiendo de la naturaleza del documento la traducción se realiza a nivel global; no obstante, existe un gran número de documentos cuya traducción ha sido realizada, según su grado de urgencia y necesidad, en los mismos países donde Plan implementa sus programas.

Aunque este hecho tan operativo pareciera un aspecto de menor importancia, en realidad no lo es. La calidad de las traducciones en los distintos países no es similar y ha empezado a generar algunas confusiones con su respectivo impacto en la comprensión o entendimiento de asuntos claves para la organización.

Para reducir el efecto del diferente uso de términos que se suscita como producto de las traducciones, la Oficina Regional para América Latina y El Caribe (ROA) ha asumido el compromiso de generar un documento de clarificación centrado en algunos elementos que se estima son relevantes y están vinculados tanto a la planificación estratégica como a medición de la efectividad programática.

Esta propuesta busca consolidar las distintas comprensiones que se han observado durante el proceso de planificación estratégica en la región y aproximar dichas diferencias, para facilitar -a través de un proceso participativouna mejor comprensión y un entendimiento común.

Hacia un entendimiento común...

Página 2

¿A quién está dirigido?: En principio, este documento está dirigido principalmente al personal de programas de distintos niveles, de los países de la región de América Latina y EL Caribe, que están directamente vinculados al ciclo de planificación estratégica y la medición de la efectividad programática.

Objetivos del documento: 1. Propiciar un entendimiento común entre el personal de Plan en la Región de América Latina y El Caribe en torno a varios conceptos e ideas vinculados a la efectividad programática y la formulación de los elementos de la lógica de la intervención ,en el marco de la planificación estratégica.

2. Apoyar los ejercicios de formulación de objetivos, resultados, indicadores y metas, en distintos niveles, desde la perspectiva de su contribución al manejo y medición de la efectividad programática.

3. Reforzar las habilidades del staff en el ámbito de los sistemas de planificación, monitoreo y evaluación que son parte del ciclo de planificación organizacional y del compromiso de la región con la efectividad programática.

Hacia un entendimiento común...

Página 3

II. Antecedentes: La reciente publicación de la Guía de Programación (durante el año 2010 en su versión oficial en inglés) es el resultado de la aprobación, en 2009, del Marco de Programas por parte del Consejo Internacional. La Guía de Programación integra el Marco de Programas de Plan, el Marco para la Efectividad de los Programas y el Sistema de Redición de Cuentas y Aprendizaje Programático (PALS) en un documento único de fácil manejo, cuyas versiones están disponibles en inglés y español.

La Guía de Programación describe al DCCN como el enfoque de derechos que orienta las acciones de Plan y muestra cómo éste contribuye a la mitigación de la pobreza y al cumplimiento de los derechos de la infancia. Asimismo, identifica ocho áreas de impacto del trabajo de Plan y describe cómo Plan evalúa la eficacia de sus programas, identificando los resultados fundamentales que se persiguen a través de su enfoque de DCCN. En el marco general de su enfoque de DCCN, y en sus documentos corporativos Plan define la efectividad de un programa como “la medida en la cual los programas de Plan contribuyen al fortalecimiento de la capacidad de los titulares y los garantes de derechos para crear un medio entorno duradero en el que se respeten, se protejan y se cumplan los derechos de los niños y las niñas.”

Al establecer unos objetivos de programación complementarios y claros para cada instancia de la organización, Plan está aprovechando su potencial para lograr cambios entre los diferentes actores y en diferentes niveles, desde lo local a lo global.

El concepto de ámbitos/esferas de control, influencia e intereses utilizado por la organización ayuda a ilustrar los espacios de responsabilidad individual y compartida así como sus implicaciones para medir y evaluar la Hacia un entendimiento común...

Página 4

eficacia de los programas de Plan.

Junto al contenido de la Guía de Programas (que como ya se dijo, incluye varios documentos

de

carácter programático),

los

procesos

de

planificación,

seguimiento y evaluación de los países se encuentran detallados en el Sistema de Rendición de Cuentas y Aprendizaje Programático – PALS (por sus siglas en inglés).

Desde el punto de vista de las orientaciones para el personal, PALS ha sido descrito y presentado en tres niveles: Nivel uno: Lineamientos Básicos: Proveen una visión general de las cuatro etapas de PALS, especificando los procesos obligatorios para cada etapa.

Nivel dos: Guías de “Cómo…”: Brindan mayor orientación sobre cómo llevar a cabo los procesos fundamentales.

Nivel tres: “Caja de Herramientas”: (Se desarrollará a lo largo del tiempo) Contiene herramientas, metodologías y ejemplos de buenas prácticas relacionadas con el trabajo de Plan y el mundo del desarrollo en general, para apoyar varios procesos de planificación, monitoreo y evaluación.

El ciclo programático planteado en PALS abarca las siguientes etapas: 1.

Análisis de Situación Participativa desde la Perspectiva de los Derechos de la Niñez.

2.

Planificación Estratégica y Programática.

3.

Implementación programática a través de proyectos .

4.

Monitoreo, evaluación e investigación programática.

Hacia un entendimiento común...

Página 5

La etapa de planificación estratégica incluye el diseño de:

Plan Estratégico

Describe

de País (CSP)

correspondencia con el análisis de situación realizado.

la

respuesta

estratégica

de

Plan

en

Muestra cómo Plan enfocará su trabajo para tener mayor impacto en las vidas de los niños y las niñas.

Identifica los Programas de País a través de los cuales se implementará esta estrategia, así como las Metas Programáticas que se buscan alcanzar.

Planes de Largo

Muestra como los Programas de país se implementarán

Plazo

de

en el contexto local (distritos / municipios) y nacional.

Unidades

de

Describe los objetivos específicos de los Programas de

Programas (PULTP

la PU, y la descripción de cómo se monitoreará y que

evaluará el progreso de la intervención.

incluyen línea de

Establece la ejecución de un estudio Línea de Base el

base)

mismo que se llevará a cabo después de que los objetivos

Programáticos

de

las

PU

hayan

sido

identificados. La Línea de Base describe el estatus inicial de los indicadores claves que serán utilizados para monitorear el progreso de dichos indicadores y de los objetivos propuestos.

Plan

Anual

de

Describe el trabajo del siguiente año del Plan de Largo

Unidades

de

Plazo de las Unidades de Programa y los objetivos a

Programa

(PA

alcanzar durante el año.

PU)

Hacia un entendimiento común...

Página 6

Según se anticipó, PALS cuenta con varias Guías “How to” (nivel 2); algunas de ellas concebidas para dar mayor claridad en torno a la formulación de objetivos, estrategias, resultados e indicadores, considerando la jerarquía de objetivos y los distintos niveles de intervención de las operaciones programáticas de Plan.

Varios de los documentos a los cuales se ha hecho referencia en este documento, particularmente,

las guías “How to” de PALS, aún no han sido

oficialmente traducidas. De ahí que, a continuación, se presenten algunos elementos conceptuales que requieren clarificación y una expresión de entendimiento común en la región.

III. Elementos conceptuales claves

The spheres of Plan’s control, influence and interest and strategic planning

Project results that are directly attributable to Plan’s efforts

Activities

[1]

Outputs Adapted from .........

Project/ PA PU

©

Plan

Plan’s Sphere of influence

Plan’s Sphere of control

Processes

Input

Outcomes: Changes among rights holders and duty bearers

These results can be directly attributed to Plan’s activities.

Hacia un entendimiento común...

Impact: Respect, protection and fulfilment of the rights of children

Plan’s Sphere of interest

Outcomes

CP/ PULTP

Plan’s programme will influence these outcomes, but will not be solely responsible for achieving them. This is the main level at which programme objectives are set and against which programme effectiveness is assessed.

Impact

Log Frame: Objectives, Results, indicators

Plan´sCSP “goal” contribution to impact

This is the desired impact that motivates Plan’s work and to which Plan intends to make a significant contribution through the changes effected at outcome level.

Página 7

El gráfico “The spheres of Plan’s control, influence and interest & strategic planning” ilustra de forma combinada la relación entre algunos elementos conceptuales básicos establecidos en el marco de efectividad y el ciclo de planificación estratégica.

Es a partir de este gráfico que se estima relevante iniciar el esclarecimiento respecto a algunas diferencias de uso terminológico: Término

Otros

Traducción

Significado para el entendimiento

más usado

términos

más

común, español

en Plan,

usados, inglés

frecuente,

inglés Impact

español Ultimate res ult.

Cons ecuencia –en principio- positiva a la

Impacto

Great effect or

cual contribuye el logro de objetivos y

influence

resultados de largo plaz o de múltiples actores en diversos niveles.

Corresponde al ámbito o esfera de interés de

Plan

(Respeto,

protección

y

cumplimient o de los derechos del niño), aquello

en

donde

se

encuentra

la

motivación al trabajo de la organiz ación.

Corresponde

t ambién

al

área

de

desarrollo en la que la organización quiere hacer una contribución significativa (ejercicio

de

derechos/

derechos

realizados).

Goals

Overall

Meta

objective

desarrollo)

Development

Objetivo

objective

país

Long

Term

(de

Objetivo de desarrollo de país, de largo plazo,

de

de

impacto.

Establece

la

perspectiva de la intervención de un país.

Se refiere a aquella definición de lo que se desea alcanzar en el largo plazo y

objective

corresponde al nivel más estratégico. (En

Impact

plan se han utilizado los términos “country

objective

goals” u objetivo de país -en españolpara este nivel).

Es el tipo de objetivo mayor en orden

Hacia un entendimiento común...

Página 8

jerárquico y al cual el objetivo de un proyecto cont ribuye sólo de forma parcial.

Objectives

Goals

Objetivos

Es aquella definición que claramente

(usualmente

explica para los distintos niveles (impact,

asociado

Outcomes

Intermediate

a

outcome,

output)

lo

que

se

quiere

objetivos

alcanzar o lograr a través de programas y

específicos)

proyectos.

Resultados

Cambios (resultados estratégicos de nivel

results

intermedio) en diferent es dimensiones

Effects,

(Des empeño

Changes.

actitudes,

prácticas,

mejoradas),

alcanzados

Theory

of

mejorado

según

rol,

capacidades por

distintos

change’s

actores

representation

corresponsables), que resultan de una o un

(garantes,

conjunto

titulares,

de

intervenciones

programáticas. En la lógica programática de

Plan

corresponden

a

cambios

asociados a los “P rogramme Goals”, e intervenciones en el nivel de los CP nacionales y los PULTP. Output

Results first

from

Productos

order

Productos

tangibles

(Ej.

Personas

capacitadas) atribuibles o derivados de

activities

un proyecto. E n la lógica de intervención

Products

de Plan se refiere a los “result ados” de la

Deliverable

“esfera

de

control”,

principalmente-

y

en

definidos

los

–

proyectos

diseñados en el nivel de las P U. No reflejan

o

representan

cambios

sustantivos en la población objetivo.

Activities

Actions

Actividades

Actividades o acciones llevadas a cabo en el marco de un programa o proyecto para alcanzar un result ado según su nivel de implementación.

Inputs

Resources

Insumos

Recursos

e

Process, Action

Medios

invertidos

en

insumos una

necesarios

actividad

a

e ser

desarrollada.

Otros términos asociados a la planificación estratégic a

Hacia un entendimiento común...

Página 9

Target

Level

of

Meta

Establecimiento del nivel o grado de

achievement

“ambición” con respecto a los resultados

Milestones

que se desean alcanz ar (puede ser

(interim targets)

especificado en términos cualitativos o cuantitativos, pero siempre medible en forma objetiva). En la lógica programática de Plan se deben definir metas para los objetivos de los PULTP.

Indicator

Factor

Indicador

Variable, factor que refiere información

Variables

cualitativa o cuantitativa específica que

Measure

(comprueba) “da cuenta” de la medida en la que se han provocado o no cambios conectados

a

intervenciones

programáticas. Implica c ontar con datos de referencia.

SMART

S - specific

“Inteligente”

S – Específico, sencillo

M - measurable

M - Medible

A - appropriate

A - Apropiado

(technically

R - Realista

correct,

T – Limitado en el tiempo, aquello

important)

que se quiere alcanzar en un

R - realistic

período de tiempo.

T - time-limited

IV. Preguntas frecuentes ¿Se puede medir el grado de contribución individual de la organización en términos del impacto en el cumplimiento de los derechos de la niñez y adolescencia?

Resulta muy complejo y, muchas veces, requiere una gran inversión de recursos con resultados poco precisos en torno a la explícita contribución institucional.

Consecuentemente, éste no es el nivel, en el que la organización ha decidido medir su efectividad.

Hacia un entendimiento común...

Página 10

El impacto se asocia con problemas sociales y éstos con las brechas existentes en el ejercicio de los derechos. Ello supone reconocer que existen ámbitos de acción distintos y un abordaje de causas de diversa índole y magnitud por parte de diversos actores y en distintos niveles.

La relación de las intervenciones programáticas institucionales -en el ámbito de interés organizacional- con los vacíos en el cumplimiento de los derechos no es “lineal” y, consecuentemente, la medición es más viable y transparente en función de objetivos planteados a través de programas y proyectos cuya secuencia es más controlada y medible.

Hacia un entendimiento común...

Página 11

Por ejemplo: Brecha en el

Un objetivo

Variables

Un

Una meta

Contribución

Nota.

cumplimiento

de

asociadas

indicad

establecida

desde la

de derechos

desarrollo

or de

en un Plan

planificación

en un país X.

de un país

impact

Nacional de

estratégica de

X.

o de

un país X.

Plan: Posibles

monitor

Indicadores de

eo en

resultado

un país X. Alta incidencia

Disminuir la

Desnutrición

Tasa de

Reducir

de mortalidad

tasa

crónica

mortalid

en menores de

mortalidad

cinco años.

infantil

de

Analfabetismo en

Déficit

de

% de familias que

Desde la teoría de

mortalidad

han

cambio que vincula el

ad

infantil de 8%

prácticas

infantil.

a 5% en los

alimenticias superar

menores de

infraestructura

próximos

cinco años.

hospitalaria

años.

Bajo

control

prenatal, etc.

(Análisis

multi

la

5

crónica

la

nivel intermedio), las

zonas

de

Plan

intervención

de

reducir la

%

los

(especialmente en el

intervenciones

Plan.

en

de

contribuyen tasa

a de

mortalidad de un país de

clínicas

comunitarias

que

junto

a

otras

intervenciones;

esto

han mejorado su

es, que no son sólo

capacidad

atribuibles a Plan.

para

asegurar el control prenatal

según

estándar establecido,

en

áreas de influencia de Plan.

Algunas veces, entre los documentos de planificación estratégica de Plan, e incluso en los requerimientos corporativos se solicita la especificación de resultados asociados al impacto. Es importante tener la claridad de que aunque se realicen estas definiciones siempre se harán desde la intención de querer contribuir a un impacto mayor, cuyo resultado y medición depende de las Hacia un entendimiento común...

con

resultados

las

evidencia investigación)

impacto para

desnutrición

causal basado en e

mejorado

Página 12

intervenciones de distintos actores en distintos ni veles, y no son ni pueden ser atribuibles “exclusivamente” a la intervención de Plan.

¿Es necesario definir objetivos para los distintos niveles de la planificación estratégica?

Si. Los lineamientos básicos de PALS (Core Pals, nivel 1), establecen que tanto los CP de país como los PULTP y los proyectos deben definir claramente sus objetivos.

¿Todos los objetivos deben ser SMART? PALS hace referencia a la importancia de definir objetivos SMART. Ello implica que las descripciones contemplen algunas condiciones básicas: Simplicidad, posibilidad de medición, grado en el que el objetivo es apropiado a la problemática identificada, definición de la ambición en términos realistas y tiempo definido.

Considerando que la organización debe ser capaz de rendir cuentas respecto a su respuesta estratégica para abordar los vacíos en el cumplimiento de los derechos de la infancia, sería sugerido que las definiciones de los objetivos de la cadena programática sean SMART. No obstante, puede que no siempre se cumplan todas las condiciones y ello no refleja una inadecuada formulación. Por ejemplo, no es necesario repetir innumerablemente el dato de tiempo para los objetivos de CP o de los PULTP, puesto que institucionalmente éstos han sido concebidos para un período de cinco años. Si se hubiera establecido un período diferente (ejemplo, 2 o 3 años), este aspecto debiera ser incluido en la descripción.

Por otro lado, cuando se trabaja bajo el enfoque de derechos, debido a la cantidad de variables que puede involucrar el abordaje de una situación, no siempre resulta fácil hacer una definición SMART “perfecta”; por ello se ha recomendado “corporativamente” que estas definiciones se hagan en el nivel de mayor especificidad (PULTP y, obviamente, proyectos de nivel de PU). Esta

Hacia un entendimiento común...

Página 13

recomendación no exime la posibilidad de hacerlo también para el nivel nacional (que puede resultar de la consolidación de los PULTPs). ¿Qué diferencia existe entre objetivos de nivel de impacto, de outcome y de output?

En pocas palabras: Country Goals/Overall objectives/Objetivos de desarrollo (CSP): Establece el enfoque y la “elección” justificada de las intervenciones en el largo plazo.

Programme Goals/Programme Objectives/Objetivos de Programas (CP/PULTP): Describe la razón / justificación de una elección estratégica (en el nivel de “outcome”. Establece un carácter más sostenible para los actores involucrados. Es la principal referencia para las intervenciones de monitoreo y evaluación de la organización.

Project Objectives /Objetivos de proyecto (PU): La descripción más específica en la cadena de intervención cuyos beneficios deseados están más asociados al tiempo de duración del proyecto e incluso podrían no continuar luego de su finalización (en la cadena de intervención, en este nivel, ya se especifican los “output”).

¿Cuántos objetivos pueden definirse en cada nivel?

La Guía “Cómo definir objetivos e indicadores” de PALS, enfatiza la importancia que tiene para cada país el definir un enfoque claro para su operación, defini do a través de un número limitado de programas. Una vez logrado esto, se pueden definir un número limitado de Objetivos de Programas (los denominados “Programme Goals”, para CP y PULTP).

No se especifican cuántos objetivos deben elaborarse según nivel; sin embargo, se destaca la importancia de limitar el número de objetivos ya que ello torna muy complicados los sistemas de monitoreo, evaluación y reporte.

¿Qué dice PALS sobre objetivos y resultados para cada nivel y su relación con los procesos de monitoreo y evaluación?

Hacia un entendimiento común...

Página 14

EL documento PALS, en el Apéndice 7 sobre la Jerarquía de Objetivos, se refiere principalmente a la definición de objetivos en los distintos niveles. A continuación, la versión original en inglés y en español: Goal/Objective

19

Document

Describe s

Asse ssment

Country Goal

Country

The specific changes that the strat egy

The Country Strategy

(Impact)

Strategic Plan

is focusing on to contribute to the

E valuation assesses

creation

Plan’s

of

a

lasting,

enabling

contribution

environment in which children’s rights

towards

are fulfilled and in which children and

achievement

youth realize their full pot ential. The

Country Goals.

the of

combination of Plan’s work and the work of other actors will contribute to these changes in the long term.

Programme Goal

Country

The changes that each Programme is

Progress

(Outcome)

Programmes

working

contribute

Programme Goals is

(appendix 1 of

towards the Country Goals identified.

assessed by looking

the

Development is informed by the levels

at

(rights

PUs

Country

Strategic Plan)

towards

holders,

(Outcome)

civil

towards

PU

participation, policy, etc.) of change

Objectives during the

described

APPR process.

in

t he

Programme

Framework.

the

starting

identification

Objective

bearers,

across

Programme

provide

Programme

duty

progress

society) and dimensions (awareness,

Effectiveness

PU

t hat

towards

of

point

PU

in

They

The Country Strategy

the

E valuation assesses

Programme

achievement

of

Objectives.

Programme Goals.

PU Long-Term

Describe the specific (SMART) targets

An

Plan

that the P U is working t owards as its

progress towards PU

contribution towards the Programme

Programme

Goal.

Objectives is made in

PU

P rogramme

Objectives

assessment

of

include specific indicators of change

the APPRs.

which

The Country Strategy

will

help

to

show

if

the

programme implementation at the P U

E valuation

level is achieving t he planned for change or not.

Traducción al español que ha sido difundida: Hacia un entendimiento común...

Página 15

Meta/Objetivo 1 Documento

Describe

Valoración

Meta de País

Plan

Los cambios específicos en La Evaluación de

(Impacto)

Estratégico

lo

de País

estrategia

que

se

enfoca

de

país

la la Estrategia de para País

valora

contribuir con la creación contribución de un ambiente duradero y Plan propicio

en

el

que

la de

hacia

el

se logro de las Metas

cumplan los derechos de la de País. niñez, y en el que la niñez y la juventud desarrollen su pleno potencial. El trabajo de Plan junto al de otros actores contribuirá a que estos cambios se den en el largo plazo.

Meta

Programas

Los

Programática

de

Programa

(Resultado)

(Apéndice 1 conseguir del

País

cambios

que

cada El Progreso hacia

procura las y

Metas

que Programáticas se

Plan contribuyen a las Metas de valora al observar

Estratégico

País

de País)

desarrollo es orientado por todas los

identificadas.

niveles

(sujetos

derecho, sociedad

El el

progreso las

de hacia

de PUs los

garantes, Objetivos civil)

y Programáticos de

dimensiones

la PU durante el

(concienciación,

proceso

de

la

participación, política, etc.) APPR. de cambio descritos en el La Evaluación de

1

Hacia un entendimiento común...

Página 16

Marco

de

Efectividad la Estrategia de

Programática. determinan

Ellos País

el

punto

valora

el

de cumplimiento

de

partida para la identificación las de

los

Metas

Objetivos Programáticas.

Programáticos de las PU. Objetivo

de Plan

de

Describe

las

metas Una

Programa de la Largo Plazo

específicas (SMART) que la del

PU

PU busca conseguir y su hacia

de la PU

(Resultado)

contribución

hacia

valoración progreso los

las Objetivos

Metas Programáticas. Los Programáticos se Objetivos Programáticos de realiza

en

el

la PU incluyen indicadores APPR. específicos de cambio que La Evaluación de ayudarán a demostrar si la la Estrategia de implementación

País

programática en la PU está logro

valora

el

de

los

logrando o no los cambios Objetivos planificados.

Programáticos de la PU.

Como se puede observar, la referencia principal es a los objetivos asociados a los ámbitos de “impact” y “outcome”, que en la traducción al español correspondería a “impacto” y “resultados. La definición de esos objetivos (que en la traducción utiliza el término meta) hace referencia a “cambios” que se procuran conseguir en distintos niveles; pero no se menciona de forma explícita la importancia o la posibilidad de definir” resultados esperados” relacionados con los objetivos, en los distintos niveles.

No obstante, no sólo no es incorrecto sino que es útil definir “resul tados esperados” para una mejor orientación en el proceso de planificación y una mayor concreción /desagregación de los cambios que se procuran conseguir.

Hacia un entendimiento común...

Página 17

De ahí que en la región, se esté recomendando también definir resultados de nivel estratégico tanto para el CSP como para los CP.

Entonces, ¿Es necesario definir resultados en los distintos niveles?

En la etapa de “planificación” estratégica, cuando definimos “resultados”, realmente estamos formulando “hipótesis de resultados esperados”.

Aclarado esto, los resultados se plantean en función de los objetivos que se desean

alcanzar

en

los

distintos

niveles

(considerando

también

la

correspondencia de éstos con los productos y las actividades) para responder a los vacíos en el cumplimiento de derechos que ha n sido identificados y analizados durante la fase de análisis situacional contemplada en el ciclo PALS. Como ya se mencionó en la pregunta anterior, los lineamientos básicos de PALS proponen para el nivel estratégico un marco general que incluye básicamente la definición de objetivos y de estrategias. Sin embargo, a nivel global y regional existe una marcada tendencia a recomendar que se definan resultados de país por programa, especialmente, porque ello contribuye a enfocarse en el impacto que se quiere lograr, facilita el monitoreo de resultados (outcome), orienta mejor a las PU durante sus elecciones programáticas y apoya la formulación de la lógica de la intervención para lograr un mayor alineamiento en el nivel local.

También vale decir que, aunque los lineamientos PALS plantean básicamente la definición de objetivos (CP y PULTP) e indicadores para el nivel estratégico, los conceptos de “objetivos” y “resultados”, al menos en español, no son sinónimos.

¿Cómo se relacionan los objetivos y resultados (output/outcome) según niveles con los procesos de monitoreo y evaluación?

Output: Es importante recordar que aunque no reflejan cambios en la población objetivo de las intervenciones,

son importantes para las

acciones de monitoreo y la gestión de proyectos y programas. El monitoreo se preocupa principalmente de analizar los componentes de Hacia un entendimiento común...

Página 18

la gestión interna para conocer sobre los insumos, actividades, procesos y su relación con los productos.

Outcome: Reflejan cambios en las condiciones o el comportamiento del grupo objetivo involucrado en programas y planes de largo plazo (titulares, garantes, corresponsables). Estos resultados se encuentran en el ámbito de influencia de Plan, de responsabilidad y rendición de cuentas “compartida”. Este es el nivel de CP y PULTP en el que se va a “evaluar” la efectividad programática del trabajo institucional con énfasis en la relación entre productos, resultados y objetivos (cambios provocados en el ámbito externo).

En el ámbito de los indicadores, ¿qué conceptos facilitan claridad para su definición?

Considerando que la organización ha adoptado y ajustado en su Marco de Efectividad Programático el concepto de efectividad de la OCDE/CAD, también se sugiere asumir su definición de indicadores: “una variable o factor cualitativo o cuantitativo que provee un medio sencillo y fiable para medir logros y reflejar los cambios vinculados a una intervención o para ayudar a evaluar el desempeño de un actor del desarrollo”.

A manera de referencia, también se puede mencionar la definición de indicador de USAID: “una variable cuyo propósito es el de medir cambios en un fenómeno o proceso”; o la definición de la Comisión Europea: “una descripción referida a los objetivos programáticos en términos de cantidad, calidad, grupo objetivo, tiempo y lugar”.

En todo caso, téngase presente que los indicadores son unidades de información que permiten hacer mediciones en el tiempo y documentar los cambios provocados. Es vital que se pueda ver la lógica (a través de investigación y evidencia) de relación entre el indicador y el efecto deseado (por ejemplo, peso y talla indican el estado nutricional).

Hacia un entendimiento común...

Página 19

Los indicadores proveen “evidencia” sobre cómo ha sido alcanzado o no lo que se ha planificado, pero no son ni deben convertirse en objetivos, metas o resultados; esto es, no especifican ningún nivel de logro por lo que no debe iniciarse su definición con frases como “se ha mejorado”, “incrementado”, etc.

Los indicadores deben ser neutros (sin mostrar dirección alguna) a diferencia de los resultados que si deben expresarse en términos de mejoras favorables “se ha mejorado” etc.

¿En qué momentos de la planificación estratégica se deben especificar los indicadores?

Los

indicadores

pueden/deben

acompañar

distintas

etapas

del

ciclo

programático definido en PALS. 1.

Análisis de Situación Participativa desde la Perspectiva de los Derechos de la Niñez: No es una fase de “formulación” de indicadores, pero siguiendo los lineamientos de PALS, éstos juegan un rol central en el análisis de situación ya que se utilizan indicadores cuya información permite –por ejemplo- valorar el contexto social, económico, político, ambiental; las brechas en el cumplimiento de derechos, etc. 2.

La calidad del análisis depende en gran medida de los indicadores seleccionados, la fiabilidad de los datos que éstos aportan y el grado de desagregación disponible que permite hacer comparaciones por grupo etario, sexo, regiones, -e incluso- nivel. Además, muchas veces estos datos se convierten en línea de base cuando la información es validada y existen datos en el contexto local.

2.

Planificación Estratégica y Programática:

Esta es la fase de

formulación de los indicadores de “planificación”. La Guía “Cómo definir objetivos e indicadores” de PALS establece que “es posible” definir indicadores para toda la cadena de resultados (input, process, output, outcome and impact). También se destaca que para el “Country Level” no 2

Se recomienda revisar la sugerencia de indicadores definida en el “Flow Chart del proceso CSP/PULTP” acordado para la región. Ahí se podrán encontrar indicadores para el análisis de contexto.

Hacia un entendimiento común...

Página 20

es

requerido

formular

indicadores

para

soportar

los

Objetivos

programáticos/programme goals/programme objectives; sin embargo, deja abierta la posibilidad de hacerlo para que ciertos indicadores puedan ser utilizados por las PU. Bajo el acuerdo de que los indicadores pueden ser formulados tanto para el objetivo de desarrollo (impact country goal) como para los objetivos programáticos (CP outcome goals) y los resultados esperados (en los distintos niveles) porque proveen un mayor detalle; con base en las necesidades identificadas, a nivel global y regional existe una marcada tendencia a recomendar que se definan indicadores por programa de país, dado que ello orientaría mejor a las PU durante la formulación y elección de sus indicadores (nivel que PALS sí enfatiza la importancia de la definición de indicadores).

3.

Implementación programática a través de proyectos: Durante esta fase, las actividades de monitoreo y evaluación proveen información central, en la que los indicadores, también juegan un rol relevante.

Obviamente, los indicadores de planificación son una referencia importante para valorar el progreso; sin embargo, en esta etapa, se toman decisiones respecto a aspectos específicos de la intervención enfocados en indicadores de “input (tiempo utilizado, presupuesto, personal involucrado, recursos, etc.)” y “output”. Algunos indicadores de proceso también son observados en esta etapa, por ejemplo, frecuencia de reportes, eficacia del proceso, entre otros.

4.

Monitoreo, evaluación e investigación programática: Con énfasis en la evaluación, en esta etapa y dependiendo de los criterios de evaluación que se hayan predefinido durante la etapa de planificación,

se

desarrollan más indicadores asociados a la eficacia, efectividad, relevancia, pertinencia, sostenibilidad, impacto, etc. Obviamente, los indicadores definidos en la planificación son la principal referencia para los ejercicios de evaluación.

Hacia un entendimiento común...

Página 21

Hacer formulaciones SMART, ¿aplica sólo para objetivos o sólo para indicadores?

Aplica para ambos; sin embargo, no se espera que dicha aplicación sea simultánea. Es decir, si el énfasis para hacer una definición SMART está en los objetivos, los indicadores se presentan sólo como variables. Si está en los indicadores, éstos deben ser más específicos incluyendo información del “target group” y de lo que se desea alcanzar.

PALS enfatiza una definición SMART en los objetivos y, básicamente, para los Objetivos de Programa de PU.

¿Cómo se deben redactar los objetivos, resultados, indicadores?

Dependiendo del enfoque de planificación, existen varias y diferentes (incluso contrarias) recomendaciones sobre cómo

redactar objetivos, resultados,

indicadores y metas como parte de la lógica de la intervención programática.

Los lineamientos básicos PALS no ofrecen una recomendación explícita sobre cómo redactar estos elementos. En cualquier caso, debe tenerse presente que más importante que la forma, es la claridad y el mayor grado de concreción que proveen estas descripciones al ciclo de planificación.

De todas formas, dado que este aspecto también parece aportar a descripciones poco estandarizadas que contribuyen a un mayor o menor grado de confusión, se plantea a manera de sugerencia –con base en el análisis de las tendencias relativamente constantes sobre la forma de redactar estos elementos a nivel global y regional, lo siguiente:

(Nota: La tabla siguiente está pensada para una lectura vertical, no se encontrará ninguna relación entre las columnas, sólo hay ilustraciones respecto a la sugerencia de redacción. El ejemplo de una secuencia entre objetivos resultados e indicadores por niveles, podrá ser encontrado en archivo adjunto)

Hacia un entendimiento común...

Página 22

Descripción Sugerencia para redacción

la

Objetivos

Resultados

Indicadores

Uso de verbos “activos”,

Uso de verbos en

No

que son medibles y se

participio

“absolutos”. Su definición

expresan en infinitivo.

(terminaciones

puede

ado/ido).

compleja, según el nivel y

pasado

hay

principios

s er

simple

o

los requerimientos.

Ejemplo

“Contribuir

al

mejoramiento

de

capacidades

y

habilidades

cognitivas,

motoras,

psicosociales,

afectivas y

de lenguaje

“Funcionarios entidades han

de

estatales

mejorado

conocimient os

sus y

“Tasa

de

escolar.” “%

de

implementación

situaciones de violencia o

de

años.”

en

centros

sostenible

al

han

declarado ser testigos de

abuso

acceso

que

capacidades para la

las políticas públicas

el

NNA

escolarizados

de NN menores de 5 “Aumentar

deserción

las

zonas

intervención.”

de

sexual

en

sus

escolares

en

zonas de intervención de Plan”.

agua

potable” Comentarios

La descripción anterior no invalida

propuestas

redacción como

indicadores

objetivos

estratégico

siguiente:

objectives

“Capacidades habilidades menores

de

nivel (“impact

and

impact

results”) son unidades de

de

NN

medida sobre situaciones

5

años

mejoradas”.

que

están

alcance elaboraciones

proponen

los

y

de

Algunas

Generalment e

de

de la

NA

iniciar

fuera de

intervenciones

del las

de

los

los

programas o proy ectos,

objetivos a partir de los

se obtienen de fuentes

sujetos:

niños,

secundarios y tienen una

adolescentes y jóvenes

formulación simple. Los

alcanzan

las

indicadores para el nivel

competencias necesarias

de outcome deben ser

para

más

“Niñas,

ejercer

derechos”.

Hacia un entendimiento común...

sus

det allados

en

cantidad, calidad, tiempo

Página 23

(especialmente

cuando

se trata de los PULTP ). con

“Al finalizar el proyecto,

características

NN menores de cinco

funcionamiento

SMART

años de las zonas de

finalizar el proyecto”.

intervención

% de NNA de grupos

Ejemplo

seleccionadas, sus

NA

mejoran

capacidades

cognitivas…”

“%

de

letrinas

en al

organizados funcionando, de

las

comunidades

seleccionadas proyecto, mantienen

en que

se

participando

activamente, asambleas

el

en

las

comunitarias

durante los procesos de toma de decisión sobre aspectos

que

les

competen.

¿Existe diferencia entre meta/”target” e indicador?

Cuando se formulan indicadores bajo las características SMART, quiere decir que los indicadores se tornan más específicos y, por lo tanto, incluyen o se completan con información sobre tiempo y valores -que pueden ser- tanto de la línea de base como la meta que se ha establecido y se busca alcanzar.

Lo importante es reconocer que e xiste una clara diferencia entre meta e indicador.

Por ejemplo: “80% de niñas y niños entre 0 y 24 meses, en las áreas de intervención seleccionadas, cuentan con el esquema completo de vacunación para la edad” (este tipo de formulación hace referencia al término “Meta indicador/indicador objetivamente verificable descrito en el enfoque del marco lógico”).

Indicador: % de niñas y niños entre 0 y 24 meses que cuentan con el esquema completo de vacunación para la edad.

Meta: 80% Hacia un entendimiento común...

Página 24

¿En qué nivel se deben definir las metas?

Los lineamientos de PALS no lo mencionan explícitamente para el nivel de impacto sino para el nivel de PU. No obstante, a nivel global se ha requerido que junto a los CSP (en los documentos de resumen), se describan resultados estratégicos (“High Level results”).

Este requerimiento supone plantear desafíos pero –al mismo tiempo- pretende que seamos

realistas, tomando en consideración las

contribuciones

específicas que se pueden hacer desde las definiciones en el nivel de los CP y los PULTP (enfoque de abajo a arriba).

En todo caso, debe dejarse claramente expresado que dicha definición inicial de resultados de alto nivel (“High Level Results”) hace referencia a la esfera de interés y, las metas, se han establecido principalmente en función del potencial alcance/ cobertura de nuestras intervenciones programáticas en las zonas territoriales donde Plan opera; no obstante, el ajuste final de metas, que sigue la cadena lógica de la planificación, se hará luego de haber levantado la línea de base en el marco de los PULTP.

Hacia un entendimiento común...

Página 25