Libromepe full by Heurística Educativa

Armando Loera Varela

Monitoreo y evaluación del diseño y desempeño de programas sociales

h Heurística Educativa

Monitoreo y evaluación del diseño y desempeño de programas sociales Armando Loera Varela

2009 Chihuahua, Chih. México

Armando Loera Varela

Monitoreo y evaluación del diseño y desempeño de programas sociales Armando Loera Varela Primera edición, 2009

d.r. © 2009, Armando Loera Varela d.r. © 2009, Heurística Educativa sc www.heuristicaeducativa.org isbn: Edición y diseño Francisco Xavier Ortiz Prohibida su reproducción por cualquier medio mecánico o electrónico sin la autorización previa del autor. Chihuahua, México





Monitoreo y evaluación del diseño y desempeño de programas sociales

CONTENIDO

introducción 5

cap. 1. El proceso del diseño de los programas sociales 11 cap. 2. La dictaminación y el análisis de viabilidad de propuestas 57 cap. 3. El proceso de implementación de los programas sociales e identificación del valor público 71 cap. 4. Etapas de un modelo de monitoreo basado en resultados 101 cap. 5. Teoría del Cambio y Marco Lógico 133 cap. 6. Técnicas sencillas y rápidas de monitoreo social 181 cap. 7. Procedimientos participativos y heurísticos en el monitoreo de programas sociales 343 cap. 8. La gestión del conocimiento derivado del monitoreo y evaluación 363 cap. 9. Principios de un sistema de monitoreo eficiente y de calidad 419





Monitoreo y evaluación del diseño y desempeño de programas sociales

INTRODUCCIÓN

Los gobiernos, así como otras instancias que desarrollan procesos de intervención social, reciben cada vez más presiones para ser más eficientes en su operación, así como para ejecutar políticas y programas con mayor transparencia. En el sector de los programas sociales, específicamente, se exige que se cumplan promesas que sobrepasan con facilidad la real capacidad operativa a disposición de las instituciones públicas, como son la reducción de la pobreza y la mejora de la calidad y equidad educativa, por no hablar de impulsar modelos de desarrollo social integral. Sin embargo, particularmente los gobiernos están comprometidos a mejorar la calidad y equidad de los servicios públicos que prestan y deben hacer esfuerzos sistemáticos para mejorar el estado de cosas a partir de herramientas a su alcance como es la formación de políticas y programas. Aunque frecuentemente se cometen serios errores en su diseño y operación. La perspectiva tradicional de la evaluación de impacto difícilmente llega de manera oportuna a quienes operan los programas para realizar ajustes a tiempo, por lo que se desperdician recursos y esfuerzos. En este libro se presenta una metodología que permitirá diseñar mejor los programas sociales y aprender de manera oportuna a realizar ajustes en su operación. Se dirige a diseñadores y operadores de programas públicos (tanto gubernamentales como los desarrollados por Organismos No Gubernamentales–ONG´s) que deseen –ellos (y ellas) mismos– instalar procedimientos de monitoreo y evaluación que les permita disminuir los errores que se cometen en el diseño de la mayor parte de los programas, así como a identificar y remediar errores que la implementación conlleva.





Armando Loera Varela

Asimismo, contiene un repertorio de herramientas sencillas de operar, que requieren pocos recursos y facilitan el involucramiento de múltiples actores tanto en la obtención de la información, como en el análisis y formulación de decisiones consecuentes. La metodología recupera buenas prácticas localizables en la literatura especializada, así como lecciones que el autor ha recibido a lo largo de varias décadas dedicadas a la investigación y evaluación educativa. En este sentido se muestran productos concretos que ejemplifican algunas de las herramientas presentadas. Los primeros tres capítulos tratan sobre aspectos preparatorios del diseño de los programas sociales. En el primer capítulo se considera el diseño de los programas sociales, un tema poco considerado en los tratados de evaluación, y que consideramos vital desde la perspectiva de que con el Monitoreo y Evaluación se trata de rediseñar los programas, por lo que es realmente importante identificar los aspectos que influyen en ese diseño. En el segundo capítulo se consideran elementos de la dictaminación y análisis de viabilidad, como aspectos de valoración inicial a las que se deben someter las propuestas para convertirse en programas sociales. El tercer capítulo se dedica a considerar los factores que inciden en los procesos de implementación de los programas ya en operación, aspecto crítico para el corrector de Monitoreo y Evaluación de los programas. Los siguientes dos capítulos tienen que ver directamente con el diseño del modelo de Monitoreo y Evaluación, que sea pertinente a aplicar a programas sociales. El cuarto capítulo se dedica a presentar un esquema general del proceso de Monitoreo, que consideramos sencillo de aplicar a la mayor parte de los programas sociales. El quinto capítulo presenta la herramienta central para la propuesta metodológica que constituye la base conceptual del diseño del modelo de Monitoreo y Evaluación, a partir de la Teoría del Cambio implícita en el programa a ser estudiado, y el análisis que se deriva de la aplicación del





Monitoreo y evaluación del diseño y desempeño de programas sociales

Marco Lógico, como herramienta de la que se infieren los indicadores y procedimientos de registro de investigación social apropiada, y conecta la teoría con la operación del programa. Los siguientes dos capítulos presentan opciones de técnicas de Monitoreo y Evaluación, así como criterios para seleccionar los adecuados, con énfasis en los de carácter participativo y de naturaleza mixta. El capítulo sexto presenta técnicas rápidas, sencillas y baratas de ser aplicadas en los procesos de Monitoreo. El capítulo séptimo considera diversos procedimientos participativos y heurísticos-iluminativos. El octavo capítulo resume la orientación básica de la metodología: ser usada en procesos oportunos de toma de decisiones, por lo que se dedica a considerar los factores que influyen la gestión del conocimiento derivado de las ciencias sociales en el ámbito público. Por último, el capítulo noveno presenta una estructura guiada para diseñar procesos de Monitoreo y Evaluación de programas sociales.





El Proceso del Dise単o de los Programas Sociales

Monitoreo y evaluación del diseño y desempeño de programas sociales

CAPÍTULO 1

El Proceso del Diseño de los Programas Sociales 1. ¿Qué es un programa social? Un programa social consiste en una inPulse para explorar el subíndice: tervención intencionalmente diseñada para 1. ¿Qué es un programa social? afrontar, con acciones y recursos, un proble2. ¿Para qué se diseña un ma reconocido como importante. Los proprograma social? gramas sociales suelen ser diseñados y ope3. ¿Cómo se diseña un programa rados por órganos del Estado, ya sea a nivel social? municipal, estatal o federal. Sin embargo, a 4. ¿Cuáles son los errores partir de los procesos de Reforma del Estado comunes en el diseño de un es cada vez es más frecuente encontrar gruprograma social? pos de la sociedad civil involucrados en el diseño y ejecución de este tipo de programas, ya sea en alianza con organismos públicos o de manera autónoma. En las intervenciones sociales se identifican tres niveles de abstracción, que partiendo de lo más específico a lo más general son: proyectos, programas y políticas. Los tres tipos de intervenciones sociales comparten los mismos elementos constitutivos: a) Responden a una agenda de acción institucional, la que permite identificar ámbitos problemáticos en el sistema social.





El Proceso del Diseño de los Programas Sociales

Armando Loera Varela

b) Identifican un problema, o conjunto articulado de problemas, a partir de los principios de la agenda, del modelo social implícito, así como de los elementos metodológicos y conceptuales del diagnóstico. c) Proponen estrategias de acción que movilizan actores, asignan recursos y articulan diversos tipos de esfuerzos que solucionan el problema. d) Formulan objetivos y metas que determinen un nivel satisfactorio de resolución del problema, en un tiempo finito y de acuerdo a un programa de actividades establecido. e) Sugieren mecanismos para rediseñar acciones, de manera que se optimicen las posibilidades de alcanzar los objetivos o, incluso, reformular los objetivos en el proceso mismo, de manera que sean más satisfactorios para los beneficiarios y/ operarios de la intervención. Los proyectos sociales constituyen el nivel más particular y concreto de intervención, en consideración de la especificidad del grupo de beneficiarios, el monto de los recursos involucrados y por lo acotado en tiempo de la acción, ya que son de corto plazo. Los programas sociales se ubican en un nivel intermedio y se conforma por acciones y recursos que intencionalmente se articulan por una instancia gestora, con el fin de intervenir y transformar una situación específica que afecta a una población determinada, con el propósito de mejorar el estado de bienestar o calidad de vida de los beneficiarios. Es frecuente que se compongan de proyectos articulados, aunque los programas pueden perfectamente no constituirse por proyectos sino por componentes. Su duración es de mediano plazo o son de tiempo indefinido. Sus montos y nivel de inversión suelen variar pero es significativamente mayor que el considerado en los proyectos. Las políticas se distinguen de los otros dos niveles por ser orientaciones

El Proceso del Diseño de los Programas Sociales





Monitoreo y evaluación del diseño y desempeño de programas sociales

generales de las acciones y carecer de operatividad por sí mismas, ya que se les implementa a través de programas y/o proyectos. El diseño del presupuesto, la organización logística y la programación no son enfatizadas o perfectamente pueden carecer de ellas. Usualmente son expresión de la teoría de la acción de la institución que las sostiene, y sirven como referentes para la configuración de la agenda. Las técnicas y metodologías que se considerarán en este libro se referirán al nivel intermedio, los programas sociales, que normalmente tienen un propósito de transformación de una situación de la sociedad lo suficientemente amplia como para afectar procesos sociales de dimensión considerable, de manera que pueden mostrarse en sistemas de rendición de cuentas e indicadores sociales relevantes. Es decir, los programas sociales buscan tener impacto social directo, por lo que su monitoreo y evaluación no se reduce a optimización en la aplicación de recursos (como es frecuente en la evaluación de proyectos) sino también verificar su eficiencia y eficacia en su capacidad para alterar el comportamiento del sistema social, en beneficio de los actores que padecen los problemas. Por otra parte, el nivel de políticas es más general y se enmarca en una visión más o menos estructurada sobre el desarrollo social y de los factores que influyen de manera decisiva en la mejora de la calidad de vida de sociedades, comunidades, grupos, familias e individuos. Las políticas, por su generalidad y por ser expresión de modelos conceptuales de naturaleza diferente a los programas, requieren de procesos de evaluación específicos, que no serán cubiertos aquí. 2. ¿Para qué se diseña un programa social? Los programas se diseñan con el propósito de solucionar, o al menos enfrentar, problemas sociales. Sin embargo, no es fácil dilucidar qué es un pro-





El Proceso del Diseño de los Programas Sociales

Armando Loera Varela

grama social. Proponemos que los programas son sociales si se refieren, al menos, a uno de cinco ámbitos: 

Garantizar derechos individuales o sociales mínimos de toda persona.



Garantizar derechos individuales o sociales de acuerdo con las normas vigentes en una sociedad.



Satisfacer estados de bienestar de acuerdo a consensos internacionales, nacionales o comunitarios.



Generar valor público agregado en dinámicas y servicios públicos y comunitarios.

 Resolver situaciones problemáticas de acuerdo a la agenda de actores

políticos, ya sean gubernamentales o de la sociedad civil.

Los procedimientos metodológicos que se consideran aquí son particularmente pertinente para monitorear los programas educativos, pero algunos de ellos se podrán aplicar también a programas de salud, vivienda, migración, cultura, participación ciudadana, inclusión social, derechos humanos, entre otros de naturaleza semejante. Los temas relacionados con lo social responden a un referente conceptual que nos permite identificar cuáles son los derechos individuales o sociales, ya sean reconocidos de manera universal, o por la estructura constitucional y legal de una sociedad. Sin embargo, para que un tema se convierta en problema social necesita, además de ubicarse en uno o varios de los ámbitos ya descritos, de las siguientes condiciones referentes a la viabilidad de las soluciones: 1) Ser solucionable, de manera universal, estable y permanente con los recursos de la sociedad o de la comunidad internacional (viabilidad económica).

El Proceso del Diseño de los Programas Sociales





Monitoreo y evaluación del diseño y desempeño de programas sociales

2) Contar con estrategias o instrumentos que afronten el problema de manera técnicamente eficiente, de acuerdo al conocimiento y a las prácticas universales (viabilidad técnica). 3) Ser expresada como prioridad por actores políticos relevantes y organizados, de manera que constituya un aspecto de movilización social (viabilidad política). La noción de “problema social”, así como el de su noción paralela “necesidad social”, son singulares a cada momento, cultura y grupo que prefiere identificar las situaciones sociales de esa manera. Es decir, se construyen de acuerdo a los intereses de los actores y a las condiciones del momento1 . Desde este punto de vista los problemas sociales no se refieren a condiciones objetivas del sistema social sino más bien son resultados de procesos interpretativos que se componen de aspectos vistos como opresivos, intolerantes o injustos. Sin embargo, el relativismo antes expresado tiene sus límites si tenemos como referente una noción básica de vida digna como derecho de toda persona. La tensión entre los derechos universales y las posibilidades sociales es característica de la vida política y social. Marta C. Nussbaum2 nos propone un decálogo de capacidades de vida humana a la que tiene derecho toda persona, independientemente de la sociedad y cultura en la que vive, por lo que aspira a constituirse como un estándar universal. Se trata de un mínimo de derechos que de manera articulada aspiran a construir la noción de vida digna en una sociedad, de manera que para una sociedad justa es inadmisible contar la garantía de unos pocos, o incluso la mayoría, pero no con todos. De manera que un déficit de uno o unos, se constituye en la base de una problemática social. 1 Miller, Gale, Constructionist Controversies: Issues in Social Problems Theory, New York: Aldine De Gruyter, 1993. 2 Nussbaum, Martha C., “Frontiers of Justice: Disability, Nationality, and Species Membership”, Cambridge, Mass.: Harvard University Press, 2006, pp. 76-78.





El Proceso del Diseño de los Programas Sociales

Armando Loera Varela

Para Nussbaum las capacidades humanas centrales son: 1. Vida Ser capaz de vivir hasta el final de lo norma de la vida humana, sin tener que morir de manera prematura o de manera tan reducida o empobrecida que la vida no valga la pena de vivirse. 2. Salud física Ser capaz de contar con buena salud, incluyendo la salud reproductiva; ser alimentado de manera adecuada y contar con vivienda apropiada. 3. Integridad corporal Tener la capacidad para moverse de manera libre a cualquier lugar, con la seguridad de no ser asaltado o de que se ejerza violencia doméstica; tener oportunidades de obtener satisfacción sexual y contar con opciones en materia reproductiva. 4. Sentido, imaginación y pensamiento Ser capaz de usar los sentidos para imaginar, pensar y razonar, y hacerlo de manera “verdaderamente humana”, es decir, informada y cultivada por una educación adecuada; que incluya, pero de ninguna manera se limite a la alfabetización y al entrenamiento básico en matemáticas y ciencias. Ser capaz de usar la imaginación y el pensamiento en relación con experiencias y trabajo productivo que la persona misma decida, ya sea de tipo religioso, literario, musical, entre otros. Ser capaz de usar la mente en formas protegidas por la libertad de expresión, con respeto al discurso político y artístico, así como a la libertad del ejercicio religioso. Tener la capacidad para tener experiencias placenteras y evitar dolores,

El Proceso del Diseño de los Programas Sociales





Monitoreo y evaluación del diseño y desempeño de programas sociales

5. Emociones Ser capaz de sentir apego a cosas y a otras personas, amar a quienes nos aman y cuidan, sentir pesar por su ausencia. En general, amar, sentir pesar, experimentar gratitud y enojo justificado. Evitar que el desarrollo emocional de las personas sea limitado por miedo o ansiedad. Apoyar esta capacidad implica apoyar formas de asociación humana que sean cruciales para el desarrollo. 6. Razón práctica Ser capaz de construir una concepción de lo bueno e involucrarse en reflexiones críticas acerca de la planificación de la propia vida, lo que implica protección por la libertad de conciencia y de la libertad religiosa. 7. Afiliación Incluye dos tipos de capacidades. A. Tener la capacidad para vivir con otros y en relación a otros, reconocer y mostrar preocupación por otros seres humanos, involucrarse en varias formas de interacción social y sentir compasión al imaginarse la situación de otra persona. Proteger esta capacidad implica proteger instituciones que constituyen y promueven tales formas de afiliación y que también protegen la libertad de reunión y de expresión. B. Tener las bases sociales para respetarse a sí mismo, ser tratado como un ser digno cuyo valor es igual al de los demás. Esta capacidad garantiza la provisión de bases no discriminatoria en relación a la raza, el género, la orientación sexual, la identidad étnica, la casta, la religión o el origen nacional. 8. Otras especies Tener la capacidad para vivir y preocuparse por y en relación a animales, plantas y el mundo de la naturaleza.





El Proceso del Diseño de los Programas Sociales

Armando Loera Varela

9. Diversión Ser capaz de reír, jugar y disfrutar de actividades recreativas. 10. Control sobre el ambiente que lo rodea a uno A. Político. Tener la capacidad para participar de manera efectiva en las opciones políticas que gobiernan la vida de uno, tener el derecho de participación política y garantías de la libertad de expresión y de asociación. B. Material. Tener la capacidad para tener propiedad (tanto de bienes raíces como de bienes muebles), tener derechos de propiedad sobre bases de igualdad con otros, tener la libertad para buscar empleo sobre bases iguales a otros, tener la libertad para evitar ser perseguido sin bases. En el ámbito laboral, tener la capacidad para trabajar como ser humano, ejercer la razón práctica y sostener relaciones significativas y de mutuo reconocimiento con otros trabajadores. Ya sea que se tome este listado, que su autora sostiene con argumentos filosóficos, o los de alguna ideología política o cualquier otro marco de referencia (incluyendo diagnósticos de necesidades), lo cierto es que los problemas que son considerados en los programas sociales requieren formar parte de la agenda de un actor político o social. En ocasiones existen programas de carácter “simbólico”, que destacan por ser muy limitados para el problema que enfrentan, siguiendo el principio de “mostrar que algo se está haciendo por afrontar un problema que otros consideran importante pero no ciertamente el mayor responsable”. En otras ocasiones se exploran nuevos territorios sociales a través de programas innovadores que afrontan problemas emergentes, en cuanto que pocos actores, en ocasiones políticamente débiles, los reconocen como tales. Algunos de estos programas desaparecen o permanecen en su estado mínimo. Pero en otras esos pequeños proyectos logran ser reconocidos como programas piloto y

El Proceso del Diseño de los Programas Sociales





Monitoreo y evaluación del diseño y desempeño de programas sociales

luego programas nacionales. En mucho, este proceso de reconocimiento tiene un carácter político y comunicacional, en pocas ocasiones se debe a resultados empíricos de investigaciones sociales. La agenda de un actor social se conforma por la lista de los temas o problemas que le preocupan, les pone atención, está dispuesto a asignar recursos para su consideración y en relación a los cuales participa en foros públicos argumentando su relevancia y/o sosteniendo una posición conceptual sobre cómo debe entenderse y afrontarse. La agenda pública es la específica de la esfera gubernamental y se requiere que funcionarios de alto nivel (electos, no designados) la acepten o sostengan, ya sea de manera formal al incorporarla a la estructura gubernamental de decisiones públicas (asignarle presupuesto, incorporarla en los programas o planes gubernamentales, configurar un equipo de tarea en torno al tema, etc.) o de hecho, al reconocer en las actividades cotidianas la importancia del tema asignando recursos públicos (dinero, tiempo, actividades). Un aspecto muy relevante en la conformación de la agenda pública es la actividad de las instancias que algunos denominan empresarios o gestores de políticas públicas, que son actores más o menos especializados en influir en la conformación de la agenda. Entre este tipo de gestores se cuentan a los medios de comunicación, los organismos de la sociedad civil, los partidos políticos y líderes sociales. Los organismos de la sociedad civil son excelentes gestores de agendas emergentes o novedosas para el ámbito público, en cambio los medios de comunicación suelen ser construir agendas más coyunturales y por lo tanto efímeras. Una vez que se identifica el problema social pasa a la etapa en la que se le formula como demanda social y en la que se articula con estrategias de movilización social en torno a la demanda. La transformación de un problema a una demanda social implica que ya ha sido reconocida en la agenda de actores





El Proceso del Diseño de los Programas Sociales

Armando Loera Varela

políticos y que se le ubica como un tema viable a ser afrontado con los mecanismos disponibles a los actores que pueden o deben verse involucrados. Es decir, al tiempo que se dice: “se debe hacer algo con relación a tal problema”, ya que se plantea como una situación insoportable, y se indica “quién debe hacer algo con relación al problema”, si no desea perder fuerza o privilegios. En el proceso por el cual un problema es identificado pasa a formar parte de una agenda es común que se le reconceptualice y se modifiquen sus condiciones y términos, este proceso es especialmente agudo cuando se trata de formar consensos con amplias coaliciones de actores3. Un tema es capaz de ser ampliamente reconocido usualmente cuando su definición es ambigua, se le define de manera simple, es persistente en el tiempo, toca la vida cotidiana y se puede hacer algo importante para solucionarlo con recursos disponibles. 3. ¿Cómo se diseña un programa social? Al menos existen dos formas técnicamente correctas de responder a la pregunta. La primera implica la visión instrumental de los programas sociales, que es tal vez la más reconocida. La segunda es la visión construccionista, que se considerará con mayor extensión por la naturaleza de las técnicas de monitoreo y evaluación desarrolladas en este libro. Claro, también existe el proceso probablemente más frecuente de encontrar en donde a alguien se le “ocurre” hacer algo sin más bases que una corazonada, se copia un programa que resultó en otro lado o con bases en simples creencias o intereses. El diseño con base en “ocurrencias” esta blindado en contra de reales procesos de Monitoreo y Evaluación, los que tienen sentido sólo si se desea firmemente aprender de los errores y ser lo más efectivos posibles. 3 Meny, Ives y Jean-Claude Thoenig, Las Políticas Públicas, Barcelona: Editorial Ariel, 1992.

El Proceso del Diseño de los Programas Sociales





Monitoreo y evaluación del diseño y desempeño de programas sociales

Visión instrumental Un programa social tiene como propósito solucionar, aminorar o al menos afrontar un problema social, por lo que siempre es un medio, un instrumento. Un programa nunca debe ser o convertirse en un fin en sí mismo. En mucho es una hipótesis de trabajo sobre cómo funciona la sociedad, la economía y las organizaciones. Por lo que en su diseño los aspectos medulares tienen que ver con su eficacia, es decir, con su capacidad para influir de manera causal en la solución del problema, al manos bajo los términos, condiciones y limitantes reconocidos en la formulación del propio programa. Desde esta perspectiva, el diseño del programa es un proceso eminentemente técnico, que es mejor considerado si se desarrolla por un especialista o experto en el tema en cuestión, quien tendrá más elementos –se asume– para diseñar de manera “correcta” el programa ya que tiene conocimiento acumulado, derivado tanto de la teoría como de “buenas prácticas” que corresponden a otros ámbitos. El proceso de diseño, desde la perspectiva instrumental, se compone de nueve etapas: a) Primeramente la realización de un diagnóstico detallado del problema, considerando preferentemente indicadores e información cuantitativa y “objetiva”. En este proceso es muy importante la delimitación del problema de manera que sea “manejable” en las condiciones del programa y sus actores. Como punto de partida se considera que un problema surge de la diferencia entre el “ser” y el “deber ser” en una situación. b) En segundo lugar, enmarcar el problema desde una perspectiva teórica relevante para entenderlo y afrontarlo, especialmente a partir de factores que influyen en su producción. De estos factores se seleccionan aquellos que son manipulables por quien va a intervenir, con la dimensión de componentes





El Proceso del Diseño de los Programas Sociales

Armando Loera Varela

disponibles o viables de conseguir, los que suelen ser considerados como elementos para la definición de las estrategias. c) En tercer lugar, se identifica y caracteriza a la población que, al menos de manera presunta, resultará beneficiada o afectada por el programa. d) En cuarto lugar, procede identificar y articular los recursos técnicos, económicos, organizacionales y políticos disponibles o viables para asignarlos a la solución del problema. e) En quinto lugar, se recomienda configurar una visión o imagen deseable del programa, especialmente por los actores que lo impulsan y operan, eventualmente entre los mismos beneficiarios. f) En sexto lugar, se definen los objetivos y nivel de logro de metas que se consideran satisfactorios y de los cuales pueden rendirse cuentas, especialmente a través de indicadores cuantificables. En ocasiones se hace una jerarquía entre los objetivos generales, específicos, acciones y tareas. g) En séptimo lugar, se formula la estrategia adecuada o conveniente, en consideración de las condiciones y propósitos de la actividad. h) En octavo lugar, se desagrega, lo máximo posible, la programación de actividades al definir las actividades, tiempos, responsables y recursos asignados. i) Por último, se recomiendan procesos específicos para realizar monitoreo del programa, su evaluación o guiar procesos de auditoría. Es común encontrar que cada etapa está claramente delimitada y su desarrollo se asigna a diferentes responsables, quienes se especializan en tareas específicas. Esta especialización puede tener consecuencias tanto positivas como negativas. Una dimensión positiva puede consistir en que se facilite el desarrollo de competencias técnicas complejas. Una dimensión negativa pue-

El Proceso del Diseño de los Programas Sociales





Monitoreo y evaluación del diseño y desempeño de programas sociales

de ser que se tiende a la configuración de rutinas y construcción de defensas que impiden aprendizajes o cambios en los repertorios de acción. En el diagnóstico los problemas se describen, si es posible se explican (es decir, se asocian causas probables de los problemas), se les selecciona y se les asigna prioridad. Para describir el problema se usa toda la información disponible con relación al tema, se describe con la mayor precisión posible los atributos de la población que sufre el problema y, muy en particular, se consideran factores que describen una población objetivo, que permitiría focalizar las acciones para optimizar el impacto del programa entre los posibles beneficiarios. Usualmente se utilizan sistemas de indicadores sociales ya establecidos y relativamente probados, pero, de manera ocasional, es necesario construirlos especialmente para cada situación concreta. En la descripción se presenta el estado de los indicadores de manera ordenada, si es posible agrupada en categorías y referida a la población afectada. Problema

Indicadores relevantes para diagnosticar el problema

Valor inicial de los indicadores

Un problema se explica si no sólo se acumulan datos en torno al tema sino se propone una teoría sustentada en datos empíricos, capaz de identificar los factores (si es posible de manera ponderada) que inciden de manera causal o se constituyen en factores predictores del (variables independientes) problema (variable dependiente), así como factores mediadores (que inhiben o facilitan el proceso). Sin embargo, el ejercicio conceptual requerido para diseñar programas es mucho más complicado que simplemente basarse en los resultados de un análisis estadístico, que en mucho depende del fraseo de las preguntas en una encuesta y de las acotaciones de las muestras. Variables como “Tiempo asignado en el hogar para que el alumno desarrolle su tarea sin interrupciones” supone una compleja red de factores sociales, económicos y culturales que intervienen para que un fenómeno de esa naturaleza sea





El Proceso del Diseño de los Programas Sociales

Armando Loera Varela

sistemáticamente promovido y pueda convertirse en un elemento a considerar para dar seguimiento a la efectividad de un programa. Un aspecto central que debe ser considerado es que todo problema social no sólo se explica a partir de “factores” sino también de múltiples actores, quienes se posicionan con relación al problema de acuerdo a su posición institucional, sus intereses personales y de grupo, las ideologías en las que se enmarcan sus creencias y el nivel de información factual que manejen sobre la naturaleza del programa, su enunciación y sus consecuencias. Por lo que en el diseño de los programas se debe considerar tanto los ámbitos de complejidad de los factores y de los actores, así como la dinámica de los procesos sociales que les articulan. En la selección de problemas según su orden de prioridad se puede considerar4 la población afectada, el ámbito de gobernabilidad (entendido como la capacidad del equipo interventor para incidir de manera efectiva), la prioridad para la política social (entendido como la relevancia en la agenda del tomador de decisiones crítico), el nivel de incidencia del problema (el lugar estratégico que ocuparía solucionar ese problema para apuntalar la solución de otros problemas). Problema

Población afectada

Ámbito de gobernabilidad

Prioridad para la política social

Incidencia entre los problemas

Sumatoria

Prioridad

Una vez que se define el problema se trata de desarrollar la estrategia de solución. Algunas veces se consideran soluciones ya probadas, que derivan 4 Esta modalidad se presenta en SIEMPRO, Gestión Integral de Programas Sociales, Buenos Aires: FCE/ UNESCO, 1999.

El Proceso del Diseño de los Programas Sociales





Monitoreo y evaluación del diseño y desempeño de programas sociales

de buenas prácticas, de soluciones consideradas por los propios beneficiarios o se configuran a partir de análisis estratégicos básicos (FODA´s). Cuando se desarrollan análisis de Fuerzas, Oportunidades, Debilidades y Amenazas el proceso es relativamente sencillo: se definen procedimientos para mantener los factores que se consideran Fuerzas (factores internos que capacitan en el logro de los objetivos) y Oportunidades (factores del contexto que capacitan en el logro de los objetivos) así como la conversión de los factores que, de manera viable, pueden afrontar las debilidades (factores internos que inhiben en el logro de los objetivos) y en las amenazas (factores del contexto que inhiben el logro de los objetivos). Estrategias basadas en análisis de los factores internos Nivel de eficacia

Mantener Fuerzas

Estrategias basadas en análisis de los factores externos

Convertir debilidades en fuerzas

Aprovechar Oportunidades

Disminuir amenazas y convertirlas en oportunidades

Nivel de viabilidad

De este listado de estrategias se derivan los componentes del programa. Los componentes son las unidades de inversión básicos y se constituyen en la unidad con base en la cual se organiza la logística, las actividades, la operación, la programación y la presupuestación del programa. A su vez, en el Monitoreo y Evaluación son considerados como las unidades de análisis. Programa Componente

Elementos constitutivos

Unidad responsable



Tiempo



META

ETAPA 1. PROYECTE

ANÁLISIS CAUSAL

 SOLUCIONES 

RESULTADOS



ESTANDARIZACIÓN



PLANES FUTUROS

2. ANÁLISIS 3. ANÁLISIS SITUACIÓN CAUSAL ACTUAL

4. SOLUCIONES 5. RESULTADOS

6. ESTANDARIZACIÓN

7. PLANES FUTUROS

Defina los límites y propósitos del trabajo conjunto.

Obtenga información relevante acerca de la situación actual.

Identifique las causas o factores que influyen, tratando de apoyarlos con datos.

Diseñe, pruebe y ejecute soluciones orientadas a las causas profundas.

Use datos para evaluar tanto las acciones planeadas como las ejecutadas.

Consolide los avances manteniendo lo que ha funcionado y creando nuevas estrategias para lo que no ha funcionado.

Anticipe mejoras futuras.

Un enunciado claro de las mejoras que el equipo pretende obtener y la forma como se les medirá.

Enunciados descriptivos sobre los principales problemas.

Un mapa conceptual puesto en un diagrama.

Acciones realmente ejecutadas.

Datos relativos a mostrar qué tan bien se lograron las metas y se desarrolló el plan.

Documente el método seguido por el equipo. Enfatice los aprendizaje de lo que funcionó y lo que no.

Recomendaciones basadas en los aprendizajes y nueva lectura de realidad.





El Proceso del Diseño de los Programas Sociales

Armando Loera Varela

ETAPA 1. PROYECTE ¿Qué pretende el equipo?

CUESTIONES CRÍTICAS

¿Qué impacto se tendrá en los beneficiarios de la acción del equipo?

2. ANÁLISIS 3. ANÁLISIS SITUACIÓN CAUSAL ACTUAL

4. SOLUCIONES 5. RESULTADOS

6. ESTANDARIZACIÓN

7. PLANES FUTUROS

¿Se puede hacer un diagrama del problema y sus causas?

¿Cuáles son las probables causas próximas?

¿Qué se puede hacer para modificar las causas próximas?

¿Qué tan bien se logran los resultados?

¿Cuáles son los resultados verificables?

¿Qué se aprende de lo que no funcionó?

¿Qué se puede hacer para identificar las causas profundas?

¿Qué tan bien se ejecutó lo planeado?

¿Cuáles son los resultados no verificables aunque experimentados?

¿Qué más faltó hacer?

¿Cuáles son las causas profundas?

¿Qué se puede hacer para probar en pequeña escala?

¿Qué se aprendió en el proceso que no se había anticipado?

¿Cuál es el método de acción?

¿Cómo se documentará el aprendizaje?

¿Cuáles son los síntomas?

¿Cómo se sabrá que hay mejoras en la situación?

¿Qué pasa cuando ocurre el problema?

¿Nos motiva profundamente solucionar el problema?

¿Cuándo ocurre?

¿Sobre qué causas se puede actuar, considerando los recursos y capacidad de acción?

¿A quién le ocurre?

¿Quién se responsabiliza? ¿Qué se necesita?

¿Aguien gana con el problema?

¿Cuándo se van a realizar las acciones? ¿Cómo se va a prender?

¿Se mantiene la motivación?

¿Qué se recomienda y porqué?

¿Cómo se puede generalizar el método de acción? ¿Cómo se puede enseñar a otros a seguir el método? ¿Cómo se puede mantener el aprendizaje?

¿Bajo qué condiciones se realizará a gran escala?

C. Capacidad para aprender Los equipos requieren ser co-inspiradores para mantenerse motivados y ser efectivos. No sólo se trata de trabajar en forma conjunta sino también aprender a convivir. La mayor parte de los equipos transcurren por el siguiente proceso: • Se forman o se entra a ellos. Usualmente se presenta una tensión provocada por la excitación de intentar solucionar el problema y la preocupación de la capacidad de cada persona y de todo el equipo. • Se entra en pánico por lo difícil del problema y las limitaciones personales y del equipo.

El Proceso del Diseño de los Programas Sociales





Monitoreo y evaluación del diseño y desempeño de programas sociales

• Si bien va, se sucede un proceso de normalización donde las resistencias personales empiezan a disminuir al apoyar las debilidades personales con las fortalezas de los demás. • Se entra en un estado de trabajo funcional cada vez más efectivo, en cuanto se entiende mejor la tarea y las expectativas. • Se comparten las experiencias del proyecto, tales como el orgullo, la satisfacción, el aburrimiento, la impaciencia y la frustración. • Se conquista la confianza de cada miembro en sí mismo, en el equipo y en el liderazgo. Para lograrlo se necesitan metas y tareas claramente comunicadas, procedimientos de decisión anticipables, participación equilibrada e información compartida. Recuerde que el trabajo en equipo es un proceso. Su consolidación no se garantiza por el hecho de formar parte de un grupo. Es necesario desarrollar esfuerzos especiales que dependerán de la cultura en donde se forme el grupo, sus niveles educativos y la naturaleza de liderazgos que se desarrollen en el interior. Obviamente que el contexto presionará e influirá sobre los equipos, cuestionando su visión, ofreciendo oportunidades y generando riesgos. 2. Entrada legítima y legitimadora a la comunidad Una vez que la tarea está clara y la capacidad de trabajo en equipo empieza a desarrollarse se está preparado para entrar a la comunidad. En este momento es básico tener presente que se debe ganar legitimidad. Esto significa no sólo que se sea bienvenido sino también que nuestra visión de los problemas y de sus soluciones empiece a ser entendida y comprendida. Para ello antes que hablar es necesario: • Comprender que la comunidad no es única sino una realidad compleja y diversa en su interior. Se debe partir del hecho de que cual-





El Proceso del Diseño de los Programas Sociales

Armando Loera Varela

quier comunidad contiene muy diversos actores, con diferencias de opinión, poder, capacidad, motivación e intereses. • Considerar que a algunos les va a convenir la llegada y presencia de actores externos, otros los van a rechazar por razones en ocasiones difíciles de ser claro para ellos mismos, mientras que otros van a mostrar indiferencia. Ninguna de estas posiciones van a demostrarse de manera clara, sino en grados. Y con relación a ciertos temas. • Partir de la noción de que la autoridad se gana con esfuerzos, resultados, empatía y reconocimiento de la dignidad propia y ajena. Un error muy común de los agentes de cambio que llegan a la comunidad desde una institución oficial es creer que se llega con la autoridad del gobierno y la comunidad debe ser iluminada con los objetivos del proyecto y seguir nuestras instrucciones para tener éxito. Esta es la mejor receta para fracasar. Por otra parte no se llega a seguir órdenes de la comunidad. El encuentro entre la comunidad y el proyecto es resultado de una serie de negociaciones donde cada parte tiene también aspectos no negociables. • Asumir que la entrada legítima se obtiene cuando se reconoce por cada parte que es mejor contar con la otra para lograr mejor sus objetivos. Compartir información, entender la cultura común, compartir objetivos y sentimientos, son algunos de los requisitos. Esto toma tiempo y mucha voluntad. 3. Análisis de involucrados En todo proceso de desarrollo comunitario se parte del principio de que las comunidades se forman por muy diferentes grupos de personas. Un error común que es frecuentemente cometido por actores externos a las comunida-

El Proceso del Diseño de los Programas Sociales





Monitoreo y evaluación del diseño y desempeño de programas sociales

des consiste en tratar de ver a las comunidades como entidades homogéneas, con escasa o nula diversidad en su posición de los problemas. O en caso de que se acepte que existe diversidad dentro de la comunidad, frecuentemente se le considera como problema en sí mismo. Una noción más realista sobre la naturaleza de las comunidades consiste en considerarlas plurales, con diferencias más o menos importantes entre sus principales actores. El análisis de involucrados reconoce esta pluralidad y la considera un aspecto facilitador del desarrollo comunitario. A través del análisis de involucrados se identifica a los tipos de actores que tienen intereses y posiciones acerca de cuáles son los problemas que confronta la comunidad, sus posibles causas y las alternativas viables para solucionarlos. El análisis de involucrados consiste tanto en una perspectiva como en una técnica participativa que facilita la planificación, ejecución y evaluación de proyectos. Los actores y grupos sociales que se consideran como involucrados pueden tener algunas de las siguientes características: • Son afectados por los problemas. • Tienen poder para influir sobre las soluciones. • Se les debe considerar en las líneas de acción más viables por poseer recursos claves. • Tienen capacidad para facilitar la conciencia del problema o las vías de solución. • Tienen capacidad para inhibir la conciencia del problema o las vías de solución. Una vez que los grupos de involucrados han sido identificados se debe considerar, por cada uno, los intereses en el problema y el posible impacto en





El Proceso del Diseño de los Programas Sociales

Armando Loera Varela

las alternativas de solución: • Sus expectativas. • Lo que gana y lo que pierde con el problema. • Lo que gana y lo que pierde con diversas alternativas de solución. • Los recursos que pondría a disposición de las soluciones. • Las relaciones de cooperación o conflicto con otros grupos de involucrados. Una vez terminado el análisis de los intereses e impactos se realizará un análisis sobre la relevancia de cada grupo de involucrados, en cuanto a su: • Poder y estatus dentro de la comunidad. • Poder y estatus en relación con el gobierno y grupos de fuera de la comunidad. • Grado de organización. • Control de recursos claves. • Nivel de influencia sobre las posiciones de otros grupos de involucrados y el nivel de importancia de la participación del grupo en la solución del problema. Con esta información se determina el nivel de importancia que tiene el grupo de involucrados y la naturaleza de sus posiciones. Finalmente, con base en los análisis anteriores se define la naturaleza de la participación de cada grupo de involucrado, básicamente considerando los niveles de importancia de su participación en cuanto al problema y su nivel de influencia. En general se siguen los siguientes principios: • Con involucrados de alta importancia y alta influencia: se les debe

El Proceso del Diseño de los Programas Sociales





Monitoreo y evaluación del diseño y desempeño de programas sociales

involucrar en todas las etapas y asegurar su mantenimiento. • Con involucrados de baja importancia y alta influencia: debe de informársele de manera apropiada ya que puede inhibir las acciones. • Con involucrados de de alta importancia y baja influencia: posiblemente necesita de apoyo para introducirse y mantenerse en las propuestas. Por otra parte se debe asegurar que sus necesidades son satisfechas y su participación sea significativa. • Con involucrados de baja importancia y baja influencia: no requiere que se realice un esfuerzo especial para que participen en las propuestas. El análisis de involucrados usualmente se desarrolla en talleres en el que ellos participen directamente. Sin embargo es importante validar los resultados de los análisis poniendo estos análisis en consideración de diversos conocedores de la comunidad. 4. Mapeo de los problemas compartidos En esta etapa se identifican los principales problemas contando con la activa participación de los involucrados en la recolección y análisis de datos relevantes. Es importante anotar desde un principio el riesgo mayor de esta etapa es perderse en la complejidad de los problemas, por lo que se necesitan acuerdos iniciales que permitan delimitar el problema fundamental que se va a considerar, así como la visión estratégica desde la cual se va a actuar. Por lo tanto se debe tener una consideración muy operativa sobre los problemas. Es decir, pensarlos más desde la postura de lo que se puede hacer realmente con los recursos y desde la posición en que se ubican los agentes, más que considerando todas las posibles variables y con una visión muy teórica acerca de las posibilidades de transformar la sociedad.





El Proceso del Diseño de los Programas Sociales

Armando Loera Varela

Con estos aspectos en mente se desarrolla el mapeo conceptual de los problemas compartidos. En este tipo de mapeo se investigan tanto la naturaleza de los problemas que afectan a la comunidad desde las posiciones de los diversos involucrados como la capacidad que se tiene para mitigar los impactos negativos y promover los factores que inhiben a los problemas. Con el mapeo se pretende avanzar en el entendimiento del problema y en la forma como cada actor le entiende. Es, por lo tanto, importante contar con información objetiva sobre la propia comunidad y sobre sus problemas. El procedimiento del mapeo se compone de tres etapas: 1. Identificación de problema De esta manera se pueden considerar aspectos demográficos, económicos, sociales, culturales y políticos en la caracterización de la comunidad. Posteriormente se identifican los problemas más significativos de la comunidad y se les asigna un nivel de prioridad. El nivel de prioridad está determinado principalmente por tres factores: a) impacto en la calidad de vida en la comunidad. b) Impacto en el número de personas afectadas. c) Capacidad de actuar sobre las causas a partir de recursos ya existentes. 1. CARACTERIZACIÓN DE LA COMUNIDAD 2. IDENTIFICACIÓN DE PROBLEMAS 3. ASIGNACIÓN DE PRIORIDADES 4. IDENTIFICACIÓN DEL PROBLEMA PRINCIPAL

El Proceso del Diseño de los Programas Sociales





Monitoreo y evaluación del diseño y desempeño de programas sociales

Una vez que el problema con mayor prioridad ha sido identificado se empieza a trabajar sobre tres líneas:  Clarificación: esto es, ayudar a entender los diversos significados del problema para diferentes actores.  Profundización: que consiste en comprender los principales factores causales y la naturaleza de sus relaciones con los síntomas del problema. Usualmente se usan diagramas que permiten desarrollar mapas conceptuales relativamente complejos sobre los temas críticos.  Camino crítico: de los factores causales seleccionando aquellos que son afectables por los recursos ya existentes, según consenso de los participantes. Estos factores constituirían los componentes del plan de acción a diseñar. Con el fin de desarrollar el mapeo de los problemas se recomienda aplicar técnicas sencillas y que permitan obtener información significativa de manera rápida y con bajos costos. 5. Acuerdo sobre una visión compartida La visión consiste en una imagen de futuro que es construida de manera participativa y que sirve a los diversos actores como acuerdo básico sobre sus aspiraciones, de manera que les motiva y delimita su acción futura. Como imagen la visión nos simplifica la realidad, la hace más manejable y probablemente más atractiva. Además, la acción tanto personal como social está en buena medida determinada por las imágenes que manejamos. Ellas nos controlan las conductas y las perspectivas. Cada grupo de involucrados se caracterizará por sus imágenes, tanto del presente como del futuro. Ellas nos permitirán entender su acción pasada y presente, y probablemente influir sobre su futuro.





El Proceso del Diseño de los Programas Sociales

Armando Loera Varela

Pero las imágenes no son permanentes, pueden ser transformadas. De hecho, buena parte del propósito implícito en las actividades del PEC consiste en trabajar con las imágenes de los grupos de manera que se objetiven, se confronten entre sí y se contrasten con la realidad. De estas actividades puede resultar que la imagen, especialmente la del futuro: • Permanezca incambiable. • Se reafirme, y por lo tanto se fortalezca. • Se cuestione y, por lo tanto, se debilite. • Se clarifique, profundice, ramifique, generalice o particularice. • Cambie de manera radical o sea substituida por otra. Construir mediante actividades participativas una visión de futuro permite poner el fundamento de cualquier proyecto de desarrollo comunitario. El futuro ofrece posibilidades de conciliación de intereses y de acuerdos, incluso entre grupos que históricamente han entrado en conflicto. De hecho, la construcción de imágenes de futuro construidas de manera participativa en la comunidad es una de las mejores señales de éxito o fracaso en el trabajo de los agentes comunitarios. Además, fortalece de manera muy concreta la noción de ciudadanía entre los participantes al convertir el futuro en responsabilidad de cada uno y en promesa de bien a ser apropiado por la comunidad. Se disminuye la noción de los determinismos o de la suerte y se aprende a prepararse con base en esfuerzos personales y conjuntos. En la configuración de un acuerdo para definir la imagen de futuro compartido se recomienda generar cohesiones entre los involucrados, disminuyendo la atención a los conflictos pasados y generando ejercicios de imaginación y compromiso. Es obvio que las miradas de futuro no son una experiencia universal en los grupos sociales. La escolaridad y la posición social influyen en

El Proceso del Diseño de los Programas Sociales





Monitoreo y evaluación del diseño y desempeño de programas sociales

la capacidad de imaginar un futuro y de manejarlo. Es un producto propio de ciertas culturas. En otras es necesario trabajarlas hablando de posibilidades y de alternativas al presente. En el acuerdo sobre la imagen de futuro debe evitar: • Reproducir el estado presente. • Proyectar de manera automática y mecánica el comportamiento de los principales factores del presente. • Generar escenarios radicalmente diferentes. • Privilegiar la imagen de un grupo. • Despreciar información técnica. • Basarse únicamente en información técnica. • Extrapolar de casos o situaciones muy diferentes. • Creer que todo depende de la voluntad de cambio y transformación mental de las personas. • Considerar que las estructuras no permiten ningún cambio y los sujetos son impotentes. Algunos aspectos que facilitan los acuerdos sobre el futuro son los siguientes: • Genere un acuerdo inicial sobre un horizonte en el tiempo. Los horizontes deben ser de mediano plazo para ser más manejables (3-5 años). • Si es difícil establecer un acuerdo desde un principio considere la creación de escenarios alternativos por cada grupo de involucrados o bajo categorías como lo deseable-lo más factible-el mejor-el peor. De





El Proceso del Diseño de los Programas Sociales

Armando Loera Varela

cualquier manera trate de acordar una sola visión a partir de ellos. • Tome en cuenta lo acontecido en casos o situaciones semejantes. • Equilibre entre las intuiciones y la información técnica. No considere una única fuente. • Tome en cuenta la historia pero también la ambición y voluntad de cambio. • Si existen líderes pondere sus apreciaciones de futuro. • Prefiera las imágenes locales a las muy universales. • Prefiera las imágenes que involucran emociones a las frías. En la dinámica de definición de la visión conforme un grupo plural no sólo por grupo de involucrado sino también diverso por su edad, nivel y tipo de formación y ocupación. La diversidad del grupo y la equitativa participación de los mismos conformarán el mejor elemento de control de sesgos. 5. Construcción de bases para la colaboración Dentro de la complejidad de las comunidades una de las más significativas son las relativas a la capacidad de colaboración entre sus diferentes actores y grupos de involucrados. Las tensiones y los conflictos son usualmente más normales o a lo menos más importantes a considerar en el trabajo comunitario. Por lo que es vital desarrollar estrategias que permitan: • Prevenir la radicalización de los conflictos. • Mediar entre los actores que ya se encuentran en conflicto. • Mantener la confianza.

El Proceso del Diseño de los Programas Sociales





Monitoreo y evaluación del diseño y desempeño de programas sociales

Con la combinación de estas tres estrategias se pretende construir las bases para que la colaboración entre los diversos grupos permita operar la formulación de acciones de manera participativa, aumentando las posibilidades de hacer realidad la imagen de futuro que se pretende. A. Prevención de conflictos Es claro que los conflictos son provocados por múltiples factores. Algunos de ellos son visibles y se puede actuar sobre ellos. Otros no tienen estas características. Se mantienen de forma potencial, ocultas. O simplemente son sumamente complejos y enraizados en la historia y la cultura de las comunidades. Incluso se dice en ocasiones que la capacidad de conflicto forma parte de la forma de ser de las comunidades. Sin embargo, en general la violencia social es una expresión última de altos niveles de sentimientos de frustración social validada por una cultura que la premia y fomenta. Es importante considerar a los conflictos al menos en dos niveles. • Como imposibilidad de actuar de manera colaborativa para el beneficio común. • Como quebrantamiento en las normas básicas de convivencia e irrupción violenta que ataca derechos fundamentales de personas o grupos. Se creería que desde la segunda es una escalada o radicalización de la primera, ante continuos procesos de resentimiento y frustración. Por ello es crítico actuar de manera proactiva de modo que se prevenga el conflicto aumentando las posibilidades de colaboración en fines de beneficio común. Una perspectiva proactiva en la prevención del conflicto evita confundir la paz con tácticas aplicadas para evitar los conflictos. La paz puede obtenerse simplemente manteniendo una poderosa fuerza pública en la comunidad o





El Proceso del Diseño de los Programas Sociales

Armando Loera Varela

equilibrando el poder entre las partes. Sin embargo con estas medidas es posible no sólo preservar los conflictos sino poner las condiciones para hacerlos más críticos. Claro que en situaciones radicales mantener la paz se convierte en el objetivo prioritario. Sin embargo se necesita ir más allá y buscar procesos de colaboración entre las partes. Es decir, pasar de una noción pasiva de paz a una más activa de capacidad para cooperar. Por otra parte, es claro que no es posible la colaboración en situaciones donde existe falta de gobernabilidad básica en el marco de acción de los actores, por ejemplo una escalada de violencia. Por ello es importante como primer paso desarrollar un mecanismo de prevención y promoción de la colaboración entre los diversos grupos de involucrados El diseño de este mecanismo de prevención debe considerar: • Formar parte de una agenda por la convivencia y la colaboración: Esto significa que un primer punto de acuerdo entre los involucrados consistiría en considerar prioritario enfocar la atención al tema de los conflictos y la colaboración en la comunidad. En la agenda podría considerarse a la cooperación como el factor principal en los esfuerzos para disminuir la violencia comunitaria. • Sobre los conflictos es fundamental introducirlo en los ejercicios de formulación de visión y de políticas de desarrollo, explorando sus causas determinando sus síntomas y desarrollando un proceso de monitoreo específico a la violencia comunitaria. • El proceso de monitoreo sobre violencia comunitaria formará parte del sistema de monitoreo y evaluación general. Es muy importante que el proceso sea diseñado con una amplia participación de los involucrados, evitando aplicar de manera automática nociones jurídicas o foráneas a la propia comunidad. Por otra parte es fundamental ligar

El Proceso del Diseño de los Programas Sociales





Monitoreo y evaluación del diseño y desempeño de programas sociales

este proceso de monitoreo a un mecanismo de prevención temprana de violencia que se constituya desde la propia comunidad. • En el diseño del proceso de monitoreo se pueden considerar tanto indicadores como patrones de acontecimientos que permitan identificar el nivel potencial de un proceso de escalamiento de violencia en la comunidad. Este mecanismo, por lo tanto, sería cíclico, multidimensional y multinivel. • El ciclo de la violencia comunitaria se expresa en un mapa conceptual configurado por las etapas comunes de los principales tipos de violencia. Usualmente estos ciclos se inician con modificación de actitudes y preferencias de actores potenciales de violencia. Los ciclos terminan con procesos de reparación y disminución del resentimiento desarrollado por la violencia. • Lo multidimensional del mecanismo consiste en que debe asumir que las causas profundas de la violencia tienen que ver con aspectos económicos, políticos y culturales de las comunidades. Por lo que en el manejo de los conflictos los procesos de desarrollo integral de la comunidad son aspectos críticos, especialmente los que tienen que ver con oportunidades de empleo, participación en las decisiones de la comunidad, aseguramiento de los niveles de bienestar y consolidación de las instituciones comunitarias. Especialmente se tiene que considerar el aseguramiento de la propiedad familiar, salud, educación y promoción de la cultura. En las causas próximas será importante distinguir los intereses y valores involucrados. Una práctica común para establecer bases para la cooperación en grupos con intereses en conflicto consiste en propiciar acciones conjuntas, que inicien con situaciones de colaboración muy sencillas, escalando progresivamente. En un principio es importante introducir “puentes”





El Proceso del Diseño de los Programas Sociales

Armando Loera Varela

que llenen los vacíos históricamente existentes en las relaciones de las comunidades en conflicto. • Los conflictos suelen manifestarse en varios niveles. En las comunidades urbanas la unidad básica es el hogar. Monitorear los niveles de la violencia doméstica (especialmente contra las mujeres y los niños), sus patrones y causales puede ayudar a entender los procesos de escalamiento de los conflictos a niveles más generales. Un nivel intermedio de violencia comunitaria es el que involucra a las bandas de jóvenes y el consumo de drogas y problemas interpersonales entre vecinos. Obviamente la violencia más grave tiene que ver con grupos armados. Concluyendo, las principales acciones preventivas tienen que ver con mecanismos para intervenir en confrontaciones de baja intensidad, impidiendo que escalen, y con el fomento de espacios de cooperación que aumenten los niveles de confianza entre los involucrados y con la inserción en mecanismos de desarrollo integral de las comunidades. B. Mediación de conflictos Una vez que el conflicto se ha presentado es importante presentar alternativas para manejarlo. Una de ellas es a través de procesos de mediación por los agentes sociales. La mediación parte de la participación voluntaria de las partes en conflicto (aunque pueden ser presionadas para encontrarse), de su participación directa (no mediante representantes) y con la activa presencia de mediadores aceptables para las partes. La estructura básica de la mediación se fundamenta en procesos flexibles que implican reuniones programadas entre las partes, trabajo con cada parte de manera independiente y en un clima de confianza.

El Proceso del Diseño de los Programas Sociales





Monitoreo y evaluación del diseño y desempeño de programas sociales

El objetivo de la medicación consiste en mejorar las relaciones entre los actores que actualmente se encuentran en conflicto, no sólo en solucionar un problema específico. Por lo que se necesita saber tanto lo que provocó un problema en concreto como identificar los inhibidores de la cooperación. Usualmente se media en conflictos entre grupos que necesariamente se relacionan entre ellos. Por lo que la negociación no tiene condiciones de desarrollarse cuando los involucrados mantienen relaciones infrecuentes, no tiene posibilidad de conversar entre ellos, interpreta que la negociación es un mecanismo para legitimar una profundización de la violencia o se han violentado normas que deben solucionarse de manera judicial. Algunos de los puntos comunes de encontrar en los procesos de medicación exitosos son los siguientes: • Atmósfera provocadora de confianza, primero en el negociador, luego en el proceso y eventualmente en la contraparte. • Se clarifican las percepciones de los involucrados bajo control de tiempo y circunstancias por el mediador, primero de manera estricta tendiendo a la flexibilización. • Se enfoca a los actores en cuanto a sus intereses, necesidades y percepciones. Primero de manera aislada y posteriormente se exploran intereses comunes y valores compartidos. • Se analiza el pasado rápidamente pero se dedica la parte substancial del tiempo a explorar el futuro tratando de aprender. • Se consideran opciones para pasar de un modelo donde el ejercicio del poder implica lastimar los intereses de la contraparte a modelos de cooperación por valores compartidos. • Se mantiene una memoria escrita del proceso, con acuerdos expresa-





El Proceso del Diseño de los Programas Sociales

Armando Loera Varela

mente aceptados por las contrapartes. • Una vez terminado un acuerdo no se debe asumir que ya no habrá conflicto entre las partes. Es importante asegurar el mantenimiento del proceso de vigilancia de los acuerdos y de continuación de la intermediación en caso de que se vuelva a presentar la confrontación. La negociación y el arbitraje ofrecen mecanismos alternativos que se pueden considerar si no se presentan las condiciones de que las partes conversen. Un elemento muy importante consistirá en desarrollar habilidades y competencias para desarrollar la medicación de manera eficiente entre múltiples actores y, fundamentalmente entre las partes en conflicto. Se les debe educar para ser ellos mismos en buenos facilitadores de la mediación. C. Construcción y mantenimiento de confianza. La mejor intervención social para disminuir los conflictos tiene que ver con medidas básicas, que constituyen inversiones en el capital social de las comunidades. Algunas de las acciones que se han identificado como relevantes para reconstruir y mantener altos niveles de confianza en las comunidades. • Construcción de la infraestructura cívica: Generación o reconstrucción de redes de vecinos así como la conexión entre las redes ya existentes mediante espacios de convivencia en donde se logren valores compartidos. • Aumento significativo de la participación directa de los involucrados en las decisiones que afectan su calidad de vida, considerando también las estructuras de decisión que se ubican fuera de la comunidad.

El Proceso del Diseño de los Programas Sociales





Monitoreo y evaluación del diseño y desempeño de programas sociales

• Identificación personas o grupos de la propia comunidad que tengan la capacidad de llenas los vacíos existentes entre los grupos de involucrados claves, con provisión de recursos, visibilidad y competencias de liderazgo. • Promoción de acciones de la comunidad que suponga desarrollar confianza en personas de la propia comunidad y de otras comunidades (por ejemplo: cuidado de niños, préstamos de implementos entre vecinos, desarrollar cooperativas de transporte, compartir información sobre oportunidades de trabajo). • Desarrollo de sinergia entre acciones gubernamentales y acciones de la comunidad. Es decir, que toda acción significativa del gobierno se desarrolle con la participación y desde la propia comunidad. Así como las acciones de la comunidad cuente con apoyo del gobierno. • Consideración de la seguridad jurídica en la propiedad de la casa y el control de recursos del vecindario como críticos para la estabilidad y confianza en las instituciones sociales. Debe equilibrarse el valor de la propiedad individual con la capacidad para cooperar en valores de la comunidad misma. También debe existir equilibrio entre espacios privados y espacios públicos, los cuales tienen que estar claramente delimitados. • Fomento de microempresas y empresas basadas en redes entre miembros de la comunidad. • Disminución la competencia de grupos al interior de la comunidad. Aumente la competencia con grupos externos a la comunidad. • Desarrollo de símbolos y rituales que expresen orgullo de pertenencia y de identidad con la comunidad.





El Proceso del Diseño de los Programas Sociales

Armando Loera Varela

• Considerar los indicadores de capital social dentro del proceso de monitoreo de la comunidad, tales como niveles de confianza, pertenencia a redes, acciones conjuntas con normas y niveles de cooperación/conflicto. Reafirmando, la mejor manera de actuar proactivamente para disminuir los conflictos es aumentando la cooperación significativa entre los miembros de una comunidad. 6. Formulación de acciones estratégicas de la comunidad La formulación de decisiones para el desarrollo de la comunidad necesita, para ser sustentable, de la participación de la comunidad a la vez que el compromiso de la estructura gubernamental. Para lograr disminuir la pobreza y la exclusión social no basta desarrollar acción desde la comunidad sólo para la misma comunidad. La tarea es más complicada. Entre otras cosas se requiere influir sobre el contexto de política pública nacional. Por lo que además de establecer vínculos horizontales, entre los involucrados, es importante establecer vínculos verticales, tanto con actores oficiales como con promotores de agenda de política pública que coincida con los planteamientos de las comunidades. Es claro que no se trata de informar a la comunidad de las políticas que se han decidido aplicar en ellas si no, más bien, de construir procesos de decisión pública más amplios. Por otra parte, tampoco se trata de consultar y pedir opinión, como parte de un diseño de política que finalmente se decide en otras instancias. Finalmente, tampoco se trata de reducir la participación de la comunidad a proyectos del tamaño de la misma, reducir su involucramiento a que sólo decida lo que directamente le incumbe. El reto consiste en desarrollar procesos de desarrollo nacional a partir de procesos de desarrollo de política local desde las propias comunidades. La clave consiste, por lo tanto,

El Proceso del Diseño de los Programas Sociales





Monitoreo y evaluación del diseño y desempeño de programas sociales

en la conexión de los niveles micro y macro de los procesos de articulación del desarrollo social. Por lo que se trata de varios procesos de formulación articulados: • Construcción de las condiciones de deliberación pública en la comunidad, a través de procesos de información y aprendizaje compartido. Además de su conexión con la deliberación de la sociedad en general. • Facilitación de la toma de decisiones desde las bases mediando entre los intereses, promoviendo la cooperación y conectando con políticas generales. • Diseminación de símbolos compartidos que promuevan procesos efectivos de comunicación de las políticas públicas. • La formulación de políticas tiene que ser mediada por su sustentabilidad en el mercado, su legitimidad para la estructura política, su operacionalidad con las organizaciones e instituciones que las ejecutarán y su conexión con la riqueza cultural de la comunidad. • Procesos de carácter incremental de las políticas y prácticas de desarrollo comunitario más prometedoras tanto a nivel de escala como de inserción en la agenda general del desarrollo. • Gestión flexible, integral y comprometida con resultados y la participación de los grupos de involucrados. 7. Procesos de monitoreo y aprendizaje La experiencia por muy rica que sea se convierte, al ser reiteradamente repetitiva, en mero activismo si no existe la posibilidad de aprender sobre la misma, de manera reflexiva y con base en procesos de amplia deliberación





El Proceso del Diseño de los Programas Sociales

Armando Loera Varela

pública. Para tomar el control del desarrollo comunitario con efectividad se requiere de una participación reflexiva en cada momento crítico del desarrollo de las decisiones y las acciones públicas. Los focos de atención del monitoreo de acciones estratégicas comunitarias usualmente se refieren a la sustentabilidad de las acciones y a procesos sistemáticos de provisión de cuentas. Es común considerar: • El uso de los recursos, • la ejecución programática y seguimiento de la gestión, • la naturaleza de la participación de los involucrados, • las actitudes de diversos actores significativos, • el nivel de avance en los propósitos explícitos, y • la producción de efectos colaterales, ya sea deseados o no, anticipados o no. A diferencia de los procesos de evaluación de impacto, que requieren la aplicación de métodos sofisticados y típicamente caros y usualmente hacia el final de los programas; en los procesos de monitoreo se pretende tener operando sistemas de recolección de datos que sean fáciles de ejecutar, relativamente baratos y con aplicación relativamente frecuente, o incluso permanente. En el diseño de procesos de monitoreo usualmente se combinan procedimientos cuantitativos, cualitativos y mixtos. El método depende del tipo de preguntas que más preocupa a los gestores de las acciones comunitarias críticas y a los grupos de involucrados. Los métodos y técnicas dependen en general de las temáticas críticas por las que interesa el monitoreo a los gestores e involucrados. Sin embargo, también depende de los recursos, tiempo y contexto en el que se realiza el monitoreo en la comunidad. El principio gene-

El Proceso del Diseño de los Programas Sociales





Monitoreo y evaluación del diseño y desempeño de programas sociales

ral a seguir consiste en generar información sistemática que permita aprender de las acciones estratégicas, de manera que se disminuya la posibilidad de errores o efectos indeseables y se aumente la posibilidad de lograr los objetivos inicialmente formulados, manteniendo altos los procesos de motivación y participación. En los procesos de monitoreo lo importante es producir información útil para reflexionar, discutir y probablemente tomar nuevas decisiones sobre las acciones. Una forma que permite aumentar las posibilidades de uso consiste en que los procedimientos mismos de monitoreo sean de carácter participativo. Es decir, que no sólo se obtenga información de los grupos de involucrados por parte de expertos, sino que los involucrados mismos asumen la tarea de recolectar e interpretar los resultados, estructurándolos en un marco de deliberación comunitaria. Los expertos en investigación y evaluación pueden o no tener un papel en el proceso, pero en todo caso es de carácter pedagógico, traspasando las técnicas a miembros de los grupos de involucrados y facilitando su correcta aplicación. 4. ¿Cuáles son los errores comunes en el diseño de un programa social? Es claro que se pueden cometer múltiples errores al conceptualizar un programa. Para simplificar enfoquemos la atención a cinco de los errores más comunes que suelen cometerse en el proceso de diseño de un programa y que, por lo tanto es importante tenerlos en mente en los procesos de evaluación ex-ante y en la dictaminación: a) Convertir en objetivos los componentes o procesos del programa. El objetivo del programa debe ser la solución del problema, ya sea desde la perspectiva de los indicadores usados por un experto o por la imagen compartida construida con la participación social. Objetivo mal construido:





El Proceso del Diseño de los Programas Sociales

Armando Loera Varela

Dotar de cinco aulas a la comunidad de Laguna Roja. Objetivo bien construido: Mejorar en un 10% la tasa de cobertura de educación básica en Laguna Roja. b) Ubicar al proceso de monitoreo o a la evaluación del programa al final de su ejecución. El proceso de monitoreo permite aprender qué funciona y qué no según la teoría del programa, por lo que, al mismo tiempo, permite rediseñarlo en su proceso mismo. c) Falta de correspondencia entre diagnóstico-problema-estrategia-recursos- metas. De manera frecuente los diversos elementos que constituyen el diseño de un programa se desarrollan por personas o equipos distintos, que no comparten una misma visión, o por alguna circunstancia se cometen errores de asociación de la información pertinente en el diseño del programa. Se recomienda considerar de manera reiterada la conexión entre el diagnóstico del problema, su formulación, la identificación de estrategias de solución, la asignación de recursos y la selección de metas. En este aspecto el Marco Lógico, que se considerará en el capítulo 5, puede ser una herramienta pertinente. d) Diseñar el programa desde fuera y desde lejos del sitio donde ocurre y sin considerar a los involucrados. e) Ausencia de definición acerca de las condiciones por las cuales el programa se cancela o se transforma. La mejor estrategia para disminuir la posibilidad de cometer estos errores consiste en dar a conocer el diseño a tantas personas como sea posible, con

El Proceso del Diseño de los Programas Sociales





Monitoreo y evaluación del diseño y desempeño de programas sociales

una amplia diversidad de formación y de posicionamiento respecto al programa, especialmente entre los presuntos beneficiarios y los ejecutores operativos potenciales del programa. Es muy posible que la inversión de tiempo y recursos que se dedique a debatir sobre el diseño posteriormente ahorre en problemas de eficiencia y de foco de atención del problema.





El Proceso del Diseño de los Programas Sociales

la dictaminaci贸n y el an谩lisis de viabilidad de propuestas

Monitoreo y evaluación del diseño y desempeño de programas sociales

CAPÍTULO 2

La Dictaminación y el Análisis de Viabilidad de Propuestas Características de la dictaminación Pulse para explorar el subíndice:

La dictaminación consiste en un proceso de evaluación de propuestas de programas que tiene por propósito seleccionar a aquella o aquellas que, en un proceso competitivo, cumplen de manera más satisfactoria con criterios establecidos en una convocatoria o en términos de referencia. Normalmente la dictaminación se realiza de manera colectiva, en comités establecidos de manera específica.

1. Evaluación ex-ante 2. Análisis de viabilidad 3. Viabilidad política 4. Viabilidad financiera 5. Viabilidad técnica 6. Viabilidad organizacional

Las principales características del proceso de dictaminación son las siguientes: 1) Formulación de criterios que guían la elaboración de la propuesta, típicamente en procesos de convocatoria o a través de la formulación de términos de referencia. 2) Conformación de un equipo de jueces dictaminadores que revisan hasta qué punto cada propuesta satisface los criterios establecidos en la con-

la dictaminación y el análisis de viabilidad de propuestas

Armando Loera Varela

vocatoria o en los términos de referencia. Las convocatorias normalmente establecen las características de las propuestas únicamente. En cambio, los términos de referencia establecen las pautas que deben cumplirse tanto en la presentación como en la ejecución de los programas, incluso pueden describir las principales propiedades de los productos a desarrollar. 3) Selección de los criterios para ponderar o jerarquizar entre los criterios formulados (opcional). Algunos criterios se refieren a aspectos meramente formales o de proceso, mientras que otros son substantivos. Es conveniente identificar y jerarquizar los criterios, con el fin de desarrollar de manera más apropiada el proceso de selección de propuestas valiosas. 4) Valoración de las propuestas. Es usual que cada juez decide de manera individual y posteriormente se hace una votación en grupo. En caso de empate o situaciones críticas decide el o la líder del comité. Un aspecto crítico se refiere a los criterios para seleccionar a los miembros del comité: de la claridad y justificación de los criterios, así como de su justa aplicación al seleccionar a los miembros, depende en mucho la percepción de equidad y corrección del proceso. 5) Selección de la(s) propuesta(s) que mejor satisface(n) los criterios. La dictaminación puede verse sometida a procesos de rendición de cuentas y fiscalización, por lo que es conveniente describir con detalle el proceso de dictamen, los criterios para seleccionar a los miembros del comité, la documentación requerida y los juicios emitidos, tanto de manera individual como grupal, con relación a las propuestas seleccionadas y a las rechazadas. En la dictaminación, los principios que se aplican son la coherencia interna y la pertinencia de la propuesta al cumplir los requisitos considerados en los criterios preestablecidos. De manera excepcional, en el dictamen se aplican

la dictaminación y el análisis de viabilidad de propuestas

Monitoreo y evaluación del diseño y desempeño de programas sociales

criterios de sustentabilidad, en el sentido de garantizar las condiciones para el desarrollo del programa. Por lo que la evaluación desarrollada en el dictamen sigue criterios internos y no asegura la efectividad, o que la propuesta efectivamente cumplirá con los objetivos propuestos. Evaluación ex-ante La evaluación de un programa puede considerarse según el momento en que se realiza. La primera que se puede realizar es la evaluación ex-ante y se refiere a la viabilidad del diseño de la propuesta de programa. Cuando el programa se está desarrollando, el tipo de evaluación es formativa (ex-dure o monitoreo, como le llamaremos), y cuando se trata de decidir sobre los resultados del programa, se trata de evaluación ex-post. Puede desarrollarse evaluación ex-ante en tres modalidades: a) Considerando la coherencia lógica y pertinencia de la propuesta de programa (criterio interno). Esta modalidad es la base de una serie de técnicas que tienen como punto de partida el “Marco Lógico”, que será considerado de manera específica en el capítulo 5. b) Considerando la estimación de efectividad de la inversión (criterio de eficiencia por unidad de impacto). La modalidad se refiere a la aplicación de procedimientos propios de análisis de costo-beneficio, costo-impacto y costo-eficiencia, que por sus características especiales no son objeto de consideración en este documento. c) Considerando la viabilidad técnica, organizacional, financiera y política de la propuesta (criterio de probabilidad de impacto). La perspectiva que se desarrolla en el resto del apartado se refiere a esta modalidad.

la dictaminación y el análisis de viabilidad de propuestas

Armando Loera Varela

Análisis de viabilidad Las dimensiones que típicamente se usan para determinar el nivel de probabilidad de que un programa efectivamente logre los objetivos que plantea se relacionan con los recursos básicos que se ponen en juego para que una acción social tenga éxito: a) poder (viabilidad política); b) recursos económicos (viabilidad financiera); c) conocimiento (viabilidad técnica) y d) normas, procedimientos y hábitos institucionales (viabilidad organizacional6. Viabilidad política La viabilidad política consiste en el nivel de probabilidad de que los actores políticos claves apoyen a un programa, al tiempo que actores que se manifiestan algún nivel de oposición, y en ocasiones indiferencia con relación al programa, sean neutralizados por la fuerza, influencia o presión de los primeros. Los responsables del diseño del programa, por lo tanto, deben (o pueden) tomar en consideración para el diseño aspectos que incidan en aumentar los apoyos de quienes respaldan el programa, como una forma de disminuir la incertidumbre sobre la realización del programa. Difícilmente existen programas sociales a los que se les pueda clasificar como políticamente neutrales debido a que se distribuyen recursos escasos o se otorgan privilegios en la agenda o atención de líderes o actores socialmente poderosos. La mejora de la viabilidad política, sin embargo, no es un asunto sencillo de resolver ya que el utilitarismo como principio tiene importantes límites en este ámbito. Es decir, no siempre se apoya aquello que incrementa

6 Esta perspectiva se basa en las ideas relativas a la planificación estratégica situacional desarrollada por Carlos Matus, especialmente en Chimpancé, Machiavelli y Gandhi: estrategias políticas, Caracas: Fondo Editorial Altadir, 1995.

la dictaminación y el análisis de viabilidad de propuestas

Monitoreo y evaluación del diseño y desempeño de programas sociales

la posibilidad de ganancias o de retorno de la inversión7. La filantropía, visiones estratégicas de largo plazo y consideraciones personales pueden provocar apoyos a propuestas de programas que no redundan en beneficios directos a quienes los promueven. En toda circunstancia, si una propuesta de programa no cuenta con viabilidad política, difícilmente tendrá condiciones de apoyo económico y organizacional. De ahí que los diseñadores de programas deban tener en consideración aspectos de persuasión para atraer el apoyo de actores sociales poderosos. Por otra parte, si el programa surge a partir de indicaciones precisamente de ese tipo de actores, los diseñadores deberán enfatizar las otras dimensiones técnicas y organizacionales especialmente, con el fin de evitar sesgos importantes que impacten su diseño. Los programas sociales innovadores usualmente tienen problemas de viabilidad política ya que no se les conoce o retan los supuestos de intervenciones sociales existentes. En esta condición, es muy probable que la estrategia de persuasión se base en evidencias empíricas de programas similares ya implementados a nivel piloto o programas exitosos en otros contextos, o sea consistente con el portafolio de proyectos ya promovidos en la agenda del actor social. El mayor reto a la viabilidad política se expresa por un fuerte rechazo de un grupo social determinado, especialmente cuando la discusión se mantiene en el nivel ideológico más que en argumentos empíricos. El repertorio de estrategias para enfrentar estas situaciones va desde la apuesta a buscar el apoyo de grupos que históricamente se han enfrentado a quienes rechazan la propuesta hasta provocar foros amplios que permitan debates informados y generar alianzas estratégicas. En todo caso, siempre es importante tener en mente que 7

Tal vez una de las mejores discusiones de los límites del utilitarismo en la formulación de procesos de cambio social lo ha desarrollado Amitai Etzioni, La Dimensión Moral: Hacia una nueva economía, Madrid: Ediciones Palabra, 2007.

la dictaminación y el análisis de viabilidad de propuestas

Armando Loera Varela

la viabilidad política suele responder a condiciones de coyuntura, por lo que no suelen ser permanentes y se deben saber aprovechar las oportunidades concretas que se puedan manifestar. Viabilidad financiera La viabilidad financiera de un programa consiste en contar con los suficientes recursos económicos para desarrollarlo al punto de propiciar el logro de sus objetivos en el tiempo programado. Las fuentes de financiamiento de un programa son cada vez más diversificadas, por lo que no sólo se debe garantizar la suficiencia sino la articulación y que la secuencia de las entregas se haga en un ritmo adecuado para las actividades del programa. En los años recientes se ha impuesto la tendencia de condicionar las entregas de los recursos económicos a los procesos de rendición de cuentas, por lo que la viabilidad financiera queda íntimamente asociada al menos a procesos de auditoría, que se enfocan a la verificación correcta de la programación. Sin embargo, son pocos todavía los programas sociales que trascienden las auditorías y tratan de enfocarse al nivel de logro de los programas o nivel de satisfacción de los beneficiarios, especialmente a través de procesos sistemáticos de monitoreo y evaluación. Un aspecto cada vez más reconocido de la viabilidad financiera es la sustentabilidad del programa. La sustentabilidad consiste en crear las condiciones por las cuales un programa deja de ser una intervención aislada y temporal en una institución, comunidad o sociedad, para convertirse en un proceso culturalmente instalado, es decir, en una práctica reconocida como propia y legítima de ese micro o meso-sistema. Con el fin de propiciar tal apropiación se enfatiza cada vez más que la instancia receptora de los recursos provea de una contrapartida, como incentivo a sí misma. Ciertamente que los proce-

la dictaminación y el análisis de viabilidad de propuestas

Monitoreo y evaluación del diseño y desempeño de programas sociales

sos de apropiación cultural se componen de otros factores críticos (como la pertinencia cultural, la percepción de eficacia del programa, coherencia con prácticas ya instaladas, entre otros), pero la contrapartida activa mecanismos de mayor dinamismo de parte de las instancias receptoras de recursos. Por otra parte, la forma de estimar la suficiencia de recursos para un programa usualmente deja mucho que desear. Cuando se responde a convocatorias, en la mayor parte de los casos se formulan “techos” de financiamiento, independientemente de la naturaleza de las propuestas y, fundamentalmente, sin considerar sus unidades básicas de inversión. Por lo que, naturalmente, los gestores de los programas responden a las convocatorias planteando propuestas a la medida de las convocatorias, no de las características mismas del programa, con lo que se sesga y limita el diseño. Por último, no basta la entrega de recursos; en ocasiones, ni siquiera su suficiencia. Un aspecto siempre crítico es la oportunidad y cumplimiento de los tiempos acordados para la entrega de los recursos. El hecho de que los calendarios de las instituciones que entregan y reciben recursos manejan diferentes principios operativos, deja a las instancias receptoras en una delicada tensión, que frecuentemente plantea retos difíciles de superar a la implementación adecuada del programa. Viabilidad técnica La viabilidad técnica consiste en el basamento empírico que sustenta la propuesta, como una opción que es óptima en relación a otras posibilidades de intervención, ya que se sustenta en buenas prácticas, prácticas prometedoras o prácticas fundadas en resultados de investigación social. En Latinoamérica probablemente sea la dimensión de viabilidad menos considerada de manera rigurosa en la evaluación ex ante de los programas.

la dictaminación y el análisis de viabilidad de propuestas

Armando Loera Varela

En nuestra región tienden a dominar las propuestas sustentadas en sentido común, buena fe, voluntarismo o modas conceptuales. En todo caso, algunos diseñadores de programas se contentan con desarrollar una revisión de literatura relacionada con el tema, que en muchas ocasiones no tiene que ver con los componentes o estructura del programa, sólo con su tema. En todo caso, en general no se responde a la pregunta ¿por qué esta propuesta y no otra?, o ¿qué pasaría si no se realizara el programa? Las aportaciones al conocimiento social por parte de ciencias como la economía, la sociología, la antropología, entre otras, son significativas, y pocos son los temas que quedan inexplorados. De igual manera, los científicos sociales aportan cada vez más a los diseñadores de programas insumos cognitivos más útiles, como la exploración de casos exitosos o prometedores (con base en algún parámetro de éxito), el enfoque a unidades de análisis específicas y orientadas a procesos, no sólo a insumos o a resultados. Los científicos sociales cuentan con herramientas analíticas cada vez más flexibles, a la vez que tienen más interés en temas específicos del cambio social, no sólo los macro-modelos sobre el desarrollo económico, social o cultural. Sin embargo, todavía es necesario mucho trabajo conjunto entre diseñadores de programas (más en el sentido constructivista ya considerado en el módulo anterior) e investigadores sociales. Un sesgo adicional, muy extendido en nuestra región, consiste en discriminar entre las ciencias sociales distinguiendo entre las ciencias (o metodologías) sociales “duras” y “blandas”. Por ciencias “duras” se entiende la aplicación de una perspectiva hipotético-deductiva en el nivel teórico, con amplia aplicación de análisis estadísticos y reclamos de generalidad de sus resultados, como consecuencia de diseños cuasi-experimentales o muestreos poblacionales. En cambio, las ciencias “blandas” son aquellas que se caracterizan por su perspectiva inferencial, con análisis cualitativos, reclamos de densidad teó-

la dictaminación y el análisis de viabilidad de propuestas

Monitoreo y evaluación del diseño y desempeño de programas sociales

rica, antes que de validez externa (generalización) y muestreos conceptualmente pertinentes. La economía es vista como ciencia social ejemplar para la perspectiva “dura”, mientras que la antropología y la etnografía son consideradas como “blandas”. La sociología se posiciona en un punto intermedio, siendo algunas de sus investigaciones “duras” mientras que otras caen en la categoría de “blandas”. La dicotomía entre las ciencias es cada vez menos sostenible al reconocerse que las perspectivas cuantitativas y cualitativas pueden ser igualmente rigurosas y sistémicas en su metodología. Cada vez se reconoce con mayor facilidad que no existe un sólo método o manera de producir conocimiento y que los procedimientos mixtos (combinación articulada de procedimientos cuantitativos y cualitativos) tienen más posibilidades de resolver los sesgos propios de cada perspectiva. En todo caso, que no existe una opción metodológica sino más bien un continuo. De esta manera, los diseñadores de programa cuentan con puntos de sustento cada vez más diversos y útiles para su quehacer. Finalmente, la viabilidad técnica no debe basarse únicamente en conocimiento “científico” sino también considerar lo que algunos denominan el conocimiento local. Es decir, la perspectiva de los practicantes, de los beneficiarios, de los actores sobre los cuales va a actuar el programa. Tomar en consideración no sólo la opinión sino la perspectiva de los actores que operan y de los involucrados directamente en el programa (muy especialmente los que hipotéticamente se beneficiarían del mismo) es ampliamente reconocida como una garantía para el buen funcionamiento, y mejora, significativamente, la posibilidad de impacto del programa.

la dictaminación y el análisis de viabilidad de propuestas

Armando Loera Varela

Viabilidad organizacional La viabilidad organizacional consiste en la posibilidad de que el programa sea consistente con la cultura, normas, hábitos grupales, prácticas ya instaladas y procesos de decisión que caracteriza a la institución o instituciones que se harán responsables de su ejecución. La fuerza de las instituciones que operan los programas es cada vez más reconocida como un factor que impulsa o inhibe programas, especialmente su dimensión organizacional. Ni los operadores ni los beneficiarios de los programas son átomos aislados. Por el contrario, buena parte de su perspectiva del mundo (en especial, la forma como opera la sociedad), su motivación (o carencia de), sus actitudes y valores en torno al programa se explican por su desenvolvimiento y el tipo, modalidad e historia de la organización en donde se desempeña. Todo programa nuevo plantea retos a la estabilidad de las organizaciones que las ejecutan, a menos de que la organización sea nueva o el nuevo programa permita solucionar alguna crisis estructural de la organización; en estas situaciones los programas novedosos suelen ser energizadores. Los aspectos de los nuevos programas que se deben solucionar adecuadamente son básicamente tres: a) la distribución equitativa de las nuevas responsabilidades o de los beneficios entre los diversos actores. b) los niveles de certidumbre en la toma de decisiones durante la operación del programa. c) los procesos de aprendizaje, especialmente el reconocimiento de errores y procesos de corrección durante la implementación del programa.

la dictaminación y el análisis de viabilidad de propuestas

Monitoreo y evaluación del diseño y desempeño de programas sociales

Las soluciones a estos retos usualmente se equilibran entre el liderazgo y los procedimientos normativos propios de la institución. El liderazgo, como atributo organizacional, goza de cierta moda actual como estrategia preferente. Si bien se debe reconocer la relevancia de la visión, capacidad de articulación y la alta motivación que los buenos líderes promueven en la organización, también es cierto que en ocasiones se cae en altos niveles de discreción y voluntarismo subjetivista en sus decisiones e incapacidad de rendir cuentas al mismo nivel que los operadores. De ahí la relevancia de equilibrar el liderazgo con la estructura normativa propia de la organización. Finalmente, un aspecto poco considerado en la determinación del nivel de viabilidad organizacional es la existencia de procedimientos para reconocer que un programa ha fracasado y debe cancelarse o rediseñarse. Cuando se reconoce la conexión de los procesos de monitoreo a los procesos de rendición de cuentas es normal que se reconozcan este tipo de condiciones. Existen múltiples formas para definir la estimación de la viabilidad de un programa. Una de las que hemos visto que funciona para grupos relativamente amplios es la denominada matriz de General Electric8. Es claro que lo que importa no es votar sino realizar una decisión informada con los distintos aspectos ya considerados.

Instrumentos de análisis del marketing estratégico, Ediciones Díaz de Santos, S.A., Madrid, 1990, p. 97.

la dictaminación y el análisis de viabilidad de propuestas

Armando Loera Varela

Criterio

Peso relativo (la suma total debe ser 1.0)

1. Política. 2. Financiera. 3. Técnica. 4. Organizacional. Total

la dictaminación y el análisis de viabilidad de propuestas

Estimación de la viabilidad (del 0 al 10)

Total

El proceso de implementaci贸n de los programas e identificaci贸n de su valor p煤blico

Monitoreo y evaluación del diseño y desempeño de programas sociales

CAPÍTULO 3

El Proceso de Implementación de los Programas Sociales e Identificación de su Valor Público 1. La implementación de los programas sociales

Pulse para explorar el subíndice:

1. La implementación de los programas sociales

2. Factores que influyen en la La implementación de políticas y proimplementación gramas sociales ha sido reconocida de manera tardía por la investigación espe3. Un modelo para entender la implementación cializada ya que se asumía que los procesos relativos al diseño y a los resultados 4. La producción de valor público en la implementación preconfiguraban, de manera “racional” de un programa social lo que debería acontecer en la realidad. La implementación emerge como tema de estudio hasta que se reconocen tanto las importantes limitaciones que tiene la racionalidad formal en la formulación de políticas y programas, como la naturaleza profundamente compleja de tratar de echar a andar un programa y, sobre todo, que para poder entender los resultados se necesita profundizar sobre el proceso que los produce. Como ya se ha indicado, tratar la implementación consiste en lo que tradicionalmente se consideró como la “caja negra” en la formulación de políticas sociales.

El proceso de implementación de los programas e identificación de su valor público

Armando Loera Varela

La implementación es el factor catalizador que transforma las buenas intenciones en buenas políticas y buenos programas. No consiste sólo en el proceso por el cual el diseño de un programa se pone en práctica sino también la manera como se transforma y enriquece el programa precisamente por su puesta en práctica. Por lo que trasciende la mera lista de obstáculos y dificultades para ejecutar el plan y permite arribar a reflexiones sobre condiciones de éxito o fracaso de los programas debido a la estrategia seguida en el proceso de implementación. Actualmente no se estudia la implementación de los programas únicamente para identificar errores y, en consecuencia, mejorar el desempeño y los resultados de los programas. Sino que se están obteniendo otros tipos de aprendizajes o de construcción de conocimiento relativo a la operación de los programas, especialmente cuando se aplican criterios para identificar casos exitosos o buenas prácticas en la implementación9. De esta manera, las lecciones sobre la implementación trasciende la circunstancia situacional de una operación específica y derivan en modelos generales. La implementación de programas suele verse considerando tres modelos: el modelo jerárquico (de arriba hacia abajo), el modelo emergente (de abajo hacia arriba) y el modelo transaccional, que enfatiza los procesos de adaptación y conexión como aspectos constantes. Modelo jerárquico10. Algunos autores se refieren a este modelo como el modelo mecanicista. Es 9 Honig, M.J., New Directions in Education Policy Implementation: confronting complexity, Albany, NY: State University of New York Press, 2006. 10 La caracterización de este modelo se basa en: Pressman, J. L. & Widavsky, A., Implementation, Berkeley: University of California, Press, 1984 y en deLeon, P. and deLeon, L., “What ever happened to policy implementation” an alternative approach, Journal of Public Administration Research and Theory, V. XII, N, 4, 2002.

El proceso de implementación de los programas e identificación de su valor público

Monitoreo y evaluación del diseño y desempeño de programas sociales

el primero que aparece en los estudios sobre la implementación. Se caracteriza por enfatizar la planeación y el control de las acciones. Asume que si un programa es formulado por una autoridad legítima es suficiente para asegurar su buena implementación. De esta manera la formulación del programa debe cuidar en detalle la consistencia y la coherencia entre las metas, los recursos, las actividades, las estrategias y los resultados esperados. Una vez que se ha cuidado la elaboración del plan el resto depende de un buen proceso de capacitación de los operadores, de regular el ejercicio cotidiano de las autoridad por los responsables políticos y de supervisar de manera cercana el desarrollo del programa. Usualmente se descuida el proceso de implementación ya que se considera que se desarrollará de manera más o menos automática. En todo caso, se reconoce que existen obstáculos y problemas en la implementación, que se explican fundamentalmente por la complejidad de los contextos (que en ocasiones se reconoce que superan por mucho la teoría considerada en el diseño) o los operadores de los programas carecen del perfil, los conocimientos, competencias, habilidades o nivel de compromiso que se suponía que deberían tener. En todo caso se supone que los diseñadores de programas hacen su mejor esfuerzo por clarificar los propósitos, componentes, recursos, actividades y tiempos. El resto debe ser trabajo de los implementadores ya que no se deben exigir mapas de operación muy estrictos o procedimientos en detalle que en vez de facilitar pueden dificultar la ejecución del programa. Ocasionalmente se reconoce que la comunicación se distorsiona al bajar desde las autoridades, por lo que se debe de estar atento y minimizar esos errores. En todo caso, en estudiar la implementación desde este modelo consiste en identificar los obstáculos que impone la realidad al diseño del programa. El modelo suele enfatizar la viabilidad técnica y la viabilidad financiera del programa por encima de su viabilidad organizacional o política. En su diseño

El proceso de implementación de los programas e identificación de su valor público

Armando Loera Varela

se suele considerar con mayor énfasis la literatura existente, la opinión de expertos o los resultados del diagnóstico sobre el que se estructura el diseño del programa que la perspectiva de los actores que lo operan o quienes supuestamente se benefician de la intervención. Modelo emergente11 Este modelo centra su atención en las condiciones en las que se desarrolla la implementación del programa y la influencia que esas condiciones en la modificación de los propósitos y componentes del mismo. En particular, enfatiza la necesidad de incorporar en la formulación de los programas las perspectivas de los operadores y beneficiarios, especialmente los primeros. Además reconoce ampliamente que la definición de la naturaleza y estructura de un problema social, así como el diseño de programas son tareas netamente técnico-políticas, por lo que los intereses y perspectivas de los diversos actores influyen en la forma como se manifiestan en la operación, e impactan de manera concreta a los implementadores, que deben negociar o ejercer liderazgo para desarrollar el programa de alguna manera (excepcionalmente de la forma definida en su concepción). La implementación de un programa es considerada como un proceso netamente político, en el que constantemente se están tomando decisiones y solucionando problemas de manera creativa, por lo que no se sigue simplemente el plan o se resuelven los problemas de acuerdo a protocolos preestablecidos. Estas aportaciones cotidianas deben instalarse en la estructura del programa mismo, generando de esta manera una dinámica de abajo hacia arriba. Durante la implementación se hace la mayor parte de la formulación efectiva del programa. 11 El modelo considera las diversas aportaciones desarrolladas en: Calista Donald J. and Dennis J. Palumbo, Implementation and the policy process: opening up the black box, New York: Greenwood Press, 1990,

El proceso de implementación de los programas e identificación de su valor público

Monitoreo y evaluación del diseño y desempeño de programas sociales

Las posiciones de los implementadores pueden ubicarse en un amplio rango, en un polo se ubican los “leales”, quienes tratan de aplicar las instrucciones recibidas por los diseñadores del programa lo más literalmente posible. Por otra parte se encuentran los “rebeldes”, quienes ven en su tarea la oportunidad de hacerse de recursos, ganar poder e imponer sus propias ideas sobre el programa. En el rango se ubican los que debilitan al programa, los que resisten, los que hacen lo menos posible, entre otros. Un factor que influye en la amplitud de este rango es el grado de discrecionalidad que el programa deja a los operadores. Mientras más amplia sea la discrecionalidad será más difícil encontrar coherencia de objetivos entre los diversos operadores ya que el programa se vuelve más sensible a la forma como los grupos de poder resuelven sus diferencias. Al mismo tiempo, debe observarse que el compromiso de muchos de los operadores depende de la manera como se les permite participar en decisiones fundamentales del programa, por lo que cerrar las posibilidades de discrecionalidad (en caso de que ello fuera posible) implicaría limitar de manera seria el nivel de compromiso que deben mostrar. La implementación se va adaptando a los intereses de los actores, a las circunstancias del contexto y a la disponibilidad de recursos y ejecución de acciones por parte del programa. El principal efecto de la implementación exitosa es que hace que las metas sean alcanzables, a pesar de que haya habido problemas de viabilidad técnico en el diseño del programa. Esta perspectiva parte de la teoría de la contingencia en la implementación, según la cual es imposible predecir o preestablecer las diversas circunstancias que van influyendo a la ejecución de un programa y que, en muchas ocasiones, son producidas por el propio programa. Por lo que se enfatiza la atención e inteligencia de los operadores para que el programa se desarrolle de la mejor manera posible, dadas las circunstancias. En este modelo se asume que la comunicación juega una función especial,

El proceso de implementación de los programas e identificación de su valor público

Armando Loera Varela

pero no se asume que se debe resumir en minimizar las distorsiones sino en hacerla más constante, fluida y sincera, especialmente se enfatiza la necesidad de que los responsables de los programas escuchen con atención a sus operadores y tomen decisiones correctivas de manera oportuna. Modelo transaccional12 En este modelo la estructura de la implementación es vista como resultado de una continua negociación entre los actores involucrado, los componentes del programa y las características del contexto específico, muy especialmente la cultura de los presuntos beneficiarios y los operadores de los programas. Esta perspectiva sostiene los siguientes supuestos: a) La planeación establece los parámetros y dirección general de la acción, pero nunca establece de manera exacta el proceso de la implementación ya que este depende de la forma como los actores negocian sus intereses e interpretaciones del programa. b) Las estructuras organizacionales formales impactan de manera significativa pero nunca de manera determinista a los programas, ya que las rutinas y nivel de complejidad facilita o inhibe la incertidumbre o los conflictos entre los actores con base en su posicionamiento concreto en el contexto. c) El contexto del programa suele ser configurado por múltiples factores, es dinámico y muy difícil de predecir. Programas que lucen neutrales en el momento del diseño, por cambios en su contexto pueden ser altamente politizados (o se les convierte en politizados). 12 La caracterización del modelo transaccional se basa en Warwick, Donald P. Bitter Pills: population policies and their implementation in eight developing countries, Cambridge: Cambridge University Press, 1982.

El proceso de implementación de los programas e identificación de su valor público

Monitoreo y evaluación del diseño y desempeño de programas sociales

d) Los actores más relevantes por su influencia en la operación del programa son los implementadores y los beneficiarios, sin embargo es absolutamente relevante contar con el apoyo y liderazgo de los actores políticamente poderosos. Las interacciones de los actores involucrados parten de la naturaleza organizacional de la instancia operadora y de la estructura de las transacciones que se desarrollan entre ellas. La naturaleza organizacional puede consistir en una estructura estatal, una diversidad de estructuras estatales (multisectoriales o multiniveles), una organización de sociedad civil, de múltiples organizaciones de sociedad civil (redes) o de sinergia entre estado y organismos de sociedad civil. Estudiar la implementación desde este modelo no se reduce a identificar los problemas o los factores que inhiben su ejecución, sino más bien identificar los factores que pueden explicar su éxito, ya sea de manera absoluta (como esta preestablecido en el diseño) o de una manera relativa, de acuerdo a las posibilidades de los actores y dentro de las limitaciones de los contextos. Las transacciones típicas son la coordinación, la coerción, la confusión de líneas de autoridad, la cooperación, la competencia, la integración, liderazgo, la resistencia y la oposición. En este modelo el principal factor que explica el éxito o fracaso de un programa depende del compromiso de los operadores. El compromiso se compone de creencias, sentimientos y deseo compulsivo para actuar. La mayor evidencia de que existe compromiso se muestra cuando se actúa cuando se tiene la opción de no hacerlo. Esta decisión frecuentemente depende del contexto. Los actores en los que es más importante que muestren compromiso son los líderes políticos, los administradores del programa y los operadores de

El proceso de implementación de los programas e identificación de su valor público

Armando Loera Varela

campo. Cada nivel se caracteriza por diversas culturas y contextos, por lo que los motivadores del compromiso suelen ser diferentes. Usualmente el convencimiento sobre la gravedad del problema es mayor en los niveles más altos, así como las bondades de la solución que aporta el programa. En cambio, los operadores se muestran más preocupados por posibles riesgos para los beneficiarios, así como por implicaciones morales o políticas del programa, especialmente en los niveles más específicos. De igual manera, las competencias y habilidades para gestionar el programa suelen mostrar una amplia diversidad en el nivel operativo, a pesar de esfuerzos que se realicen en los procesos de capacitación y formación. Este rango suele ser más amplio si el programa se caracteriza por una muy amplia discrecionalidad en los criterios para seleccionar los procesos de implementación más convenientes. El compromiso suele ponerse a prueba por los conflictos y tensiones que provoca la operación en los propios operadores, con los beneficiarios y por los grupos que oponen resistencia o manifiestan explícitamente su indiferencia. Cuando los operadores del programa conviven cotidianamente con los posibles beneficiarios-específicamente sus líderes-, los mensajes que éstos mandan, ya sean de apoyo o resistencia al programa, suelen ser definitivos para establecer el nivel de compromiso de los operadores. Sin embargo, la estructura valoral de los operadores del programa casi siempre se convierte en el factor más determinante para establecer el nivel su nivel de compromiso. La estructura valoral tiene diversos constituyentes críticos:  El conocimiento de la “teoría del programa”.  Las actitudes y sentimientos, especialmente la autosatisfacción de desarrollar un servicio útil a personas necesitadas o significativas para ellos. Las condiciones de trabajo. Nivel de ingreso satisfactorio, oportunidad de las compensaciones, posibilidades de transporte (en caso de que sea ne-

El proceso de implementación de los programas e identificación de su valor público

Monitoreo y evaluación del diseño y desempeño de programas sociales

cesario), disponibilidad de recursos, reconocimiento de esfuerzos extras y difusión de resultados suelen ser elementos importantes de las condiciones de trabajo satisfactorias.  La respuesta de los destinatarios y de la comunidad en general. En ocasiones los operadores de los programas manifiestan tensiones entre demandas incompatibles que expresan las comunidades, su organización y su propia conciencia. Los operadores pueden “solucionar” sus tensiones de las siguientes maneras: 1) Cumplimiento de las órdenes e instrucciones. En caso de que tenga alguna reserva o preocupación por los que esté haciendo prefiere obedecer, ya sea porque se le motiva de manera específica o porque la experiencia adquirida en la implementación le va convenciendo de las bondades del programa. A pesar de que se puede considerar el cumplimiento como comportamiento deseable, de ninguna manera se le debe preferir a costa de reconocer errores o problemas con el reconocimiento del programa (lo que puede ser denominado como sobre-cumplimiento). 2) Resistencia encubierta. Este comportamiento suele manifestarse en cinco tipos de conducta: a) Como minimalismo (hacer lo menos posible, que se considera como una de las armas más poderosas en manos de los implementadores); b) Implementación selectiva, que es una estrategia para “enfrentar” tensiones, evitando los procedimientos, actores o componentes que provocan conflicto con algún tipo de actor social (incluyendo beneficiarios); c) Abusos administrativos, como falsificación de datos registrados o de procedimientos con el fin de aparentar cumplimiento o para conseguir incentivos;

El proceso de implementación de los programas e identificación de su valor público

Armando Loera Varela

d) Maltrato de beneficiarios, cuando las condiciones de trabajo no son las adecuadas o las tensiones que impone el programa son altas se suele dirigir la presión hacia los actores más débiles, los propios beneficiarios: d) Cambios en el programa, que ocurre cuando se debilita la credibilidad del programa a través de lo que los operadores hacen, aparentan hacer o dicen del propio programa. 3) Deserción o ausentismo frecuente del programa. Cuando un programa tiene una alta tasa de rotación de sus operadores es muy probable que no reciban apoyo para enfrentar de manera adecuada con las tensiones que el programa produce. Los beneficiarios, además, pueden impulsar, detener, parar o redirigir la gestión de un programa por la forma como se le está implementando. El rango de la reacción de los clientes puede ir desde la aceptación más o menos mecánica y pasiva de los componentes del programa hasta la resistencia más o menos activa a su operación. Obviamente que ningún otro actor es más poderoso que los beneficiarios cuando ellos resuelven rechazar a un programa, especialmente cuando lo considera como un riesgo. Los beneficiarios suelen ver a los programas como riesgos cuando: a) Observan que se les presiona o se ejerce fuerza para hacer algo que no quieren hacer de manera normal, ya sea por cuestiones personales, familiares o culturales; b) consideran que se desarrolla una actitud paternalista que impide el desarrollo de la autonomía. Un programa es paternalista cuando la definición de las necesidades se expresa por los operadores del programa antes que por los beneficiarios mismos. c) se les habla con la verdad más que con mensajes de mercadeo social (lemas) o con mensajes falsos (o que por lo menos son considerados por

El proceso de implementación de los programas e identificación de su valor público

Monitoreo y evaluación del diseño y desempeño de programas sociales

los beneficiarios). En algunas ocasiones los operadores suelen legitimar al programa prometiendo más de lo que pueden cumplir o minimizando los posibles riesgos. d) el programa asume de manera holística y personalista a los beneficiarios, más que como “clientes”, “usuarios”, o cualquier otra manera despersonalizada de tratar a los beneficiarios. Se enfatiza la ciudadanía de los beneficiarios como competencia personal para intervenir en asuntos públicos y pedir (así como rendir) cuentas de manera adecuada con relación a esa intervención, que se considera como un instrumento para decidir sobre el sentido y nivel de su calidad de vida. En conclusión, los programas suelen ser mejor adoptados por los beneficiarios cuando apuestan más a la libertad que la coerción, respetan la autonomía y disminuyen su paternalismo, expresan la verdad sobre el programa más que recurrir a engaños y, finalmente, consideran las necesidades de los beneficiarios de manera más holística o personal. Los responsables políticos de los programas deben cuidar de manera especial expresiones de los operadores que minimizan a los beneficiarios, ya sea por considerarlos ignorantes o irracionales, cuando justifican versiones “rápidas” o “superficiales” del programa y cuando consideran que el problema del programa son sus propios beneficiarios. En todos estos casos la problemática puede radicar en las condiciones de la implementación del programa y, muy especialmente, bajos niveles de compromiso de los operadores. En todo caso, se debe buscar la racionalidad de los beneficiarios y los argumentos por los cuales se oponen, resisten o evitan un programa.

El proceso de implementación de los programas e identificación de su valor público

Armando Loera Varela

2. Factores que influyen en la implementación La mayor parte de los estudios sobre la implementación se desarrollan a partir de análisis de casos, Muy pocos son los que se proponen desarrollar modelos o teorías sobre el proceso de implementación en sí. Sin embargo existe consenso básico sobre los factores que deben tomarse en consideración para analizar los procesos de implementación. Considerando los diversos modelos, los factores que influyen de manera decisiva en la configuración del proceso de implementación son los siguientes: a) El proceso de diseño del programa. b) La estructura organizacional de la instancia implementadora. c) El comportamiento de los operadores del programa. d) Las respuestas de los beneficiarios y otros grupos sociales. e) La comunicación. f) La dialéctica del conflicto y la cooperación. 3. Un modelo para entender la implementación13 La complejidad de la implementación puede clarificarse siguiendo un análisis que permite entender su naturaleza contingente, considerando de manera específica la naturaleza de la tarea y la interacción con los destinatarios. El principio que sigue el modelo que desarrolla Martínez Nogueira lo sintetiza de la siguiente manera: “Cuanto mayor es la amplitud de los componentes individuales, 13 El modelo así como las tablas que se presentan se basa en: Martínez N, Roberto, Desafíos estratégicos en la implementación de los programas sociales: provisión, participación y coordinación, Buenos Aires: Banco Interamericano para el Desarrollo Social, 2005.

El proceso de implementación de los programas e identificación de su valor público

Monitoreo y evaluación del diseño y desempeño de programas sociales

grupales o comunitarios a impactar, de las actitudes a modificar, de los valores a establecer o de las condiciones de vida a transformar, mayor es la interacción necesaria entre la población objetivos y los operadores. De igual manera, cuanto mayor es la interacción requerida para el suministro del servicio o la entrega de la prestación, mayor es la necesidad de generar mecanismos para la participación de la población, con adaptaciones en las metodologías de programa, seguimiento y evaluación.” Martínez, N., R., Op. Cit., p. 11 La naturaleza de la tarea depende de la solidez de su teoría, la claridad con la que se distinguen sus componentes, la posibilidad de establecer nítidamente actividades, tiempos, recursos y, finalmente, la posibilidad de estandarizar los procedimientos. Con base en estos criterios los programas pueden clasificarse con homogeneidad o heterogeneidad en su tarea. La homogeneidad de la tarea consiste en la posibilidad de formalizarse, estandarizarse y ser programable con mucha facilidad, además de tener destinatarios claros. Cuando sucede lo contrario se dice que el programa es de alta heterogeneidad en su tarea. Con relación a la interacción con los beneficiarios o receptores del programa, ésta es nula o baja cuando existe relativa pasividad de parte de los presuntos beneficiarios. En cambio es alta cuando los beneficiarios (que pueden ser individuos, grupos o comunidades) participan activamente en la tarea e incluso son cooperadores del programa. En estos casos suele ser la interacción suele ser difícil de predecir. Con estos elementos los programas sociales pueden ser clasificados de la siguiente manera:

El proceso de implementación de los programas e identificación de su valor público

Armando Loera Varela

Tipología de programas Homogeneidad de la tarea

Heterogeneidad de la tarea

Interacción nula o baja

1. Transferencia de bienes y recursos

4. Prestaciones asistenciales y de emergencia

Interacción media o alta

2. Servicios sociales profesionales

3. Servicios “humanos”, desarrollo de capacidades y de inserción social

La implementación de los cuatro tipos de programas suele diferenciarse en dos dimensiones: A) los procesos de producción o entrega de bienes sociales y B) la intensidad y extensión de la participación de los receptores. A. Programas cuya tarea consiste en la transferencia de bienes y recursos a) Proceso de producción o entrega. Los programas cuya tarea consiste en la transferencia de bienes y recursos pretenden influir en la calidad de vida de los receptores del programa pero no su cultura, hábitos u otras cualidades. Asumen homogeneidad en el grupo receptor (para lo cual es típico desarrollar ejercicios de focalización más o menos sofisticados ya que la parte crítica del programa consiste en la identificación de los receptores de los bienes), así como la estandarización de los procedimientos y actividades. Los errores comunes de la implementación en este tipo de programas es la discrecio-

El proceso de implementación de los programas e identificación de su valor público

Monitoreo y evaluación del diseño y desempeño de programas sociales

nalidad en el ejercicio de la distribución de los recursos ya sea por tendencias clientelares o paternalistas. En estos programas la organización funcional suele ser la burocrática, con altos niveles de especialización y una estructura vertical. Los conflictos suele devenir del entrampe en las negociaciones para influir en la fórmula de distribución de los recursos y en la oportunidad de su entrega. TRANSFERENCIA DE BIENES O RECURSOS Modelo organizacional

Cuestiones críticas para la gerencia

Consecuencias para la gestión estratégica

Consecuencias para la gestión operativa

Dimensiones centrales para la evaluación

Burocrático

Supuestos sobre relaciones causa-efecto correctos Función de producción debidamente definida. Calidad de la programación Adecuado diseño técnico de las tareas Categorización adecuada (focalización) Control de gestión

Traducción de las definiciones políticas superiores en criterios operativos del programa. Construcción de conocimiento para la validación de las hipótesis que fundamentan el modelo de intervención. Monitoreo de procesos y evaluación de impacto como herramientas básicas para la conducción del programa.

Centrada en la eficiencia Diseño de una estructura organizacional acorde con los requerimientos de las tareas. Procedimientos operativos estándar. Roles y tareas definidos en función de la programación. Sistemas de información sobre la gestión para el control operativo Control a través de la jerarquía

Eficiencia (la eficacia, al igual que el impacto, están descontadas por el diseño). Sustentada en elementos objetivos. Evaluación positivista de la gestión. Evaluación basada en la teoría en lo que respecta a la definición del problema y a la adecuación de los medios para resolverlo.

El proceso de implementación de los programas e identificación de su valor público

Armando Loera Varela

b) Intensidad y extensión de la participación de los receptores. Estos programas se aplican a grupos muy numerosos y en reconocimiento a la obligación del estado frente a derechos ciudadanos, por lo que la participación suele reducirse a que un pequeño grupo de receptores sean considerados (o en el mejor de los casos se desarrolle un proceso de elección) como representantes en las instancias de participación social del programa. En caso de operar, estas instancias básicamente reciben información sobre el programa y sus avances. Eventualmente pueden desarrollarse acciones consultivas o propositivas, que se orientan a detalles de la operación. B. Programas cuya tarea consiste en prestar servicios sociales profesionales a) Proceso de producción o entrega. La tarea consiste en la prestación profesional de un servicio de manera semejante a todos receptores, con base en prácticas estandarizadas, manuales de operaciones y rutinas organizacionales. De los receptores se espera una interacción media o alta. La legitimidad de la intervención es básicamente técnica, aunque su impacto depende en mucho de las características del contexto y de la aceptación de los receptores. Los recursos y saberes que se distribuyen quedan a cargo de una organización central, que se encarga de establecer reglas y regulaciones básicas para normar la operación y promover estándares de desempeños aceptables. Las principales tensiones se plantean entre la regulación de la operación, la reivindicación de autonomía de los operadores y las demandas de los beneficiarios.

El proceso de implementación de los programas e identificación de su valor público

Monitoreo y evaluación del diseño y desempeño de programas sociales

SERVICIOS PROFESIONALES

Modelo organizacional

Cuestiones críticas para la gerencia

Contexto técnicoinstitucional Misión compartida al interior de la institución

Profesional

Calidad de los operadores Accesibilidad de los servicios Adecuados sistemas de monitoreo Riesgos de captura corporativa y de burocratización

Consecuencias para la gestión estratégica Afirmación de la misión Construcción de visión entre los profesionales Construcción y fortalecimiento de las capacidades organizacionales Identificación de las tecnologías más adecuadas en el contexto técnico e institucional Construcción de legitimidad

Consecuencias para la gestión operativa Comunicación de la visión y misión del servicio Contribución a la organización del trabajo Actualización permanente de los servicios y de las capacidades Coordinación entre los operadores

Dimensiones centrales para la evaluación

Eficacia (logro de los objetivos en el marco de la discrecionalidad del operador) Evaluación con intervención de pares Mediciones de satisfacción de calidad del servicio

Gestión de la calidad

b) Intensidad y extensión de la participación de los receptores. La participación de los actores se orienta más a la identidad institucional, la socialización de la información y la reducción de costos de la coordinación. La aportación de los receptores consiste en dar información, conocimientos o aportar apreciaciones que complementan la de los operadores. Sin embargo, la participación de los beneficiarios se limita a los aspectos técnicamente permitidos. La frecuente interacción

El proceso de implementación de los programas e identificación de su valor público

Armando Loera Varela

y diálogo entre operadores y receptores permite mejorar la calidad de los servicios, o al menos su legitimidad. C. Programas cuya tarea consiste en servicios “humanos”, desarrollo de capacidades y de inserción social a) Proceso de producción o entrega. Estos programas se proponen influir de manera significativa en los receptores del programa (personas, grupos o comunidades) especialmente en cuanto a construir nuevas capacidades o inhibir los obstáculos para que las desarrollen. Usualmente estos programas se enfocan a los destinatarios de manera peculiar, por lo que definen sus tareas específicamente para ellos considerando su contexto, cultura y aspectos específicos para la intervención. La selección de los receptores puede darse de manera muy diversa, desde la focalización técnica hasta la autoselección. Es común que los receptores participen activamente en su tratamiento y evaluación del proceso de intervención. La relación entre los operadores del programa y los receptores suele ser estable y relativamente duradera. Algunos de estos programas son denominados “blandos” en cuanto apuestan a dinámicas de cambio que no es posible predecir, con tecnologías informales pero con altos niveles de participación, tanto por parte de operarios como de receptores, que mantienen relaciones simétricas, evitando jerarquías y relaciones autoritarias. Los operadores suelen ser autónomos (al menos relativamente) con relación a la institución a la que pertenecen y buscan constantemente la legitimidad de la intervención por las reacciones de los receptores del programa. Las experiencias personales de los operadores y las narrativas de los receptores constituyen buena parte de la base del aprendizaje que se construye en el proceso de implementación.

El proceso de implementación de los programas e identificación de su valor público

Monitoreo y evaluación del diseño y desempeño de programas sociales

SERVICIOS “HUMANOS”, DESARROLLO DE CAPACIDADES Y DE INSERCIÓN SOCIAL

Modelo organizacional

Cuestiones críticas para la gerencia Convalidación social e institucional Construcción de legitimidad Calidad de la relación con los receptores

Colegial Sustentabilidad Descentralizado del impacto

Consecuencias para la gestión estratégica

Construcción de cualidades organizacionales Construcción de sentido (ideología del servicio) Convergencia de los aportes de los equipos de trabajo con la misión organizacional

Equidad en la determinación de Preservación del los destinatarios relacionamiento y de la acción de la legitimidad Unidad e identidad institucional

Construcción de aprendizaje

Consecuencias para la gestión operacional

Dimensiones centrales para la evaluación

Oportunidad y calidad de la intervención Control metodológico

Efectividad (cambios en los comportamientos)

Coordinación entre los integrantes de los equipos de intervención

Impacto: grados de autonomía e integración de la persona o grupo.

Supervisión y monitoreo Preservación de la participación Gestión del conocimiento

Evaluación interpretativa Participación en la evaluación de los receptores o destinatarios

b) Intensidad y extensión de la participación de los receptores. La participación de los receptores suele insertarse en la operación del programa, por lo que se trata de llegar a empoderarlos (o facilitar su

El proceso de implementación de los programas e identificación de su valor público

Armando Loera Varela

auto-facultamiento) para que su participación sea constante, informada y significativa. Los receptores participan de manera central en el monitoreo y evaluación del programa, así como en el rediseño. D. Programas cuya tarea consiste en prestaciones asistenciales y de emergencia a) Proceso de producción o entrega. Los bienes o servicios que se producen o transfieren carecen de permanencias y se ejecutan de manera extraordinaria para dar solución inmediata (o aminorar los impactos) de situaciones de emergencia (ambiental, social, económica). Estos programas se legitiman más por su activismo que por conseguir efectivamente las metas, carecen de formalidad, la programación de actividades suele ser mínima y sin detalle. Por su baja formalidad es difícil focalizar la intervención con criterios técnicos de alto nivel, por lo que se suelde inducir la discrecionalidad de los operarios. La oportunidad de la intervención suele ser su mejor incentivo.

El proceso de implementación de los programas e identificación de su valor público

Monitoreo y evaluación del diseño y desempeño de programas sociales

PRESTACIONES ASISTENCIALES Y DE EMERGENCIA Modelo organizacional

Cuestiones críticas para la gerencia

Consecuencias para la gestión estratégica

Consecuencias para la gestión operativa

Dimensiones centrales para la evaluación

Organización orientada por el producto (preburocrática o ad-hoc)

Contexto político

Capacidad para traducir políticas de gobierno en objetivos operacionales

Conducción e involucramiento directo.

Oportunidad del auxilio o la prestación

Supervisión

Llegada a la población objetivo

Formalización. Profesionalización Objetividad en la acción (evitar el clientelismo)

Planeamiento anticipatorio. Disponibilidad de recursos y capacidades movilizables en la situación de emergencia.

Control en campo Control logístico Sistemas de información

Cobertura conforme a los objetivos de la acción

Entrega en tiempo y forma.

Formalización de las actividades. Capacitación de los operadores

b) Intensidad y extensión de la participación de los receptores. En estos programas se da el menor nivel de participación, ya sea de manera directa o a través de las instancias representativas.

El proceso de implementación de los programas e identificación de su valor público

Armando Loera Varela

Finalmente, las visiones clásicas de las instancias responsables de la implementación asumen que ésta recae en una sola organización. Sin embargo, cada vez es más frecuente encontrar que en el proceso de implementación participan activamente varias agencias. Si esto es así entonces el diseño de las relaciones entre las instancias operadores se convierte en un aspecto muy importante en la implementación. Los modelos de coordinación en la ejecución de los programas pueden ser: a) Centralizada: en donde una única institución es la responsable de la operación. b) Tercerizada: en donde la instancia responsable puede delegar aspectos de la operación a través de convenios y contratos con otras. La estructura se segmenta pero permanece vertical. c) Redes: pueden iniciarse por una instancia o por varias instancias de manera conjunta. Los incentivos para permanecer suelen variar de grado para cada organización que participa en la red, por lo que la coordinación y la efectividad son siempre un tema muy relevante cuando se desarrolla conjuntamente un proceso de implementación. La construcción de confianza y asegurar mecanismos de reciprocidad están en el centro de la operación de las redes. d) Alianzas estratégicas: se conforman por instituciones con programas complementarios deciden intervenir de manera coordinada, integrándose en un mismo proceso de planeación y programación de actividades. Las relaciones están reguladas tanto por acuerdos formales como por continua interacción en las decisiones cotidianas. Se apuesta a la complementariedad y a la sinergia organizacional. e) Consorcios: En este arreglo diversas instituciones cuentan con los mis-

El proceso de implementación de los programas e identificación de su valor público

Monitoreo y evaluación del diseño y desempeño de programas sociales

mos recursos para perseguir los mismos objetivos a través de acuerdos formales y continuas interacciones. La coordinación puede recaer en una institución o en un mecanismo con participación equilibrada. MODELOS DE COORDINACIÓN EN LA EJECUCION DE PROGRAMAS CENTRALIZADA

Naturaleza de los participantes

Organización propietaria del programa.

TERCERIZADA

REDES

Organización central y organizaciones a cargo de la operación

Naturaleza de la asociación

No hay asociación

Organización propietaria del programa encomienda por contrato o convenio la operación a otras organizaciones.

Papel de la organización central

Gobierno (gestión estratégica), gestión operativa y operación

Gobierno. Transfiere recursos para la operación. Hace el seguimiento y la evaluación.

Estructura del programa

Un solo programa/ proyecto

Programa de la organización central. Proyectos de los operadores integrantes de ese programa.

ALIANZAS ESTRATEGICAS

CONSORCIOS

Organizaciones integrantes de la red con intercambios útiles para el logro de sus objetivos

Organización central y organizaciones aliadas con complementariedades programáticas pero autonomía de operación.

Organización central y organizaciones asociadas con responsabilidades precisas, vínculos de financiamiento y rendición de cuentas.

No hay programa conjunto sino proyectos y actividades independientes. Las organizaciones preservan su autonomía.

Organización propietaria del programa con organizaciones aliadas que preservan su autonomía y realizan contribuciones incorporadas a la programación conjunta.

Programa con personería propia y propiedad compartida por varias organizaciones. Conducción y ejecución por el consorcio.

Moviliza y facilita el funcionamiento de la red.

Convoca a la programación conjunta. Verifica el cumplimiento de los compromisos asumidos por organizaciones autónomas

La organización iniciadora preserva una responsabilidad circunscripta. Puede prestar servicios administrativos y de coordinación al consorcio

Proyectos autónomos formulados en forma independiente

Proyectos autónomos formulados con un marco común

Proyectos autónomos pero con programaciones conjuntas y ejecución conducida/ supervisada centralmente

El proceso de implementación de los programas e identificación de su valor público

Armando Loera Varela

MODELOS DE COORDINACIÓN EN LA EJECUCION DE PROGRAMAS CENTRALIZADA Mecanismos de participación interinstitucional en el gobierno, la gestión y la operación

TERCERIZADA

REDES

ALIANZAS ESTRATEGICAS

CONSORCIOS

a) Mecanismos permanentes de consulta para facilitar la operación, b) Consejos Centrales para asegurar la gestión conjunta.

Ámbito de conducción conjunta. Gobierno compartido y gerencia de la organización central o gerencia del convenio, con dependencia del cuerpo de conducción.

No existen

Mecanismos de consulta y coordinación, pero sin capacidad de decisión

Mecanismos de articulación con participación interinstitucional

Presupuesto

Presupuesto institucional

Recursos asignados por la institución propietaria. Recursos para la operación conforme a contenidos de los convenios.

No hay presupuesto común. Puede haber un presupuesto para el apoyo a la red en la organización focal o con contribuciones de los participantes.

No hay presupuesto común. Las entidades pueden asignar recursos para el financiamiento de aportes específicos.

Recursos propios del programa. La autoridad del consorcio asigna recursos y los administra la gerencia del programa. Cada organización participante puede administrar sus recursos en el marco del programa.

Información sobre ejecución y evaluación

Mecanismos organizacionales de control de gestión, monitoreo y evaluación.

Organización central recibe información de ejecución y controla el uso de recursos. Evalúa la totalidad del programa.

Información discrecional aportada por cada organización. No hay evaluación conjunta de la red.

Información suministrada conforme a los compromisos contraídos. Cada organización puede hacer su propia evaluación.

La autoridad del consorcio supervisa y coordina. Evaluación conjunta de parte de las organizaciones integrantes del consorcio

El proceso de implementación de los programas e identificación de su valor público

Monitoreo y evaluación del diseño y desempeño de programas sociales

4. La producción de valor público en la implementación de un programa social14 La gestión de los programas sociales, al menos de manera ideal, busca tener como consecuencia que la sociedad en general obtenga mayores beneficios que los esperados por la simple aplicación de las reglas y normas que la regulan desde el estado. Si este es el caso entonces se puede expresar que es una gestión pública capaz de crear valor público. El gestor público que se propone producir valor público en los programas y políticas que tiene bajo su responsabilidad orienta sus actividades en tres direcciones. Hacia abajo, con el fin de asegurar la consecución efectiva de las actividades. Hacia fuera, identificando impacto público en las consecuencias de sus acciones. Hacia arriba, con las autoridades de mayor rango y de posicionamiento político, una renegociación de los mandatos de política que le han sido expresados o encomendados. Estos gestores buscan la innovación y los cambios organizacionales que faciliten o aseguren mayor valor público de sus decisiones y acciones. Por lo que son más estrategas que técnicos. Los gestores públicos pueden incorporar la perspectiva de la producción de valor público si ellos integran tres aspectos críticos: 1) Juicios substantivos sobre los aspectos que hacen valiosa o efectiva su decisión o acción pública con base en la estructura normativa vigente (fuera) (legalidad). 2) Un diagnóstico de las expectativas públicas y el apoyo de la autoridad que le faculte para actuar (arriba) (política). 3) Estimaciones fundadas sobre la viabilidad operativa (administración) o capacidad de la organización para lograr los propósitos formulados. 14 La sección se basa en el argument desarrollado por Moore, M. H., Creating Public Value: Strategic Management in Government, Cambridge, Mass.: Harvard University Press, 1995.

El proceso de implementación de los programas e identificación de su valor público

Armando Loera Varela

Una evaluación de desempeños públicos basada en un inventario de tareas y programas no logra el registro exacto de lo que la sociedad gana, por lo que es necesario apreciar si el valor agregado general producido por la organización pública se ha obtenido de manera exitosa. Desde el punto de vista de la gestión el valor público puede analizarse considerando los siguientes puntos: 1) El valor público se basa en los deseos y percepciones de actores sociales concretos. 2) Existen diversos tipos de deseos a ser satisfechos: las aspiraciones de los ciudadanos que se expresan a través de los gobernantes. En principio las aspiraciones de los ciudadanos parecen ser de dos tipos. El primer tipo tiene que ver con bienes colectivos que son deseados y consumidos pero no pueden ser provistos a partir de los mecanismos del mercado porque el bien no puede ser dividido o separado para beneficiar a los consumidores de manera individual. Un segundo tipo involucra las aspiraciones políticas que se relacionan con aspiraciones políticas que corresponden a condiciones sociales particulares, tales como las organizaciones públicas y privadas, como una distribución equitativa de oportunidades económicas u obligaciones sociales, y como un deseo adecuado para economizar el uso del dinero público en las organizaciones públicas. Una vez que se emplean recursos públicos para realizar acciones gubernamentales deben considerarse expectativas y preferencias de los ciudadanos y sus representantes. 3) Los deseos de los ciudadanos pueden satisfacerse a través de dos mercados diferentes: uno es realizar inversiones públicas en aquello que valoran actores sociales específicos. Esta forma crea valor a través de la producción del sector público. Una segunda forma consiste en crear valor a

El proceso de implementación de los programas e identificación de su valor público

Monitoreo y evaluación del diseño y desempeño de programas sociales

través del establecimiento y operación de una institución que satisface los deseos de los ciudadanos o de sus representantes. Esta actividad ayuda a definir o estructurar lo que es valioso. Más que a satisfacerlo. 4) La autoridad debe sentirse satisfecha también, al igual que los probables beneficiarios. 5) Una política consiste en una autorización a recibir recursos públicos para producir bienes colectivos considerados valiosos. 6) Los gestores públicos deben estar preparados para adaptarse a nuevas circunstancias, más que asegurar simplemente la continuidad ya que cambian de manera dinámica las expectativas y las tecnologías. La estrategia organizacional adaptada para el sector público es un concepto en el que de manera simultánea se aseguran tres aspectos, a los que Moore denomina el triángulo estratégico: 1) Declara la misión general de la organización, en términos de valores públicos importantes. 2) Identifica las fuentes de apoyo y legitimidad de su acción. 3) Explica como la instancia tiene que organizarse y operarse para lograr los objetivos. Los gestores públicos, bajo el esquema del triángulo estratégico, deben continuamente revisar sus ambientes autorizantes (legitimizadores), buscar problemas emergentes del asunto con el que lidian y revisar las operaciones de sus actividades más importantes. Cada punto del triángulo (fuera, arriba y abajo) requiere de diferente aparato analítico para realizar su planeación estratégica.

El proceso de implementación de los programas e identificación de su valor público

Armando Loera Varela

Ambiente autorizante Legitimidad y apoyo mandato Operación Capacidades

Gestor

Tareas Valor, Misión, Metas

Recursos

La gestión política reestructura los mandatos para la acción e invierte en el apoyo político y legitimidad que requieren los administradores para lograr los objetivos.

El proceso de implementación de los programas e identificación de su valor público

Etapas de un modelo de monitoreo basado en resultados

Monitoreo y evaluación del diseño y desempeño de programas sociales

CAPÍTULO 4

Etapas de un modelo de monitoreo basado en resultados Introducción Como ya hemos discutido en los primeros módulos, el proceso de diseño y el proceso de implementación forman parte de un continuo, no constituyen segmentos independientes sino que son íntimamente interdependientes. Con este capítulo se inicia la revisión de una serie de técnicas, la mayor parte específicamente diseñadas para monitorear programas sociales de manera sencilla, rápida y barata.

Pulse para explorar el subíndice:

1. Sistema de monitoreo basado en resultados 2. Etapas de un sistema de monitoreo basado en resultados 3. Diseño de estrtegias alternativas de obtención de datos 4. Criterios de evaluación

En el presente libro se entiende como monitoreo: El proceso de constante observación, obtención de información y diálogo que permite, durante el proceso de implementación de un programa social, aprender desde la ejecución de las actividades y la implementación del diseño, de manera que se puede agregar valor público de manera oportuna al programa, no sólo identificando errores o identificando problemas en la

101

Etapas de un modelo de monitoreo basado en resultados

Armando Loera Varela

implementación del diseño inicial, sino también enriqueciendo el diseño, sus propósitos y metas. El monitoreo, en este sentido, se acerca más a la noción de evaluación formativa, más que a la noción estrecha que maneja Scriven15, como el proceso que sigue el representante de la agencia financiadora, por medio del cual se asegura el correcto uso de los fondos, observa si el desarrollo de las actividades se realiza de acuerdo al cronograma de actividades inicialmente formulado y provee información a su agencia sobre la posibilidad de que el desarrollo del programa cumpla con los propósitos, objetivos y metas. En nuestra perspectiva, esta función se realiza básicamente por el propio equipo implementador, la función forma parte del diseño del programa y consiste básicamente en el proceso de aprendizaje que se desarrolla durante la implementación. En el manual analizaremos diversas técnicas de monitoreo. La primera que revisaremos es la denominada Proceso de Monitoreo y Evaluación basado en resultados. En el módulo se revisa un sistema generado en el Banco Mundial16 para diseñar, en diez etapas, sistemas de monitoreo y evaluación basados en resultados de políticas, programas y proyectos. Por la naturaleza de las técnicas que se revisan en este libro la descripción del proceso enfatizará aspectos relativos al monitoreo (por lo que se evitará considerar la evaluación de impacto) de programas sociales (por lo que no se considerarán técnicas relativas a políticas o proyectos). De cualquier forma, los procesos de monitoreo y de evaluación son considerados complementarios, tal y como la evaluación formativa se articula funcionalmente con la evaluación de sumativa.

15 Scriven, M., Evaluation Thesaurus, Fourth Edition, Newbury Park: Sage Publications, 1991, p. 235. 16 En este manual se desarrollará una interpretación libre y simplificada del sistema presentado en: Kusek, J. Z. y R. C. Rist, Ten Steps to a Results-Based Monitoring and Evaluation System, A Handbook for Development Practitioners, Washington, D. C.: The World Bank, 2004.

Etapas de un modelo de monitoreo basado en resultados

102

Monitoreo y evaluación del diseño y desempeño de programas sociales

1. Sistema de monitoreo basado en resultados El sistema de monitoreo basado en resultados contrasta con los procesos de monitoreo basado en procesos de implementación en los siguientes aspectos: Monitoreo basado en la implementación

Monitoreo basado en resultados La pregunta fundamental es: ¿qué se ha aprendido del hecho de que se han generado resultados? Se enfoca a: ¿que han aprendido los actores involucrados en el programa del éxito o fracaso del mismo?

La pregunta fundamental es: ¿se han ejecutado las acciones programadas? Se enfoca a: ¿qué tan bien está operando el programa?. Se basa en diagnósticos de la situación que la describen antes de la intervención.

Estructura una línea de base para describir el problema o situación antes de la intervención.

Informa sobre las relaciones entre las actividades y sus resultados.

Informa sobre el estado del sistema de indicadores de resultados.

Se obtiene información sobre recursos, actividades y resultados muy inmediatos.

La información que se obtiene privilegia los productos y su relación con el logro de las metas sociales.

Se reporta la producción de recursos usados y los resultados obtenidos.

Se enfoca a la percepción del cambio en los diversos actores involucrados..

El monitoreo basado en resultados compara la realización de la implementación con sus metas, más que con los recursos, actividades y resultados contemplados en su diseño inicial. Ejemplo de un programa educativo cuyo propósito es mejorar la lecto-escritura en el primer ciclo de la escuela primaria: Componentes (recursos que constituyen insumos de la intervención):  Sistema de capacitación de maestros.

103

Etapas de un modelo de monitoreo basado en resultados

Armando Loera Varela

 Proceso de capacitación de capacitadores.  Diseño de materiales de apoyo a los maestros. Actividades (Operación en el tiempo y espacio programado de distribución de los recursos y realización del programa, capaces de convertir los componentes en los resultados).  Producción de materiales.  Distribución de materiales.  Desarrollo de la capacitación a maestros. Efectos-outputs- (Consecuencias inmediatas y evidentes de las actividades realizadas de manera directa por el programa).  1, 200 maestros capacitados.  Producción de materiales en el tiempo programado y en la cantidad prevista.  Materiales distribuidos en un 82% a los maestros capacitados. Productos-outcomes- (Consecuencias mediatas de los resultados de la intervención sobre los beneficiarios seleccionados).  Presencia de materiales de apoyo a la lecto-escritura en las aulas de primaria.  Manejo pedagógicamente apropiado de los materiales de lecto-escritura en el aula.

Etapas de un modelo de monitoreo basado en resultados

104

Monitoreo y evaluación del diseño y desempeño de programas sociales

 Mejora en la capacidad lectora de un 20% de los alumnos que entraron sin preescolar en el Estado X, en el primer ciclo de las primarias.  Incremento del éxito escolar en un 5% anual, atribuibles a la mejora en aprovechamiento relacionado con la capacidad lectora de los alumnos del primero y segundo grado de las escuelas primarias en el Estado X. Metas (mejora a largo plazo de la sociedad):  Mejora en los niveles de logro académico de los alumnos de primaria.

105

Etapas de un modelo de monitoreo basado en resultados

Armando Loera Varela

2. Etapas de un sistema de monitoreo basado en resultados El modelo se basa en seis etapas relativas al diseño, la construcción y el mantenimiento de un sistema basado en resultados. A. Preparación del monitoreo. Consiste en establecer los cimientos del procedimiento. B. Acuerdo sobre los resultados a monitorear. Se considera las perspectivas de los actores involucrados en el programa en la estrategia de desarrollar el monitoreo. C. Identificación de los indicadores básicos para monitorear los resultados. Se establecen marcas que indiquen cambios con relación a los componentes, la operación de las actividades, los efectos, los productos y las metas. D. Construcción de una línea de base con los indicadores básicos. Describe el estado inicial del sistema sobre el cual interviene el sistema, ya sea de manera cuantitativa (estadística) o cualitativa. E. Selección de los resultados desde los cuales se identifican oportunidades para el aprendizaje. Se realiza una primera comparación entre los primeros productos y la línea de base con el fin de resaltar que va de acuerdo a las expectativas, que no y actuar en consecuencia. F. Mantenimiento del sistema de monitoreo. Se discuten los problemas que hay que solventar en el mantenimiento de un proceso de monitoreo. Debe evitarse el error de considerar a las etapas del proceso como una secuencia lineal, ya que en su aplicación efectiva se podrán saltar etapas y regresar a aspectos ya realizados, incluso de manera cíclica.

Etapas de un modelo de monitoreo basado en resultados

106

Monitoreo y evaluación del diseño y desempeño de programas sociales

A. Preparación del monitoreo Se asume que el programa necesita de un sistema de monitoreo y se indaga sobre las condiciones para que ese sistema se construya y mantenga, ya sea por características del programa o de la organización que lo implementa. La preparación del monitoreo analiza tres aspectos, sobre los que es muy importante responder nueve preguntas críticas: a) La naturaleza de la demanda y los incentivos para desarrollar el sistema de monitoreo. 1. ¿Existen presiones, y en qué consisten, para desarrollar un sistema de monitoreo? 2. Con un sistema de monitoreo: ¿Qué se gana?, ¿qué se pierde? b) Las funciones de los principales actores que tendrán relación con el proceso de monitoreo. 1. ¿Qué actor o actores son los que promueven un sistema de monitoreo?, ¿porqué? 2. ¿Quién va a ser el “propietario” del sistema de monitoreo?, ¿quién va a ser su mayor beneficiario? c) Requerimientos técnicos y de gestión para construir competencias para el diseño, construcción y mantenimiento del sistema de monitoreo. 1. ¿Qué tipo de información debe colectarse (cuantitativa, cualitativa o mixta)? 2. ¿Cómo se relaciona el sistema de monitoreo con el proceso de asignación de recursos? 3. ¿Cómo se relaciona el sistema de monitoreo con el proceso de implementación?

107

Etapas de un modelo de monitoreo basado en resultados

Armando Loera Varela

4. ¿Cuál es la experiencia previa con sistemas de monitoreo?, ¿qué se aprendió de estas experiencias? 5. ¿Quién necesita mejorar sus competencias técnicas para mantener el sistema de monitoreo? Las respuestas a las preguntas se clasifican en las siguientes matrices de análisis de FODA´s: FACTORES RELATIVOS AL PROGRAMA O A LA ORGANIZACIÓN QUE LO IMPLEMENTA FORTALEZAS

DEBILIDADES

Análisis estratégico: a) Indique las estrategias para que las fortalezas se mantengan como tales. b) Indique las estrategias a desarrollar para que las actuales debilidades se convierten en fortalezas en fortalezas futuras, así como prevenir debilidades futuras. FACTORES RELATIVOS AL PROGRAMA O A LA ORGANIZACIÓN QUE LO IMPLEMENTA FORTALEZAS

DEBILIDADES

Análisis estratégico: a) Indique las estrategias para que las oportunidades se mantengan como tales. b) Indique las estrategias a desarrollar para que las actuales amenazas se convierten en oportunidades en fortalezas futuras, así como procedimientos para desactivarlas como amenazas cruciales.

Etapas de un modelo de monitoreo basado en resultados

108

Monitoreo y evaluación del diseño y desempeño de programas sociales

B. Acuerdo sobre los resultados a monitorear Los resultados se componen de productos y metas. La relación entre productos y metas establece una conexión de eficiencia causal en la intervención social, por el que se fundamenta la viabilidad técnica del programa social. Usualmente las metas sociales requieren de múltiples intervenciones, que de manera no sólo sino también consistente y continua puedan transformar las situaciones que expresan problemas sociales. Apreciar el logro de las metas requiere de procesos de evaluación de impacto, que trascienden los procesos de monitoreo. Sin embargo, éstos pueden considerar los productos a corto plazo y la implementación. La formulación de los productos de los programas sociales es una etapa previa a las metas y plasman de manera muy descriptiva la “visión” que inspira tanto a los diseñadores como a los operadores de los programas. Es tarea del diseño del programa expresar los productos de manera explícita y empírica, en caso de que sea posible (que sea posible determinar el grado de su desarrollo de manera evidente, más allá de las perspectivas y creencias de los actores). Una de las estrategias más sencillas que se usan para construir nociones de productos consiste en la reformulación de preocupaciones, problemas o necesidades a expresiones positivas de situaciones idóneas. Por ejemplo, un indicador de resultado cuantitativo:

109

Etapas de un modelo de monitoreo basado en resultados

Armando Loera Varela

Un ejemplo de marcador cualitativo:

Ejercicios: 1. Plasmar la visión de su programa. 2. Identificar el problema o problemas que aborda su programa. 3. Formular el o los productos de su programa. C. Identificación de los indicadores básicos para monitorear los resultados17. La decisión de establecer indicadores es una cuestión tanto técnica como política. La dimensión técnica consiste en expresarlos como referentes medibles o calificables del estado inicial de la situación en la que interviene el programa, de los procesos fundamentales que constituyen su implementación y de los resultados que se trata de obtener. Por otra parte se necesita acuerdos 17 La descripción de los indicadores se toma de: Loera, Armando, Documento base para el Seminario Internacional de Expertos en Indicadores Educativos, organizado por la SEP, México. Manzanillo, Colima, 7-9 de febrero de 1996 y Loera, A., Presentación en el Seminario Iberoamericano “Elaboración de un sistema de indicadores de la educación en el contexto de las políticas de calidad”. Organización de Estados Iberoamericanos, 24-27 de noviembre, 1997. Madrid, España.

Etapas de un modelo de monitoreo basado en resultados

110

Monitoreo y evaluación del diseño y desempeño de programas sociales

entre muy diversos actores, no sólo aquellos que tienen el control financiero o político del programa, los que mejor se expresan o quienes cuentan con mayores conexiones. Por lo que se debe saber convocar a todos los tipos de actores involucrados y proveerles de la capacidad para participar en el diseño del sistema de indicadores, reflejando sus múltiples intereses y perspectivas. El modelo de monitoreo se basa en un sistema de indicadores. Un sistema de indicadores no es una simple colección de indicadores individuales. La información que provee un sistema de indicadores debe ser mayor que la obtenida por la suma de los indicadores individuales18. Si bien los indicadores son estadísticas, no cualquier estadística es un indicador. Sólo aquellas estadísticas que son capaces de dar una idea global y sentar las bases para elaborar un juicio sobre el funcionamiento del sistema social serían indicadores sociales. De ahí que el reto más importante en la conformación de un sistema de indicadores es que con muy pocas estadísticas se pueda dar una muy buena idea acerca de todo el sistema. Por lo que las estadísticas deben reflejar el estado de factores críticos en el funcionamiento de la educación y establecer relaciones entre sí de manera que se pueda modelar al propio sistema educativo. Los sistemas de indicadores pueden ser juzgados en base a seis criterios generales, dos que se refieren a atributos de los indicadores y cuatro al sistema en cuanto tal: 1) Por la validez interna de los indicadores. Consiste en la precisión matemática del cálculo involucrado en los indicadores cuantitativos o la precisión conceptual de los indicadores cualitativos. 2) Por la validez externa de los indicadores. 18 Shavelson, Richard J., et al., What Are Educational Indicators and Indicators Systems? ERIC/TM Digest, ERIC Clearinghouse on Tests, Measurement, and Evaluation, Washington, D.C., 1991.

111

Etapas de un modelo de monitoreo basado en resultados

Armando Loera Varela

Consiste en la capacidad del indicador de representar correctamente el fenómeno del sistema social al cual hace referencia. Por ejemplo, el concepto de eficiencia interna tradicionalmente usado en la educación en México donde se toma en cuenta la matricula total de los grados precedentes representa de manera inexacta el fenómeno del flujo de alumnos ya que en esa matrícula están alumnos rezagados. Para reconstruir la cohorte y reportar la eficiencia interna correctamente se necesita identificar la matricula inicial del grupo precedente, de manera que se pueda estimar el desgranamiento de ese grupo en particular en los ciclos escolares posteriores. 3) Por la consistencia del sistema. Consiste en la coherencia de los indicadores entre sí, evitando contradicciones entre las categorías de información reportada. Los sistemas deben tener cierto grado de redundancia, en cuanto que varios indicadores midan el mismo fenómeno, con el fin de determinar la consistencia de la información y de los indicadores usados. 4) Por la comprensibilidad del sistema de indicadores. Consiste en la capacidad de los sistemas de indicadores para considerar los factores críticos que permiten describir o explicar la condición del sistema educativo. En ese sentido los indicadores deben referirse, como se verá en la tercer parte, al menos a ámbitos tales como: las metas educativas, las políticas educativas, los determinantes socio-económicos y los procesos pedagógicos. 5) Por basarse en un modelo causal. Consiste en la característica del sistema de indicadores de enfocarse en los factores estratégicos para que decisiones o acciones políticas puedan alterar en forma dramática el comportamiento del sistema. Para lograrlo

Etapas de un modelo de monitoreo basado en resultados

112

Monitoreo y evaluación del diseño y desempeño de programas sociales

el sistema de indicadores debe fundamentarse en un modelo causal de funcionamiento del sistema, donde los factores de intervención política son meramente instrumentales para el logro de las metas del sistema educativo19. 6) Por su uso. En última instancia éste es el criterio más relevante para evaluar los indicadores. Los usos pueden ser instrumentales en aspectos de planeación o programación; conceptuales en cuanto que educa a los tomadores de decisión sobre los factores críticos de los sistemas sociales o iluminativos20. Para enriquecer las conversaciones sociales y los diálogos de política. Para ser usado el sistema de indicadores necesita de un proceso de reporte que se caracterice por analizar y entregar información para actores de varios niveles, también debe combinar presentación de estadísticas con análisis conceptuales y estudios a profundidad, y, por último, los datos deben presentarse con base en una teoría educativa sostenible ante expertos del área. Un buen sistema de indicadores, por lo tanto, informa lo suficiente como para elaborar juicios con fundamento sobre la condición de la educación y establece elementos para diseñar, implementar y evaluar políticas para su mejoramiento. Si el sistema de indicadores no influye en las decisiones que se toman en el programa su costo, cualquiera que sea, será muy alto. Por otra parte, es muy importante reconocer que los indicadores tienen historia. Indicadores que alguna vez fueron perfectamente relevantes para la toma de decisiones dejan de tener importancia. Hasta ahora los sistemas de información 19 MacRae, Duncan, Policy Indicators: links between social science and public debate, Chapel Hill, The University of North Carolina Press, 1985. 20 Véase Weiss, Carol H., The Many Meanings of Research Utilization”, en M. Bulmer et al., Social Science and Social Policy, London, Allen & Unwin, 1986.

113

Etapas de un modelo de monitoreo basado en resultados

Armando Loera Varela

educativa han tratado de impactar más las unidades dedicadas a la planeación y a la programación. Esto se ha debido a que la política prioritaria ha sido la de expansión de la oferta educativa y, más recientemente, la de la eficiencia terminal. Con estas prioridades bastaba saber que tantas escuelas, maestros y otros insumos mínimos existían, de qué tipo eran y dónde estaban ubicados. Ahora que aparecen como relevantes otras metas del sistema educativo como las de calidad, equidad y pertinencia se requiere de indicadores más sofisticados de insumos e impactos, e incursionar en los de proceso. Como se señaló arriba, una condición que tienen los indicadores sociales consiste que involucren un modelo causal, que identifique los factores críticos del funcionamiento del sistema21. Los indicadores estarán referidos a esos factores críticos para colaborar en el entendimiento del estado del sistema y para insinuar el tipo y la dimensión del esfuerzo estatal para hacer correcciones. El proceso de implantación como el cumplimiento de una decisión pública tiene en los indicadores una etapa decisiva en el análisis. Los indicadores de desempeño contienen tanto las metas como la capacidad del sistema para determinar si funciona o no el esquema causal implícito en la política. La única forma para determinar el éxito o fracaso de un proceso de implementación es monitoreando sus indicadores, los que nos permitirán decidir hasta qué punto se cumplen o no las metas perseguidas22. Por otra parte, al apostar a cambios en ciertos indicadores cuantitativos es necesario tener siempre en mente la denominada Ley Campbell en el ámbito social: “Mientras que se use cada vez más cualquier indicador social cuantitativo en procesos de formula21 Peters, Guy B., “Policy Design and the Development of Policy Indicators”, Knowledge, Vol. 9, No. 2, December, 1987, pp. 278-296. 22 Van Meter, D. y Van Horn, C., “The Policy Implementation Process: a conceptual framework”, in Administration and Society, Vol. 6, No. 4, 1975, pp. 445-488.

Etapas de un modelo de monitoreo basado en resultados

114

Monitoreo y evaluación del diseño y desempeño de programas sociales

ción de políticas es más probable que sea foco de distorsiones y que, por lo tanto, se corrompa el proceso social que se pretende monitorear”23. En consecuencia, si se proclama que una política educativa promueve el mejoramiento del sistema se deben especificar las razones por las cuales ello deba suceder. Al mismo tiempo, no sólo se pretende evaluar las políticas actuales sino también las pasadas, el estado de los factores críticos del sistema, las tendencias y los escenarios futuros. Los indicadores permiten dar seguimiento al logro de los objetivos, pero la relación entre el indicador y las metas es de carácter probabilístico, no lógica, por lo que es preferible contar con múltiples indicadores de una meta, así como diversas evidencias sobre el nivel de ejecución del desempeño. Por otra parte es importante ver que un indicador refleja varios hechos y que la interpretación en un sólo sentido puede provocar confusiones. Por lo que se debe evaluar un sistema a partir una visión de conjunto de los indicadores24. Por otra parte, debe tenerse claro que los indicadores de un sistema social usualmente son incapaces para evaluar el impacto de programas. Los indicadores no substituyen a procesos de investigación que evalúen el impacto de intervenciones como programas o proyectos en cuanto que les falta el nivel de rigor y de detalle de los buenos proyectos de evaluación. 23 Campbell, Donald T., “Assessing the Impact of Planned Social Change,” in G. M. Lyons, ed. Social Research and Public Policies: The Darmouth / OECD Conference, Hannover, NH: Public Affairs Center, Darmouth College, 1975. 24 Medina, A., y Mejía, J., El Control en la Implantación de la Política Pública, Plaza y Valdés Editores, México, 1993.

115

Etapas de un modelo de monitoreo basado en resultados

Armando Loera Varela

ELEMENTOS DEL DISEÑO DE UN SISTEMA DE INDICADORES

Shavelson25 identifica las siguientes etapas para la identificación de un sistema de indicadores: 1) Conceptualizar indicadores potenciales. Los indicadores potencialmente importantes pueden considerar insumos (recursos humanos o financieros asignados al sistema educativo), procesos (conjunto de dinámicas relativas al ambiente de aprendizaje en las aulas) y productos (las consecuencias de la experiencia escolar en alumnos de antecedentes diversos). 2) Una vez que se tenga un listado de indicadores potenciales se debe de refinar. Para depurar el listado de constructos se debe tener en mente de forma prioritaria el propósito (o propósitos) a los que se va a orientar el sistema de indicadores. Con este fin se debe consultar a los usuarios potenciales quienes definirán las categorías más pertinentes para sus actividades (monitoreo, planeación, programación, discusión de metas y evaluación) y el nivel y categorías de desagregación requerido. De igual forma, se debe tomar en consideración la cantidad y calidad de información disponible y los costos que implicaría reportar sistemáticamente indicadores que requieren información de alta calidad y precisión. Con toda esta información se define un mapa conceptual que liste los indicadores y sus nexos. 3. Diseño de estrategias alternativas de obtención de datos Una vez que el mapa conceptual de indicadores esté construido se explo25 Shavelson, Richard. J. Steps in Designing an Indicator System, ERIC/TM Digest, ERIC Clearinghouse on Tests, Measurement, and Evaluation, Washington, D.C., 1991.

Etapas de un modelo de monitoreo basado en resultados

116

Monitoreo y evaluación del diseño y desempeño de programas sociales

ran las bases de datos existentes y las modalidades disponibles para obtener la información que necesita el sistema de indicadores. Algunos indicadores requerirán censos poblacionales o de escuelas mientras que otros necesitarán de investigaciones rigurosas. 4. Criterios de evaluación Las alternativas tanto de los indicadores como de las bases de datos por ellos requeridos se deben someter a criterios de factibilidad política, económica y organizacional. En el análisis de la factibilidad política debe de revisarse la reacción de los actores protagonistas del sistema en la obtención de información o en el reporte de ciertas categorías de información. La cultura de la evaluación del sistema no se puede desarrollar de inmediato ni por decreto. Se requiere de procesos de aprendizaje gradual. El análisis de factibilidad económica requiere de estudios de costos muy detallados. Sumar un sólo indicador en procesos censales puede incrementar de manera muy significativa en un sistema educativo tan grande como el de México. Finalmente, el análisis de factibilidad organizacional tomaría en cuenta la capacidad técnica del personal que procesa, analiza y reporta la información así como la capacidad tecnológica que posibilitaría la obtención, procesamiento, análisis y publicación de la información. LOS ASPECTOS CUALITATIVOS

Existen dos maneras de considerar los aspectos cualitativos como referentes similares a los indicadores cuantitativos. La primera forma es con indicadores cualitativos y la segunda con marcadores cualitativos.

117

Etapas de un modelo de monitoreo basado en resultados

Armando Loera Varela

La generalización de los métodos mixtos de investigación social26 ha facilitado que se acepte con mayor facilidad el diseño y aplicación de indicadores cualitativos27. Estos indicadores consisten en variables nominales, que se derivan de preguntas semi-estructuradas, e incluso abiertas, de encuestas, registros, entrevistas de grupo de enfoque, etc. Una manera muy usual de gestionar indicadores cualitativos en sistemas de indicadores consiste en convertirlos en escalas mediante indicadores complejos, los que pueden integrarse con sólo indicadores simples cualitativos o combinando (triangulando) indicadores cuantitativos e indicadores cualitativos. Si bien, los procedimientos metodológicos de los indicadores cualitativos suelen plantearse varios retos (como procesos de codificación complejos, posibilidades de redundancia en la composición de variables, entre otros), éstos se pueden solucionar de manera técnicamente adecuada28. Por otra parte, los procesos de implementación de programas sociales pueden ser plasmados a través de los “marcadores cualitativos”, que son descripciones de un sistema que se asume como referente de una situación en un tiempo determinado. Los marcadores aportan evidencias del estado de 26 Newman, I. and Benz, C.R., Qualitative-Quantitative Research Methodology: Exploring the Interactive Continuum, Southern Illinois University Press, Carbondale and Edwardsville, Illinois, 1998; Tashakkori, A. and Teddle, C., (editors), Handbook of Mixed Methods in Social & Behavioral Research, Sage Publications, Thousand Oakes, California, 2003; Creswell, Johm W. and Plano Clark, V. L., Designing and conducting mixed methods research, Sage Publicetions, Thousand Oaks, California, 2007. 27 Un ejemplo reciente se encuentra en Mujeri, M. K., The Use of Qualitative and Quantitative Indicators for Local-Level Poverty Assessment: The Experience of a Pilot Survey in Bangladesh, MIMAP-Bangladesh Project supported by the International Development Research Centre, Ottawa, Canada, 2006. 28 En la evaluación cualitativa del Programa Escuelas de Calidad integramos una amplia gama de indicadores cualitativos (así como de cuantitativos). Para el manejo técnico de indicadores complejos, así como de triangulación entre indicadores cuantitativos y cualitativos véase especialmente los anexos de Loera, A., et al., Reporte de Reuniones Nacionales de la Fase 5 de la Evaluación cualitativa del PEC, Chihuahua: Heurística educativa, diciembre 2005.

Etapas de un modelo de monitoreo basado en resultados

118

Monitoreo y evaluación del diseño y desempeño de programas sociales

las situaciones al inicio (línea de base), durante (implementación) y al final (impacto) de los programas sociales, de la manera más integral posible. Las evidencias que aportan los marcadores son especialmente sensibles a cambios en los contextos, a la diversidad de actores considerados y a la amplía plasticidad que muestran los procesos sociales en su dinámica temporal. Sin embargo, son perfectamente manejables desde una perspectiva técnica y las comparaciones suelen tener “mayor sentido” para los operadores y beneficiarios que los meros reportes números basados en indicadores cuantitativos. El repertorio de productos que pueden denominarse marcadores cualitativos incluye una amplia gama de elementos, que incluye fotografías, videos, descripciones detalladas en narrativas personales, entre otras muy diversos aspectos. En nuestra experiencia directa hemos considerado marcadores cualitativos de muy diversa índole en nuestros estudios, como ejemplos podemos citar tres de las más frecuentes29: 1) Mapas conceptuales de los actores. Usando técnicas como el TKJ (construcción de un mapa en un momento definido) o la técnica Emery (reconstrucción de los cambios en un proceso longitudinal) es posible identificar la interpretación que hacen los actores de su propia práctica social, mediante procesos de diálogo, construcción de consensos y visualización de las ideas compartidas. Los mapas grafican la teoría en acción de los grupos que los construyen30. Así, por ejemplo, un grupo de maestros desarrolló el siguiente mapa conceptual sobre su práctica pedagógica:

29 Estas técnicas se usaron en diversos estudios, que pueden ser consultados en los reportes nacionales de la evaluación cualitativa del PEC en: www.heuristicaeducativa.org 30 Estos ejercicios se fundamentan teóricamente en la perspectiva de Argyris, C. y D. A. Schön, Theory in practice: increasing professional effectiveness, San Francisco, Jossey-Bass Publishers, 1975.

119

Etapas de un modelo de monitoreo basado en resultados

Armando Loera Varela

PRÁCTICA PEDAGÓGICA

Etapas de un modelo de monitoreo basado en resultados

120

Monitoreo y evaluación del diseño y desempeño de programas sociales

2) Estudios de caso. La descripción del estado de una unidad de intervención (por ejemplo escuelas, hospitales, hogares), ya sea de manera integral o a partir de unidades de análisis que las descomponen en aspectos que se focalizan de manera particular por motivos de la naturaleza del programa. Los casos pueden describir en detalle el estado inicial de la práctica de gestión en una escuela, de la práctica pedagógica en un grado, de la relación de una institución en una comunidad según múltiples actores. Así como los estados que muestran estas unidades de intervención a cierto tiempo (un mes, cada año, por ejemplo). Por otra parte, no basta con tener descripciones estáticas sino que es posible reconstruir la dinámica de los procesos por medio de estudios de caso longitudinales31. En todo caso lo importante es poder realizar comparaciones. 3) Microanálisis de procesos. Algunos programas tienen como propósito transformar procesos de naturaleza situacional (es decir, que cambian según los participantes y contexto, por naturaleza irrepetibles, pero que pueden ser considerados a la luz de estándares generales) y que se desarrollan de manera muy específica. En estos casos se pueden considerar técnicas como la narrativa detallada (como la reconstrucción de intercambios lingüísticos, la estrategia de retrato, etc.) o mapas de procesos que reconstruyen gráficamente las prácticas. Un ejemplo de este tipo de producto lo constituyen los mapas de práctica pedagógica que describen de manera muy sintética (de ser posible que sea captado rápidamente) procesos lineales complejos. Los siguientes son mapas construidos para establecer la línea de base de la práctica pedagógica: 31 Véase de manera específica, Loera A., et al, “Así se hace en buenas escuelas públicas mexicanas: estudios de caso longitudinales”, Chihuahua: Heurística Educativa, 2006.

121

Etapas de un modelo de monitoreo basado en resultados

Armando Loera Varela

Etapas de un modelo de monitoreo basado en resultados

122

Monitoreo y evaluaci贸n del dise帽o y desempe帽o de programas sociales

Los marcadores cualitativos tienen cinco atributos esenciales: 1) Son repetibles, al menos en buena medida, en su proceso de construcci贸n, en diferentes tiempos y en diferentes situaciones.

123

Etapas de un modelo de monitoreo basado en resultados

Armando Loera Varela

2) Son comparables, al menos en su estructura general, si bien pueden perfectamente diferir en detalles. 3) Captan la interacción de la situación de una manera más sistema, que los numerales de los indicadores clásicos. 4) Caracterizan procesos complejos de manera típica (por el actor, proceso o momento). 5) Se constituyen como referentes de momentos (línea de base, implementación, final) de la maduración de los programas sociales, de actitudes así como de sistemas de ideas complejas, ya sea a nivel individual o de grupo. E. Construcción de una línea de base con los indicadores básicos. Un sistema de monitoreo por resultados contrasta el estado final de la intervención, que supone la operación de un programa, con el estado inicial. Por lo que es vital configurar el punto de partida, a lo cual se le denomina línea de base.

Etapas de un modelo de monitoreo basado en resultados

124

Monitoreo y evaluación del diseño y desempeño de programas sociales

La línea de base se constituye por evidencias conceptualmente relevantes para el programa, por lo que deben identificarse los componentes de los programas con el fin de plasmar la situación inicial. Un buen diagnóstico de un problema social debe proveernos de dos aspectos básicos: 1) Una caracterización de la situación inicial que sea posible traducir operativamente en indicadores o marcadores. 2) La identificación de los insumos o componentes que pueden mostrar viabilidad política, técnica u organizacional. Estos insumos y componentes constituyen la estructura misma del programa. Sin embargo, es importante señalar que el diagnóstico no configura una línea de base en sí mismo, ya que la línea se refiere a los indicadores que hemos decidido aplicar al proceso. Por lo que los diagnósticos son insumos muy relevantes pero requieren traducirse en aspectos útiles para la configuración de la línea de base. En la construcción de la línea de base de un programa debemos contestar ocho preguntas, al menos, todas ellas con relación a los indicadores o marcadores que se decidan que van a constituirla: 1. ¿Cuáles son las fuentes de los datos? Si bien como regla general debe recolectarse únicamente información directamente relacionados con los indicadores, no siempre es fácil decidir qué información está directamente relacionada ya que en un principio no es claro el rumbo que tomará el programa. Por lo que se impone un equilibrio impuesto por la necesaria economía de recursos y procedimientos en la obtención de información con una mente abierta a los múltiples aspectos que pueden mostrar evidencias empíricas del funcionamiento de un programa. En principio, se recomienda combinar en los procesos de monitoreo diver-

125

Etapas de un modelo de monitoreo basado en resultados

Armando Loera Varela

sas técnicas recolección y registro de datos, por lo que es deseable desarrollar procesos mixtos de indagación social. El repertorio de técnicas que pueden aplicarse para obtener datos puede incluir encuestas, entrevistas, entrevistas de grupo de enfoque, registros de observación, análisis de contenido, historias de vida, diarios de campo y portafolios, entre otras. TÉCNICA

TIPO DE INFORMACIÓN

CARACTERÍSTICAS

PRECAUCIONES

1. ENCUESTA

Percepciones, valoraciones, declaraciones que se pueden estructurar en opciones preestablecidas y que necesitan ser obtenidas de cada informante en particular. Los datos no tienen carácter confidencial si se asegura un proceso de confianza. El tiempo es limitado a menos de una hora.

Permite obtener información sobre atributos de una población con el fin de generalizar sobre su distribución. Las encuestas pueden seguir diseños longitudinales, tanto como tendencias, de cohorte, o panel. Considera variables que pueden ser analizadas e interpretadas con métodos estadísticos.

Se pueden incorporar preguntas abiertas pero no es recomendable porque requiere de procesos de codificación e interpretación diferentes a las preguntas estructuradas o semiestructuradas. Especial cuidado se debe tener sobre la claridad del fraseo de las preguntas, lo completo de las opciones y el proceso de administración.

2. ENTREVISTA INDIVIDUAL

Percepciones, reportes, valoraciones, declaraciones, expresiones íntimas que se pueden comunicar en una conversación amigable con un extraño. No existe límite de tiempo. No se dirigen las respuestas y es muy útil para explorar con libertad los temas. La unidad de análisis es el informante.

Se usa cuando importa profundizar los temas, encontrar el significado atribuido por los informantes o hablar sobre temas íntimos. Usualmente se aplican métodos cualitativos para su análisis e interpretación. Es compatible con diseños longitudinales.

A pesar de que es libre debe enfocarse a los temas principales. Existe el riesgo de perderse y no identificar la unidad de análisis. Usualmente se entrevista a profundidad en varias ocasiones, aumentando el foco de atención de manera gradual.

3. ENTREVISTA DE GRUPO FOCAL

Percepciones, valoraciones, declaraciones que son públicamente expresables, donde Permite explorar de manera rápida el se espera que el tratamiento en rango de posiciones sobre un tema en una grupo permita aprender de las población típica. respuestas de los demás. Las preguntas están estructuradas o semi-estructuradas.

Etapas de un modelo de monitoreo basado en resultados

126

La muestra debe componerse de representantes de los diversos segmentos importantes, con suficiente heterogeneidad por sus características. El control en el flujo de la entrevista es su punto más débil.

Monitoreo y evaluación del diseño y desempeño de programas sociales

TÉCNICA

TIPO DE INFORMACIÓN

CARACTERÍSTICAS

PRECAUCIONES Observaciones estructuradas y con poco tiempo impiden que los observadores aprendan de la situación observada, por lo que existe el riesgo de sesgar. Un problema importante es codificar de manera que se pueda triangular con otras fuentes de información. La identificación de la unidad de análisis en los registros y el proceso de muestreo son importantes cuando se intenta pasar al nivel explicativo.

4. OBSERVACIÓN

Conductas e interacciones entre sujetos de manera natural. Combina la información tipo emic (desde la perspectiva del actor) con la tipo etic (desde la perspectiva del investigador).

Puede ser plenamente naturalista o estructurada; así como externa o participativa. Usualmente necesita combinarse con otras técnicas ya que es complementaria.

5. ANÁLISIS DE CONTENIDO

Declaraciones, expresiones, valoraciones expresadas de manera explícita o implícita en un texto.

La técnica es altamente sensible a los procedimientos y capacidad analítica del investigador.

6. HISTORIA DE VIDA

Son relatos que transmiten una memoria personal o colectiva, de manera que se reconstruye el sentido de las acciones consideradas importantes en un espacio y tiempo definido.

El riesgo es quedarse en la singularidad de los eventos sin Combina entrevistas con análisis de identificar patrones recurrentes contenido. La identidad de los informantes que expresen patrones de se constituye a partir de múltiples fuentes. sentido. Debe procurarse la triangulación de datos.

7. DIARIO DE CAMPO

Consiste en la narrativa propia del investigador sobre el sentido de sus descubrimientos, en el registro de datos no captados por otros instrumentos y en las especulaciones que le sugiere el proceso de reflexión sobre los sucesos y sobre su propia lectura.

No se explica por sí mismo sino a partir de otras fuentes de información. De hecho es un instrumento de segundo nivel. Debe ser codificado y considerado como otra fuente primaria de datos a pesar de contar con análisis e interpretaciones.

No identificar las reflexiones propias de registros derivados de entrevistas u observaciones no registradas es el máximo riesgo del instrumento.

8. PORTAFOLIO

Se compone de una colección de evidencias de desempeño que son desarrolladas de manera natural por los informantes. Es una forma alternativa a los exámenes estandarizados para determinar niveles de desempeño.

Se debe distinguir entre el portafolio como estrategia de evaluación pedagógica del portafolio como colección de evidencias de desempeño. Los desempeños pueden mostrarse en ensayos, videos, productos.

La mayor dificultad consiste en hacer comparable una evidencia de desempeño con otra, con el fin de obtener patrones o niveles de valoración.

En la decisión de qué técnica aplicar deben considerarse costos, la necesidad de capacitación que se requiera, el tiempo necesario para obtener los datos y la tasa de respuesta que se pueda razonablemente suponer para cada técnica. De igual manera, debe contemplarse siempre la posibilidad de que la línea de base conforme un estudio longitudinal.

127

Etapas de un modelo de monitoreo basado en resultados

Armando Loera Varela

Ejercicio: INDICADORES CUANTITATIVOS, CUALITATIVOS O MARCADORES

TÉCNICAS DE INDAGACIÓN

CRITERIO DE SELECCIÓN DE LA TÉCNICA

E. Selección de los resultados desde los cuales se identifican oportunidades para el aprendizaje en el programa Una vez que la línea de base se ha configurado se deben establecer las bases para la mejora del programa, lo que se hace seleccionando los resultados clave, que se convertirán en el “blanco” del programa. En la selección de los resultados “blanco” la estrategia incluye aspectos de la operación del programa a través de estándares de desempeño del programa. Los estándares del desempeño del programa describe la manera idónea como el programa debe operar, y se conforma por: a) Nivel de calidad y cantidad de los insumos del programa. b) Nivel de desempeño de los operadores del programa. c) Nivel de oportunidad en tiempo en la realización de las actividades (cumplimiento del programa). d) Nivel de satisfacción de beneficiarios con el programa. e) Nivel de satisfacción de operarios del programa. f) Cumplimiento, en plazos breves, de metas intermedias que sean críticas para el éxito del programa (selección exhaustiva). g) Nivel de suficiencia financiera.

Etapas de un modelo de monitoreo basado en resultados

128

Monitoreo y evaluación del diseño y desempeño de programas sociales

Estos aspectos deben operacionalizarse usando indicadores cuantitativos, cualitativos o marcadores. El supuesto consiste en que si a la situación plasmada en la línea de base se suma el nivel deseado de desempeño del programa entonces tendremos, en consecuencia, el nivel de éxito deseado por el programa.

LÍNEA DE BASE

ESTÁNDARES DE DESEMPEÑO

DESEMPEÑO EXITOSO DEL PROGRAMA

Es claro, que si el programa falla en la realización de sus estándares de desempeño deben corregirse inmediatamente los factores que inciden en su cumplimiento, a lo que se le denomina proceso de aprendizaje en la operación del programa. La corrección de problemas debe realizarse de manera rápida y sencilla, por lo que los procesos que informan sobre el nivel de cumplimiento de los estándares de desempeño deben orientarse por la oportunidad y claridad de la información. En los siguientes módulos se abordarán diversas estrategias para la realización de estos tipos de recolección de información pero ahora sería importante diseñar una lista de “chequeo” de los aspectos más relevantes de los estándares de desempeño para su programa.

129

Etapas de un modelo de monitoreo basado en resultados

Armando Loera Varela

Ejercicio: Estándares de desempeño

Instrumentos

Personal que levantará la información

Tiempo

Recursos

a) Nivel de calidad y cantidad de los insumos del programa. b) Nivel de desempeño de los operadores del programa. c) Nivel de oportunidad en tiempo en la realización de las actividades (cumplimiento del programa)d) Nivel de satisfacción de beneficiarios con el programa. e) Nivel de satisfacción de operarios del programa.

F. Mantenimiento de un sistema de monitoreo y evaluación La clave para garantizar el mantenimiento del sistema de monitoreo consiste en asegurar su utilidad para la mejora de la operación del programa, enriquecer los procesos de aprendizaje organizacional y, sobre todo, mejorar los niveles de logro del programa. Para ello necesita ser creíble, ser apropiado por los operadores y ser gestionado de manera que sea oportuno y relevante. El capítulo nueve presenta factores que promueven el uso del conocimiento desarrollado a partir de estudios como los de Monitoreo y Evaluación.

Etapas de un modelo de monitoreo basado en resultados

130

teor铆a del cambio y marco l贸gico

Monitoreo y evaluación del diseño y desempeño de programas sociales

CAPÍTULO 5

Teoría del Cambio y Marco Lógico Los procesos de Monitoreo y Evaluación de programas se han fortalecido con la Pulse para explorar el subíndice: perspectiva de evaluación orientado a di1. La Teoría del Cambio lucidar y verificar la teoría implícita en los 2. La matriz del Marco programas31 (theory-driven evaluation) y Lógico de manera muy concreta, con la perspec3. Ventajas y desventajas tiva de teoría del cambio, impulsada de de la a matriz del Marco manera peculiar por Carol Weiss, una de Lógico las evaluadoras con mayores aportaciones en el campo32. La verificación constante y pertinente de los supuestos conceptuales del programa se constituye, desde esta perspectiva, en el propósito 31 Las aportaciones más significativas se deben a Chen, Huey-Tsyh, Theory-Driven Evaluations, Sage Publications, Newbury Park, 1990 y Nagel, Stuart S., Policy Theory and Policy Evaluation: concepts. Knowledge, Causes, and Norms, Greenwood Press, New York, 1990. 32 La sugerencia básica de Carol Weiss a los evaluadores de programas: siempre consideren la teoría del cambio, implícita o explícita en todos ellos: Weiss, Carol H., “Nothing as Practical as Good Theory: Exploring Theory-Based Evaluation for Comprehensive Community Initiatives for Children and Families”, in New Approaches to Evaluating Initiatives: Concepts, Methods, and Contexts 1, eds. J. P. Conell et al, Washington, D.C., The Aspen Institute, 1995. Una versión operative, y con énfasis en conexiones causales, muy similares a los supuestos por el Marco Lógico, se encuentra en Anderson, Andrea A., Theory of Change as a Tool for Strategic Planning, Washington, D.C., The Aspen Institute Roundtable on Community Change, October, 2004.

133

Teoría del cambio y marco lógico

Armando Loera Varela

fundamental de los procesos de Monitoreo y Evaluación. 1. La teoría del Cambio Una dinámica que ayuda de manera significativa a clarificar la comunicación entre monitores y gestores de los programas consiste en hacer explícita la teoría del cambio del programa. En un ejercicio TKJ desarrollado para evaluar el Programa de Liderazgo Escolar de OREALC-UNESCO33, se obtuvo el siguiente resultado sintético como teoría del cambio desde la perspectiva de sus operadores: El equipo central del programa considera como insostenible la situación actual de baja calidad y equidad educativa, por lo que se requiere de políticas y programas orientados a influir en los factores que se conocen que influyen efectivamente en los aprendizajes a nivel de centro escolar. La instalación de competencias operativas de liderazgo entre los directores, a través de una amplia comunidad crítica, debe impactar a las comunidades educativas en la conformación de climas organizacionales mejor orientados al aprendizaje, mejor comunicación y confianza en el equipo docente, así como mayor compromiso y cumplimiento de metas. Además la estructuración de una red que estimula el acompañamiento en el proceso de mejora y la promoción desde UNESCO de una resignificación de las prácticas escolares. Con la transformación de burócratas a líderes, se espera alcanzar el objetivo del programa: mejores niveles de logro académico y mejor eficiencia terminal en los sistemas educativos de la región, particularmente en las zonas con mayor pobreza.

33 Loera Varela, A, et al, Evaluación de la Red de Liderazgo Escolar de la OREALC-UNESCO, UNESCO, Internal-Oversight Service, Marzo 2008.

Teoría del cambio y marco lógico

134

Monitoreo y evaluación del diseño y desempeño de programas sociales

TEORÍA DEL CAMBIO DEL PROGRAMA RED DE LIDERAZGO ESCOLAR

135

Teoría del cambio y marco lógico

Armando Loera Varela

La teoría del cambio como perspectiva para valorar iniciativas de comunidades puede articularse con suma facilidad con técnicas de Valoración Rápida que serán revisadas posteriormente. Como bien es conocido, una de las causas por las cuales muchos programas son difíciles de evaluar se debe a que los supuestos conceptuales de los programas carecen de articulación coherente y basada en evidencias. Los diseñadores de programas son poco claros acerca de la concatenación de eventos que tiene que suceder, especialmente en el nivel de las microetapas, que dan lugar a los resultados a largo plazo y de impacto. Para Weiss una teoría del cambio implica explicar por qué y cómo una intervención social debe ser exitosa. Con la técnica de la teoría del cambio se describen el conjunto de supuestos que eslabonan cada microevento de manera que se produzcan los resultados deseados. El proceso de monitoreo y evaluación permite apreciar hasta que punto esos microeventos son efectivamente capaces de conectarse de manera causal y producir, eventualmente, los grandes resultados esperados. La estrategia general de la teoría del cambio consiste en que primeramente se formulen las metas, y mapeando hacia atrás, se vayan identificando las circunstancias que se tienen que dar para que se logren esos propósitos. En cada etapa se consideran las condiciones causales que los pueden provocar. Se retrocede hasta que se llega al estado actual. Con ello se determina un mapa conceptual de la concatenación causal en qué consiste la Teoría del Cambio. Es importante considerar que además de establecer las relaciones causales es importante considerar el nivel de certidumbre de que la conexión efectivamente se presente, de acuerdo a evidencias empíricas sostenidas por pasadas experiencias, resultados de investigaciones o buenas prácticas ampliamente reconocidas. El proceso no debe quedar en un mero nivel teórico, sino referirse de manera concreta al contexto específico del programa, los atributos del grupo enfocado como beneficiario, el tipo y nivel de cambio esperado por la

Teoría del cambio y marco lógico

136

Monitoreo y evaluación del diseño y desempeño de programas sociales

intervención y el tiempo necesario para que el cambio se produzca. Una manera de desarrollar de manera participativa el diseño del mapa conceptual es semejante al ejercicio realizado en los mapas de la Técnica TKJ, sólo que en la Teoría del Cambio se parte de los grandes propósitos del programa, y en diversas etapas se van considerando las condiciones para que se logren. Las conexiones, por otra parte, son básicamente de tipo causal. Los nodos críticos dan lugar a identificación de indicadores, que sirven para estructurar el sistema de monitoreo del programa. Si bien el mapa puede ser producido de manera participativo siempre es útil que expertos en el tema y otros actores sociales den a conocer sus comentarios sobre su “fuerza conceptual”, es decir, sobre su capacidad para efectivamente describir la cadena causal de eventos, de manera lógica y empíricamente sostenible.

137

Teoría del cambio y marco lógico

Armando Loera Varela

Una vez que se define el mapa conceptual se pueden señalar las principales acciones a desarrollar por el programa para que se den las condiciones. Las acciones se pueden agrupar en componentes. Es importante señalar que la teoría puede ser tan sencilla o compleja como lo permita la sofisticación de los diseñadores. En todo caso debe ser útil para apoyar en la correcta implementación, monitoreo y evaluación.

Teoría del cambio y marco lógico

138

Monitoreo y evaluación del diseño y desempeño de programas sociales

Posteriormente se identifica el nivel de satisfacción del propósito general, con relación al cual se identifican indicadores de impacto del programa. Enseguida se consideran los aspectos críticos (nodos) en los cuales tiene sentido construir indicadores de monitoreo, con el fin de darle seguimiento puntual al desarrollo de las condiciones de la Teoría del Cambio. Es muy recomendable que los indicadores establezcan “hitos”, es decir, el nivel de satisfacción del indicador deseable o suficiente para considerar al programa exitoso.

Por su parte, el Marco Lógico forma parte de las herramientas conceptuales que se aplican tanto en el diseño como en la implementación de los programas sociales y se constituye como una alternativa para dilucidar la teoría del programa. En esta sección se le considerará por sí misma, aunque suele

139

Teoría del cambio y marco lógico

Armando Loera Varela

considerársele articulada con otras herramientas conceptuales que suelen ser complementarias y que juntas integran el conocido método ZOPP (Ziel Orientierte Projek Planung- Planeación de proyectos orientada a objetivos), tales como son el análisis de problemas, de involucrados, de alternativas y de objetivos. En una segunda parte, por ser una herramienta de por sí focalizada, además de describir la construcción de la matriz del Marco Lógico se incluirá el debate que mantienen los especialistas con relación a su real utilidad y practicidad, específicamente para temas de monitoreo. Al ser una de las herramientas más utilizada, de manera especial por organismos multilaterales e instituciones nacionales de desarrollo es importante considerar las críticas así como algunos de los modelos que se han producido con el ánimo de superarlas. Los principales supuestos compartidos en el repertorio de herramientas que se presentan en el módulo consisten en que un programa tenga el mayor impacto posible y tenga máximas posibilidades de lograr sus objetivos necesita clarificar el problema que atiende, desarrollar una modelación técnicamente eficiente entre los componentes y los objetivos, debe integrar los procesos de monitoreo y evaluación en el diseño mismo e incorporar tanto experiencias previas como buenas prácticas reconocidas en el ámbito. Las herramientas enfatizan, fundamentalmente, la consistencia, coherencia y la concatenación causal secuencial (cadenas de causas y efectos). Como veremos posteriormente, estos principios constituyen al tiempo su fortaleza y atractivo a la vez que debilidades y rechazo en cuanto a su pertinencia en ciertas condiciones.

Teoría del cambio y marco lógico

140

Monitoreo y evaluación del diseño y desempeño de programas sociales

2. La matriz del Marco Lógico34 El marco lógico es un instrumento creado por la Agencia para el Desarrollo de Estados Unidos (USAID) en 1969 y ampliamente promovida entre las agencias multilaterales de desarrollo desde entonces35. Es una herramienta que puede ser útil en cada una de las etapas del desarrollo de un programa, desde su diseño, la implementación y, de manera particular, su monitoreo y evaluación. El instrumento se ha generalizado en mucho debido a su simplicidad y capacidad de clarificación, aunque, como apuntaremos es importante no abusar de la herramienta ya que si bien nos permite fortalecer la coherencia interna del diseño del programa no es muy sensible a la complejidad de los contextos y la pertinencia del programa. En todo caso, como herramienta no substituye sino que tiende a complementar otros procedimientos usados en la gestión de los programas sociales. El Marco Lógico se compone de una matriz de 4 x 4, con un total de 16 casillas, las que manifiestan una tensión dinámica entre tres principios: el principio de la jerarquía de objetivos, el principio de verificación y la visión sistémica.

34 Es probable que debido a su extendido uso existen algunas variaciones importantes en las versiones manejadas por diferentes instituciones, no tanto en el contenido sino en la terminología de las categorías que se usan. La modalidad de marco lógico que se presenta en la sección deriva de la experiencia propia, de la perspectiva desarrollada por la Dra. Isabel Licha del INDES-BID y la interpretación libre de documentos como The Logframe Handbook: A logical frameowrk approach to project cycle management, Washington, D.C.: The World Bank, S/F; Evaluación: una herramienta de gestión para mejorar la gestión de los proyectos, Washington: Banco Interaamericano para el Desarrollo, 1997; Project Cycle Management: integrated approach and cycle management, Commission of the European Communities, Netherlands, February, 1993; Metodología del marco lógico, ILPES, Santiago, Chile, Boletín 15, octubre, 2004; Logical Model Development Guide: Using Logic Model to bring toghether Planning, Evaluation, and Action, Michigan, Kellog Foundation, 2004 y Ausguideline, The Logical Framework Approach, AUSAID, Australia, october 2005. Una perspectiva especialmente desarrollada para la evaluación de programas con base en Marco Lógico se encuentra en: Frechtling, Joy A., Logic Modeling Methods in Program Evaluation, John Wiley & Sons, San Francisco, 2007. 35 La versión de Banco Mundial, logframe, es usada desde 1997.

141

Teoría del cambio y marco lógico

Armando Loera Varela

a) El principio de la jerarquía de objetivos, que es incorporada en la concatenación de hipótesis, en las que si se ven cumplidas las del nivel inferior se tendría como consecuencia el logro de los objetivos del nivel superior. De esta manera se establece una conexión de causa efecto en las relaciones verticales entre las actividades (o insumos), los resultados (o productos), el propósito y el fin. Esta es la base de la Teoría del cambio impulsado por el programa. La noción de la jerarquía de objetivos considera que las actividades generarán varios resultados. Si los resultados se cumplen entonces es muy posible que se cumpla con el propósito y, en consecuencia se logrará alimentar o influir en el fin (que usualmente no se logra de manera cumplida con la satisfacción de los propósitos). Es muy importante señalar que si bien el Marco Lógico ayuda a que los actores sostengan acuerdos sobre lo que buscan los programas al mismo tiempo es perfectamente posible que lo que para un actor es finalidad para otro no sea más que propósito, usualmente las diferencias se basan en el nivel de productos de las políticas o programas sociales por las cuales cada actor debe responder. LA JERARQUÍA DE OBJETIVOS Un conjunto de hipótesis vinculadas

Teoría del cambio y marco lógico

luego

FIN

PROPÓSITO

luego

RESULTADOS

ACTIVIDADES

142

luego si

Monitoreo y evaluación del diseño y desempeño de programas sociales

Definiciones: Actividades: Son las tareas y acciones implementadas por los operadores agrupadas en los componentes del programa. Resultados: Son las consecuencias de las actividades. En los programas se les articulan como valor público agregado. Propósito: Consiste en el impacto directo de la realización de los resultados del programa. Fin: Es la definición de la manera en que el programa contribuye a la solución de un problema importante a nivel del sistema social. b) El principio de verificación que vincula cada nivel de objetivos a los medios para medir el logro de los objetivos (indicadores y medios de verificación), y a las condiciones que pueden influir en su ejecución y desempeño (supuestos). La noción implica que cada nivel de objetivos debe confirmar su nivel de logro, por lo que necesita hacer operativa esta posibilidad considerando los indicadores cuantitativos, cualitativos y marcadores que nos identificarán hasta qué punto el objetivo se ha cumplido. Con los medios de verificación se indica la forma como se colectan las evidencias necesarias para medir los indicadores. Los supuestos lista las condiciones que deben satisfacerse para que cada nivel alimente el objetivo del nivel superior. Usualmente identifican riesgos o factores que constituyen el contexto y que deben tenerse en especial consideración para el efectivo desarrollo del programa. Definiciones: Jerarquía de objetivos: Como ya se detalló en el principio de la jerarquía de los objetivos, la acciones desarrolladas en un proyecto se

143

Teoría del cambio y marco lógico

Armando Loera Varela

observan en orden jerárquico del mayor nivel concreto a la mayor ambición, así como en su sentido eminentemente teleológico (finalista). Indicadores: Se conforma por indicadores cuantitativos, cualitativos o marcadores que establecen los referentes a ser considerados para decidir si los recursos se han aplicado adecuadamente en la consecución de las actividades, si la implementación del programa se ha realizado de manera correcta, el nivel de impacto y el nivel de logro de los fines o metas del programa. Medios de Verificación: Identifica los instrumentos y procedimientos de investigación social que serán usados para obtener evidencias acerca de la situación de los indicadores en cada nivel de la jerarquía de los objetivos. Supuestos: Describe las condiciones que permiten que el nivel de la jerarquía de objetivos cumpla de manera que se tenga la posibilidad de desarrollar el siguiente nivel. Este apartado es especialmente importante para la gestión del programa cuando identifica los principales riesgos que es necesario evitar para el buen cumplimiento del programa. LÓGICA DE VERIFICACIÓN (horizontal) Condición para el siguiente nivel

OBJETIVOS

Teoría del cambio y marco lógico

MEDIO DE

INDICADORES

VERIFICACIÓN

144

SUPUESTOS

Monitoreo y evaluación del diseño y desempeño de programas sociales

c) La visión de sistema: La jerarquía de objetivos y el principio de verificación se articulan de manera sistémica en la matriz del marco lógico. El diseño del marco lógico se inicia en el nivel más concreto, el de la última línea horizontal, definiendo las actividades que se van a realizar, agrupadas por los componentes del programa; posteriormente se indican los recursos requeridos para realizar esas actividades (la descripción es general), posteriormente se identifica la manera como se pone en evidencia que las actividades se han realizado y los recursos se han ejercido. Posteriormente se listan las condiciones que necesariamente se tienen que cumplir para que se den los resultados. Normalmente se consideran aspectos fuera del control de la gestión del programa pero que es viable que sucedan por la naturaleza del contexto, las actividades realizadas o la manera de ejercer los recursos. En un segundo proceso, en la línea de los resultados se organizan las consecuencias de las actividades del programa. Enseguida se especifican los indicadores de desempeño, de manera clara y breve. Estos indicadores deberán cumplirse durante la implementación del programa, en sus diversas etapas. Por lo que constituyen los indicadores de monitoreo del programa. Enseguida se especifican las fuentes de información que se recomienda que se usen con el fin de coleccionar datos que pongan en evidencia el nivel de cumplimiento de los indicadores de monitoreo. Posteriormente se identifican las condiciones, situaciones o decisiones que se tienen que dar con el fin de que los componentes del programa logren sus propósitos. En tercer lugar, en la línea de propósitos se expresa (a manera de hipótesis) el nivel de impacto o beneficio que intenta obtenerse con el programa. Enseguida se identifican los indicadores de impacto del programa, por lo que se especifican las metas y se describe el estado del problema al terminar la operación del programa. Posteriormente se enuncian los supuestos y riesgos que los responsables de la gestión del programa tienen que considerar para apuntalarlo.

145

Teoría del cambio y marco lógico

Armando Loera Varela

En cuarto lugar, en la línea de fines, se formula (también como hipótesis) el nivel de logro de una política social, el desarrollo de una estrategia general o de disminución de un problema social relevante. Enseguida se consideran los indicadores que determinen el impacto general del programa (a nivel de políticas). Posteriormente se enuncian los procedimientos de evaluación de políticas públicas que permite sistematizar evidencia de la manera como el impacto del programa incide en el problema general o en la gama de políticas sociales. Por último se consideran los supuestos y riesgos que permiten que el programa sea pertinente en cuanto que es capaz de incidir en las políticas. Estos supuestos identifican condiciones críticas que de no darse pondrían en riesgo la concatenación lógica en la operación del programa, de ser posible se determina la probabilidad de riesgo y, ocasionalmente se establece un procedimiento para mitigar riesgos. En la descripción anterior se asume que el marco lógico se aplica a programas. En caso de que la unidad de análisis sean proyectos (subunidades de los programas), entonces el máximo nivel tiene que ver con evaluación de programas.

Teoría del cambio y marco lógico

146

Monitoreo y evaluación del diseño y desempeño de programas sociales

ELEMENTOS DEL MARCO LÓGICO JERARQUÍA DE OBJETIVOS FINALIDADES DE LA POLÍTICA QUE ENMARCA EL PROGRAMA 1

PROPÓSITOS DEL PROGRAMA 2

RESULTADOS DEL PROGRAMA 3

MEDIOS DE VERIFICACIÓN

SUPUESTOS

INDICADORES DE POLÍTICAS QUE ENMARCAN EL PROGRAMA

ESTRATEGIAS PARA LA EVALUACIÓN DE POLÍTICAS SOCIALES

CONDICIONES PARA ASEGURAR LA SOSTENIBILIDAD DE LA INTERVENCIÓN.

INDICADORES DE IMPACTO DEL PROGRAMA

ESTRATEGIA PARA LA EVALUACIÓN DE IMPACTO DE PROGRAMAS

CONDICIONES PARA QUE LOS PROPÓSITOS DEL PROGRAMA LOGREN IMPACTAR LA POLÍTICA.

INDICADORES

INDICADORES DE IMPLEMENTACIÓN DEL PROGRAMA 7

ESTRATEGIA DE MONITOREO 11

ACTIVIDADES DEL PROGRAMA AGRUPADAS POR COMPONENTES

RECURSOS DEL PROGRAMA

ESTRATEGIA DE AUDITORIA

CONDICIONES PARA QUE LOS RESULTADOS PERMITAN CONSEGUIR LOS PROPÓSITOS DEL PROGRAMA. 15 CONDICIONES PARA QUE LAS ACTIVIDADES LOGREN LOS RESULTADOS DESEADOS 16

1. Los fines o finalidades de la política pública que enmarca el programa permite alinear y articular a diversos programas y proyectos. Los fines se refieren a la estrategia general que un gobierno o una institución aplica para resolver los grandes problemas sociales. Usualmente las finalidades se expresan en do-

147

Teoría del cambio y marco lógico

Armando Loera Varela

cumentos como planes de gobierno, las misiones institucionales, entre otros, y usualmente se refieren al objetivo último que se pretende lograr a favor de los beneficiarios o ciudadanos con el programa (o conjunto de programas). Ejemplo36: Se mejora la calidad educativa en los estudiantes de las escuelas primarias del país. Lista de confirmación. Cuide que las finalidades de la política que enmarca el programa: a) Sea consistente con los propósitos del programa pero evite que se les reformule o sintetice. b) Justifique el programa. c) Identifique a los beneficiarios. d) Exprese resultados generales, no estrategias o procesos. e) Sea verificable. 2. Los propósitos del programa describe las metas y objetivos del programa, el tipo de cambio de comportamiento deseado o el estado de la situación social que se espera que el programa propicie. Ejemplo: Los alumnos de las primarias participantes obtendrán un mayor nivel de logro académico promedio por ciclo escolar que los estudiantes de las primarias que no participan en el programa, correspondientes a semejantes niveles socio-económicos y modalidad de servicio (o con relación a sí mismas considerando el inicio del programa). Lista de confirmación. Cuide que los propósitos del programa; 36 El ejemplo que se presenta para fines didácticas es inventado y, en consecuencia, no se refiere a ningún programa educativo concreto, ya sea de México o de cualquier otro lugar.

Teoría del cambio y marco lógico

148

Monitoreo y evaluación del diseño y desempeño de programas sociales

a) En general se prefieran, por cuestiones de consistencia, a un sólo propósito general. En caso de contar con varios propósitos se deben agrupar los resultados específicos de cada uno. b) Describa el cambio en el desempeño de los beneficiarios. c) Contribuye de manera significativa a la finalidad, aunque dependan de otras intervenciones. d) Cuide que sea realista, de acuerdo a experiencias previas o semejantes. e) Se le formula como un estado futuro terminado, evitando expresarlo como proceso o estrategia. f) Es preciso y verificable. g) Es consecuencia de los resultados y afecta causalmente a los fines. h) Evita ser una reformulación de los resultados. 3. Los resultados consisten en los bienes, productos o servicios de los cuales los operarios del programa se responsabilizan directamente, es decir el valor público agregado del programa. Ejemplo: 3.1. Las escuelas mejoran su gestión escolar al desarrollar procesos de autoevaluación participativa y pública. 3.2. Los directores de las escuelas han recibido capacitación para fortalecer su liderazgo participativo y atender preferentemente a alumnos con bajo nivel de aprendizaje. 3.3. Los colectivos escolares han recibido capacitación con base en las necesidades pedagógicas y en gestión identificada por ellos mismos.

149

Teoría del cambio y marco lógico

Armando Loera Varela

3.4. Los colectivos escolares que muestran mejora académica continua en exámenes estandarizados reciben un incremento en el fondo de mantenimiento de la escuela así como en incentivos para cada trabajador de la educación que compone el colectivo. Lista de confirmación. Cuide que los resultados del programa: a) Sean formulados como el estado ideal del programa al último día de su operación. b) Describe las acciones que se requieren para lograr el propósito, aunque difícilmente de manera completa (ya que en los supuestos se consideran aspectos que están fuera de la gestión del programa y que impactan los propósitos). c) Considera únicamente resultados que el programa produce o de los cuales se responsabiliza. d) Describe el valor público agregado del programa. 4. Las actividades del programa agrupadas por componente consiste en los insumos, acciones o recursos que se requieren para lograr los resultados (al tiempo que se consideran los supuestos). Ejemplo: Componente de autoevaluación 1.1 Diseño validado de varios modelos de autoevaluación participativa y pública adecuados para diversas modalidades de escuelas primarias. 1.2 Producción y difusión masiva de los modelos de autoevaluación participativa y pública. 1.3 Convenios con directores, supervisores y Consejos Técnicos Esco-

Teoría del cambio y marco lógico

150

Monitoreo y evaluación del diseño y desempeño de programas sociales

lares que participan en el programa para el uso de los modelos de autoevaluación participativa y pública desde inicios del ciclo escolar. Componente de liderazgo directivo 2.1 Preparación de capacitadores y diseñadores de los cursos de liderazgo participativo. 2.2 Diseño y validación del repertorio de cursos de liderazgo participativo para directores de escuela. 2.3 Diseño, desarrollo y producción de materiales necesarios para los cursos. 2.4 Convocatoria masiva para que la mayor parte de los directores de las escuelas participantes en el programa completen exitosamente los cursos requeridos. Componente de capacitación para colectivos escolares 3.1 Formación de facilitadores de capacitación para colectivos escolares en atención a alumnos con bajo aprendizaje. 3.2 Diseño de un sistema de información y diagnóstico de necesidades de capacitación expresadas por colectivos en atención a alumnos con bajo aprendizaje. 3.3 Programación y ejecución de procesos de capacitación para colectivos en atención a alumnos con bajo aprendizaje. 3.4 Convenios con Consejos Técnicos de Zona y Consejos Técnicos Escolares para el desarrollo de los procesos de capacitación de colectivos. 3.5 Formación de redes de colectivos por zona y entre escuelas.

151

Teoría del cambio y marco lógico

Armando Loera Varela

Componente de incentivos. 4.1 Formación de la Bolsa de incentivos para la mejora académica continua, con contribuciones de gobierno federal, SNTE, gobiernos estatales, sociedad civil y comunidad escolar. 4.2 Formalización de los convenios SEP-SNTE e cambios en la legislación requeridos para el desarrollo de la bolsa. 4.3 Desarrollo de una base de datos para dar seguimiento a los resultados de las escuelas participantes en el programa. 4.4 Diseño y operación de los mecanismos de entrega de los recursos a colectivos y trabajadores de la educación. 4.5 Diseño y operación de un mecanismo de comunicación social sobre el desarrollo del programa. Lista de confirmación. Cuide que las actividades del programa: a) Considera agregados generales de las actividades, no los detalles de la implementación, los que pueden desplegarse en una matriz (por ejemplo tipo Excel) de manera independiente. Sólo se refiere su existencia en la matriz de Marco Lógico. b) Trata de que los componentes de un programa sean en un número razonable (usualmente no pasan de la decena) para su gestión. c) Incluye la definición de estrategias de acción y de inversión que se requieren para obtener los resultados deseados. d) La eficiencia técnica de los componentes de las actividades debe asegurar una alta probabilidad de obtener los resultados deseados, ya sea por experiencias exitosas pasadas o con base en buenas prácticas sistematizadas.

Teoría del cambio y marco lógico

152

Monitoreo y evaluación del diseño y desempeño de programas sociales

5. Los indicadores de política que enmarcan el programa constituyen los indicadores con el nivel más agregado, debido a que se refiere al marco general de políticas públicas (ya sean gubernamentales o de programas de sociedad civil. A nivel institucional este nivel es usual que se exprese la misión). No siempre es necesario construir este tipo de indicadores ya que los sistemas de cuentas nacionales (en educación, salud, demográficos, vivienda, etc.) se constituyen con indicadores sobre el estado de los principales aspectos sociales que pueden ser tomados en consideración. Además de los indicadores estos sistemas de cuenta rinden información sobre el nivel del problema en general (ocasionalmente desagregados por niveles geopolíticos, edad, género, etc.). Esta información es por demás útil para el ejercicio requerido en el Marco Lógico. A este nivel usualmente se usan indicadores cuantitativos debido a su carácter general, por lo que no es frecuente encontrar indicadores cualitativos y, menos aún, marcadores. Debe recordarse que los indicadores cuantitativos especifican el tipo de persona que resultara beneficiario de la intervención, identifica el nivel de mejora en términos estadísticos, identifica el tipo de cambio y señala el tiempo que requerirá obtenerlo. Ejemplos: a) Los logros académicos a nivel nacional resultantes de la prueba de ENLACE de los alumnos de primaria mejorarán de manera en un 5% anual entre 2008 y 2012 (en Enlace 2006 el promedio general entre matemáticas y español resultó de 482.31). b) Los logros académicos a nivel nacional resultantes de la prueba ENLACE de los alumnos de primaria mejorarán en matemáticas y español en un 7% promedio anual entre 2008 y 2012 en el porcentaje de logro insuficiente (Los resultados en línea de base 2006 fueron de

153

Teoría del cambio y marco lógico

Armando Loera Varela

32.37% en español y 36.53% en matemáticas). Lista de confirmación. Cuide que los indicadores de política: 1. Sean realistas, de acuerdo a los resultados de investigaciones y evaluaciones. 2. Sean resultantes de la mejora mostrada por los indicadores de propósitos, más los supuestos del nivel (Recuerde que además del impacto del programa se considera que pueden influir otros programas y el funcionamiento normal del sistema. 3. Considere las estructuras y procedimientos del sistema de cuentas nacionales del área. 6. Los indicadores de impacto del programa muestran el nivel de impacto esperado y del cual se hacen responsables directamente los diseñadores e implementadores del programa como los resultados o metas que se esperan. Si se cuenta con información que pueda constituirse como línea de base es deseable que se exprese de manera clara. Típicamente se expresa una meta global, que se refiere al propósito del programa, y metas por cada componente del programa. Ejemplos. Metas del programa: a) Las escuelas que participen en el programa mostrarán un 15% mínimo de mejora en logro académico promedio respecto a una muestra de control comparable, conformada por escuelas que no participan en el programa (la línea de base no mostrará diferencias significativas en el promedio de logro según es medido por Enlace), después de cinco años de participación en el programa. Como medida alternati-

Teoría del cambio y marco lógico

154

Monitoreo y evaluación del diseño y desempeño de programas sociales

va (en caso de no ser posible la constitución de un grupo de control) se considerará como meta una diferencia de 15% mínimo de mejora de logro académico promedio en las escuelas que participen en el programa respecto al desempeño logrado en línea de base en las escuelas, después de cinco años de participación en el programa. b) Los logros académicos a nivel nacional resultantes de la prueba ENLACE de los alumnos de primaria mejorarán en matemáticas y español en un 25% promedio para 2012 en el porcentaje de logro insuficiente, en las escuelas participantes, ya sea con relación a su propio nivel al inicio del programa (línea de base por escuela) o con relación a un grupo de control comparable. c) Para 2012 las comunidades escolares percibirán un proceso de mejora académica de la escuela y mostrarán mayor satisfacción con la escuela que el mostrado en un inicio. Metas de autoevaluación: a) Al término del programa en 2012 se habrán establecido convenios para desarrollar procesos de autoevaluación participativos y públicos en al menos 40% de las escuelas primarias en sus diversas modalidades (de aproximadamente 90, 896 escuelas primarias públicas que existen a nivel nacional), con una tasa de permanencia de 85% por cinco años en el programa. b) Al término del programa la cultura organizacional de la escuela se orientará más al perfil de organizaciones que aprenden que el mostrado al inicio del programa. Metas de capacitación de directores. a) Al término del programa en 2012 al menos 80% de los directores de

155

Teoría del cambio y marco lógico

Armando Loera Varela

las escuelas con las que se ha establecido convenios de participación habrá terminado exitosamente sus cursos de capacitación en liderazgo participativo y enfoque al rezago educativo. b) Para 2012 El nivel de satisfacción de los directores con su trabajo se incrementará significativamente en las escuelas participantes. c) El índice de capital social de la comunidad escolar se incrementará de manera significativa para el año 2012, entre las escuelas participantes. Metas de capacitación para colectivos a) Para 2012 al menos el 50% de las escuelas participantes en el programa habrán participado en procesos de capacitación para colectivos docentes. b) Para 2012 al menos 30% de las escuelas que participen en el programa habrá sido parte de una red de escuelas por al menos dos años. Metas de incentivos a) El 100% de los colectivos escolares que han mostrado una mejora mínima de 25% en cinco años de participar en el programa habrán recibido estímulos significativos para la escuela y para los trabajadores de la educación que lo componen en lo individual, bajo recomendación del Consejo de Participación Social de cada escuela. b) La tasa de cambios de escuela solicitados por maestros y directores se reducirá de manera significativa. Lista de confirmación. Cuide que los indicadores de propósitos: a) Exprese el estado de la intervención al final del programa, ya sea de manera cuantitativa, cualitativa o con marcadores.

Teoría del cambio y marco lógico

156

Monitoreo y evaluación del diseño y desempeño de programas sociales

b) Conecte de manera eficiente entre los indicadores de la implementación con los indicadores de la política. c) Sea realista, con base en buenas prácticas y condiciones de operación de los programas. 7. Los indicadores de implementación del programa se refiere a los referentes que tendrán como operadores al tiempo que se ejecutan las actividades de los diversos componentes. Los indicadores para el monitoreo pueden ser muchos pero en la matriz del Marco Lógico únicamente se expresan los más importantes para el seguimiento efectivo del programa. En ocasiones es de ayuda listarlos por componentes del programa por cuestiones de claridad y organización. Ejemplos: Componente de autoevaluación: 1.1 Para septiembre de 2007 se contará con un repertorio de 7 modelos de autoevaluación participativa y pública que hayan sido validados en diversas modalidades de escuelas primarias. 1.2 En noviembre de 2007 cada secretaría estatal de educación contará con al menos 100% de materiales relativos a la autoevaluación participativa y pública con relación a las escuelas preinscritas en el programa. 1.3 En noviembre de 2007 al menos 50% de las escuelas primarias de cada entidad se habrá preinscrito en el programa. Para febrero de 2008 se habrán establecido los convenios requeridos con el 100% de las escuelas preinscritas en noviembre de 2007.

157

Teoría del cambio y marco lógico

Armando Loera Varela

1.4 Para marzo de 2008 el sistema de monitoreo del programa desarrollará un perfil de la escuela como organización que aprende. Componente de liderazgo directivo 2.1. Para octubre de 2007 se habrán preparado el 50% de los capacitadores y diseñadores de los cursos en liderazgo participativo. El resto se capacitará a un ritmo del 10% mensual hasta considerarlos terminados en mayo de 2008. 2.2 En septiembre de 2007 se habrán diseñado y validado los cursos de liderazgo participativo para los directores de las escuelas. 2.3 A partir de marzo de 2008 se desarrollarán procesos de capacitación de 2.4 El sistema de monitoreo del programa desarrollará un modelo conceptual de capital social organizacional adecuado para las escuelas del programa para mayo de 2008. Componente de capacitación para colectivos 3.1 En octubre de 2008 la Universidad Pedagógica Nacional habrá preparado el 50% de los capacitadores y diseñadores de los cursos para colectivos escolares. El resto se capacitará a un ritmo de 10% mensual hasta considerarlos terminados en mayo de 2009. 3.2 En mayo de 2008 se contará con información desagregada por escuela sobre necesidades de información y un auto-diagnóstico de necesidades de capacitación para colectivos en atención a alumnos con bajo aprendizaje. 3.3 A partir de agosto de 2008 se iniciará la conformación de convenios con Consejos Técnicos de Zona y Consejos Técnicos Escolares para la capacitación de colectivos.

Teoría del cambio y marco lógico

158

Monitoreo y evaluación del diseño y desempeño de programas sociales

3.4 En febrero de 2009 se dará inicio a las redes de colectivos por zona y entre escuelas, con apoyo de la Universidad Pedagógica Nacional. Componente de incentivos 4.1 En junio de 2008 se habrá negociado con los diversos grupos parlamentarios del Congreso Federal y los congresos estatales la formación de una Bolsa de incentivos para la mejora académica continua. En abril de 2008 se contará con las aprobaciones presupuestales de la SEP. 4.2 En abril de 2008 se formalizará un convenio explícito entre la SEP y el SNTE para trabajar de manera conjunta en los cambios legales requeridos para la conformación de la Bolsa de incentivos. 4.3 En agosto de 2007 se contará con una base de información integral de todas las escuelas primarias del país y el personal asignado. 4.4 En diciembre de 2007 se contará con un mecanismo eficiente de entrega de recursos a colectivos y trabajadores de la educación. 4.5 A partir de agosto de 2007 se contará con un sistema de comunicación social especial para dar a conocer los avances y resultados del programa. Lista de confirmación. Cuide que los indicadores de monitoreo: a) Eviten formulaciones relacionadas con el propósito del programa ya que éste debe ser resultado de la interacción de todas las acciones que componen la intervención. b) Especifique indicadores para cada actividad estratégica, detallando el tiempo y la cantidad esperada, en caso de ser cuantitativos. c) Los indicadores de monitoreo pueden perfectamente ser cualitativos y/o relativos a marcadores.

159

Teoría del cambio y marco lógico

Armando Loera Varela

8. Los recursos del programa se expresan en el presupuesto del mismo. Con el fin de expresar el presupuesto en la matriz de Marco Lógico existen dos posibilidades: a) expresarlo con base en las líneas de gasto general, si es posible desagregado por lapsos que tenga sentido para la gestión del programa; b) simplemente señalar en la matriz que se agrega a la misma el presupuesto detallado. De cualquier manera en la auditoria se considera la información del presupuesto al detalle. Ejemplo: Presupuesto anual 2007 (miles): $37,700. Sueldos y honorarios ($30,000). Gastos de oficina, comunicación y rentas de oficina ($2,500). Viáticos y transportación ($5,200). Presupuesto anual 2008 (miles): $44,300 (pesos del 2007) Sueldos y honorarios ($35,000). Gastos de oficina, comunicación y rentas de oficina ($2,100). Viáticos y transportación ($7,200). Presupuesto anual 2009 (miles): $46,700 (pesos del 2007). Sueldos y honorarios ($37,000). Gastos de oficina, comunicación y rentas de oficina ($1,900). Viáticos y transportación ($7,800).

Teoría del cambio y marco lógico

160

Monitoreo y evaluación del diseño y desempeño de programas sociales

Presupuesto anual 2010 (miles): $45,100 (pesos del 2007). Sueldos y honorarios ($36,500). Gastos de oficina, comunicación y rentas de oficina ($1,500). Viáticos y transportación ($7,100). Presupuesto anual 2011 (miles): $40,200(pesos del 2007). Sueldos y honorarios ($32,000). Gastos de oficina, comunicación y rentas de oficina ($1,300). Viáticos y transportación ($6,900). Presupuesto anual 2012 (miles): $37,200 (pesos del 2007). Sueldos y honorarios ($30,000). Gastos de oficina, comunicación y rentas de oficina ($1,100). Viáticos y transportación ($6,100). Lista de confirmación. Cuide que el presupuesto: a) Especifique la cantidad de beneficiarios probables y la cantidad de acciones que se realizará con ellos. b) Especifique la temporalidad de la inversión (mensual, anual). c) Si el programa se ejecuta a lo largo de varios años estime las inversiones a futuro. d) Es obvio que el presupuesto inicial es sujeto a cambios y ajustes anuales.

161

Teoría del cambio y marco lógico

Armando Loera Varela

9. Las estrategias de evaluación de la política social (en este caso educativa) deben recolectar evidencias que permitan responder si la estrategia general (programa) es efectiva en lograr los fines de la política general. Usualmente se identifican fuentes oficiales o procesos de investigación y evaluación especialmente diseñados y ejecutados para determinar el nivel de éxito de la política. Ejemplo: Evaluación de los niveles y promedio de logros de las escuelas del programa en el examen Enlace a través de un estudio realizado (o contratado) por la Dirección General de Evaluación de Políticas de la SEP en el 2012. Lista de confirmación. Cuide que las estrategias de evaluación de la política social: a) Considere información general del sistema pero aplique metodologías que determine hasta que punto el programa permite lograr el fin social. b) Identifique la metodología o procedimiento de investigación o evaluación general, no es necesario ser específico sobre los detalles. c) La evaluación de impacto en políticas debe realizarse al término del programa. 10. La estrategia de evaluación de impacto del programa debe identificar mecanismos de investigación y evaluación capaces de estimar el nivel de logro de las metas a las que se comprometió el programa si el impacto entre los beneficiarios son los esperados y si el programa es sostenible. Existe una amplia diversidad de metodologías y procedimientos que pueden considerarse, tanto de estudios cuantitativos, cualitativos y mixtos.

Teoría del cambio y marco lógico

162

Monitoreo y evaluación del diseño y desempeño de programas sociales

Ejemplo: Diseño y ejecución de un estudio longitudinal de evaluación de impacto del programa, que implemente metodologías mixtas que permita estimar el nivel de mejora académica con una muestra de control y/o con las escuelas mismas que participan en el estudio. El estudio desarrollará una línea de base con estadísticas comparativas de las escuelas y estudios de caso de escuelas típicas. Anualmente estimará los avances comparativos de las escuelas del programa (con base en muestreos representativos) en los desempeños escolares que resulten de la aplicación de los exámenes de Enlace y las encuestas de factores asociados que las acompañan; encuestas y entrevistas aplicadas a muestras representativas de miembros de las comunidades escolares y los Consejos de Participación Social; entrevistas de grupo de enfoque, entrevistas a profundidad y portafolios de liderazgo con directores de escuela; dinámicas KJ, técnicas de grupo reflexivo y encuestas sobre capital social organizacional aplicados a maestros y demás trabajadores de la escuela; así como datos estadísticos de la escuela a nivel del sistema (forma 911); aplicación un formato con variables relativas al funcionamiento de la escuela aplicado de manera semanal por un grupo de madres de familia y registros basados en documentos y videograbaciones que identifiquen cambios en el trato académico de los alumnos con mayor rezago en la escuela. Al terminar el programa se desarrollarán estudios de caso que permitan comparaciones con los diseñados en línea de base. Lista de confirmación. Cuide que las estrategias de evaluación del programa: a) Aplique metodologías pertinentes y rigurosas, que permita apreciar el impacto tanto de los propósitos, de la percepción de los actores y la manera como se ha gestionado el programa. b) Los componentes pueden requerir ser evaluados con diferentes mé-

163

Teoría del cambio y marco lógico

Armando Loera Varela

todos y recurriendo a diferentes informantes, por lo que se deben listas en general con el fin de orientar a los evaluadores. c) Si bien los instrumentos y procedimientos concretos queda en manos de los evaluadores en la matriz se les puede indicar en general. d) Pueden referirse datos que se deben construir como línea de base y sus referentes finales, con el fin de hacer más rigurosa la noción de impacto del programa. 11. Las estrategias de monitoreo permitirán informar de manera oportuna para la toma de decisiones si el programa está funcionando conforme a lo planeado, si puede ser mejorado o si existen modalidades alternativas de actividades que se deben realizar. La información sistematizada en el proceso de monitoreo es especialmente relevante para la gestión del programa y se refiere a los componentes de los programas en acción. Ocasionalmente (en programas masivos) pueden organizarse procesos de monitoreo por componente, de cualquier forma la información deberá ser finalmente articulada. Ejemplo: Se diseñará y pondrá operación de un sistema de monitoreo específico para la implementación del programa. En el sistema de monitoreo participarán los dos principales responsables del programa, un auditor interno, un evaluador externo responsable del mecanismo de monitoreo (diseño de instrumentos, aplicación de los mismos e interpretación de los resultados a nivel de escuelas y de la gestión del programa), dos representantes de la Coordinación Nacional del Programa y dos representantes de las Coordinaciones estatales (rotativos en el sentido que serán cambiados cada reunión), un representante de los directores de las escuelas (rotativos). El equipo monitor se reunirá al menos una vez cada tres meses para revisar los resultados de las auditorias y de la

Teoría del cambio y marco lógico

164

Monitoreo y evaluación del diseño y desempeño de programas sociales

evaluación externa. En cada reunión se revisarán los avances en al menos uno de los componentes del programa. Como se considere apropiado se revisarán estadísticas derivadas del sistema de cuentas nacionales y los resultados de instrumentos de monitoreo como encuestas y entrevistas, entrevistas de grupo de enfoque y sistemas de registro relativos al liderazgo de los directivos (capacitación, cambios efectivos en el liderazgo a nivel de escuela y estimaciones de la cultura y clima escolar), experiencias de aprendizaje de los alumnos con rezago, cambios en la participación de los padres de familia en la escuela y niveles de satisfacción de los maestros con el sistema de incentivos. Los instrumentos y procedimientos de trabajo de campo deberán ser validados de manera que se pueda dar seguimiento riguroso a las acciones del programa en sus diversas modalidades. El mecanismo de monitoreo permitirá cambiar o rediseñar procedimientos como consecuencia de los errores o problemas identificados. De igual forma cada año se incorporarán las lecciones aprendidas en el plan operativo y en las reuniones de planificación estratégica. Lista de confirmación. Cuide que las estrategias de monitoreo: 1. Asegure procedimientos de seguimiento a las actividades críticas de los componentes del programa. 2. Considere instrumentos y procedimientos que produzcan evidencias de manera oportuna sobre la implementación del programa. 3. Conecte el procedimiento de recolección de evidencias con el proceso de gestión y control del programa. 4. Articule el mecanismo de monitoreo con los procesos de auditoría y evaluación de impacto. 5. Desarrolle procedimientos participativos de los diversos actores involucrados en el programa.

165

Teoría del cambio y marco lógico

Armando Loera Varela

12. La estrategia de auditoría identifica los medios de obtención de evidencias sobre la aplicación correcta y oportuna de los recursos (tanto los presupuestados como posibles fondos adicionales) a las actividades del programa. La auditoria consiste en un proceso permanente y debe ser contemporáneo al sistema de monitoreo, cada uno manteniendo sus propios procedimientos y mecanismos de información. Deben preferirse estrategias y procedimientos de auditoría formales, en caso de estar instituidos. Ejemplo: Los procedimientos de auditoría interna correspondientes a la Secretaría de Educación Pública y los ejercidos por la Auditoria Superior de la Federación del Congreso se aplicarán a los procedimientos reglamentarios que se consideren apropiados. Lista de confirmación. Cuide que la auditoría: a) Verifique la correspondencia entre el uso de los recursos y su apropiado y oportuna aplicación a las actividades del programa. b) Relacione el procedimiento de auditoría con el de monitoreo. 13. Las condiciones para asegurar la sostenibilidad de la intervención son los supuestos al nivel de políticas. Estas condiciones pueden considerar la “normalización” del programa (en las que la intervención deja de ser extraordinaria y se convierte en acción rutinaria de la gestión pública) o su mantenimiento por tiempo indefinido, como expresión de políticas públicas de estado. Ejemplo: La sociedad en general acepta la naturaleza meritocrática del programa y los medios de comunicación comparan al programa con otros presentando sus ventajas y se le presenta como un tipo de programa que debe marcar ten-

Teoría del cambio y marco lógico

166

Monitoreo y evaluación del diseño y desempeño de programas sociales

dencia en el sistema educativo. Los organismos internacionales comunican el programa como un modelo exitoso y se pone de ejemplo a otros países. Lista de confirmación. Cuide que las condiciones para asegurar la sostenibilidad: a) Identifique la situación crítica o factor que permita mantener, de manera indefinida, el programa. b) Limite el número de aspectos a aquellos esenciales o realmente críticos. 14. Las condiciones para que los propósitos del programa logren impactar las políticas se refieren a las situaciones críticas que se tienen que dar para que los logros del programa puedan impactar al nivel de los fines de las políticas. Es decir, que los beneficios del programa trascienda únicamente a sus beneficiarios directos y sea el sistema educativo y social en general el que pueda beneficiarse. Ejemplo: Se percibe por la sociedad en general que el funcionamiento del programa está mejorando a partir de programas exitosos. En particular se exhibe particular entusiasmo por los directores y los padres de familia, lo que es comunicado eficientemente por los medios masivos. Los grupos políticos, el SNTE y la SEP se refieren a la necesidad de proteger de manera adecuada las prácticas exitosas. Existe estabilidad de la estructura económica y política del país. Los procesos de descentralización aceptan la estructura de funcionamiento de programas nacionales.

167

Teoría del cambio y marco lógico

Armando Loera Varela

Lista de confirmación. Cuide que las condiciones para que los propósitos del programa impacten las políticas: a) Conecten los propósitos del programa con los fines de política general. b) Identifique situaciones políticas y económicas Ejemplo: 15. Las condiciones para que los resultados permitan conseguir los propósitos del programa identifican los posibles problemas críticos que tienen que atender los gestores del programa y que están fuera de su control directo. Los problemas son críticos en cuanto a que si no se les minimiza es poco probable que el programa tenga los efectos deseados. Ejemplo: El sistema de pruebas Enlace continua siendo censal (para todas las escuelas primarias públicas) y se le valida de manera que sea metodológicamente correcto realizar comparaciones longitudinales. Los estándares para directores y escuelas que establecerán equipos de la SEP incluirán la autoevaluación institucional como uno de sus acciones estratégicas, así como la formación de los directores en liderazgo participativo como aspecto central del perfil. El SNTE es receptivo a mejorar la estabilidad de los colectivos docentes mediante acuerdos que inhiben la movilidad laboral cuando la escuela sea académicamente exitosa. Los partidos más importantes del congreso apoyan la conformación de una bolsa de financiamiento para los colectivos escolares que tengan éxito en la disminución del fracaso escolar y del porcentaje de alumnos con rezago.

Teoría del cambio y marco lógico

168

Monitoreo y evaluación del diseño y desempeño de programas sociales

Lista de confirmación. Cuide que las condiciones para asegurar las condiciones para que los resultados permitan conseguir los propósitos del programa: a) Se establecen los supuestos que deben asegurarse para que la operación del programa tenga éxito. b) Si bien los supuestos expresan condiciones que están fuera del control directo del programa ello no implica que el programa esté impedido para realizar acciones preventivas o que disminuyan el riesgo descrito en la condición. c) Las condiciones se expresan de manera positiva. 16. Las condiciones para que las actividades logren los resultados deseados especifican los riesgos básicos que el uso de los recursos puede implicar para la operación del programa. Ejemplo: Los fondos requeridos por el programa son entregados de manera oportuna. Se mantiene estabilidad en el sistema educativo y político de manera que es viable que los intereses de los actores para sostener acuerdos y convenios institucionales. Lista de confirmación. Cuide que las condiciones para que las actividades logren los resultados deseados: a) Sólo se identifican aspectos que estén fuera de la gestión del programa pero que impliquen riesgos serios en cuanto a los recursos. b) Establece una conexión entre el presupuesto y la realización de las actividades programadas.

169

Teoría del cambio y marco lógico

Armando Loera Varela

Ejemplo MARCO LÓGICO PROGRAMA “MEJORES ESCUELAS PARA TODOS” JERARQUÍA DE OBJETIVOS FINALIDADES DE LA POLÍTICA QUE ENMARCA EL PROGRAMA Se mejora la calidad educativa en los estudiantes de las escuelas primarias del país.

Teoría del cambio y marco lógico

MEDIOS DE VERIFICACIÓN

INDICADORES

INDICADORES DE POLÍTICAS QUE ENMARCAN EL PROGRAMA a) Los logros académicos a nivel nacional resultantes de la prueba de Enlace de los alumnos de primaria mejorarán de manera en un 5% anual entre 2008 y 2012 (en Enlace 2006 el promedio general entre matemáticas y español resultó de 482.31). b) Los logros académicos a nivel nacional resultantes de la prueba Enlace de los alumnos de primaria mejorarán en matemáticas y español en un 7% promedio anual entre 2008 y 2012 en el porcentaje de logro insuficiente (Los resultados en línea de base 2006 fueron de 32.37% en español y 36.53% en matemáticas).

170

ESTRATEGIAS PARA LA EVALUACIÓN DE POLÍTICAS SOCIALES Evaluación de los niveles y promedio de logros de las escuelas del programa en el examen Enlace a través de un estudio realizado (o contratado) por la Dirección General de Evaluación de Políticas de la SEP en el 2012.

SUPUESTOS

CONDICIONES PARA ASEGURAR LA SOSTENIBILIDAD DE LA INTERVENCIÓN. La sociedad en general acepta la naturaleza meritocrática del programa y los medios de comunicación comparan al programa con otros presentando sus ventajas y se le presenta como un tipo de programa que debe marcar tendencia en el sistema educativo. Los organismos internacionales comunican el programa como un modelo exitoso y se pone de ejemplo a otros países.

MARCO LÓGICO PROGRAMA “MEJORES ESCUELAS PARA TODOS” JERARQUÍA DE OBJETIVOS PROPÓSITOS DEL PROGRAMA Los alumnos de las primarias participantes obtendrán un mayor nivel de logro académico promedio por ciclo escolar que los estudiantes de las primarias que no participan en el programa, correspondientes a semejantes niveles socio-económicos y modalidad de servicio ( o con relación a sí mismas considerando el inicio del programa).

MEDIOS DE VERIFICACIÓN

INDICADORES

Monitoreo y evaluación del diseño y desempeño de programas sociales

INDICADORES DE IMPACTO DEL PROGRAMA METAS DEL PROGRAMA: a) Las escuelas que participen en el programa mostrarán un 15% mínimo de mejora en logro académico promedio respecto a una muestra de control comparable, conformada por escuelas que no participan en el programa (la línea de base no mostrará diferencias significativas en el promedio de logro según es medido por Enlace), después de cinco años de participación en el programa. Como medida alternativa (en caso de no ser posible la constitución de un grupo de control) se considerará como meta una diferencia de 15% mínimo de mejora de logro académico promedio en las escuelas que participen en el programa respecto al desempeño logrado en línea de base en las escuelas, después de cinco años de participación en el programa. b) Los logros académicos a nivel nacional resultantes de la prueba Enlace de los alumnos de primaria mejorarán en matemáticas y español en un 25% promedio para 2012 en el porcentaje de logro insuficiente, en las escuelas participantes, ya sea con relación a su propio nivel al inicio del programa (línea de base por escuela) o con relación a un grupo de control comparable. c) Para 2012 las comunidades escolares percibirán un proceso de mejora académica de la escuela y mostrarán mayor satisfacción con la escuela que el mostrado en un inicio. METAS DE AUTOEVALUACIÓN. a) Al término del programa en 2012 se habrán establecido convenios para desarrollar procesos de autoevaluación participativos y públicos en al menos 40% de las escuelas primarias en sus diversas modalidades (de aproximadamente 90, 896 escuelas primarias públicas que existen a nivel nacional), con una tasa de permanencia de 85% por cinco años en el programa. b) Al término del programa la cultura organizacional de la escuela se orientará más al perfil de organizaciones que aprenden que el mostrado al inicio del programa. METAS DE CAPACITACIÓN DE DIRECTORES. a) Al término del programa en 2012 al menos 80% de los directores de las escuelas con las que se ha establecido convenios de participación habrá terminado exitosamente sus cursos de capacitación en liderazgo participativo y enfoque al rezago educativo. b) Para 2012 El nivel de satisfacción de los directores con su trabajo se incrementará significativamente en las escuelas participantes. c) El índice de capital social de la comunidad escolar se incrementará de manera significativa para el año 2012, entre las escuelas participantes. METAS DE CAPACITACIÓN PARA COLECTIVOS. a) Para 2012 al menos el 50% de las escuelas participantes en el programa habrán participado en procesos de capacitación para colectivos docentes. b) Para 2012 al menos 30% de las escuelas que participen en el programa habrá sido parte de una red de escuelas por al menos dos años. METAS DE INCENTIVOS. a) El 100% de los colectivos escolares que han mostrado una mejora mínima de 25% en cinco años de participar en el programa habrán recibido estímulos significativos para la escuela y para los trabajadores de la educación que lo componen en lo individual, bajo recomendación del Consejo de Participación Social de cada escuela. b) La tasa de cambios de escuela solicitados por maestros y directores se reducirá de manera significativa.

171

ESTRATEGIA PARA LA EVALUACIÓN DE IMPACTO DE PROGRAMAS Diseño y ejecución de un estudio longitudinal de evaluación de impacto del programa, que implemente metodologías mixtas que permita estimar el nivel de mejora académica con una muestra de control y/o con las escuelas mismas que participan en el estudio. El estudio desarrollará una línea de base con estadísticas comparativas de las escuelas y estudios de caso de escuelas típicas. Anualmente estimará los avances comparativos de las escuelas del programa (con base en muestreos representativos) en los desempeños escolares que resulten de la aplicación de los exámenes de Enlace y las encuestas de factores asociados que las acompañan; encuestas y entrevistas aplicadas a muestras representativas de miembros de las comunidades escolares y los Consejos de Participación Social; entrevistas de grupo de enfoque, entrevistas a profundidad y portafolios de liderazgo con directores de escuela; dinámicas KJ, técnicas de grupo reflexivo y encuestas sobre capital social organizacional aplicados a maestros y demás trabajadores de la escuela; así como datos estadísticos de la escuela a nivel del sistema (forma 911); aplicación un formato con variables relativas al funcionamiento de la escuela aplicado de manera semanal por un grupo de madres de familia y registros basados en documentos y videograbaciones que identifiquen cambios en el trato académico de los alumnos con mayor rezago en la escuela. Al terminar el programa se desarrollarán estudios de caso que permitan comparaciones con los diseñados en línea de base.

SUPUESTOS CONDICIONES PARA QUE LOS PROPÓSITOS DEL PROGRAMA LOGREN IMPACTAR LA POLÍTICA. Se percibe por la sociedad en general que el funcionamiento del programa está mejorando a partir de programas exitosos. En particular se exhibe particular entusiasmo por los directores y los padres de familia, lo que es comunicado eficientemente por los medios masivos. Los grupos políticos, el SNTE y la SEP se refieren a la necesidad de proteger de manera adecuada las prácticas exitosas. Existe estabilidad de la estructura económica y política del país. Los procesos de descentralización aceptan la estructura de funcionamiento de programas nacionales.

Teoría del cambio y marco lógico

MARCO LÓGICO PROGRAMA “MEJORES ESCUELAS PARA TODOS” JERARQUÍA DE OBJETIINDICADORES VOS RESULTADOS DEL PROGRAMA 1. Las escuelas mejoran su gestión escolar al desarrollar procesos de autoevaluación participativa y pública. 2. Los directores de las escuelas han recibido capacitación para fortalecer su liderazgo participativo y atender preferentemente a alumnos con bajo nivel de aprendizaje. 3. Los colectivos escolares han recibido capacitación con base en las necesidades pedagógicas y de gestión identificada por ellos mismos. 4. Los colectivos escolares que muestran mejora académica continua en exámenes estandarizados reciben un incremento en el fondo de mantenimiento de la escuela así como en incentivos para cada trabajador de la educación que compone el colectivo.

INDICADORES DE Armando Loera Varela IMPLEMENTACIÓN DEL PROGRAMA COMPONENTE DE AUTOEVALUACIÓN. 1.1 Para septiembre de 2007 se contará con un repertorio de 7 modelos de auto-evaluación participativa y pública que hayan sido validados en diversas modalidades de escuelas primarias. 1.2 En noviembre de 2007 cada secretaría estatal de educación contará con al menos 100% de materiales relativos a la autoevaluación participativa y pública con relación a las escuelas preinscritas en el programa. 1.3 En noviembre de 2007 al menos 50% de las escuelas primarias de cada entidad se habrá preinscrito en el programa. Para febrero de 2008 se habrán establecido los convenios requeridos con el 100% de las escuelas preinscritas en noviembre de 2007. 1.4 Para marzo de 2008 el sistema de monitoreo del programa desarrollará un perfil de la escuela como organización que aprende. COMPONENTE DE LIDERAZGO DIRECTIVO. 2.1. Para octubre de 2007 se habrán preparado el 50% de los capacitadores y diseñadores de los cursos en liderazgo participativo. El resto se capacitará a un ritmo del 10% mensual hasta considerarlos terminados en mayo de 2008. 2.2 En septiembre de 2007 se habrán diseñado y validado los cursos de liderazgo participativo para los directores de las escuelas. 2.3 A partir de marzo de 2008 se desarrollarán procesos de capacitación de 2.4 El sistema de monitoreo del programa desarrollará un modelo conceptual de capital social organizacional adecuado para las escuelas del programa para mayo de 2008. COMPONENTE DE CAPACITACIÓN PARA COLECTIVOS. 3.1 En octubre de 2008 la Universidad Pedagógica Nacional habrá preparado el 50% de los capacitadores y diseñadores de los cursos para colectivos escolares. El resto se capacitará a un ritmo de 10% mensual hasta considerarlos terminados en mayo de 2009. 3.2 En mayo de 2008 se contará con información desagregada por escuela sobre necesidades de información y un auto-diagnóstico de necesidades de capacitación para colectivos en atención a alumnos con bajo aprendizaje. 3.3 A partir de agosto de 2008 se iniciará la conformación de convenios con Consejos Técnicos de Zona y Consejos Técnicos Escolares para la capacitación de colectivos. 3.4 En febrero de 2009 se dará inicio a las redes de colectivos por zona y entre escuelas, con apoyo de la Universidad Pedagógica Nacional. COMPONENTE DE INCENTIVOS. 4.1 En junio de 2008 se habrá negociado con los diversos grupos parlamentarios del Congreso Federal y los congresos estatales la formación de una Bolsa de incentivos para la mejora académica continua. En abril de 2008 se contará con las aprobaciones presupuestales de la SEP. 4.2 En abril de 2008 se formalizará un convenio explícito entre la SEP y el SNTE para trabajar de manera conjunta en los cambios legales requeridos para la conformación de la Bolsa de incentivos. 4.3 En agosto de 2007 se contará con una base de información integral de todas las escuelas primarias del país y el personal asignado. 4.4 En diciembre de 2007 se contará con un mecanismo eficiente de entrega de recursos a colectivos y trabajadores de la educación. 4.5 A partir de agosto de 2007 se contará con un sistema de comunicación social especial para dar a conocer los avances y resultados del programa.

Teoría del cambio y marco lógico

172

MEDIOS DE VERIFICACIÓN

SUPUESTOS

ESTRATEGIA DE MONITOREO Se diseñará y pondrá en operación un sistema de monitoreo específico para la implementación del programa. En el sistema de monitoreo participarán los dos principales responsables del programa, un auditor interno, un evaluador externo responsable del mecanismo de monitoreo (diseño de instrumentos, aplicación de los mismos e interpretación de los resultados a nivel de escuelas y de la gestión del programa), dos representantes de la Coordinación Nacional del Programa y dos representantes de las Coordinaciones estatales (rotativos en el sentido que serán cambiados cada reunión), un representante de los directores de las escuelas (rotativos). El equipo monitor se reunirá al menos una vez cada tres meses para revisar los resultados de las auditorias y de la evaluación externa. En cada reunión se revisarán los avances en al menos uno de los componentes del programa. Como se considere apropiado se revisarán estadísticas derivadas del sistema de cuentas nacionales y los resultados de instrumentos de monitoreo como encuestas y entrevistas, entrevistas de grupo de enfoque y sistemas de registro relativos al liderazgo de los directivos (capacitación, cambios efectivos en el liderazgo a nivel de escuela y estimaciones de la cultura y clima escolar), experiencias de aprendizaje de los alumnos con rezago, cambios en la participación de los padres de familia en la escuela y niveles de satisfacción de los maestros con el sistema de incentivos. Los instrumentos y procedimientos de trabajo de campo deberán ser validados de manera que se pueda dar seguimiento riguroso a las acciones del programa en sus diversas modalidades. El mecanismo de monitoreo permitirá cambiar o rediseñar procedimientos como consecuencia de los errores o problemas identificados. De igual forma cada año se incorporarán las lecciones aprendidas en el plan operativo y en las reuniones de planificación estratégica.

CONDICIONES PARA QUE LOS RESULTADOS PERMITAN CONSEGUIR LOS PROPÓSITOS DEL PROGRAMA. El sistema de pruebas Enlace continua siendo censal (para todas las escuelas primarias públicas) y se le valida de manera que sea metodológicamente correcto realizar comparaciones longitudinales. Los estándares para directores y escuelas que establecerán equipos de la SEP incluirán la autoevaluación institucional como uno de sus acciones estratégicas, así como la formación de los directores en liderazgo participativo como aspecto central del perfil. El SNTE es receptivo a mejorar la estabilidad de los colectivos docentes mediante acuerdos que inhiben la movilidad laboral cuando la escuela sea académicamente exitosa. Los partidos más importantes del congreso apoyan la conformación de una bolsa de financiamiento para los colectivos escolares que tengan éxito en la disminución del fracaso escolar y del porcentaje de alumnos con rezago.

MARCO LÓGICO PROGRAMA “MEJORES ESCUELAS PARA TODOS” JERARQUÍA DE OBJETIVOS

INDICADORES

MEDIOS DE VERIFICACIÓN

Monitoreo y evaluación del diseño y desempeño de programas sociales

ACTIVIDADES DEL PROGRAMA COMPONENTE DE AUTOEVALUACIÓN. 1.1 Diseño validado de varios modelos de autoevaluación participativa y pública adecuados para diversas modalidades de escuelas primarias. 1.2 Producción y difusión masiva de los modelos de autoevaluación participativa y pública. 1.3 Convenios con directores, supervisores y Consejos Técnicos Escolares que participan en el programa para el uso de los modelos de autoevaluación participativa y pública desde inicios del ciclo escolar. COMPONENTE DE LIDERAZGO DIRECTIVO. 2.1 Preparación de capacitadores y diseñadores de los cursos de liderazgo participativo. 2.2 Diseño y validación del repertorio de cursos de liderazgo participativo para directores de escuela. 2.3 Diseño, desarrollo y producción de materiales necesarios para los cursos. 2.4 Convocatoria masiva para que la mayor parte de los directores de las escuelas participantes en el programa completen exitosamente los cursos requeridos. COMPONENTE DE CAPACITACIÓN PARA COLECTIVOS ESCOLARES. 3.1 Formación de facilitadores de capacitación para colectivos escolares en atención a alumnos con bajo aprendizaje. 3.2 Diseño de un sistema de información y diagnóstico de necesidades de capacitación expresadas por colectivos en atención a alumnos con bajo aprendizaje. 3.3 Programación y ejecución de procesos de capacitación para colectivos en atención a alumnos con bajo aprendizaje. 3.4 Convenios con Consejos Técnicos de Zona y Consejos Técnicos Escolares para el desarrollo de los procesos de capacitación de colectivos. 3.5 Formación de redes de colectivos por zona y entre escuelas. COMPONENTE DE INCENTIVOS. 4.1 Formación de la Bolsa de incentivos para la mejora académica continua, con contribuciones de gobierno federal, SNTE, gobiernos estatales, sociedad civil y comunidad escolar. 4.2 Formalización de los convenios SEP-SNTE e cambios en la legislación requeridos para el desarrollo de la bolsa. 4.3 Desarrollo de una base de datos para dar seguimiento a los resultados de las escuelas participantes en el programa. 4.4 Diseño y operación de los mecanismos de entrega de los recursos a colectivos y trabajadores de la educación. 4.5 Diseño y operación de un mecanismo de comunicación social sobre el desarrollo del programa.

PRESUPUESTO DEL PROGRAMA.

Presupuesto anual 2007 (miles): 37,700. Sueldos y honorarios (30,000). Gastos de oficina, comunicación y rentas de oficina (2,500). Viáticos y transportación (5,200). Presupuesto anual 2008 (miles): 44,300 (pesos del 2007) Sueldos y honorarios (35,000). Gastos de oficina, comunicación y rentas de oficina (2,100). Viáticos y transportación (7,200). Presupuesto anual 2009 (miles): 46,700 (pesos del 2007). Sueldos y honorarios (37,000). Gastos de oficina, comunicación y rentas de oficina (1,900). Viáticos y transportación (7,800).

ESTRATEGIA DE AUDITORIA Los procedimientos de auditoría interna correspondientes a la Secretaría de Educación Pública y los ejercidos por la Auditoria Superior de la Federación del Congreso se aplicarán a los procedimientos reglamentarios que se consideren apropiados.

SUPUESTOS CONDICIONES PARA QUE LAS ACTIVIDADES LOGREN LOS RESULTADOS DESEADOS. Los fondos requeridos por el programa son entregados de manera oportuna. Se mantiene estabilidad en el sistema educativo y político de manera que es viable que los intereses de los actores para sostener acuerdos y convenios institucionales.

Presupuesto anual 2010 (miles): 45,100 (pesos del 2007). Sueldos y honorarios (36,500). Gastos de oficina, comunicación y rentas de oficina (1,500). Viáticos y transportación (7,100). Presupuesto anual 2011 (miles): 40,200(pesos del 2007). Sueldos y honorarios (32,000). Gastos de oficina, comunicación y rentas de oficina (1,300). Viáticos y transportación (6,900). Presupuesto anual 2012 (miles): 37,200 (pesos del 2007). Sueldos y honorarios (30,000). Gastos de oficina, comunicación y rentas de oficina (1,100). Viáticos y transportación (6,100).

173

Teoría del cambio y marco lógico

Armando Loera Varela

3. Ventajas y desventajas de la matriz del Marco Lógico El Marco lógico puede usarse tanto en procesos de planificación como de monitoreo y evaluación. Entre las ventajas del Marco Lógico es posible listar: a) Clarifica y hace explícita la teoría del programa, específicamente la concatenación causal entre el diseño del programa, su implementación y su impacto. b) Es una ayuda para que el programa se centre en los beneficiarios. c) Identifica los riesgos, aspecto crítico en la buena gestión de los programas. e) Si se usa de manera flexible permite fácil participación en el diseño del programa, además el rediseño del mismo a través de cambios en sus elementos, que pueden dar lugar a negociaciones entre los actores. f) Es una ayuda para formular bien las preguntas acerca del programa. g) Presenta en forma resumida y estructurada los elementos esenciales de un programa. Facilita la gestión en cuanto resume los aspectos críticos que es necesario dar seguimiento. h) Motiva a la participación de múltiples actores por lo sencillo de su formato. i) Facilita el diseño de estrategias de monitoreo y evaluación de los programas, ilustra la teoría del programa y facilita la comunicación entre evaluadores y gestores del programa. j) Permite documentar el progreso a través de la definición de indicadores útiles para el monitoreo, la evaluación de programas y la evaluación de impacto. Teoría del cambio y marco lógico

174

Monitoreo y evaluación del diseño y desempeño de programas sociales

k) Orienta el proceso y los elementos del programa al impacto y los resultados. Por su parte, las críticas37 que se han expresado en torno al Marco Lógico son de dos tipos: las que se refieren directamente al mismo, como instrumento, y las que se refieren a enfatizar el formalismo y la imposición de una racionalidad de conexiones causales lineales como base de la gestión de programas. Como instrumento Se ha señalado que su formato impide reflejar el dinamismo temporal de los programas38 así como la especificidad de los intereses de los actores involucrados. Sin embargo la mayor parte de las críticas no se refieren al formato en sí sino a la manera como se impone por las instituciones donantes o a la manera que se le usa. En este sentido, como elemento de énfasis en el racionalismo formal, el Marco Lógico representa un modelo de racionalidad formalista que inculca que la gestión del programa debe basarse más en la lógica del diseño que en los aprendizajes que devienen de la implementación y la inmensa complejidad de los contextos. Por otra parte, la frecuente “fetichización” de la herramienta conceptual o sus componentes se basan en un alto nivel de ritualismo en donde la literalidad en el seguimiento de las instrucciones impide la necesaria flexibilidad que todo instrumento necesita. Es claro que no sólo la matriz de Marco Lógico está en riego de caer en ritualismos y formalismos que le inhiben su pertinencia y eficiencia, ya que todos los métodos de diseño, 37 Entre otras fuentes relacionadas con críticas al Marco Lógico se consideran: Bakewell, O. and A. Garbutt, The use and abuse of the logical framework approach, SIDA, November, 2005; Pasteur, Kath, Thinking about Logical Frameworks and Sustainable Livelihoods: A short critique and a possible way forward, August, 2001, mimeo y Dale, R., The logical framework: an easy escape, a straitjacket, or a useful planning tool?, Development in Practice, Vol. 13, N. 1, February 2003. 38 Para responder a esta crítica se ha formulado una modalidad más dinámica denominada Modelo Lógico en el Tiempo: Heyer, Molly H., The Temporal Logic Model: a concept paper, Ottawa, IDRC, 2001.

175

Teoría del cambio y marco lógico

Armando Loera Varela

implementación y monitoreo de programas puede caer en ellos. Una crítica frecuente se refiere a los niveles de incertidumbre. Por ejemplo, con relación a proyectos limitados, en los que no es posible prever los resultados ya que el tipo de intervención es muy novedosa o porque es un experimento es casi imposible acomodarlo a los requerimientos del método. En todo caso el resultado es altamente especulativo. De igual forma, los resultados no intencionales no son fácilmente reconocibles o incorporados a los procesos de aprendizaje. Este tipo de críticas pueden ser limitadas si el Marco Lógico forma parte del proceso de monitoreo y se permite que se vaya modificando conforme avanza el proyecto. A nivel de programa es difícil sostener estos puntos debido al tamaño de los recursos que impide que la incertidumbre sea muy alta. Así mismo, se ha considerado que el formato del Marco Lógico facilita una “visión de túnel”, perspectiva propia de las burocracias, al imponer una noción de coherencia y consistencia que poco o nada tiene que ver con las complejidades de la realidad. La estructura impide considerar los diversos factores y los procesos de aprendizaje que se requiere enfatizar en la implementación. Sin embargo depende mucho de si efectivamente se trabaja de manera participativa, de manera que las definiciones permitan trabajar de manera conjunta entre diversos actores involucrados o se convierte en un ejercicio solipsista en el que únicamente participan los técnicos de un programa. Sin embargo, tal vez la crítica más fundada se refiere a la insensibilidad del instrumento para registrar los “problemas de la gente”, ya sea en la operación como en los impactos, es por ello que debe complementarse con otras herramientas altamente participativas. En todo caso, la perspectiva del Marco Lógico debe ayudar a resolver las limitaciones de la matriz o formato del propio instrumento. Al clarificar la teoría supuesta por el programa no se debe forzar la racionalidad de causalidad lineal, sino se deben explorar otras posi-

Teoría del cambio y marco lógico

176

Monitoreo y evaluación del diseño y desempeño de programas sociales

bilidades de generación teórica de las intervenciones. Como en muchos otros casos, el abuso de la herramienta se facilita cuando se convierte en única. En combinación con otras sus limitaciones tienden a reducirse y sus fortalezas se enriquecen. Ejercicio 1. Diseñe, de la manera más participativa posible, el marco lógico de su programa. 2. Haga recomendaciones sobre su uso y aplicación.

177

Teoría del cambio y marco lógico

tĂŠcnicas sencillas y rĂĄpidas de monitoreo social

Monitoreo y evaluación del diseño y desempeño de programas sociales

CAPÍTULO 6

Técnicas Sencillas y Rápidas de Monitoreo Social En el capítulo se revisa un repertorio de diversas técnicas de obtención y análisis Pulse para explorar el subíndice: de datos, muy especialmente para pro1. Bases de la investigación pósitos de diagnóstico y monitoreo, a social las que se les ha denominado de “Valo2. Principios de la ración Rápida” (Rapid Appraisal). Estas investigación cualitativa técnicas tienen como característica co3. Análisis de datos mún haber sido diseñadas y aplicadas en cualitativos situaciones de monitoreo o evaluación de programas en las que las técnicas usuales correspondientes a métodos de investigación social normalmente aplicados (especialmente la relativa a los métodos cuantitativos, especialmente encuestas basadas en muestreos aleatorios) en procesos resultan demasiado costosos o tardan tanto en producir resultados que la información corre el riesgo de no ser pertinente. Sin embargo, las técnicas de Valoración Rápida han crecido de manera significativa desde sus primeros desarrollos en los años 80 y ya no se usan únicamente de manera alternativa sino más bien de manera complementaria e incluso, de manera deliberada, como la mejor opción técnica disponible, independientemente de los costos y sus tiempos. Debe indicarse, que estas técnicas, en general, no son apropiadas para desarrollar la evaluación de impacto, a menos

181

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

que se combinen con indicadores y procedimientos derivadas de estudios sociales sistemáticos. Más que áreas definidas, el ámbito de las técnicas de Valoración Rápida constituyen un continuo de perspectivas formales e informales (en cuanto la rigurosidad de sus procedimientos), que se basan en su utilidad comprobada en la obtención sistemática y valiosa de datos. A pesar de la amplia diversidad de técnicas de colección de datos, la mayor parte se orientan a los beneficiarios y/u operarios de los programas sociales, con el propósito de retroalimentar convenientemente, es decir, permitir procesos de aprendizaje y toma de decisiones relativas a la implementación del programa que se estudie. Las técnicas se basan en procedimientos en los que no es necesario contar con investigadores expertos. De hecho es deseable que el personal del mismo programa sea quien lleva a cabo estos estudios. Además de permitir obtener información valiosa para monitorear la implementación del programa facilita y estructura la comunicación entre operarios y beneficiarios, permitiendo derivar lecciones y decisiones sobre el diseño mismo del programa. Durante la aplicación de todas las técnicas es muy recomendable considerar los principios normales de todo trabajo de campo en el área social. En primer lugar debe de negociarse la entrada al sitio en donde se realizará el monitoreo con las personas que tengan autoridad (tanto formal como real) para permitir esa entrada. Debe legitimarse el monitoreo de manera que se acepte como un procedimiento en el que el programa gana si gana el beneficiario del mismo. No se debe escatimar ningún esfuerzo por justificar suficientemente la entrada, así como la permanencia. Es muy deseable mostrar los instrumentos que se aplicarán, describir los procedimientos, de manera muy especial el tiempo que se necesitará, y las funciones que en cada uno desarrollarán los beneficiarios (y en su caso los mismos operarios). Una vez ganada la entrada y justificada la permanencia debe construirse un clima de confianza. Usual-

Técnicas sencillas y rápidas del monitoreo social

182

Monitoreo y evaluación del diseño y desempeño de programas sociales

mente la confianza se promueve cuando se respetan los roles establecidos, se hace predecible el procedimiento y se cumplen puntualmente los compromisos y promesas. En este entorno cada producto del monitoreo debe ser accesible a los propios informantes, evitando sorpresas o usos no anunciados de la información. Además de la descripción general, en cada técnica se considerarán 10 preguntas centrales, de manera que se les pueda comparar: a) ¿En qué consiste la técnica? b) ¿Cuál es el propósito? c) ¿Cómo se lleva a cabo? d) ¿Cuántas personas se involucran? e) ¿Qué recursos se necesitan? f) ¿Cuánto tiempo requiere? g) ¿Qué tanta capacitación es idónea? h) ¿En qué tipo de monitoreo debe aplicarse? i) ¿Cuáles son algunos de sus mayores beneficios? j) ¿Cuáles son algunos de sus principales riesgos? Desde la perspectiva metodológica las técnicas que conforman el repertorio de Valoraciones Rápidas tienen fortalezas y debilidades, las que se identifican principalmente por contraste con relación a las estrategias de monitoreo basadas en los métodos sociales tradicionales, ya sean cuantitativos, cualitativos o mixtos. Sus fortalezas más relevantes, y que los ha convertido en técnicas de uso muy difundido entre especialistas de desarrollo social y operarios de programas sociales, consisten en lo bajo de sus costos, el reducido tiempo que necesitan para tener resultados útiles, su capacidad para retroalimentar

183

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

de manera pertinente y oportuna los procesos de implementación de los programas, posibilitando cambios estratégicos, la posibilidad de ser diseñados y aplicados por personas con poca experiencia y conocimiento técnico en las ciencias sociales y las posibilidades que ofrecen para profundizar y estructurar la comunicación entre beneficiarios y operarios de los programas. Sin embargo, es obvio que las técnicas de Valoración Rápida cuentan con importantes debilidades y limitaciones, principalmente si se les contrasta con procesos de investigación rigurosos y sistemáticos de investigación social. Si bien muchas de las técnicas de Valoración Rápida son derivadas de la investigación cualitativa, se distinguen en puntos muy importantes de la etnografía y de otras modalidades de estudios cualitativos sistemáticos. La diferencia más importante consiste en el tiempo necesario para hacer el estudio. Mientras que los estudios cualitativos sistemáticos tratan de profundizar en sus estudios de caso a través de una inmersión de los investigadores en la cultura de los grupos estudiados hasta que llegan a compartir y dominar sus componentes y procesos peculiares (validez interna), lo que puede durar varios años, en las técnicas de Valoración Rápida se apuesta a que en pocos días es posible diseñar, aplicar y sacar conclusiones importantes sobre el estado de la implementación de un programa. Es obvio, por lo tanto, que en este tipo de técnicas se evita considerar aspectos profundos de la cultura. Por lo que los investigadores no señalan que ven el programa desde la perspectiva de los beneficiarios (por ejemplo), sino que en todo caso se cuenta con la suficiente capacidad para obtener información útil desde los beneficiarios con relación al programa. Ya que la mayor parte de las técnicas son cualitativas su mayor reto es tener la capacidad de captar el punto de vista de los beneficiarios del programa, sin los sesgos impuestos por los intereses de los diseñadores, los responsables políticos o los operadores mismos de los programas. Con la investigación cuantitativa los contrastes son más marcados, princi-

Técnicas sencillas y rápidas del monitoreo social

184

Monitoreo y evaluación del diseño y desempeño de programas sociales

palmente en cuanto a la naturaleza de las muestras de informantes a considerar, ya que ninguna de las técnicas considera muestreos aleatorios y de tamaño suficiente como para ser representativo de la población que se estudia (a menos de que el grupo beneficiario esté muy focalizado y sea muy pequeño). Por lo que las técnicas no reclaman validez externa, es decir, la generalización de sus resultados a toda la población estudiada. Una vez registrada la información debe ser analizada y retornada de manera útil a quien puede tomar decisiones acerca del rediseño del programa en su totalidad, o de sus componentes. La información a ser recolectada debe ser muy puntual y la estrategia de análisis considerar más la utilidad que la mera relevancia conceptual o teórica. Es claro que desde una perspectiva purista de la metodología se corre el riesgo de ser superficial y no contar con las suficientes evidencias. Por lo que se debe procurar combinar varias técnicas (triangulación) y buscar afanosamente por indicios que pongan en riesgo las conclusiones con el fin de confirmarlas o rectificarlas. En el diseño, aplicación e interpretación de los resultados obtenidos a través de las técnicas debe revisarse con detenimiento posibles fuentes de sesgos que pongan en riesgo la objetividad y confiabilidad de la información obtenida. Por lo que las técnicas de Valoración Rápida son útiles únicamente durante el monitoreo de la implementación, muy especialmente en programas puntuales y de escaso nivel de recursos. Si se respetan sus condiciones, pueden ser muy útiles. Para lo cual debe de considerarse, sobre todo, el propósito del monitoreo, la naturaleza de los productos, servicios y bienes a considerar, la dificultad de acceso y comunicación con los lugares en donde funciona el programa, los niveles de escolaridad de los beneficiarios, su familiaridad con los procedimientos de las técnicas y los recursos disponibles para desarrollar el monitoreo.

185

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

BASES DE LA INVESTIGACIÓN SOCIAL Todo monitoreo realiza investigación social, ya sea de manera sistemática o de manera informal. En este documento se presentan estrategias no formales de investigación social que si bien son convenientes aplicarlas su validez y confiabilidad se define a partir de las características de los estudios sociales sistemáticos. Por lo que en esta primera parte se describen algunas de las características básicas de la investigación social. La teoría es el punto de partida, y de llegada, de los procesos de investigación social. La investigación se diseña a partir de las preguntas fundamentales sobre el proceso. Las preguntas se derivan del foco de intervención del proceso o de sus propósitos. Es importante tener presente que los objetivos responden básicamente a los diseñadores de los procesos. En cambio el foco más a la visión de los operadores y de los diversos grupos efectivamente involucrados en el proceso. La teoría que desarrollemos sobre el foco va a depender tanto del segmento de realidad que estudiemos como de las forma como procedamos a estudiarlo, específicamente de los métodos de estudio y de la experiencia y perspectiva del investigador o investigadora. Las teorías sociales se componen de conceptos que se relacionan de manera que nos permiten explicar o entender un fenómeno. Una teoría explica cuando es capaz de desarrollar un modelo predictivo. Los modelos predictivos se basan en presupuestos causales, que en todo caso son probabilísticos, nunca absolutos. En cambio una teoría permite entender cuando nos comunica el sentido de la acción, básicamente atribuida por su propio actor o por diversos intérpretes (entre los intérpretes los investigadores tienen un rol trascendental). Estos modelos pueden o no ser causales, usualmente son sistémicos en el sentido que los procesos a entender se incrustan en una visión holística de la realidad.

Técnicas sencillas y rápidas del monitoreo social

186

Monitoreo y evaluación del diseño y desempeño de programas sociales

La investigación social es un proceso creativo que se constituye a través de procesos de intuición y descubrimiento. Su diseño no puede seguir patrones fijos ni mecánicos. El modelo --del cual se da el diseño, se obtienen los datos, se les interpreta y se alcanzan conclusiones-- continuamente sufre cambios en la realidad. El diseño de la investigación tiene como fundamento conectar la teoría y los datos. Los diseños de investigación se conforman por cuatro componentes fundamentales:  La pregunta central.  La teoría.  Los datos.  Los usos de los datos ya existentes. LA PREGUNTA CENTRAL No existen reglas para determinar preguntas relevantes, ni convenientes, ni más profundas. Todo depende de aspectos personales, del contexto conceptual y de la percepción de aspectos importantes. Sin embargo existen dos criterios para determinar el probable valor que tiene un proyecto para la comunidad de investigadores:  La pregunta central del proyecto debe ser considerada como “importante” en el mundo real. Esto es, debe tener consecuencias que afectan significativamente la vida de la gente. En los estudios de monitoreo debe enfocarse a los posibles problemas y errores de los programas en su acción, así como a la generación de lecciones aprendidas a partir de su implementación.  Un estudio debe contribuir a aumentar el entendimiento que se tenga sobre la pregunta importante. Por lo que debe tener cierta

187

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

novedad dentro del estado del conocimiento existente. Por otra parte se pueden necesitar primero descripciones profundas y posteriormente explicaciones con base en esas descripciones. Algunos aspectos heurísticos para encontrar temas que contribuyan son: LA TEORÍA Una teoría es una concepción razonada que responde, con algún nivel de aproximación, a la pregunta central de una investigación y que incluye enunciados acerca de los fundamentos para considerar la respuesta correcta. Las teorías pueden ser puntos de partida o puntos de llegada en un proyecto de investigación. En mucho depende del estado del conocimiento previo. Además, es importante seleccionar teorías donde sea posible determinar las condiciones que puedan demostrar su falsedad, especialmente una de la que se puedan generar innumerables implicaciones observables. Usualmente se busca dar prioridad a las teorías que permiten tener “parsimonia” en el entendimiento de los problemas. Esto es, enfocarse a las teorías simples, asumiendo que el mundo en general se comporta de manera “simple”. Una vez que se han recolectado los datos, la teoría, en caso de estar predeterminada, se debe ajustar y hacerla más restringida. Si la teoría no está predeterminada, se debe construir en cuanto los datos permitan que se infiera. Que una teoría sea preexistente a los datos o que sea construida a partir de ellos no confiere estatus ni a la teoría ni a la investigación. De cualquier forma es normal en la investigación educativa que las teorías preexistentes tengan que modificarse de su situación inicial una vez que se han obtenido datos. LOS DATOS Los datos son elementos de información significativa sobre los fenómenos que se estudian. Pueden tener modalidad cuantitativa o cualitativa. Es

Técnicas sencillas y rápidas del monitoreo social

188

Monitoreo y evaluación del diseño y desempeño de programas sociales

cuantitativa cuando toma la naturaleza de alguno de los siguientes tipos de variables:  Variables dependientes e independientes.  La variable independiente es la supuesta causa de la variable dependiente, y ésta el supuesto efecto. La variable independiente es el antecedente; la dependiente es el consecuente. La diferencia radica en el uso en un proyecto específico ya que pueden cambiar en diferentes proyectos de investigación. En cambio, los datos cualitativos son descripciones crudas de los fenómenos estudiados y constituyen elementos particulares que sirven de base para el análisis. Los datos constituyen tanto la pista como las evidencias que permiten desarrollar entendimiento de los procesos estudiados. La calidad de los dos tipos de datos reportan el proceso que las generó, proceso que debe ser confiable. Sólo con esta información se pueden controlar los sesgos. Por otra parte, deben existir suficientes datos como las implicaciones de una teoría. Además, los datos deben ser válidos en cuanto representan y comunican los fenómenos con la máxima precisión posible. Finalmente, los datos, si su naturaleza lo permite, deben ser replicables, en cuanto que otros investigadores los pueden usar alcanzando más o menos los mismos resultados. LOS USOS DE LOS DATOS YA EXISTENTES La calidad de los datos, ya sean cuantitativos o cualitativos, es el principal reto que enfrentan tanto los procesos estadísticos como los de interpretación cualitativa. En general, las características de los buenos datos permiten generar inferencias con mínimo de sesgos, ya sea porque se ha controlado o triangulado los instrumentos, los procedimientos de obtención y disminuido la percepción subjetivista (más que subjetiva) de los investigadores. Los datos

189

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

deben ser usados en la interpretación con procesos de control de sesgos y con el máximo de eficiencia. El escepticismo y la aplicación constante de hipótesis rivales a la que se ha ido constatando son las bases de toda interpretación científica. En ciencias sociales existen tres tipos de teorías: a) Modelos teóricos. b) Teorías formales. c) Teorías sustantivas. MODELOS TEÓRICOS Expresan una concepción general del funcionamiento de la sociedad. En sociología se consideran como modelos teóricos al funcionalismo, a la teoría del conflicto, al interaccionismo y a la teoría del intercambio; en psicología, al conductismo, al estructuralismo cognitivo, al interaccionismo y a la teoría sicodinámica; en antropología, al evolucionismo, al funcionalismo, a la reconstrucción histórica y a la ecología cultural. TEORÍAS FORMALES Se conforman de proposiciones interrelacionadas para la clasificación, explicación y entendimiento de fenómenos específicos. Como es el caso de las nociones de grupos de referencia, movilidad social, desviación y rol; las etapas del desarrollo de Piaget. TEORÍAS SUSTANTIVAS Se conforman de conceptos que se centran en determinados aspectos de poblaciones, escenarios o tiempos. La investigación y evaluación educativa desarrollan usualmente este tipo de teorías.

Técnicas sencillas y rápidas del monitoreo social

190

Monitoreo y evaluación del diseño y desempeño de programas sociales

Las teorías sociales y la formulación de problemas en un proceso de monitoreo y evaluación se relacionan de tres formas: 1) La teoría establecida determina la formulación del problema en cuanto se trata de comprobarla o de efectuar una exploración de la realidad de acuerdo con sus supuestos o consecuencias. 2) La teoría da sentido a los constructos, categorías o conceptos aplicados en el diseño metodológico y en el marco de referencia del proyecto de evaluación. En estas dos relaciones la teoría se manifiesta como marco teórico, es frecuente que éste sea identificado o construido a partir de una revisión de la literatura especializada. 3) La teoría es punto de llegada de la indagación; por lo que la formulación de preguntas se refiere más a la naturaleza del fenómeno en sí que a la necesidad de comprobarla, de explorarla o de constituir el marco de referencia conceptual. La mayor parte de los estudios, tanto cuantitativos como cualitativos, manifiestan esta forma de relación. Características peculiares de la investigación social cuantitativa y cualitativa. Actualmente existen dos grandes perspectivas sobre los diseños metodológicos en evaluación: la perspectiva cuantitativa y la perspectiva cualitativa. Ambas representan maduras tradiciones científicas. A pesar de que algunos perciben que son incompatibles, nosotros partimos de la premisa que ambas metodologías comparten los principios de la investigación científica y es posible combinar principios, metodologías o técnicas de ambas en diseños concretos. La investigación aplicada a procesos de evaluación sigue en mucho la caracterización metodológica.

191

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

Los principios generales de la investigación cuantitativa ► Se deriva de la visión positivista del conocimiento social, según la

cual el propósito es explicar los acontecimientos sociales a partir de la comprobación de hipótesis de manera deductiva.

► Los fenómenos son entendidos a partir de modelos, conformados por variables y relaciones cuantitativas (estadísticamente calculadas). ► La labor del evaluador es central en el proceso ya que es responsable tanto de la teoría como de su verificación. ► Aplicada a evaluación de procesos se caracteriza a los programas como el conjunto de variables independientes que es necesario verificar su relación casual con alguna variable dependiente de la realidad sobre la que actúa el programa. ► Esta es la metodología que, en general, tiene más elementos para captar el impacto de los programas. El impacto (eficiencia) de un programa se evalúa cuantitativamente cuando después de controlar los errores de medición, comparación y muestra, se encuentran patrones de asociación entre las variables (independientes) del programa y las variables (dependientes) de la realidad sobre la que actúa el programa. ► Se usan procedimientos de correlación en las formas de medir de

varias escalas en cuanto a su exactitud y confiabilidad.

► La exactitud consiste en que los atributos de las variables se midan

apropiadamente. Para lograrlo se aplican procedimientos de:

● La validación de contenido para reflejar las dimensiones. ● La validación de constructos (se especifica cómo se espera que Técnicas sencillas y rápidas del monitoreo social

192

Monitoreo y evaluación del diseño y desempeño de programas sociales

se comporte la medida y se mide si se cumple efectivamente la expectativa). ● El método de divergencias (diferencias en grupos que ya se conoce que existen). ● El método convergente (fuerte asociación de variables, asociación ya conocida previamente). ► La confiabilidad implica la posibilidad de replicar de forma semejan-

te la medición de forma repetida, sin influencias por el tipo de preguntas o el procedimiento usado. Para estimarla se distingue entre la confiabilidad externa, que consiste en la similitud de resultados en diversos procesos, y la confiabilidad interna, que consiste en la consistencia en el mismo procedimiento.

► Para estimar la similitud se usa el procedimiento de prueba y re-prue-

ba o de formas equivalentes de cuestionario.

► Para estimar la consistencia se usa el método de partir por la mitad

un cuestionario y correlacionarlo o estimar el alfa de los ítems del cuestionario.

► Los criterios de comparación permiten controlar por influencias aje-

nas al programa para explicar los posibles cambios. Influencias como: ● La maduración de los procesos. ● La mortalidad o maduración en los procesos. ● El sesgo muestral. ● El efecto de la prueba. ● Los cambios de procedimiento.

► Los criterios de comparación se basan en modelos experimentales o

cuasi-experimentales de comparación de las variables dependientes

193

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

y en la asignación aleatoria de la población. ► Típicamente los diseños apropiados para la evaluación de programas

son:

● Observación de grupos equivalentes ● Pre y post observación de grupos equivalentes. ● Pre y post observación de grupos no equivalentes. ● Observación longitudinal de un grupo. ● Observación longitudinal de dos grupos. ► Las muestras deben ser aleatorias y de un tamaño significativo ya que

se está determinando la distribución del efecto del programa entre la población.

► El tamaño de la muestra depende del nivel de confianza requerido

para la generalización de los resultados a una población definida, del margen de error aceptable, del tamaño del grupo y de su diversidad.

► La teoría en evaluación de programas consiste en identificar patrones

recurrentes en la asociación de variables independientes con las variables dependientes.

El sentido de la asociación se puede definir como: ● Positivo, cuando ambas variables se incrementan. ● Negativo, cuando una crece y la otra decrece. ● Inexistente, cuando no se encuentran asociadas. ► Medidas de comparación entre grupos como t (en medias) o anovas

(en varianza), pueden detectar los efectos del programa y su sentido.

La investigación cuantitativa realiza análisis estadísticos que en ocasiones

Técnicas sencillas y rápidas del monitoreo social

194

Monitoreo y evaluación del diseño y desempeño de programas sociales

pueden dar la impresión de contar con altos niveles de certidumbre y precisión. Sin embargo, no es necesariamente el caso. Los análisis estadísticos pueden ser poco pertinentes a muchos de los problemas sociales, ya sea por la naturaleza del problema o debido a los altos costos involucrados. Por ello deben considerarse las limitaciones de este tipo de estudios. Los estudios cuantitativos no son capaces de adentrarse en las razones de los actores sociales y mantienen el sesgo de corroborar la teoría de los investigadores por encima de las perspectivas de los informantes. Por otra parte los estudios cuantitativos son particularmente importantes en los estudios de evaluación de impacto, pero su uso es limitado en procesos de monitoreo. PRINCIPIOS DE LA INVESTIGACIÓN CUALITATIVA La investigación cualitativa es una modalidad de investigación social que permite desarrollar, paradójicamente, tanto estudios exploratorios como estudios a profundidad. Los estudios exploratorios se enfocan a aproximar a un investigador a diversas hipótesis con relación a una pregunta. Estos estudios son especialmente importantes cuando el investigador no conoce bien el tema o el campo de estudio es nuevo y nadie ha desarrollado teorías de manera sistemática, por lo que lleva a cabo el estudio para tener primeras opciones de respuesta. Los estudios a profundidad permiten responder, desde la perspectiva de los sujetos estudiados, preguntas sobre el sentido de las acciones y el significado atribuido a los eventos. Estos estudios son sistemáticos, duran bastante tiempo, hasta poder entender los procesos en los términos y condiciones de sus propios actores. En los procesos de monitoreo se desarrolla la modalidad exploratoria de los estudios cualitativos. Denzin y Lincoln describen la investigación cualitativa como: ...una perspectiva que se compone de múltiples métodos, que involucran una perspectiva naturalista o interpretativa de su foco de estudio. Los estudios

195

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

se realizan en los ámbitos reales donde se efectúan los fenómenos estudiados, intentando hacer sentido o interpretando los fenómenos de acuerdo a los sentidos atribuidos por los mismos actores. Este tipo de estudios involucran el uso de técnicas empíricas de obtención de datos que describen la rutina, los problemas y los significados en la vida de los individuos. Se usan técnicas tales como los casos de estudios, experiencias personales, introspectiva, historias de vida, entrevistas profundas, registros de observaciones, narrativas, análisis documental, interacciones, y documentos visuales39 (p.2) (como las fotografías o los videos). Entre la investigación cuantitativa y cualitativa existen diferentes: ► presupuestos acerca del conocimiento, las personas y la realidad,

► propósitos de la investigación, ► perspectivas metodológicas e interpretativas, ► roles del (o la) investigador(a).

En general la visión cuantitativa trata de probar teorías de manera deductiva; en cambio la visión cualitativa construye teoría de manera inductiva. Sin embargo, la misma lógica básica sostiene a la perspectiva cuantitativa y la cualitativa ya que el proceso científico implica tanto procedimientos inductivos como deductivos y la generación de teorías no se da en un vacío conceptual, así como la comprobación de teorías no se presenta sin transformarlas durante el proceso de investigación. Ninguna de las perspectivas es superior en sí, depende de la naturaleza del problema y de la consistencia del diseño. Es necesario tener en mente que así como no se excluyen sino que se complementan las perspectivas cuantitativas y cualitativas también dentro de cada una de ellas existen variantes que se pueden complementar. 39 Denzin, Norman and Lincoln, Yvonna S. (eds.), The Landscape of Qualitative Research: theories and issues, Sage Publications, London, 1998, p.2

Técnicas sencillas y rápidas del monitoreo social

196

Monitoreo y evaluación del diseño y desempeño de programas sociales

Las principales características de los estudios cualitativos son las siguientes: a) LA META ES LA INFERENCIA: se diseña la investigación con el fin de hacer inferencias descriptivas o explicativas, que permitan edificar una teoría sobre la base de datos empíricos. La acumulación de datos, aunque sea sistemática, no es suficiente. Se necesita de un sistema para desarrollar inferencias. b) LOS PROCEDIMIENTOS SON PÚBLICOS: los investigadores usan métodos que pueden ser aplicados y escrutinados por cualquier persona con competencia técnica. c) LAS CONCLUSIONES SON PROBABLES: el proceso de la inferencia es imperfecto y produce un grado relativamente importante de incertidumbre, lo que basa la noción que las conclusiones serán probables y en todo caso se sostendrán hasta que exista un proceso que las falsifique. d) EL MÉTODO ES EL QUE APORTA EL FUNDAMENTO CIENTÍFICO: la investigación científica es tal únicamente por la validez de sus métodos, criterios y procedimientos.

197

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

LOS ELEMENTOS DE UN PROTOCOLO DE INVESTIGACIÓN CUALITATIVA El modelo de protocolo desarrollado por Maxwell40 de elementos para el diseño cualitativo contempla definir: 1. Propósitos  ¿Cuáles son las metas del estudio?  ¿Qué temas pretende aclarar o qué prácticas pretende influir?  ¿Por qué hace usted este estudio?  ¿Qué tanto interés tiene en los resultados finales?  ¿Por qué el estudio merece la pena de hacerlo? 2. Contexto conceptual  ¿Qué cree que está pasando en el fenómeno que va a estudiar?  ¿Qué teorías, resultados y marcos teóricos le van a guiar o informar en el estudio?  ¿Qué literatura, investigación previa y experiencia personal le fundamentará en su perspectiva conceptual y metodológica?  ¿Está ya establecida su teoría sobre el fenómeno o la va a construir a partir de su estudio? 3. Preguntas centrales  ¿Qué quiere entender al hacer el estudio?  ¿Qué es lo que no conoce del fenómeno a estudiar? 40 Maxwell, Joseph A., Qualitative Research Design: an interactive approach, Thousand Oaks, Calif., Sage Publications, 1996.

Técnicas sencillas y rápidas del monitoreo social

198

Monitoreo y evaluación del diseño y desempeño de programas sociales

 ¿Qué preguntas intentará responder con su estudio?  ¿Cómo se conectan entre sí las preguntas del estudio? 4. Métodos  ¿Qué piensa hacer para desarrollar el estudio?  ¿Qué metodologías y técnicas usará para recolectar datos?  ¿Cómo hará para interpretar los datos?  ¿Cómo se integran en una estrategia la forma de obtener datos y la manera de interpretarlos?  ¿Cuál será la relación con la gente que va a estudiar?  ¿Cómo seleccionará los sitios en los que va a realizar el estudio?  ¿Cómo seleccionará a los informantes? 5. Criterios de validez  ¿Cuáles son los límites metodológicos del estudio?  ¿Qué provocaría errores o sesgos?  ¿Cuáles son las principales amenazas para la validez del estudio?  ¿Qué tan factibles son las hipótesis alternativas?  ¿Cómo irá admitiendo y desechando hipótesis?  ¿Porqué alguien más debe creer en los resultados de su estudio? LAS BASES DEL MUESTREO CONCEPTUAL El muestreo conceptual se basa en la noción de que la base del método científico implica la constante búsqueda por probar hipótesis rivales alterna-

199

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

tivas a la hipótesis que se está sosteniendo, además de considerar todas las posibilidades posibles para mostrar la falsedad de nuestra hipótesis. Esta noción tiene como implicación que se debe buscar cómo los datos que se han obtenido empíricamente “caben” dentro de las consecuencias de esas otras hipótesis y la forma como se ramifica nuestra hipótesis con los datos obtenidos en otras investigaciones. La estrategia que domina en la perspectiva cuantitativa de analizar la viabilidad de las hipótesis rivales es el modelo de asignación aleatoria de la intervención, que tiene su origen en la experimentación agrícola, la investigación médica y en modelos estadísticos. La aleatoriedad pretende controlar un número infinito de hipótesis rivales sin especificarlas. La asignación aleatoria del tratamiento nunca las controla sino las considera como improbables en grados determinados por el modelo estadístico. Una segunda manera, y más tradicional, de controlar las hipótesis rivales es mediante la experimentación de control de laboratorio. Esta estrategia controla pocas de las hipótesis rivales, pero que son consideradas como suficientes para considerar como improbables las hipótesis alternativas. Sin embargo, por muy puro que sea el ambiente de laboratorio no se puede evitar la contaminación de los procesos de experimentación. En las ciencias sociales el grado de certeza con la cual se controlan las hipótesis rivales depende de dos modalidades de diseño: la investigación cuasiexperimental, en la perspectiva cuantitativa, y los estudios de caso, en la perspectiva cualitativa. ESTUDIOS DE CASO Los estudios de caso son investigaciones empíricas que indagan un fenómeno contemporáneo en su contexto real, en donde se carece de control de

Técnicas sencillas y rápidas del monitoreo social

200

Monitoreo y evaluación del diseño y desempeño de programas sociales

factores contextuales y de los eventos, se usan múltiples fuentes de evidencia y se focalizan a unidades de análisis determinadas previamente. Los estudios de caso se usan de manera generalizada en psicología, sociología, ciencia política, antropología, historia, economía. Así como en ámbitos académicos orientados a la práctica como la planeación urbana, la administración pública, el análisis de las políticas públicas, las ciencias administrativas y la investigación educativa. Los estudios de caso se pueden usar en investigaciones exploratorias, descriptivas y explicativas. El estudio de caso es pertinente cuando es necesario investigar cómo y cuáles son las razones de la presencia de un evento, es decir cuando es necesario investigar de manera clara porque sucede un conjunto de eventos sobre los cuáles se tiene poco o ningún control. El estudio de caso es un riguroso método de investigación, utilizado frecuentemente en estudios cualitativos. Surge de la necesidad de entender fenómenos sociales complejos, así como de generar conocimiento acerca de individuos, procesos, programas y organizaciones. En los estudios cuyas unidades de análisis son casos se trata de iluminar las condiciones por las cuales una decisión fue tomada, la manera como fue implantada y sus efectos41 . El estudio de caso tiene un lugar importante en la investigación evaluativa por varias razones. Primero, mediante éste es posible realizar una explicación causal que articula las características de una intervención con la vida real; segundo, describe el contexto real en el cual la intervención ha ocurrido; tercero, mediante un estudio de caso ilustrativo de la intervención, se amplían los referentes de la evaluación; y finalmente, aporta información sobre el proceso de intervención que no había sido muy clara para los tomadores de decisiones. Un buen diseño de estudio de caso, al igual que cualquier otro buen diseño 41 Yin, Robert K., Case Study Research, Sage Publications, San Francisco, 1986.

201

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

de investigación, incorpora suficientes estrategias para estimar que cubre con las condiciones necesarias para que la información obtenida, su análisis e interpretación posea validez de construcción, validez interna, validez externa y confiabilidad. De manera que los estudios de casos, como manifestación del muestreo conceptual, están fundamentados por los mismos principios metodológicos que los estudios de muestreo poblacional. Las muestras conceptuales basadas en estudios de caso pueden clasificarse según: a) el número de casos: en casos singulares y casos múltiples. b) el número de unidades de análisis: en casos holísticos o de una unidad de análisis o casos de múltiples unidades de análisis. De la combinación de estos dos criterios se pueden distinguir diferentes tipos de muestreo por estudio de caso (en los que se aplican los mismos criterios de la investigación experimental) combinando tres criterios:  el número de sitios (caso singular o caso múltiple).  el número de unidades de análisis (holístico o varias unidades).  la naturaleza del estudio: exploratorio, descriptivo o explicativo. CASOS SINGULARES Este tipo de estudio, independientemente del número de unidades de análisis, puede ser un diseño apropiado siempre y cuando: 1) se prueba un caso crítico en referencia a una teoría bien formulada. El caso puede confirmar, retar o extender la teoría si todas las condiciones de la teoría son satisfechas por el caso. Así se vería si la teoría es correcta, o si se deben generar hipótesis alternativas.

Técnicas sencillas y rápidas del monitoreo social

202

Monitoreo y evaluación del diseño y desempeño de programas sociales

2) representa un caso extremo o único. Por lo que el valor peculiar de la situación legitima su estudio. 3) consiste en un caso revelador, en cuanto que el investigador puede observar y analizar un fenómeno que no era previamente accesible a la investigación científica. 4) como un estudio exploratorio o como preludio para un estudio más profundo o comparativo. Los diseños de casos singulares deben minimizar las circunstancias de una falsa representación tipológica y maximizar las oportunidades de tener evidencias de un caso difícil de encontrar. El caso constituye la unidad de análisis completo. Ejemplo de estudio de caso para Monitorear el Programa de Liderazgo UNESCO-OREALC42 La escuela se ubica en el cantón Ch, que se localiza en una de las estribaciones de la Cordillera de los Andes Centrales, en la parte sur de la provincia de Chimborazo de Ecuador. El cantón se localiza a 130 kms. de Riobamba y cuenta con una población aproximada de 12,000 habitantes, quienes se dedican a actividades agrícolas, ganaderas y comerciales. La región presenta diversos climas que van desde el subtropical hasta el frío húmedo por lo que su vegetación es variada. La cabecera cantonal Ch, es la ciudad de 7,000 habitantes, (principal lugar donde se concentra la población) de acuerdo al Censo de Población y Vivienda (2001). En los últimos años ha aumentado la importancia económica del envío de remesas de la población migrante, tanto a otros puntos del país 42 El trabajo de campo y primer borrador fue elaborado por el Maestro Esteban García Hernández dentro del marco de la Evaluación del Programa de Liderazgo Escolar UNESCO-OREALC.

203

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

como al extranjero, especialmente provenientes de España y Estados Unidos. En el periodo 1990-2001 la tasa de crecimiento anual de la población fue de -7.9%. Uno de los impactos de la migración consiste en un alto porcentaje de niños y jóvenes que no viven con sus padres. También es alto el índice de padres de familia que después de migrar no han regresado a la comunidad. Ante esta situación en el municipio se brinda atención a niños, niñas y jóvenes hijos de migrantes con alimentación escolar, apoyo psicopedagógico y actividades para la optimización del tiempo libre. El promedio de años aprobados por la población de Ch es de 3.8, inferior a la que se presenta en la provincia de Chimborazo (5.8%) y de Ecuador (7.0%)43 en general. Su tasa de repitencia de grado es de 3 % y de deserción es de 5.6%, mientras que en Ecuador es de 2.5% y 4.2%, respectivamente. De acuerdo con el Proyecto Institucional de los centros educativos del sector urbano pertenecientes al Circuito 7, al que pertenece la comunidad44, “… alrededor de un 12% de los niños de entre 5 y 13 años no se encuentran matriculados…Respecto a la reprobación se afirma que los mayores porcentajes se detectan en segundo y tercer de básica (1.78% y 2.08%), lo que se asocia al ingreso de estudiantes a segundo de básica que no cursaron el primer año de básica (educación preescolar). En el cantón Ch se han realizado acciones para apoyar una mejor educación,45 se tienen como ejemplos el Plan de Universalización de la Educación Básica (2005-2006) que tuvo como responsables el Proyecto Educavida (UNESCO), Central Ecuatoriana de Servicios Agrícolas (CESA), Centro Nacional de Investigaciones Educativas (CENAISE) y el Gobierno del 43 Contrato social por la educación en el Ecuador (CSE). Serie: Diálogo provincial sobre educación. Chimborazo. Ecuador 2007, p. 6 44 Alvarado Murillo, Alfonso Wilfrido, et al. Proyecto Institucional de los Centros Educativos del Sector Urbano. Circuito 7. Ch, Chimborazo, Ecuador. 2005. 45 Idem. p. 14

Técnicas sencillas y rápidas del monitoreo social

204

Monitoreo y evaluación del diseño y desempeño de programas sociales

Cantón Ch, con el liderazgo del Municipio. Es un proyecto piloto denominado Educación para las Poblaciones Rurales, patrocinado por la UNESCO y la FAO, que se ejecuta en Nicaragua, Ecuador y Paraguay y cuyos objetivos generales son: • Mejorar el acceso, la calidad, la equidad y la pertinencia de la oferta educativa para la población rural. • Vincular y potenciar el rol de la educación en los procesos de desarrollo local integral. El alcalde plantea que la visión de la administración municipal es mejorar la calidad de la educación con el apoyo del proyecto Educavida de OREALCUNESCO, que ha servido de marco para la oferta del curso de liderazgo. El proyecto se compone de tres vertientes; 1) Capacitación de docentes, sensibilizarlos de un liderazgo distinto de copertenencia con la comunidad, con los actores económicos del Cantón. 2) Mejoramiento de la infraestructura educativa con el apoyo del Ministerio de Educación. 3) El proyecto de microemprendimientos con una fundación. En la propuesta de capacitación se insertó el Curso de Liderazgo de la Red OREALC-UNESCO, que fue impartido directamente por el Coordinador General del Programa. Para la realización de los cursos, la municipalidad se apoyó con personal que se encargó de la logística para que los cursos se die ran en tiempos y espacios adecuados, además de apoyar con viáticos a los directores de las escuelas participantes. El alcalde señala que los impactos del curso considera que existe predisposición muy buena de los líderes educativos para dar apertura a los procesos

205

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

de mejoramiento de la calidad de la educación y una mayor participación de los actores sociales que están vinculados donde el director de la escuela tiene una idea del centro abierto además de estar propenso al cambio. Menciona que con los talleres de liderazgo se buscaba además apoyar un modelo de empoderamiento de padres, de familia, maestros y líderes educativos para que el proceso de apoyo a la educación no se interrumpa, que tenga continuidad y se consolide un plan estratégico de educación que permita observar resultados. Expresa, además, que de los directores recibió opiniones favorables del curso de liderazgo y mantiene una alta valoración del trabajo desarrollado por el Coordinador General de la Red OREALC-UNESCO. En la escuela se atiende a 230 alumnos de 2º a 7º de básica por seis docentes, uno de los cuales es el director de la institución, además de maestros especiales que se han incorporado desde 1995. El trabajo de campo realizado en la Escuela de Ch se realizó del 15 al 19 de octubre del 2007. La escuela inició funciones como particular informal en la década de 1920 por una maestra peruana. Al cantonizarse el pueblo el 4 de julio de 1944 la escuela pasa a ser municipal y se nombran cuatro maestros municipales. Posteriormente se nombra un director y la escuela en 1961 se identifica como escuela fiscal para varones. En 1966 se hace la inauguración del edificio central actual, anteriormente la escuela se ubicó en diferentes lugares que se arrendaban para brindar el servicio educativo. En 1977 se nombra como director titular de la escuela al maestro que es hasta este momento el director, como resultado de un concurso de oposición. El director se hace responsable como maestro de uno de los grupos. A partir de 1997, de manera constante, se ha dado prioridad al mantenimiento del edificio y se han realizado construcciones anexas además de su equipamiento: llegando a contar actualmente con una dirección, un laboratorio de ciencias naturales, un aula de cómputo, cocina, comedor, cancha

Técnicas sencillas y rápidas del monitoreo social

206

Monitoreo y evaluación del diseño y desempeño de programas sociales

deportivas con gradas, baterías sanitarias y bodegas, la más reciente construcción es un aula terminada en 2006 y actualmente se construye una bodega. Las mejores se han realizado con apoyos del consejo provincial, la ilustre municipalidad, la Dirección Nacional de Servicios Educativos (DINSE) y la participación de directivo, docentes y padres de familia. El edificio se conforma por un pabellón central en donde se ubican las aulas de tercero, cuarto, quinto, sexto y séptimo de básica, además de un espacio amplio que puede servir de auditorio y los baños destinados a las niñas. Frente a este pabellón se encuentra una amplia explanada, dos canchas deportivas y el área de juegos. A un costado del pabellón se observan los baños de los niños y dos edificios; el aula de cómputo y otro donde se encuentra la dirección y el laboratorio de ciencias, atrás de los cuales se ubica la cocina, el comedor de la escuela y dos aulas, una que no se utiliza y otra de reciente construcción donde trabaja el grupo de segundo de básica, a un lado del cual se construye una bodega. El pabellón central data de 1966, las aulas que contiene son rectangulares de paredes altas, en ellas se observa el espacio básico para los alumnos de los diferentes grados que se distribuyen en filas, teniendo al frente el pizarrón, aunque en el grupo de sexto se observa una distribución de los alumnos en pequeños grupos que hace pensar en trabajo en equipo. En las paredes de las aulas se observan mapas, esquemas o material gráfico elaborado por los docentes y forrado con plástico. El aula de segundo grado contrasta con el resto, además de estar ubicada fuera del pabellón central, ser de los espacios de más reciente construcción y contar con mobiliario nuevo, presenta una ambientación diferente, en parte asociada a que los alumnos son los más pequeños de la escuela. Dentro del aula destacan tres espacios: un área de higiene, el destinado a los libros de texto de los alumnos y el inicio del espacio de materiales de lectura. En horas de clase se observa que los alumnos permanecen en las aulas,

207

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

atendiendo alguna actividad y a sus docentes, incluso cuando éstos salen a realizar algún trabajo a la dirección de la escuela o al aula de cómputo, los alumnos continúan con la realización de la actividad que se les solicitó en su cuaderno o en su libro o esperando indicaciones para continuar con otra nueva. Durante el recreo la escuela cambia radicalmente. Se observa a los alumnos en diferentes espacios, los más concurridos son la cocina y el comedor. Los alumnos conocen la organización establecida, se forman para recibir sus alimentos, son atendidos por madres de familia y algunos docentes que están atentos para que no falte nada; pasan al comedor de manera ordenada y ocupan los espacios disponibles, otros buscan espacios donde sentarse pues el comedor resulta insuficiente para que todos coman ahí de manera simultánea. El comedor es un espacio amplio, abierto en la pared frontal que se aprovecha como barra, equipado con mesas y sillas. Decorado con murales que muestran un paisaje de mar y ríos Aquí conviven alumnos de diferentes grupos y comparten una comida abundante servida en dos tiempos, al terminar pasan a una llave de agua donde enjuagan sus platos y vasos antes de devolverlos a la cocina. El comedor funciona con el apoyo del Programa de Alimentación Escolar que en esta escuela ofrece las modalidades de Desayuno Escolar y Almuerzo Escolar. El desayuno consiste en un vaso de colada y una galleta, alimentos importantes para muchos de los niños que como se verá más delante viajan desde temprana hora a la escuela y llegan sin desayunar. Se tiene calculado que ambos alimentos brindan 247 Kcal. Una caja de galletas permanece en el comedor y los niños saben que es un paquete diario y es lo que toman sin la supervisión de nadie. En el país “Desayuno Escolar, viene funcionando desde diciembre de 1995 y Almuerzo Escolar desde mayo de 1999, constituyendo uno de los ejes centrales para contribuir a la política de mejoramiento educativo del Gobierno Nacional”.

Técnicas sencillas y rápidas del monitoreo social

208

Monitoreo y evaluación del diseño y desempeño de programas sociales

Una de las madres de familia menciona la importancia de brindar alimentos a los niños, que les permitan estar atentos durante las clases y tener mayores posibilidades de aprender. Un maestro que participa en el programa de alimentación informa que se reciben de manera periódica y puntual remesas de alimentos básicos (arroz, lentejas, atún, aceite) y que se solicita la cooperación de un dólar semanal a los padres de familia para comprar verduras, hortalizas, condimentos y frutas para elaborar los jugos y brindar con esto una alimentación más balanceada y atractiva a los alumnos. Ambos forman parte de la Comisión de Alimentación Escolar (CAE).Algunos alumnos no asisten al comedor ya que prefieren comprar algún dulce o refresco que se vende en un bar (tienda escolar) instalado al final del patio de la escuela, este es un lugar poco concurrido. Los docentes otorgan importancia a la alimentación que en la escuela se brinda a los alumnos y enfatizan con ellos el valor nutricional de los alimentos del comedor. El maestro de segundo grado considera que las familias de algunos alumnos deberían estar más atentos en la alimentación de sus hijos, “…con la posibilidad económica que algunas familias tienen, dan a los niños hasta un dólar para que consuman en el bar dulces, papas fritas… comida chatarra, yo he llamado a los familiares de algún alumno y les he pedido que limiten a 25 centavos el dinero que dan a su hijo para comprar golosinas”. El área de juegos es otro espacio preferido por los niños, durante el recreo ocupan los columpios, sube y bajas, resbaladeros y pasamanos. En este espacio los alumnos respetan turnos, esperan a que algún juego se desocupe o se integran al uso colectivo de alguno de ellos. Los alumnos prefieren la cancha encementada donde practican fútbol, aunque algunos se integran y juegan en la de volibol. En la parte central de la cancha se encuentra un busto erigido en memoria de la fundadora de la escuela, Sra. Rosa Justo Tello. El director ha buscado

209

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

propiciar la identidad del personal docente y alumnos que en ella estudian. Además de recordar a la fundadora de la institución, en el edificio central se encuentra una imagen de San…, similar a la que los alumnos y docentes llevan grabada en su uniforme y que incluso se utiliza en papelería oficial de la escuela. En los actos cívicos los alumnos cantan el himno a la escuela, la letra y música son creación del docente de segundo de básica y del maestro de música. En enero del 2007 el personal de la escuela grabó un CD con este himno, el himno de Ch, música regional y declamaciones de poemas escritos por los docentes a la escuela, a Ch y al patrono de la institución. Una característica especial de la escuela es la participación destacada en deportes. En la dirección de la escuela sobresalen los reconocimientos y trofeos que se han obtenido a lo largo de los años en competencias deportivas. El prestigio deportivo de la escuela atrae a algunos alumnos. El director asocia los logros deportivos al trabajo de preparación que se hace con los equipos y a la inscripción de alumnos en segundo grado a una edad reglamentaria que les permite mayores posibilidades de competir. Este espacio se ocupa un día a la semana por los alumnos de los grupos superiores (5º, 6º y 7º de básica) que reciben atención de una maestra con estudios de licenciatura en Biología y Química que comenta que esta clase se imparte únicamente en las escuelas centrales (urbanas). El laboratorio cuenta con diferentes esquemas del cuerpo humano, insectarios y macetas con diferentes plantas distribuidas a lo largo del aula. Para los niños una de las atracciones principales es la posibilidad que tienen de usar el microscopio. En el laboratorio se realizan prácticas de ciencias naturales. Durante la visita a este lugar se observa que los alumnos escriben en sus cuadernos acerca de las esporas y tienen en las mesas de trabajo helechos que analizan con detenimiento. Trabajan de manera experimental los temas que analizan en la semana con el docente de grupo. Los alumnos asisten con entusiasmo a esta

Técnicas sencillas y rápidas del monitoreo social

210

Monitoreo y evaluación del diseño y desempeño de programas sociales

clase y muestran en sus cuadernos dibujos de diferentes organismos que han visto en el microscopio o con ayuda de lupas, otra de las actividades que les gusta realizar son trabajos con naturaleza en miniatura que en ocasiones exponen con orgullo en las gradas de las canchas de la escuela. El aula de cómputo se ha conformado de manera paulatina, inicialmente se realizaron las adecuaciones al edificio y de manera reciente se recibieron los equipos de cómputo con capacitación a los docentes de 5º y 6º grados de básica. El docente de 6º grado comenta “El convenio fue con el DINSE y en periodo vacacional durante quince días recibimos actualización sobre el tema”, posteriormente ellos capacitaron al resto del personal. “Esto nos permite enriquecer nuestra profesión”, señala el docente de 5º grado. A solicitud de los padres de familia, se contrató a un joven que apoyará a los alumnos de 2º a 7º grado y son ellos quienes harán un pago mínimo; se menciona que son 10 centavos por niño: El docente se encuentra en el proceso de construcción de un programa que permita a los niños acceder al manejo de la computadora. Una de las madres de familia de cuarto año comenta que los niños identifican las partes de la computadora y saben prenderla y apagarla, otras de las participantes esperan que las actividades en el aula de cómputo se generalicen. El docente de 6º grado considera que los niños van a poder aplicar el uso de la computadora en su aprendizaje “…para apoyar sus exposiciones”. El director menciona con entusiasmo la posibilidad futura de incorporar Internet y que los alumnos aprendan a utilizarlo. Es claro que existen diferentes expectativas acerca del uso que los alumnos van a dar al nuevo equipo, sin embargo todos coinciden en señalar la importancia que tiene la incorporación de la tecnología a la educación y la necesidad de responder a la demanda que los padres de familia hacen a la escuela de brindar este tipo de apoyos a sus hijos. La escuela se convierte en mixta en el ciclo escolar 2002-2003. Este cambio se asocia a dos situaciones: favorecer la equidad de género a partir de brindar

211

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

mayor desarrollo a la coeducación y el hecho de que una de las escuelas centrales decidió cambiar a una modalidad mixta pues necesitaba captar mayor alumnado ante una constante baja en su matrícula, lo que desencadenó que el resto de las escuelas realizaran un cambio similar. Al inscribir alumnas a la escuela se habían hecho las previsiones necesarias y se contaba con la preparación de baterías sanitarias exclusivas para niñas y esto animó a los padres de familia a inscribirlas en una institución que tradicionalmente había atendido a varones. El director menciona que se advirtió a los niños acerca del respeto en el trato que debían tener con sus nuevas compañeras y el personal docente advirtió el reto de ganarse la confianza de las familias, en el trabajo en el aula se brindaba especial atención a su participación y formas de brindarles apoyo, de manera inicial en tercer año no se inscriben alumnas y en quinto sólo se inscribe una. En la Tabla A2 se observa el aumento paulatino en el número de alumnos inscritos, principalmente a partir de los ciclos escolares 2005-2006 y 2006-2007. El incremento en la matrícula se asocia a que ahora son más favorables las expectativas de los padres de familia hacia el aprendizaje de sus hijos, así como a la oferta de las clases de inglés y computación, materias de reciente introducción en la escuela

Técnicas sencillas y rápidas del monitoreo social

212

Monitoreo y evaluación del diseño y desempeño de programas sociales

Tabla A1 Estadística escolar Total de alumnos inscritos en:

Escuela para varones 2001-2002

Escuela mixta 2002-2003

2003-2004

2004-2005

2005-2006

2006-2007

2do. año

3er. año

4to. año

5to. año

6to. año

7mo. año

Total por género

150

141

133

122

138

142

Total global

150

156

155

161

209

230

En la Tabla A2 se presenta el aumento constante el porcentaje de alumnas inscritas en la escuela, hasta llegar a un 38.2%, se ha logrado el reto de los maestros de tener la confianza de los padres de familia y tutores. Tabla A2. Incremento en el porcentaje de mujeres en la escuela Escuela para varones

Escuela mixta

2001-2002

2002-2003

2003-2004

2004-2005

2005-2006

2006-2007

10.2%

14.1%

24.2%

33.9%

38.2%

Se observa que también el número de alumnos por docente se ha incrementado en la escuela, siendo este hecho relevante a partir del ciclo escolar 20052006. Una de las maestras comenta que el número de alumnos que atiende ha aumentado, que hay escuelas donde los grupos son mayores, reflexiona y afirma que hay que detenerse a pensar en la posibilidad de brindar mayor

213

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

atención a un menor número de niños, el director coincide en este aspecto pues considera que “…es necesario tener un límite de alumnos que permita brindar mayor calidad en la enseñanza”. Tabla A3. Incremento en el número de alumnos por docente Escuela para varones

Escuela mixta

2001-2002

2002-2003

2003-2004

2004-2005

2005-2006

2006-2007

En la escuela el personal está conformado por el director que a la vez es docente de séptimo grado y cinco maestros de grupo (tres hombres y dos mujeres), una maestra de laboratorio y dos maestros de cultura estética (un hombre y una mujer). Todos ellos cuentan con estudios de nivel superior. Se contrataron dos maestros que imparten la clase de inglés y cómputo El principal factor que ha propiciado cambios en la enseñanza se encuentra en proceso y tiene que ver con la incorporación de libros de texto gratuitos46. De manera inicial se observa el cuidado que se tiene por estos materiales por parte de los docentes y alumnos y el trabajo escrupuloso que se hace de estos en algunos grupos. Un ejemplo se observa en la clase de segundo grado donde el docente analiza con sus alumnos las características de uno de los libros 46 La administración del Ministerio de Educación ha iniciado para el año lectivo 2007-2008, la entrega en el país en forma gratuita de textos de calidad a los niños de 1º a 7º grado de Educación General Básica. Son 8’326.476 ejemplares llegan a 2’348.427 estudiantes que pertenecen al sistema Hispano y Bilingüe del Régimen Costa y Sierra. Esto obedece al principio de gratuidad de la educación que corresponde a la política de Universalización de la Educación General Básica y fortalecimiento de los 10 años que incorpora al sistema educativo 100.000 niños a través del incremento y mejoramiento de infraestructura, equipamiento, dotación de recursos didácticos, textos escolares e incremento y capacitación de los docentes. Para el Programa de Alfabetización de Adultos se entregarán 2’003.547 textos a 611.702 estudiantes. El Ministerio de Educación se apoya en la capacidad instalada del Programa de Alimentación Escolar (PAE) para la distribución de los textos a las escuelas, la entrega a los niños es responsabilidad de los directores de las mismas.

Técnicas sencillas y rápidas del monitoreo social

214

Monitoreo y evaluación del diseño y desempeño de programas sociales

y los alumnos describen con atención los dibujos de la portada. Se observa que los libros se encuentran forrados en su totalidad y en algunos grupos se ubican en espacios especiales. El Ministerio de Educación ofrece cursos de actualización que tienen como tema el trabajo con los libros de texto gratuitos. En fechas recientes asistieron doce maestros de Ch seleccionados por la supervisión escolar a recibir una capacitación en Riobamba durante un día para definir el manejo de guías didácticas, de la escuela fueron tres docentes que actualmente preparan la estrategia para dar a conocer la información que recibieron a la totalidad de profesores de las escuelas del Cantón, uno de ellos comenta: “La próxima semana se trabajará con docentes del Cantón y para la primera semana de noviembre pueden estar poniendo en práctica los nuevos lineamientos”. Por su parte, una de las maestras enfatiza la importancia de estos cursos al mencionar que anteriormente se había trabajado con libros de apoyo y se observaba que sus contenidos eran acordes a lo establecido por la reforma curricular. “Utilizábamos los libros pero sin saber cómo estaban estructurados, a partir de la capacitación sabemos que técnicas y métodos podemos trabajar, dónde ubicar las destrezas, qué es lo que se pretende y con qué material se pueden auxiliar”. El trabajo que la escuela realiza en coordinación con los padres de familia no presenta cambios importantes en los últimos años. Los padres y tutores de los alumnos asisten a la escuela a inscribir a sus hijos y a sesiones o reuniones, mencionan que durante el ciclo escolar los citan en tres o cuatro ocasiones para tratar temas con la mesa directiva y principalmente de información acerca del aprovechamiento académico de los alumnos o para organizar alguna actividad grupal como por ejemplo para la Navidad. Comentan que el porcentaje de asistencia es alto, incluso de padres de las comunidades rurales, por lo que consideran que en general son responsables. Sin embargo se observan

215

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

casos de tutores de alumnos que no se preocupan por asistir. Debido a la migración que se presenta en la comunidad un alto porcentaje de alumnos no viven con sus padres. Algunas madres comentan “Estamos pendientes, nos acercamos para ver como nuestros hijos rinden en clases”, otra agrega: “Las puertas siempre están abiertas” hace alusión a la posibilidad que de manera constante tienen de asistir a comentar con los docentes acerca de la educación de sus hijos. Los temas que tratan los padres y tutores pueden relacionarse con aspectos académicos o relacionados con la conducta y disciplina que presentan los alumnos. La declaración de una madre de familia de 7º grado permite observar estas experiencias, “El …(director de la escuela y docente) me atiende y muy amablemente me explica acerca del tema en donde mi hijo presenta problemas”. Las opiniones de los docentes de la relación que tienen con el director de la escuela hacen principalmente referencia a la función que tiene como docente del séptimo grado. En otras ocasiones los tutores o incluso los mismos padres de familia acuden con los docentes para solicitarles su apoyo para que sus hijos mejoren en aspectos de disciplina. Uno de los maestros comenta como los padres le dicen ante la indisciplina de su hijo: “…ajústelo para que mejore su comportamiento”. Se presentan también casos de alumnos que están a cargo de algún familiar que solicita la intervención del docente para que los ayude a controlar la conducta de los niños que se rebelan ante la autoridad de quienes sin ser sus padres son los responsables de su formación. Una de las maestras con siete años de antigüedad en la escuela menciona que el número de alumnos que no viven con sus padres ha ido en aumento, que observa en ellos actitudes de tristeza y desgano, que resulta difícil en ocasiones levantarles el ánimo e integrarlos a realizar las actividades escolares. Por su parte, la docente de cultura estética observa que se presentan casos de niños que no cuentan con materiales necesarios para realizar las actividades

Técnicas sencillas y rápidas del monitoreo social

216

Monitoreo y evaluación del diseño y desempeño de programas sociales

en el aula, a pesar de que sus padres de familia envían desde el extranjero apoyo económico a las familias con las que viven. Algunas madres de familia coinciden con la maestra y añaden que algunos alumnos requieren apoyo de especialistas o trabajo en el grupo “…sería necesario que se implementara una clase de relaciones humanas que los ayudara en los problemas que tienen”. Estas declaraciones muestran parcialmente la situación de los hijos de emigrantes. Por su parte los alumnos que viven con familiares que están atentos a sus necesidades de afecto y de tipo material y de abuelas que asumen con responsabilidad el papel de las madres y padres de familia. Los padres, madres de familia y tutores entrevistados consideran que la escuela puede mejorar si se unen al trabajo que realizan los maestros, mencionan la posibilidad de hacer gestiones ante las autoridades y la necesidad de apoyar económicamente y con trabajo además de fomentar el aprendizaje y la responsabilidad de los alumnos. El interés del director por atender cuestiones relacionadas con el mantenimiento y mejoramiento de las instalaciones de la escuela además de su equipamiento con mobiliario y materiales, es una constante desde su llegada hace ya 30 años. A partir del año 2006 se ha observado la posibilidad de contar con un mayor ingreso derivado de la entrega de partidas económicas por parte del MINED, se reciben 25 dólares por alumno, lo que representa un aumento considerable en los ingresos que llegan a la escuela, anteriormente los padres apoyaban con dos dólares al inscribir a sus hijos a la escuela “…el Gobierno Nacional en cumplimiento de lo dispuesto en el Art. 67 de la Constitución Política de la República ha ordenado la transferencia de los recursos económicos fiscales a los establecimientos educativos del primero al séptimo año de educación básica, para sustituir el aporte económico voluntario que entregaban los padres de familia”47. 47 Ministerio de Educación de Ecuador http://www.educacion.gov.ec/inicio/inicio.php

217

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

Este año el director cumple 30 años en esa función en la escuela a la vez que es maestro de grupo. El profundo arraigo de los docentes es una característica que se presenta en el personal de la institución. Los docentes de los grados superiores (5º a 7º) son originarios de la comunidad, el resto, incluso los maestros de apoyo tiene a sus familias en Riobamba y Cajabamba y viajan los viernes de cada semana y regresan a la comunidad los domingos por la tarde. Mencionan que es difícil lograr un cambio de adscripción a su lugar de origen. El hecho de estar lejos de la familia representa una situación difícil sobre todo para las maestras. La docente de 4º grado llegó a la región cuando inició su servicio educativo hace trece años, doce de los cuales ha trabajado en la Escuela. Menciona que busca llevar una relación con su familia durante los fines de semana y periodos vacacionales, pero que no siempre resulta fácil. La maestra de 3º grado opina además del problema económico que representa pagar arriendo en Riobamaba que es donde está su familia, y en Ch, que es donde vive durante la semana. Sin embargo ambas, al igual que el personal de la escuela, consideran que en la escuela existe un buen ambiente de trabajo. Existen expectativas favorables acerca del personal de la escuela por padres, madres y tutores de los alumnos. Una de las principales causas por la que eligieron la escuela es por las características del personal de la escuela. Opinan que los profesores son respetuosos y buenos, consideran que el personal de la escuela es unido, “Es como una casa…”, menciona una madre de familia. Para ellos la armonía que se refleja en las relaciones del personal es importante, muchos de ellos han tenido a sus hijos en otras escuelas de la comunidad así que realizan comparaciones “…y en la otra escuela los maestros no son unidos, los niños se dan cuenta y aprenden a pelear, a hacer problemas”.

Técnicas sencillas y rápidas del monitoreo social

218

Monitoreo y evaluación del diseño y desempeño de programas sociales

Los padres enfatizan la importancia de las relaciones que los docentes de esta escuela establecen con sus alumnos. “Aquí les suben el autoestima (…) hay honestidad pues tratan bien a los niños, sean del campo o la ciudad”. En segundo término agregar que perciben que los profesores están bien preparados y enseñan más. En otros casos se menciona que por tradición inscriben a sus hijos en la escuela “…aquí estudiaron mis hermanos cuando era escuela para varones y aquí inscribí a mis hijos”. Uno de los alumnos de sexto menciona que su papá lo envía a esta escuela desde Charrón, una comunidad rural, porque aquí estudió él. También hay casos, y así lo reconocen las madres o tutores de los niños, que son los mismos alumnos quienes eligen a que escuela asistir, “Envío a mi hijo a esta escuela porque es la que le gusta, esa fue su decisión, sus amiguitos le platicaron las actividades que aquí hacían y por eso la escogió…”. En cuanto a los alumnos, su principal rasgo consiste en su heterogeneidad. Provienen de familias con distintos niveles socioeconómicos; algunos viven con sus padres, otros se han integrado con algunos de sus familiares (abuelos, tíos, hermanos), viven en Ch, pero muchos de ellos viajan a diario de comunidades rurales. Un alto porcentaje tiene como antecedente haber estudiado en otras escuelas, incluso religiosas particulares. Un atributo de los alumnos que resalta a los observadores es el alto nivel de respeto que muestran hacia sus maestros y las personas mayores, al saludarlos y dirigirse a ellos, dentro y fuera de la escuela. Una de las maestras considera que existen diferencias en el nivel económico de las familias de los alumnos, que a pesar de que llevan uniforme diario y uniforme deportivo, la calidad de estos varía, agrega que también se presentan diferencias en los materiales que utilizan para hacer sus tareas “…algunos traen materiales comprados para las exposiciones que se realizan, otros los hacen con greda, sin embargo yo valoro el esfuerzo de ambos”.

219

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

Como ya se mencionó, a partir de la migración de padres y madres de familia son muchos los niños que quedan a cargo de familiares, un alumno de 7º narra: “Mi papá se fue a España a trabajar desde que yo era chiquito, no lo conozco, ya no lo he vuelto a ver, bueno lo conozco por fotografía”; una alumna compañera de grado dice que vive con una tía y que se comunica cada semana con sus padres: “Mi papá y mi mamá están juntos en una ciudad de Estados Unidos, primero se fue mi papá, mi mamá se fue hace más de un año”. En ambos casos no saben en qué momento se van a volver a encontrar con ellos. Este tipo de historias abundan y permean el proceso de enseñanza aprendizaje. La escuela se ha poblado por alumnos de otras escuelas del medio urbano y de comunidades rurales, a partir de que las escuelas de Ch adquieren el carácter de escuela mixta. Los padres de familia inscribieron a sus hijos en diferentes instituciones, a los niños los llevaron a las escuelas donde estudiaban sus hermanas o a las niñas a las escuelas donde se encontraban inscritos los varones, buscando tener la posibilidad de apoyar únicamente las actividades realizadas por una escuela. Tener hijos en diversas escuelas dio a los padres la posibilidad de conocer de manera más directa formas de organización de directivos, de trato y enseñanza de los docentes y el conocimiento de diferentes demandas hacia ellos, lo que los llevó a decidir en donde les resultaba más conveniente inscribir a sus hijos. Existe gran afluencia de alumnos de comunidades rurales hacia las cuatro escuelas urbanas, tres de ellas fiscales (públicas) y una particular religiosa. Por las mañanas se observa la llegada de buses a diferentes puntos de la comunidad con alumnos que se integran a escuelas primarias y secundarias y por la tarde también se forman grupos de alumnos en espera del bus que los llevará de vuelta a su casa. Pocos alumnos viajan a Ch por no tener opciones de estudiar en el lugar

Técnicas sencillas y rápidas del monitoreo social

220

Monitoreo y evaluación del diseño y desempeño de programas sociales

donde viven, Bolívar y su hermano bajan caminando de su comunidad, hacen media hora. Jorge Luis y otros cinco niños viajan en bus, les cobra diez centavos, en C no hay escuela. La mayor parte de los alumnos se encuentran inscritos en escuelas urbanas por la expectativa que tienen sus padres de que van a aprender más que en las escuelas multigrado de su comunidad, por el hecho de que cada grado cuenta con un docente y se tienen instalaciones como el laboratorio de ciencias naturales, maestros de educación estética y las recientes clases de inglés y computación. Para otros informantes (padres, alumnos e incluso docentes) la llegada masiva de alumnos a las escuelas urbanas se debe a que los padres observan menor tiempo de clases de docentes, que llegan a trabajar los lunes por la tarde y salen de la comunidad los jueves. Por una causa o por otra, Samantha, una alumna de quinto grado, viaja durante una hora de Charrón, una comunidad donde hay una escuela a las que asisten 35 niños que son atendidos por dos maestros. Ella cursó ahí el tercer grado, pero que no le gustó y su papá decidió inscribirla en la escuela. Para llegar a tiempo se levanta a las cinco de la mañana, pues comenta que el bus baja despacio. Por su parte, la mamá de Amanda decidió inscribirla en la Escuela pues dice que acá va a aprender más. La niña calcula que de C a Ch, el bus tarda casi una hora, por lo que se levanta a las 5 de la mañana para llegar temprano a la escuela. La escuela de su comunidad es atendida por cuatro docentes, pero nunca ha estudiado ahí. Jovany dice que viaja diariamente en bus, que hace una hora. “La escuela del lugar donde vivo es bonita, ahí trabajan dos maestros” Agrega que sus amigos le dicen que los profesores son buenos y a su mamá le gusta esa escuela, pero como es una escuela que no tiene computadoras lo inscribieron en Ch. El argumento para inscribir a Anderson en la escuela es similar, él viene de P, “…el bus pasa a las 6:30 am y llega al centro de la comunidad a las 7:00 am, hace un cobro mensual, me inscribieron aquí porque en P la escuela no tiene juegos, ni inglés, ni computación.

221

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

El gobierno estudiantil es parte de las prácticas ya instaladas en la escuela. Aunque recientemente se ha impulsado su conformación por iniciativa del Ministerio de Educación. Sin embargo el director informa que siempre ha buscado impulsarlo, e incluso plantea que es en la escuela primaria donde se inicia la formación de líderes que necesita la comunidad, que algunos funcionarios son egresados de la Escuela que participaron en su momento en la directiva de alumnos. Los integrantes del gobierno estudiantil, mencionan con orgullo el hecho de haber sido electos en un proceso democrático como los representantes del alumnado. La entrevista con los alumnos se dio de manera fluida, conocen cada parte del plan de trabajo en detalle y son capaces de justificar cada uno de los aspectos que ahí se presentan. Finalmente comentan que ya les mandaron hacer las bandas que próximamente se las van a imponer y van a establecer relación con otros gobiernos estudiantiles. El director menciona que hace nueve años (1998) recibió un curso de Administración Educativa con una duración de 10 meses en una modalidad semipresencial dirigida a directores e impartido por la Dirección Nacional Capacitación y Perfeccionamiento Docente que se recibía los fines de semana. Además ha asistido a otros cursos en años recientes, como son los de Supervisión por objetivos, Organización y Administración y Planificación. El director comenta que en 2005 y 2006 participó en tres cursos de 40 horas cada uno, relacionados con su función como director, dentro de las acciones de Educavida, impartidos por personal de UNESCO/OREALC. El curso de Liderazgo básico lo realizó en la Cd. de Quito en septiembre del 2005, el de Liderazgo pedagógico en Chi en noviembre del 2005 y el de Liderazgo estratégico en marzo del 2006. Los cambios que se perciben en la práctica pedagógica de esta escuela se relacionan con la incorporación de maestros de apoyo que atienden el área de cultura estética y del laboratorio de ciencias, de manera reciente se contratan

Técnicas sencillas y rápidas del monitoreo social

222

Monitoreo y evaluación del diseño y desempeño de programas sociales

docentes que atienden las clases de inglés y se encuentra en proceso la introducción de clases de computación. Estas clases se han incorporado dentro del mismo horario de clases en el que asisten los alumnos. El Curso de liderazgo OREALC-UNESCO El director califica de “excelente” la conceptualización que se manejó en los cursos acerca de la dirección pues le permitió contar con elementos para mejorar el clima administrativo de la institución y las relaciones entre los participantes. Del trabajo realizado por el conductor del taller opina de manera favorable pues considera que es una persona preparada y con experiencia. Para el director, el material de capacitación utilizado favoreció la motivación de los asistentes pues las exposiciones se apoyaban en trabajos prácticos. Añade que la logística y organización del curso se llevaron a cabo sin inconvenientes. “Todo lo planeado se llevaba a efecto”, incluso considera adecuado el hecho de haber trabajado en doble jornada, pues las instalaciones eran cómodas y el equipo técnico (proyectores, computadoras) permitió apoyar el conocimiento de los temas presentados. En relación a las interacciones que se presentaron; comunicación entre facilitador y participantes y relaciones entre los participantes menciona que el Maestro Rojas demostró capacidad para acoplarse al grupo y que entre los participantes se generaron relaciones adecuadas pues no hubo un clima de inestabilidad ni preocupaciones. De los temas que recuerda y las formas como fueron presentados menciona tres: ►El tema de liderazgo, del cual refiere que se analizó con base en mate-

riales de lectura, proyecciones e intercambios de experiencias entre los participantes.

►El tema de desarrollo de proyectos, basado en un software en el que se

223

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

presentó el caso de una comunidad de Chile. ►El tema de interacción humana entre docentes, que se trabajó con diná-

micas de grupo.

El director expresa que los temas del primer curso le resultaron novedosos, de los tratados en el segundo curso conocía aspectos de administración educativa y del tercer curso identificó que manejaba elementos relacionados con la planificación curricular. Al presentarle al director algunos de los conceptos centrales del curso asoció aspectos importantes de la vida cotidiana como director. Como muestra del aprendizaje se presenta el resultado de la dinámica en la tabla A5. Tabla A5. Comentarios sobre expresiones centrales Expresiones

Comentarios

“Coordinación de acciones impecables”

Participación de los directivos y compañeros con sus conocimientos y experiencias.

“Importancia de los juicios en la construcción de climas escolares”

Ha habido mejoramiento de relaciones en los miembros de la comunidad educativa. A la captación de conocimientos del refuerzo del curso.

Los juicios son actos de amor

El trabajo desarrollado a la práctica en la institución.

Las emociones abren o cierran posibilidades de Abren las posibilidades, porque se trabaja con mayor acción dinamismo y confianza. La resignación está instalada en la escuela Latinoamericana

Hacer frente a la responsabilidad como directivo.

Los líderes son capaces de decir “Basta”

Si, en caso de ser necesario. Cuando los elementos quieren resistirse al trabajo.

Con relación a los impactos del curso en el trabajo del director, éste plantea que básicamente le permitió coordinar la dirección de un circuito en el Cantón Ch con directores de escuelas centrales urbanas durante el ciclo 20052006. Presenta como evidencia el Proyecto Institucional de los centros educativos del sector urbano, que tiene el propósito de fortalecer proyectos institucionales orientados hacia el mejoramiento de la calidad educativa. En este

Técnicas sencillas y rápidas del monitoreo social

224

Monitoreo y evaluación del diseño y desempeño de programas sociales

documento elaborado por directores de las escuelas F. P., M.C. y el Jardín A. C. D. y coordinados por él, en su calidad de director de la escuela. El director considera que este Proyecto representa el producto obtenido en los cursos de liderazgo y muestra el nivel de su relevancia para su trabajo cotidiano. El documento inicia con una base de datos en la que se consigna la ubicación geográfica de la localidad, información histórica de diferentes épocas, características de la economía local y la situación social actual, para concluir con la caracterización de los centros educativos y la definición general de la situación de la infancia de la localidad. A continuación se presenta un apartado que se titula: Análisis situacional en el que el equipo de trabajo analiza datos estadísticos de la educación básica de primero a séptimo año para establecer un diagnóstico. Además, se identifican problemas relacionados con cobertura, eficiencia interna, calidad de la educación básica y eficiencia terminal. En la segunda parte de este apartado se presenta como subtítulo: Fundando juicios acerca de la organización; fortalezas, oportunidades, debilidades y amenazas. Aquí se identifican características de la situación interna (fortalezas y debilidades) y de la situación externa (oportunidades y amenazas). En una tercera parte se plantean conclusiones de los análisis realizados en las partes precedentes. La siguiente sección del documento se titula: Declaraciones fundamentales: visión, misión y valores, para luego presentar una Programación estratégica que contiene promesas a cumplir con objetivos, medios, recursos y tiempos, además de un análisis de factibilidad y viabilidad de los objetivos y estrategias propuestas. Se finaliza con un cronograma de estrategias donde se definen responsables. Otro aspecto que el director identifica como impacto del curso es que “… se robusteció la parte personal al ser líder con los docentes de su escuela”. En este aspecto se observó a partir de las entrevistas que los docentes valoran algunos aspectos de la forma de comunicación y organización del director

225

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

sin percibir necesariamente cambios recientes en estos aspectos pues consideran que han sido una constante en su actuar. Cabe mencionar que durante la semana de trabajo realizada en la escuela se pudieron observar de manera directa aspectos en su forma de apoyar el trabajo que permitieron fluidez y cumplimiento de las actividades planeadas, de manera específica se puede mencionar la planeación específica de acciones, la designación de espacios de trabajo en las formas convenidas y la puntualidad en la realización de las acciones programadas en las que tenía que intervenir él directamente o personal de la escuela, padres de familia o alumnos que convocaba. En la recopilación de información y posteriormente en el análisis se buscó focalizar en el posible impacto del curso de Liderazgo en los aspectos de la escuela que explícitamente trata de afectar: el tiempo de aprendizaje, la calidad en la planeación didáctica, el proyecto escolar (en este caso el Plan Educativo Institucional) y el incremento en la matrícula. • La atención a tiempos destinados para el aprendizaje En la escuela se respetan los horarios de trabajo, incluso en ocasiones se cita a los docentes a reuniones fuera del horario escolar. Sin embargo no se identifican cambios a partir del curso, en todo caso se refuerza una práctica ya instalada. Un aspecto que disminuye el horario destinado a trabajar con materias curriculares es la introducción de clases de inglés y computación. Se cuida que el tiempo destinado al desayuno sea mínimo, a partir de la organización de esta actividad. Cabe recordar que uno de los aspectos por los que los padres de comunidades rurales prefieren las escuelas urbanas es debido al menor ausentismo de los docentes. • La calidad del plan de lecciones. Los docentes elaboran y entregan su plan de clase de manera regular,

Técnicas sencillas y rápidas del monitoreo social

226

Monitoreo y evaluación del diseño y desempeño de programas sociales

en este aspecto no ha habido cambios recientes. Sin embargo los procesos más prometedores de cambio pedagógico se pueden dar más bien a partir de la capacitación para trabajar con los libros de texto gratuitos, según expectativa de los propios docentes. • El Plan Educativo Institucional (PEI). Con relación a las actividades de planificación de la escuela una de las maestras dice “Sí, es lo mismo, pero va tomando diferentes nombres ahora el PEI”. Director y docentes afirman que el PEI se elabora entre todo el personal, con regularidad y que no se han presentado cambios en su formulación. Uno de los docentes explica que hace tiempo lo elaboraron y que aún está en vigencia. Un docente plantea que a partir de un curso de educación sexual que se impartió, el PEI se renovó a solicitud de la supervisión. La docente del laboratorio de ciencias declara que elabora su PEI con otros docentes de esa área y que posteriormente lo modifican de acuerdo a las características de las escuelas donde laboran. En relación a la organización de la escuela un docente la resume de la siguiente manera: “El director coordina las actividades, es la cabeza, nosotros somos las partes que hacemos todo”. La organización de las actividades que se realizan en la escuela se presenta a partir de la conformación de comisiones en las que los docentes participan, elaboran su plan de trabajo y lo entregan al director para su revisión y aprobación, en su ejecución no únicamente participan los responsables, sino involucran a la totalidad del personal, incluido el director quien está atento a que las acciones planeadas se llevan a cabo. “El director solicita informes de las actividades; las que se cumplen y las que no y pide las causas de éstas”, comenta una maestra, en relación a esto otro docente agrega “Las cosas hay que hacerlas cumplidas para no tener problemas con él”.

227

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

• Aumento de matrícula. En referencia al incremento de la matrícula se explicó que ha aumentado de manera paulatina debido a que la escuela se convierte en mixta y se ofertan clases de computación e inglés. • Toma de decisiones. Un cambio, que algunos docentes coinciden en enfatizar como cambio reciente en el estilo de liderar la escuela, está vinculado con la forma como se toman las decisiones. Anteriormente el director establecía de manera directa las actividades a realizar, ahora reúne al personal para tomar decisiones, acepta que se presenten ideas alternas a las que él plantea y se converse para identificar las mejores opciones. Con relación a este cambio algunas de las opiniones que se expresan indican: “He visto cambios en las relaciones con el director, hay más confianza y participación, ahora solicita sugerencias”. “Ahora todos damos nuestros puntos de vista”. “Nos permite opinar, a veces no estamos de acuerdo con sus ideas y en consenso sacamos una resolución”. “Percibo un cambio por parte del Señor Director, antes él daba la última palabra y listo” “Ahora el director es más abierto al criterio de los compañeros, antes no nos comunicaba las cosas, ahora nos llama a una reunión y no únicamente él asume las responsabilidades sino que las comparte”.

Técnicas sencillas y rápidas del monitoreo social

228

Monitoreo y evaluación del diseño y desempeño de programas sociales

En resumen, el caso de Ecuador se ubica en un contexto de alto nivel de marginalidad social y educativa, en el que se presenta un bajo nivel de escolaridad, alto porcentaje de repitencia, deserción y analfabetismo. El contraste se mantiene si es comparado con los índices de la provincia de Chimborazo, a la que pertenece, y a la media del país. La alcaldía buscó trabajar con UNESCO en el Proyecto Educavida, en coordinación con la Central Ecuatoriana de Servicios Agrícolas (CESA), Centro Nacional de Investigaciones Educativas (CENAISE), en las vertientes del proyecto se plantean como acciones básicas apoyo a microemprendimientos, mejoramiento de infraestructura educativa y capacitación a directivos escolares, de manera específica con atención a liderazgo, razón por la que se inserta el Curso de Liderazgo dirigido a directores. El actual director de la escuela participó en los cursos de liderazgo básico, pedagógico y estratégico y afirma que el principal impacto de su asistencia a dichos cursos ha consistido en la coordinación de un Proyecto Institucional de los centros educativos del sector urbano para fortalecer proyectos orientados hacia el mejoramiento de la calidad educativa. Con relación a los impactos del curso en el trabajo del director, éste plantea que básicamente le permitió coordinar la dirección de un circuito en el Cantón Ch. con directores de escuelas centrales urbanas durante el ciclo 2005-2006, apoya lo anterior con un documento, es el Proyecto Institucional de los centros educativos del sector urbano, que tiene el propósito de fortalecer proyectos institucionales orientados hacia el mejoramiento de la calidad educativa. Sin embargo no se observan acciones derivadas de dicho proyecto pues se concluyó el tiempo del Proyecto Educavida con acciones pendientes a desarrollar. Un segundo impacto del curso es que retroalimentó al director en temas relacionados con la administración educativa y la planificación curricular. Se observó que los docentes valoran algunos aspectos de la forma de comunica-

229

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

ción y organización del director sin percibir necesariamente cambios recientes en estos aspectos pues consideran que han sido una constante en su estilo de dirección. Un cambio que algunos docentes concuerdan que en años recientes se ha presentado en el director de la escuela es la forma como toma decisiones. Anteriormente el director establecía de manera directa las actividades a realizar, ahora reúne al personal para tomar decisiones, acepta que se presenten ideas alternas a las que él plantea y se converse para identificar las mejores opciones. Un ejemplo consiste en acuerdos que se relacionan con el uso de recursos económicos que el MINED entrega a partir del 2006 (25 dólares por alumno) en mejoras a infraestructura. Los cambios en infraestructura (aula de cómputo, aula para 2º grado y espacios recreativos), son uno de los elementos que han influido en el aumento de la matrícula escolar, otros factores importantes que se identifican son la constitución de la escuela como mixta (hasta el 2002 la escuela era para varones) y la introducción de clases de inglés. Los padres de familia de comunidades rurales aledañas observan mejores expectativas de aprendizaje en escuelas de la ciudad por lo que inscriben a sus hijos en ellas, un apoyo adicional que se presenta es que el Programa de Alimentación Escolar les brinda diariamente desayuno y almuerzo. En general los docentes no observan cambios en su práctica pedagógica, sin embargo algunos consideran que se ha modificado a partir de la presencia de niñas en las aulas y el aumento del número de alumnos por grupo, y que influirá el hecho de contar con libros de texto gratuitos a alumnos de 1º a 7º Grados, y la asistencia a los cursos de capacitación para el uso de guías didácticas que se impartirán en el 2007.

Técnicas sencillas y rápidas del monitoreo social

230

Monitoreo y evaluación del diseño y desempeño de programas sociales

Caso Ecuador

231

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

CASOS MÚLTIPLES Este tipo de estudios de casos se presenta cuando se aplican los mismos procedimientos metodológicos del estudio en diferentes “sitios”, es decir ámbitos o actores distintos en donde se presente la misma unidad de análisis (escuelas, aulas, o maestros). Se aplica la lógica de la replicabilidad, es decir, que se busca que los resultados de un caso tenga un patrón semejante al de otro caso del mismo tipo. Por lo que se necesitan al menos dos casos diferentes en un mismo tipo muestral. Los casos deben ser seleccionados de manera que:  Se tenga replicabilidad literal, es decir que ante las mismas condiciones se obtengan los mismos resultados.  Replicabilidad teorética, es decir, que se obtienen diferentes resultados por condiciones predecibles por el tipo de caso. Este tipo de estudios enfatiza la teoría que especifica las condiciones en las que es probable encontrar un tipo de fenómeno (replicabilidad literal) así como las condiciones en las cuales el fenómeno no se presenta (replicabilidad teorética). Por lo que se contrastan al menos dos unidades de análisis del mismo tipo (para la replicabilidad literal) con al menos otras dos unidades de análisis de un tipo contrastante (para la replicabilidad teorética). DISEÑOS DE MUESTRAS CUALITATIVAS La muestra cualitativa es intencional ya que está orientada a generar teoría. Para lo cual se aplican los siguientes criterios:  Máxima variación.  Homogenización.

Técnicas sencillas y rápidas del monitoreo social

232

Monitoreo y evaluación del diseño y desempeño de programas sociales

 Casos críticos.  Ilustrativos de teoría.  Casos que disconfirman la teoría.  Casos polares.  Casos típicos.  Casos ricos en información.  Casos políticamente importantes.  Focalización dentro de una muestra aleatoria.  Focalización dentro de una muestra desagregada por niveles.  Oportunidad o conveniencia. El estudio de caso incorpora una amplia variedad de evidencias; documentos, entrevistas y observaciones. El estudio de caso no implica necesariamente largos periodos de tiempo en el campo donde se priorice la observación detallada, como es el caso en la etnografía, tampoco el involucramiento del investigador con los actores como es el caso de la investigación participativa. En ocasiones un estudio de caso puede apoyarse en investigación principalmente de carácter cuantitativo. Generalmente utiliza diferentes estrategias de investigación, propias de distintos enfoques de investigación según las características de la situación evaluada. Ejemplos de estudio de casos múltiples48. 48 El primer análisis fue elaborado por el Maestro Ramón Leonardo Hernández Collazo, en el marco de la evaluación cualitativa del Programa Escuelas de Calidad. Se puede obtener el documento definitivo en Loera, V., Armando, Buenas Prácticas de Gestión Escolar y Participación Social en las escuelas PEC: resultados de la comparación de muestras polarizadas por nivel de logro y eficacia social, 2001-2006, México, Heurística educativa, diciembre 2005 (www.heuristicaeducativa.org).

233

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

Factores de escuelas con sentido de logro incremental A continuación se presentan los factores que distinguen a las escuelas que obtienen niveles de logro incrementales y que las hacen diferentes a las de sentido de logro decreciente. Se clasifican ubicando en primer término a los factores con mayor poder dentro del grupo y al final se proponen las categorías que formando parte del grupo presentan menos nivel de recurrencia en las escuelas. El trabajo conjunto y la toma de decisiones en colectivo Elemento clave dentro de la vida de las escuelas con sentido de logro sistemáticamente ascendente es el trabajo en equipo y la toma de decisiones en y por el colectivo. Característica no exclusiva de este grupo de análisis, pero si factor que hace la diferencia en el desempeño global del contraste. Este factor representa la principal cualidad de las escuelas incrementales, se identifica en todos los casos y su intensidad al interior de las fases de participación en el PEC es muy frecuente. En las escuelas que destaca este factor se aprecia como el trabajo en colectivo les permite unificar criterios y avanzar en un mismo objetivo a las comunidades escolares. En este sentido al trabajar en conjunto se establecen relaciones de trabajo adecuadas que favorecen la toma de decisiones compartidas por los miembros del grupo y donde incluso participan docentes, directivos y en algunos casos los padres de familia y los estudiantes. El trabajo en equipo se traduce en este grupo de comparación en una estrategia fundamental para marcar el rumbo y alcanzar las metas que se traza la escuela, donde el proyecto escolar resulta importante como fuente para conjuntar los esfuerzos del trabajo. Como se puede observar en las siguientes frases producto de la técnica

Técnicas sencillas y rápidas del monitoreo social

234

Monitoreo y evaluación del diseño y desempeño de programas sociales

de reflexión colectiva de una de las escuelas donde todas las expresiones se orientan al trabajo conjunto para lograr las metas y la mejora de la institución. • • • •

El trabajo colaborativo nos permite lograr más fácilmente metas nuestras. La unión hace la fuerza, juntos crecemos y aprendemos. Juntos por la excelencia. El trabajo colaborativo rinde frutos. Si trabajo en equipo, mis logros serán positivos.

C 929 F3

Este factor se identifica en todos los casos del grupo con sentido de logro ascendente que se emplean para este análisis. Sin embargo presenta diferencias de ocurrencia si se revisan las diferentes fases de la evaluación del programa, como se muestra en la siguiente tabla: Caso

Línea de Base

3210

Fase 2 +

Fase 3

2103

+ +

+++

929

1105

1205

2905

2403

1108

1422

2401

Es más fuerte la aparición de esta categoría en la fase tres del estudio, pero en la comparación global se observa cómo va haciéndose presente desde el inicio y se va consolidando en las siguientes fases, incluso en algunos de los casos de línea de base llega a presentarse la ausencia del factor y aparece en las siguientes fases. Una lectura posible de esta tabla permite reconocer que aún cuando la mayoría de los casos inicia trabajando en colectivo, su presencia se

235

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

mantiene e incrementa en las posteriores etapas de operación del programa. En el siguiente caso se muestran las opiniones respecto a la percepción de la escuela que presentan los padres de familia en un grupo de enfoque en la línea de base del estudio. Sus apreciaciones denotan como desde el principio ya existían condiciones de trabajo colaborativo en esta escuela con sentido de logro ascendente. Yo pienso que más que nada están unidos el director y los maestros porque ahora ya el director reúne a los maestros y yo pienso que caminan muy bien. Yo veo que están unidos. Yo creo que están trabajando juntos. Yo creo que están de acuerdo con el director por eso están mirándose mejor. C 3210 Grupo de enfoque L. de base. El trabajo y la toma de decisiones en colectivo es una consecuencia del ambiente que se vive en este tipo de escuelas y que reconocen los propios docentes, como se muestra en el comentario de un profesor de una de las escuelas reconocidas con mayores niveles de logro en la evaluación cualitativa del PEC: En mi opinión la escuela…(…), obtuvo el primer lugar en Escuelas de Calidad debido a la sintonía y armonía en que trabajan los maestros y los padres de familia de esta institución. Diario de campo F3

Técnicas sencillas y rápidas del monitoreo social

236

Monitoreo y evaluación del diseño y desempeño de programas sociales

Interés y disposición de los docentes en las actividades de la escuela Factor clave en el desempeño de las escuelas es sin duda el interés de los profesores por desarrollar las diferentes acciones que se proponen. Pareciera un elemento obvio para considerar en el análisis, no obstante esta variable se muestra como un factor diferencial al comparar el grupo con ascensos con el de mayor descenso. Sólo en uno de los casos con ascensos sistemáticos no se observa esta situación (c 1422), mientras que el grupo con descensos se caracteriza principalmente por ofrecer incluso resistencia a las acciones de la escuela. La disposición de los profesores se orienta tanto para las actividades generales de la escuela, como para las que se relacionan con cuestiones del proyecto o en la participación de eventos para con la comunidad. Al igual que en otros factores, el interés de los docentes evoluciona principalmente en este tipo de escuelas de un sentido negativo en la línea de base o fase dos a la aparición del mismo en la fase tres de la participación en el PEC. Interés o disposición en las actividades de la escuela Caso

Línea de Base

Fase 2

3210

Fase 3

2103

929

1105

1205

2905

+ +

2403

1108

2401

237

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

Monitoreo sistemático del nivel de logro de la escuela Revisar de manera sistemática el progreso en el nivel de logro de los estudiantes y/o las metas propuestas por la escuela, se presenta únicamente en escuelas con sentido de logro ascendente. Este factor favorece en las escuelas la reflexión de lo alcanzado y la posibilidad de actuar en consecuencia. Aparece en la mayoría de los casos en estudio y se lleva a cabo principalmente por los profesores en las reuniones de consejo técnico y por el director de la escuela cuando conocen los resultados de las pruebas aplicadas a los estudiantes. Dentro de este factor se identifican algunas variantes de ejecución en las escuelas: Caso

Descripción del la estrategia de monitoreo

C 2103 y C 1205

Revisión del progreso en los resultados de los estudiantes por asignatura

C 2403

Análisis de los resultados de exámenes para realizar ajustes en la planeación de clase

C 1422

Revisión semanal de avances en las actividades por asignatura mediante evidencias del trabajo de los estudiantes

C 1108

Análisis del progreso en las acciones de la escuela en el Consejo técnico escolar

C 1105

Análisis del problema de reprobación identificando causas y consecuencias

C 929

Comparación de los resultados de evaluaciones con otras escuelas de la zona (incluso particulares) en diferentes ciclos escolares

C 2103 y C 2905

Difusión (publicación) semanal de las actividades desarrolladas por grupos (demostración de lo aprendido)

C 2401

Reconocimiento y revisión de los resultados históricos de logro como un reto para mejorar

Una situación relevante tiene que ver con las condiciones de algunos de los casos que realizan esta acción de monitoreo de resultados. Escuelas acostumbradas a obtener buenos resultados en logro Por un lado encontramos dos casos que reconociéndose como escuelas de alto nivel de logro, permanecen en este rango de rendimiento y lo superan de forma sostenida en las diferentes aplicaciones de estándares nacionales (caTécnicas sencillas y rápidas del monitoreo social

238

Monitoreo y evaluación del diseño y desempeño de programas sociales

sos 2403 y 1422), donde como dato adicional una de estas instituciones –c 2403- de manera continua ha obtenido los mejores puntajes en la medición por eficacia social de las escuelas evaluadas en el PEC. Por otra parte encontramos un caso extremo y opuesto a los anteriores –c 2401- donde a pesar de los bajos resultados en logro en pruebas de estándares aplicadas a escuelas que participan en el PEC, la escuela se detiene a revisar los resultados obtenidos en una serie histórica que confirma su bajo nivel de rendimiento sistemático (1995-2001) y asume una postura de reto a mejorar su situación y se ve reflejado en los siguientes ciclos escolares donde aún obteniendo bajos promedios nacionales ha conseguido incrementos significativos para ubicarse como una escuela con sentido de logro ascendente49. Al observar el nivel de ocurrencia del monitoreo de las escuelas en las fases del estudio, el factor se focaliza en la fase dos de seguimiento, además de que resulta sistemática su aparición en uno de los casos (el de menor nivel de logro). Caso

Línea de Base

Fase 2

2103

929

1105 1205

+ + ++

1108

1422 2401

++ +

2905 2403

Fase 3

++ +

49 Esta escuela se ubica en el doceavo lugar ascendente en el comparativo por sentido de cambio obteniendo un puntaje de 82.20 en la diferencia de sus promedios en nivel de logro de la muestra en la evaluación cualitativa del PEC.

239

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

Seguimiento a las actividades del proyecto y de la escuela Característica muy frecuente en estas escuelas y que se relaciona en gran medida con otros factores ya revisados es el hecho de dar seguimiento a las acciones planeadas tanto en el proyecto como en las actividades de la escuela. Elemento esencial para alcanzar los propósitos del proyecto, el seguimiento se desarrolla generalmente en las reuniones de consejo técnico escolar y con momentos cruciales al inicio del ciclo escolar para planificar las acciones del año y al final del ciclo para evaluar lo logrado y replantear las actividades. El seguimiento se ubica principalmente en fase dos y fase tres, aunque se identifican casos que desde línea de base asumen esta característica. Seguimiento al proyecto y de la escuela Caso

Línea de Base

Fase 2

Fase 3

2401

1422

2905

1105

1108

2403

929

2103

Apoyo de los padres de familia en asuntos pedagógicos La participación de los padres de familia en las actividades de la escuela es un factor clave para el colectivo docente de las escuelas, lo más recurrente es su participación en cuestiones de apoyo económico, en la gestión y dotación de materiales, en el mantenimiento del edificio y en la presencia en eventos cívicos y culturales que organizan las escuelas. El involucramiento en situa-

Técnicas sencillas y rápidas del monitoreo social

240

Monitoreo y evaluación del diseño y desempeño de programas sociales

ciones eminentemente pedagógicas se presenta según los diversos miembros de la comunidad escolar en la mayoría de las escuelas, sin embargo se pondera en el grupo con sentido de logro ascendente y en especial en eventos que se relacionan con el tema del proyecto escolar (contenidos de lectura en la mayoría de los casos). El contenido de la participación en asuntos pedagógicos presenta diferentes modalidades: • Ejercitando la lectura en casa con los estudiantes. • Asistiendo a leer en clase para y con los estudiantes. • En la mayoría de los casos se convoca a los padres y se les asesora sobre estrategias de apoyo para con sus hijos. • Participación en eventos organizados por la escuela en relación al propósito del proyecto escolar, como por ejemplo la feria del libro y el club de lectores entre otros. • En algunos casos acuden a ofrecer conferencias sobre temáticas diversas para los estudiantes. • Una situación importante es que los padres de familia están informados sobre el trabajo desarrollado con el proyecto escolar. • El apoyo en las tareas es una situación común entre los padres de familia de las escuelas. • Algunas escuelas promueven clases demostrativas para orientar sobre el apoyo requerido por los profesores o para evidenciar logros de los estudiantes. • Se realizan talleres de apoyo a los padres, como por ejemplo “Escuela de padres”, evento que ha sido fundamental para encontrar mayor apo-

241

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

yo de las familias de los estudiantes en una de las escuelas (c 1422). • En algunos casos se aprecia incluso el interés que nace de los padres de familia por participar en cuestiones de aprendizaje de los estudiantes. Un fenómeno significativo se reconoce en el comportamiento de esta variable durante las etapas de participación de las escuelas en el PEC. La mayor parte de las escuelas donde se reconoce esta participación orientada a cuestiones pedagógicas por parte de los padres de familia, presenta una evolución creciente en la ocurrencia del factor, es decir que se inicia en línea de base o fase dos sin la aparición de esta categoría o incluso con la ausencia evidente de la misma y conforme avanza el tiempo aparece en la escuela. Lectura que permite pensar en que en estas escuelas se ha trabajado en el sentido de promover su ocurrencia con su participación en el programa y mas específicamente en la ejecución de acciones del proyecto escolar. Apoyo de los padres de familia en aspectos de asuntos pedagógicos Caso 3210

Línea de Base

Fase 2

2103

929

1105

1205

+ +

2905

2403

1422

2401

Técnicas sencillas y rápidas del monitoreo social

Fase 3

242

Monitoreo y evaluación del diseño y desempeño de programas sociales

Actualización constante de los profesores En estas escuelas de ascenso sistemático resulta recurrente encontrar grupos de profesores que se preocupan por actualizarse, la preparación se presenta en algunos de los docentes o incluso en la totalidad de ellos. El contenido de la actualización es de índole muy diversa, se ubican desde aquellos docentes que asisten a los que ofrecen los centros de maestros, los que se llevan a cabo mediante los talleres generales de actualización, hasta aquellos que ofrece la universidad pedagógica nacional, las autoridades de la escuela u otras instancias independientes. Los motivos de la actualización obedece principalmente a intereses personales de preparación de los profesores y a la convocatoria oficial de las autoridades, no obstante se ubican también algunos casos donde la capacitación se origina desde el propio interés de la escuela por resolver sus problemáticas o por avanzar en las actividades del proyecto. Viñeta ejemplo del comentario de un director sobre la actualización y su aplicación en la escuela por los profesores: …todas participan, todas están activas en ese sentido y sobre todo me doy cuenta que la mayoría asiste a cursos de actualización, escucho también o a veces los comentarios que hacen aquí, se reúnen para comentar alguna situación de su curso y alguna técnica o estrategia que conoce alguien la difunde con su compañera para que lo conozca y luego escucho que dicen ponlo en práctica y vas a ver, esto es como la mayoría porque asisten a cursos de actualización. Entrevista al director F 3 C 2905

243

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

Dentro de la propia escuela también se generan procesos de actualización, los temas de los TGA y contenidos que el colectivo va requiriendo durante el trabajo escolar son los más socorridos. En este sentido se identifican algunas escuelas que siguiendo lo planeado en el proyecto desarrollan cursos de actualización con recursos propios obtenidos del PEC. En el ejemplo que se muestra a continuación, se puede observar la secuencia de eventos de una de las escuelas (c 1205), donde de un problema detectado en la línea de base se tomaron acciones para resolverlo a partir de promover espacios de actualización en la propia escuela en el segundo año de estar participando en el PEC y que se ven reflejados en la fase tres. 1) Comentarios de profesores de la escuela en línea de base. Las relaciones humanas estaban muy deterioradas. El trabajo de cada grupo era muy independiente. No había organización ni motivación e interés por parte de los directores. Falta de trabajo en equipo. No se avanza pedagógicamente en calidad. Desmotivación por parte de los y maestros no existe autonomía en el trabajo del aula. 2) Expresiones del director ante el problema para trabajar en equipo en línea de base. Los docentes piden que se les de talleres de relaciones humanas, para aprender a trabajar en equipo y cumplir las metas fijadas en el proyecto

Técnicas sencillas y rápidas del monitoreo social

244

Monitoreo y evaluación del diseño y desempeño de programas sociales

3) Percepciones del colectivo derivadas de la técnica KJ en fase dos. 4) Comentarios del director en fase dos. Las personas negativas (5) ya se sumaron al trabajo, gracias a un curso sobre relaciones humanas. 5) Expresiones de varios docentes en la aplicación de la técnica de reflexión colectiva en fase tres. Se logro una integración de colegiado, se han integrado en su mayoría a los grupos a participar en la exposición de actividades que marca el plan y programas.

245

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

Las actividades se realizan en forma conjunta observando poco a poco resultados favorables. Las relaciones humanas se han fortalecido y el personal nos encontramos mas unidos en todo tipo. Ahora el trabajo de cada grupo es expuesto a la comunidad y a los propios alumnos. En otro de los casos la actualización se va dando en varios niveles, en un primer momento se desarrolla a partir de los cursos oficiales que se ofrecen para carrera magisterial. En el segundo año la actualización se desarrolla por los propios profesores según las necesidades que observan en la escuela. En el último año y después de haber empleado los recursos económicos del PEC principalmente en infraestructura y recursos materiales, ahora se destinan al pago de cursos que se ofrecen a los profesores en la misma escuela.

Técnicas sencillas y rápidas del monitoreo social

246

Monitoreo y evaluación del diseño y desempeño de programas sociales

Atención focalizada a estudiantes de bajo nivel de logro Otra de las situaciones que distinguen a este grupo de ascenso sostenido durante los tres primeros años del programa, es la determinación de algunas de estas escuelas por orientar su atención a trabajar con estudiantes de bajo nivel de rendimiento. La atención a este tipo de estudiantes evidencia una preocupación constante en más de la mitad de las escuelas con sentido ascendente (casos 3210, 2103, 1105, 1108, 1205 y 2403). Para la intervención especializada con los alumnos se dedica tiempo extra al de la clase regular, generalmente se desarrolla por las tardes, durante el espacio de recreo o al salir de clase. La ocurrencia de esta variable en las escuelas se presenta con cierto predominio durante las fases dos y tres de la participación en el programa. Un dato interesante se muestra en una de las escuelas –c 2403- donde durante los tres años de participación en el programa se ha mantenido su empeño por apoyar a los alumnos de bajo nivel de logro, situación que destaca si consideramos que esta escuela se ubica en los primeros lugares en el contraste por eficacia social a nivel nacional. En seguida se muestra la opinión del colectivo docente de esta escuela en el mapa derivado de la técnica KJ en fase dos y la percepción de apoyo de los profesores hacia los estudiantes en la entrevista de fase tres.

247

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

Mapa de la situación de la práctica pedagógica en fase dos.

Técnicas sencillas y rápidas del monitoreo social

248

Monitoreo y evaluación del diseño y desempeño de programas sociales

Opiniones de docentes en la entrevista de fase tres Pregunta

Respuestas de los docentes Citarlos en las tardes y trabajar horas extras, platicar con ellos darles confianza, seguridad.

¿Qué hace para apoyar a los alumnos de bajo rendimiento?

Les dedico más tiempo, les explico uno por uno y me apoyo con mucho material concreto. Me quedo 3 días a la semana durante una hora. Les pongo ejercicios. Busco estrategias necesarias para las actividades. Los cito en algunas ocasiones en la tarde. O los dejo una hora más tarde ( hora de salida ) Con ayuda de asesoramiento con alumnos de alto rendimiento (Monitores).

La atención orientada a estudiantes de bajo logro llega incluso a proyectarse en la comunidad, como se observa en el siguiente caso donde los padres de familia en un grupo de enfoque manifiestan sus impresiones sobre la forma en que trabajan los profesores de la escuela. La maestra incluso, ésta que inició el año escolar, mi niña está enferma y ha estado baja y yo he visto que ha puesto más de su parte, como que se hicieron a los que están más bajos. Tengo mi niña en cuarto año y pues sí esta poquito baja ahorita, pero yo me he fijado que la maestra les pone más atención a los que están más bajos. Aquí pues se lo llevan parejo el estudio y aquí pues salen un poco más preparados. Grupo de enfoque C 3210 Línea de base.

249

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

Reconocimiento de carencias o limitaciones en la escuela Más de la mitad de las escuelas de este grupo de comparación presentan percepciones de autocrítica sobre su desempeño, preponderantemente en el ámbito de la práctica pedagógica. Esta característica se ubica especialmente durante el primer año de su participación en el programa. Sin tratar de dar a entender que en escuelas de sentido descendente se evidencie una apreciación más positiva sobre su realidad, en estas escuelas con sentido de logro ascendente los profesores son más críticos hacia su práctica pedagógica, con el desempeño como colectivo y sin tanta referencia a las condiciones de la escuela y el contexto de la comunidad. Sin considerar la carencia de recursos materiales y/o económicos (situación muy frecuente entre las escuelas sin importar contraste alguno), esta actitud de autorreflexión sobre el hacer se orienta a cuestionar lo que se muestra en la tabla siguiente: Caso

Objeto de cuestionamiento

3210 y 1108

Estrategias de enseñanza y aprendizaje de los profesores.

1108

Disposición de los profesores.

2103

Problemas de inasistencia y puntualidad Rotación de maestros.

2905 y 929

El funcionamiento como colectivo docente. Pérdida de tiempo efectivo de clase. Falta de tiempo para asistir a actualizarse.

2403

Deficiencias en el trabajo

Esta reflexión enfocada hacia las debilidades de la escuela, permite reconocer una postura crítica que ha favorecido el mejoramiento de las escuelas y que se ve reflejado en sus constantes incrementos en el nivel de rendimiento alcanzado (escuelas con sentido de logro ascendente).

Técnicas sencillas y rápidas del monitoreo social

250

Monitoreo y evaluación del diseño y desempeño de programas sociales

Cumplimiento de acuerdos y responsabilidades Otro factor básico en el desempeño de la escuela es el cumplimiento de las responsabilidades por parte del personal de la escuela ante los acuerdos tomados en el colectivo. Factor que se ubica en mas de la mitad de los casos (2401, 1108, 2905, 1205, 1105 y 929) y que marca la diferencia en escuelas con sentido de logro ascendente. Viñetas ejemplo de algunas declaraciones de directivos y docentes que evidencian el cumplimiento de acuerdos en este tipo de escuelas. Los acuerdos se han respetado y algunas actividades como desfiles y dobles formaciones se han quitado. Declaración del director en la entrevista de fase 3 C 2905 Hay actividades que se han sugerido y se han realizado. Comentario de un docente en la entrevista de fase 3 C 2905 Esta variable resulta trascendental para avanzar en el trabajo con el proyecto escolar. En las escuelas de este grupo el cumplimiento de los acuerdos se presenta generalmente desde la línea de base y/o en fase dos, situación que favorece el logro de las metas trazadas en el proyecto escolar. Cumplimiento de acuerdos y responsabilidades Caso

Línea de Base

929

Fase 2

1105

1205

2905 1108

Fase 3

+ +

2401

251

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

Al revisar la tabla se muestra cómo solo uno de los casos aparece la categoría hasta la fase tres del estudio. Cumplimiento del tiempo efectivo de clase Factor clave en este contraste de escuelas por sentido logro, lo representa el aprovechamiento del tiempo efectivo de clase, factor que discrimina a este grupo de instituciones con las de sentido descendente. La mitad de los casos presentan esfuerzos por cumplir con el tiempo concreto de clases. La estrategia principal para optimizar el tiempo es simplemente el respeto del horario de trabajo establecido. En algunos de los casos incluso se promueven espacios de tiempo extra para apoyar a estudiantes de bajo logro o para profundizar contenidos complejos (c 2403, 2103, 1205, 1105 y 3210). Por otro lado se ubica un caso atípico que establece normas al interior de las aulas para limitar las salidas de los estudiantes (reglamento para salir al baño – c 1422- ). En otros se reducen actividades colaterales como la formación a la hora de entrada o ingreso de los recreos (2401). En relación al comportamiento de las escuelas con esta variable en los tres años de participación en el programa, lo que se puede advertir es que en la mayoría de los casos aparece en el segundo y/o tercer año, no obstante una situación relevante es que en los únicos casos en los que desde el inicio ya aparece este factor es en los que se ubican los mejores nivel de logro y eficacia social (c 2403 y 1422).

Técnicas sencillas y rápidas del monitoreo social

252

Monitoreo y evaluación del diseño y desempeño de programas sociales

ANÁLISIS DE DATOS CUALITATIVOS La estrategia de análisis de datos cualitativos más fácil de desarrollar aún para personas poco familiarizadas con métodos de investigación social es la de matrices. El análisis se facilita cuando se utiliza como guía las respuestas y comentarios de los participantes y se les contrasta por alguna característica importante en una matriz. Una matriz permite encontrar con facilidad patrones recurrentes en las respuestas, por lo que en las horizontales se consideran las respuestas de los informantes y en las verticales las categorías. Por ejemplo:

PREGUNTAS

Respuestas de madres y padres de familia de escuelas urbanas de alto rendimiento con capacitación.

Respuestas de madres y padres de familia de escuelas urbanas de alto rendimiento sin capacitación.

Respuestas de madres y padres de familia de escuelas urbanas de bajo rendimiento con capacitación.

Respuestas de madres y padres de familia de escuelas urbanas de bajo rendimiento sin capacitación.

Respuestas de madres y padres de familia de escuelas rurales de alto rendimiento con capacitación.

Respuestas de madres y padres de familia de escuelas rurales de alto rendimiento sin capacitación.

Respuestas de madres y padres de familia de escuelas rurales de bajo rendimiento con capacitación.

Respuestas de madres y padres de familia de escuelas rurales de bajo rendimiento sin capacitación.

1. 2. 3. 4. 5. 6. 7. 8. 9. 10.

La columna de las preguntas se pudiera simplificar únicamente a las preguntas críticas de la investigación, así como a las confirmatorias de hipótesis.

253

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

En cada casillero se vacía únicamente la información pertinente que se derive de la base de datos. El análisis puede ser tan sofisticado y detallado como lo requieran los propósitos de la investigación. Como en todo análisis cualitativo se tienen que tomar en cuenta: a) El fraseo utilizado por los participantes. b) La consideración del contexto de los participantes y de la entrevista. c) La consistencia interna en la perspectiva de los participantes. d) La frecuencia de las respuestas y los comentarios. e) La extensión de las respuestas. f) La intensidad de los comentarios. g) La especificidad de las respuestas. h) Las ideas fuerza o centrales de la conversación. i) Identificación de patrones recurrentes. j) Identificación de contrastes. Las estrategias económicas de análisis de datos se enfocan a la identificación de los patrones recurrentes y de los contrastes entre grupos polarizados. Miles y Huberman50 han desarrollado la estrategia matricial del análisis de los datos cualitativos que es sencilla de seguir para la identificación aún por 50 Miles, M. and Huberman, M., Qualitative Data Analysis: an expanded sourcebook, London: sage publications, 1994. La sección responde a una traducción libre del autor del documento de una sección del capítulo 10 de este libro.

Técnicas sencillas y rápidas del monitoreo social

254

Monitoreo y evaluación del diseño y desempeño de programas sociales

equipos poco entrenados. Ellos sugieren las siguientes tácticas para generar significado de los datos cualitativos. TÁCTICAS PARA GENERAR SIGNIFICADO Se pueden identificar trece tácticas para realizar inferencias a partir de matrices o de mapas conceptuales. Debe entenderse que no todas ellas son adecuadas en todas las situaciones y que algunas se pueden combinar. El orden en que están desarrolladas va de las tácticas más descriptivas a las tácticas más explicativas, al igual que de lo más concreto a lo más abstracto. 1. IDENTIFICANDO PATRONES RECURRENTES

Desplegar los datos en matrices permite localizar situaciones análogas entre los casos o grupos de casos. Los patrones recurrentes no necesariamente se derivan de todos los casos, pero si se presenta como una tendencia dominante, aunque siempre es necesario buscar por evidencias que disminuyan o nieguen que el patrón identificado sea dominante. Por lo que se debe buscar frecuentes contraejemplos. Una forma de operar la táctica es tratando de localizar los patrones a partir de los casilleros de una matriz que corresponda a las categorías verticales, otra, por los casilleros de las categorías horizontales o subcategorías, y finalmente por bloques amplios de casilleros.

2. LA CREDIBILIDAD

La credibilidad permite inferir conclusiones a partir de lo que se ve como razonable y con sentido, con base en las evidencias encontradas. Esta táctica implica un proceso de descubrimiento pero no es suficiente por sí misma, y siempre se debe complementar con procedimientos menos subjetivos y compartibles.

255

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

3. AGRUPANDO

El proceso de formar agrupaciones conceptuales se deriva de una serie de etapas donde los datos se exploran, ordenan, revisan y seleccionan por familias conceptuales comunes. En forma semejante a los procesos de codificación, se trata de asociar a los conceptos, ya sea por categorías preexistentes, que son manejados comúnmente, o por categorías que emergen de los datos. 4. HACIENDO METÁFORAS

A través de la metáfora se comparan dos situaciones enfatizando sus similitudes e ignorando sus diferencias, por lo que son abstracciones parciales. Las metáforas pueden tener importancia en el desarrollo de la teoría ya que, como se sabe, algunas personas sólo pueden entender las ideas abstractas a partir de la referencia a aspectos más concretos. De hecho si se analiza la evolución de ciencias como la psicología y la física se podrá observar el papel tan importante que tienen las metáforas en la evolución de estas ciencias. Al mismo tiempo, es muy frecuente en las investigaciones en ciencias sociales que las personas estudiadas usen metáforas para referirse a su experiencia o a sus perspectivas. Por lo que el dilema no consiste en usar o no metáforas, sino en estar consciente de ello. Las metáforas, por su riqueza y complejidad conceptual, son herramientas para sintetizar datos, sin perder la pluralidad de sentidos de los mismos. Por otra parte, son herramientas que permiten identificar patrones recurrentes y logran conectar los resultados a la teoría. Sin embargo, para usarlas correctamente en el análisis de datos cualitativos se sugiere: a) Distinguir entre las descripciones y la metáfora. Antes de usarlas profundice en sus significados implícitos y en la exploración y prueba explícita. b) Disminuya el uso de metáforas en las etapas iniciales de interpreta-

Técnicas sencillas y rápidas del monitoreo social

256

Monitoreo y evaluación del diseño y desempeño de programas sociales

ción, aún en las notas cocidas del trabajo de campo, ya que existe la tendencia a aplicarla a muchos de los datos que van emergiendo sin la suficiente reflexión acerca de su nivel de propiedad. Si se usan metáforas muy generales se pueden perder detalles importantes. c) En caso de elaborar metáforas trate de acordarlas en grupo, de manera que si existe acuerdo se asume que existirá más aceptación en el público en general. d) Recordar que las metáforas diluyen las diferencias y detalles, por lo que cuando es necesario enfocarse a éstos deje de usar metáforas. 5. CONTANDO En ocasiones se cree que los números no tienen que considerarse en investigación cualitativa. Sin embargo es necesario recodar que la cantidad también forma parte de las cualidades. De hecho, cuando identificamos un patrón consideramos algo que pasa cierto número de veces de una forma consistente. Tanto la frecuencia como la consistencia son aspectos numéricos en la ocurrencia de los eventos, de manera que podemos indicar que ocurre más frecuentemente o qué va asociado con qué. Cuando decimos que algo es “importante”, “significativo” o “recurrente” tenemos que estimar, en parte contando, estimando o ponderando. Por lo que al interpretar datos cualitativos se necesita estar consciente de que estamos contando, así como de cuando es oportuno contar y cuando no. Existen tres razones para contar: 1) Analizar rápidamente qué se tiene en una amplia base de datos. Ya que los números son más fáciles de manipular se puede recurrir a conteos simples de frecuencias o porcentajes para tener una indicación acerca de las posiciones dominantes o contando las veces en que

257

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

ocurren diversas expresiones o conceptos. Se debe recordar que este es un simple procedimiento inicial, no sustituye procesos analíticos más complejos y detallados. 2) Verificar una hipótesis. A través de la identificación de frecuencias de sucesos se pueden verificar hipótesis de predicciones de tendencias, por ejemplo, principalmente como nota cocida, en interpretaciones que se desarrollan cuando todavía se está en campo. 3) Mantenerse analíticamente honesto, protegiéndose contra los sesgos. Si bien las intuiciones y los procesos iluminativos juegan un papel central en la investigación cualitativa los procesos de conteo nos permiten confirmar la robustez de las intuiciones, así como reconocer las posiciones minoritarias o menos frecuentes. 6. HACIENDO CONTRASTES Las comparaciones contrastantes usualmente se hacen con casos polares (un grupo manifiesta la presencia de una característica y el otro su ausencia; o una alta frecuencia y el otro una baja) es una de las estrategias de diseño de casos y de interpretación de datos más importantes en la investigación cualitativa. El método de las diferencias pertenece en la parte esencial de la investigación científica. Algunas sugerencias acerca de las contrastaciones son: 1) Las comparaciones en la interpretación deben reflejar la forma como se definió la muestra o que son comparaciones teóricamente útiles. No se contrasta todo, sino únicamente aquello que tiene sentido para los propósitos del estudio.

Técnicas sencillas y rápidas del monitoreo social

258

Monitoreo y evaluación del diseño y desempeño de programas sociales

2) Las características de los sucesos deben compararse con las unidades de análisis del estudio o los casos (personas, roles, escuelas). 3) Debe establecerse un criterio para identificar que tan importante debe ser la diferencia para que se considere contraste. 7. DIFERENCIANDO CATEGORÍAS Aunque la tendencia dominante en la interpretación de datos es hacia la integración, es básico comprender que la diferenciación es en ocasiones más importante. Cuando se descubre una categoría que parece que responde a todas las situaciones se debe tener cuidado en marcar diferencias importantes, evitando caer en parsimonia prematura, que ocurre cuando se trata de hacer sentido de todo con muy pocas categorías. Se sugiere que en las etapas iniciales de la interpretación se diferencie tanto como haga sentido para encontrar patrones recurrentes, y posteriormente se trate de integrar. Siempre se debe tener en mente que la diferenciación no debe llegar hasta el punto de atomizar los datos y de hacerlos incomparables. 8. GENERALIZANDO CATEGORÍAS Mantener el equilibrio entre la integración y la diferenciación es fundamental en las estrategias de análisis de datos cualitativos. Por lo que Además de la diferenciación de las categorías se debe de procurar integrar los datos en categorías amplias, en un proceso deductivo-inductivo permanente, hasta que se considera que existe una buena teoría, que tendrá como base una taxonomía rigurosa. 9. FACTORIZACIÓN El análisis factorial es una técnica estadística que se usa para representar un gran número de variables medidas en un pequeño número de variables no

259

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

medidas, usualmente hipotéticas. Las variables de segundo orden son denominadas factores pueden estar no asociadas o tener una alta correlación. En la investigación cualitativa existe un procedimiento análogo al encontrar categorías de segundo orden, que si bien son inferidas o derivadas de las categorías descriptivas (de primer orden) tienen la capacidad de dar un mejor sentido, ser más representativas y ser operativizables ya que tienen referente empírico o están situadas en los presupuestos conceptuales de las categorías descriptivas. 10. ESTABLECIENDO RELACIONES ENTRE LAS VARIABLES Las relaciones entre las variables y las categorías es una etapa necesaria en el proceso de trascender la descripción y se llega a la explicación. Es relevante tomar nota que las relaciones se establecen entre variables, con fines de desarrollo teórico, no entre actores o sus comportamientos. La parte esencial de los mapas conceptuales se compone por las relaciones. Pueden existir muy diversos tipos de relaciones, aunque siempre se recomienda que se contemple el uso de relaciones causales. De hecho, se asume que mientras más relaciones causales tengan un mapa tendrá más poder explicativo. Sin embargo es necesario tener cuidado en identificar relaciones causales cuando en realidad éstas no existen, para ello se debe de confirmar la relación buscando por hipótesis rivales, buscando relaciones espurias o usando casos extremos que ilustren si la relación causal también se confirma en ellos. 11. IDENTIFICANDO LAS VARIABLES INTERVINIENTES Con el fin de tener una teoría consistente se necesita que las relaciones se establezcan de manera que tengan sentido, que el intérprete conciba que “deben” ir asociadas de cierta manera aunque los datos no permiten establecer una relación directa. En otras ocasiones no se entiende porqué de los datos

Técnicas sencillas y rápidas del monitoreo social

260

Monitoreo y evaluación del diseño y desempeño de programas sociales

resultan dos conceptos asociados. En ambas situaciones es necesario revisar los datos y buscar por otras variables que intervengan entre las ya establecidas, mejorando la lógica de la relación. Otras variables pueden intervenir en la relación . 12. CONSTRUYENDO UNA CADENA LÓGICA DE EVIDENCIAS (mapa conceptual) La cadena lógica de evidencias consiste en relaciones lógicas, de carácter causal, que establecen una secuencia de factores que explica los procesos estudiados. Es importante que la información sobre los factores y las relaciones causales (o de antecedentes y consecuencias) debe darse directamente por los informantes, y es de desearse que sea proporcionada por varios informantes en el mismo sentido. Las predicciones de los actores y las descripciones de las relaciones causales deben verificarse directamente, así como buscar evidencias de hipótesis alternativas. Además las relaciones tienen que hacer sentido lógico y ser completa, no tener huecos. La cadena se construye de manera gradual, obteniendo un sentido inicial de los principales factores, dibujando las primeras relaciones hipotéticamente, verificando en la base de datos, desarrollando modificaciones con procedimientos de inferencia analítica. En su versión más poderosa se basa en constantes contrastes y corroboraciones estructurales, especialmente con base en matrices inferenciales, así como elementos para desechar hipótesis alternativas. El modelo generado debe poderse replicar en casos cuyas condiciones son similares. 13. CONSTRUYENDO UNA TEORÍA COHERENTE Cuando se trata de determinar el sentido de los procesos sociales el ejercicio mental implica conectar evidencias en patrones lógicos, comprensivos,

261

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

con agrupaciones consistentes y en niveles más abstractos. No sólo se identifican factores factualmente identificados sino también los no observados o tácitos. La idea es moverse de los datos a los constructos o categorías, y de ahí a las teorías, mencionando los “cómos” o “porqués” de los fenómenos estudiados. Es posible conectar las categorías de la teoría construida en la investigación con categorías de teorías ya reconocidas en el ámbito conceptual del estudio. La teoría no únicamente describe los patrones sino que indica porqué ocurren, así como ilumina problemas del objeto estudiado. Una manera rápida de construir el esbozo de la teoría implicada en el estudio es poner en prosa la estructura conceptual implicada por el mapa conceptual. Además se tienen que considerar algunas tácticas para probar o confirmar resultados, tales como: 1. Confirmar la tipicidad de la muestra. 2. Buscar efectos del procedimiento o la perspectiva del investigador. 3. Triangular las respuestas de los informantes. 4. Ponderar la evidencia. 5. Confirmar el significado de los casos atípicos. 6. Usar casos extremos. 7. Dar seguimiento a lo inesperado o sorpresivo. 8. Buscar apoyos a hipótesis alternativas. 9. Probar las implicaciones (enunciados del tipo si... entonces…). 10. Desechar las relaciones espurias. 11. Replicar los resultados en casos similares. 12. Obtener retroalimentación de la interpretación por los mismos informantes. Técnicas sencillas y rápidas del monitoreo social

262

Monitoreo y evaluación del diseño y desempeño de programas sociales

Como en todo procedimiento analítico, se pretende obtener conclusiones verificables, confiables, transferibles y útiles para los procesos de la gerencia social. Al igual que en cualquier otro proceso de reporte de informe de los resultados de evaluaciones no existe una manera única. Para definir esta estructura lo más importante es considerar los propósitos de la evaluación y los factores que determinan el contexto de la evaluación. Una noción básica de evaluación El monitoreo es una modalidad de investigación evaluativa. La evaluación, en términos amplios, implica el examen de una actividad e implica juicios o decisiones. La evaluación puede ser clasificada según múltiples criterios. Uno de ellos es que puede ser formativa (como el monitoreo) o sumativa (como la evaluación de impacto). La evaluación formativa se aplica cuando se necesita tomar decisiones en una actividad en proceso. La evaluación sumativa se usa para tomar decisiones acerca de la continuidad de la actividad o para derivar conclusiones sobre su valor. La noción de evaluación en el área de las políticas sociales puede entenderse de cinco formas51: 1) juicio profesional. 2) medición. 3) determinación de la congruencia entre desempeño y objetivos. 4) de toma de decisiones. 51 Gardner, Don E., 1994, Five Evaluation Frameworks: implications for decision making in higher education, en Joan S. Stark & Aliced Thomas (eds.) Assessment and Program Evaluation, Needham Heights, Ma.: Simon & Shuster.

263

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

5) responsable o libre de metas. 1) La evaluación como juicio profesional se refiere a que un profesional calificado examina las políticas, los programas o las instituciones para expresar su opinión experta con relación a su calidad, efectividad o eficiencia. Algunos ejemplos son los paneles de revisión de pares, jueces expertos o equipos de evaluación. Se presupone que el experto tiene perspectivas compartidos con el grupo de interés que solicita la evaluación. Una forma de controlar el criterio es a través de reuniones de comités. El evaluador es considerado como un procesador de información que asimila y enjuicia datos relevantes, sintetiza y pondera hechos y conoce en detalle el tema a ser evaluado. La metodología usada por el evaluador puede incluir observaciones personales, entrevistas, exámenes, revisión de documentos, entre otros. Sin embargo, se asume que hay un uso personal de la información y que el informe final expresa la perspectiva personal del experto. 2) La evaluación como medida se basa en la idea que se pueden cuantificar los resultados, los efectos o el desempeño aplicando instrumentos que produce datos que pueden ser comparados en una escala estandarizada. El presupuesto básico consiste en que el objeto a ser evaluado tiene dimensión cuantitativa o comparativa y que se pueden diseñar instrumentos capaces de detectar adecuadamente esa dimensión. El proceso típico que se sigue inicia con la identificación de los atributos a ser medidos, el instrumento apropiado es diseñado y validado, el instrumento se aplica los objetos a ser evaluados (bajo condiciones de control para asegurar confiabilidad) y los resultados se comparan con un estándar, que es resultado de estudios previos o de una norma. El evaluador debe, por lo tanto, ser un experto en el diseño y uso de los instrumentos de evaluación.

Técnicas sencillas y rápidas del monitoreo social

264

Monitoreo y evaluación del diseño y desempeño de programas sociales

3) La evaluación de la congruencia entre desempeño y objetivos considera que la evaluación consiste como el proceso de especificar o identificar metas, objetivos o estándares de desempeño, identificar o desarrollar los instrumentos para evaluar el desempeño y comparar los datos medidos con los datos recogidos previamente, para determinar el grado de discrepancia o congruencia con los datos obtenidos posteriormente. Las decisiones más importantes con relación a lo evaluado son los relativos a sus objetivos y los criterios establecidos para definir el éxito o fracaso en la obtención de los mismos. El diseño de estos estudios varía de modelos cuasi-experimentales, como por ejemplo pretest-tratamiento-postest a modelos más sofisticados. Sin embargo, es común encontrar los siguientes elementos: a) identificación de metas u objetivos; b) clarificación de las variables que son afectadas; c) identificación de los criterios o estándares usados para enjuiciar el desempeño; d) desarrollo o identificación de los instrumentos, técnicas y procedimientos para recoger la información que considere el desempeño; e) recolección de los datos de desempeño; f) comparación de la información relativa al desempeño con los estándares preestablecidos, resultando en una determinación de valor o mérito y; la comunicación de los resultados de la comparación a audiencias apropiadas. Es recomendable que el evaluador se involucre en acciones ejecutivas. Es común el examen de documentos; la interacción en grupos pequeños en-

265

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

tre el equipo evaluador y el grupo del programa para definir las variables, los objetivos y los criterios estándares; el análisis riguroso de los procesos y las relaciones; identificación de las herramientas e instrumentos que serán usados para obtener datos acerca del desempeño; recolección y procesamiento de los datos de desempeño; análisis de los datos de desempeño en comparación de los objetivos y los estándares; la formulación de juicios y reportes; y, finalmente, la comunicación de reportes. El propósito de este tipo de evaluación es expresar juicios de méritos de parte del evaluador o de los responsables del programa con base en la información proporcionada por el evaluador. 4) La evaluación orientada a decisiones sigue dos modelos: el CIPP: contexto, insumo, proceso y producto, que fue desarrollado por el Comité Nacional de Evaluación del Phi Delta Kappa; y el modelo desarrollado por la Universidad de California en los Ángeles. Los dos modelos son prácticamente los mismos. A la evaluación en el CIPP se le define como “el proceso de delinear, obtener y proveer información útil para juzgar decisiones alternativas”. La definición de la UCLA señala que es el proceso de enriquecer el proceso de decisión a través de reportar a los tomadores de decisiones datos útiles para elegir entre alternativas”. En este modelo se presupone que la evaluación: a) está al servicio de los tomadores de decisiones; b) es un proceso cíclico, continuo y debe ser instrumentado a través de un programa sistemático, c) el proceso de evaluación incluye las tres etapas más importantes que son delinear, obtener y proveer, que son las bases

Técnicas sencillas y rápidas del monitoreo social

266

Monitoreo y evaluación del diseño y desempeño de programas sociales

para la metodología de la evaluación; d) las etapas de delinear y proveer son actividades que necesitan de la colaboración entre el evaluador y el tomador de decisiones, en cambio, la etapa de la obtención es básicamente técnica y controlada por el evaluador. 5) La evaluación responsable o libre de metas consiste en un examen crítico de la institución, el proyecto, el programa, independientemente de sus propósitos. Es decir, se trata de descubrir los efectos reales, independientemente de sus metas. La evaluación determina algunos estándares, principalmente sobre la relación causa-efecto, dentro de un amplio repertorio de actividades. En esta perspectiva, por lo tanto, el evaluador es esencialmente un investigador. Se han propuesto las siguientes etapas en el ciclo: 1) comunicarse con los clientes o las audiencias, 2) identificar la amplitud del foco de atención, 3) observar las actividades del programa, 4) descubrir propósitos y preocupaciones, 5) conceptualizar temas y problemas, 6) identificar las necesidades de datos, 7) seleccionar los observadores, los jueces y los instrumentos formales, 8) observar las acciones, transacciones y resultados previamente seleccionados, 9) tematizar, es decir, preparar los retratos y los casos de estudios, 10) adecuar los temas a las audiencias, y

267

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

11) prepare y entregue presentaciones y reportes. Repertorio de Técnicas de Valoración Rápida Las técnicas que se examinarán en esta sección son de las más ampliamente usadas en el monitoreo de programas sociales52: la entrevista a informantes claves, las entrevistas de grupo de enfoque, las entrevistas a la comunidad y los registros estructurados. En esta comparación se considerarán los portafolios, que se analizarán posteriormente.

Preguntas de comparación

Entrevista a informantes claves

Entrevistas de grupo de enfoque

a) ¿En qué consiste la técnica?

Se entrevista a Se entrevista a expertos como grupos individuos.

b) ¿Cuál es el propósito?

Información relevante sobre el programa

c) ¿Cómo se lleva a cabo? d) ¿Cuántas personas se involucran?

Entrevistas a la comunidad

Registros estructurados

Portafolios

Se entrevista a tipos de informantes.

Se identifican los recursos.

Se organizan las evidencias de desarrollo de las actividades.

Información y discusión de grupo

Información relevante sobre el programa

Entrevista centrada en presencia y uso de recursos críticos

Demostrar el progreso del programa.

Entrevista cara a cara

Entrevista en dinámica estructurada

Cara a cara o en dinámica

Observación

Fotos, videos, encuestas, todo tipo de documentos.

Máximo 45

Máximo 15

Máximo 45

Dos.

52 Entre las principales fuentes podemos señalar: Kumar, Krishna, Rapid Appraisal Methods, Washington, D.C., The World Bank, 1993; Rietbergen-McCracken, J. and D. Narayan, Participation and Social Assessment: tools and techniques, Washington, D.C., The World Bank, 1998; Valadez, J. and M. Bamberger, Monitoring and Evaluating Social Programs in Developing Countries: a handbook for policymakers, managers, and researchers, Washington, D.C.: The World Bank, 1994.

Técnicas sencillas y rápidas del monitoreo social

268

Monitoreo y evaluación del diseño y desempeño de programas sociales

Preguntas de comparación

Entrevista a informantes claves

Entrevistas de grupo de enfoque

Entrevistas a la comunidad

Registros estructurados

Portafolios

e) ¿Qué recursos se necesitan?

Traslado y manutención

Traslado, manutención y logística.

Traslado y manutención.

No requiere.

f ) ¿Cuánto tiempo requiere?

Una semana

Un día

Un día, pero la actividad es permanente

g) ¿Qué tanta Experto en capacitación es entrevista idónea?

Experiencia

Poca experiencia Nada

h) ¿En que tipo Focalizado en de monitoreo problemas debe aplicarse?

Condiciones de Impacto en la participación implementación

i) ¿Cuáles son algunos de sus mayores beneficios?

Se identifican debilidades y riesgos

Se conocen las perspectivas públicas de los actores

j) ¿Cuáles son algunos de sus principales riesgos

No es generalizable y puede haber sesgos de hipercrítica

No es generalizable y los “sin voz” pueden ser pasivos

Auditoría de recursos

Evidencia de impacto

Se obtiene información valiosa de la implementación de todo tipo de actores.

Se identifica la presencia y uso de recursos críticos.

Se organiza de manera sistemática el nivel de logro de los objetivos

No es generalizable.

Se limita a recursos.

Puede ser meramente formal, “una orden más”.

A. Entrevistas a informantes claves Las entrevistas a informantes claves consisten en entrevistas semi-estructuradas a personas especialmente conocedoras del tema sobre el que se desarrolla el programa, tanto desde el punto de vista del problema (en este caso pueden ser especialistas), beneficiarios u operarios con una perspectiva especial. Este tipo de entrevistas requiere de muy pocos investigadores (de uno a tres), quienes deben tener experiencia (antropólogos, sociólogos, trabajadores sociales, etc.) o ser capacitados especialmente por parte de un experto.

269

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

Las entrevistas a informantes claves, como toda entrevista etnográfica, evita corroborar las teorías de los investigadores y más bien se interesan en la perspectiva propia de cada informante. Se basan en una guía de unas pocas preguntas (de 5 a 15, aproximadamente), que pueden sufrir las variantes que se requiera para que sean claras para los entrevistados y permitan la obtención de información relevante y representativa sobre la forma de pensar “auténtica” del informante. Por lo que se debe eliminar, en lo posible, toda posible influencia al informante de parte del entrevistador o de la manera y lugar de hacer la entrevista. La entrevista debe ser similar a una charla amigable, de manera que se desarrolle en un ambiente de confianza y, dadas las circunstancias, se permita profundizar en los temas. Las entrevistas de informantes clave tienen una duración en un rango de 45 a 120 minutos por informante. Si los entrevistados sólo van a serlo una única vez es normal que el número sea de 10 a 25 informantes, quienes deberán ser cuidadosamente elegidos como informantes realmente importantes por su posición, experiencia, conocimiento o rol que juegan en el programa. Es muy recomendable que el registro de la entrevista se realice con la máxima precisión posible en su transcripción, por lo que es muy recomendable audiograbarla y, en ciertos casos, videograbarla (especialmente cuando el video no irrumpe demasiado con la “naturalidad” del proceso”, esto sucede ante informantes relativamente acostumbrados al procedimiento). Estos medios de registros permiten la precisión suficiente para analizar y contrastar las respuestas. Usualmente las entrevistas a informantes claves se desarrollan una única vez, aunque un diseño mejorado consistiría en que se seleccione un panel de informantes que durante el proceso de implementación, provea de la información requerida por el proceso de monitoreo. Un panel se forma exactamente por los mismos informantes, durante todo el tiempo que dure el mo-

Técnicas sencillas y rápidas del monitoreo social

270

Monitoreo y evaluación del diseño y desempeño de programas sociales

nitoreo. Usualmente las entrevistas de informantes con base en grupos panel pueden iniciarse con unos 35 informantes. Claro que siempre sucederá que algunos informantes no deseen, o no puedan, continuar formando parte del panel. Por lo que en un principio deberá constituirse de manera que se estime alrededor de un 20% de disminución de la muestra por año. En general no se recomienda que se sustituya a quienes se dan de baja del panel debido a que son informantes especialmente seleccionados. La sustitución tiene sentido cuando la selección es aleatoria básicamente. En caso de que se lleve a cabo el monitoreo con base en un grupo panel es importante que la guía de preguntas sea la misma para que el análisis se base en la comparación de las respuestas a las mismas preguntas, tratando de mantener siempre la sensibilidad a los diversos sentidos y significados que aportan los informantes a su respuestas, así como a la diversidad de sus contextos. EJEMPLO: Cuestionario básico para la entrevista de informantes claves en Honduras Introducción Bienvenidos a esta entrevista de grupo de enfoque organizada por el programa de capacitación en gerencia social del INDES. Usted ha sido especialmente seleccionado por ser un profundo conocedor de la realidad de la política social en el país. Le pedimos el favor de hablar de manera abierta y candorosa, sin ocultar cosas o con medias verdades. El programa está realmente interesado en saber cómo puede ser de impacto, por lo que beneficiamos más al país expresando de manera sincera nuestras opiniones. Como estamos interesados en captar la diversidad de situaciones, convocamos a personas con muy diferentes experiencias en áreas distintas. De esta forma esperamos contar con una visión más realista de la situación de la gerencia social en Honduras.

271

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

Con esto en mente, los propósitos de la entrevista serán: ● Identificar las competencias técnicas reales y necesarias de los gerentes sociales en Honduras. ● Apreciación del papel de la gerencia social en la política social del país. ● Clima organizacional que inhibe o facilita las competencias de una gerencia social exitosa. Preguntas. 1. ¿Pudiera explicar qué experiencia tiene en administración de asuntos públicos, ya sea dentro o fuera del gobierno? 2. ¿Qué significa para usted el concepto de gerencia social? o ¿qué hace específicamente un gerente social? 3. En INDES se sostiene que la participación es esencial para la sostenibilidad e impacto de las políticas sociales, ¿cómo evalúa usted la capacidad de las organizaciones públicas del país para promover participación en las políticas sociales? (sea tan específico a casos concretos que le haya tocado vivir como sea posible) 4. En su organización, ¿cómo se considera la integración de las políticas económicas y las políticas sociales? 5. ¿Qué tanto compromiso real identifican ustedes en los niveles de formulación y operación de las políticas sociales con la equidad social?, por ejemplo, ¿puede un funcionario realmente interesado en la inclusión social sobrevivir en una cultura organizacional que en ocasiones ha sido calificada de insensible y fría ante las necesidades sociales? ¿Puede ilustrar casos?

Técnicas sencillas y rápidas del monitoreo social

272

Monitoreo y evaluación del diseño y desempeño de programas sociales

6. Uno de los análisis actuales indica que las reformas sociales en A.L. han estado seriamente limitadas por problemas de las organizaciones públicas que las han estado tratando de impulsar. Considerando las reformas sociales que se están introduciendo en Honduras, ¿qué aspectos propios de las organizaciones públicas facilitarían y cuales inhibirían su funcionamiento efectivo? 7. Un gerente social efectivo en este país, ¿qué conjunto de instrumentos debe usar normalmente? 8. ¿Qué tanto se manejan instrumentos como (señale si poco, mucho o nada). a) Monitoreo. b) Evaluación. c) Árbol de problemas. d) Análisis de involucrados. e) Análisis del entorno. f) Planificación estratégica. g) Marco lógico. h) Construcción de escenarios. i) Priorización de objetivos. 9. Uno de los problemas típicos de los procesos de capacitación radica en la dificultad de transferir el nuevo conocimiento de los egresados al resto de la organización en donde labora. Considerando experiencias exitosas en Honduras, ¿qué recomendaría a INDES para impulsar esa transferencia? (Puede mencionar los casos exitosos de transferencia).

273

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

10. Hemos discutido el estado de la gerencia social y su inserción en la realidad organizacional de Honduras. Mi impresión es que su punto de vista consiste (resumir), ¿Estoy en lo correcto?, ¿Quiere agregar algo más en este aspecto? Muchas gracias por su participación. Su opinión en este aspecto es sumamente importante para el INDES y el BID, por lo que en febrero del 2003 los invitaremos de nuevo a conversar sobre estos temas. Le recuerdo que los resultados de esta reunión son uno de los insumos de la evaluación del programa. Muchas gracias de nuevo. B. Entrevistas de grupos de enfoque La técnica de entrevistas de grupo de enfoque es una Técnica de Valoración Rápida que puede ser ampliamente aplicada en procesos de monitoreo de programas sociales. La técnica además de permitir obtener información valiosa con rapidez y con escasos recursos es sencilla de aplicar por parte de investigadores sociales familiarizados particularmente con métodos de investigación cualitativa. Las entrevistas de grupo de enfoque han tenido uso intensivo en mercadotecnia, tanto de productos como política. Sin embargo, es una técnica de investigación con poco uso en otras disciplinas. Ha sido sino hasta recientemente que se ha extendido su uso a otras áreas del conocimiento. En este documento se sugiere que la técnica ofrece importantes ventajas comparativas en específicamente en la evaluación de procesos de la gerencia social. Es especialmente útil para apreciar las actitudes y expectativas de los diversos actores, incluso para obtener información que permite mapear las perspectivas de los grupos involucrados. Sin embargo, es importante anotar desde un principio que con esta técnica no se obtiene información de impacto cuando el impacto no está relacionado con cambio de actitudes o percepciones

Técnicas sencillas y rápidas del monitoreo social

274

Monitoreo y evaluación del diseño y desempeño de programas sociales

públicas. Aún con sus limitaciones, es una técnica muy fácil de aplicar en las diversas etapas de un proceso como los programas sociales. Las entrevistas de grupo de enfoque son una modalidad de la investigación cualitativa, específicamente de las entrevistas. Al igual que en ellas existe un entrevistador y entrevistados. Sin embargo, en las entrevistas de grupo de enfoque los entrevistados se constituyen en un grupo que a la vez de responder las preguntas intercambian opiniones y aprenden de las respuestas de los demás o reaccionan a ellas. No se trata de varias entrevistas individuales al mismo tiempo sino que se espera que la dinámica de grupo estructure las respuestas y las reacciones de los participantes. Los productos típicos de las entrevistas de grupo de enfoque es la captación de percepciones y reacciones públicas, es decir, las que una persona está dispuesta a expresar y dar a conocer a extraños. Cuando en la evaluación de procesos de la gerencia social nos interesa la reacción pública de los actores muy probablemente la técnica indicada es este tipo de entrevista. En cambio si nos interesan más las perspectivas elaboradas y propias de cada actor, lo que piensa sin decirlo en público, es más probable que la técnica de entrevista profunda individual sea la más indicada. Por la importancia de la dinámica del grupo es muy importante el diseño de su estructura. Es por ello que se le denomina de enfoque, ya que no interesa convocar a diversas personas a que hablen entre sí de cualquier cosa. La entrevista no se da en una reunión que ocurre naturalmente (es por ello que no comparte esta característica de los procedimientos naturistas). Si no que los investigadores la convocan porque se espera escuchar nociones precisas en las conversaciones que se van a provocar entre los participantes. El foco de atención se estructura a partir del cuestionario, el entrevistador, las características de los entrevistados y el ambiente en el que se desarrolla la entrevista. Todos estos elementos deben limitarse a un tiempo que usualmente no so-

275

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

brepasa los 90 minutos de duración (el tiempo depende tanto del número de participantes como de preguntas en el cuestionario). CUESTIONARIO El cuestionario en el que se basa el entrevistador guarda mayor semejanza a una guía de entrevista profunda que a una encuesta. Es decir, se enlistan preguntas previamente planeadas, aspectos provocadores de cada pregunta y opciones de fraseo o de preguntas de seguimiento que puede o no utilizar el entrevistador dependiendo del flujo de la comunicación, del nivel de entendimiento de los temas por participante, de la competencia lingüística de cada uno de ellos, y de los énfasis o cambios de temática que exige el tratamiento del tema según se vaya desarrollando la entrevista. Por lo que el entrevistador debe haberse involucrado en la construcción del cuestionario, conocer la razón de cada una de las preguntas y tener criterio (y libertad) para añadir, eliminar o cambiar alguna de las preguntas que se establecen, siempre y cuando se cumpla más eficientemente con el propósito de la entrevista. El entrevistador debe resolver artísticamente la tensión entre mantener el foco de investigación bien estructurado, por una parte, y mantener un flujo de conversación interesante y dinámica. Los cuestionarios para grupos de enfoque típicamente contienen unas 10 preguntas, que se clasifican en tres tipos: a) Preguntas de calentamiento. Consisten en unas dos preguntas que permite que los participantes se sientan bien porque disminuyen la incertidumbre inicial al ser suficientemente fáciles de responder. Debe procurarse, sin embargo, que sean relevantes para el proceso de indagación. b) Preguntas centrales. Son aquellas que configuran el objetivo central de la investigación. Usualmente son de carácter exploratorio, son abier-

Técnicas sencillas y rápidas del monitoreo social

276

Monitoreo y evaluación del diseño y desempeño de programas sociales

tas, claras, evitan lenguaje técnico (si es que los participantes no son técnicos) y se permite considerar sus diversos significados. En la mayor parte de los casos son de 5 a 7 de las preguntas del cuestionario. c) Preguntas de cierre. Consisten en preguntas que indagan cuestiones o significados que hasta ahora no se han introducido en la conversación, o que sintetizan la manera como el grupo o sus partes se han posicionado con relación al tema. Las preguntas de cierre también le permite al entrevistador confirmar si sus interpretaciones de proceso son correctas (por ejemplo, cuando dice: me parece que la mayoría sostuvo..., mientras que usted sostuvo..., ¿estoy en lo correcto?). Usualmente una o dos son las preguntas de cierre. El cuestionario de la entrevista de grupo de enfoque debe someterse al mismo tipo de clarificación y depuración que es común aplicar en los cuestionarios para entrevistas abiertas. Especial cuidado se debe poner al fraseo, especialmente cuando existen diferencias significativas en la escolaridad y cultura del entrevistador y los participantes, o entre los participantes. El diseño del cuestionario puede seguir el siguiente proceso: ● Clarificación del problema. ● Identificación de las preguntas. ● Primer borrador de las preguntas. ● Dé a conocer el cuestionario para recibir comentarios y críticas. ● Revise, revise, revise. En el fraseo de las preguntas tenga en consideración: ● Deben ser preguntas abiertas, sin implicar la dirección de las respuestas.

277

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

● Pregunte sobre las experiencias personas, recordar situaciones. ● Mantenga las preguntas simples. ● Tener precaución al dar ejemplos. En caso de que se realicen varias entrevistas de grupo de enfoque se debe utilizar el mismo cuestionario, aunque manteniendo los criterios de flexibilidad ya anotados. En general se recomienda que los participantes tengan muy claro el objetivo de la investigación pero no deben conocer de antemano el cuestionario concreto, ni acudir a la reunión con escritos como si se presentaran ponencias ya que en principio disminuiría la posibilidad de ser flexible y aprender. Por otra parte, la dinámica de la entrevista de grupo de enfoque se puede enriquecer con actividades o presentaciones, por lo que no se resume a las preguntas. Por ejemplo, se puede presentar un lema o un objeto y pedir reacciones acerca del mismo, pedir que los participantes realicen actividades como dibujar, entre muy diversas modalidades de interacción que enriquecen a este procedimiento con relación a las entrevistas individuales. De cualquier manera, las otras actividades son complementarias del cuestionario y no lo sustituyen. ENTREVISTADOR El entrevistador normalmente es miembro del equipo de investigación, aunque ocasionalmente algunos equipos de investigación contratan personas especializadas en el manejo de grupos, especialmente cuando el tipo de participantes es desconocido por el grupo de investigación o, por alguna circunstancia, se considera que puede haber conflictos o disminución de la validez de la dinámica como proceso de investigación si participa alguno de los investigadores. Como regla general es preferible que el entrevistador no sea

Técnicas sencillas y rápidas del monitoreo social

278

Monitoreo y evaluación del diseño y desempeño de programas sociales

conocido por los participantes, o en todo caso, que le sea reconocida una función suficientemente legítima y neutral entre todos los participantes. La función del entrevistador consiste en obtener información valiosa para el objetivo de la investigación. El equipo de investigación debe especificar los parámetros o criterios para identificar la información pertinente y relevante. Para obtener esa información el entrevistador contará con recursos importantes: ser máxima autoridad en la dinámica, el cuestionario, la distribución del tiempo y la capacidad para cambiar de pregunta o participante. Únicamente existe un entrevistador (aunque, como veremos más adelante existen otros miembros del equipo de investigación desempeñando otras funciones durante la entrevista) quien entrevista a los participantes de manera que respondan a la pregunta e integren las respuestas de los demás. El entrevistador puede distribuir inicialmente un cuestionario en el que los participantes informen sobre sus datos generales (género, edad, nivel de educación, de ingreso, ocupación, experiencia en el tema). El entrevistador tiene libertad para imponer su estilo de dirección de la entrevista. Lo importante es involucrar en los participantes en una conversación amigable sobre el tema propuesto, por lo que debe hacer todo aquello que sea indispensable para mantener un flujo conversacional permanente, dentro de un clima que propicie confianza para participar. Sin caer en recetas es frecuente encontrar las siguientes etapas en una entrevista de grupo de enfoque, todas ellas decididas por los entrevistadores: 1. Obtención de información socio-demográfica adicional, a través de un cuestionario distribuido desde el principio. 2. Inicio de la reunión (según el tiempo marcado por la puntualidad cultural) presentándose a sí mismo, a las personas del equipo de investigación y proponiendo que cada quien se presente brevemente.

279

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

3. El entrevistador especifica los objetivos de la entrevista y las reglas a seguir durante la sesión (tiempo disponible, procedimiento para asignar la palabra, por ejemplo). Es importante enfatizar que se trata de un proceso de investigación, por lo que la sinceridad es importante. Igualmente se compromete tanto el entrevistador como el resto del equipo a mantener el anonimato en los resultados. Si se audiograba o videograba se debe indicar el nivel de discrecionalidad del uso de la información registrada. 4. Inicia con las preguntas de calentamiento. Trata de fomentar iguales oportunidades de participación. Emite mensajes cordiales, que ayudan a construir el ambiente de confianza. 5. Una vez que termina las preguntas de calentamiento se inician las preguntas críticas. Se sugiere marcar la importancia de las preguntas y el tono de respuesta deseado. 6. Durante las preguntas críticas se puede convocar a observar objetos, escribir, dibujar, o a realizar las actividades previamente planeadas. En todo caso se debe explicitar la razón para hacerlo. El entrevistador analiza internamente por grupos de respuestas o posiciones entre los entrevistados. 7. Una vez que se considera que se ha obtenido la información que se buscaba se asegura de comprobar si sus hipótesis corresponden a la realidad, por lo que formula las últimas preguntas. 8. Termina la sesión, por lo que agradece la participación. Puede responder preguntas relativas al destino de la información pero se recomienda no emitir juicios sobre las participaciones o sobre el tema tratado. 9. El entrevistado redacta un informe personal sobre la sesión.

Técnicas sencillas y rápidas del monitoreo social

280

Monitoreo y evaluación del diseño y desempeño de programas sociales

10. Comparte el informe con los tomadores de nota y con el resto del equipo de investigación. Termina su labor de entrevistador y se convierte en un analista más de la información. Finalmente, es importante señalar que la entrevista de grupo de enfoques involucra competencias de parte del entrevistador que no son universales. Al menos debe de comprender la naturaleza de la investigación, tener curiosidad, competencias de comunicación, ser amigable, tener buen sentido del hunos, tener interés en la gente, saber escuchar con inteligencia, ser abierto a nuevas ideas y poder resolver problemas de proceso. Los entrevistadores no tienen un único papel que desempeñar. Dependiendo de su estilo personal, del objetivo de la investigación y de la estructura del ambiente el entrevistador puede asumirse como: ● Buscador de sabiduría ● Novicio iluminado. ● Consultor experto. ● Retador. ● Árbitro. ● Miembro del equipo de participantes. ● Terapeuta. Ninguno de los papeles es el mejor. Muchos factores indicarían cual es el indicado. Por lo que es importante que el entrevistador reciba retroalimentación después de realizada cada entrevista. En cualquier caso, si en una evaluación se necesitan varios grupos de enfoque es muy posible que se prefiera usar el mismo moderador, con el fin de controlar por la diversidad de estilos y para depurar las competencias de entrevistador de grupo. El entrevistador es apoyado por otras personas del equipo de investigación en la obtención de información. Si la entrevista se videograba probablemente

281

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

únicamente se necesita de dos personas que videograben desde ángulos complementarios. Si no se realiza videograbación se recomienda utilizar como apoyo a dos “tomadores de nota”, quienes pueden audiograbar, pero cuya función consiste en apuntar en un cuaderno lo que dicen los participantes tan literalmente como sea posible, siempre identificando quién lo dice, y señalando los énfasis o la emotividad que se involucra en la comunicación, tanto la verbal como la no verbal. Usualmente los tomadores de nota se ubican detrás de los participantes y se distribuyen la responsabilidad de obtener información de aquellos o aquellas a quien puedan ver el rostro. La base de información de cada entrevista de grupo de enfoque se compone de la videograbación, su transcripción (o la que corresponde a la audiograbación), la información de los tomadores de notas y las notas del entrevistador. Ocasionalmente alguien más del equipo de evaluación hace comentarios generales sobre el desarrollo de la entrevista, en ese caso estas notas también se toman en consideración para la base de información. Si se pide que los participantes escriban o dibujen, los productos también se consideran en el análisis. Por lo general no se aceptan notas de los participantes que no formen parte de la dinámica planeada. MUESTRA DE PARTICIPANTES Uno de los temas más criticados acerca de la validez de los grupos de enfoque, y de los menos tratados de manera sistemática por los autores, es el de las estrategias de selección de la muestra. La muestra es obviamente conceptual, no representativa de la población. Es decir, no se trata de generalizar un atributo a una población determinada, sino de clarificar o construir el atributo en sus significados y alternativas conceptuales. Por lo que se convoca a personas que nos permitan, a la vez, comprender “sus” significados y perspectivas. Si este es el propósito, entonces debemos tener en mente qué tipos de partici-

Técnicas sencillas y rápidas del monitoreo social

282

Monitoreo y evaluación del diseño y desempeño de programas sociales

pantes nos permitirán tanto la clarificación como la captación de la diversidad. Así, en los grupos de enfoque se mantiene la tensión entre invitar a personas que pueden informarnos sobre sus perspectivas de manera articulada y que sean lo suficientemente tolerantes como para escuchar a otros expresar las suyas, por una parte, y por otra, convocar a personas de muy diversas perspectivas, con el fin de conocer la riqueza de los significados de un atributo. La tensión entre lo homogéneo y lo heterogéneo es esencial en las decisiones sobre la muestra, como la cantidad de grupos que se necesitan y a quienes convocar. Siempre debe recordarse que usualmente los grupos de enfoque se componen de 8 a 12 personas. Esta regla general acepta que puede haber menos participantes (incluso 2, cuando se trata de conocer la interacción de parejas) pero no más. Con la tensión entre convocar a un grupo homogéneo, que pueda conversar, y con suficiente heterogeneidad interna como para conocer el más amplio rango posible de perspectivas, como criterio de muestra conceptual usualmente se determina realizar tantas entrevistas de grupo de enfoque como sea necesario para obtener saturación teórica, es decir, que ya no hay sorpresas en lo que dicen los participantes, incluso es posible predecir la información que aportan porque están dentro de un prototipo que ya ha sido identificado. Es claro que la noción de saturación teórica es relativa a un contexto definido. El criterio de saturación teórica puede ser identificado de antemano pero usualmente los entrevistadores expertos desarrollan una intuición educada que les permite decir: es suficiente, ya sabemos lo que necesitábamos saber. Nada impide que quien vaya usar la investigación o los mismos investigadores consideren que no se ha llegado a la saturación teórica y que por lo tanto se necesite de más entrevistas de grupo de enfoque (en otros lugares, con otros tipos de personas, con otro tipo de preguntas). Existen proyectos de evaluación con tres o cuatro entrevistas de grupo de enfoque y otros con decenas

283

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

de ellos. Ciertamente no se recomienda llevar una única experiencia de este tipo de entrevista. Por otra parte, el problema sobre a quién se debe invitar a participar en la entrevista se resuelve con la misma tensión. Se invita a quienes puedan mostrar tolerancia a las opiniones de otros; en cuanto a esta característica los grupos serán homogéneos. En cambio, se convoca de manera que podamos contar con al menos dos posiciones dentro de cada grupo de enfoque. Si es posible definir más alternativas es aún mejor. Saber de antemano cuál es la perspectiva típicamente es una hipótesis a confirmar en el proceso, aunque en ocasiones se puede seleccionar de manera intencional a ciertas personas de las cuales se conoce su posición. Esto es válido cuando esperamos motivar reacciones a esa posición en el resto del grupo. De manera que si el grupo se va a componer de diez personas, se invita a cinco que, por alguna razón, creamos que va a tener una posición diferente en cuanto al tema a tratar con relación a los otros cinco. Por otra parte si es importante para la evaluación contar con la perspectiva de los diversos tipos de involucrados entonces se recomienda convocar a entrevistas de grupos de enfoque de un único tipo de involucrados (únicamente padres y madres de familia en un grupo, mientras que en otros únicamente maestros y maestras, por ejemplo). La razón reside en que los códigos culturales propios de los roles de los involucrados difícilmente se rompen en el corto tiempo de una entrevista de grupo de enfoque. Una técnica sencilla que permite desarrollar criterios muestrales polarizados son las matrices. Las matrices nos indicarían la solución que en nuestra muestra damos a la tensión entre conformar grupos homogéneos pero con diversidad interna. Además la matriz nos puede guiar en la interpretación de los datos y en la información sobre los grados de saturación teórica que hemos obtenido.

Técnicas sencillas y rápidas del monitoreo social

284

Monitoreo y evaluación del diseño y desempeño de programas sociales

Un ejemplo lo constituye la evaluación de un programa de capacitación de maestros del que se quiere conocer el repertorio de perspectivas que tienen las madres y padres de familia acerca de la práctica pedagógica de los maestros. El equipo evaluador considera que existen razones fundadas para esperar distintos patrones recurrentes en las opiniones de las madres y padres de familia urbanos y rurales, así como las madres y padres de quienes obtienen mejores rendimientos académicos y quiénes no. Por lo que se decide en principio llevar a cabo al menos 18 entrevistas de grupo de enfoque. La información obtenida en las entrevistas va a ser analizada de manera que se traten de confirmar la existencia o no de patrones recurrentes en los grupos que están dentro de las casillas (y entre los urbanos y rurales en contraste mutuo). Número de Escuelas urbanas entrevistas de grupo con maestros de enfoque. capacitados.

Escuelas urbanas con maestros sin capacitación.

Escuelas rurales Escuelas rurales con maestros con maestros sin capacitados. capacitación.

Padres y madres de familia de estudiantes de alto rendimiento

Padres y madres de familia de estudiantes de bajo rendimiento

Con este mismo criterio se puede invitar a la mitad de madres y la mitad de padres para verificar alguna hipótesis sobre diferencias de género en las perspectivas (al igual que diferente nivel socio-económico o cultural, etc.). AMBIENTE DE LA ENTREVISTA El entrevistador es el responsable de diseñar el ambiente para que la entrevista se desarrolle de manera agradable y sin complicaciones. No existe una estructura única, en general el manejo del espacio, los muebles, la ropa, y los determinantes físicos del sonido son elementos que conforman el ambiente, y sobre los que es necesario preocuparse. Pero lo que puede ser confortable

285

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

y legitimador para algunos participantes, puede ser inhibidor y cuestionable para otros. Se debe tener control del espacio donde se desarrolle la entrevista durante el tiempo en el que se desarrolle y el control lo ejerce únicamente el entrevistador. Por lo general se tiene algo de comida y un baño cerca del evento. Ejemplo de entrevista de grupo de enfoque, dirigido a funcionarios de ONGs y Organismos Internacionales, vinculados a la gerencia social Fecha: 14 mayo del 2002 Lugar: Tegucigalpa, Honduras. Hora: 9:10 a 11:00 am.  R. C.: El INDES es el Instituto Latinoamericano para el Desarrollo Social y viene a ser como el brazo académico del Banco Interamericano de Desarrollo. Es un centro que está encargado de capacitar en gerencia social, también es un foro de discusión para la gerencia social. El surgimiento del INDES es en el año de 1994, a partir de que el Banco Interamericano de Desarrollo observa que hay ciertos cuellos de botella que impiden que salgan los proyectos y los programas sociales que financia. Entonces, muchas veces se conseguía el dinero, se aprobaba el proyecto y no se podía ejecutar, por carencia en nuestros países de habilidades de un gerente social y con base a nuestras necesidades, el Banco Interamericano crea este Instituto, que se dedica a capacitar en habilidades y capacidades para la gerencia social; entonces, eso es el INDES. El INDES hace cursos a nivel regional, entendiendo por región la macroregión de América Latina y El Caribe; se realizan estos cursos en Washington

Técnicas sencillas y rápidas del monitoreo social

286

Monitoreo y evaluación del diseño y desempeño de programas sociales

y van personas de toda América Latina y El Caribe. Sin embargo, se han empezado a hacer algunos programas nacionales en los que el INDES se instala por 2 años en el país y capacita a todas las personas que están vinculadas a proyectos y programas sociales; y ese es el caso del INDES Honduras. Iniciamos nuestras actividades en enero pasado, estamos pensando capacitar a 500 personas del sector público, de la sociedad civil y de las universidades y también de Tegucigalpa y de los Departamentos y localidades del interior; esperamos que la mitad de nuestros alumnos provengan de municipios distintos y departamentos distintos a Tegucigalpa y al centro. Bueno, en esta actividad de dos años que vamos a realizar, una actuación muy importante para nosotros es evaluar si el programa que se realizó, tuvo impacto o no, si tuvo algún sentido hacer esta capacitación y para poder evaluar, nosotros necesitamos inicialmente tener una línea de base; o sea nosotros tenemos que hacer una evaluación al año de nuestro funcionamiento y a los dos años y posteriormente el impacto cuatro años después. Pero si nosotros el año próximo descubrimos que está muy bien la gerencia social en Honduras, nosotros no vamos a saber si fue producto de nuestro programa, o que ya existían esas habilidades; entonces, por eso es que ahora, cuando estamos iniciando vamos a hacer la línea de base, para que dentro de un año, podamos comparar los resultados que tenemos, con la situación actual y ver si avanzo algo en función del programa que estamos empezando; esa es la razón por lo que los estamos convocando, como expertos en cuestiones de gerencia social, como personas que trabajan en los problemas y programas sociales de Honduras y que pueden conocer de manera práctica y por toda su experiencia, cual es la situación, entonces esa es la razón. Por eso quiero darles la bienvenida, agradecerles muchísimo, para nosotros es muy importante establecer esta línea de base, porque es la que nos va a decir si tuvo algún sentido este programa o no. Creemos que va a ser también

287

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

en beneficio del país y en ese sentido les agradecemos mucho su presencia. Yo me voy a retirar, muchísimas gracias por haber venido con nosotros y quedan con las señoritas son las que van a estar encargadas de conducir este grupo de enfoque; entonces les agradecemos mucho y ojalá esto sea útil para el país y para el trabajo que ustedes también van a desempeñar.  J.S.: Bienvenidos a esta entrevista de grupo de enfoque patrocinada por el INDES. Cada uno de ustedes ha sido especialmente seleccionado, por ser un profundo conocedor de la realidad política y social de nuestro país; sabemos que están involucrados con organizaciones que tienen que ver con las políticas sociales; sin embargo, esta invitación es a título personal y las opiniones que aquí viertan, no serán consideradas como opiniones oficiales; los resultados de esta entrevista es para uso interno del BID y el BID les garantiza la total confidencialidad de la misma; la filmación de esta entrevista es parte de la técnica de grupos de enfoque, metodología que hemos elegido para esta parte de la investigación. Entonces con esto y por todo lo anterior, lo que dijo R, entonces les pedimos el favor de hablar, de expresarse de manera abierta y franca, pues como lo dijo R también, el INDES también interesado en conocer cuál puede ser el impacto del programa nacional que está comenzando en Honduras, inició en el mes de enero y finaliza en el 2003. Entonces, nos beneficiaríamos todos expresando nuestras opiniones de manera clara y sincera; por otra parte, la entrevista no la hacemos en forma individual, sino que grupal, con el propósito de que aprendamos entre todos y que la retroalimentación permita probablemente, moderar algunas opinio-

Técnicas sencillas y rápidas del monitoreo social

288

Monitoreo y evaluación del diseño y desempeño de programas sociales

nes radicales que se puedan tener; como estamos interesados en conocer una diversidad de situaciones, hemos invitado a personas con muy diversas experiencias en áreas distintas, lo que nos permitirá poder tener una visión más realista de la situación de la gerencia social en Honduras. Con esto en mente, los propósitos de la entrevista serán: ► Identificar las competencias técnicas, reales y necesarias que deben

manejar los responsables de los programas y proyectos sociales; la otra seria:

► Apreciación de la gerencia social en la política social del país; y ► Conocer el clima organizacional, que inhiba o facilite las

competencias de una gerencia social exitosa.

► Ahora vamos a hablar de la mecánica de trabajo y de las reglas: ► Yo como moderadora de la mecánica les formularé una pregunta, si

consideran que no esta clara, por favor soliciten aclaración.

► Se dará la voz a quien la solicite levantando la mano; por favor digan

su nombre cuando vayan a intervenir.

► Y como se trata de escuchar de manera atenta a todo el grupo,

porque las opiniones o comentarios que puedan darse entre ustedes nos importan mucho, entonces no queremos perdernos para nada, ningún detalle de sus experiencias, entonces les pediré, que escuchemos atentamente al que esta hablando y evitar comentarios con los compañeros.

289

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

► Tendremos alrededor de 2 horas más o menos y estamos un

poquito tarde, verdad, para esta reunión.

► Si considero que se pasan del tiempo, otra de las reglas, les diré que

ya estamos sobre tiempo, verdad.

Entonces, con las reglas dadas, podemos continuar. 1. ¿Podría cada uno de ustedes explicar qué experiencia tiene en administración de asuntos públicos, ya sea dentro o fuera del gobierno?  MG: Fundemun En la Fundemun abordamos asuntos públicos a pesar de que somos una ONG, el punto es que trabajamos para la transformación del municipio. Entonces trabajamos para la municipalidad como una institución de gobierno y para la comunidad como participante, para hacer cogobierno del municipio, entones el trabajo con la comunidad implica que implementamos algunas formas de gerencia social. En principio, va enfocada la gerencia social a crear una estructura permanente al interior de la municipalidad, para que pueda orientar lo que son todas las necesidades de las comunidades; esta gerencia social la potenciamos para que pueda hacer la planificación de todo lo que son los distintos sectores del municipio, luego para que pueda también hacer gestión de toda la orientación que plantean las comunidades y para que pueda hacer también coordinación, con las distintas organizaciones que están al interior del municipio. Definitivamente que esto no sería posible sin la parte de participación, que es una línea que trabajamos con profundidad en el conocimiento de todos los instrumentos a nivel local, para que la gente pueda tener una participación constructiva y para que sus opiniones y decisiones puedan ser tomadas en cuenta en los planes de inversión municipal, que se implementan

Técnicas sencillas y rápidas del monitoreo social

290

Monitoreo y evaluación del diseño y desempeño de programas sociales

para cada año y que tienen un período también de mediano o largo plazo, entonces básicamente esta gerencia social va encaminada a potenciar personal de la municipalidad, que pueda conducir los procesos participativos, para poder llegar a satisfacer por último las necesidades de las comunidades.  ER: Save The Children Dado el carácter de los que estamos aquí, vamos a coincidir con ciertos puntos de los que la compañera expuso, acerca de que ahora estamos orientando a las municipalidades y a las comunidades para que participen coordinadamente, entones estamos fortaleciendo, a través de la capacitación, a las municipalidades, pero enfocándolos en que incrementen la participación de la comunidad, para el desarrollo de sus proyectos y los mismos alcaldes nos han pedido ciertos temas. Porque nos reunimos con ellos para hablar de sus debilidades como gobierno local y siempre nos dan puntos estratégicos de sus capacitaciones y se está involucrando a los líderes comunitarios en las capacitaciones junto con los alcaldes, para ver los diferentes planes; pero también estamos apoyando las instancias dentro de la alcaldía como ser la Unidad Municipal Ambiental, la defensoría de la niñez, para que haya gente capacitada en la Alcaldía, que continué su trabajo fuera de la parte política después de los cuatro años, para que ellos sean el apoyo técnico de los alcaldes.  MS: Naciones Unidas Actualmente me encuentro trabajando en un proyecto de descentralización y desarrollo municipal de las Naciones Unidas, con la cooperación sueca y en relación a la pregunta que usted hacia ¿cuál es nuestra experiencia en la administración pública dentro y fuera del gobierno?, la experiencia así que

291

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

en el plano personal y profesional he tenido ha sido en el área del sector público, tanto como en sector privado, con la sociedad civil, agencias de cooperación y últimamente dentro de este proyecto trabajo también con municipalidades; en ese sentido hemos estado trabajando en acciones de planificación, de evaluación y de coordinación, pero básicamente dentro del desarrollo de estas acciones de planificación, coordinación y evaluación ha sido más orientado a apoyar procesos de participación ciudadana y dentro de eso hay toda una gama, pues, de trabajo que se ha hecho en relación a planificación estratégica participativa. El apoyar municipalidades en áreas orientadas a mejorar el desempeño municipal, la prestación de servicios públicos, y esto en conjunto con una serie de organizaciones que hemos estado trabajando, entonces esto nos ha permitido un poco la relación y actualmente con el nuevo gobierno que tiene una nueva apertura al proceso de descentralización, que anteriormente había sido más de organizaciones no gubernamentales que estaban trabajando en proyectos de la cooperación, ahora encontramos un nivel de respuesta que siempre con enfoques sectoriales, pero que permiten ver que hay una mayor integración entre las políticas públicas y las políticas de las diferentes organizaciones que han estado trabajando y lo que decía M es bien importante, yo creo que a mí me tocó pasar la experiencia de SECPLAN a SETCO y la importancia de la participación que muchas veces la venimos pregonando, o sea que ningún proceso de planificación lo podemos seguir haciendo a estas alturas, o sea de abajo hacia arriba o viceversa, o sea, andar buscando esa sintonía, y en Honduras seguimos sintiendo enormemente el vacio de una instancia de planificación, o sea, quien planifica en este país, si lo seguíamos haciendo como anteriormente, con el enfoque que tenía SECPLAN, se pasa a un enfoque sectorial, o sea cada quien planificando dentro de su propio ministerio, por lo menos así

Técnicas sencillas y rápidas del monitoreo social

292

Monitoreo y evaluación del diseño y desempeño de programas sociales

yo siento ese enorme vacío de poder tener una planificación que sea integradora, sistemática, a lo largo de tantos problemas que tenemos en este país. Entonces yo creo que sí hay un enorme planteamiento en relación a las políticas sociales, se han creado gabinetes sociales, pero ese caminar todavía ahorita lo estamos viendo, pero sí es importante, yo creo que desde cada espacio que estamos, podemos ir generando ideas y estos espacios si nos permiten hacer esa integración.  RQ: Incades Yo trabajo en Incades, Instituto Centroamericano para el Desarrollo de la Economía Social, sobre el aspecto de la participación en lo que son las políticas del estado y la participación de los grupos sociales, creo que nosotros hemos cubierto algunas áreas un poco congruentes con lo que han hablado. En cuanto a los planes de inversión municipal en coordinación con el Fondo de Inversión Social, que en alguna medida ha fortalecido el desarrollo municipal, sí creo yo que a veces las alcaldías tienen la dificultad de los alcaldes como únicas autoridades y casi todas las cosas las centran en ellos como cabeza de grupo, pero yo creo que en ese aspecto como experiencia podría ser: ver cómo integrar todos los sectores, porque a veces el alcalde se cree como una autoridad única y que se debe centrar todo alrededor de su figura, creo que es una experiencia en varios municipios que hemos estado, que el alcalde quiere hacer todo, a veces imponer todo y creo que podría establecerse con todos los organismos que están en el proceso de fortalecimiento y descentralización municipal; poder entrar a cambiar un poco esos conceptos, creo que con participación también en el tema de los grupos étnicos, nosotros hemos estado haciendo una labor de capacitación en bancos comunales, cajas de ahorro, vinculados a las organizaciones

293

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

constituidas, igual creo yo que se necesitaría también que el Banco Interamericano y los demás organismos, tal vez dar mayor fortalecimiento a esos niveles, porque igual son organizaciones creadas, pero que han estado abandonadas de parte del estado y yo creo que habría que tener una estrategia de lo que es la participación de las organizaciones sociales y lo que es la participación estatal en ese nivel, yo creo que como esquema de este día, yo creo que nosotros estamos aquí, para contribuir con esta investigación indirecta que se puede hacer, y bueno, contribuir un poco con esta idea de lo que esta estableciéndose como INDES, creo que si como actividad principal habría que establecer algunas coordinaciones, porque habemos muchos que andamos en cosas y andamos a veces aislados, yo creo que habría que establecerse también, como parte de un proceso, la coordinación de todos los actores para poder lograr los objetivos lo más pronto y lo mejor.  NS: Fondo Cristiano para Niños de Honduras Estoy con el Fondo Cristiano para Niños de Honduras, la línea principal de trabajo nuestra es la participación comunitaria, pero basada no tanto en el rol de las alcaldías sino que en el rol de los mismos beneficiarios, de los padres de familia; ahora, una debilidad dentro de lo que es gerencia social dentro de los grupos con los cuales trabajamos, sí siento yo que es la parte de coordinación a nivel de las alcaldías y hay también un punto importante y es que se trabaja mucho, entiendo que hay muchas organizaciones que trabajan directamente con las alcaldías, pero no hay una, yo no veo una coordinación entre las políticas de las alcaldías, políticas sectoriales locales digamos, con las globales a nivel de país; o sea que se trabaja con el grupo de la autoridad local como algo independiente y no conectado a una política global. Me imagino que parte, y esto es una opinión muy personal, me parece que

Técnicas sencillas y rápidas del monitoreo social

294

Monitoreo y evaluación del diseño y desempeño de programas sociales

una parte del problema sí es indudablemente la parte política, que es muy difícil, en los últimos años, una vez que desapareció SECPLAN, yo quisiera saber quién conoce las políticas de mediano y largo plazo que el gobierno tiene en su área de salud, en su área de educación, o sea que se habla mucho, pero así como para que a los que trabajan con las alcaldías les digan: miren esta es la política global del país y ustedes están aquí, entonces siento que hay un poco de descoordinación, siento que hay una debilidad en las mismas alcaldías respecto a la coordinación de las ONGs, en sus lugares donde trabajan, o sea que si se les dice hay que coordinar, hay que hacer, pero hay mucha centralización a nivel de la persona del Alcalde y no de una participación más abierta; que tal vez eso les está impidiendo como para hacer una planificación más democrática diría yo.  JI: Aforde Yo trabajo con el Foro Social de la Deuda Externa de Desarrollo de Honduras Aforde y la Asociación de Organismos no gubernamentales Asonor. Parece muy interesante la pregunta sobre la administración en asuntos públicos dentro o fuera del gobierno; porque en principio la pregunta plantea la posibilidad de trabajar en la administración de lo público y desde afuera del gobierno. Nos plantea que lo público no solo corresponde al gobierno; nuestra experiencia es básicamente allí, fuera del gobierno y sí podríamos decir que es administración de lo público, en dos sentidos: ► Uno, en que ha sido generar propuestas hacia el gobierno sobre

diferentes temáticas: seguridad y violencia, derechos humanos, niñez, pueblos indígenas, transparencia, anticorrupción, políticas ma-

295

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

croeconómicas; entonces, eso visto como una tarea de incidencia, desde fuera del gobierno, y allí sí planteando al gobierno esto debería hacerse, esa sí ha sido una forma de allí tal vez no de administración sino de participación en lo público, pero tal vez más directamente con lo que es administración juntamente con las propuestas en algunas ocasiones no en todas, se ha dicho no solo al gobierno haga tal cosa, sino nosotros como sectores de sociedad civil, juntamente con esto que estamos proponiendo nos comprometemos a hacer esto. ► También como ejecutores de parte de lo que se propone, con las ca-

pacidades y competencias que se puedan hacer desde la sociedad civil, aunque también hay que decir, y más recientemente, también se ha buscado que las propuestas no solo sean de sectores de sociedad civil, sino que ir articulando las propuestas a los mismos sectores de gobierno, sobre todo a nivel local, para que esas propuestas no queden al final solo en propuestas, sino que en el mismo momento en que se van formulando, lleven ya algún nivel de negociación con el sector público.

Básicamente esa ha sido nuestra experiencia en la administración de asuntos públicos, proponiendo, generando propuestas de lo que debe hacerse hacia el futuro y ejecutándose o poniéndose como ejecutor de parte de lo propuesto. 2. ¿Qué significa para ustedes el concepto de gerencia social? O ¿qué hace específicamente un gerente social?  MS: Naciones Unidas Yo creo que en primer lugar, meterse en este concepto, tiene que ver mucho con la familiaridad en problemas de asuntos sociales; pero si ya lo

Técnicas sencillas y rápidas del monitoreo social

296

Monitoreo y evaluación del diseño y desempeño de programas sociales

ubicamos en la administración pública, el gerenciar, el conducir procesos orientados a la parte social, pues es un concepto bastante amplio, por lo menos yo diría: que si uno separa la palabra gerenciar y separa la palabra social, cada uno de los dos componentes que integran esa palabra son amplios y realmente nosotros en Honduras, aprender a caminar en este tema, no es que no hayan experiencias, es de pronto como que no hemos hecho un análisis en la guía o en la línea que hemos llevado a nivel social y las esperanzas siempre se quedan, por ejemplo, en las constituciones de los gabinetes sociales por ejemplo, que van a permitir así, en el caso de las instancias que el sector social, llamémosle salud, educación, como se han estado gerenciando, como se han estado coordinando y a mi me llama mucho la experiencia de ICADE, en este manejo del sector social de la economía, que es todo un proceso que se ha iniciado desde las bases y que ha permitido ir haciendo un ordenamiento en materia social a nivel de las comunidades, yo creo que eso es una experiencia que si el compañero nos la cuenta nos puede permitir ver realmente que es lo que se ha estado haciendo en esa área.  NS: Fondo Cristiano para Niños de Honduras Lo que dice la Licenciada es realmente muy importante, en realidad ¿qué es la gerencia social?, ¿nació ese nombre cuando empezaron las ONGs, las OPDs o, de dónde nació el término de gerencia social?, pues dentro de lo que yo sé, es algo como que lo dieron al hecho de que es un trabajo en el área social, pero no propiamente, porque cambia el término gerencia, ¿cuál es la debilidad dicen en el área de gerencia social?, ¿quienes son los gerentes sociales? Son los directores de ONGs o alguien que está metido en algo que tiene la palabra social o que tiene que ver con… Pero en realidad, a mi me pareció interesante, lo que la licenciada dijo respecto a separar los dos

297

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

términos, en realidad una debilidad, si se puede decir de la gerencia social, es propiamente la palabra gerencia, porque los gerentes sociales están más como inclinados a saber del área social, de salud, de educación, de mejoramiento de ingresos, pero la administración en sí es bastante débil. La formación de los gerentes sociales como tales, es decir… está basado en trabajadores sociales, o sea, no sé cómo explicarlo, ha habido como un movimiento, inicialmente, para manejar una organización, había que ser trabajador social, poco a poco se fue ampliando y aparecieron en realidad como que era una debilidad el área administrativa, en el trabajo social; entonces las organizaciones empezaron a buscar otro tipo de gerentes, ahora tiene usted gerentes que son abogados, economistas o que se yo, por eso, porque la debilidad de la palabra gerencia social, está basado en lo social, cuando es un gerente es un gerente y las características que debe tener son más de un gerente que del área social.  BF: SNV Trabajo en SNV, mi intervención ahorita es más en relación a esta palabra de gerente social, que muy de moda se encuentra por los periódicos como líderes sociales, anunciando cursos, la misma Universidad les puede interesar a ustedes, UNITEC tiene un programa de líderes sociales en forma virtual, que es en conjunto con la Universidad de Monterrey; entonces, cuando se aborda el tema de líderes sociales, los módulos que se están dando, los diplomados que se están dando, abordan la parte administrativa, pero también con un enfoque social, de desarrollo social, en el sentido de que no solamente es la parte administrativa como decía la compañera..., de abordar la parte administrativa como dirigir procesos, sino que va más a fondo de esos procesos de desarrollo.

Técnicas sencillas y rápidas del monitoreo social

298

Monitoreo y evaluación del diseño y desempeño de programas sociales

En el caso de algunas organizaciones que están trabajando para el desarrollo local, para el desarrollo económico, con enfoques de género, con enfoques de ambiente, es cómo administrar esos procesos en forma descentralizada, que es la nueva estrategia de gobierno y de la sociedad civil que hace mucho tiempo lo está haciendo, entonces en ese sentido yo creo que es cuestión de términos; pero que esto va mucho más allá que un gerente que solamente se dedica a ver la parte administrativa en forma muy fría.  MG: Fundemun Les diré lo que en la Fundemun manejamos como gerencia social, en realidad ustedes saben que la teoría de la administración lo que dió fueron las funciones claves que caracterizan a un gerente, pero en aquel momento no se pensaba en un gerente como para conducir o inducir procesos con las comunidades; posteriormente, y a raíz de lo que ha ido cambiando el enfoque del desarrollo, y más bien ahora, de la transformación, se ha llegado a la conclusión de que el modelo vertical no ha sido eficiente y que por eso necesitamos más; poder contar con las comunidades, no solo en cuanto a sus opiniones o decisiones, sino también en la parte de acciones y en los aportes concretos que las comunidades puedan hacer para ir superando las distintas problemáticas. Entonces, se unió el término de que se necesitaba una gerencia social, enfocado esto a que es gerente social toda aquella persona que induce y lidera procesos que involucran a distintos sectores de la comunidad y de allí viene el término social, y entonces tiene que ejecutar las funciones de planificación, de dirección, de coordinación, de evaluación, para los procesos de carácter social. Por eso, creo que se ha unido la palabra gerencia y social, para desarrollar todas esas funciones que corresponden a los gerentes, pero en los procesos que están relacionados con la sociedad, con las

299

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

comunidades; en el caso de los municipios que trabajan directamente con las comunidades. Entonces, ese es el término que tratamos de acuñar en la FUNDEMUN como gerencia social; enseñamos esas distintas funciones para que las personas que están ligadas a estos procesos sociales, puedan tener un camino mejor delimitado, para ir llevando los procesos a resultados concretos.  AE: Fundicomun Vengo de Fundicomun, como trabajadora social hace muchos años que vengo trabajando en este campo de lo que ahora llaman la gerencia social y que también vemos que se necesita la parte administrativa, como decía acá la Licenciada S. Definitivamente, a medida que ha pasado el tiempo, yo veo que se han ido acuñando una serie de términos, que van tratando de englobar ciertas acciones que como dice la compañera, se van dando en el proceso de desarrollo, la palabra gerencia social, más que todo se ha utilizado por que se involucra todo ese proceso de desarrollo de incorporación de la capacitación de la comunidad, de la organización, de la investigación y todo eso que va involucrado en un proyecto; pero todo proyecto tiene una parte que es la administrativa, a menos que la institución tenga suficientes recursos financieros, pues podrá hacer las divisiones de un gerente social, un gerente administrativo, un gerente financiero, que cada uno va a tocar el tema apropiado para lo que es el nombre, gerencia financiera, gerencia administrativa, gerencia social. Pero cuando las instituciones no cuentan con suficientes recursos, entonces el gerente tiene que ver lo administrativo y tiene que ver lo social, especialmente en el campo nuestro de las OPDs u ONGs, tiene que hacer de todo y conocer de todo; lo importante sería, por ejemplo, como apuntaba doña N., que había una debilidad y hay una debilidad digamos por ejem-

Técnicas sencillas y rápidas del monitoreo social

300

Monitoreo y evaluación del diseño y desempeño de programas sociales

plo, en la formación del Trabajador Social, en cuanto a la parte financiera, solo se ha involucrado en lo social y eso cuando se llega un momento, uno ve que hay una debilidad allí, en la formación que uno tiene y que tiene que tomarla entonces de otra disciplina o irse a especializar en otra disciplina para adquirir esos conocimientos. Pero sí, pues, la gerencia social ha aparecido como un término para hacer una división del trabajo; ya en una organización grande no puede una sola persona abarcar todo, no puede estar de gerente financiero, de gerente social y de gerente administrativo, tienen que haber divisiones allí, cuando ya el volumen de trabajo del proyecto es muy grande. Pero si se acuño esa modalidad para dar a entender que hay un trabajo de dirección, de organización y de supervisión en cuanto al aspecto social propiamente y esa es pues mi opinión, porque se utiliza esa terminología, yo por lo menos así lo he entendido; pero sí, en mi experiencia sí veo que necesitamos reforzar la parte financiera para la gerencia social, porque siempre lo social tiene que ver con lo financiero; si no, no va a estar haciendo planes y todo sin contar con los recursos financieros que realmente se necesitan para hacer esa parte social.  WB: Adras Soy Director de Adras, quizás no soy la persona más correcta para estar aquí en este momento, pero el Director de Desarrollo Social de la institución anda en este momento en el aire, así que aquí estoy con ustedes. Nuestra experiencia mayormente ha sido en los 3 últimos años del Mitch para acá, con los nuevos asentamientos humanos. Estamos terminando de construir 418 viviendas en el valle de Amarateca y nos hemos echado la tarea encima de trabajar con estos grupos nuevos de alrededor de una 1,500 familias, que van a haber en este valle para los próximos 7 años, FUNDE-

301

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

MUN hizo una tarea muy importante allí mientras estaba el proceso político el año pasado y después de eso no hemos visto más, hicieron un buen trabajo; a donde yo quiero llegar es a lo siguiente: mi línea mayormente es la administración, yo tengo una maestría en ciencias administrativas y siempre estoy en contra de la dependencia, lo que miro mucho con estos grupos, con esta gente en este sector, donde es nuestra mayor experiencia con esto, aunque tenemos otros proyectos diferentes, es que la gente lo quiere todo, la dependencia, no sé si fue la forma que se les capacitó o que. Una vez hubo un proceso sobre: vamos a ver qué hacemos con la basura…. preferían ellos tirarla que ponerla en un recipiente; hasta se les daba la bolsita. Ha sido un proceso muy difícil y por lo general la gente que lo ha apoyado no es la propia gente, pues quiere ir la segunda milla y la tercera y quizás hasta ayudarles a ellos mismos; entonces, quizás pueda ser por el tipo de gente, pero la dependencia es tremenda, quizás la culpa la tengamos también los trabajadores sociales, que hemos sido demasiado colaboradores o ayudadores o les damos la comida en la boca aunque sean adultos, se lo damos todo masticado, entonces creamos una dependencia insana de mucha gente en muchos aspectos, no me refiero solamente a este tipo de cosas, las OPDs, ONGs, organismos internacionales quizás tengamos la culpa, hasta cierto punto, de crear en el pueblo la dependencia, por eso en mi institución yo me pongo al otro extremo, en el extremo administrativo netamente y digo: hasta dónde esto va a crear una dependencia o no, hasta dónde este proceso de capacitación es netamente un proceso de capacitación o estamos enseñando a la gente también que después de que los capacitemos, tienen que seguir dependiendo de nosotros, para seguir su proceso, seguir adelante. Yo sé que tenemos que tener mucho cuidado cuando trabajamos con grupos, en separar a veces un proceso administrativo y algunos procesos socia-

Técnicas sencillas y rápidas del monitoreo social

302

Monitoreo y evaluación del diseño y desempeño de programas sociales

les; por lo general me he dado cuenta y no solamente aquí; yo he trabajado en varios países donde los trabajadores sociales son sociales, velan por la gente, ayudan, quieren, usando una palabra hondureña, chinear hasta lo último y allí esta quizás el defecto del trabajo que se realiza. A la gente hay que capacitarla y dejar que ellos sigan por su cuenta, un niño para aprender a caminar tiene que darse sus golpes, a veces hasta sus rasguños, sus moretones le salen pero tienen que aprender a caminar. A ellos los llevamos de la mano todo el tiempo hasta que los enseñamos a ser dependientes, después ya no quieren separarse de nosotros. Proceso totalmente contrario es el de otras ONGs que trabajaron en la zona también, les hicieron su vivienda y se fueron, hacer la casa es lo más fácil, que un proyecto social; hacer viviendas puede ser interesante, pero el trabajo más duro es trabajar con la gente, es ayudarles a cambiar, es un proceso largo que quizás a través del niño se pueda incluir también a los padres, pero eso es difícil y la tarea que tenemos en esta zona o área es difícil.  BA: Compartir Pertenezco a la asociación Compartir, igual que W, yo soy de la línea administrativa contable, sin embargo el andar cerca de trabajadores sociales lo anima un poco a uno, en el sentido a estabilizar su opinión. Cuando hablamos de gerencia social me preocupa un poco, porque desde el punto de vista mercantil, gerencial significa obtener de la forma más óptima, los recursos necesarios resultantes para alcanzar el objetivo, pero desde el punto de vista financiero, usted va a llegar a obtener grandes recursos, por eso lo van a poner como gerente, sin embargo, cuando hablamos de gerencia social trabajamos con alguien, ya obviamos un poco lo que es el resultado o el rendimiento económico y hablamos de personas.

303

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

Me preocupa realmente, porque…¿cómo valorar el progreso de las personas en un periodo muy corto? lo que decía W …construimos las casas y nos vamos, pero después ¿qué?... ¿capacitamos y estamos allí apoyando a la persona hasta que aprenda a caminar y deje de pegarse los golpes? ciertamente nosotros en Compartir también caemos en eso, yo creo que todas las organizaciones nuestras después de dar, seguir dando, de repente damos más de lo que tenemos y hay una etapa en la vida que por más que queramos dar se nos escapa de la mano y por eso administrar dirigir y conducir procesos no es fácil, estamos hablando desde el punto de vista social; porque difícilmente podemos evaluar los resultados en un corto tiempo; porque el desarrollo humano no se puede evaluar así puntualmente, sino que esperar un tiempito para poder evaluar realmente si se ha progresado o se ha tenido el impacto necesario; por ejemplo, nosotros allí en la asociación trabajamos con jóvenes, trabajamos con niños, administramos CEPENS, hogares de cuidado diurno y jardines de niños; pero no contamos con el recurso para dar al proceso y asegurarnos que el niño, que egresamos de los CEPENS, termine su sexto grado y que va a hacer después de la primaria; entonces todos esos procesos se cortan en el camino. Entonces, para hablar de la gerencia social, tenemos que tener la capacidad como decía B., la formación necesaria para conducir esos procesos hasta que el niño que agarramos de una edad temprana pueda valerse por sí solo, también eso es costoso, entonces ese era mi aporte en cuanto a eso de la gerencia social, por el amplio sentido estricto de la palabra, así como lo decía doña N. y la Licenciada S.  MS: Naciones Unidas Yo quería referirme a algo que decía el señor W. y en ciertos momentos pues sí comparto los criterios que él estaba expresando, en relación a algu-

Técnicas sencillas y rápidas del monitoreo social

304

Monitoreo y evaluación del diseño y desempeño de programas sociales

nos aspectos que él hablaba sobre la dependencia, de hacer las cosas con la gente y el papel y lo hago porque mi base es Trabajadora Social, entender lo social no solo verlo desde ese punto de vista, o sea que no solo los trabajadores sociales tenemos que ver con lo social; si tradicionalmente tuvimos una formación que iba más orientada al área asistencial, después entramos a procesos de reconceptualización, después más orientado nuestro trabajo hacia acciones de desarrollo. El tema social viene siendo un trabajo que se ha venido desarrollando a nivel de las ciencias sociales y allí se incluyen los trabajadores sociales, lo que sucede ahora es la vuelta y el concepto que se viene dando y la importancia de venir a resaltar elementos, que muchas veces eran solo parte de nuestra formación como trabajadores sociales y temas como participación comunitaria, participación social, participación popular y política. Venimos ahora con el gran tema de participación ciudadana, entonces el otro aspecto que usted hablaba sobre el nivel de dependencia yo creo que es que a nosotros, ¿por dónde empezar... por los niños por los jóvenes?, no tenemos una cultura de participación, entonces cuando uno entra puede gerenciar, puede hacer las combinaciones administrativas, planificación, obtener la maximización de los resultados, por ejemplo, no solo ver la gerencia social como que puede gerenciar procesos; puede gerenciar procesos para resolver problemas, entonces allí hay una serie de mecanismos, o sea, podemos estarnos formando profesionalmente en esa gerencia social, pero esa cultura de participación allí que tiene que ver con todo sector educativo, todo el nivel de dependencia dado; hablábamos de un nivel de dependencia del Estado, hablamos de dependencia de la cooperación, hablamos de dependencia de las ONGs, o sea que eso hay que verlo también en función de nuestras raíces. Pero como se trata de ser propositivo, verdad, un elemento muy importan-

305

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

te es: cuáles son aquellos elementos y aquellas directrices que se han estado dando a nivel de cursos, eventos en materia de gerencia, y más lo orientan en determinado momento a gerenciar proyectos y a gerenciar programas y allí es donde viene lo que decía B., o sea que nos interesa ver si estamos cumpliendo las metas, si logramos tener 15,20, 40, 30 casas hechas o tener hechas diferentes cunetas, porque sabemos que con eso se está resolviendo el problema de la comunidad; visto desde el punto de vista de los mismos lineamientos que nos tiran los organismos, entonces yo creo que es en doble vía, porque con la gente también ese proceso de dependencia es en diferentes áreas: es institucional, personal, educativo, o sea que hay una serie de cosas, que bueno es un trabajo, que cuando se analiza la parte social, pues tendría que irse viendo también ese tipo de comportamientos; claro, no solo a nosotros como Honduras nos corresponde, sino que también casi a toda Latinoamérica esta.  BF: SNV Es en lo referente a lo que decía B., en cuanto a la responsabilidad de los trabajadores, precisamente por eso dentro de la organización donde yo trabajo, el enfoque de trabajo de la gente está cambiando y para eso se ha creado un programa de capacitación que nosotros les llamamos cursos descentralizados, son cursos que antes se hacían en Holanda y ahora se hacen a nivel de Latinoamérica, el curso que da estos elementos es un curso denominado Sobre sectorial; es el cambio de facilitar, es el cambio para dirigir a nivel de base a nivel de la comunidad. Entonces se está preparando al personal que está trabajando ya con un nuevo enfoque de trabajo, pero a través de la capacitación, en este curso de asesoría que dura 15 días, se recibe a nivel de todos los países de Latinoamérica donde esta SNV, dado por una instancia holandesa y una ins-

Técnicas sencillas y rápidas del monitoreo social

306

Monitoreo y evaluación del diseño y desempeño de programas sociales

tancia una ONG nacional, para ir fortaleciendo capacidades a nivel local; Solamente eso, que quería compartirlo; porque a nivel interno yo creo que las organizaciones ya sea con los promotores o a nivel gerencial muy alto, deben de haber formas de llegar a la gerencia, para no provocar el asistencialismo, que ha sido la tradición. 3. En INDES se sostiene que la participación de todos los actores involucrados en los programas y proyectos sociales, es esencial para la sostenibilidad e impacto de las políticas sociales, ¿cómo evalúa cada uno de ustedes la capacidad de las organizaciones públicas del país, para promover participación en las políticas sociales? (Sea cada uno de ustedes tan específico a casos concretos que le haya tocado vivir como sea posible).  MS: Naciones Unidas Lo veo desde hace muchos años, en la experiencia de estar trabajando; yo creo que la importancia de hecho yo creo que no podemos cuestionarla, todo proceso de participación en la medida que se está formando, ser parte de ese proceso garantiza que haya un proceso de sostenibilidad, ya sea de pequeños proyectitos que estemos haciendo, hasta garantizar un proceso sostenible a lo largo de un periodo o si es posible permanentemente y eso ha sido, pues, allí entra esa famosa palabra de dependencia o los proyectos solo duran o las acciones solo duran mientras están los proyectos y lo vemos a nivel público. O sea, aquí no nos hemos acostumbrado a tomar decisiones a nivel de la elaboración, o por lo menos incidir en la elaboración de políticas; en la elaboración del presupuesto público, normalmente siempre se han estado manejando bajo la mesa, se presenta allá, ya cuando los periodos en el congreso tienen que estar listos, o sea que no hay un proceso de participa-

307

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

ción en esa constitución y la experiencia nosotros la mirábamos una vez que empezábamos a diseñar una estrategia de cabildos abiertos en el FHIS, pero no era que estábamos trabajando con el FHIS, sino que presentándole una metodología, para hacer procesos de selección en los cabildos abiertos y nunca se nos presentó cuánto era el presupuesto, pero sí nos decían que en esa metodología tenían que participar ONGs, alcaldías, cooperantes y las comunidades en los cabildos abiertos. Era básicamente como estructurar una metodología de priorización en los cabildos abiertos, entonces nosotros decíamos: si no se tiene toda la información de la gente, si uno no va con toda la información a la gente, la gente no puede incluso, saber cuáles son los alcances que pueda tener esa inversión en función de lo que ellos llevan a priorizar, pues cuando se llegaba a priorizar, la gente pues perdía cosas que realmente necesitaba en su comunidad, si tiene un promedio de 24 cabildos abiertos, pero eso era mucho antes de lo que el FHIS priorizó en 1998; que fueron los que después del huracán no se pudieron realizar, y resulta que la priorización que se hizo fue variada en diferentes momentos y el menú del FHIS no permitía que se diera respuesta a esa serie de planteamientos, entonces que resulta, en ese momento nosotros decíamos: pero la gente va a participar, la gente va a tomar decisiones en algo que incide en su comunidad, entonces resulta que cuando estábamos ya en todo el proceso de asignación, no se pudieron dar ya todos los proyectos y lo que más planteaban en ese momento al FHIS, era que la participación de la gente era su aporte en mano de obra, entonces allí viene otro cuestionamiento, o sea, si solo el aporte de mano de obra es sinónimo de participación; porque muchas comunidades decían: nosotros podemos poner un poquito, un 50% económicamente hablando, podemos poner terreno; pero no, no estaban en el menú, pero lo que yo quiero realmente es ver que el proceso de participación en la generación de

Técnicas sencillas y rápidas del monitoreo social

308

Monitoreo y evaluación del diseño y desempeño de programas sociales

políticas públicas, en el desarrollo de programas y proyectos, muchas veces nosotros mismos nos confundimos, porque decimos: bueno ya por lo menos hubo dos o tres personas o hubo 25, 40, 60 personas que participaron en el cabildo, la gente se informó, la gente ya votó por algo. Yo creo que el proceso de participación es de manera constante y permanente y no estamos acostumbrados a nivel de nuestro ministerio, por ejemplo, aquí se toma en cada gobierno decisiones en materia de salud, en materia de educación y van quedando, yo ahorita estaba haciendo un recuento a nivel de educación, cuántos programas hay para entrarle de lleno al problema de educación, se van sumando una serie de proyectos que internamente yo veo que ni las mismas secretarías a veces están conscientes de los programas y proyectos que aceptan, a veces son como moda que las mismas cooperaciones van poniendo, pues yo creo que el escuchar tiene que ser también de manera organizada y de manera sistemática, para que todas aquellas decisiones que en materia pública se tomen, permitan por lo menos ciertas procesos de sostenibilidad, que haya un empoderamiento, que la gente entienda.  JI: Aforde Nosotros valoraríamos bastante limitada tanto la voluntad como la capacidad del gobierno o de las instituciones públicas en general para abrir la participación; aunque también hay que decir que hay ciertas aperturas y esperanzas aun con el nuevo gobierno, de cosas que se han ofrecido en términos de participación, que fueron promesas de campaña, que estamos viendo como se concretan y que también hay aperturas tal vez con los temas más sectoriales o temas más puntuales; probablemente allí tenemos variadas experiencias, dependiendo del tema que trabajemos, que tan abiertas están las instituciones públicas de permitir la participación en los temas que trabajamos.

309

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

Pero una gran limitación es que en los grandes temas, que son los que definen los más pequeños, es que esa participación es limitada, ¿Cuáles temas grandes? Por ejemplo, los convenios con los organismos internacionales, las cartas de intenciones, todo lo que es convenio con los organismos internacionales, eso es un tema grande que condiciona la vida del país por años y en una cantidad de temas; entonces probablemente haya apertura para ciertas participaciones, en temas específicos como salud, pero esa participación tiene su límite por cosas que ya están decididas a nivel macro; entonces, esos temas grandes: deuda, el tema de presupuesto y aquí pareciera que hay una apertura, habría el tema del presupuesto nacional para la participación ciudadana, el mismo tema de la pobreza, como el tema clave, básico del país. Sectores de sociedad civil planteamos que no hubo una verdadera participación para formular la estrategia de combate a la pobreza, realmente lo que hubo fue una utilización de la gente un poco presionada, con una condicionalidad positiva, en este caso de los organismos internacionales, diciendo que el país necesita una estrategia de combate a la pobreza consensuada y esa fue una imposición, nosotros la valoramos positiva, correcta de plantearla, se hicieron una serie de consultas regionales, pero hay cosas importantes que la gente dijo a nivel de la región, que no están incorporadas en el documento final de estrategia de combate a la pobreza y no solo eso, no solo en el documento, porque al fin y al cabo es solo un documento, sino como se está empezando a ejecutar ese documento, que lo que tiene es una serie de proyectos que están enunciados allí y lo que en este momento se está haciendo es elaborando los perfiles de esos proyectos y se están haciendo aquí en Tegucigalpa; entonces, con esos temas grandes hay voluntad y capacidad limitada, bueno, siendo autocríticos, también la población y el sector de la sociedad civil tienen sus limitaciones para participar y allí están los problemas de las condiciones.

Técnicas sencillas y rápidas del monitoreo social

310

Monitoreo y evaluación del diseño y desempeño de programas sociales

Una participación en estos temas necesita un fuerte nivel de educación del sector de la sociedad civil, desde la sociedad en su conjunto para participar, tienden a ser temas muy técnicos y allí hay como un círculo, digamos como el pretexto, bueno, si sometemos el presupuesto a discusión, si sometemos las políticas macroeconómicas a discusión, ¿quién tiene la posibilidad en sociedad civil de participar, de decir: eso es cierto, el argumento es cierto?, pero se convierte en un círculo vicioso, como la gente no tiene capacidad, entonces no la hacemos participar y allí se queda, un círculo que tenemos que romper y que se puede romper si hay voluntad; por eso es lo otro, capacidad y voluntad para la participación; si tenemos voluntad y hay experiencia, si a la gente se le explica, existe la capacidad de comprender, porque son cosas que nos afectan, partiendo de allí, de que son cosas que nos afectan a todos y ciertas organizaciones de sociedad civil tenemos experiencia, de que campesinos sí pueden entender el tema de la deuda externa, tenemos que bajarnos mucho, pero la posibilidad existe.  RQ: Incades Yo creo que probablemente venimos de una conducta de tradición, lo que ha sido la centralización, el gobierno o los gobiernos que vienen hablan de cambiar, pero mentalmente quieren seguir manejando el concepto tradicional de que las decisiones sean en las mesas de los ejecutivos de los gobiernos y yo creo que ahora mismo podemos verlo, están pasando un anuncio en un periódico, no sé si ustedes lo vieron, invitando a organizaciones no gubernamentales, a patronatos, a la cámara de comercio, a la asociación de campesinos, anunciando un procedimiento de participación en la estrategia para la reducción de la pobreza; pero si aquí ese día no se hace, el gobierno va a decidir, entonces no hay una apertura de que realmente haya una participación, entonces la ley la dejan amarrada a lo que es la

311

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

centralización tradicional, es lo más decidido y yo creo que en ese aspecto se está empezando a tomar conciencia de lo que es la sociedad civil y de las organizaciones que forman parte de ella, pero no es fácil. Yo creo que es un proceso que tiene que irse fortaleciendo para que haya una participación de las organizaciones, yo creo que el FHIS ha hecho un proceso de participación social, con los cabildos abiertos del 98, el año pasado tuvieron cabildos abiertos también; nosotros tuvimos la oportunidad de participar, siempre como dije en mi primera intervención con algunos alcaldes del centralismos, ellos también tienen la visión tradicional de la centralización, entonces yo soy el alcalde, yo decido, porque yo tuve la oportunidad de ver diciendo: yo no quiero estos proyectos, no me los pongan, y la gente diciendo otra cosa; entonces yo creo que es un proceso que tiene que ir bajando todas las gradas, para que cambie todo el manejo de la participación, en ese aspecto hay que hacer un gran esfuerzo, sí hay indicios, pero fueron mínimos; la clave sería la participación de todos los sectores para que esa participación sea realmente visible, que ahora mismo como decía… políticas públicas económicas de alto nivel no es fácil y no es fácil que las traslademos hasta la base, como decía… a un campesino que podamos orientarlo a que conozca el tema y no lo entienda, en temas pequeños que no los bajamos, sino que seguimos con el mismo concepto de no transmitir la información, entonces yo creo que ahora sí hay indicios, sí han tenido algún tema de participación, en los planes de inversión municipal que hicieron en el 98 y que se hicieron el año pasado en junio y hubo un proyecto de organizaciones de respaldo a la construcción de obras físicas; organizaciones responsables del mantenimiento de la obra… que se afilie a un grupo, que la gente se integre, se le capacita; pero ¿qué?, no hay un seguimiento para que esas organizaciones perduren; porque se hace la orientación de participación comunitaria para la obra física que el

Técnicas sencillas y rápidas del monitoreo social

312

Monitoreo y evaluación del diseño y desempeño de programas sociales

gobierno hizo con préstamo y que va a durar 20 o 30 años adelante y que el gobierno nunca más lo va a ver. Pero a veces si no hay un seguimiento de la participación, queda como dicen la organización que puede perdurar o puede morir; yo creo que en ese aspecto habría que buscar mecanismos de control y de seguimiento para lo que es la participación.  AE: Fundicomun Bueno, en cuanto a lo que ustedes preguntan dice: El INDES considera la participación de los actores como algo fundamental para el impacto social; nosotros vemos que en nuestro medio la participación últimamente se ha utilizado como una palabra de moda, para los gobiernos, para obtener ciertas cosas, pero no porque realmente tienen el deseo de participar, o que la población participe, la participación no es como decía la compañera para poner mano de obra, eso es una cosa minúscula de la participación; ellos no participan ni en el diseño del proyecto, ni en el presupuesto, ni en la supervisión de la obra, ni en ninguna cosa; entonces aquí por eso los recursos que nos vienen no son utilizados correctamente, porque una obra que cuesta tal vez un millón, puede aparecer con 10 millones, porque la población no sabe y después todos nosotros tenemos que pagarla. Últimamente ha estado también de moda utilizar a todas nosotras las ONGs y a los participantes, para decir que algo fue consensuado, pero la realidad es que no es así; porque se han sacado cosas que y lo que aparece en los documentos, es otra cuestión; no lo que se dijo allí en las reuniones en que hemos estado participando; entonces hay como dijo el compañero, hay un deseo por un lado, de pintar una cara de participación, pero como no tenemos una verdadera democracia participativa, sino que una democracia representativa, entonces la educación nuestra va en función de todo eso; todo mundo piensa que debe tener una gente para que lo esté representando y no quiere participar, la población no quiere muchas veces par-

313

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

ticipar, no quiere ir a las reuniones, no quiere expresar lo que desea, sino que deja que otros decidan por él; entonces, ese es un cambio que se tiene que hacer, un trabajo lento de educación, para poder cambiar como digo yo, las estructuras mentales que hay nuestras de ser poco participativos y poco beligerantes en las cosas que nos atañen y ese trabajo lo tenemos que hacer nosotros en general, la sociedad civil o como lo quieran llamar a lo que le han puesto civil, pero todos somos civiles; están los militares y los civiles, pero nosotros todos somos sociedad y debemos ponernos a trabajar, a educar a nuestra gente para que participe; la reducción de la pobreza no se va a dar, si no hay una verdadera participación, ¿sabe por qué? porque se pueden poner un montón de estrategias, pero ¿qué pasa? los grupos de poder están haciendo un montón de cosas, que cuando se va a reducir la pobreza digo yo; vaya, le voy a poner un ejemplo: la ENEE, la energía es una cosa fundamental para el progreso de un país; pero si está en manos de grupos de poder que lo que quieren es dinero, entonces nunca va a haber progreso, porque usted no puede industrializar el país con una energía cara; entonces, la gente pobre nunca va a tener ese elemento necesario para poder mejorar su nivel de vida, entonces allí esta otra traba. Así es, podemos estar aquí un rato; pero la verdadera voluntad, la estrategia de reducción de la pobreza vino de fuera, no porque aquí los de adentro quieren saber que se acabe la pobreza del pueblo hondureño, entonces nosotros tenemos que trabajar en educar a nuestro pueblo, para que entienda poco a poco, qué es lo que él debe pedir y como debe hacerlo, empecemos porque la gente no dice ni pío, porque estos niñones no quieren reducir el número de diputados y que votemos por diputados por nombre, que realmente me representen, para poder yo pedir; entonces allí está una primera representación, en la ciudadanía no saben ni le entienden; entonces a los organismos de gobierno no les interesa la participación, les interesa

Técnicas sencillas y rápidas del monitoreo social

314

Monitoreo y evaluación del diseño y desempeño de programas sociales

utilizar el nombre para otros fines, pero no para que realmente haya una participación.  ER: Save The Children Solo quiero explicarles que la institución donde trabajo, estuvo muchos años en los municipios, formando los comités de desarrollo y como parte de nuestra metodología, conformamos un comité regional y una ONG de base comunitaria, que ahora está dando seguimiento a todos los programas que nosotros tuvimos en ese tiempo, entonces yo creo que la participación de la gente se puede lograr, pero es un proceso que como han dicho todos, lento, que tomó muchos años; la ONG ahora ya esta financieramente independiente de nosotros y su asamblea está formada por líderes comunitarios; ¿qué pasa?, que nosotros también hacemos convenios con la Secretaráa de Educación, con mucho esfuerzo a veces queremos coordinar y ayudar; pero hay como una traba, como que les vamos a pedir algo, si nosotros lo que queremos es ayudar a las metas del país; Salud, por ejemplo es excelente en coordinación, pero Educación, que es la base del pueblo, ha sido como retrograda, es mi opinión personal, en el hecho de querer coordinar; yo siento que la parte pública se orienta más a anunciar un nuevo proyecto, tenemos este nuevo proyecto y queremos coordinar, invitamos a todos a este comité contra la sequía, pero no a la participación efectiva. Entonces la parte pública se ha dedicado a hablar, como a comunicar de que hubo, de que hay tal cosa, de que ésta es la nueva política en este proyecto específico, pero no la política global de cada sector, salud, educación, agricultura; entonces la participación, como han dicho todos, no es tan efectiva, porque nos piden la opinión y no la toman en cuenta; la mesa sectorial existe y se discuten miles de cosas y a la hora de la hora se toma otra decisión.

315

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

 MG: Fundemun Yo encuentro la capacidad de las organizaciones públicas para promover participación en políticas sociales bastante debilitada y pienso que es porque las políticas sociales se fijan a nivel de gobierno central y no hay un proceso respaldado por la ley, para garantizar la participación. La participación más bien se está dando a nivel de municipio, porque la ley establece mecanismos concretos de participación y obliga a las municipalidades a realizar determinado número de mecanismos; por otro lado, la ley también tipifica instancias concretas a nivel de municipio, como lo que mencionaba ella, los consejos de desarrollo municipal, u otras instancias que por ley tienen que existir en el municipio y tiene que darle la municipalidad la amplitud para que puedan participar. En cambio, a nivel nacional no tenemos definitivamente procesos establecidos; entonces nos dimos cuenta que cuando surgió la estrategia de la pobreza, llegaba 10 días antes para que usted estuviera allí, pero usted no tenía espacio para poderse expresar, porque era demasiada gente y nomás era ir a ver una serie de filminas que estaban presentando; entonces en la participación, únicamente aparecían las organizaciones que habíamos llegado, pero no hubo oportunidad para debatir y en las sesiones que se dieron más limitadas, tampoco lo que se dijo, como expresaba la señora, fue tomado por nadie; el documento continuó igual, con la misma visión que surgió originalmente; entonces yo creo que es débil, porque no hay procesos concretos que estén respaldados jurídicamente para que la población los pueda hacer valer en determinada circunstancia.

Técnicas sencillas y rápidas del monitoreo social

316

Monitoreo y evaluación del diseño y desempeño de programas sociales

4. En las organizaciones en que cada uno de ustedes ha participado, ¿cómo considera la integración de las políticas económicas y las políticas sociales?  MS: Naciones Unidas Hay un análisis del famoso divorcio.  AE: Fundicomun Yo solo quería decir, como lo dijo la compañera acá, que realmente la integración de lo político con lo económico, de lo económico con las políticas sociales, aquí ha estado siempre divorciado; los que andan en el sector económico y que están en los grupos de poder, desean nada más, ver cómo ellos logran una buena tajada y de allí en lo demás, se hacen los proyectos, se hacen planificaciones, esto y el otro, pero al momento de poner el presupuesto, no hay presupuesto. Entonces así, hemos visto nosotros aquí, por 14 años, cantidad de hospitales, de centros de salud llenos de monte, ¿por qué? porque la comunidad no ponía la contraparte; venía la ayuda externa y aquí no se ponía la contraparte; y así hay una gran cantidad de proyectos de tipo social que no se llevan a cabo. Hablando de reducción a la pobreza, como le dije, las políticas económicas están totalmente divorciadas de querer reducir la pobreza; la pobreza no se puede reducir si se aumenta el precio de los combustibles, el precio del agua, del teléfono, de todos los servicios que da el gobierno; si él encarece todas esas cosas, no hay desarrollo social, no hay nada para la población, porque la población no puede por sí contrarrestar esa inflación; o por ejemplo, el impuesto que tenemos ahorita grave, que hay mucha gente que se lo dice y no lo toman en cuenta, es la devaluación de la moneda;

317

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

cada mes estamos devaluando nuestra moneda en centavos, pero allí va lentamente y ese es un impuesto terrible para todititos nosotros los hondureños y especialmente, todavía, para los más pobres; entonces eso está divorciado, allí es donde nosotros no entendemos cuál es el deseo, ¿de que sea realmente combatir la pobreza? ¿que la población salga de su situación de miseria en que más nos vamos hundiendo?, o realmente los grupos que van, hoy es un grupo, mañana es otro grupo, pero siempre están allí unidos, emparentados, emparentados en matrimonio y esto y el otro; entonces son los que al final tienen la ganancia del botín del estado; entonces no hay una verdadera… Por lo menos yo lo que he estado analizando ahorita de todas las cosas, en el gobierno anterior, veo ahorita que hay una esperanza, todo el mundo la ve, pero estamos esperando si realmente hay un cambio de que esas cosas vayan a revertirse; pero si no, si se sigue aumentando la inflación, devaluando la moneda y todas esas cosas, nosotros no vamos a salir de esta situación; más bien más pobres vamos a salir, así es que allí hay un divorcio total entre lo que se dice y lo que se hace.  BA: Compartir Sí, con la pregunta, es de preocupación enorme, porque si no hay un plan de desarrollo de país, no podemos hablar de políticas económicas congruentes con la política social. Si nos remitimos un poco a lo que acontece actualmente en el país, como decía doña A., hay una leve esperanza, pero me pregunto yo: ¿qué tan conscientes están las personas que están rigiendo los destinos de nuestro país, de la necesidad de la gente pobre?, ¿de la política social?, si los que están gobernando nuestro país en este momento son personas de la alta sociedad, banqueros, grandes empresarios; cuando sabemos que la empresa

Técnicas sencillas y rápidas del monitoreo social

318

Monitoreo y evaluación del diseño y desempeño de programas sociales

privada en nuestro país, es posiblemente la empresa más conservadora del mundo; entonces, en mi opinión personal, el divorcio del que hablaba M. y doña A., siempre va a existir; aunque la esperanza siempre está viva y vigente, pero en estos momentos no veo una oportunidad para la integración de estas dos políticas, que debería de ser prioridad en este momento, para un desarrollo social y económico de Honduras.  JI: Aforde No hay integración, más bien hay contradicción entre la política económica y la política social; es uno de los puntos de no consenso, por ejemplo de la estrategia de reducción a la pobreza misma; sectores de sociedad civil hemos venido planteando que el modelo económico adoptado ha aumentado la pobreza y que es totalmente contradictorio, que un capítulo de la estrategia de reducción a la pobreza es el compromiso del país por adoptar en 20 años el mismo modelo económico; un capítulo de la estrategia plantea las políticas macroeconómicas, que son las políticas del modelo y que no se trata de cerrarse, diciendo eso es de afuera y porque es de afuera o porque es del fondo o del Banco Mundial es malo, no necesariamente; realmente, y allí es donde esto se vincula con lo anterior, lo de la participación, de que puede haber un diálogo nacional, en relación a esas cosas, que si nos vienen como imposición, que es una receta aplicada a todos los países del tercer mundo; que se espera que funcione, que es planteada como mecanismo para lograr el desarrollo y que tiene cosas positivas, algunas, y allí es donde debería empezar nuestra discusión de medida por medida de las cosas que nos proponen, para discutir como hondureños realmente esas cosas nos van a desarrollar tal y como dice el discurso; pero en términos generales, la valoración que se hace desde el sector de la sociedad civil, es que el modelo económico en su conjunto, tal y como ha sido implementa-

319

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

do, ha incrementado la pobreza; y esa contradicción se sigue presentando hacia el futuro con la misma estrategia de reducción de la pobreza; cuando en uno de sus capítulos es la adopción nuevamente del mismo modelo económico; eso visto de manera general y en relación a otras opciones de modelo de crecimiento económico. También es contradictorio, por ejemplo: si miramos el tema de las maquilas como opción de desarrollo, de empleo, de combate a la pobreza; si uno mira la calidad de vida, por ejemplo de las mujeres que trabajan en la maquila, realmente su calidad de vida, o todos los problemas sociales que ha generado la maquila en los lugares donde se ha instalado. No podemos oponernos en principio a la maquila diciendo no, que se vaya, no se trata de eso, sino que estamos hablando de la necesaria integración de la política económica y la política social; entonces, a una decisión de abrir al país para la maquila, debería corresponder otra serie de medidas en lo social, para que la venida de las maquilas signifique realmente un mejoramiento de las condiciones de vida de las personas que trabajan allí; o sea, uno de los beneficios que se plantea para la maquila es lo del empleo, eso no se puede negar, pero no puede ser solo el empleo, miremos la calidad de vida de la gente que trabaja allí y miremos los problemas que se le han generado a los municipios donde se han instalado las maquilas; entonces, hay en algunos casos contradicción, en otros casos total desintegración; se piensa mágicamente en lo económico, como que lo económico de por sí va a resolver y no se le acompaña a lo económico, las correspondientes medidas en lo social.  ER: Save The Children Yo quisiera que hiciéramos una reflexión en torno al presupuesto. Educación y Salud son los sectores que en la estrategia de reducción a la pobreza están bien delimitados, dicen que es el 20% o 30% de la donación y cómo Técnicas sencillas y rápidas del monitoreo social

320

Monitoreo y evaluación del diseño y desempeño de programas sociales

estamos acá. El primero que reducen es el de Salud y Educación. Yo he leído en los libros de Educación y dicen que el 94% del presupuesto se va en pagar salarios, entonces ¿qué pueblo que no es educado va a salir adelante? Aparte del poder adquisitivo que tienen los pobres, que cada día es menos, yo creo que el gobierno no está… (no se entiende). Está divorciando cada vez más los dos sectores y nunca vamos a salir, sino es que cambien las medidas que usted ( Jorge Irías) está apuntando; no vamos a salir y la clase media va a ir desapareciendo cada vez más, los que eran media alta, ya están en media baja ahora, entonces estamos todos en la misma situación.  WB: Adras Bueno, el tema es bastante complejo, indudablemente yo veo también el asunto que hay un divorcio, sin embargo, cada país tiene sus limitaciones en relación al área geográfica donde vive y a las políticas internacionales y como afectan políticas de otros países, pongamos un ejemplo: el petróleo aumenta, el petróleo que no tiene que ver nada con Honduras y eso nos lleva en pocos días a un aumento de muchos precios y el gobierno, por muy sabio que sea, esas cosas le afectan, tiene que tener unas políticas de ver cómo defiende eso. Problema serio en Honduras es la recaudación de impuestos, si no hay una buena de recaudación de impuestos, si la gente no está acostumbrada a pagar impuestos, empezando por los ricos hasta los pobres, no va a haber suficiente dinero para el área social, para el presupuesto, si aquí la gente pagara sus impuestos correctamente, habría plata; habría plata para Salud, para Educación y para otras cosas más; entonces hay que tomar ciertas medidas e ir apretando aunque no nos guste, pero tenemos que pagar lo que no es nuestro, a Dios lo que es de Dios y al César lo que es del César; mientras

321

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

nos acostumbremos a ser honestos en ese sentido, yo creo que el país va a andar mejor; hay cosas que cuando nos tocan la bolsa saltamos y después decimos que el gobierno no tiene plata para esto y lo otro y es que no estoy contribuyendo con mis impuestos, o pagando mis impuestos como corresponde; entonces, el tema es bien espeluznante, es serio, si no hay suficiente dinero..., ¿cómo vamos a repartirlo? Algunas áreas se van a afectar más que otras, ¿cómo lo conseguimos?, ¿cómo hacemos que la gente pague?, ¿cómo podremos destruir el compadrazgo que existe? ¿Cómo quitarle esa capacidad que tienen algunos políticos o millonarios o multimillonarios, de sus tentáculos, para no poder pagar sus millones y millones de impuestos que deben pagar? Y a veces exigen al de la clase media o media baja que ese si tiene que pagar y como ese no tiene la capacidad de amistades y otras cosas, entonces es el que se ve más afectado y como decía: la clase media baja es la que a veces se ve más perjudicada. Viví seis años en Chile y allí hubo lo que se denominó la política del chorreo o del derrame, allá dio resultado tal vez porque Pinochet estuvo 16 años en el poder, con una política estable, no estoy defendiendo las cosas y atrocidades que hicieron en su gobierno, verdad, eso es muy diferente, pero si él tuvo la capacidad mental de ponerle frente del país a economistas graduados de Harvard y ellos dirigían la economía del país y hoy Chile es uno de los países mejores económicamente de Latinoamérica y la política de chorreo era: que cuando los ricos y la industria prosperara de tanta manera, llegaba un momento también que empezaba a chorrear para los sectores más pobres, esto se está viviendo ahora en Chile, en un tiempo no se creyó, pero eso puede ir cambiando con diferentes políticas mundiales que se van dando, allí se ha dado, yo no sé si aquí se pueda dar, porque muchos dicen: bueno, mientras los sectores… el sector industrial siga fortaleciendo y fortaleciendo y se siga metiendo más plata allí…más, más y más, va a

Técnicas sencillas y rápidas del monitoreo social

322

Monitoreo y evaluación del diseño y desempeño de programas sociales

crear más empleos, va a haber más dinero para el sector social, que la gente al final… va a mejorar; eso pueden transcurrir 10, 15 años o más, si la política a nivel mundial lo permite, porque a veces, políticas mundiales pueden desestabilizar más bien a un país pequeño como es Honduras. 5. ¿Qué tanto compromiso real identifican ustedes en los niveles de formulación y operación de las políticas sociales con la equidad social?, por ejemplo, ¿puede un funcionario realmente interesado en la inclusión social sobrevivir en una cultura organizacional que en ocasiones ha sido calificada de insensible y fría ante las necesidades sociales?, ¿pueden ilustrar casos?  ES: Save the children Yo voy a hablar de la última parte de la pregunta, la primera me quedó un poco inconclusa, yo creo que si la gente que está interesada en el campo social no pudiera sobrevivir en un país sin un cambio positivo, verdad, yo creo que puede sobrevivir con dificultades, siempre y cuando haya una aceptación de ciertos sectores para poder impulsarla, verdad, pero hay muchos países que han cambiado de peor a mejor, pero se siente que han luchado contra la corriente prácticamente...  NS: Fondo Cristiano para Niños de Honduras Yo quiero dar una opinión, aunque las preguntas son demasiado extensas, pero así una opinión dentro de lo poco que capté, yo creo que no hay ningún funcionario social... 100% social y no debería de existir, porque si ustedes están hablando de una gerencia social, unido a todo lo demás… Cómo un funcionario social dice: sobreviviría en una cultura organizacional fría, es decir, no deberíamos tener esa división, porque tanto el funcionario… económi-

323

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

co… que se yo… administrador… tiene que tener un pedacito de la sensibilidad social, para sobrevivir y, asimismo, el otro no puede ser puro funcionario social, porque entonces definitivamente no es la persona idónea para ser un funcionario, porque no se puede ser tan puro y decir funcionario social… nada más su mente social, porque ese es parte del problema de la ejecución que hay en el área social, que cuando usted quiere ser muy social… tan sensible… entonces eso no funciona pues, no puede haber una división así… Entonces pues…  RQ: Incades A mí me parece que el problema es que la mayoría de funcionarios son tecnócratas, que vienen vinculados a una estructura política o una estructura económica, que van a ejercer una función de administrar la cosa pública, en el momento que no hay un plan de desarrollo o como había antes SECPLAN, toda una estrategia nacional, entonces el funcionario viene a establecer su política, su pensamiento, sangre fría, sin corazón y no le interesa lo social; él quiere cumplir sus metas y sus objetivos, yo creo que ese es un problema y ahora lo vemos, de 4 años a 4 años vemos nuevos funcionarios que vienen con una mentalidad igual, o peor, verdad, lo social lo ven superficial o lo plantean como una visión de estado; pero en lo interior lo ven nada más por cumplir un objetivo, de la administración del estado; yo creo que mientras no haya una política definida del estado y un plan de desarrollo que establezca líneas claras, los funcionarios van a llegar cada quien con su pensamiento.  AE: Fundicomun Bueno, como la pregunta fue larga y no captamos todo y captamos incompleta la pregunta, verdad, por lo menos lo que yo entendí es que si hay un

Técnicas sencillas y rápidas del monitoreo social

324

Monitoreo y evaluación del diseño y desempeño de programas sociales

compromiso real en relación con la equidad social... realmente… no lo hay, es decir, existe de nombre, como dijo el compañero acá; si alguien escribe algo, aparece en un documento, pero lo que se está haciendo es una cosa…, o sea que documentos se pueden escribir un montón, muy bonitos, con todo lo que usted quiera, pero la realidad es otra; no hay equidad social, ni hay un interés tampoco de que haya esa equidad social, porque la gente, yo pienso que el mundo en general, esta tan materializado, que lo único que hay interesante para mucha gente que llega como funcionario, es que la persona quiere ver cómo resuelve sus situaciones, su consumismo; es una situación que no solo está pasando en Honduras, sino que ahorita en todas partes… en los países europeos, en el mismo Estados Unidos que es consumismo y consumismo; que no se preocupan de que la vida no solo es lo material, el consumismo, sino que hay otras cosas más que están en la parte afectiva, en la parte sicológica y social de la persona, que son importantes… y todo está relacionado también con una pérdida de los valores; la pérdida de los valores humanos, éticos o religiosos, hecho, como dice usted, que se vuelva insensible y fría. Ante las cosas que están pasando muchas personas llegan a los puestos, no pensando en ayudar a la población o pensando en ayudar a la sociedad en general, sino cómo se ayudan a sí mismas, en un momento determinado que tengan la oportunidad de ver cómo van a seguir sus situaciones económicas, o agrandar lo que ya tienen… entonces, no hay equidad, no hay un verdadero compromiso y una persona tampoco va a ser completamente social; si es gerente social, como recién estaban hablando, tiene que tener el conocimiento que necesita el dinero para poder desarrollar muchas cosas que quiere hacer; pero allí es donde viene ese divorcio del que hemos hablado, o sea que las preguntas están relacionadas con lo económico; por lo menos eso es lo poco que le capté de la pregunta.

325

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

 JS Quiero darles las gracias por su participación, lamentablemente no pudimos evacuar todas las preguntas que teníamos formuladas para esta reunión de grupo de enfoque; sin embargo, les va a llegar hoy por la tarde el resto de las preguntas, incluso esta misma para que la amplíen. Nos interesa en grado sumo sus opiniones, porque como les dije anteriormente esto va a servir para enriquecer la investigación y para que el INDES pueda tener una visión más amplia de cuál puede ser el impacto del programa nacional que está recién comenzando en Honduras. Otra de las cosas es que queremos contar con su participación en un nuevo conversatorio muy similar a éste, el próximo año en el mes de febrero; se les va a enviar la invitación. Y nos gustaría que estuvieran también pendientes a los impactos, ya sean positivos o negativos, que sean producidos por las personas egresadas del INDES. Les recuerdo también que los resultados de esta reunión son uno de los insumos para la evaluación del programa, así es que para nosotros es muy importante; les rogaría que nos hicieran llegar sus comentarios en el transcurso de la semana.  JI: Aforde Sólo una pregunta: si hay otras actividades que se están haciendo para la línea de base y realmente a mí se me hace difícil entender el porqué estas preguntas ayudan a un programa de gerencia social, ¿cómo una línea de base para un programa de gerencia social, como se nos explicó al inicio, o sea, en qué sentido, estas preguntas, en el año de funcionamiento del programa y en los dos años y en los cuatro años que nos explicó la persona al inicio, sirven para evaluar? Técnicas sencillas y rápidas del monitoreo social

326

Monitoreo y evaluación del diseño y desempeño de programas sociales

 JS En primera instancia, esta investigación de grupo de enfoque nos va a servir para levantar la línea basal, por cuanto que el INDES está iniciando, y queremos saber cómo está la situación de la gerencia actual; nosotros queremos tener una visión realista de cómo está la gerencia de programas y proyectos sociales en Honduras actualmente y cómo la vamos a ver el otro año que nosotros tengamos este conversatorio en el mes de febrero; también al INDES le va a servir como punto de partida para saber cuáles son las debilidades que actualmente está presentando la gerencia social y en qué áreas tiene que incidir.  JI: Aforde Entonces, ¿estas preguntas les servirán para eso?  JS Por supuesto que sí.  NS: Fondo Cristiano para Niños de Honduras Es difícil hacer la relación, porque fíjese que yo inicialmente mi concepción era que les va a ayudar como a revisar los contenidos del programa de gerencia, pero algunas de las preguntas como que no van inclinadas hacia eso, entonces dije yo, bueno eso no es.

327

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

C. Entrevistas en la comunidad Las entrevistas en la comunidad son una variante de entrevista de enfoque, las de cara a cara e individuales, con el fin de realizar el monitoreo de programas. Usualmente las entrevistas se realizan en los hogares o lugares de trabajo de los miembros de la comunidad, de ser posible se selecciona un grupo panel, al que se le entrevista por el tiempo que dure el programa. Usualmente se entrevistan de 15 a 25 personas que representen diversos tipos de beneficiarios y operadores del programa, con el fin de retroalimentar su implementación. En ocasiones las entrevistas en la comunidad se usan para propiciar una participación más amplia y significativa en los programas. Además las entrevistas se pueden complementar con funcionarios o con informantes claves de la comunidad. La diferencia esencial entre las entrevistas a informantes clave y las entrevistas a comunidad se refiere al criterio de selección de los informantes. En las entrevistas a informantes clave los informantes se seleccionan por el conocimiento experto sobre un tema, en las entrevistas a la comunidad los informantes se seleccionan por el tipo de rol que representa una persona en la comunidad. Por ejemplo, beneficiario de género femenino, casada, con hijos adultos, en los que toda la familia resulta afectada por el funcionamiento del programa. Otro beneficiario puede ser seleccionado porque representa a los del género masculino, soltero, sin hijos ni familia que resulte afectada por el programa. El cuestionario se basa en una guía de preguntas semiestructuradas, que se compone de tres partes. La primera parte se conforma por la información personal, sociodemográfica y cultural de quien responde (nombre, edad, género, tamaño de la familia, recursos, nivel de escolaridad, actividad económica, ingresos, bienes y posesiones considerados importantes para el programa, estado de salud, entre otros). En la segunda parte se indaga de manera con-

Técnicas sencillas y rápidas del monitoreo social

328

Monitoreo y evaluación del diseño y desempeño de programas sociales

creta la valoración que hace el informante sobre los componentes y la implementación del programa. Esta sección puede incluir preguntas de opciones múltiples, que pueden convertirse en índices de estándares del desempeño del programa (en este caso es necesario cuidar en extremo el fraseo de las preguntas). En la tercera sección se da espacio para que se expresen las críticas o propuestas de mejora sobre la forma de aplicar el programa. En caso de que el estudio sea longitudinal se debe mantener el formato general y, en lo posible, las mismas preguntas. En vez de cambiarlas es recomendable adicionar nuevas, con el fin de mantener la comparabilidad de las respuestas, al tiempo que se obtiene información sobre procesos o componentes nuevos del programa que se van presentando conforme éste madure. En todo caso, la guía de preguntas debe asumir que la entrevista durará entre 60 y 90 minutos, incluyendo la negociación de entrada. Si se entrevista a amas de casa o a personas que laboran, debe cuidarse de manera específica la hora y lugar de la entrevista. En general, es recomendable que mujeres entrevisten a mujeres y hombres a hombres, especialmente en ámbitos tradicionales (ya sea en el campo o en ciudades). Estas entrevistas se usan para conocer los efectos del programa en la vida de los habitantes de una comunidad, tanto a nivel individual, como familiar y comunitaria. En el análisis es conveniente desagregar estos diversos niveles. Si bien deben seleccionarse informantes tipos, el tamaño de la muestra carece de representatividad de la población, por lo que deben evitarse generalización de los resultados. En todo caso las conclusiones se refieren a los informantes y sus familias. La técnica de entrevistas a miembros de la comunidad puede tener dos variantes interesantes. La primera consiste en entrevistas informales a grupos de informantes. La segunda la realización de la entrevista en talleres participativos. En estas variantes el número de preguntas se ve drásticamente redu-

329

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

cido. Las entrevistas informales a grupo son muy semejantes a las entrevistas de grupo de enfoque, aunque se elimina la diferencia entre investigadores e informantes, se sientan en semicírculos y se trata de reconstruir una conversación ampliada. Los investigadores o cualquier miembro del grupo pueden hacer preguntas y participar en la discusión. La principal función de quien realiza el monitoreo es facilitar una discusión amplia, con igual participación y en donde se elimine la presión de grupo. En esta modalidad la guía de preguntas es opcional. De cualquier manera el registro puntual sigue siendo importante, por lo que el video o audiograbación se impone ya que en estas discusiones pueden participar de dos hasta treinta personas. En la modalidad de taller la entrevista es parte de un proceso más amplio, que se inicia con la identificación de los problemas de la implementación, una valoración de los principales avances y el diseño de estrategias de solución de los problemas. El propósito de la entrevista en comunidad en taller no consiste sólo en obtener datos sobre los problemas encontrados en la implementación de los programas sino principalmente en trabajar, de manera participativa, en alternativas de solución a los problemas identificados en la entrevista en comunidad. Este proceso puede durar varias sesiones, cada una de ellas con encuentros de dos a tres horas. De esta manera, el proceso de monitoreo se conecta directamente con el proceso de rediseño del programa. Es muy importante que en el taller, aparte de los beneficiarios, participen los operadores y los responsables del programa, con el fin de que las decisiones que se tomen consideren pros y contras de los actores involucrados y se les provea de suficiente legitimidad. Se recomienda muy puntualmente no empezar la discusión de estrategias sino hasta tener la información de parte de los operadores y las perspectivas de los beneficiarios. El mayor beneficio de la técnica consiste en la posibilidad de conocer los efectos positivos y negativos de los programas con muy pocos recursos hu-

Técnicas sencillas y rápidas del monitoreo social

330

Monitoreo y evaluación del diseño y desempeño de programas sociales

manos y económicos. Si se seleccionan bien los informantes, seguramente se retroalimentará convenientemente el programa con base en la información proporcionada. El mayor riesgo se atribuye a la incapacidad de generalización de los resultados. En estudios longitudinales, en los que se propicia la familiaridad entre informantes y entrevistadores, se pueden provocar sesgos hacia la hipercrítica de los programas en caso de que el entrevistador no cuente con suficiente capacitación o experiencia. EJEMPLO GUÍA PARA ENTREVISTAS SEMIESTRUCTURADAS A MAESTROS DE ESCUELAS CON PROYECTO COLECTIVO ESCOLAR EN REUNIÓN DEL CONSEJO TÉCNICO ESCOLAR.

I. Características generales: Nombre de la escuela: Número de alumnos: Número de maestros de la escuela y que asisten al taller: Nombre del director(a): Años como director en general: Años como director de esta escuela: Fecha de la entrevista:

331

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

II. Percepción sobre los Proyectos Colectivos Escolares 1. CONTEXTO GENERAL

Según algunos análisis, de 1992 a 1998 se ha transformado el funcionamiento de la educación en México y, por lo tanto, en Chihuahua. ¿Pudieran decirnos qué ha pasado en su escuela en este periodo? 2. CONTEXTO ESCOLAR En particular, en el último año, del ciclo 1996-1997 al actual, ¿qué siente que haya sucedido de importante en la escuela? Por ejemplo, ¿ahora hacen cosas que antes no hacían?, ¿los directivos actúan o piensan de manera diferente?, ¿los padres han cambiado su forma de participar en la escuela?, ¿sienten cambios importantes en la forma como se organiza, planifica o evalúa en su escuela? 3. PRÁCTICA DE GESTIÓN ESCOLAR ¿Lo que hace todos los días su director(a) hoy es diferente a lo que hacía hace un año? 4. INFORMACIÓN SOBRE LOS PCE Su escuela diseñó y presentó un Proyecto Colectivo Escolar, ¿pueden ustedes contarme cómo se dio cuenta de esta política?, ¿qué tanta información tuvieron como maestros acerca de cómo se formulaban, de sus principios generales?, ¿cómo recibieron esa información? 5. PROCESO DE DISEÑO DE LOS PCE Ahora pueden narrar, ¿cómo se diseñó ese proyecto?, ¿quiénes participaron?, ¿quiénes no participaron?, ¿cuánto tiempo duraron para diseñarlo?, ¿qué facilitó el diseño?, ¿qué dificultó el diseño? En particular, ¿cómo hicieron el diagnóstico?, ¿cómo identificaron los objetivos?,

Técnicas sencillas y rápidas del monitoreo social

332

Monitoreo y evaluación del diseño y desempeño de programas sociales

¿qué acerca de las estrategias?, ¿porqué pidieron esos recursos (mencionarlos) y no otros? 6. ACTORES INVOLUCRADOS EN EL PCE Una vez que se terminó el diseño, ¿qué sucedió?, ¿a quién lo dieron a conocer?, ¿qué pasó dentro de la escuela, con los directivos, con los padres, con ustedes? En particular, ¿pudieran describir en detalle la participación de su director(a) en el Proyecto Colectivo Escolar? 7. APOYO PARA LOS PCE ¿Han recibido recursos para apoyar al proyecto?, ¿cómo fue la entrega de los recursos?, ¿son el tipo de recursos que esperaba?, ¿se inició el trabajo o algunas actividades del proyecto cuando todavía no se recibían recursos?, ¿por qué sí o por qué no? 8. CAMBIOS EN LA CULTURA ORGANIZACIONAL ¿Cómo se perciben ustedes una vez que se empezó a trabajar con los Proyectos Colectivos Escolares?, ¿ven diferente su trabajo académico?; ¿cómo sienten a los padres de familia?, ¿cómo sienten su propio trabajo de maestro (a)? 9. SUSTENTABILIDAD DE LOS PCE ¿Consideran que el Proyecto reforzó cosas que ya se hacían en esta escuela o se inició alguna innovación?, ¿qué piensan sobre la capacidad de innovación de sus maestros y, en general, de su escuela?, ¿cuál sienten que es la relación entre innovación y proyecto escolar?, ¿cómo harían permanecer la innovación de su escuela a pesar de los cambios de autoridades?

333

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

10. CONTINUACIÓN DE LOS PCE Se aproxima un cambio de gobierno en Chihuahua, ¿recomendaría usted que continuara la política de los Proyectos Colectivos Escolares?, ¿qué cambios sugieren a la manera como se ha manejado a estos proyectos? D. Registros estructurados53 La técnica es ampliamente utilizada en los procesos de monitoreo ya que permite obtener datos relativos a objetos relevantes para los programas. Si bien todo proceso de monitoreo involucra observación es frecuente que ésta se realice de manera informal. Cuando las observaciones se basan en registros estructurados usualmente se les combinan con entrevistas y otras fuentes de información. La mayor ventaja de la técnica consiste en que además de permitir verificar la calidad y cantidad de bienes y servicios que el programa esté comprometido a producir, permite profundizar en la caracterización de los contextos del programa y a un mejor entendimiento de los elementos constitutivos de la implementación así como de su calidad, en cuanto se satisfacen estándares. De igual forma permite auditar recursos, instalaciones y productos comprometidos en la planeación del programa. Cuando se monitorean progresos en indicadores de salud los registros estructurados permiten llevar a cabo una descripción detallada, que permite comparar y desarrollar tendencias, tanto de cada individuo como de la comunidad en general. Etapas: 53 USAID Center for Development Information and Evaluation, Performance Monitoring and Evaluation Tips, Using Direct Observation Techniques, 1996, Number 4; Kumar, Krishna, Rapid Appraisal Methods, Washington, D.C. World Bank, 1993.

Técnicas sencillas y rápidas del monitoreo social

334

Monitoreo y evaluación del diseño y desempeño de programas sociales

1. Determine el foco de interés. Los registros estructurados deben limitar su observación directa a unas pocas actividades o productos del programa, por lo que es sumamente selectivo. Para estructurar el registro deben seleccionarse actividades críticas, recursos idóneos o características comprometidas de los bienes, servicios o productos del programa que se monitorea. 2. Diseñe un formato claro y con secuencia lógica. El registro debe basarse en una guía o formato que liste los aspectos a considerar, los que se ordenarán de manera temporal o con clasificación de categorías generales, categorías especiales y subcategorías. Deberá ser sencillo de llenar y con opciones exhaustivas. Estos formatos serán respondidos por quien monitorea el programa directamente, no los informantes. En todo caso, el investigador se asistirá de informantes para complementar su observación y registro con datos complementarios. En caso de que sea posible, es deseable estructurar las opciones de los ítems. Usualmente las formas no pasan de 50 ítems. Lo deseable es que todos los ítems sean organizados en una sola página u hoja. 3. Procedimiento. Una vez que se diseña el formato del instrumento debe decidirse el procedimiento de aplicación, las personas que levantarán la información, los lugares en los que se obtendrá la información. Los registros pueden considerar casos típicos o comparativos, según sea el diseño general del proceso de monitoreo. A pesar de que los informantes juegan un papel complementario es importante desarrollar como procedimiento de trabajo de campo los requisitos normales, como establecimiento de una entrada legítima (Rapport) a los ojos de los implementadores o beneficiarios de los programas, por lo que se debe explicar lo que se observará y de qué manera

335

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

será utilizada. Si bien los registros pueden ser uno de los procedimientos más rápidos, deberá considerarse tiempo suficiente para establecer buena comunicación y levantar buenos datos. Ejemplo Ê Nombre del entrevistador Nombre de la escuela Clave de la escuela Localidad Municipio o Delegación Entidad federativa Esta escuela es ( ) Urbana ( ) Rural ( ) Indígena Nombre del director (a) Género: Hombre ( ) Mujer ( ) Edad: años cumplidos Antigüedad en la escuela años Años en el servicio educativo Grado máximo de estudios completos Participa en carrera magisterial SÍ ( ) NO ( ) En caso afirmativo, precise nivel Tiempo que estima seguirá trabajando en esta escuela: Número de años I. A continuación se presentan dos listas de cotejo para identificar la presencia de anexos y recursos de aprendizaje que se encuentran en la escuela. Marque en el espacio correspondiente (X) si existen en la escuela y si fueron construidos o adquiridos gracias al apoyo del PEC. Describa el uso más

Técnicas sencillas y rápidas del monitoreo social

336

Monitoreo y evaluación del diseño y desempeño de programas sociales

frecuente que se le da al anexo, si es posible señale su relación con el proyecto escolar. Finalmente califique el nivel de suficiencia del anexo a juicio del director de la escuela en un rango que va de 1 (insuficente) al 5 (suficente) Anexos

Existencia

Adquiridos con recursos del PEC

Describa el uso más frecuente

Nivel de suficiencia 1-2-3-4-5

Biblioteca Videoteca Ludoteca Aula de cómputo Sala de usos múltiples Sala de juntas Explanada cívica Cancha deportiva Cocina y/o comedor Auditorio o teatro Otro: Otro: Otro: Otro:

Recursos

Existencia

Nivel de suficiencia 1-2-3-4-5

Nivel de calidad 1-2-3-4-5-

Adquiridos con recursos del PEC

Libros de texto. Libros complementarios Juegos de geometría Juegos de mesa. Juegos didácticos Material concreto. Maquetas Globo terráqueo

337

Técnicas sencillas y rápidas del monitoreo social

Armando Loera Varela

Recursos

Existencia

Material gráfico Material natural. Material para experimentos Carpeta o portafolio del alumno Útiles escolares Material deportivo (balones, redes) Material para psicomoticidad (cuerdas, aros, botes…) Teatrito y guiñoles Instrumentos musicales Banda de guerra Televisión Videos Videograbadora Videocasetes CD´s o DVD´s Grabadora Audiocasetes Computadoras Programas de computadora (Software) Enciclomedia Pizarrón electrónico Retroproyector Cañón Pantalla Copiadora Equipo de sonido Bancas, sillas, mesas… Archiveros, locker’s… Libreros Otros:

Técnicas sencillas y rápidas del monitoreo social

338

Nivel de suficiencia 1-2-3-4-5

Nivel de calidad 1-2-3-4-5-

Adquiridos con recursos del PEC

Monitoreo y evaluación del diseño y desempeño de programas sociales

La información necesaria para identificar el nivel de satisfacción de los indicadores puede basarse en encuestas, fuentes de información tradicionales o en alguna de las técnicas de Valoración Rápida ya consideradas. Durante el monitoreo es importante reconstruir la teoría subyacente en los programas y enfocar la recolección de datos a tratar de ratificarlo o rectificarlo, según sea el caso. Para ello el proceso de monitoreo tendría que centrarse en hacer varias preguntas: 1) ¿Cuáles son los propósitos generales que trata de alcanzar el programa? 2) ¿Qué objetivos preliminares y condiciones contextuales se requieren satisfacer para obtener un alto nivel de logro de esos propósitos generales? 3) ¿Qué actividades deben realizarse para lograr los objetivos preliminares? 4) ¿Qué recursos se requieren para realizar las actividades y qué condiciones de inversión deben satisfacerse? Las respuestas a estas preguntas permitirían configurar la teoría subyacente en el programa, que servirá de guía para el proceso de monitoreo y evaluación. 4. Actividades sugeridas 1. Reconstruya la teoría de cambio de su programa. 2. Identifique la técnica de Valoración Rápida que puede ser oportuna para probar la teoría de su programa. 3. Diseñe el instrumento y decida sobre procedimientos de campo en el diseño de su proceso de monitoreo.

339

Técnicas sencillas y rápidas del monitoreo social

Procedimientos participativos y heurĂsticos en el monitoreo de programas sociales

Monitoreo y evaluación del diseño y desempeño de programas sociales

CAPÍTULO 7

Introducción Pulse para explorar el subíndice:

La perspectiva heurística

En el presente capítulo se analizan las bases Criterios de selección de las teóricas y empíricas de las técnicas participatécnicas tivas y heurísticas, así como un repertorio de 1. Renomo éstas, aplicables a los procesos de monitoreo 2. Triage de programas sociales. Éste tipo de técnicas son relevantes en cuanto que involucran 3. Técnica de reflexión colectiva cambios en las actitudes de los programas ya 4. Escribiendo Ideas que no sólo los involucra sino que provoca profundizar en los niveles de compromiso y de conciencia, tanto respecto al conocimiento de los temas como con relación a las posibilidades de acción del sujeto en el marco del programa. La participación La importancia de la participación en los programas sociales se ha considerado ampliamente como una condición favorecedora para la eficacia de los programas sociales. Con esta base, organismos internacionales como el Banco Mundial54 y el Banco Interamericano de Desarrollo55 54 The World Bank Participation Sourcebook, Washington, D.C., The World Bank, 1996; Sleeping on our own Mats: an introductory guide to community-based monitoring and evaluation, Washington, D.C.: The World Bank, 2002. 55 Libro de Consulta sobre Participación, Washington, D.C.: Banco Interamericano de Desarrollo, 1997.

343

Procedimientos participativos y heurísticos en el monitoreo de programas sociales

Armando Loera Varela

han recomendado que la participación sea un atributo de los programas que impulsan. Sin embargo, es claro que el concepto no se traduce en una característica más, sino en un cambio de perspectiva en la naturaleza de los programas. Se deja atrás a la perspectiva tecnocrática, que pone su fe básica en la competencia de expertos, para apostar a la inteligencia de la colectividad, proceso que puede incluir expertos en técnicas y mecanismos de participación social, al igual que incluir a expertos en otros temas, pero no únicamente a ellos. Con la participación se desarrollan condiciones de éxito de los programas, al tiempo que se contribuye a la gobernabilidad social; a una mayor y más profunda noción de ciudadanización de la vida pública y a hacer más viables y sustentables los mismos programas. El principio básico de los procesos de monitoreo participativo consiste en que las personas y entidades que tienen interés legítimo en el programa (stakeholders, que son quienes son afectadas o beneficiadas directamente por el programa) deben verse directamente involucradas en el diseño, implementación y en la evaluación de los programas, no únicamente ser consideradas fuentes de información o de opinión. Para lograr ese involucramiento se requiere construir competencias técnicas en el análisis de los temas, su reflexión, en decisiones y acciones sobre los que se ejerza. El aprendizaje y la profundización sobre los temas deben hacerse en dinámicas comunitarias, con el fin de fortalecer procesos de aprendizaje social e innovación en los procesos de cambio. Un efecto colateral del aprendizaje social suele ser el fortalecimiento institucional ya que hace al proyecto más controlable. Además, propicia la gobernabilidad del sistema. Los procesos de participación efectiva consideran los mecanismos diseñados para compartir información y aprendizaje como condiciones previas para la participación, pero de ninguna manera la constituyen. Por su parte, los mecanismos por los cuales los actores expresan sus opiniones configu-

Procedimientos participativos y heurísticos en el monitoreo de programas sociales

344

Monitoreo y evaluación del diseño y desempeño de programas sociales

ran, apenas, una primera etapa. Para generar una participación auténtica se requieren trascender las condiciones y la expresión de las opiniones para llegar a niveles de participación efectiva, a través de mecanismos de decisión y control del desarrollo del programa, que influyan en el diseño del programa, en su monitoreo y evaluación, así como en su implementación. Los principales riesgos y desafíos de los procesos de participación consisten en la cultura social u organizacional instalada en las comunidades en donde operan los programas sociales. Las instancias, donde ha dominado una burocracia privilegiada por largo tiempo, obviamente temen perder poder o control y -en consecuencia- se resisten a los procesos de participación. Además, usualmente no se cuenta con experiencia o conocimiento de procedimientos adecuados para fomentar la participación auténtica. Las elites privilegiadas usan modalidades de expresión de la resistencia a la participación, como pueden ser la cooptación de los otros grupos de interés, la simulación y el formalismo en los mecanismos de participación, disminuyendo su autenticidad. La perspectiva heurística La heurística es el arte o ciencia del descubrimiento para la solución de problemas de manera innovadora56. Los modelos heurísticos son frecuentemente utilizados en planificación y en diversos tipos de intervención social, incluyendo el monitoreo social. Las técnicas heurísticas consisten en procedimientos sistemáticos que permiten explorar problemas y descubrir soluciones a partir de la sinergia de trabajo en grupo, procesos de construcción de consensos con base en argumentos y reflexión iluminativa57. Son heurísticos 56 Heurística, Wikipedia, consultado el 13 de agosto de 2007.En la versión de Wikipedia en inglés se señala que la etimología se deriva del griego “heurisko” (εὑρίσκω), que significa “lo he encontrado”. 57 Loera, Armando, “El Desarrollo de Metodologías Heurísticas en la Formación de los nuevos gestores

345

Procedimientos participativos y heurísticos en el monitoreo de programas sociales

Armando Loera Varela

en cuanto que descubren nuevas opciones. Cuando se aplican las técnicas heurísticas a procesos de monitoreo y evaluación de programas sociales se trata de conectar los procesos de aprendizaje de manera innovadora, esto es, que a través de la conversación estructurada, informada y sincera, los actores logren identificar soluciones a los problemas de la implementación de los problemas que sería realmente difícil alcanzar de manera individual o meramente técnica. Las técnicas heurísticas articulan cinco dominios conceptuales: a) Una perspectiva hermenéutica crítica que acepta la posibilidad de conversaciones sinceras, esto es, que se pueden desarrollar en una atmósfera en donde se inhiban los sesgos impuestos por los intereses e ideologías58. b) Una noción de descubrimiento de soluciones a partir del diálogo, que es definido como el proceso a partir diversos actores “piensan juntos”59 la mejor solución de un problema. c) Aprendizaje grupal y social a partir de una dinámica de conversación, información, reflexión y un doble proceso de auto y hetero-descubrimiento60. d) Una visión de sistemas blandos61 según la cual la mejor forma de solucionar problemas poco claros es a partir de procesos de objetivación de las educativos”, ponencia presentada en el Seminario Internacional sobre Gestión Educativa: Tendencias y Perspectivas, Consejo Nacional de Secretarios de Educación, Río de Janeiro, Brasil, 1998 (anexo 1). 58 Habermas, J., The Theory of Communicative Action, Vol I and II, Boston, Beacon Press, 1981. 59 Uno de los ensayos mejor logrados sobre las condiciones para desarollar el valor del diálogo en procesos de reflexión e ilumincación es el de Issacs, W., Dialogue and the Art of Thinking Together, New York: Currency, 1999. 60 Moustakas, C., Heuristic Research: Design, Methodology, and Applications, Newbury Park: Sage Publications, 1990. 61 La presentación más sistemática y clara de los métodos blandos se encuentra en: Checkland, P. and J. Poulter, Learning for Action: a short definitive account of soft systems methodology for its use for practitioners, teachers, and students, London: John Wiley & Sons, Ltd., 2006.

Procedimientos participativos y heurísticos en el monitoreo de programas sociales

346

Monitoreo y evaluación del diseño y desempeño de programas sociales

ideas mediante diagramas u otras modalidades de gráficos. e) Una apuesta a la inteligencia colectiva, por encima o al menos a la parque las competencias de expertos o de líderes carismáticos. James Surowieki 62considera que bajo las circunstancias correctas los grupos son más inteligentes que lo que usualmente se les considera para encontrar soluciones correctas. Mientras que los individuos de manera aislada son típicamente incompetentes cuando conforman un grupo y cuidan de, al menos, cuatro condiciones, suelen encontrar soluciones iguales o mejores que los expertos. Las condiciones son las siguientes: • Debe existir diversidad en las opiniones, perspectivas y conocimiento al interior del grupo. Mientras más independencia cognitiva exista en un grupo es más probable que sea más inteligente, esto es, competente para solucionar correctamente los problemas. • Debe existir independencia entre los miembros del grupo para expresar sus propias perspectivas. • La estructura de la decisión debe ser descentralizada. • Contar con un buen método para registrar y agregar cada opinión o voto del grupo. Surowieki considera, además, que un proceso que empobrece la inteligencia organizacional es la búsqueda de consensos, en vez de mantener la diversidad de perspectivas particulares. La mayor parte de las técnicas que se presentan en esta sección respetan estos principios.

62 Surowieki, James, The Wisdom of Crowds: why the many are smarter than the few and how collective wisdom shapes business, economies, societies, and nations, New York: Doubleday, 2004.

347

Procedimientos participativos y heurísticos en el monitoreo de programas sociales

Armando Loera Varela

Criterios de selección de las técnicas Las cuatro técnicas que se presentan a continuación deben ser aplicadas de manera oportuna al momento del monitoreo de la implementación de un programa. De igual manera, deben ser pertinentes a la naturaleza del programa y el tipo de resultados que se desean obtener, las características de los grupos involucrados, el nivel socio-cultural y de poder de los actores y a las competencias de los facilitadores de las técnicas. En cualquier caso se debe asignar máxima prioridad a los procesos de aprendizaje social, a la necesidad de que el programa genere valor agregado y a las bases de ética pública que sustenten el esfuerzo del monitoreo. Estas bases de ética pública consisten en mantener, por encima de todo, la dignidad de las personas involucradas, fortalecer sus derechos y obligaciones sociales en un marco de ciudadanización de la vida pública y a profundizar en los compromisos, así como sus consecuencias, tanto a nivel personal como comunitaria. En todos los casos se dispondrán las condiciones para que la participación sea auténtica. 1. Renomo63 El método de monitoreo y evaluación denominado Renomo combina dos técnicas participativas: la Técnica de Grupos Nominales y el Grupo de Moderación. Ambas técnicas son ampliamente utilizadas para involucrar muy diversos tipos de actores en procesos de análisis, reflexión y decisión de un programa social. Desde la perspectiva del involucramiento de actores, el monitoreo de programa asigna máxima prioridad a la expresión de los beneficiarios con relación a sus necesidades y expectativas, así como sus opiniones 63 El procedimiento que se presenta ha sido modificado de acuerdo a la experiencia del autor. La versión original es: Beywl, Wolfgang and P. Potter, “RENOMO-A Design Tool for Evaluations: Designing Evaluations Responsive to Stakeholders´ interests by Working with Nominal Groups using the Moderation Method”, Evaluation, 4 (1), pp. 53-71-

Procedimientos participativos y heurísticos en el monitoreo de programas sociales

348

Monitoreo y evaluación del diseño y desempeño de programas sociales

sobre el diseño y la implementación del programa, y las mejores alternativas para mejorarlo. Con la estructura de Renomo como mediadora en la compleja relación entre beneficiarios y evaluadores (o en este caso, personal encargado del monitoreo) se establecen diálogos estructurados, a través del cual se negocian los diversos intereses y perspectivas ideológicas. La Técnica de Grupos Nominales (TGN) se aplica a grupos que conforman por individuos que no han tenido previa interacción y, que en consecuencia, por primera vez forman parte de lo que alguien puede denominar “grupo” (de ahí lo nominal). La TGN fue diseñada para compartir información y generar procesos de construcción de decisiones tratando de prevenir procesos prematuros de consensos. Se trata de provocar tantas ideas, información y opiniones como sea posible, asegurando participación equitativa, disminuyendo el ejercicio del poder y la influencia de los actores sobresalientes. La técnica se desarrolla bajo el siguiente proceso: 1. El facilitador señala el propósito de la reunión y los criterios para convocar a las personas que están ahí reunidas. Se explica la mecánica de la metodología. La estructura del grupo debe ser en forma de U. 2. Cada participante del grupo (de 8 a 50 personas) se presenta y señala su relación con el programa. 3. El facilitador formula una pregunta, que debe ser clara para todos (de lo cual se asegura). 4. Cada participante escribe en una hoja de máquina una idea que se refiera a la pregunta. No necesariamente es una respuesta. Puede escribir tantas ideas como desee, siempre y cuando use una hoja para cada idea. Cada hoja debe tener un identificador de quien la produjo. 5. Una vez que se termina con la producción de ideas escritas en las

349

Procedimientos participativos y heurísticos en el monitoreo de programas sociales

Armando Loera Varela

hojas, se entregan. El facilitador la muestra al grupo, la lee en voz alta y solicita conocer si es clara la idea al resto del grupo. No se aceptan comentarios positivos o negativos, solo preguntas sobre la claridad de la idea. LA TGN tiene una propuesta de mecánica a partir de esta etapa (en la cual se abre la discusión para organizar y jerarquizar las ideas), sin embargo es característico del Renomo que a partir de este punto se abandone esa técnica y se haga intervenir a la Técnica de Moderación (TM), con el fin de disminuir el nivel de influencia de los actores que tienden a dominar las discusiones en grupo. Idealmente se trata de disminuir los sesgos en la comunicación entre los actores. El facilitador enfatiza la comunicación gráfica más que la verbal, con el fin de disminuir el peso de la jerarquía, el individualismo y la competencia por sobresalir. Para ello se diseña un sistema de votación, que permita a cada participante participar por igual en las decisiones del grupo. Usualmente cada participante tiene cinco cartulinas para votar, con los números del 1 al 5. El 5 se usa para un muy fuerte acuerdo con la idea y el 1 un muy fuerte desacuerdo. El facilitador va convocando a procesos de votación para decidir en donde se ubican las ideas dentro de los grupos de ideas que se van conformando y, posteriormente, el nivel de prioridad en ese grupo de ideas. En esta parte del proceso juega un papel importante que el facilitador cuente con una persona que le apoye (usualmente con una computadora, usando un programa de hojas de trabajo, como Excel, en el que se captura la votación. Es mucho mejor si se proyecta a todos el proceso de captura de las votaciones. Por lo que el procedimiento sigue de la siguiente manera (en cada decisión se vota públicamente): 6. Una vez clarificada la idea escrita en la hoja se pega en la pared bajo una familia conceptual. Una primera votación es sobre el nombre del agrupamiento. El facilitador debe respetar las propuestas de los par-

Procedimientos participativos y heurísticos en el monitoreo de programas sociales

350

Monitoreo y evaluación del diseño y desempeño de programas sociales

ticipantes. El facilitador indica sobre el sentido de la votación para agrupar cada idea. Una vez que agrupa la primera continúa con todas las siguientes. 7. Al terminar de organizar todas las ideas se procede a jerarquizarlas, también por votación controlada. Usando el mismo procedimiento se vota sobre la importancia o prioridad de cada idea con relación a la implementación del programa y el tipo de lecciones que deben ser desarrolladas para rediseñarlo y hacerlo más eficiente. 8. Una vez que se ha priorizado se convoca a los participantes a acercarse a los listados, ya organizados y jerarquizados de ideas, relean las hojas y tengan una visión general de los resultados del ejercicio. 9. Se vuelve a reunir el grupo sentados en forma de U y se les convoca a complementar el ejercicio, pidiendo nuevas aportaciones. Cada nueva aportación es sometida al proceso de clarificación y votación en cuanto a su asignación a las familias conceptuales y nivel de jerarquía. 10. Finalmente se realiza una última votación acerca de si la dinámica permite expresar las posturas de cada participante, si considera que incorpora los temas críticos del programa y el nivel de satisfacción/ insatisfacción del programa. Esto es escrito por cada quien en una hoja que se entrega al facilitador sin hacerlo público. Claramente, el tiempo es una de las principales debilidades de la metodología. Por lo que en el diseño y preparación de las reuniones debe considerarse muy seriamente cuánto tiempo tienen disponibles los participantes para desarrollar el ejercicio. El tiempo del ejercicio depende tanto del número de convocados como de la competencia como moderador de quien desarrolla la función de facilitador. En general, un grupo de 10 personas debe esperar que dure unas dos horas. Un grupo de 20 personas se llevaría unas cuatro horas.

351

Procedimientos participativos y heurísticos en el monitoreo de programas sociales

Armando Loera Varela

Un grupo de 50 personas tardaría al menos 8 horas. 2. Triage64 Triage es el acrónimo de Technique for Research of Information by Animation of a Group of Experts, esto es, Técnica para la investigación por animación de un grupo de expertos. Es una metodología que se aplica en monitoreo y evaluación de programas con base en consenso de expertos. La técnica es similar a los Estudios Delfos65, en cuanto se basa en consensos entre expertos, los que pueden ser consultados vía teléfono, fax o correo electrónico, aunque sin la sofisticación analítica de esa metodología, por lo no es considerada dentro del repertorio de las técnicas que se desarrollan en este manual. La técnica, al igual que las que se han presentado en el resto del repertorio, considera que de manera legítima cada actor tiene perspectivas peculiares del valor de un programa social, de ahí que es relevante registrar las valoraciones que formulan con relación a un programa un grupo muy diverso de expertos del programa. La técnica se compone de tres etapas: a) Preparación En esta etapa los evaluadores se centran en la formulación de la pregunta central del monitoreo, su significado, su fraseo y las posibles alternativas de respuesta. Las Preguntas típicas pueden referirse a la forma de monitorear 64 La versión que se presenta se ha modificado de acuerdo con la experiencia del autor. La versión original es presentada en: Gervais, M. and G. Pèpin, TRIAGE: A new Group technique gaining recognition in evaluation, Evaluation Journal of Australia, Vol. 2 (new series), N. 2, December, 2002, pp. 45-49. 65 La técnica más validada que se basa en consenso entre expertos son los Estudios Delfos, que si bien se diseñaron para desarrollar estudios prospectivos se han utilizado también en procesos de evaluación institucional, de programas y monitoreo. Cfr. Listone, Harold A. and M. Turoff (eds). The Delphi Method: Techniques and Applications, Reading, Mass.: Addison-Wesley Publishing Company, Inc., 1975.

Procedimientos participativos y heurísticos en el monitoreo de programas sociales

352

Monitoreo y evaluación del diseño y desempeño de programas sociales

o evaluar el programa, como: ¿Cuáles son los mejores indicadores para monitorear el programa?, ¿cómo se pueden derivar lecciones válidas para rediseñar el programa?, o a las consideraciones de los expertos acerca de la implementación del programa, como: ¿Cuál es su opinión sobre la manera de entregar recursos a los beneficiarios?, ¿puede identificar aspectos positivos y negativos?, de acuerdo a su conocimiento, ¿cómo se mejorarían las estrategias para entregar los recursos a los beneficiarios? Además de la pregunta se selecciona un grupo de expertos en metodología o el tema del programa. Se recomienda un grupo de 6 a 12 personas realmente conocedoras, de modo que se les pueda clasificar como expertos y reconocer como tales. Una vez que se les selecciona se negocia con cada experto las condiciones de su participación. Usualmente la comunicación con los expertos es a través de medios electrónicos y nunca se desarrolla en dinámicas “cara a cara”. Los expertos no conocen quien más está participando en el grupo., sólo que existen otros expertos cuyas respuestas también se están considerando. La principal razón para que mantener el grupo a ciegas del resto de los participantes es para evitar autocensuras. La técnica asume que la confidencialidad de la participación es importante para mantener alto nivel de validez de la información que se produce en la dinámica (en la versión original se produce una dinámica cara a cara en la tercera etapa). b) Producción individual En esta etapa cada participante ha recibido ya las preguntas y formula un máximo de cinco enunciados que las responda (para evitar redundancia). A estos enunciados se les denomina en la técnica “indicadores”, “temas” o “necesidades”, dependiendo del tipo de monitoreo que se realiza. Es normal que se dé un máximo de dos días de tiempo a partir que se recibe el cuestionario. Estos indicadores son guardados, en esta etapa no se les analiza.

353

Procedimientos participativos y heurísticos en el monitoreo de programas sociales

Armando Loera Varela

c) Producción interactiva En esta etapa se convoca a los participantes a desarrollar un juicio consensado sobre el estado del programa. Para lograr el acuerdo se utiliza un facilitador que comunica (usualmente de manera electrónica) a cada participante las repuestas del resto de los expertos, solicitándole que las considere y vea la posibilidad de producir un nuevo enunciado. Una vez que cada experto considera que ya llegó a la máxima reformulación de su enunciado original para buscar consensos (usualmente al tercer ciclo de devolución de enunciados) entonces se somete a votación de importancia y asignación de prioridades por cada enunciado. Esta fase se realiza una única vez. En cuanto se termina se comparan los resultados de las votaciones finales con la formulación inicial de los indicadores. Se anotan las similitudes y diferencias. Usualmente se comparte con los expertos este producto, que suele ser de su interés. Este proceso de votación puede hacerse cara a cara pero el autor considera que es mejor realizar la votación de manera electrónica para mantener confidencialidad en todo el proceso y, en consecuencia, mantener consistencia en la dinámica. Usualmente todo el proceso requiere de una a dos semanas en completarse. 3. Técnica de Reflexión Colectiva66 La técnica de reflexión colectiva permite identificar la capacidad de la reflexión colectiva de la comunidad en la que funciona un programa so66 Es una versión modificada por el autor de la versión desarrollada por Emery, M. and R. E. Purser, The Search Conference: a powerful method for planning organizational Change and Community Action, San Francisco: Jossey Bass Publishers, 1996. Otra fuente valiosa para el énfasis que se pone en las líneas de la historia es: Weisbord, M. and S. Janoff, Future Search: an action guide to Finding Common Ground in Organizations and Communities, San Francisco: Berret-Koehler Publishers, 2000.

Procedimientos participativos y heurísticos en el monitoreo de programas sociales

354

Monitoreo y evaluación del diseño y desempeño de programas sociales

cial sobre los acontecimientos más significativos en la vida de las personas, las comunidades y el programa. La dinámica tiene como productos dos líneas de la historia del programa que permiten recuperar las nociones de beneficios y perjuicios ocasionados por el programa. Recursos necesarios (varían de acuerdo al número de participantes) • Un espacio y mobiliario suficiente para desarrollar la actividad. • 15 hojas de rotafolio (5 serán usadas para responder las preguntar en el lugar central, 5 en la línea del orgullo y 5 en la línea de la pena). • Marcadores gruesos (uno por participante). • 100 hojas de máquina por escuela. • Cintas para pegar las hojas de rotafolio y conformar las líneas del orgullo y de la pena. Etapas La técnica consiste en una secuencia estructurada en siete etapas. 1. El facilitador expresará al inicio de la sesión el tiempo de duración (se recomiendan entre 90 y 120 minutos) y la estrategia que aplicará para tratar de igualar el nivel de participación. 2. Presentación personal de cada participante. Para ello se recomienda que se distribuyan tres hojas en blanco en donde se respondan tres preguntas con enunciados completos. Cada pregunta se responde en una hoja diferente, éstas se pegarán en un pizarrón o en una hoja de rotafolio. Las preguntas son las siguientes:

355

Procedimientos participativos y heurísticos en el monitoreo de programas sociales

Armando Loera Varela

a) ¿Quién soy? Es necesario aclarar que se pide más que el nombre, se trata de que se exprese en relación a su participación en el programa. b) ¿Cuál ha sido mi principal aportación al programa? (la noción de aportación se define a partir de los sujetos). c) ¿Cuál es el evento crítico (positivo o negativo) más importante que se ha presentado en el programa desde que inició? Se indica a los participantes que escriban una O (orgullo) o una P (pena) de una manera visible en la hoja en donde se responde la pregunta C (sobre el evento crítico). El facilitador de la técnica ubicará dos líneas elaboradas con hojas de rotafolio en mesas (preferible), pared o suelo. Cada línea transversal significa un periodo significativo, ya sea en medida de tiempo (meses, años) o etapas del programa. Línea del orgullo Inicio del programa

Actualmente

Línea de la pena Inicio del programa

Actualmente

Las hojas en donde se responden las preguntas A y B serán leídas en voz alta por cada persona; el facilitador las recogerá y pondrá en el centro (entre las dos líneas del tiempo; una corresponderá al orgullo y otra a la pena). El resto de los participantes podrán solicitar aclaraciones, pero se rechazarán comentarios críticos o cualquier juicio de valor en relación a quien se presenta.

Procedimientos participativos y heurísticos en el monitoreo de programas sociales

356

Monitoreo y evaluación del diseño y desempeño de programas sociales

3. En cada línea del tiempo se colocan las respuestas a la pregunta C, de acuerdo a su clasificación. Existen tres opciones para que el grupo conozca el contenido de dichas respuestas: Se invitará a los autores a leer sus propias respuestas, las lee el facilitador o se convoca al grupo a leerlas en silencio. Se sugiere esta última opción para evitar apoyos o descalificaciones públicas con relación a las respuestas. 4. Se convoca a los participantes a responder dos preguntas en la misma hoja (una en el anverso y otra en el reverso). a) ¿Cuál era el estado de la escuela al iniciar su participación en el programa? (se escribirá una “I” en el lado de la hoja en donde se responde). b) ¿Cuál es el estado actual de la familia o comunidad (el que sea la unidad beneficiaria con la intervención del programa)? (se escribirá una “A” en el lado de la hoja en donde se responde). 5. Se invita a cada participante que lea sus respuestas ante el grupo. 6. En caso de que la línea de las penas se vea que está muy pobre, el facilitador podrá enfatizar que probablemente ello se deba a que no existe suficiente confianza y sinceridad entre los participantes. Si este es el caso se solicita a cada participante que escriban (sin leer en público) en hojas adicionales eventos penosos (un evento penoso por hoja). Lo mismo se puede hacer con relación al orgullo. 7. Si el facilitador considera que las líneas del orgullo y de la pena están equilibradas entonces se procederá a solicitar que cada quien escriba un enunciado completo donde exprese su perspectiva acerca de su participación en el programa. Finalmente, se agradecerá la participación de cada persona. Se preguntará

357

Procedimientos participativos y heurísticos en el monitoreo de programas sociales

Armando Loera Varela

al director si desea contar con los resultados de la dinámica; en caso afirmativo se procederá a registrar los resultados de la dinámica de manera literal en el diario de campo y se le entregarán los originales al director. Recomendaciones para la captura Los resultados de la Técnica de Reflexión Colectiva se deben capturar en un formato especial. Es necesario que se revisen previamente los datos que se van a capturar, para que se recuperen después de aplicar la técnica. No resulta conveniente confiar en la memoria. ► Datos de identificación de los informantes: • Datos de la comunidad: Localidad y Municipio. ► Muestra • Criterio de selección de informantes. • Estrategia para convocar a los asistentes. • Número de informantes convocados y número de asistentes. • Fichas de datos generales de los participantes. ► Descripción general del ambiente en el que se desarrolló la sesión • Descripción y plano del lugar en el que se realizó la Técnica de Reflexión Colectiva • Horario en el que se realizaron las actividades y tiempo de duración de cada una. • Sucesos relevantes • Actitudes de los entrevistados. Procedimientos participativos y heurísticos en el monitoreo de programas sociales

358

Monitoreo y evaluación del diseño y desempeño de programas sociales

• Expresiones de los entrevistados. • Incidentes favorables. • Aspectos que interfirieron en el desarrollo de la técnica. • Transcripción de las respuestas que dieron los participantes a cada una de las preguntas, las respuestas a orgullos y penas en la línea del tiempo correspondiente. 4. Escribiendo Ideas La técnica es muy sencilla y rápida, ya que usualmente se lleva a cabo en un máximo de tres horas. Sin embargo su mayor debilidad consiste en que los participantes necesitan de cierto grado de escolaridad para escribir con claridad sus ideas. Toda la dinámica los participantes mantienen silencio, salvo al final, en la conclusión. El facilitador de la dinámica juega el papel central de establecer reglas, coordinar las actividades y clarificar el procedimiento. Se invita a un máximo de 20 personas a la actividad. Es muy deseable que tengan muy diversa función dentro del programa. Al inicio de la sesión se distribuye un cuaderno de unas 20 páginas a cada persona participante, al igual que plumas, si es posible de diferente color de tinta (siempre y cuando sea legible). El facilitador previamente ha desarrollado un cuestionario con un máximo de cinco preguntas abiertas, especialmente sobre el estado de la implementación de un programa. Formula la primera y pide a cada participante que ponga su nombre en el cuaderno y responda la primer pregunta (usualmente se numera la respuesta). Se dan de 15 a 20 minutos para responder. Una vez que todos han respondido, o que se agota el tiempo establecido, se invita a pasar el cuaderno a alguien más del grupo. No debe haber comunicación verbal entre las personas con relación a las respuestas.

359

Procedimientos participativos y heurísticos en el monitoreo de programas sociales

Armando Loera Varela

Una vez que se han recibido los cuadernos de los demás, se le solicita a cada quien que en la parte que sigue del cuaderno comenten la respuesta ahí escrita. Se dan de 5 a 10 minutos para escribir ese comentario (queda a juicio del facilitador solicitar que se identifique o no la persona que comenta). Una vez que se ha terminado con el primer comentario se continúa con los cuadernos de todos los demás. El ciclo se vuelve a reiterar con el resto de las preguntas. Si el tiempo lo permite se solicita a cada quien que lea los comentarios de sus compañeros de dinámica y haga un comentario sobre los comentarios de ellos, de manera breve. Al terminar la dinámica se entregan los cuadernos al facilitador. Estos cuadernos serán analizados para determinar: a) La amplitud del repertorio de opciones sobre los temas centrales en el monitoreo del programa. b) Los niveles de consenso/disenso con relación a esos temas. c) Los aprendizajes que los actores desarrollaron en la dinámica, comparando la respuesta inicial con los comentarios acerca de los comentarios.

Procedimientos participativos y heurísticos en el monitoreo de programas sociales

360

La gesti贸n del conocimiento derivado del monitoreo y evaluaci贸n

Monitoreo y evaluación del diseño y desempeño de programas sociales

CAPÍTULO 8

La Gestión del Conocimiento Derivado del Monitoreo y Evaluación Pulse para explorar el subíndice:

Introducción

1. Condiciones y factores

En el capítulo se presentan distinasociados en la utilización de la evaluación tas perspectivas y estrategias sobre la 67 noción de gestión del conocimiento , 2. La perspectiva del una noción que se asocia a procesos de aprendizaje organizacional uso de los resultados de la investigación 3. Diálogos informados y uso relacionado con el monitoreo y la evade investigación luación de los programas y las políticas sociales, de los aprendizajes que las organizaciones (específicamente públicas), incorporan, a partir de esos aprendizajes, la forma como se construye una agenda pública con base en amplias conversaciones entre los actores sociales y la estrategia para comunicar resultados a la sociedad. Si bien los procesos de monitoreo, por definición, son procesos en los que 67 La noción de gestión del conocimiento empezó a utilizarse en la década de los noventa a partir de diversas tradiciones de análisis. La perspectiva que se utiliza aquí es cercana a la representada en antologías como Harvard Business Review on Knowledge Management, Boston, Ma. Harvard Business School Press, 1998 y Myers, Paul S., Knowledge Management and Organizational Design, Boston, Mass.: ButerworthHeinemann, 1996.

363

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

la información y el conocimiento deben ser directamente aprovechados para redefinir los programas sociales, el aprendizaje se enfrenta a múltiples obstáculos. Espero que las lecturas nos permitan ser conscientes de las situaciones que dificultan aprender directamente, y podamos construir condiciones que faciliten que la inversión que se realiza en el monitoreo y evaluación permita mejorar la eficiencia y el impacto de los programas y las políticas sociales. Este es el objetivo básico, si no único, que legitima el esfuerzo y la inversión que se dedica al monitoreo y la evaluación. Sin embargo, es vital que no se caiga en el voluntarismo o en considerar que todo depende de estructuras administrativas o meras acciones gerenciales. Cada capítulo recupera análisis elaborados de manera independiente y con diversas finalidades. Sin embargo se articulan por considerar los aspectos organizacionales y sociales del aprendizaje derivado de estudios sistemáticos. En la primera sección se revisan diversas perspectivas sobre las condiciones y usos de estudios sistemáticos en la formulación de política pública. En la segunda sección se asume la perspectiva del aprendizaje organizacional como un proceso específico de organizaciones públicas, ya sea estatales u organismos de la sociedad civil. Finalmente, en la tercera sección, se consideran los diálogos informados como una forma de reestructurar las conversaciones sociales. 1. Condiciones y factores asociados en la utilización de la evaluación68 Un principio común en el quehacer de la investigación con referencia a la política pública y los programas sociales consiste en aplicar metodologías que 68 Sección basada en: Loera, A., “Condiciones y factores asociados a la utilización de las evaluaciones en educación: una reseña conceptual”, Ponencia presentada en el Seminario sobre “Tratamiento y usos de la información de evaluación”. Organización de Estados Iberoamericanos, Programa Cumbre Iberoamericana de Evaluación de la Calidad de la Educación. Buenos Aires, Argentina. 5-8 de octubre de 1998.

La gestión del conocimiento derivado del monitoreo y evaluación

364

Monitoreo y evaluación del diseño y desempeño de programas sociales

efectivamente sirvan en los procesos de formulación, de ejecución o, como es nuestro caso, en el monitoreo y evaluación de los programas sociales. Sin embargo poco se ha sistematizado sobre las condiciones sociales y organizacionales por los cuales la investigación influye. Por otra, todavía no son suficientes los estudios sobre las estrategias y factores que pueden manejar los evaluadores para hacer sus estudios más útiles69. El propósito del capítulo consiste en poner en la mesa de discusiones un repertorio de condiciones y factores asociados con la utilización de las evaluaciones. Para ello se proporciona un marco de referencia sobre los aspectos que influyen en la utilización de los resultados del monitoreo y la evaluación, al tiempo que se eviten las situaciones o características que inhiben su uso. No se trata de ser exhaustivo ni comprensivo en la revisión de la literatura, por lo que no se aspira a desarrollar un estado del arte, sino simplemente una breve reseña de naturaleza conceptual acerca de las condiciones y factores identificados por algunos resultados de investigaciones empíricas y algunos de los modelos conceptuales desarrollados por los, autodenominados, “sociólogos del conocimiento aplicado”. La tesis general que aquí se sustenta consiste en que el uso de los resultados de estudios derivados de monitoreo o evaluación, como el de la mayor parte de la proveniente de las ciencias sociales, se presenta cuando los actores la articulan con las actividades que desarrollan en el cumplimiento de sus intereses o en logro de las metas, ya sean personales, de grupo o institucionales. La articulación se ve promovida cuando existen condiciones favorables y características de las evaluaciones que les permite una mayor utilidad. Finalmente, se concluye que la denominada “cultura de la evaluación” po69 Una de las más recientes revisiones sobre condiciones y factores del uso ratifica el análisis que aquí se presenta: Mohan, Rakesh and K. Sullivan, Promoting the Use of Goverment Evaluations in Policymaking, New Directions for Evaluations, N. 112, Winter 2006.

365

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

dría consistir en la facilitación de una estructura integrada de factores que promueven la articulación de los resultados de las evaluaciones en el cumplimiento de los fines institucionales o de las metas. Sin embargo, siempre hay que tener presente que existen múltiples factores que inhiben el uso de la evaluación. Además, la cultura de la evaluación también debe tomar en cuenta los procesos inhibidores para prepararse a persuadir a los actores, de manera que se involucren en el debate social de las políticas públicas. UTILIZACIÓN DE LA INFORMACIÓN

La noción de “usos de la información” o, una idea aún más específica, “utilización del conocimiento de las ciencias sociales”, dentro del cual se encuentran los estudios de monitoreo y evaluación, apareció en la bibliografía especializada en los estudios de las políticas públicas y los programas sociales como una derivación especializada en el ámbito de las ciencias sociales de la gran discusión que se suscitó en los años setentas. De manera particular las discusiones se focalizaron sobre el tema de Investigación y Desarrollo, por una parte, y de inteligencia organizacional en ámbitos gubernamentales, por otra. En general, se ha sostenido como concepto básico de utilización del conocimiento los esfuerzos planeados para trasladar los resultados de la investigación social en políticas o prácticas que ayuden a resolver los problemas sociales. En un principio la perspectiva de “utilización del conocimiento” correspondió esencialmente a una visión positivista del conocimiento y a una concepción derivada de la noción de que la elaboración de las políticas públicas y el diseño de los programas sociales eran actividades monopolizadas por el sector gubernamental. Pero, a partir de mediados de los ochenta, se ha enriquecido tanto la perspectiva del conocimiento como la de práctica de otros actores sociales involucrados en los procesos de formulación, ejecución y

La gestión del conocimiento derivado del monitoreo y evaluación

366

Monitoreo y evaluación del diseño y desempeño de programas sociales

evaluación de las políticas públicas. En particular, se reconocen actores desde la sociedad civil, en donde los grupos intermedios son cada vez más activos, tanto en la generación de la agenda de políticas como en su evaluación. La disciplina de la utilización del conocimiento partió del presupuesto de que el conocimiento obtenido de las ciencias sociales era claramente distinguible de los intereses y de las ideologías de los grupos sociales. Esta noción correspondía más al resultado de un ejercicio de la capacidad intelectual por predecir o anticipar fenómenos sociales mediante manipulación selectiva70. Este es el contexto en el que se presenta la ahora clásica distinción sobre usos del conocimiento, incluyendo a las evaluaciones71: instrumental, en cuanto a que su aplicación deriva en la solución de un problema específico; conceptual, en cuanto a que su impacto es en la formación de nuevas agendas públicas o en nuevas formas de pensar los problemas; y el uso simbólico o legitimador, en cuanto a que el uso consiste en dar la impresión que algo se está haciendo de la manera correcta, aunque se esté lejos de ello. Algunos investigadores han encontrado que este es uno de los usos más comunes de los resultados de las investigaciones sociales72. En la literatura especializada además se han incorporado los modelos orientados al conocimiento, el in70 Estas características son comunes a las ciencias orientadas a las políticas públicas, según Harold D. Lasswell, The Policy Orientation, en D. Lerner y H.D. Lasswell (eds.) The Policy sciencies: recent developments in scope and method, Stanford, Ca. Stanford University Press, 1951. 71 Un gran número de “sociólogos del conocimiento aplicado” comparten esta perspectiva, entre los más sobresalientes están; Carol H. Weiss, Using Social Research in Public Policy Making, Lexington, Ma., Lexington Books, 1977; Nathan Caplan, “A Minimal Set of Conditions Necessary for the Utilization of Social Science Knowledge in Policy Formulation at the National Level”, en Carol. H. Weiss (ed.), Using Social Research in public Policy Making, Lexington, Ma., Lexington, Books, 1977; Mary M. Kennedy, “Working Knowledge”, Knowledge, 1983, 5, N.2, pp.1145-1179; y John M. Love, “Knowledge Transfer and Utilization in Education”, en Edmin W. Gorden (ed.), Review of Research in Education, Vol. 12, Washington, D.C., American Educational Research Association, 1985. 72 Janice M. Beyer and Harrison M. Trice, “The Utilization Process: a conceptual framework and synthesis of empirical findings”, Administrative Science Quarterly, 1982, 27, PP. 591.622.

367

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

teractivo, el instrumental-político, y el de usos estratégicos, como retrasar la acción, evitar la responsabilidad, obtener reconocimiento o apoyo y mantener el prestigio73. El uso del conocimiento proveniente de las ciencias sociales usualmente se planteó dentro de un contexto organizacional más que social. Con especial énfasis en la formulación de las políticas, más que en la formación de la agenda, la ejecución o la evaluación de programas o políticas. Con estas limitaciones se desarrolló una serie de posturas sobre la naturaleza del proceso de toma de decisiones en ámbitos organizacionales. La primera de las posturas, y que se mantuvo como paradigmática, fue el modelo de la opción racional74, que asumía la optimización en el logro de los objetivos bajo condiciones de información completa75, que es recibida antes de la decisión y que tiene un carácter causal76. Es obvio que este modelo no describe situaciones reales, por lo que se aceptó la posibilidad de que la información no fuera completa sino mínimamente satisfactoria para poder manejar la incertidumbre, éste fue el postulado del modelo de la racionalidad limitada77. Con principios semejantes se desarrollaron otros modelos de toma de decisiones, como el del “bote de basura”, que asume que la información es buscada en un contexto donde no están claros las metas, los procesos, los intereses, los resultados, los actores no sostienen claras preferencias y al aprendizaje es bajo proceso de prueba y error78. Con elementos más cercanos a las organizaciones burocráticas se de73 Carol H. Weiss, , Using Social Research in Public Policy Making, Lexington, Ma., Lexington Books, 1977. 74 Geoffrey Newman, “An Institutional Perspective on Information”, International Social Sciences Journal, 23, N. 7,1976, pp. 468-491. 75 Anthony Downs, Inside Bureaucracy, Boston, Little Brown, Company, 1967, 76 Jeffrey Pfeffer, Power in Organizations, Cambridge, Ma. Ballinger Publishing, Co., 1981. 77 Herbert A. Simon, Models of Bounded Rationality: behavioral economical and business organization, Cambridge, Ma., MIT Press, 1982. 78 James G. March and Johan P.Olsen, Ambiguity and Choice in Organizations, Bergen, Universitetsforla-

La gestión del conocimiento derivado del monitoreo y evaluación

368

Monitoreo y evaluación del diseño y desempeño de programas sociales

sarrolló el modelo incrementalista-negociador, que considera que el ámbito de la decisión está abierto a los diversos intereses de los grupos que comparten un problema, involucrándolos en un proceso continuo de negociación. Para este modelo la información juega un papel estratégico en el conflicto de intereses79. En la organización pública por excelencia, la burocracia, el uso de la información ha sido caracterizado como altamente limitado a los actores “externos”, con un alto valor atribuido a su confidencialidad80, con tendencia a la distorsión y con frecuente actitud anti-intelectual, principalmente cuando se percibe un reto a la jerarquía o al poder81. En estos ámbitos el papel del “experto” es muy relevante, no tanto debido a su capacidad de solucionar problemas o a la calidad de la información que maneja sino a atributos que poco tiene que ver con la información. El experto es aceptado siempre y cuando sea percibido que tiene poder o que tiene la confianza de quienes ejercen el poder. La capacidad que más se valora es su habilidad para reducir la incertidumbre de quienes ejercen el poder, no necesariamente por su capacidad de solución de problemas82. En la actualidad se asumen perspectivas que algunos han denominado post-positivistas y otros llanamente como no positivistas, que sustentan el carácter hermenéutico del conocimiento social, es decir, que transforma los esquemas de entendimiento de los fenómenos sociales, o sus aplicaciones get, 1982. 79 Charles E. Lindblom, The Intelligence of Democracy: decision making through mutual adjustment, New York, Free Press, 1965; John Forester, “Bounded Rationality and the Politics of Muddling Through”, Public Administrative Review, 1984, 44, No.1, pp. 23-33. 80 Max Weber, Economía y Sociedad, México, Fondo de Cultura Económica, 1964. 81 Harold L. Wilensky, Organizational Intelligence: knowledge and Policy in Government and Industry, New York, Basic Books, Ic., 1967; Allan W. Lerner, The Politics of Decision-Making, Beverly-Hills, Calif., Sage Publications, 1976. 82 Guy Benveniste, The Politics of Expertise, San Francisco, Boyd and Fraser Publishing Co., 1977.

369

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

más de carácter heurístico que instrumental, es decir, que más que solucionar problemas, el conocimiento derivado de las ciencias sociales enriquece los debates de los actores sociales para encontrar puntos de acuerdo. En los años noventas, si bien no se agotó el concepto de “utilización del conocimiento”, si incorporó algunos puntos importantes, enriqueciéndose o profundizando el conocimiento, especialmente en el área evaluativa, que se define como conocimiento para la acción. El tema está consolidado, aunque a la “sociología del conocimiento aplicado todavía no se le reconoce como una disciplina per se. Las últimas transformaciones de la perspectiva de la “utilización del conocimiento” obedecen a los cambios en tres nociones básicas, especialmente cuando se refieren a procesos de evaluación. Por una parte se reconoce que el mundo de las políticas públicas es mucho más complejo que un simple ámbito de solución de problemas donde se optimiza los intereses de todos los grupos. En la perspectiva inicial la sociedad democrática entregaba al gobierno el poder social a través de las elecciones. El gobierno podía formular políticas legítimamente en cuanto había sido electo democráticamente. La sociedad pedía cuentas al gobierno básicamente en cada etapa electoral. Ahora se entiende que un gobierno electo puede actuar sin la suficiente legitimidad en cuanto que ésta depende del ejercicio cotidiano del poder no sólo de su origen. Los gobiernos están cada vez más conscientes que el poder que ejerce no significa capacidad unilateral de solución de problemas sino más bien capacidad de convocatoria para afrontarlos entre los diversos grupos interesados. Así los procesos de formulación de las políticas sociales no se conciben ya como las etapas en las que el gobierno identifican las soluciones de los problemas, en cuyo repertorio los resultados de las investigaciones científicas tendrían un papel relevante, sino más bien como una etapa donde el gobierno o grupos intermedios (con una participación muy relevante de los

La gestión del conocimiento derivado del monitoreo y evaluación

370

Monitoreo y evaluación del diseño y desempeño de programas sociales

Organismos No Gubernamentales) o de las propias comunidades forma una agenda de preocupaciones prioritarias, a la que corresponde un repertorio de posibilidades para enfrentar el problema, que son conocidas y negociadas en procesos de amplia discusión. El gobierno no necesariamente sería un árbitro neutral o un ejecutor protagónico de las decisiones tomadas ya que puede ser uno más de los actores, y tener un papel poco importante en el proceso de decisión pública. En segundo lugar existe menos optimismo acerca de que el conocimiento producido por las ciencias sociales sea distinguible de manera clara de las perspectivas ideológicas o interesadas de los grupos sociales. El conocimiento no necesita ser trasladado para convertirse en útil o práctico83 ya que no existe, desde la perspectiva hermenéutica, una separación entre conocimiento y práctica social84. Más que la objetividad se pretende que el conocimiento aporte capacidad para integrar intereses mediante acuerdos, para lo cual se necesita capacidad innovadora en la forma de percibir los problemas y sus soluciones. De esta manera se trata de conjugar los usos conceptuales con los estratégicos, en una sociedad plural, incluyente y participativa. De esta forma se ha transformado el espacio de lo público. De ser el espacio monopólico del gobierno se ubica ahora como la arena donde confluyen los intereses comunes de diversos grupos, en donde en ocasiones el mismo aparato gubernamental no tiene espacio. En la sociedad democrática se promueve el involucramiento de grupos informados en la identificación, ejecución y 83 Una amplia discusión sobre la dificultad de traducir el conocimiento científico en los ámbitos de la acción con el fin de ser pertinente se encuentra en: Chris Argyris, Robert Putnam y Smith McLain, Action Science: concepts, methods, and skills for research and intervention, San Francisco, Ca., Jossey-Bass Publishers, 1985. 84 No es este el lugar para una larga discusión de corrientes epistemológicas pero algunas lecturas recomendables sobre la perspectiva hermenéutica de las ciencias sociales son: David Held, Introduction to critical theory, Bekeley, University of California Press; Richard J. Bernstein, La Reestructuración de la Teoría Social y Política, México, Fondo de Cultura Económica, 1982; José Porfirio Miranda, Apelo a la Razón, México, Premia Editora, 1983.

371

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

evaluación de preocupaciones compartidas. Ahora se concibe un papel más discursivo de los resultados de las investigaciones y de las evaluaciones, dentro de las formas de conversaciones sociales iluminadas por el conocimiento, o diálogos informados como ya se le ha denominado85. Por otra parte, se está cada vez más consciente de la calidad de la discusión público identificando el valor público involucrado en la decisión86. En Iberoamérica, la perspectiva tuvo alguna presencia en los años setentas en la discusión académica por la llegada tardía de la perspectiva de estudios de política que ha tenido nuestra área cultural. Entre nosotros la discusión se ha centrado básicamente en el concepto de “impacto” de las ciencias sociales87, haciendo más énfasis en los posibles usos instrumentales que en los de carácter conceptual. Las evaluaciones eran vistas también con este carácter instrumental, desde donde se define con neutralidad el nivel de mérito, o la carencia de él, de las intervenciones sociales. Sin embargo, también existen relaciones de uso del conocimiento evaluativo aplicando en la región los esquemas de la literatura especializada88.

85 Fernando Reimers y Noel F. McGinn, Informed Dialogue: using research to shape educational policy around the world, Wesport, Co, Praeger, 1997. 86 Mark H. Moore, Recreating Public Value: strategic management in government, Harvard University Press, Cambridge, Ma., 1995. 87 Jean-Pierre Vielle, The Impact of Research on Educational Change, IDRC, Ottawa, 1981; Ernesto Schieffelbein y Patricio Cariola, Investigación y Políticas Educativas en América Latina, CIDE, Documento de Discusión 24, 1988; Juan Eduardo García Huidobro, Reflexiones sobre las Relaciones Posibles entre la Investigación Educacional y las Políticas Educativas, CIDE, Documento de Discusión 14, Bogotá, 1988. 88 Guillermo Briones, Generación, Diseminación y Utilización del Conocimiento en Educación, 2 volúmenes, FLACSO, Santiago, 1990; José Joaquín Brunner, La Investigación Social Positiva y la Utilización del Conocimiento, FLACSO, Santiago, 1990.

La gestión del conocimiento derivado del monitoreo y evaluación

372

Monitoreo y evaluación del diseño y desempeño de programas sociales

CONDICIONES QUE INHIBEN O PROMUEVEN LA UTILIZACIÓN DEL CONOCIMIENTO

Al menos existen tres esquemas generales que dan cuenta teórica de las condiciones de la utilización del conocimiento de las ciencias sociales, específicamente del derivado de estudios evaluativos, ya sea del sistema, de políticas, de programas, de intervenciones o de instituciones. a) Esquema del Uso Social. Este esquema se expresa con dos líneas, que si bien no son excluyentes, enfatizan diversas condiciones de la estructura social para fomentar el uso de la información. • Por una parte, una visión funcionalista se sostiene por un planteamiento de UNESCO89, dentro de la tradición de investigación y Desarrollo90. El planteamiento consiste en enfatizar las características de la investigación, como proceso y como producto, de las que depende el nivel y profundización de su uso. Se distingue entre investigación académica, que está orientada a enriquecer a las disciplinas, y la investigación orientada a la solución de los problemas, orientada a la toma de decisiones. Es obvio que esta perspectiva es optimista acerca de las posibilidades de uso instrumental de las investigaciones, siempre y cuando la investigación sea pertinente a los procesos de toma de decisiones. Una de las condiciones importantes bajo este esquema es la formación de la agenda de investigación, que implicaría la consti89 UNESCO, Societal Utilization of Scientific and Technological Research, Science policy studies and documents, N. 47, Paris, 1981. 90 Entre las expresiones más claras del tema de Investigación y Desarrollo en educación se encuentra O.W. Markeley, A Methodology for Describing the Infraestructure of Educational R&D, Stanford Research Institute, Menlo Park, Ca., 1975, Ronald G. Havelock, Planning for Innovation Through Dissemination and Utilization of Knowledge, The University of Michigan, Ann Arbor Michigan, 1976 y Edward M. Glaser, Harold H. Abelson y Kathalee N. Garrison, Putting Knowledge to Use: Facilitating the Diffusion of Knowledge and the Implementation of Planned Change, Jossey-Bass Publishers, San Francisco,1983.

373

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

tución de grupos especiales para afrontar problemas mediante procesos de investigación. En la formación de una agenda pertinente juega un papel fundamental el sector educativo oficial, del cual depende la conformación de apoyos para desarrollar líneas de investigación pertinentes para la formulación, ejecución y evaluación de políticas. • Por otra parte, y con más referencia para los procesos de monitoreo y evaluación, una perspectiva del uso partisano como condición de uso social se formula más desde una visión de conflicto de intereses como promotor del uso91. Esta perspectiva enfatiza los conflictos de intereses de los grupos sociales, por lo que cuestiona la posibilidad de que la negociación y compartir de manera activa información estratégica tengan como resultado acuerdos sociales. El punto central de esta postura deriva del nivel de incertidumbre de los diversos actores ante un problema. No se participa con la misma intensidad de incertidumbre básicamente debido a que se cuenta con diferentes niveles de poder e influencia política. Así se sostiene que la cantidad y calidad de la información que un grupo pone en el debate de las políticas dependerá de los premios potenciales en poder e influencia y en situación normal cada grupo social mira por sus propios intereses antes que el beneficio de la sociedad en su conjunto, por lo que seleccionará información que potencializa su posición en la correlación de fuerzas sociales. Por otra parte, en una situación de incertidumbre extrema se tiende a aumentar el poder antes que los recursos de información. b) Hipótesis de las comunidades. Este esquema teórico es tradicional en

91 Stephen S. Skjei, Information for Collective Action, Lexington, Ma, Lexington, Books, 1973.

La gestión del conocimiento derivado del monitoreo y evaluación

374

Monitoreo y evaluación del diseño y desempeño de programas sociales

la literatura especializada en la utilización del conocimiento92, se le aplica específicamente para entender desusos o mala utilización del conocimiento. Sostiene que existe una relación difícil entere los proveedores y los consumidores de información ya que sus culturas son, en mucho, incompatibles. Así se sostiene que investigadores y evaluadores sostienen valores, lenguaje, actitudes muy diferentes a los de los funcionarios o de los actores involucrados en las políticas públicas. Mientras los primeros están interesados en la ciencia pura y en problemas esotéricos en cuanto que pertinentes sólo a la comunidad de investigadores, los funcionarios están orientados a afrontar intereses personales y de grupos, con presión para resolver lo antes posible problemas que no son muy claros en su dimensión y naturaleza dentro de un aparato ideológico específico, que no acepta cualquier solución, por muy científicamente apoyada que esté. Los recelos mutuos entre investigadores y funcionarios se acentúa por las características tan distintivas de los ámbitos institucionales desde donde se desarrolla su función: las universidades y las oficinas gubernamentales. Esta diferencia y tensión existe aún cuando se desarrolla investigación dentro del aparato burocrático. En el caso de la evaluación, los evaluadores son considerados como jueces o fiscales, ante quienes es necesario cuidarse o protegerse. Tener una visión compatible con el evaluador correspondería a convivir con el verdugo. La cultura de la investigación pertinente para la política pública plantea, por lo tanto, como precondición que los investigadores además de su competencia metodológica manifieste interés por impacto político de sus procesos y productos, por un lado, y los funcionarios además de sus destrezas políticas 92 Robert F. Rich, Social Science Information and Public Policy Making, San Francisco, Jossey Bass Publishers, 1981; Nathan Caplan, “The Use of Social Science Knowledge in Policy Decisions at the National Level”, en S. Berger et al., The Utilisation of the Social Sciences in Policy Making in the United States, Paris: OECD, 1980.

375

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

entiendan, y en lo posible expresen, intereses científicos93. c) Esquema de la argumentación social. Este esquema asume que los procesos y los resultados de investigación no tienen impacto instrumental ni conceptual debido a sus atributos únicamente o a los de su entorno sino que existen flujos de inteligencia social, en donde puede darse, o no, la correspondencia entre la conciencia del problema y la existencia de un repertorio de acciones pertinentes para afrontarlo mediante deliberaciones más o menos públicas94. Los resultados de investigaciones se instalan en la deliberación de los grupos más que como alternativas, preferencias o como criterios como argumentos que tratan de persuadir audiencias. Se parte del principio de que en un régimen democrático todo es debatible y la metodología científica aporta básicamente un criterio persuasivo, al menos para los grupos más educados. Así el papel de la investigación no será dar soluciones sino identificar problemas, poner a prueba presupuestos, estimular el debate y principalmente educar a los ciudadanos a distinguir entre argumentos correctos o incorrectos95. La deliberación pública está normada e institucionalizada en las democracias con el fin de que no se convierta en disputas indefinidas. En esta perspectiva es crítica la atracción de la atención pública en temas que la evaluación muestra en su etapa crítica. Una vez que se define la existencia del problema se debe generar un repertorio de opciones de solución, en caso de poca información o de importantes ausencias en ella se debe generar investigación. Aunque es más viable que el conocimiento nos 93 S. Berger et al., The Utilisation of the Social Sciences in Policy Making in the United States, Paris: OECD, 1980. 94 Robert B. Rich, The Power of Public Ideas, Harvard University Press, Ca,bridge, Ma., 1988. 95 Giandomenico Majone, Policy Analysis and Public Deliberation, en Robert B. Rich, The Power of Public Ideas, Harvard University Press, Cambridge, Ma., 1988.

La gestión del conocimiento derivado del monitoreo y evaluación

376

Monitoreo y evaluación del diseño y desempeño de programas sociales

informe más que es lo que no se puede hacer que lo que sí se debe hacer. Así el evaluador lo que necesita hacer es mejorar la calidad del debate público ayudando a los funcionarios y a los diversos actores sociales a desestimar las limitaciones, que enfatizan los grupos conservadores, o a aumentar las precauciones acerca de las posibilidades, que los grupos liberales tratan de pasar por alto. Por lo que la evaluación debe comprender la legitimidad social y política de las diversas perspectivas, entendiendo los presupuestos de cada postura. Es inválido esperar que las evaluaciones aporten conclusiones definitivas. En una sociedad abierta y pluralista el papel de la evaluación está más cercano de lo creíble que de la verdad absoluta, en este sentido las evaluaciones son actos de persuasión96 A diferencia de la investigación per se, la evaluación produce un conocimiento más personalizado, más lleno de los intereses de los actores y más orientado a la acción transformadora, a la acción. FACTORES QUE PROMUEVEN O INHIBEN LA UTILIZACIÓN

Se considerarán en esta reseña conceptual factores de las organizaciones que sirven de ámbitos institucionales para las investigaciones, factores relativos a los procesos de producción de las evaluaciones, factores asociados a las evaluaciones como productos y, finalmente, aspectos relativos a aspectos metodológicos de los estudios. Factores organizacionales El principio general del uso de cualquier tipo de información, al nivel organizacional, es que la cultura propia, los intereses y los mecanismos de control de la propia organización supeditan a cualquier tipo de información, por 96 Ernest R. House, Evaluación, Ética y Poder, Ediciones Morata. Madrid, 1997.

377

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

muy significativa o válida que sea ésta97. Un conjunto de hipótesis de uso de información en las organizaciones, especialmente relevantes para los evaluadores son las siguientes98: a) mientras sea percibido un problema como poco importante es muy probable que no se perciba la necesidad de apoyar alguna acción con información; b) mientras un problema tenga baja complejidad técnica es más probable que se perciba como importante una evaluación sumativa orientada a resultados; c) mientras sea mayor la complejidad técnica se preferirá la evaluación formativa orientada a procesos; d) mientras sea mayor la complejidad política más profundo será el debate o la negociación sobre las metodologías de evaluación pertinentes; e) bajo condiciones de complejidad técnica la evaluación formativa puede promover el aprendizaje organizacional; f) bajo condiciones de complejidad política la información se orientará a la satisfacción de poderosos grupos que asumen posiciones críticas, facilitando un punto de apoyo que sea políticamente negociable; g) los políticos tienden a tener en mayor aprecio la información sobre las demandas de los grupos sociales que la información sobre sus necesidades. Si la evaluación ha sido desarrollada dentro del aparato o ha sido específicamente contratada es mucho más viable que se le utilice, siempre y cuando su proceso sea visto como metodológicamente legítimo por la preparación científica de los funcionarios y el resultado como manejable dentro del aparato ideológico del grupo en el poder. Por otra parte la investigación crítica o aquella que reta paradigmas por innovadora tiene pocas posibilidades de ser tomada en consideración por los ámbitos gubernamentales, pero puede inspirar posiciones de grupos políticos de oposición o de aquellos interesados en la formación de nuevas agendas públicas. 97 Robert F. Rich, Social Science Information and Public Policy Making, San Francisco, Jossey-Bass Publishers, 1981. 98 André L. Delbecq y Sandra L. Gill, “Political Decision Making and Program Development”, en Robert F. Rich (ed.), Translating Evaluation into Policy, Beverly Hills, Ca., Sage Publications, 1979.

La gestión del conocimiento derivado del monitoreo y evaluación

378

Monitoreo y evaluación del diseño y desempeño de programas sociales

Cuando existen intereses en conflicto dentro de las organizaciones, una característica común en las burocracias, la información en general, y con mayor razón, las derivadas de evaluaciones, se aceptan sólo si protege las creencias y justifican las decisiones ya tomadas99. Diversos estudios100 acerca de las burocracias educativas de Latinoamérica dan cuenta que el uso de la información y, muy particularmente de la evaluación, depende de la fuerza política de los equipos tecnócratas. Factores del proceso de producción de las evaluaciones Las relaciones entre las instancias de producción de conocimiento y las que afrontan problemas sociales son determinantes. Si entre las universidades y el gobierno o los grupos políticos existe incompatibilidades importantes es poco posible que se usen los resultados de las investigaciones llevadas en esos centros, a pesar de que puedan ser temáticamente pertinentes y metodológicamente sólidas. Por otra parte, si el proceso de formulación, ejecución y evaluación de políticas se encuentra muy fragmentado, participan múltiples actores con intereses contradictorios y el tiempo es breve para encontrar soluciones y la solución parece intuitiva o que cae fuera del aparato ideológico aceptable es muy poco posible que se acepten los resultados de una investigación, aunque haya sido realizada internamente o bajo contrato.

99 Irving L. Janis y Leon Mann, Decision Making: a psychological analysis of conflict choice and commitment, New York, The Free Press, 1977. 100 Guy Benveniste, Bureaucracy and National Planning, New York, Praeger Publishers, 1970; Noel F. McGinn, Ernesto Schieffelbein, y D.P. Warwick, “Educational Planning as Political Process: two case studies from Latin America”, Comparative Education Review, 1979, 23, N.2,pp. 218-239; Noel F. McGinn, Susan Street y Guillermo Orozco, La Asignación de Recursos Económicos en la Educación Pública en México: un proceso Técnico en un Contexto Político, México, Fundación Javier Barros Sierra, 1983.

379

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

Factores de los productos de evaluación Los reportes de las evaluaciones son sus productos más obvios, aunque igual importancia pueden tener las presentaciones de resultados y los memoranda que se producen en el proceso de las mismas. Las indagaciones empíricas muestran que ciertos atributos de estos productos son capaces de potencializar el uso de los resultados, tales como la claridad conceptual, la brevedad, tener un diseño atractivo, estar configurado de manera especial para la audiencia y no usar lenguaje de especialistas. Por otra parte, los resultados de las indagaciones no son claros sobre la importancia de la pertinencia, es decir del momento en que el producto se inserta en el proceso de toma de decisiones101. Sin embargo, en general si la información se usa relativamente pronto (antes de ocho meses) crece la posibilidad del uso instrumental. Finalmente, la comunicación oral tiende a tener mayor impacto que la escrita102. Factores metodológicos Es poco lo que se ha producido de análisis acerca de cómo hacer más útil la investigación considerando aspectos metodológicos103. Desde la evaluación, que es definida en ocasiones como la investigación útil por excelencia, sin embargo es posible encontrar análisis detenidos sobre el tema104. Los resultados resaltan la relevancia de la preparación de los usuarios en cuestiones metodológicas, con el fin de que los evaluadores puedan sostener tanto una interrelación inteligente como para que los evaluadores mismos no intenten 101 Judith K. Larsen, “Effect of Time on Information Utilization”, Knowledge, 1985, 7, N.2, pp. 143-159. 102 Nathan Caplan,, “The Use of Social Science Knowledge in Policy Decisions at the National Level, en S. Berger et al., The Utilisation of Social Sciences in Policy Making in the United States, Paris, OECD, 1980. 103 Dentro de lo poco que se ha producido se encuentra un excelente análisis para la investigación organizacional en Edward E. Lawler et al., Doing Research That is Useful for Theory and Practice, Jossey-Bass Publishers, San Francisco,1990. 104 Una de las revisiones metodológicas más exhaustivas corresponde a Michael Quinn Patton, Utilization Focused Evaluation, Sage Publications, Beverly Hills, 1986.

La gestión del conocimiento derivado del monitoreo y evaluación

380

Monitoreo y evaluación del diseño y desempeño de programas sociales

descuidar aspectos básicos de carácter metodológico. Para ello es deseable que los evaluadores involucren, en lo posible, a sus “clientes” en el diseño de las evaluaciones. Existen indicios de que las evaluaciones formativas, o de proceso, son tan útiles como las de producto, o de resultado. Tampoco existen indicios de que los estudios cuantitativos sean preferidos a los cualitativos, sin embargo los estudios cuantitativos sí requieren de mayor capacitación de los clientes en aspectos estadísticos. El aspecto metodológico crítico es la definición del problema. En este aspecto el involucramiento de los clientes en ocasiones puede disminuir el poder del diseño ya que los actores suelen tener diversas percepciones acerca de cuál es el problema fundamental. Finalmente, lo que se ha dado en denominar como “cultura de la evaluación” podría consistir en que las condiciones y factores que promueven el uso de las evaluaciones se integren. De ser así, tanto los evaluadores como sus clientes y grupos de referencia, las organizaciones donde se realiza, los procesos metodológicos y los productos de las evaluaciones serán importantes para tomarlos en consideración. Sin embargo, siempre hay que tener presente que existen múltiples factores que inhiben el uso de la evaluación, por lo que no es posible derivar recetas o simples listados de aspectos a confirmar. La cultura de la evaluación tiene como sustento básico el principio que no se aportan soluciones definitivas sino argumentos a tomar en cuanta en los procesos de discusión y negociación de las políticas públicas en educación. Informar más quienes dialogan, iluminar en lo posible los pasajes más oscuros de los debates y aportar aspectos claves para las negociaciones parece ser el camino promisorio para que nuestras evaluaciones sean utilizadas y sean vistas como históricamente pertinentes y políticamente relevantes.

381

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

2. La perspectiva del aprendizaje organizacional105 En la agenda de las reformas necesarias para impulsar el desarrollo en América Latina se ha estado reconociendo la importancia central de las instituciones. Las instituciones, sus características y su historia, determinan las políticas públicas tanto en su naturaleza como en su capacidad de impacto. Ellas limitan y vigorizan, al mismo tiempo, a los actores sociales y sus interacciones. De los límites de la capacidad institucional en mucho dependen las metas, pero, sobre todo, los procesos que definirán las formas y maneras del trabajo cotidiano de la gerencia social. La gerencia social se ejercita desde las instituciones aunque de manera activa, ya que ellas mismas están en el foco de los cambios. Desde las instituciones se labora en la transformación social, pero su eficiencia depende que las propias instituciones aprendan a alcanzar con mayor eficacia sus metas, a aplicar más eficientemente sus recursos y a orientarse de manera estratégica para mejorar la equidad social. Por lo que la dimensión institucional del desarrollo parte de la capacidad de las propias instituciones para aprender a responder más dinámicamente a nuevos actores y fuerzas sociales de sus contextos, consolidando los procesos de mejoramiento que ha estado desarrollando y preparándolas para aprender a aprender, tanto de lo mejor de sí misma como de lo mejor de instancias semejantes. La sección tiene como objetivo discutir la relevancia de la estrategia de aprendizaje organizacional para la tarea del gerente social, así como desarrollar un diagnóstico y un plan de fortalecimiento del aprendizaje organizacional de las organizaciones a la que pertenecen los participantes. De esta manera se contará con una perspectiva instrumental para el desa105 Sección elaborada a partir de: Loera, A., El aprendizaje en las organizaciones públicas, INDES, Banco Interamericano de Desarrollo, Washington, D.C.: 2002.

La gestión del conocimiento derivado del monitoreo y evaluación

382

Monitoreo y evaluación del diseño y desempeño de programas sociales

rrollo de una gerencia estratégica, que asuma la posibilidad de transformación de la estructura desde la cual los gerentes toman decisiones y actúan. La organización no es un factor dado, es un factor construido y reconstruido por las rutinas, las normas y la cultura organizacional. La gerencia estratégica, por lo tanto, no únicamente se esmera porque sus decisiones sean las más viables y de mayor impacto, sino que el aparato que les da sentido y estructura a esas decisiones continuamente sea revisado con el fin de evitar errores y de maximizar las capacidades de la propia organización para el logro de la misión organizacional. A. PLANTEAMIENTO GENERAL

El desarrollo institucional está asociado con el crecimiento económico, particularmente con temas de estabilidad y gobernabilidad social106.Por lo que es crítico identificar tanto las pautas como los mecanismos que definen la evolución de las instituciones, específicamente las públicas. En América Latina las instituciones públicas han estado respondiendo, entre otros factores y de manera incremental, a cambios en el rol social del Estado, a la dinámica de la Sociedad Civil, al desarrollo de nuevas tecnologías- especialmente relacionadas con la información, al agotamiento y emergencia de nuevos modelos de desarrollo, y a la emergencia de nuevas nociones como la ciudadanización de los procesos de formulación de las políticas públicas. Sin embargo, su evolución nos marca que existen múltiples paradojas y tensiones, tanto en sus aspectos internos como hacia fuera de ellas. Estos procesos pueden ser atribuidos a intervenciones externas, como la acción de los orga106 Prats, Joan, La Dimensión Institucional del Desarrollo Humano, ponencia presentada en el Taller Ahora las Instituciones: Desarrollo Institucional para el Desarrollo Humano en América Latina, 18 y 19 de octubre de 1999, México, D.F.

383

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

nismos internacionales, o a la lógica de la relativa autonomía del Estado en relación con los procesos de maduración de los mecanismos del mercado, o a factores relativos a la idiosincrasia nacional. Lo cierto es que existe una amplia heterogeneidad en el desarrollo del aparato institucional del Estado entre los países de América Latina, así como dentro de cada país, en sus diversos poderes públicos, en diferentes niveles de gobierno y en diferentes regiones. De esta manera se cuenta con instituciones que siguen principios personalistas, propios de las economías de intercambio simple coexistiendo con instituciones estratégicas, sustentadas por la dinámica de la globalización económica, jurídica y política. Por otra parte, es común que dentro de las mismas instituciones se sigan lógicas diferentes en los distintos niveles de poder y complejidad. Por lo que los procesos de cambio organizacional no se pueden generalizar ni simplificar. De igual manera se deben evitar visiones deterministas en el concepto del desarrollo institucional. La acción de las fuerzas sociales es vital, pero también lo es la capacidad de liderazgo y de imaginación de los propios actores. La lógica del egoísmo universal, considerada base fundamental de los incentivos para el cambio interactúa dialécticamente con la lógica del compromiso social de los propios actores a su visión de futuro y a su entendimiento de las mejores decisiones para su organización. La reforma del Estado como discurso hasta ahora ha sido acotada a la transformación de las estructuras normativas y funcionales de las instituciones públicas tradicionales, así como a cambios constitucionales. Sin embargo, cada vez se reconoce que el Estado no se reforma sólo en la dimensión formal. Para ser efectivo requiere que el proceso de cambio se inserte en el aspecto organizacional de las instituciones públicas.107 Este cambio se enfoca 107 La penetración del dominio organizacional en la Reforma del Estado se encuentra presente en perspectivas conceptuales, aunque todavía no instrumentales en: Arellano, D., E. Cabrero y A. del Castillo, Reformando al Gobierno: una visión organizacional del cambio gubernamental, México: Centro de

La gestión del conocimiento derivado del monitoreo y evaluación

384

Monitoreo y evaluación del diseño y desempeño de programas sociales

tanto a la estructura, como a los procesos de decisión, así como a la cultura dominante. Dentro de esta noción una de las perspectivas más productivas, especialmente desde la tarea de evaluación institucional ha consistido en la de las organizaciones que aprenden108. La perspectiva de las organizaciones que aprenden permite evitar las típicas sobre simplificaciones, así como las visiones deontológicas o teleológicas que comúnmente dominan el análisis del desarrollo institucional. Nos permite partir de la realidad de cada una de nuestras instituciones y nos ofrece un marco de referencia que nos ilumina sobre alternativas posibles, que dependerá, en su ejecución, de recursos propios, generando condiciones de sustentabilidad de los procesos de cambio organizacional... Con el fin de ejemplificar para definir contextos de la gerencia concreta, aunque llamando a evitar la tipificación reduccionista, podemos indicar que es común identificar el desarrollo de las organizacionales en tres estadios: un estado preburocrático, un estado burocratizado y señales de surgimiento de lo que pudiera ser un estado posburocrático. Recordemos que a ninguna institución, y menos a ningún gobierno, se le puede ubicar en su totalidad en estos casilleros. Todos los gobiernos, y las propias instituciones, tienen alguna mezcla de todos ellos, y al mismo tiempo algún nivel donde se muestra más una forma prototípica que otra. Por otra parte, es necesario partir de la caracterización del actor social principal ya que si bien el Estado opera con base en instituciones públicas, quien en última instancia compone la organización pública es la burocracia. Hasta ahora se ha entendido poco a la burocracia como actor de estabilidad y de transformación política109. Investigación y Desarrollo Económico, 2000 y Ramió, Carles, Teoría de la Organización y Administración Pública, Madrid: Editorial Tecnos, 1999. 108 La perspectiva está específicamente expuesta en Preskill, H. y R. T. Torres, Evaluative Inquiry for Learning in Organizations, Thousand Oaks, Calif.: Sage Publications, 1999. 109 Méndez, José Luis, Estudio Introductorio a B. Guy Peters, La Política de la Burocracia, México: Fondo

385

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

1. PREBUROCRACIA

A pesar de que durante la época Colonial se impuso de manera formal una rígida estructura organizacional, espejo de los centros imperiales, al mismo tiempo dominó el cinismo oficial del trabajador gubernamental en la frase “se obedece pero no se cumple”, como premisa de desempeño público. La combinación de una sobrerregulación con pocos recursos humanos, económicos y técnicos a su disposición sentaron las premisas para una ampliada corrupción. La que se acentúa en regímenes basados en el intereses de los líderes (caudillismo) o de grupos políticos (clientelismo). La ley como expresión formal se deja para las esferas que no están bajo la influencia del ejercicio de los poderes personales del gobernante o de los grupos. En este contexto pareciera que el esfuerzo de una gerencia social estratégica podría enfocarse a disminuir la disonancia organizacional entre lo que las normas dictan y lo que se hace, al disminuir la discrecionalidad y el rol de la ley como instrumento de negociación; pasar de caudillismos a liderazgos formales; eliminar tanto la legitimación como los ámbitos de corrupción; aumentar la gobernabilidad y estabilidad del sistema y la organización; establecer criterios compartibles de contratación de personal; asignar beneficios; y aumento de recursos para de manera eficiente enfrentar las tareas regulatorias asignadas normativamente, entre otras tareas. 2. BUROCRACIA

El Estado latinoamericano se cimentó con el estado corporativista, legalista, centralizado, distributivo y altamente regulado del gobierno colonial, donde la ley será una base para la negociación en un amplio marco de intercambio de favores desde el espacio público, como principio de la cultura del Estado. de Cultura Económica, 1999.

La gestión del conocimiento derivado del monitoreo y evaluación

386

Monitoreo y evaluación del diseño y desempeño de programas sociales

Por otra parte, en el último siglo el Estado latinoamericano prototípico ha tenido una fuerte orientación al autoritarismo; ha sido monopolizador del diseño y ejecución de la política pública; insensible no sólo a las demandas sino a la evaluación de su desempeño; con altos niveles de incertidumbre en su actuación, especialmente hacia el interior del gobierno dada la división entre funcionarios de alto nivel y burócratas de nivel medio y “de la calle”. La burocracia, especialmente del poder ejecutivo, aparece formalista (amante del papeleo), fragmentada por sectores difíciles de justificar frente a la población, asignando como prioridad mantenerse en su puesto por encima de la solución de los problemas, poco capaz de ejercicio de la crítica o de reconocimiento de errores, con un bajo grado de profesionalización, pocas posibilidades de profesionalización y sueldos que impiden dedicarse con entusiasmo a las complejas tareas asignadas. En los contextos burocratizados la evaluación estratégica puede abrir espacios para mejorar la inteligencia organizacional al aprender a reconocer errores y fallas, a ejercer el seguimiento y de la evaluación, con el fin de avanzar en el cumplimiento de las metas, a profundizar el ejercicio profesional y de capacitación mediante el servicio civil de carrera, a partir de los problemas y empezar a abrir espacios a los diálogos informados y a la participación ciudadana. 2. POSBUROCRACIA

Se ha denominado como posburocracia a una perspectiva de la gerencia social que responde a las demandas de un contexto nuevo del Estado y su papel en el desarrollo. Simplificando se puede caracterizar a las visiones de la pos burocracia desde dos perspectivas, según la tarea del aprendizaje organizacional: una que percibe que el gerente social debe aprender la lógica de la empresa privada con el fin de ser eficiente, por lo que responde ante una

387

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

clientela; otra que ve al gerente social más involucrado con dar respuestas puntuales a una activa ciudadanía, que le demanda participación más directa y efectiva y actúa como el dueño de la agenda pública, con participación informada en múltiples arenas de política. a) El paradigma del ciudadano–cliente ha sido ampliamente difundido con el concepto de reinvención del gobierno110. Esta perspectiva puede resumirse en los siguientes principios: 1. El gobierno debe ser catalizador, es decir, formular políticas y regular, más que operario de los servicios. 2. El gobierno debe facultar a las comunidades, reconociendo a la comunidad como la que decide cuáles son sus problemas y cuáles las soluciones aceptables. 3. El gobierno debe ser competitivo con la empresa privada en sus funciones de entrega de servicios. 4. La misión es más importante que las reglas, las que se deben simplificar. 5. El gobierno debe orientarse a resultados, financiando desempeños no insumos. 6. La satisfacción de las expectativas de los clientes es el desempeño más apreciado. 7. El gobierno también puede cobrar e incluso ganar dinero, no únicamente cobrar. 110 Osborne, D. and T. Gaebler, Reinventing Government: how the entrepreneurial spirit is transforming the public sector, New York: A Plume Book,1993 y Osborne D. y P. Plastrok, Banishing Bureaucracy: the Five Strategies for Reinventing Government, New York: A plume book, 1998.

La gestión del conocimiento derivado del monitoreo y evaluación

388

Monitoreo y evaluación del diseño y desempeño de programas sociales

8. Es vital prevenir, más que curar. 9. Descentralización de la formulación de políticas y ejecución de los programas de los ámbitos locales, disminuyendo la jerarquía y aumentando la capacidad de trabajo en equipo. 10. Uso de mecanismos de mercado para incentivar comportamientos especialmente valiosos. Este esquema se ha enriquecido con el concepto de administración orientada por el valor público de las acciones del gerente social111, lo que ha dado como consecuencia la generación de un modelo más sensible a las demandas ciudadanas112. Los principios han servido efectivamente para mejorar aspectos centrales en el desempeño de las organizaciones gubernamentales113. Sin embargo, uno de los problemas que tiene esta perspectiva es que si bien parece abaratar al gobierno, no necesariamente lo hace más equitativo ya que el esquema tiende a fortalecer las diferencias existentes si no se acompaña de procesos de redistribución del poder social, especialmente de capacidad de participación en la deliberación de los asuntos públicos114. Por otra parte, se han estado desarrollando modelos según los cuales tanto el gobierno aprende de la empresa privada como la privada del mismo gobierno, disminuyendo las radicales di-

111 Moore, M.H.G., Creating Public Value: strategic management in government, Cambridge, Mass.: Harvard University, 1995. 112 En especial véase: Barzelay, M., Atravesando la burocracia: Una nueva perspectiva de la administración pública, México: Fondo de Cultura Económica, 1998. 113 Para una sistemática identificación de patrones comunes de programas exitosos gerenciados bajo esta perspectiva véase Borins, S., Innovating with Integrity: how local heroes are transforming American government, Washington, D.C.: Georgetown University Press, 1998. 114 Grau, A., “La reivención de los servicios sociales en América Latina. Algunas lecciones de la experiencia”, Reforma y Democracia, N. 13, feb., 1999, pp. 55-98.

389

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

ferencias entre los público y lo privado115. b) El paradigma de la ciudadanía propietaria. Con el fin de ser más consistente con el espíritu de la democracia, esta noción ve en los ciudadanos no a clientes a quien sirve el gobierno sino a propietarios, retomando un concepto de inicios del siglo XX116. El gobierno debe educar a la ciudadanía a ser eficiente para presionarle a tener mejor desempeño y debe generar, por lo tanto múltiples espacios de información. En América Latina se han estado desarrollando espacios de discusión de temas públicos, incluso con información basada en conocimiento, en diálogos informados, cuyo modelo recomienda a los gerentes desarrollar los siguientes pasos117: 1. Defina el proceso de cambio que desea impulsar. 2. Identifique los grupos de interés involucrados en el proceso de cambio. 3. Identifique la forma como actualmente se formulan las políticas en el tópico seleccionado en el contexto específico. 4. Identifique el tipo de comunicación que ya se ha establecido y el tipo de diálogo que debería establecerse. 5. De poder a los grupos de interés para participar en el diálogo. 6. Establezca las reglas para que se lleve a cabo el diálogo. 115 Mintzberg, H., Gestionar el Gobierno, gobernar la Gestión, reimpreso y traducido en Losada, C., (ed), ¿De burócratas a gerentes?: las ciencias de la gestión aplicadas a la administración del Estado, Washington, D.C.: Banco Interamericano de Desarrollo, 1999. 116 Schachter, H.L., Reiventing Government or Reinventing Ourselves, Albany, State University of New York Press, 1997. 117 Reimers, F. y N. McGinn, Informed Dialogue: Using Research to Shape Education Policy Around the World, Westport, Coon: Praeger, 1997.

La gestión del conocimiento derivado del monitoreo y evaluación

390

Monitoreo y evaluación del diseño y desempeño de programas sociales

7. Identifique las lagunas de información y diseñe las operaciones necesarias para llenar estas lagunas. 8. Establezca un balance funcional entre el conocimiento técnico, de procedimiento y el teórico. 9. Reporte los diálogos y prepare un plan. 10. Enriquezca la diseminación con nuevos diálogos hasta que se genere suficiente consenso para una agenda. El modelo, aparte de las etapas para la formación de agendas dominadas por la participación ciudadana, puede dar lugar a procesos de evaluación estratégica si se le considera como el suelo que sustente el esfuerzo de reforma de un ámbito de política pública, como puede ser el educativo. Es claro que los gobiernos y sus instituciones aprenden de muchas maneras. Por otra parte, no todo el aprendizaje es “conveniente”, desde el punto de vista del desarrollo social. Como la historia nos ha enseñado de manera insistente, también se aprende a limitar la movilización ciudadana, a imponer por la fuerza y a desinformar. Pero también existe aprendizaje muy relevante para construir gobiernos eficientes y eficaces, sensibles a las demandas de participación ciudadanas y orientados a la equidad social. Este es el tipo de aprendizaje que es significativo en la agenda del desarrollo, y a él nos referiremos como contexto del esfuerzo de reforma institucional necesario para la promoción de políticas sociales equitativas, eficientes y sustentables. Obviamente no existe unanimidad sobre las características de buen gobierno. Cada perspectiva ideológica tiene su particular preferencia. Sin embargo, es importante anotar que es posible tener casos de excelentes desempeños de programas sociales en gobiernos que en general son vistos como poco desarrollados en su capacidad administrativa. El diseño de los programas y la

391

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

acción de los gerentes obviamente hacen la diferencia118. Así como también el desarrollo de las condiciones institucionales, especialmente las que tienen que ver con el aprendizaje de las organizaciones al instalar mayor capacidad de investigación, análisis y conocimiento de los sistemas sobre los que trabajan las instituciones119. En un análisis120 que pretende sistematizar aprendizajes sobre el gerenciamiento de las reformas en sectores sociales de América Latina se identifican los siguientes puntos como críticos: 1. El tiempo de la reforma debe darse en una coyuntura de oportunidad, en donde exista mayor capacidad de contar con apoyo de actores sociales poderosos. 2. Si existe una amplia percepción de crisis, existe la posibilidad de medidas drásticas que cuenten con amplia movilización. Si no es así, es preferible manejar los cambios con un perfil bajo, con amplia capacidad de negociación y compensación para los perdedores de la reforma. 3. El espacio de maniobra es mayor con percepciones de crisis o insatisfacción. Para ello se necesita asegurar que la percepción de crisis esté ampliamente diseminada. En este sentido, las campañas de comunicación social y de educación de los actores críticos acerca del estado del sector tienen un papel claramente fundamental. 4. Los reformadores no deben únicamente evaluar las fuerzas de quie118 Tendler, J. Good Government in the Tropics, Baltimore: The Johns Hopkins University Press, 1997. 119 Para una serie de casos y sus condiciones, véase Grindle, M. S., Getting Good Government: Capacity Building in the Public Sectors of Developing Countries, Cambridge, Mass.: Harvard Institute for Interrnational Development, 1997. 120 Graham, C., M. Grindle, E. Lora y J. Seddon, Reformar es Posible: Estrategias Políticas para la Reforma Institucional en América Latina, Washington, D.C.: Banco Interamericano de Desarrollo, 1999.

La gestión del conocimiento derivado del monitoreo y evaluación

392

Monitoreo y evaluación del diseño y desempeño de programas sociales

nes apoyan y quienes se oponen a una reforma específica, sino también considerar los niveles de apoyo al gobierno en general. 5. Los reformadores necesitan evaluar la capacidad de las estructuras existentes para propiciar cambios institucionales significativos, tanto en sus fortalezas y debilidades intrínsecas, como las relativas a su relación con otras instituciones claves. 6. Hasta donde sea posible los reformadores deben evitar profundizar en los puntos que tienen una amplia historia de conflicto con actores sociales importantes. 7. El equipo de trabajo central de la Reforma debe ser especialmente seleccionado por compartir una misma visión y capacidad de trabajo en equipo. 8. En la reforma debe involucrar directamente el liderazgo político, quien debe asumir sus costos y ganancias. 9. Existen dos estrategias generales para promover la reforma. Por una parte, hacerla más aceptable para los oponentes y más atractiva para quienes la apoyan. Por otra parte, cambiar el contexto y contenido de manera que cambie la correlación de fuerzas con relación a quien apoya y quien resiste la reforma. Estas lecciones pueden ser enriquecidas por la recuperación sistemática de los saberes institucionales y del diálogo con los actores de política involucrados en el sector. Estas son las premisas de la perspectiva del aprendizaje organizacional, que constituye la esencia teórica del modelo de evaluación que aquí se presenta.

393

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

APRENDIZAJE EN LAS ORGANIZACIONES

La historia del concepto de aprendizaje organizacional cuenta ya con un largo historial121. Aunque no existe una definición única de organización capaz de aprender122, es posible identificar algunas características comunes a las diversas perspectivas. En general, una organización que aprende: a) Mejora su desempeño a partir de transformar la forma como fluye la información, se analiza y se toman decisiones. b) Modifica comportamientos organizacionales a partir de la manera como adquiere, disemina y usa información y conocimiento. c) Ha desarrollado especiales habilidades para resolver problemas de manera sistemática, experimentar innovaciones, aprende de su propio desempeño actual y futuro, aprende de lo mejor de otras organizaciones y disemina de manera abierta información significativa por toda la estructura. d) Cuenta con tiempo, recursos y actores dedicados específicamente a fomentar el aprendizaje. e) Es altamente tolerante de la diversidad con los que comparten la visión de mejoramiento y que creen en la negociación para llegar a amplios acuerdos. Las perspectivas más influyentes son la normativa, que parte del principio de que el aprendizaje es propio sólo de algunas organizaciones; la desarrollis121 Para un recuento histórico véase Mirvis, P. H., “Historical foundations of organizational Learning”, Journal of Organizational Change Management, Vol. 9, No.1, 1996, Pp. 13-31. 122 Para considerar varias definiciones véase, Garvin, D.A., “Building a Learning Organization”, en Knowledge Management, Boston: Harvard Business Review Paperback, 1998.

La gestión del conocimiento derivado del monitoreo y evaluación

394

Monitoreo y evaluación del diseño y desempeño de programas sociales

ta, que asume que todas tienen el potencial de desarrollar competencias de aprendizaje, y la integral, que sugiere que todas las organizaciones aprenden, pero para que aprendan a ser más efectivas en el cumplimiento de sus metas se necesita de una estrategia sistemática123. Estas diversas perspectivas se considerarán en diversos instrumentos y procedimientos que se sugieren en el proceso de la evaluación institucional de la SEP, por lo que es importante explicitarlas rápidamente. VISIÓN NORMATIVA

Esta visión es la clásica del aprendizaje organizacional124. Tiene como fundamento distinguir las organizaciones que aprenden de la que no, y de aquellas que aprenden distinguirlas por su modelo de aprendizaje. Las organizaciones que únicamente aprenden a reconocer errores y proceder a corregirlos se ubican en el modelo I de aprendizaje. Su capacidad de revisión y análisis es limitada y muy posiblemente los mismos errores sigan ocurriendo indefinidamente. Por otra parte, aquellas organizaciones que tienen capacidad analítica para revisar las causas de sus errores, estar conscientes de su teoría de la acción organizacional, y procede a reflexivamente cambiarlo a través de procedimientos de investigación-acción, pertenecen al modelo II. La visión enfatiza la reflexión, la abierta discusión y procedimientos de revisión pública de los rituales y supuestos organizacionales. Los aspectos de la organización que se enfocan en el análisis colectivo son sus canales de comunicación, los sistemas de información, los procedimien123 Es claro que no son las perspectivas únicas, ni las más útiles para el sector público. Para quienes tienen interés de una perspectiva adicional, con importantes implicaciones para el aprendizaje de organizaciones públicas, especialmente en el aspecto de liderazgo, se recomienda Bolman, L. G. y T. E. Deal, Reframing Organizations: Artistry, Choice, and Leadership, San Francisco: Jossey-Bass Publishers, 1991. 124 La versión más refinada de esta versión clásica se encuentra en Argyris, C. y D. A. Schön, Organizatinal Learning II: Theory, Method, And Practice, Reading, Mass.: Addison-Wesley Publishing Company, 1996.

395

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

tos para tomar decisiones, las rutinas que inhiben o provocan reflexión organizacional y los sistemas de incentivos que involucran a los miembros de la organización en su misión. En cada uno de estos aspectos se identifican condiciones del error y su respectiva respuesta correctiva dentro del proceso de aprendizaje. Así, por ejemplo, a la comunicación vaga se le debe responder con comunicación detallada y específica; a la ambigüedad con claridad; a la especulación hipotética con datos comprobables; a la información atomizada con información completa; a los mecanismos para retener información con flujos públicos y abiertos de información; y al ejercicio autoritario con formación de redes de solución de problemas. En este enfoque el aprendizaje organizacional se fortalece a partir de reuniones funcionales en donde las autoridades y los diversos niveles de la organización comprueban en público sus interpretaciones de la forma como la organización y cada miembro se enfrenta a los errores, los mecanismos que les permiten reconocerlo u ocultarlo y las estrategias para identificar y actuar sobre sus causas o condiciones. Se Identifican las teorías de cada miembro y de la propia organización, se analizan escenarios alternativos y se genera un ambiente de reflexión colectiva en donde es importante reconocer qué se sabe y cómo se sabe125. En general se trata de establecer un nexo iluminativo entre la información y los procesos de indagación que la organización tiene de sí misma y de sus acciones126. VISIÓN DESARROLLISTA

Esta visión es optimista acerca de la capacidad de alcanzar a ser competen125 O’Dell, C. and C.J. Grayson, If Only we Knew what we Know: The Transfer of Internal Knowledge and Best Practice, New York: The Free Press, 1998. 126 Preskill, H. and R.T.Torres, Evaluative Inquiry for Learning in Organizations, Thousands Oaks, Ca.: Sage Publications, 1999.

La gestión del conocimiento derivado del monitoreo y evaluación

396

Monitoreo y evaluación del diseño y desempeño de programas sociales

te en el arte del aprendizaje y ha desarrollado una larga lista de instrumentos de cambio organizacional127, algunos de ellos valiosos en su aplicación en organizaciones públicas. Las características a desarrollar en las organizaciones es la capacidad de pensamiento sistémico, estrategias de dominio personal, la reflexión sobre los modelos mentales en la organización, la elaboración de las ideas rectores para una visión compartida, y la capacidad de aprendizaje en equipo. El proceso de incorporar la perspectiva de aprendizaje coincide con una noción de desarrollo organizacional, en la que la intervención-algunas veces desde fuera-por expertos en cambio organizacional es vista como importante. En especial se incorporan aspectos de innovación emergente, balances entre la cooperación y la competencia, la asignación de poder de decisión a los empleados operativos y la flexibilización de las estructuras. Estos procesos se dan a partir de principios de inventarios de cultura institucionales considerados en la primera visión, especialmente lo relativo al análisis público de los presupuestos de las relaciones, las decisiones y las acciones. Esta perspectiva es rica en instrumentos para ser utilizados en equipos de trabajo específicos, los que son muy recomendables a ser conocidos por los gerentes sociales. Su uso dependerá de la pertinencia, naturaleza de la coyuntura y recursos disponibles. Usualmente el proceso de aprendizaje organizacional con esta perspectiva se desarrolla con procesos de alto nivel, con los tomadores de decisión más importante, y paulatinamente se incorporan otros niveles según se va experimentando con éxito las consecuencias del aprendi127 La visión parte de Senge, P., La Quinta Disciplina: el arte y la práctica de la organización abierta al aprendizaje, Buenos Aires: Organización Granica/Vergara, 1990, aunque sus versiones más útiles para el gerente social se desarrollan en Senge, P. etr al., La Quinta Disciplina en la práctica: estrategias y herramientas para construir la organización abierta al aprendizaje, Barcelona: Ediciones Granica, 1995, y Senge, P. et al., The Dance of Change: The Challenges to Sustaining Momentum in Learning Organizations, New York: DoubleDay, 1999.

397

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

zaje organizacional. Como en estos procesos necesariamente se demanda una democratización del ejercicio del poder organizacional los ejercicios pueden quedar limitados sólo a las autoridades de más alto nivel, limitándose –por lo mismo- su posible eficacia. VISIÓN INTEGRAL

La visión integral considera que todas las organizaciones operan con un portafolio de estrategias de aprendizaje, que las limita o potencializa128. Lo importante es identificar la perspectiva dominante en la organización a través de un autodiagnóstico, y considerar la forma como funcionan los factores facilitadores del aprendizaje para impulsarlos. Es una visión muy práctica y que aplicaremos en la sesión para que ejemplifique el potencial de la perspectiva. El diagnóstico, como etapa inicial, se basa en identificar la orientación del aprendizaje con base en 10 aspectos129: 1. Fuente del conocimiento, que puede ser derivado desde el interior de la organización o de su contexto. 2. La organización puede enfatizar información y conocimientos relativos al contenido o resultados o al proceso. 3. El conocimiento puede dirigirse a reservarse a personas específicas o ponerse a disponibilidad abierta y pública. 4. El conocimiento se puede distribuir a través de medios formales, normativamente reconocidos, o mediante procedimientos informales, propios de contactos personales y redes de grupos. 128 La perspectiva se desarrolla en DiBella, A.J., y E.C. Nevis, How Organizations Learn: An Integrated Strategy for Building Learning Capability, San Francisco: Jossey-Bass Publishers, 1998. 129 Los autores identifican siete, pero la experiencia nos indica que otros tres aspectos deben considerarse, por lo que la lista esta modificada.

La gestión del conocimiento derivado del monitoreo y evaluación

398

Monitoreo y evaluación del diseño y desempeño de programas sociales

5. El conocimiento puede alimentar una visión de arreglo de problemas operativos, con una visión incremental de desarrollo organizacional, o de manera estratégica, evitando las inercias tendenciales. 6. El conocimiento se puede enfocar a aspectos de diseños o de tomas de decisiones en la organización, o a responder a los posibles beneficiarios o grupos de referencia de la organización. 7. El conocimiento se puede enfocar a los individuos o ser trabajado a partir de equipos, grupos o unidades organizacionales. 8. Los errores pueden usualmente esconderse, justificándolos, o se puede reconocerlos, tratando de evitar volver a cometerlos. 9. La información estratégica que fluye en la organización puede ser producto de intercambios verbales, o estar plasmada en documentos escritos. 10. La memoria organizacional está contenida en individuos que representan la historia y la cultura de la organización, o se encuentra institucionalizada, bajo procedimientos impersonales. Se le invita a realizar un diagnóstico de la perspectiva de aprendizaje de su organización utilizando la tabla 1 del anexo. Los gerentes, además del diagnóstico es importante que manejen el potencial de aprendizaje de la organización a través de la identificación de los factores que facilitan el aprendizaje, ya que con ello contarán con una perspectiva completa sobre los cambios que es necesario impulsar. La perspectiva identifica diez factores que facilitan el aprendizaje: 1. La organización busca constantemente información sobre sí misma y sobre su contexto, de manera que le informe sobre su desempeño y pertinencia.

399

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

2. Constantemente se identifica la disonancia que produce lo que la organización afirma (su teoría sobre sí misma) y la acción efectiva que realiza. 3. La organización construye indicadores de desempeño, que utiliza constantemente para medirse. 4. La organización es curiosa sobre sí misma, su historia y las novedades de su medio. 5. La organización permite múltiples perspectivas en un clima de respeto y tolerancia por las diferencias. 6. Se ofrece educación permanente con el fin de sistematizar los aprendizajes ya desarrollados o adquirir nuevos que pueden beneficiar a la organización. 7. Se presentan oportunidades de cambiar de trabajo, rotando en diversos puestos, lo que permite tener una visión más global del quehacer de la organización. 8. El conocimiento innovador es manejado por diversos grupos, ubicados estratégicamente en la organización, lo cual permite tener múltiples abogados del sentido de los aprendizajes. 9. El liderazgo formal de la organización, al más alto nivel, es un claro ejemplo de aprendizaje, lo motiva, participa directamente e incentiva a sus subordinados a seguirlo. 10. La organización es entendida de manera sistémica, disminuyendo las visiones territoriales propias de personajes o grupos internos o externos. Con el diagnóstico y la identificación de factores facilitantes se puede tener

La gestión del conocimiento derivado del monitoreo y evaluación

400

Monitoreo y evaluación del diseño y desempeño de programas sociales

el suelo mínimo para generar una serie de etapas que impulsen aprendizajes que le permitan a la organización ser más eficientes. Un mapa de recomendaciones sería: Etapa uno: 1. Involucre al liderazgo. 2. Propicie una perspectiva de sistemas. 3. Enfoque al equipo o unidad, no a individuos aislados. Etapa dos: a) En la adquisición del conocimiento. 1. Equilibre las fuentes. 2. Equilibre el contenido y los procesos. b) En la diseminación. 1. Fomente estrategias públicas. 2. Equilibre la diseminación entre lo formal y lo informal. c) En el uso. 1. Aumente el conocimiento de carácter estratégico. 2. Equilibre entre el diseño y la demanda de los actores. Etapa tres: a) En la adquisición. 1. Busque información interna y externa. 2. Identifique la brecha entre lo que se dice y lo que se hace.

401

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

3. Diseñe indicadores cuantitativos o cualitativos. 4. Promueva la curiosidad organizacional. b) En la diseminación. 1. Promueva un clima de apertura y tolerancia. 2. Promueva capacitación continua. c) En el uso del conocimiento. 1. Promueva múltiples abogados. 2. Fomente la rotación de puestos. Se sugiere que desarrolle un plan de impulso al aprendizaje organizacional basándose estas recomendaciones. Para estructurarlo se recomienda el formato del anexo 3. Es claro que el desarrollo del cambio organizacional es factible desde la perspectiva del aprendizaje organizacional, aún las organizaciones públicas. Sin embargo, es importante tener en consideración que este desarrollo es tarea de conocimiento pero también de tiempo, paciencia y arte. Es una competencia más cercana a un jardinero que a un ingeniero social. Un jardinero que está consciente de que su suelo (la organización) no es lo que desearía, pero es su realidad, donde va a repartir semillas para la transformación, encapsuladas en visiones, programas, políticas. Algunas semillas (iniciativas) correrán con suerte y florecerán, pero otras no, y perecerán. Pero de lo que germine, poco a poco, se las arreglará para que su organización luzca bien (se legitime), alcance los objetivos que representan bienes públicos para su comunidad, sirviendo, de esta manera al desarrollo de su sociedad. Esta perspectiva apuesta a la transformación organizacional de abajo a arriba, de un lado a otro130. 130 Para identificar los límites del concepto de reingeniería y el potencial de la visión de jardinería véase

La gestión del conocimiento derivado del monitoreo y evaluación

402

Monitoreo y evaluación del diseño y desempeño de programas sociales

En resumen, las organizaciones públicas pueden aprender a responder mejor a los retos de sociedades más participativas, con modelos de desarrollos especialmente preocupados por mejorar la distribución equitativa de oportunidades para el desarrollo. Es claro que los reformadores, los líderes juegan un papel central. Las organizaciones necesitan de su sentido de propósito, de su perspectiva estratégica, de su capacidad de negociación, de su disponibilidad a tomar riesgos, de su persistencia, y más que nada, de su disponibilidad para compartir el poder. Pero los líderes no se encuentran únicamente en las partes altas de los organigramas formales. Existen oportunidades de transformación en toda la organización, a nivel de unidad, dependen de su capacidad para aprender a alcanzar mejores desempeños. La forma como se maneja el conocimiento y la información será un factor clave para transformar las organizaciones públicas. Pero no debe caerse en una noción voluntarista. El aprendizaje en las organizaciones públicas necesita de ciertas precondiciones básicas para impulsar el aprendizaje desde el ciclo de las políticas públicas o desde la estructura de la toma de decisiones131. En nuestro ámbito en el que la estructura burocrática no está todavía consolidada, el proceso de aprendizaje organizacional tiene que desarrollar precondiciones especiales para el aprendizaje, como pueden ser. 1) Estructuras de responsabilidad (accountability) claras, funcionales y diseminadas132.

Ingraham, P. J. R. Thompson, and R. P. Sanders (eds.) Transforming Government: lessons from the Reinvention Laboratories, San Francisco: Jossey-Bass Publishers, 1998. 131 Para un desarollo sistemático véase, Rist, R.C., The Preconditions for Learning: Lessons from the Public Sector, en Leeuw, F.L., R.C. Rist., & R.C. Sonnichsen, (eds)., Can Governments Learn? Comparative Perspectives on Evaluation & Organizational Learning, New Brunswick: Transaction Publishers, 2000. 132 Para una instrumentalización y ejemplificación de múltiples herramientas de responsabilidad gubernamental véase Rosen, B. Holding Government Bureaucracies Accountable, Westport: Praeger, 1998.

403

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

2) Espacios para la participación en los términos de las culturas de la ciudadanía133. 3) Medidas anticorrupción, que vayan más allá de medidas de responsabilidad y de la participación social. Por otra parte, cada vez se aprende mejor que los procesos de transformación de las organizaciones públicas tienen un fuerte centro ético, que sirve de guía para evaluar los procesos de aprendizaje. En este sentido una visión emergente es la consideración de las instituciones desde la perspectiva de la teoría de la justicia134. Se parte del principio de que en todo proceso de cambio organizacional necesariamente se involucran aspectos relacionados con la justicia, ya que se redistribuye tanto el poder como los recursos de las instituciones; se definen nuevas misiones y se ponen a juicio tanto los valores implícitos en las relaciones existentes como aquellos que se tratarán de incorporar a la institución con el proceso de transformación institucional. Así se ponen en cuestionamiento tres nociones básicas de la justicia desde la perspectiva organizacional. Primeramente la justicia distributiva, que se cuestiona sobre la equidad, es decir si los recursos e incentivos de distribuyen conforme a mérito; sobre la igualdad en la asignación de recursos y riesgos entre los individuos y los grupos; y en la necesidad, en cuanto a la distribución de los recursos con base en los requerimientos de cada individuos. 133 Sobre el impacto de la participación en la configuración de nuevas formas de gobierno véase Peters, G., The Future of Governing: Four Emerging Models, Lawrence: The Univerisity of Kansas, 1996. Para analizar en detalle un caso éxitoso considerese Korten, F.F. y R.Y. Siy, Jr., Transforming a Bureaucracy: The Experiences of the Philippine National Irrigation Administration, West Hartford, Kumarian Press, 1988. 134 Véase Stephens, C.W and A. T. Cobb, “A Habermasian approach to justice on organizational change: synthesizing the technical and philosophical perspectives”, Journal of Organizational Change Management, Vol. 12, No. 1, 1999, pp. 21-34 y Wooten, K.C. and L.P. White, “Linking OD’s philosophy with justice theory: postmodern implications”, Journal of Organizational Change Management, Vol. 12, N.1, 1999, pp 7-20.

La gestión del conocimiento derivado del monitoreo y evaluación

404

Monitoreo y evaluación del diseño y desempeño de programas sociales

En segundo lugar, sobre la justicia procesal de las reglas establecidas, que se basa en aspectos como la naturaleza de la comunicación de políticas y procedimientos a ser seguidos, la capacidad para proveer de margen de maniobra y elementos para la cooperación en la acción individual como condiciones de responsabilidad personal, y la capacidad para participar en las decisiones y acciones institucionales (con ciudadanía institucional). En general, la perspectiva de la justicia organizacional asume que las organizaciones deben democratizar el ambiente de trabajo y vincularse con procesos de distribución de poder. Esta perspectiva plantea al menos un reto conceptual a las instituciones estatales que manejan la visión de dirigir a la sociedad en procesos democratizadores. Nos señalaría que dentro del movimiento de la Reforma del Estado los aprendizajes a nivel institucional deben mantener coincidencia con los procesos de cambio social. 1. ESQUEMA PARA EL DIAGNÓSTICO DE LA PERSPECTIVA ORGANIZACIONAL SOBRE SU TIPO DE ORGANIZACIONAL ORIENTACIÓN DEL APRENDIZAJE

USUALMENTE

CASI SIEMPRE

IGUAL

CASI SIEMPRE

USUALMENTE

1. FUENTE DEL CONOCIMIENTO.

INTERNA

EXTERNA

2. ENFOQUE AL CONTENIDO O AL PROCESO.

CONTENIDO

PROCESO

3. RESERVA DEL CONOCIMIENTO.

PERSONAL

PÚBLICO

4. MODO DE DISEMINACIÓN.

INFORMAL

FORMAL

5. ÁMBITO DE APRENDIZAJE.

INCREMENTAL

ESTRATÉGICO

405

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

ORIENTACIÓN DEL APRENDIZAJE

USUALMENTE

CASI SIEMPRE

IGUAL

CASI SIEMPRE

USUALMENTE

6. ENFOQUE A LA CADENA DEL VALOR.

DISEÑO

RESPUESTA DEL BENEFICIARIO

7. ENFOQUE AL INDIVIDUO O AL GRUPO.

INDIVIDUO

GRUPO O UNIDAD.

8. ENFOQUE AL ERROR.

ESCONDERLO

RECONOCERLO

9. ENFOQUE AL TIPO DE INFORMACIÓN.

VERBAL

ESCRITA

10. TIPO DE MEMORIA.

INDIVIDUAL

INSTITUCIONAL

2. IDENTIFICACIÓN DE LOS FACTORES QUE FACILITAN EL APRENDIZAJE EN LA ORGANIZACIÓN (Se discute en equipos de pares). FACTORES QUE FACILITAN EL APRENDIZAJE

NINGUNA EVIDENCIA

1. SE BUSCA CONSTANTEMENTE INFORMACIÓN SOBRE SÍ MISMA Y SU CONTEXTO. 2. SE IDENTIFICA LA BRECHA ENTRE LO QUE SE DICE Y LO QUE SE HACE. 3. SE TRATA DE MEDIR EL DESEMPEÑO. 4. EXISTE CURIOSIDAD ORGANIZACIONAL. 5. EXISTE CLIMA DE APERTURA Y RESPETO. 6. SE OFRECEN OPORTUNIDADES DE CAPACITACIÓN PERMANENTE. 7. EXISTE POSIBILIDADES DE VARIAR DE ESPECIALIDAD DE TRABAJO. 8. ABOGADOS MÚLTIPLES. 9. LIDERAZGO INTERESADO EN EL APRENDIZAJE. 10. SE PROMUEVE UNA PERSPECTIVA DE SISTEMA.

La gestión del conocimiento derivado del monitoreo y evaluación

406

ALGUNA EVIDENCIA

EVIDENCIA PERSUASIVA

Monitoreo y evaluación del diseño y desempeño de programas sociales

3. PLAN DE FORTALECIMIENTO DEL APRENDIZAJE DE SU ORGANIZACIÓN (Llénelo de manera individual y lo discute con pares de organizaciones similares a la suya para recibir retroalimentación). A. LOS PRINCIPIOS DE REFORMA DEL ESTADO QUE SE ESTÁN APLICANDO EN EL PAÍS.

B. LOS PRINCIPIOS DE REFORMA INSTITUCIONAL QUE SE HAN SEGUIDO EN SU ORGANIZACIÓN

PLAN DE ACCIÓN OBJETIVOS:

ETAPAS.

ACCIONES.

FUNDAMENTO

VIABILIDAD

407

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

3. Diálogos informados y uso de investigación135. Los propósitos de esta participación consisten en describir la perspectiva de diálogos informados, revisar sus supuestos, considerar revisiones a la luz de experiencias propias y señalar algunas de sus limitaciones. Por la naturaleza del seminario para el que fue solicitado se pondrá especial énfasis en los aspectos de la metodología que pueden ser considerados en el diseño de un modelo de simulación con fines didácticos en la formación de gerentes sociales. Marco General El Estado contemporáneo se encuentra en múltiples proceso de resignificación, especialmente en su relación con la sociedad civil. Como ha sido señalado por Reich136, uno de los procesos tiene que ver con la legitimidad en los procesos de decisión pública. El Estado ha pasado de autoreconocerse como la fuente única y monolítica en los procesos de formulación de políticas públicas ahora en ciertos ámbitos y circunstancias denota mayor inseguridad en su racionalidad y recurre a la participación de los actores sociales no sólo para formular las políticas sino para desarrollar su proceso de la formación, que incluye una noción más interactiva de las etapas del proceso y de los actores involucrados. Actualmente se sostiene la necesidad de que el Estado sostenga intensas conversaciones con los actores y sus instituciones, para lo cual requiere propiciar la legitimidad del diálogo social como base de sustentación en los procesos de formación de políticas. En el estado democrático la necesidad de considerar al Estado como promotor del diálogo social deviene del reco135 Sección elaborada a partir del documento: Loera, A. Los diálogos informados como método de concertación social, INDES/ Banco Interamericano de Desarrollo, Washington, D.C. 2002. 136 Reich, Robert B., The Power of Public Ideas, Cambridge, Mass.: Harvard University, 1990.

La gestión del conocimiento derivado del monitoreo y evaluación

408

Monitoreo y evaluación del diseño y desempeño de programas sociales

nocimiento explícito de los límites del egoísmo universal (y su consecuencia natural en la fe de las fuerzas del mercado) y de la improductividad de la noción de lucha y confrontación, que es una consecuencia de la noción de egoísmo de los grupos sociales. Al mismo tiempo se origina en el convencimiento de que existen valores compartibles por todos, o al menos entre los actores sociales estratégicos. De esta manera el diálogo social se sustenta en la noción de una base valorativa común que permite el reconocimiento de bienes públicos básicos, y que incluso convierte al diálogo mismo en un bien público. Probablemente es por esto que usualmente las políticas sociales y las relaciones laborales son de los ámbitos donde más frecuentemente se ejercita el diálogo como método en los procesos de formación de políticas. Así en las políticas sociales como es el caso de la educación, la salud, la seguridad social, se centran valores básicos de la sociedad, que las nuevas constituciones aseguran como bienes inalienables para las personas e incluso grupos sociales amplios. En el caso de las relaciones laborales el Estado suele intervenir como un moderador equilibrado de posiciones legítimamente egoístas, con base en principios de solidaridad generalizada. Sin embargo el Estado no es un convocado cualquiera en los procesos de diálogo social. El espíritu de cooperación y la actitud de solidaridad no se expresa horizontalmente. En la promoción del diálogo social el Estado mantiene su jerarquía. El diálogo no sustituye ni disminuye el ejercicio del poder estatal, lo resignifica137. En este sentido el Estado es por naturaleza de su legitimidad y recursos el protagonista y promotor insustituible del los procesos de concertación. No sólo es el receptor de las decisiones sino que es el que aporta legitimidad a estos procesos. Desde nuestro punto de vista la legitimidad del diálogo social radica en cinco condiciones, todas ellas dependen de la 137 Durán López, Federico, El Diálogo social y su institucionalización en España e Ibernoamérica, Madrid: Consejo Económico y Social, 1998.

409

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

acción y decisión del Estado: 1. Existencia de mecanismos participativos en la definición de la agenda pública misma, no sólo de los temas ya agendados por el Estado. 2. Aseguramiento de la participación de los actores involucrados considerando sus prácticas sociales históricas en cuanto a la discusión de los temas públicos. Este tema es particularmente un reto para las configuraciones corporativistas, en donde son limitados los espacios de acceso al diálogo social. Además de que la convocatoria se encuentra limitada, la naturaleza misma del proceso es excluyente de múltiples grupos para los cuales los foros, mesas de concertación y otras modalidades de convocatorias presuntamente abiertas. 3. El estado debe asumir que la heterogeneidad social se traduce en inequitativas condiciones de participación en los procesos de concertación, por lo que debe propiciar acciones compensatorias que equilibren las diferencias. Específicamente debe proporcionar información y educar en los temas públicos. 4. La concertación trasciende la negociación de intereses y el ejercicio de la persuasión ideológica a los grupos sociales que sostienen puntos de vista diferentes al Estado. La trascendencia radica en la construcción compartida de ideas públicas sólidas, que permita asegurar valores compartidos. 5. La política pública como marco general de la acción del Estado deriva de procesos que transforman los debates en diálogos, y los diálogos en procesos decisorios, en pautas para la acción y la orientación de los recursos públicos. En estos procesos intervienen los intereses de grupo, las creencias y posturas ideológicas de los actores, su cultura institucional y, aunque sea esporádicamente, el conocimiento científico, especí-

La gestión del conocimiento derivado del monitoreo y evaluación

410

Monitoreo y evaluación del diseño y desempeño de programas sociales

ficamente el derivado de la investigación y evaluación social. Este es el espacio en donde se ha estado configurando el método de los diálogos informados. LA NOCIÓN DE DIÁLOGO INFORMADO

Noel McGinn y Fernando Reimers, profesores de la facultad de Educación de la Universidad de Harvard, han denominado “Diálogos informados”138 a una estrategia de formular, más que formar, política pública con base en amplias deliberaciones públicas basadas en información sistemática y rigurosa de la investigación social. Consideraremos las implicaciones de los ¨diálogos informados¨ en cuanto a los procesos de concertación social a la luz de 4 nociones: • La investigación social es utilizada en procesos de construcción social reconfigurando conceptos y argumentaciones de los grupos de interés dentro del debate social. • Las políticas basadas en conocimiento sustentado por la investigación introducen procesos de aprendizaje organizacional y social que las hacen más sustentables. • Las conversaciones informadas por la investigación ponen en funcionamiento un proceso de negociación-persuasión que es posible modelar. • Los diálogos informados son puntos de partida para la construcción de ideas públicas fuertes más que de consensos amplios pero débiles. Es importante señalar que las políticas educativas constituyen el ámbito de política social en donde se ha ejercitado los diálogos informados. Este es 138 Reimers, F. y McGinn, Noel, Informed Dialogue: Using Research to Shape Education Policy Around the World, Wesport, Conn.: Praeger, 1997.

411

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

un ámbito en donde de manera fluida convergen aspectos “técnicos” como los propios de la planificación educativa, “científicos” como la identificación de los factores que mejor “explican” valores implícitos de los sistemas educativos tan precisos como los rendimientos académicos o el éxito escolar en cuanto permanencia y promoción tanto escolar como social. De igual forma los actores de los sistemas educativos son relativamente fácil de identificar: el aparato administrativo del Estado y los sindicatos magisteriales como los actores a niveles macro (eventualmente con la concurrencia de algún otro sector como el empresarial). A niveles más microsocial los actores son los maestros, los estudiantes, los padres de familia y las autoridades locales. Las conversaciones sociales son más fáciles de informar en educación debido a que los espacios de intervención son delimitados con cierta facilidad: infraestructura, financiamiento, diseño curricular, formación y actualización del magisterio, gestión y regulación del sistema y de las organizaciones escolares, tecnología instruccional y estructura de tiempo asignado. De esta manera, en la formación de las políticas educativas probablemente se expresa de manera más clara y estructurada que en otros ámbitos de política social la interacción de actores, factores y valores, lo que configura condiciones que facilitan la promoción de la noción de los diálogos informados como procesos legítimos en la formación de políticas. CONDICIONES SOCIALES DE USO DE LA INVESTIGACIÓN SOCIAL

La utilización de la investigación social en la formulación de política pública está condicionada por múltiples factores. Incluso en la literatura especializada se ha manifestado como postura la incompatibilidad entre la investigación y la política pública, describiéndolas como culturas excluyentes. Sin embargo, la visión dominante trata de entender a la política pública de manera más flexible, admitiendo que en sociedades democráticas, con prensa libre, y masa

La gestión del conocimiento derivado del monitoreo y evaluación

412

Monitoreo y evaluación del diseño y desempeño de programas sociales

crítica intelectual vigente, la discrecionalidad del Estado tiene límites y tiene en última instancia que rendir cuenta, no sólo de resultados sino incluso de los presupuestos conceptuales de los programas y políticas gubernamentales. De ahí la necesidad de usar en política pública a la investigación social. Es claro que el proceso de utilización de la investigación no es un proceso lineal. Carol Weiss, la investigadora más productiva sobre el uso de la investigación social en la política pública, ha identificado múltiples dimensiones de uso de la investigación en política. En el repertorio destacan la instrumental, el político, el conceptual o iluminativo. A pesar de que normalmente la noción de uso se refiere a la visión instrumental, la investigación empírica en sociedades muy diferentes ha encontrado muy pocos casos. Los usos dominantes son los políticos, en donde la investigación justifica-antes que fundamentar- decisiones ya tomadas y el conceptual o iluminativo en donde la investigación ayuda a entender o reformular (sin que necesariamente resuelva) la naturaleza de los problemas así como las alternativas viables. En la perspectiva de diálogos informados se toma de las ciencias sociales, por lo tanto, más que datos, su capacidad para estructurar conceptos y argumentos para que los diversos actores tengan más capacidad de deliberar de manera pública. Como es clara en la posición de Haberlas y del último Rawls en la formación de política social, la racionalidad instrumental (medios-fines) es sustituida por una noción de justicia, intrínseca al proceso democrático mismo. En término de Elster139, la justicia distributiva se encuentra detrás del velo de la decisión pública. Una idea de justicia que sostiene aprecio (bien público) incluso por los actores que no participan en el diálogo social. A diferencia de la justicia conmutativa que se basa en la negociación de intereses solo de los participantes directos, con el propósito de su bienestar específico. 139 Elster, Jon, La posibilidad de una política racional, en León Olivé, Racionalidad: ensayos sobre la racionalidad en ética, política, ciencia y tecnología, México, D.F.: Siglo XXI, 1988.

413

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

Modelaje de los procesos de diálogos informados McGinn y Reimers identifican 9 momentos típicos de los procesos de diálogos informados: 1. Definir el proceso de cambio que habrá de ser informado por el conocimiento basado en la investigación. 2. Identificar a los portadores de intereses en ese proceso. 3. Definir los flujos actuales y relevantes en el espacio de las políticas. 4. Definir qué diálogos están en marcha y cuáles deben ponerse en marcha entre portadores claves de intereses. 5. Fortalecer la capacidad de los grupos para el diálogo. 6. Establecer reglas para el diálogo basado en el conocimiento. 7. Diseñar operaciones para generar conocimiento. 8. Equilibrar el conocimiento técnico, el conceptual y el de los procesos. 9. Preparar un plan de reporte y difusión. Esta modalidad de diálogo informado es una variante de la ingeniería social que apuesta a una racionalidad técnica en donde los investigadores suponen que las evidencias empíricas son persuasivas por sí mismas. De este modo los investigadores sociales asumen el papel de empresarios de políticas en donde estructuran el proceso de manera casi ingienieril. El investigador estructura el diálogo definiendo quién va participar, sobre qué se va a hablar, de qué manera se discutirá y, lo que es paradójico, asumiendo que los resultados de la investigación aporta certezas claras para la acción, de las cuales es necesario convencer a todo mundo. En última instancia la distancia con la visión tecnocrática clásica es muy corta: mientras que los tecnócratas pueden

La gestión del conocimiento derivado del monitoreo y evaluación

414

Monitoreo y evaluación del diseño y desempeño de programas sociales

desechar con facilidad a los actores, el concepto de diálogos informados los necesita para convencerlos de lo correcto de la decisión técnica. Sin embargo los procesos de diálogo informado pueden tener variantes más ricas para los actores y los procesos democráticos. De mi experiencia personal estimulando conversaciones basadas en autoconocimiento para el aprendizaje derivo una lista no secuencia de aspectos a considerar en un proceso de concertación social con base en conversaciones para el aprendizaje social. Esta perspectiva mantiene algunas diferencias, que usando terminología ya utilizada tiende más a la jardinería social que a la ingeniería social: 1. Solicitud de intervención. 2. Proceso de autodescubrimiento con la construcción de espejos con bases empíricas. 3. Identificación de los aspectos inhibidores del aprendizaje. 4. Reflexión abierta y pública de las condiciones inhibidoras y las condiciones facilitadoras del aprendizaje social u organizacional. 5. Articulación con otros actores que han estado desarrollando procesos de aprendizaje internos, construyendo redes sinergéticas. 6. La investigación de resultados y procesos (cuantitativa y cualitativa) combinada con procedimientos de autoconocimiento, que permita estructurar múltiples conversaciones sociales basadas en la confianza en la inteligencia y capacidad de los actores, especialmente de los que viven directamente los problemas. 7. Exploración de diversas modalidades de equilibrio entre regulación e innovación, por una parte, y comunicación social y deliberación. 8. Construcción de acuerdos entre los actores basados en autoconocimiento, conocimiento de los problemas y conversación reflexiva sobre las al-

415

La gestión del conocimiento derivado del monitoreo y evaluación

Armando Loera Varela

ternativas de futuro que propician estados de justicia más significativos para los propios actores. 9. Rendición pública de cuentas tanto de los logros como de los presupuestos conceptuales de las decisiones y los procesos de políticas. 10. La deliberación pública se asume como bien público en sí mismo.

La gestión del conocimiento derivado del monitoreo y evaluación

416

Principios de un Sistema de Monitoreo Eficiente y de Calidad

Monitoreo y evaluación del diseño y desempeño de programas sociales

CAPÍTULO 9

Principios de un Sistema de Monitoreo Eficiente y de Calidad Introducción

Pulse para explorar el subíndice:

1. Estándares para la En la definición de un proceso como evaluación de los el monitoreo es importante establecer programas sociales parámetros que aseguren la calidad. Una 2. Esquema general para el forma de hacerlo es determinar estándadiseño del monitoreo de los res que deben cumplirse y una serie de programas sociales criterios que ayuden a estructurar el diseño de los sistemas de monitoreo. En este breve documento presentamos los estándares que a nivel internacional se siguen como modelo para el diseño y valoración de las evaluaciones de los programas. Inicialmente se dedicó únicamente a aspectos de evaluación sumativa, o de impacto. De igual manera se dedicaron a los programas educativos. Sin embargo su formulación se ha ampliado de manera que se incluye también a los procesos de monitoreo y a todo tipo de programas sociales, no únicamente a los educativos.

Los estándares y la guía deben ser aplicados en el diseño del sistema de monitoreo que usted desarrolle como producto del diplomado.



419



Principios de un Sistema de Monitoreo Eficiente y de Calidad

Armando Loera Varela

1. Estándares para la evaluación de los programas sociales A nivel internacional existe consenso sobre los estándares que deben guiar los procesos de evaluación (incluidos el monitoreo) de los programas sociales. Estos estándares han sido construidos por un Comité de expertos en evaluación, al que comúnmente se le denomina Comité Sanders140. La siguiente es la versión resumida de estos estándares. Estándares de utilidad Los estándares de utilidad pretenden asegurar que la evaluación sirva para cubrir las necesidades de información de los usuarios a los que tiene intenciones de servir. U1 Identificación de los interesados.- Las personas involucradas en o afecta-

das por la evaluación deben ser identificadas, de tal modo que sus necesidades puedan ser tomadas en cuenta.

Las personas que conduzcan la evaluación deben ser confiables y competentes para esa tarea, para que los hallazgos de la evaluación alcancen las mayores credibilidad y aceptación posibles. U2 Credibilidad del evaluador.-

U3 Selección y alcance de la información.- La información acopiada debe ser

cuidadosamente seleccionada para referirse a preguntas pertinentes al programa y responder a las necesidades e intereses de los clientes y otros interesados identificados.

U4 Identificación de valores.- Las perspectivas, procedimientos y lógica uti-

lizados para interpretar los hallazgos deben ser descritos cuidadosamente, de 140 La versión completa de los estándares se puede consultar en, Sanders, James, R. (Presidente) Comité conjunto de estándares para la evaluación educativa, Estándares para la Evaluación de Programas, Bilbao: Ediciones Mensajero, 1998.

Principios de un Sistema de Monitoreo Eficiente y de Calidad



420



Monitoreo y evaluación del diseño y desempeño de programas sociales

tal manera que las bases para los juicios de valor queden claras. U5 Claridad del reporte.- Los reportes de evaluación deben describir clara-

mente el programa que está siendo evaluado, incluyendo su contexto y sus propósitos, los procedimientos y los hallazgos de la evaluación, de tal manera que se dé la información esencial en un formato de fácil comprensión. U6 Oportunidad y divulgación de los reportes.- Los hallazgos significativos y

los reportes de evaluación deben ser puestos al alcance de los posibles usuarios, de tal manera que puedan utilizar la información de manera oportuna. U7 Impacto de la evaluación.- Las evaluaciones deben ser planeadas, condu-

cidas y reportadas en formas que propicien el seguimiento por parte de los interesados, de tal manera que la probabilidad de que la evaluación tenga uso se incremente. Estándares de factibilidad

Los estándares de factibilidad pretenden asegurar que la evaluación sea realista, prudente, diplomática y parsimoniosa. Los procedimientos de evaluación deben ser prácticos, para mantener la interrupción que causan en un mínimo, sin detrimento del acopio de la información necesaria. F1 Procedimientos prácticos.-

F2 Viabilidad política.- La evaluación debe ser planeada y conducida antici-

pándose a las diferentes posturas de varios grupos de interés, de tal manera que se obtenga su cooperación y puedan preverse los intentos de esos grupos por detener la evaluación o por sesgar o dar mal uso a sus resultados. La evaluación debe ser eficiente y producir información de suficiente valor para que los recursos empleados sean justificados. F3 Efectividad y costo.-



421



Principios de un Sistema de Monitoreo Eficiente y de Calidad

Armando Loera Varela

Estándares éticos Los estándares éticos pretenden asegurar que la evaluación se lleve a cabo legalmente, con ética y en beneficio de los involucrados en ella y de quienes son afectados por sus resultados. E1 Orientación al servicio.- Las evaluaciones deben ser diseñadas para asistir

a las organizaciones a servir efectivamente a la totalidad de los participantes identificados. E2 Compromisos formales.- Las obligaciones de las distintas instancias que

participan en una evaluación (qué debe hacerse, cómo, por quiénes, cuándo) deben ser acordadas por escrito, de tal manera que estas instancias queden comprometidas a adherirse a todas las condiciones de la evaluación o a renegociarlas formalmente. E3 Derechos humanos.- las evaluaciones deben ser diseñadas y conducidas

respetando y protegiendo los derechos y el bienestar de los seres humanos involucrados. E4 Interacciones humanas.- Los evaluadores deben respetar la dignidad y el

valor humanos en sus interacciones con otras personas asociadas con la evaluación, de tal manera que los participantes no sean amenazados o lastimados. E5 Valoración completa y justa.- La evaluación debe ser completa y justa en

su escrutinio y registro de fortalezas y debilidades del programa a evaluar, de tal manera que las fortalezas puedan consolidarse y las áreas problemáticas sean consignadas. Las instancias involucradas en el proceso de evaluación deben asegurarse de que todos los resultados de la evaluación, con las limitaciones pertinentes y bien justificadas, sean accesibles a las personas afectadas por la evaluación, así como a cualesquiera otras con derechos E6 Divulgación de los hallazgos.-

Principios de un Sistema de Monitoreo Eficiente y de Calidad



422



Monitoreo y evaluación del diseño y desempeño de programas sociales

legales explícitos para recibir los resultados. Los conflictos de intereses deben ser discutidos abierta y honestamente, para que éstos no comprometan los procesos y resultados de evaluación. E7 Conflicto de intereses.-

E8 Responsabilidad fiscal.- La asignación y expedición de recursos a los eva-

luadores deben incluir procedimientos de rendimiento de cuentas y ser prudentes y éticamente responsables. Estándares de precisión Los estándares de precisión pretenden asegurar que la evaluación comunique información técnicamente adecuada sobre las características que determinan el valor o mérito del programa evaluado. P1 Documentación del programa.- El programa evaluado debe ser descrito y

documentado claramente y con precisión, de manera que sea rigurosamente identificado. El contexto en que existe el programa debe ser examinado con suficiente detalle para que sus influencias sobre el programa puedan ser identificadas. P2 Análisis del contexto.-

P3 Propósitos y procedimientos descritos.- Los propósitos y procedimientos

de la evaluación deben ser descritos y monitoreados con suficiente detalle para que puedan ser identificados y valorados.

Las fuentes de información usadas en la evaluación de programas deben ser descritas con suficiente detalle para que la pertinencia de la información pueda ser valorada. P4 Fuentes de información.-

P5 Información válida.- Los procedimientos de integración de información

deben ser elegidos o desarrollados, y luego implementados, de tal manera



423



Principios de un Sistema de Monitoreo Eficiente y de Calidad

Armando Loera Varela

que aseguren que las interpretaciones a que se llegue sean válidas para el uso propuesto. Los procedimientos de reunión de información deben ser elegidos o desarrollados, y luego implementados, de tal manera que aseguren que la información obtenida sea confiable para el uso propuesto. P6 Información confiable.-

P7 Información sistemática.- La información acopiada, procesada y reporta-

da en la evaluación debe ser revisada sistemáticamente y cualesquiera errores que se encuentren deben ser corregidos. La información cuantitativa de la evaluación debe ser apropiada y sistemáticamente analizada para que las preguntas de evaluación sean contestadas efectivamente. P8 Análisis de la información cuantitativa.-

La información cualitativa de la evaluación debe ser apropiada y sistemáticamente analizada para que las preguntas de evaluación sean contestadas efectivamente. P9 Análisis de la información cualitativa.-

Las conclusiones a que se llegue en la evaluación deben ser justificadas explícitamente, de manera que los interesados puedan valorarlas. P10 Conclusiones justificadas.-

Lo procesos de generación de reportes deben protegerse contra la distorsión causada por sesgos y sentimientos personales de los evaluadores, de manera que los reportes reflejen de manera justa los resultados de la evaluación. P11 Reportes imparciales.-

La propia evaluación debe ser evaluada formativa y sumariamente contrastándola con éstos y otros estándares pertinentes, de manera que se lleve a cabo de manera apropiada y, complementariamente, los interesados puedan examinar puntualmente sus fortalezas y debilidades. P12 Metaevaluación.-

Principios de un Sistema de Monitoreo Eficiente y de Calidad



424



Monitoreo y evaluación del diseño y desempeño de programas sociales

2. Esquema general para el diseño del monitoreo de los programas sociales En el diseño del monitoreo del programa se debe explicar de qué manera se van a cumplir con cada uno de los cuatro tipos de estándares (no es necesario uno por uno). Además se debe integrar la siguiente información. 1. Información institucional INFORMACIÓN INSTITUCIONAL Nombre de la institución. Misión de la institución. Antigüedad. Número de programas que está realizando actualmente. Principales resultados obtenidos por las diversas acciones de la institución. Número de personas que laboran en la institución. Organigrama de la institución



425



Principios de un Sistema de Monitoreo Eficiente y de Calidad

Armando Loera Varela

2. Información sobre el programa INFORMACIÓN SOBRE EL PROGRAMA Nombre del programa. Propósito general del programa.

Responsables del diseño. Bases de la viabilidad técnica.

Bases de la viabilidad organizacional

Bases de la viabilidad financiera.

Bases de la viabilidad política. Organigrama de operación. Principales recursos. Componentes principales. Número de personas que elaboran en la operación del programa. Teoría del programa.

Principios de un Sistema de Monitoreo Eficiente y de Calidad



426



Monitoreo y evaluación del diseño y desempeño de programas sociales

3. Línea de base del programa LÍNEA DE BASE DEL PROGRAMA

¿Se realizó un diagnóstico inicial o línea de base?

En caso negativo, ¿porqué?

En caso positivo, ¿cuáles fueron los principales resultados?

En caso positivo, ¿cómo se relacionó la línea de base con el diseño del programa?



427



Principios de un Sistema de Monitoreo Eficiente y de Calidad

Armando Loera Varela

4. Estándares de desempeño del programa ACTIVIDAD DEL PROGRAMA

INDICADOR

ESTANDAR (HITO)

RECURSOS DEL PROGRAMA

INDICADOR

ESTANDAR (HITO)

Principios de un Sistema de Monitoreo Eficiente y de Calidad



428



Monitoreo y evaluación del diseño y desempeño de programas sociales

5. Elementos para el sistema de monitoreo 5.1 ¿Es relevante el Marco lógico para su programa?, ¿porqué? 5.2 En caso de ser relevante diseñe el Marco lógico del programa. 5.3 Tenga o no su programa Marco Lógico, especifique: 5.3.1 Meta del programa: 5.3.2 Objetivos de los componentes del programa: 5.3.3 Actividades y recursos de los componentes del programa. 5.3.4 Tablero de indicadores sobre el valor público del programa. 5.3.4.1 Indicadores de capacidad organizacional. 5.3.4.2 Indicadores de recursos financieros. 5.3.4.3 Indicadores de impacto en beneficiarios. 5.3.4.4 Indicadores de aprendizaje y crecimiento. 5.3.4.5 Indicadores de legitimidad y apoyo. 5.3.5 Técnicas de recolección de información a ser usadas para obtener información sobre los indicadores. 5.3.6 Programación de los procedimientos de campo de las técnicas de recolección de información.



429



Principios de un Sistema de Monitoreo Eficiente y de Calidad

Armando Loera Varela

5.3.7 Estrategias para la elaboración de informes. 5.3.8 Uso de los informes de monitoreo para influir en el rediseño del programa. 5.3.9 Estrategias para asegurar la participación de beneficiarios y operarios en el monitoreo del programa. 5.3.10 Estimación del costo del monitoreo sobre el costo total del programa. (En términos de porcentaje). 6. Evaluación de impacto del programa 6.1 ¿Cómo se prepara la evaluación de impacto del programa a partir del sistema de monitoreo? 6.2 ¿Cómo sugiere que se diseñe la evaluación de impacto? 6.2.1 Muestra y tipos de informantes. 6.2.2 Modelo de diseño cuasi-experimental. 6.2.3 Instrumentos. 6.2.4 Procedimientos de trabajo de campo. 6.2.5 Usos de los resultados de la evaluación de impacto.

Principios de un Sistema de Monitoreo Eficiente y de Calidad



430



Este libro presenta una metodología que permitirá diseñar mejor los programas sociales y aprender de manera oportuna a realizar ajustes en su operación. Se dirige a diseñadores y operadores de programas públicos (tanto gubernamentales como los desarrollados por Organismos No Gubernamentales–ONG´s) que deseen –ellos (y ellas) mismos– instalar procedimientos de monitoreo y evaluación que les permita disminuir los errores que se cometen en el diseño de la mayor parte de los programas, así como a identificar y remediar errores que la implementación conlleva.