Reflexiones sobre la evaluación de las políticas* Ides Nicaise El esfuerzo de objetividad que implica toda evaluación puede cubrirse con la pericia de los investigadores. Es su tarea particular hacer existir a los ausentes, a los no alcanzados por los programas que a ellos se destinan. Es también su labor tener una actitud que estimule el diálogo entre todos los actores. Las reflexiones presentadas a continuación se basan en mi experiencia de investigación en el HIVA (Hoger Institut voor de Arbeidl1), instituto interdisciplinario fundado y administrado conjuntamente por la Universidad Católica de Lovaina2 y el movimiento obrero cristiano en Flandes, para estudiar todas las cuestiones de interés para este último. Representantes de este movimiento ocupan puestos ministeriales tales como la enseñanza, empleo y trabajo, emancipación social, familia y bienestar, medio ambiente... Nuestro instituto funciona sobre la base de contratos de investigación, no solamente con oficinas ministeriales o con el propio movimiento obrero, sino con diversas asociaciones, empresas, fondos de investigación, instituciones europeas. Los estudios desarrollados están casi siempre en relación directa con la preparación o la evaluación de políticas. No es difícil, para un aliado de ATD Cuarto Mundo, sentirse cómodo dentro de un medio semejante: por un lado, el movimiento obrero siempre ha sido promotor de la democracia y de los derechos de los grupos desfavorecidos, y por otro, es nuestra tarea ayudar a este movimiento a encontrar sus raíces entre aquellos que viven la condición que le hizo nacer. Va de suyo que el movimiento obrero también excluye, como toda organización; hay ciertos conflictos de interés entre asalariados y desempleados, entre aquéllos que contribuyen a la seguridad social y los que dependen de ella, entre el alumno medio y el más marginado de la escuela... pero al menos, el diálogo sigue siendo posible y la preocupación por la solidaridad es real. Se trata de afinar la mirada, de recordar lo esencial de la lucha obrera. En efecto, ATD Cuarto Mundo nos enseña a hacer una lectura crítica de toda medida política a partir de la vivencia de las familias más pobres. Esta actitud puede eventualmente llevarnos a criticar medidas que al principio tuvieron por objetivo una mayor igualdad. Así, por ejemplo, fuimos recientemente invitados a comentar un proyecto del Ejecutivo flamenco destinado a combatir los abusos de ciertas categorías de trabajadores independientes en el sistema de subsidios educativos. Ya que los ingresos fiscales de los trabajadores independientes suelen subestimarse, se aprovechan de las ventajas sociales que son otorgadas sobre la base de un ingreso fiscal, como los subsidios educativos. El Ejecutivo tiene previsto excluir del beneficio a aquellos que tienen una renta catastral3 superior al 20% del ingreso fiscal porque ello puede indicar cierta riqueza camuflada. La confrontación de esta medida, en principio igualitaria, con la vivencia de las familias más pobres, nos revela sin embargo los peligros subyacentes. En efecto, para las familias más pobres también hay una desproporción entre el * 1 2 3
Traducción libre de J.M. Ramírez. Instituto Superior del Trabajo. Bélgica. N. del T. La renta catastral es el ingreso atribuido a la vivienda de una familia, en función del tamaño de esa vivienda.
1
ingreso fiscal muy débil, casi inexistente, y el ingreso catastral modesto, pero desproporcionado. En el último momento, la proposición fue modificada para proteger al menos a ciertos grupos de los más desfavorecidos (beneficiarios de programas sociales, estudiantes aislados...) contra las consecuencias de esta medida. La evaluación de toda política a partir de los más excluidos, incluso si a primera vista no les afecta, sería idealmente un reflejo, una preocupación constante. Esto nos obliga a participar plenamente en todos los debates de la sociedad, no solamente en aquellos relativos a la distribución del ingreso o al empleo. En esa perspectiva, el movimiento obrero nos sirve de ejemplo al interesarse tanto en las relaciones mundiales y en la política científica como en el estatus de los profesores. ¿Cuáles son las cuestiones clave de un estudio de evaluación en un campo cualquiera de la política económica y social? Al revisarlos, nos percatamos que corresponden en buena medida a los criterios planteados en el Informe Wresinski4. Alcanzar a los más desprotegidos En primer lugar, está desde luego el alcance de las medidas, la prioridad que ellas dan a los más desfavorecidos: ¿alcanzan a los individuos o familias más desfavorecidos, más marginados? Un perfil socioeconómico de los grupos concernidos (compuesto a partir de las categorías socioprofesionales inferiores, situación familiar, tasa de desempleo entre los participantes, distribución según los niveles de escolaridad...) constituye el método "clásico" para demostrar en qué medida los grupos desfavorecidos toman parte de las ventajas; se trata para nosotros de afinar los criterios (por ejemplo, proporción de familias que viven con el minimex5, número de familias disueltas, porcentaje de fracaso escolar o de analfabetismo, tasa de deserción escolar...) para adivinar si los más pobres, también, toman parte del beneficio. La mayoría de las veces estos indicadores ni siquiera están disponibles, lo que requiere de esfuerzos suplementarios para construirlos. Hace falta también distinguir "acceso" y "garantía": comparando el perfil y el número de participantes con los del grupo de referencia, uno se percata a veces de que una medida puede estar selectivamente orientada hacia los grupos más desfavorecidos, sin estar realmente garantizada. Pudimos constatar hace varios años, con sorpresa, que 25% de los derechohabientes a los subsidios educativos en la enseñanza secundaria de Flandes no reclamaban sus derechos: en particular las familias con padres menos educados, situados más bajo en la escala social y de ingresos. En otros casos, uno descubre mecanismos administrativos muy sutiles que excluyen a los pobres, en la práctica, de los servicios públicos: así, si los desempleados no indemnizados tienen desde hace varios años el derecho a participar en todas las medidas de reinserción, en la práctica son tácitamente borrados de los registros de solicitantes de empleo después de tres meses, simplemente porque la agencia de empleo teme que las estadísticas sean alteradas por los clientes "de segundo rango", que encuentran empleo sin avisar. El resultado es que, sin saberlo, los derechohabientes son excluidos de los servicios de mediación y de capacitación al tiempo que son obligados a inscribirse como solicitantes de empleo para, por ejemplo, 4 Informe presentado por el fundador del Movimiento ATD Cuarto Mundo, Joseph Wresinski, ante el Consejo económico y social de Francia en febrero de 1987. Se titulaba "Pobreza extrema y precariedad económica y social" [Grande pauvreté et précarieté économique et sociale]. N. del T. 5 Subsidio entregado en Bélgica a las personas que no tienen o tienen pocos recursos.
2
obtener el ingreso mínimo garantizado. Se trata entonces de hallar soluciones, administrativas y de otro tipo, para que medidas semejantes no continúen siendo letra muerta para quienes más deberían aprovecharlas. A veces la falta de participación de los más pobres es más difícil de entender: no se trata necesariamente de medidas discriminatorias o barreras administrativas por cruzar. ¿Cómo explicar, por ejemplo, la escasa participación de quienes llevan mucho tiempo desempleados (incluso los indemnizados), en los programas de capacitación que a ellos se destinan? Aunque las encuestas muestran su deseo por capacitarse (70 a 80% declaran querer participar), hay un comportamiento aparentemente contradictorio. Algunos son llevados entonces a creer que esas personas no están realmente disponibles para el mercado de trabajo, y a impulsar sanciones masivas. Satisfacer sus necesidades Pero más allá de la cuestión de la (no) participación está la de hasta qué punto los proyectos se ajustan realmente a sus necesidades, a sus aspiraciones. Esta pregunta no puede ser contestada por simples estadísticas o cuestionarios: un diálogo en profundidad con los grupos destinatarios es necesario para comprender (y esto aplica más para los desfavorecidos, tan desconocidos todavía, que para otros grupos). Sin ello, los investigadores y los políticos corren el riesgo de sustituir las motivaciones de los grupos destinatarios por sus propios prejuicios. En el caso de la capacitación para quienes han estado desempleados por mucho tiempo, “nosotros” pensamos que la oferta de formación se ajusta lógicamente a sus necesidades; “nosotros” sabemos que las formaciones en ciertos sectores en crecimiento tienen probabilidad de conducir a puestos de trabajo; "nosotros" concluimos que quienes no aprovechan las oportunidades creadas deben ser ineptos para el empleo, que los que abandonan la formación no están suficientemente motivados o no son lo suficientemente inteligentes... Los pocos estudios basados en entrevistas en profundidad revelan que después de un cierto número de decepciones, el miedo al fracaso puede realmente paralizar a un desempleado, que una capacitación sin acompañamiento intensivo, e incluso una capacitación sin garantía de empleo, representa para él un riesgo considerable. Sin entender las aspiraciones y motivaciones profundas de los participantes una política bien intencionada puede fracasar o incluso volverse contra ellos. En Bélgica, por ejemplo, hay medidas específicas previstas para la categoría de los "ineptos para el trabajo", cuando lo que quizás necesitarían sería un apoyo activo para encontrar empleo -aunque sea temporal- y su orgullo de trabajadores. Inevitablemente, el diálogo con las familias nos enseña también a considerar su situación general: las medidas de reintegración deben contener elementos de formación, un componente de trabajo, un ingreso estable y adecuado, perspectivas de futuro, apoyo familiar, guarderías para los niños... Esta lógica de acción contrasta a veces con la lógica administrativa de la autoridad que subvenciona y controla las acciones. Y así, el Fondo Social Europeo, como co-financiador de los programas nacionales destinados a la reintegración de quienes han estado mucho tiempo desempleados, se centró primordialmente en la capacitación formal y en apoyos económicos para la contratación: la ayuda individual a los desempleados, la guardería, los clubes de trabajo... ¿son excluidos del cofinanciamiento por ser muy difíciles de controlar?
3
El término "asociación" no está en realidad ausente en las políticas sociales modernas: hay asociación entre Europa y los Estados nacionales, entre gobiernos nacionales, regionales y locales, entre escuela y empresa, entre servicios sociales... la asociación con las familias o los jóvenes, por el contrario, está lejos de ser presupuesta. Ello vale también para la investigación: muy pocos investigadores aplican la "investigación participativa" como método de trabajo en sus evaluaciones, ya sea porque se sienten incómodos bajo el ojo crítico de los representantes del grupo-objetivo, o porque hay barreras administrativas o limitaciones de tiempo que les impiden hacer consultas profundas. Creo que las Universidades Populares del Cuarto Mundo6 pueden jugar un rol muy importante en ese nivel. Una experiencia concreta en ese sentido fue para mí la elaboración de un cuestionario sobre la percepción y la participación de las familias del Cuarto Mundo en las decisiones de los servicios de protección de la juventud. En un grupo local de la Universidad popular en Lovaina, las familias habían compartido durante seis meses sus experiencias y sus conocimientos, de donde nació la idea de interrogar a todos los participantes de la Universidad Popular de Flandes. Juntos, escribimos y probamos el cuestionario, que finalmente no fue aplicado solamente a las familias del Movimiento, sino también a un número de familias desconocidas por la intervención de diversas asociaciones. Dada la falta de tiempo entre los aliados, nuestro instituto obtuvo un crédito de investigación para pulir el cuestionario y escribir un informe, que será dado a conocer en breve a las familias para que saquen conclusiones. Creo que un investigador difícilmente puede condenar la falta de asociación en las iniciativas de sus patrocinadores, si él no practica la asociación en su propio nivel... ¿La efectividad vista por quién? El concepto "evaluación" evoca necesariamente el de efectividad: se trata de demostrar en qué medida las intervenciones conducen a los resultados esperados. ¿Esperados por quién? Es claro que los objetivos de los decisores no coinciden necesariamente con los de los destinatarios. En la evaluación de la capacitación profesional, por ejemplo, los poderes organizadores utilizan la tasa de colocación laboral como criterio por excelencia para juzgar el éxito de los programas ofrecidos. Desde luego que esas tasas de colocación son importantes, pero también es importante saber si los becarios han progresado en cuanto a sus habilidades sociales, su confianza en sí mismos, y si finalmente se diseñan un proyecto de vida. A largo plazo, esos efectos podrían traducirse en una situación laboral más estable... La diferencia de criterios conduce a veces a las autoridades a dejar de subvencionar pre-capacitaciones que invierten más en la formación general, o en el acompañamiento social, pero que carecen de resultados a corto plazo en cuanto al empleo. Asimismo, se han criticado proyectos destinados a los jóvenes porque estaban centrados en la artesanía más que en cualificaciones demandadas en el mercado de trabajo, cuando es probable que el desarrollo de los jóvenes fuera más beneficiado por la actividad 6 Las Universidades Populares del Cuarto Mundo, creadas en 1972, son espacios de diálogo y de formación recíproca entre personas que viven en la precariedad y personas que no viven esa situación, pero desean aprender a luchar contra la miseria junto con quienes la viven. Cf. "Las Universidades Populares Cuarto Mundo", Movimiento internacional ATD Cuarto Mundo. En: <http://www.movimiento-cuartomundo.org/Las-Universidades-populares-Cuarto.html?>
4
artesanal. Me parece importante, por ello, centrar toda la evaluación en los efectos a largo plazo de las medidas estudiadas: una empresa sin duda más costosa y arriesgada. La investigación-evaluación como se aborda aquí, está muy alejada de la imagen que se tiene habitualmente de la investigación científica y que corresponde más bien al segmento de la investigación básica en ciencias exactas: nuestra investigación no es carece de objetivos prácticos ni es puramente descriptiva, es siempre normativa, siempre "aplicada", en el sentido de orientada a la transformación de la sociedad. Se considera científica porque es independiente, crítica y fundada en los métodos y los paradigmas de las ciencias sociales actuales. Pero su carácter normativo implica siempre juicios de valor que no pueden ser calificados en ningún caso de "objetivos" o neutros. ¿Quién determina finalmente los objetivos de una política, que se traducen aquí en criterios de evaluación? No es deseable que sea únicamente quien la ordena, que tiende a seguir una lógica presupuestaria y a corto plazo, y que está, como todos, encerrado en sus propios prejuicios; un diálogo intenso entre éstos y las familias en extrema pobreza no puede sino traer beneficios para todos.
Sobre el autor Ides Nicaise, nacido en 1955, casado y con cuatro hijos, hizo estudios en economía. En ese entonces, investigador del Hoger Institut voor de Arbeid (HIVA) de la Katholieke Universiteit Leuven (Bélgica), con la responsabilidad del sector "Enseñanza, educación para adultos y pobreza". Desde 1976, junto con su esposa que es trabajadora social, es aliado del Movimiento ATD Cuarto Mundo. Fuente NICAISE, Ides. "Réflexions sur l'évaluation des politiques", Revue Quart Monde no. 141 -Évaluer avec le Quart Monde-, Institut de Recherche et de Formation aux Relations Humaines, Éditions Quart Monde, Francia, octubre-diciembre 1991, pp. 18-22. Reproducido por la Asociación mexicana ATD Cuarto Mundo. Serie 'Materiales de formación', México D.F., marzo 2011.
5