Guía para la evaluación de impacto en Centros de Formación Profesional Lucía Galarreta Bolia Nicolás Garofalo FORMACIÓN PROFESIONAL
Guía para la evaluación de impacto en los
Centros de Formación Profesional
SERIE FORMACIÓN PROFESIONAL Departamento de Tecnología, Innovación y Calidad en Formación Profesional - UMET
Guía para la evaluación de impacto en los Centros de Formación Profesional Lucía Galarreta Bolia Nicolás Garofalo
UNIVERSIDAD METROPOLITANA PARA LA EDUCACIÓN Y EL TRABAJO Rector Nicolás Trotta Secretaria Académica Laura Sirotzky Secretaria de Investigación y Desarrollo Cecilia Cross DEPARTAMENTO DE TECNOLOGÍA, INNOVACIÓN Y CALIDAD EN FORMACIÓN PROFESIONAL
Director Gustavo Álvarez Coordinación Área de Investigación Raquel Cosentino
RED INTERNACIONAL DE EDUCACIÓN PARA EL TRABAJO Presidente Víctor Santa María Director ejecutivo Gustavo Álvarez Coordinación Área Evaluación, Seguimiento e Impacto Institucional Lucía Galarreta Bolia SERIE DE CUADERNILLOS PARA LA FORMACIÓN PROFESIONAL Director Gustavo Álvarez Coordinación Raquel Cosentino
Diseño: Verónica Feinmann • Lucila Scibona Corrección: Lucila Scibona para Marca de agua © UMET, 2016 Editorial Universidad Metropolitana para la Educación y el Trabajo (UMET) Sarmiento 2037 • C1044AAE • Buenos Aires, Argentina Impreso en Argentina. Queda hecho el depósito que prevé la Ley 11723. Todos los derechos reservados. Ninguna parte de esta publicación puede ser reproducida sin permiso escrito del editor.
ÍNDICE
9 Presentación 11 Prólogo 13 Introducción 15 1. La evaluación de impacto y su planificación 15 1.1. Definición 16 1.2. Decisiones metodológicas 17 1.3. Planificación de la evaluación de impacto 18 1.4. Definición de unidad de análisis, variables e indicadores 18 1.4.1. Variables 19 1.4.2. Indicadores 20 1.5. El universo y la muestra 20 1.6. Instrumentos para realizar el relevamiento 24 2. Implementación del relevamiento 24 2.1. Línea de base 25 2.2. Equipo encargado de realizar el relevamiento 25 2.3. Cronograma 26 2.4. Actividades y recursos
27 3. Uso de la información 27 3.1. Organización de datos 29 3.2. Análisis de datos 30 3.3. Elaboración de informes 31 3.4. Difusión de resultados 31 4. Cultura organizacional 32 5. Reflexiones finales 35 Anexo 1. Encuestas 35 Cuestionarios autoadministrados 43 Anexo 2. Entrevistas 43 Recomendaciones antes de realizar la entrevista 44 Recomendaciones al realizar la entrevista 83 Bibliografía
PRESENTACIÓN
El Departamento de Tecnología, Innovación y Calidad en Formación Profesional de la Universidad Metropolitana para la Educación y el Trabajo (UMET), en colaboración con diferentes instituciones y organismos, ha confeccionado una serie de cuadernillos (Serie Formación Profesional) con el fin de contribuir al mejoramiento continuo de la calidad de la formación profesional. La creación de la misma responde al interés definido en brindar una herramienta útil para los directores, docentes y personal administrativo de los Centros de Formación Profesional (en adelante, CFP). Dicho objetivo se traduce en la confección de instrumentos que permitan (re) pensar las lógicas institucionales de gestión y las relaciones inherentes a las mismas, así como revisar los mecanismos internos de vinculación con la comunidad educativa y productiva de nivel local. Buscamos reconocer, fortalecer y sistematizar las acciones llevadas a cabo por cada CFP de cara a una mejora de la gestión ins-
L. Galarreta Bolia - N. Garofalo
| 9
titucional, entendiéndola como fundamental para lograr calidad educativa, a partir de un trabajo conjunto y buscando avanzar en un desarrollo homogéneo de nuestras instituciones. Es así que revalidamos las decisiones y el trabajo de los equipos de cada CFP, porque comprendemos los permanentes desafíos a los que se enfrentan y la multiplicidad de demandas y necesidades a los cuales brindan respuestas diariamente. La serie rescata tanto la información como la comprensión y el análisis de procesos institucionales, que resultan útiles como guía de consulta, de autoformación e incluso para aplicarse en actividades de formación y/o evaluación de acuerdo a las necesidades organizacionales. Entendemos que no son cuadernillos cerrados; se encontrará en la apropiación efectuada por cada actor participante su grado de potencialidad, ya que sabemos que son una guía que fundamentalmente debe servir para el mejoramiento de la gestión institucional, siempre y cuando cada actor interviniente pueda aportarle un valor agregado desde su experiencia concreta. En esta oportunidad, como parte de la Serie, presentamos una propuesta para la implementación de estrategias de orientación educativa y laboral en CFP denominada “Guía para la evaluación de impacto en los Centros de Formación Profesional”. La misma pretende brindar herramientas de evaluación, con el objetivo de conocer resultados, efectos e impactos de las diferentes dimensiones que se abordan en los CFP. Para la realización del presente cuadernillo, se ha trabajado conjuntamente con la Red Internacional para la Educación y el Trabajo (RIET), cuya visión es la institucionalización de espacios que promuevan y fortalezcan la educación para el trabajo.
10 | Guía para la evaluación de impacto en los Centros de Formación Profesional
PRÓLOGO
En un mundo marcado por un contexto de complejidad y permanentes transformaciones, pensar en establecer estrategias efectivas para la inclusión educativa y laboral –en el marco de ofrecer una educación de calidad y la defensa de un trabajo digno– implica repensar el rol de los Centros de Formación Profesional (CFP). Ciertamente, los CFP –como instituciones educativas– están atravesados por esta coyuntura y recogen una multiplicidad de demandas que los ubica en un lugar protagónico para el logro de una buena vinculación entre educación y trabajo. A fin de responder satisfactoriamente a estos desafíos, resulta fundamental el fortalecimiento institucional de estos espacios: contar con CFP más flexibles, cercanos y permeables a los diferentes cambios y transformaciones que se producen en el contexto social y productivo en el cual están insertos. Para ello, la elaboración y sistematización de datos, y con ello la posterior elaboración de información, se tornan procesos vi-
L. Galarreta Bolia - N. Garofalo
| 11
tales para el sustento de los diferentes cursos de acción emprendidos. Los CFP suelen encontrar dificultades a la hora de relevar información que dé cuenta del camino laboral realizado por los participantes egresados de los cursos. Una vez que finalizan su formación, se pierde el rastro de su recorrido en el mundo del trabajo. Siempre que la institución dispone de alguna información sobre la opinión o el trayecto posterior al egreso de algunos de los participantes, esta llega de manera casual e informal. Generalmente, la obtención de este tipo de información por parte de los CFP se debe al “voluntarismo” de los instructores o, por ejemplo, al acercamiento de los egresados para la resolución de dudas que surjen en sus puestos de trabajo. Estas formas de recolección de información muestran una clara informalidad, en tanto los CFP recogen estas opiniones sin contar con una metodología de evaluación sólida que permita la sistematización y análisis riguroso de la información. Por todo esto, considerar la evaluación del impacto de la formación profesional como una de las dimensiones estratégicas de los CFP implica superar el marco de informalidad y voluntarismo, adentrándonos así en la construcción de una estructura sólida con procedimientos específicos. Víctor Santa María Presidente RIET Gustavo Álvarez Director Ejecutivo RIET Director Departamento de Tecnología, Innovación y Calidad en Formación Profesional, UMET
12 | Guía para la evaluación de impacto en los Centros de Formación Profesional
INTRODUCCIÓN
El objetivo de este trabajo es brindar conocimientos y herramientas de utilidad para todos aquellos Centros de Formación Profesional (CFP) que busquen trabajar la gestión de sus instituciones con mecanismos innovadores y acordes a los estándares internacionales de calidad. La evaluación de impacto de la Formación Profesional es una instancia fundamental para los CFP. Al evaluar cómo influye la formación profesional en las personas que por ella transitan, un CFP puede determinar si cumplió con los objetivos que se planteó como institución. La evaluación también es una herramienta para tomar medidas de ajuste y mejora de los procesos de gestión y de la formación en sí misma, además de un mecanismo de rendición de cuentas. Todo CFP tiene que estar en condiciones de dar cuenta de su gestión como una forma de transparentar sus acciones ante las poblaciones destinatarias de los servicios de formación así como ante la sociedad en general.
L. Galarreta Bolia - N. Garofalo
| 13
Las ideas fundamentales que recoge este cuadernillo son que las herramientas metodolรณgicas de evaluaciรณn de impacto ayudan a recabar informaciรณn relevante para la gestiรณn institucional, y la planificaciรณn y la formalizaciรณn de las actividades de un CFP son nodales, en tanto garantizan su sustentabilidad. En una primera parte, se abordarรกn cuestiones teรณricas que permitirรกn adquirir conocimientos relacionados a las temรกticas de evaluaciรณn. Luego, se desarrollarรกn contenidos prรกcticos que tienen como objetivo abordar las cuestiones y decisiones mรกs operativas de una estrategia de evaluaciรณn de impacto de la formaciรณn profesional. Por รบltimo, se incorporarรกn aspectos vinculados con la gestiรณn de la instituciรณn en relaciรณn a los resultados de la evaluaciรณn y su comunicaciรณn a nivel institucional.
14 | Guรญa para la evaluaciรณn de impacto en los Centros de Formaciรณn Profesional
1. La evaluación de impacto y su planificación 1.1. Definición
La evaluación de impacto se basa en el contraste entre la situación previa al dictado de la formación y lo ocurrido, una vez que la formación ha tenido lugar. Ese contraste indicará los cambios que se podrían atribuir a la intervención en cuestión. Además, este tipo de evaluación permite: • Analizar el contexto socioeconómico y político. • Identificar los actores involucrados y su peso específico en los resultados. • Conocer la articulación interinstitucional público-privada. • Evaluar costo y beneficio de las acciones de formación profesional. La evaluación de impacto de la formación en los CFP está relacionada con el relevamiento sistemático de datos vincula
L. Galarreta Bolia - N. Garofalo
| 15
dos a las acciones de formación realizadas. El objetivo es medir no solo la calidad de la capacitación impartida en los CFP, sino también cómo es llevada a la práctica en los puestos de trabajo y su influencia a mediano plazo en los resultados de la institución y el rediseño de acciones. Al realizar una evaluación de impacto, hay que tener en cuenta: • La relación de causalidad: se trata de conocer los cambios que se producen tras el dictado de un curso de Formación Profesional específico e identificar en qué medida son atribuibles a la formación. • La variedad de impactos: se busca analizar los efectos económicos –inserción laboral, mejoramiento del salario–, técnicos –adquisición de nuevos conocimientos– y socioculturales –mejoramiento en el nivel de vida– producidos en el sistema productivo y en la sociedad en general. 1.2. Decisiones metodológicas
Existen dos posibles enfoques para abordar las evaluaciones: el cuantitativo, relacionado con la medición numérica y el análisis estadístico, el cual busca en el objeto de análisis regularidades y/o generalizaciones que formen patrones de comportamiento estandarizados; y el enfoque cualitativo, que se relaciona con el relevamiento de datos sin medición numérica y que explora y busca entender contextos o puntos de vista de los actores sociales implicados en el mismo. Independientemente de la técnica que se elija para llevar adelante la evaluación de impacto, para diseñar el instrumento hay que guiarse por aquellas cuestiones que se eligen
16 | Guía para la evaluación de impacto en los Centros de Formación Profesional
evaluar, lo cual estará plasmado en los objetivos, variables e indicadores. 1.3. Planificación de la evaluación de impacto
Antes de iniciar cualquier tipo de relevamiento, es fundamental que el área de evaluación del CFP determine cuáles serán los objetivos a cumplir, ya que los objetivos generales y específicos brindarán un marco para delimitar los aspectos que se desean conocer. Los objetivos específicos deben derivar de los generales y tienen que relacionarse coherentemente entre sí. A modo de ejemplo pueden mencionarse: Objetivos generales: • Verificar la incidencia de los procesos de aprendizaje en la trayectoria formativa y en la inserción laboral de los egresados en un período de tiempo determinado. Objetivos específicos: • Obtener información sobre la inserción laboral de los egresados. • Indagar sobre la adecuación de los planes de estudio en relación con la demanda del mercado laboral. • Obtener información de las empresas que demandan trabajadores y organismos gubernamentales incluidos en las temáticas de empleo y formación. • Conocer la valoración de los cursos realizados por los alumnos. • Contribuir a la gestión institucional de los CFP en relación a la evaluación institucional y de impacto. Estos objetivos pueden ser ajustados según las necesidades y particularidades de cada CFP y de su población.
L. Galarreta Bolia - N. Garofalo
| 17
1.4. Definición de unidad de análisis, variables e indicadores
Luego de la definición de los objetivos, deben identificarse las unidades de análisis, que son los objetos de estudio que se examinan para describir o explicar diferencias y similitudes; pueden ser individuos, grupos u organizaciones sociales. En el caso de los CFP, la unidad de análisis está compuesta por los egresados y sus empleadores, quienes conforman la población o universo. Luego deben definirse ciertos elementos teóricos importantes que permitirán llevar adelante el relevamiento: las variables y los indicadores. 1.4.1. Variables
Como bien dice la palabra, la variable es un atributo que no es fijo, sino que cambia en su presencia, ausencia o magnitud (Abdala, 2004). Estos elementos, acordados desde el inicio del proceso evaluativo, ayudarán a describir las unidades de análisis. Algunos ejemplos de variables son las características sociodemográficas –edad, sexo, nivel escolar– o la situación laboral –actual o pasada– del participante de los cursos de los CFP. Es importante saber que, por su grado de abstracción, generalmente resulta muy complicado trabajar con estos elementos. Para volver más concretas y observables las variables, deberán crearse indicadores (de la primera variable). 1.4.2. Indicadores
Son los elementos que posibilitan la apreciación –directa o in-
18 | Guía para la evaluación de impacto en los Centros de Formación Profesional
directa– de una situación o de un concepto. Estas variables de menor nivel de abstracción son elementos susceptibles de ser operacionalizables, es decir, capaces de ser observables o medibles (Niremberg, Brawerman y Ruiz, 2003). A su vez, implican una comparación entre datos, lo que dará como resultado un valor x. A modo de ejemplo, en la columna de la izquierda de la Tabla 1 se puede ver una variable, con su indicador correspondiente. La tasa de desempleo comparará la cantidad de empleados con los desempleados, lo que permitirá obtener como resultado el porcentaje de desocupación. VARIABLE
INDICADOR
Situación frente al empleo
Tasa de desempleo
Tabla 1.
Aquí se pondrá atención en la elaboración de los indicadores de impacto. Estos elementos ayudan a identificar si hubo o no un cambio en la situación de los participantes una vez que la formación se llevó a cabo.
Variable: es un atributo de la unidad de análisis. Indicador: permite operacionalizar una variable.
1.5. El universo y la muestra
Según la Real Academia Española, se denomina “universo” al “conjunto de individuos o elementos cualesquiera en los cuales
L. Galarreta Bolia - N. Garofalo
| 19
se consideran una o más características que se someten a estudio estadístico”. En el caso de la evaluación de impacto de la Formación Profesional, el universo elegido será la totalidad de los egresados de un curso.
Se sugiere que si la totalidad de los egresados es mayor a 200, se proceda a seleccionar una muestra representativa de ese universo.
La muestra es un subgrupo de la población: pocas veces es posible medir todo el universo de participantes, por lo que suele seleccionarse un subconjunto del mismo (Abdala, 2004). Para que sea representativa, la muestra debe seleccionarse aleatoriamente del total de la población, en una proporción correcta.
Cuando no se busque relevar datos cuantitativos, la selección del grupo a investigar no se realiza aleatoriamente.
1.6. Instrumentos para realizar el relevamiento
La selección de herramientas para la evaluación debe tener en cuenta los objetivos, los recursos y el tiempo disponible recordando que no existe un modelo único ni en la teoría ni en la práctica de la evaluación (Abdala, 2004). Pueden relevarse las opiniones de los participantes de for-
20 | Guía para la evaluación de impacto en los Centros de Formación Profesional
ma presencial o telefónica, de manera individual o grupal, buscando tener información cuantificable o más profunda. Dichas posibilidades son válidas y pueden resultar complementarias en una investigación, dependiendo del equipo evaluador y lo que se busque relevar. Para la realización de esta actividad, es indispensable contar con una base actualizada de egresados que incluya datos de contacto, como el número de teléfono, la dirección postal, el e-mail, etc. Luego, deben elegirse las técnicas, que pueden ser cuantitativas o cualitativas. Cada una de ellas tiene fortalezas y debilidades, de allí también que convenga combinarlas en función del resultado que se busque. Instrumentos cuantitativos
La investigación cuantitativa ofrece la posibilidad de generalizar los resultados de manera más amplia y otorga control sobre los fenómenos. Dentro de este tipo de metodología, “la encuesta” se posiciona como la herramienta de relevamiento destacada. Estas se utilizan para medir las opiniones y tendencias de una población grande. Es posible que el cuestionario sea el instrumento más utilizado dentro de la investigación cuantitativa, ya que contiene un conjunto de preguntas que tiene por objetivo medir una o más variables. Estas preguntas pueden ser: * Preguntas cerradas Son aquellas que contienen opciones de respuestas previamente delimitadas. El encuestado puede y debe elegir solamente entre ellas. Su ventaja como técnica radica en que permite sistematizar fácilmente la información (Hernández Samperi, 2006).
L. Galarreta Bolia - N. Garofalo
| 21
Por ejemplo: ¿Se encuentra trabajando en la actualidad? (Marque con una x la respuesta correcta.)
� Sí � No
Su desventaja es que limita la posibilidad de profundizar la respuesta del encuestado. Ninguna de sus opciones permite describir la valoración de la persona acerca del tema en cuestión.
* Preguntas abiertas En este tipo de instrumentos, las opciones de respuesta no están previamente delimitadas, sino que el número de respuestas es infinito y puede variar de población en población. Un ejemplo de este tipo de preguntas puede ser: ¿Cuáles son los factores que cree que lo ayudaron a encontrar un empleo? ____________________________________________________________ ____________________________________________________________
En este tipo de encuestas, el informante tiene la posibilidad de explayarse para elaborar su respuesta. El riesgo es que se desvíe de los objetivos planteados, por lo que se sugiere ser muy específico a la hora de formular la pregunta (MTEySS, 2008). Su principal ventaja radica en la amplitud que ofrecen para
22 | Guía para la evaluación de impacto en los Centros de Formación Profesional
responder y en la posibilidad de profundizar y conocer la valoración de las personas.
Su desventaja es el trabajo que implica codificarlas, clasificarlas y prepararlas para el análisis. De todas formas, la posibilidad de profundizar en algunos temas es limitada.
Instrumentos cualitativos
A diferencia de las técnicas cuantitativas, la investigación cualitativa recoge los discursos de los sujetos, los que luego se interpretan para buscar posibles relaciones de significado. Este tipo de investigación está orientada a la exploración y al entendimiento, proporciona profundidad a los datos, riqueza interpretativa, contextualización del entorno y detalles y experiencias únicas. Dentro de esta metodología, la entrevista se erige como una de las herramientas de relevamiento más utilizadas. En este sentido, las pautas para la elaboración de entrevistas pueden adoptar varias formas: • Entrevista conversacional informal/abierta: las preguntas surgen y se desarrollan durante la interacción en el contexto con el entrevistado. No existe una selección de temas previa al encuentro. • Entrevista semi-estructurada: existe una selección previa de temas a trabajar en la entrevista. Sin embargo, durante el encuentro, el entrevistador tiene libertad para ordenar y formular preguntas.
L. Galarreta Bolia - N. Garofalo
| 23
• Entrevista estandarizada abierta/estructurada: para el desarrollo de este tipo de entrevista, se buscan respuestas libres, utilizando preguntas ordenadas y redactadas de igual forma para toda la población entrevistada. Todas las cuestiones descriptas anteriormente forman parte de un conjunto de decisiones que deberán quedar expresadas dentro del proyecto bajo el título “Metodología de relevamiento”.
En esta etapa son importantes: • Los objetivos (generales y específicos). • Las variables y los indicadores. • La muestra. • Los instrumentos para realizar el relevamiento.
2. Implementación del relevamiento 2.1. Línea de base
Para lograr resultados óptimos a la hora de la evaluación, es conveniente tener información de los participantes de los cursos con anterioridad a que transiten su experiencia formativa. Esta información se denomina “línea de base” y permite comparar, una vez finalizada la formación, los cambios operados en los egresados.
Se sugiere realizar las mismas preguntas a los ingresantes y a los egresados una vez finalizada la capacitación.
24 | Guía para la evaluación de impacto en los Centros de Formación Profesional
2.2. Equipo encargado de realizar el relevamiento
Con anterioridad a iniciar el relevamiento, deben identificarse los perfiles de cada participante del equipo y luego designar a los responsables directos que recogerán la información. Posteriormente, se necesita prever un proceso de capacitación del personal que realizará esta actividad. No solo deben identificarse los perfiles y personas que recogerán la información, sino también especificar aquellas responsables de procesar los datos y las que realizarán el análisis y producirán los informes finales. 2.3. Cronograma
Luego de identificar quiénes formarán parte del equipo de evaluación, se necesitará definir los plazos en los que se desarrollará la evaluación.
Resulta improductivo dejar pasar excesivo tiempo luego del egreso de los participantes de los cursos de CFP, ya que la valoración que estos hagan de su experiencia en los cursos puede ser contaminada por otras experiencias o circunstancias.
Se recomienda realizar el relevamiento dentro de los tres a seis meses de finalizado el curso. 2.4. Actividades y recursos
Es necesario diseñar una estructura de evaluación que también especifique las actividades y los recursos requeridos para su ejecución.
L. Galarreta Bolia - N. Garofalo
| 25
Desarrollar una matriz de actividades permite visualizar y organizar las diferentes tareas a desarrollar en cada etapa, conociendo los recursos utilizados, los encargados de llevar adelante el relevamiento de los datos y las fechas establecidas para cada actividad. Asimismo, es una buena fuente de control y gestión de los procesos internos, identificando no solo objetivos, actividades y resultados esperados, sino también a las personas implicadas en cada uno de los procesos, sus funciones y responsabilidades.
OBJETIVOS
ACTIVIDADES
ENCARGADO
RECURSOS
Realizar un relevamiento a egresados.
Equipo de evaluación de impacto.
Base de datos de egresados, encuesta N° 1, oficina con línea telefónica disponible.
Conocer Realizar un la incidencia relevamiento a empleadores. de la formación Evaluación brindada. de Organizar impacto los datos relevados.
Mejorar la propuesta formativa según los datos obtenidos.
Equipo de evaluación de impacto.
Base de datos de empresas/ empleadores, encuesta N° 2, oficina con línea telefónica disponible.
Matriz de codificación.
Realizar un informe final.
Equipo de evaluación de impacto.
Procesamiento de las encuestas.
Realizar ajustes institucionales acorde a los resultados obtenidos.
Directivos Docentes Equipo de evaluación.
Libro de actas.
FECHAS
26 | Guía para la evaluación de impacto en los Centros de Formación Profesional
En resumen, deben definirse: • Los perfiles del equipo responsable de la evaluación. • Un cronograma de trabajo para cada etapa del relevamiento. • La matriz de actividades. • Los recursos a utilizar.
3. Uso de la información
Una vez realizado el relevamiento, deben procesarse los datos recolectados y realizar la difusión de los resultados y los ajustes institucionales correspondientes. Las cuatro etapas a seguir, complementarias y correlativas entre sí, son las siguientes: • Organización de datos. • Análisis de datos. • Elaboración de informes. • Difusión de resultados. 3.1. Organización de datos
Este procedimiento difiere según se trate de investigaciones cuantitativas o cualitativas. En el caso de trabajar con investigaciones cuantitativas, se debe proceder a la codificación, tabulación y tratamiento estadístico.
L. Galarreta Bolia - N. Garofalo
| 27
La codificación es el procedimiento por el cual se le asigna un código a las distintas respuestas posibles, lo que facilita el recuento de datos y su correspondiente tabulación. Esta tarea se realiza antes de recoger los datos.
Por ejemplo, se asigna el código 1 para mujeres y el 2 para hombres a la pregunta “sexo del participante”. La tabulación consiste en volcar los datos a una tabla y sirve para clasificarlos. Por ejemplo, se podría poner la información correspondiente a la inserción laboral de los egresados diferenciada por edad, sexo y nivel educativo alcanzado. El procedimiento estadístico permite establecer relaciones entre las variables que se han indagado, observar su distribución de acuerdo a las características de la población, al curso realizado y establecer comparaciones. Por ejemplo, sobre la base de la tabla construida durante el proceso de tabulación, podrían compararse los porcentajes de empleados y desempleados en relación con la edad, el género y el nivel educativo.
SEXO: MASC 1 FEM 2
EDAD
NIVEL EDUCATIVO ALCANZADO: PRIMARIO COMPLETO 1 SECUNDARIO COMPLETO 2 UNIVERSITARIO COMPLETO 3
SITUACIÓN LABORAL: EMPLEADO 1 DESEMPLEADO 2
Caso 1
1
22
2
1
Caso 2
2
18
1
1
Caso 3
2
45
1
2
Caso 4
1
33
2
2
Caso 5 Caso 6 Caso 7 Caso 8 Caso 9
28 | Guía para la evaluación de impacto en los Centros de Formación Profesional
En el caso de tratarse de una investigación cualitativa, hay que recordar que se está relevando el significado que le atribuyen los mismos actores a las cuestiones objeto de estudio. La tarea comienza entonces con la organización de los registros y el análisis. Amabas acciones se producen simultáneamente. El ordenamiento debe realizarse con sistematicidad, permitiendo establecer un orden coherente. El objetivo es descubrir ciertas descripciones, regularidades que aparecen expresadas en las palabras de los entrevistados para alcanzar una comprensión globalizadora de la situación. 3.2. Análisis de datos
En este caso, el trabajo tiene como objetivo la búsqueda de significado de las relaciones que existen entre los datos. Se trata de dar respuesta a los interrogantes que se plantean durante el proceso de investigación. Las observaciones podrían compararse sobre las entrevistas que se organizaron en el paso anterior, y a partir de las opiniones de los empleadores, interpretarlas, atribuirles un significado más amplio que permita profundizar la comprensión acerca de la aplicabilidad y el aprovechamiento de la formación en el sector productivo. También puede realizarse una comparación entre la línea de base y los resultados obtenidos. Las cuestiones a tener en cuenta en este punto se relacionan con la validez de los análisis que se desarrollen, los cuales no solo tienen que buscar la imparcialidad y la ética en su desarrollo, sino que también deben tener en cuenta la confiabilidad, comprensión y utilidad de cara a su fin último: ser insumo para la toma de futuras decisiones.
L. Galarreta Bolia - N. Garofalo
| 29
3.3. Elaboración de informes
Con posterioridad al análisis de datos, hay que elaborar el informe, el cual debe expresar las conclusiones a las que se han llegado. Esta instancia reviste especial importancia, dado que, a partir de su concreción, podrán utilizarlas para la toma de decisiones futuras acerca de los cursos y la forma en que se los aborda. Por lo tanto, debe ser sustantivo y sintetizar los resultados del relevamiento de egresados que se ha desarrollado. Este informe está constituido por dos instancias sustanciales: • Datos e información. • Su análisis. Durante el desarrollo del informe, podrán utilizarse textos, cuadros y gráficos como apoyo. Es preciso tener muy en cuenta las formas y el lenguaje en el que se desarrolla la información; evitar el lenguaje técnico –aquel que solo es entendido por los especialistas– es una de las condiciones fundamentales a la hora de la redacción. Hay que pensar que los usuarios de estos informes no son –ni deben ser– solo los expertos en evaluación de impacto: el material elaborado debe contener elementos de lectura sencillos, dinámicos, donde el personal encargado de gestionar los CFP pueda hacerse de conclusiones que ayuden a tomar decisiones.
Hacer un informe requiere analizar la información, destacar las relaciones causales encontradas, determinar posibles cursos de acción y brindar recomendaciones. No es una mera exposición de resultados y datos.
30 | Guía para la evaluación de impacto en los Centros de Formación Profesional
3.4. Difusión de resultados
La difusión del informe cierra el proceso evaluativo. Esta instancia es tan importante como las demás. Sin ella, el trabajo carece de valor y queda reducido al intercambio de puntos de vista entre los que realizaron el relevamiento sin tener influencia alguna sobre el acontecer de los CFP. La información cobra relevancia cuando es “considerada por los encargados de tomar decisiones, quienes la utilizan en pos de consolidar, ajustar o modificar las diversas acciones que se llevan adelante en los CFP”.
Usar los mecanismos de comunicación con los que cuenta la institución: • Página web. • Gacetillas. • Redes sociales. • Reuniones de personal. • Encuentros con la comunidad. • Medios de comunicación en general.
4. Cultura organizacional
Para poder evaluar las actividades llevadas a cabo en los puntos anteriores, es preciso trabajar en el desarrollo de un contexto organizacional que ubique los procesos de monitoreo y evaluación en un lugar central. Una mirada global del funcionamiento de un CFP pondrá de manifiesto la falta de institucionalización de estos procesos. Este tipo de prácticas no aparece en la tarea cotidiana de las organizaciones, lo que redunda en análisis difusos y fragmentados
L. Galarreta Bolia - N. Garofalo
| 31
que poco aportan al mejoramiento de los procesos y procedimientos internos. Es preciso resignificar los conceptos de monitoreo y evaluación en el marco de una cultura organizacional que no los posicione como instancias de control sobre las prácticas laborales; antes deben considerarse como instancias que posibilitan un aprendizaje en la elaboración de políticas públicas. Mientras no se reconsideren estas cuestiones, lo más probable es que la evaluación siga siendo una actividad marginal en lugar de un factor clave para la toma de decisiones. Por eso, es fundamental la voluntad de los directivos para crear una cultura institucional que perciba la evaluación como una oportunidad, como un área central e integrada a la estructura institucional que comunica, comparte y articula sus datos, colaborando así con la mejora continua de la organización.
Se trata de denerar estrategias para construir o fortalecer, dentro de la institución, el espacio propicio para que se desarrolle una cultura de evaluación interna, orgánica, que forme parte de la actividad cotidiana de los CFP.
5. Reflexiones finales
La consolidación y el desarrollo de procesos evaluativos sistemáticos, con foco en los procesos institucionales y en los alumnos egresados de los cursos, permiten el fortalecimiento de los CFP, lo cual redundará en mejorar las condiciones de empleabilidad de los egresados.
32 | Guía para la evaluación de impacto en los Centros de Formación Profesional
Realizar evaluaciones haciendo énfasis en los procesos institucionales permite conocer, de manera ordenada, cotidiana y metódica, las formas en las que se desarrollan cuestiones tales como: • El abordaje teórico: conocer los contenidos. • El abordaje pedagógico: saber cómo estos son llevados a la práctica por los docentes. • Desempeño docente: conocer sus fortalezas, obstáculos y desafíos. • Expectativas y opiniones de los participantes: identificar su valoración acerca de los cursos, sus contenidos y su adecuación tanto a sus necesidades como a los requerimientos laborales del contexto. De igual forma, evaluar las acciones que emprenden los egresados de los cursos permite tanto el análisis de su desempeño en el contexto productivo, como también la posibilidad de saber la contribución que ha realizado el CFP en: • Analizar la situación laboral de los egresados luego de la formación. • Evaluar el impacto de la formación de los sujetos egresados en relación a la inserción laboral. • Identificar los sectores productivos y sus demandas • Conocer las condiciones laborales en la que se insertan los egresados. De esta manera, la evaluación del impacto de la formación profesional permitirá:
L. Galarreta Bolia - N. Garofalo
| 33
• Potenciar los aspectos positivos de la gestión y de la formación en el CFP. • Valorar y emprender procesos de mejoras en aquellos aspectos donde el CFP detecte necesidades de realizar correcciones. • Visualizar nuevas oportunidades que le permitan al CFP mejorar la calidad de sus servicios. También cabe recordar el rol social de los CFP. Más allá de las mejoras en su gestión y de la empleabilidad de los egresados, los procesos de evaluación repercuten inevitablemente en el desarrollo social de su entorno. Generar calidad, tanto en la formación como en los procesos que la sustentan, produce más y mejores oportunidades laborales en lo particular, lo que se traduce en la integración y desarrollo de la sociedad en su conjunto.
34 | Guía para la evaluación de impacto en los Centros de Formación Profesional
ANEXO 1. ENCUESTAS
Cuestionarios autoadministrados
Los cuestionarios pueden ser autoadministrados o administrados por un encuestador –en forma personal o telefónica–. En el primer caso, pueden ser entregados personalmente o por correo electrónico. Estos mismos medios pueden ser también utilizados para su devolución. La encuesta autoadministrada brinda la posibilidad de que el sujeto, al estar en su ámbito y evitar el contacto cara a cara con el encuestador, pueda profundizar en aquellas preguntas de tipo más personales.
Desventajas: al estar ausente el encuestador, no se sabe a ciencia cierta si el que contesta es el sujeto al cual estaba dirigido el cuestionario (Hernández Sampieri, 2006).
L. Galarreta Bolia - N. Garofalo
| 35
Los encuestados no siempre comprenden e interpretan las preguntas del mismo modo (MTEySS, 2008), por lo que se recomienda que estos cuestionarios sean cortos y con preguntas claras. Estas cuestiones deben tenerse muy en cuenta, dado que el encuestado no tiene posibilidad de consultar, evacuar dudas ni ninguna otra posibilidad de feedback con el encuestador. Ejemplo: Encuesta dirigida a los egresados de los cursos de formación profesional Se trata de una encuesta para continuar el seguimiento de los egresados. Se puede realizar al otorgarse el certificado de acreditación del curso, para así garantizar que se haga de forma presencial. En los casos donde el certificado se demore, se recomienda realizarla de manera telefónica a los seis meses de terminado el curso.
Fecha de realización: ___/___/___ Nombre y apellido del encuestador: ________________________ Presentación: Estamos realizando una encuesta para conocer la situación laboral de los egresados de los cursos realizados en el CFP xxxxxxx. Para ello, le pedimos su colaboración respondiendo las preguntas que se le formularán a continuación.
36 | Guía para la evaluación de impacto en los Centros de Formación Profesional
A. DATOS PERSONALES A.1. Datos de contacto a) Apellido y nombre: _____________________________________ b) Edad: _________________________________________________ c) Teléfono celular: _______________________________________ d) Teléfono fijo: __________________________________________ e) E-mail: ________________________________________________ f) Dirección: _____________________________________________ g) Código postal: _________________________________________ h) Lugar de residencia: ___________ Localidad: ______________ A.2. ¿Recibe algún tipo de apoyo económico o beca por parte de organismos del Estado/organización social/organismo privado?
� Sí. ¿Cuál? ______________________________________________ � No ¿Se le exige alguna contraprestación?
� Sí. ¿Cuál?_______________________________________________ � No B. DATOS LABORALES B.1. ¿Trabaja actualmente?
� Sí (Pase a la pregunta B.7.) � No (Pase a la pregunta B.2.) B.2. ¿Está buscando trabajo?
� Sí (Pase a la pregunta B.3.) � No ¿Por qué? ___________________ (Pase a la pregunta B.15.)
L. Galarreta Bolia - N. Garofalo
| 37
B.3. ¿Cuánto tiempo hace que busca trabajo?
� Menos de 2 meses � De 2 a 6 meses � De 7 a 12 meses � De uno a dos años � Más de dos años. ¿Cuántos? ______________________________ B.4. ¿Cuáles son los motivos por los que considera que no encuentra trabajo? __________________________________________________________ __________________________________________________________ B.5. ¿Qué recursos utiliza para la búsqueda de empleo?
� Avisos publicados en diarios/internet. � Por recomendación de amigos, conocidos o contactos. � Bolsa de trabajo/oficina de empleo. � Presentación de CV en empresas vinculadas al sector. B.6. Indique tres condiciones prioritarias para aceptar un trabajo.
� Salario. � Beneficios sociales. � Horario. � Estabilidad. � Otras. Pase al punto C. B.7. ¿Cuántas horas trabaja por semana?
� Menos de 10 horas. � Entre 10 y 30 horas. � Más de 30 horas.
38 | Guía para la evaluación de impacto en los Centros de Formación Profesional
B.8. Remuneración percibida
� Entre $1.000 y $3.000 � Entre $3.001 y $6.000 � Más de $6.000 B.9. ¿Cuenta con vacaciones pagas?
� Sí � No B.10. ¿Tiene obra social?
� Sí � No B.11. ¿Está satisfecho con el trabajo actual?
� Sí ¿Por qué? ____________________________________________ � No ¿Por qué? ___________________________________________ B.12. ¿Cómo consiguió el trabajo actual?
� Por recomendación de amigos, conocidos o contactos. � Avisos publicados en diarios/internet. � Bolsa de trabajo/oficina de empleo. � Presentación de CV en empresas vinculadas al sector. B.13. ¿Qué productos o servicios brinda el establecimiento en el que trabaja? __________________________________________________________ __________________________________________________________ __________________________________________________________ __________________________________________________________
L. Galarreta Bolia - N. Garofalo
| 39
B.14. ¿Cuál es el nombre/puesto de su ocupación actual? (Refiere al puesto de trabajo/tarea que realiza y el área de trabajo.) __________________________________________________________ __________________________________________________________ B.15. ¿Hace cuánto tiempo que trabaja en este lugar? __________________________________________________________ __________________________________________________________ B.16. ¿Qué actividades realiza allí? __________________________________________________________ __________________________________________________________ B.17. ¿Cree que el curso realizado tuvo algún impacto en su nuevo puesto laboral?
� Sí. ¿Por qué? ___________________________________________ � No. ¿Por qué? __________________________________________ B.18. ¿Ha desarrollado algún emprendimiento laboral por su propia cuenta? Comente por favor sus características (tipo de actividad, a quiénes se dirige, si la realiza solo/a o incluye a más personas, si tiene relación o no con los cursos de Formación Profesional). __________________________________________________________ __________________________________________________________ __________________________________________________________ __________________________________________________________ __________________________________________________________ __________________________________________________________
40 | Guía para la evaluación de impacto en los Centros de Formación Profesional
C. CURSOS DE FORMACIÓN PROFESIONAL C.1. Pasados estos meses, ¿cree usted que las competencias profesionales que adquirió durante el curso de xxxx influyeron en su desempeño laboral posterior y/o lo modificaron? (Piense en su forma de trabajar, eficiencia, productividad, calidad del trabajo, etcétera.)
� Sí, influyeron positivamente. � No influyeron. � Influyeron negativamente. C.1.1. Especifique __________________________________________________________ __________________________________________________________ C.2. ¿El curso contribuyó a mejorar su situación laboral?
� Sí, totalmente. � Sí, pero parcialmente. � No, no contribuyó en nada. � No lo sé/no noté cambios. C.2.1. ¿Por qué? __________________________________________________________ __________________________________________________________ C.3. Usted sugeriría que al curso: Habría que agregarle: __________________________________________________________ __________________________________________________________
L. Galarreta Bolia - N. Garofalo
| 41
Habría que quitarle: __________________________________________________________ __________________________________________________________ C.4. ¿Recomendaría este curso a un/a amigo/a?
� Sí. ¿Por qué? ___________________________________________ � No. ¿Por qué? __________________________________________ C.5. ¿Hay algún otro comentario que desee realizar? __________________________________________________________ __________________________________________________________ __________________________________________________________ __________________________________________________________ __________________________________________________________ __________________________________________________________ __________________________________________________________ __________________________________________________________ __________________________________________________________ __________________________________________________________ __________________________________________________________ __________________________________________________________ __________________________________________________________ __________________________________________________________ __________________________________________________________ __________________________________________________________ __________________________________________________________ __________________________________________________________ __________________________________________________________ Muchas gracias por su atención.
42 | Guía para la evaluación de impacto en los Centros de Formación Profesional
ANEXO 2. ENTREVISTAS
Recomendaciones antes de realizar la entrevista
• Elegir a quién entrevistar. • Controlar que las pautas de preguntas sean adecuadas en función de la entrevista a realizar. • Presentar con claridad los objetivos de la entrevista y mostrar una permanente predisposición a aclarar las dudas que puedan surgir durante el proceso. • Contar con el tiempo suficiente para desarrollarla. La agenda debe programarse de manera tal que las entrevistas no se superpongan con otros compromisos. • Elegir un espacio privado y cómodo para su realización. En lo posible, deberá evitarse la presencia de terceros, situación que puede ser vivenciada por el entrevistado como un incremento del control sobre la información que está dando. • Evitar las situaciones que generen distracción (llamadas telefónicas, interrupciones, etcétera).
L. Galarreta Bolia - N. Garofalo
| 43
Recomendaciones al realizar la entrevista
• Es importante que el entrevistador maneje fluidamente el cuestionario, tratando de no imponer su valoración sobre las cuestiones a relevar. • No repreguntar de la misma manera, sino formular la pregunta de otro modo. • El entrevistador debe estar atento a las expresiones y gestos del entrevistado y a las cuestiones que lo vuelven más o menos participativo. • Es preciso que el entrevistador evite valoraciones que se relacionen con el género, la edad, los orígenes o la condición social del informante. • Para evitar que se transforme en una suma de anécdotas, un aspecto clave es la capacitación del personal asignado para realizar este trabajo. El entrevistador deberá orientar al entrevistado para que se logren respuestas en las temáticas a relevar.
44 | Guía para la evaluación de impacto en los Centros de Formación Profesional
BIBLIOGRAFÍA
Abdala, E., (2004) Manual para la evaluación de impacto en programas de formación para jóvenes. Montevideo: CINTERFOR. Babbie, E., (2000) Fundamentos de la investigación social. México: International Thompson Editores. Bamberger, M. y K. Tilmes, (2006) Realización de evaluaciones de impacto de calidad con limitaciones de presupuesto, tiempo e información. Washington, D. C.: Banco Mundial. Bonbright, D. y Keystone Accountability, (2012) Uso de los resultados de la evaluación de impacto. New York: The Rockefeller Fundation. Gertler, P. J.; S. Martínez; P. Premand; L. B. Rawlings y C. M. J. Vermeersch, (2011) La evaluación de impacto en la práctica. Washington, D. C.: Banco Mundial. González, L., (2000) La evaluación ex post o de impacto, un reto para la gestión de proyectos de cooperación internacional al desarrollo. Bilbao: HEGOA. Hernández Sampieri, R., (2006) Metodología de la investigación. Santa Fe: McGraw-Hill/Interamericana. Kirkpatrick, J., (2012) Evaluación de impacto de la formación. Barcelona: Fundació Factor Humà. Ministerio de Trabajo, Empleo y Seguridad Social, (2008) Evaluación y seguimiento de egresados. Buenos Aires: Dirección de Fortalecimiento Institucional.
L. Galarreta Bolia - N. Garofalo
| 45
Niremberg O.; J. Brawerman y V. Ruiz, (2003) Programación y Evaluación de Proyectos Sociales. Buenos Aires: Paidós. Red de Instituciones de Formación Profesional, (2011) Guía para la evaluación de impacto de la formación. Montevideo: OIT/CINTERFOR.
46 | Guía para la evaluación de impacto en los Centros de Formación Profesional
El Departamento de Tecnología, Innovación y Calidad en Formación Profesional de la UMET ha impulsado una publicación denominada “Serie Formación Profesional”, con el objetivo de contribuir al mejoramiento continuo de la calidad educativa en formación profesional. La gestión institucional y sus procesos son tomados aquí como elementos centrales para el estudio de la formación profesional y como punto de partida para el desarrollo y potencialidad de las instituciones, consideradas como espacios educativos fuertemente vinculados con el mundo del trabajo y con una fuerte incidencia en la empleabilidad de las personas. Partir de una sistematización de conocimientos y experiencias sobre los instrumentos y los mecanismos de gestión interna brinda el escenario posible para mejorar los procesos y la toma de decisiones hacia dentro, además de incidir en la agenda pública educativa y de lograr cada día mejores oportunidades para los trabajadores. Es por eso que la “Guía para la Evaluación de impacto en Centros de Formación Profesional” se presenta como una herramienta para todos aquellos Centros que quieran incorporar mecanismos de evaluación a su gestión institucional. La evaluación de la formación profesional se vuelve imprescindible cuando se pretende comprobar si los objetivos institucionales fueron cumplidos, así como si se busca mejorar los servicios de formación que brinda cada Centro. En tanto la calidad sea el concepto rector que atraviese las actividades que lleva adelante un Centro, la evaluación de impacto se configurará como una de las tecnologías de gestión a ser incorporada.