eVidenCias de la eFiCaCia FormatiVa de una instituCión de FormaCión VoCaCional
Cristóbal silva*
Introducción
la pregunta por la eficacia en la educación técnica es una pregunta sobre la capacidad de ésta para lograr los propósitos que definen dicha categoría. Dichos propósitos se desprenden de la función social que deba cumplir todo esfuerzo institucional en que ella se exprese. La tendencia a la diferenciación de los sistemas educativos modernos ha dado lugar a una institucionalidad educativa dedicada específicamente a proveer una formación habilitante para el mundo del trabajo. Esta particular orientación distingue la formación técnica –también llamada “vocacional”– de la formación general o propiamente académica.
La habilitación para el trabajo se traduce en bienes individuales y colectivos aportados por la experiencia educativa. Entre los primeros, la oportunidad que ofrece a sus destinatarios de ocupar una posición reconocible –mediante una profesión u oficio– en el contexto de una organización social y económica, de acceder a un mejor empleo, de desarrollarse en su ejercicio y, fruto de ello, en la mejora en sus condiciones de vida y en la capacidad de sostener una familia. Además, desde una perspectiva de interés público, lo anterior se traduce en movilidad social, con su consiguiente efecto integrador de la comunidad política. Por último, no se puede desconocer que la habilitación para el trabajo, en cuanto función productiva, es un proceso clave de formación del capital humano calificado que requiere la industria, condición ineludible para el desarrollo.
La pregunta sobre la eficacia puede responderse, luego, desde la consecución de objetivos muy concretos, presentes de algún modo en el proyecto educativo de toda institución dedicada a este tipo de formación: la inserción laboral de los egresados, su potencial de empleabilidad, su renta y su trayectoria laboral. Y desde la perspectiva de la industria, en la provisión de personal calificado que ésta requiere.
* Vicerrector académico del Instituto Profesional DuocUC. Chile. Contacto: csilva@duoc.cl
Es cierto que estas variables se explican por múltiples causas, no solamente por la experiencia formativa. En efecto, juegan aquí variables relacionadas con las condiciones generales de la economía, las oportunidades de empleo, el acceso a redes sociales, el entorno familiar de los educandos, entre muchas otras. Pero también sabemos que, tanto la empleabilidad como los ingresos, resultan fuertemente condicionados por los años de escolaridad, especialmente a partir los 14 años de estudios, esto es, desde los dos primeros años de la enseñanza postsecundaria, y se incrementa dramáticamente con cada año adicional de estudios. Lo que no podemos eludir, entonces, es el hecho que, entre todas estas condiciones, resulta determinante una experiencia educativa de calidad.
La eficacia es una pregunta esencial cuando hablamos de calidad de una institución educativa. En especial cuando ella es de índole vocacional o técnica. Lo dicho exige interrogarnos sobre el valor agregado de la experiencia educativa, en términos de su contribución a la empleabilidad de sus egresados. Toda experiencia educativa es un proceso de crecimiento, es decir, una progresiva transformación del educando en una cierta e intencionada dirección. El cambio que seamos capaces de lograr en el educando, en términos de sus capacidades laborales, sociales y culturales, estará reflejado en el diferencial entre sus expectativas laborales previas al ingreso y después del egreso. Y tal será nuestra medida de calidad. Cuanto más oportunidades de acceder al trabajo, cuanto mayor sea la retribución que alguien esté dispuesto a pagar por sus servicios, cuanto mejor la trayectoria laboral que alcance, mayor habrá sido la contribución de la experiencia formativa y, consecuentemente, la calidad de la entidad en que se formó. Nos dirá, en definitiva, qué tan efectiva resultó la formación recibida.
Fuentes de evidencia de la eficacia formativa
Pero nuestra pregunta no se satisface con una aproximación general. La clave es encontrar evidencias de esta contribución. ¿Cómo recoger información del crecimiento de nuestros alumnos en términos de empleabilidad? Una primera fuente de información la podemos encontrar observando el desempeño laboral de quienes han terminado un determinado nivel o tipo de formación.
Si observamos los datos del portal Futuro Laboral (www.futurolaboral.cl ), el instrumento de esfuerzo público más importante que aporta información sobre este tema, encontramos información agregada esencial para reconocer el desempeño laboral de los egresados de diversas categorías institucionales, modalidades y especialidades tanto profesionales como técnicas. Sin embargo, esta fuente presenta al menos dos dificultades. Por un lado, se trata de información muy agregada. Por otro, plantea un problema de oportunidad y pertinencia. Analizando la pauta metodológica que describe el estudio, encontramos que mide las cohortes de egreso
entre 1995 y 1997 primero, y de 2005 y 2006 después. Hablamos de personas que estudiaron entre fines de los 90 y principios de la década que concluye, es decir, más o menos 10 años atrás. Estudiar el efecto de la formación desde la trayectoria laboral de los egresados aporta evidencias significativas, pero presenta la misma dificultad que estudiar astronomía: vemos el universo que fue. En nuestro caso, se traduce en observar el comportamiento de egresados en currículos que ya no se imparten, o que se han actualizado con otras tecnologías, porque la industria ha evolucionado. Los datos que podamos obtener de ellos no reflejan necesariamente la realidad sobre la que debemos actuar hoy.
Necesitamos también aproximarnos a los resultados de la formación –o a su efectividad– de modo más cercano, de manera de reaccionar durante el desarrollo del proceso educativo, para hacerlo más pertinente y eficaz. Requerimos además información más desagregada, para identificar los agentes concretos que inciden en estos resultados.
En la búsqueda de información que dé cuenta del valor agregado por la formación ofrecida, un ejercicio útil es investigar los factores que determinan el valor laboral de un profesional o técnico y luego traducir esas categorías en objetivos formativos. En el mundo del trabajo, este valor se reconoce en su productividad en la empresa. La productividad potencial del postulante a un empleo será el criterio que prime en los procesos de reclutamiento, en la determinación de su remuneración, en la posición que pase a ocupar en la organización. La unidad de medida de esta capacidad, despejados otros factores exógenos, serán aquellos conocimientos, habilidades y actitudes que explican un desempeño óptimo, en una determinada función productiva. En una palabra: sus competencias. Tanto aquellas competencias genéricas o de empleabilidad que permiten acceder y movilizarse en el mundo del trabajo en general, como aquellas específicas o propiamente laborales, que se relacionan con la especialidad y el contexto particular en que se desempeñará.
Trasladando estas categorías a la organización educativa, podemos decir que la calidad de la formación de una institución se relaciona con la pertinencia y la relevancia de las competencias seleccionadas para el perfil de egreso al que se orientará cada plan de estudios. Y, luego, en su capacidad de diseñar itinerarios formativos eficientes y eficaces para transferir tales competencias. El currículo basado en competencias se ha instalado así como el modelo específico de la formación técnica o vocacional.
Consultas a los egresados
Siguiendo esta línea de razonamiento, y con sus limitaciones, la primera fuente de evidencias sobre la efectividad de la formación la encontramos en la percepción de los propios egresados. La consulta periódica a los egresados aporta información
especialmente relevante sobre su situación actual; si están trabajando, trabajan y/o estudian, cuánto se demoraron en encontrar trabajo, qué cargos desempeñaron, sus remuneraciones, proyecciones y expectativas, y también cómo fue su experiencia al estudiar en la institución. En términos concretos, nos darán cuenta de las competencias mejor o peor adquiridas, así como de su incidencia en el desempeño laboral.
En el siguiente gráfico, por ejemplo, podemos observar los resultados de una pregunta formulada en el proceso de consulta a los egresados de una institución de formación vocacional, que aporta evidencias concretas sobre el resultado de su formación.
Gráfico 1. Evaluación de preparación recibida en DuocUC
P. 18. ¿Cómo evalúa la preparación que recibió en DuocUC en los siguientes aspectos: (en una escala de 1 a 7, donde 1 es Pésimo y 7 es Excelente)?
Formación ética para el trabajo
Orientación al trabajo en equipo
Conocimientos y habilidades propias de su especialidad
de tecnologías computacionales
Base: porcentaje total entrevistados, N: 1327 * Todos los resultados están expresados en porcentaje.
Diferencias significativas al 95%
Fuente: Ipsos, Estudio Egresados DuocUC. Consolidado total carreras. Junio de 2009.
La formación ética para el trabajo resulta ser la competencia más destacada de los egresados; luego se encuentra la orientación al trabajo en equipo y los conocimientos y habilidades propios de la especialidad. En el caso de la capacidad de comunicación en inglés, si bien la apreciación es buena –sobre un 40% pone nota seis o siete–, en términos relativos muestra una cierta debilidad en relación con las expectativas de los propios egresados. Debemos trabajar en ello.
Esta medición la podemos desagregar por carreras, puesto que, cuando se observa en detalle, se pueden apreciar fortalezas y debilidades (gráfico 2). El problema de los grandes números es que ocultan diferencias importantes y la gestión de los procesos supone mirar la realidad más detalladamente, de ahí la importancia de
este ejercicio. La evidencia es útil particularmente para orientar la gestión hacia un mejoramiento continuo. Tal es el desafío de la calidad.
Gráfico 2. Evaluación de preparación recibida en DuocUC. Competencias logradas en carreras seleccionadas
Fuente: Ipsos, Estudio Egresados DuocUC. Carreras seleccionadas. Junio de 2009.
Consulta a los empleadores
Una segunda fuente de evidencias es la consulta a las empresas que contratan a los egresados. Para consultar a los empleadores, algunas instituciones recurrimos a una empresa consultora externa. Entre otros beneficios, ello nos permite disponer de información provista por una fuente independiente, no comprometida con los responsables del proceso de formación. Nos interesa conocer la percepción general sobre las competencias de nuestros egresados, saber de su desempeño, de su proyección en la empresa: ¿cómo ha evolucionado la persona que egresó de nuestra institución y en qué está trabajando en esa empresa? Asimismo, conocer la disposición a contratar más egresados del mismo origen y la evolución de estos indicadores en el tiempo.
El ejemplo que sigue corresponde al último estudio desarrollado para DuocUC, de agosto de 2009, que incluye una comparación con estudios similares de los años 2006 y 2008. Como se puede observar en el gráfico, la medición de las competencias específicas plantea una dificultad metodológica. Su diversidad es tal que conspira con la representatividad estadística de la muestra. Por ello, concentramos las consultas en competencias presentes en todos los perfiles de egreso. Tales son las competencias genéricas y de empleabilidad, que deben estar presentes en todos los egresados. La pregunta (gráfico 3) indaga el grado en que los empleadores reconocen estos atributos, que nos hemos propuesto caractericen al egresado de
nuestra institución, como propios de un técnico o profesional confiable, que trabaja en equipo, con capacidad de comunicarse en forma efectiva, que formula juicios racionales y fundados, que se interesa en aprender y superarse, etc. La percepción de los empleadores –bastante coincidente con la de los egresados– ratifica que, en un grado relevante, se está cumpliendo el sello institucional que hemos puesto en nuestro proyecto educativo y que éste va consolidándose a través del tiempo.
Gráfico 3. Evaluación de competencias de los egresados en el desempeño de su cargo
P. 3. Cómo evalúa las siguientes competencias de los egresados de DuocUC en el desempeño de su cargo, considerando una escala de 1 a 7, donde 1 es Pésimo y 7 es Excelente.
Formación y consistencia ética: Capacidad para asumir principios éticos y respetar los principios del otro, como norma de convivencia social.
Capacidad para formar parte de equipos de trabajo y participar en proyectos grupales.
Capacidad para comunicarse de manera efectiva a través del lenguaje oral y escrito, y del lenguaje técnico y computacional necesario para el ejercicio de la profesión.
Capacidad para utilizar el conocimiento, la experiencia y el razonamiento para emitir juicios fundados.
Inquietud y búsqueda permanente de nuevos conocimientos y capacidad de aplicarlos y perfeccionar sus conocimientos anteriores.
Pensamiento globalizado: capacidad para comprender los aspectos interdependientes del mundo globalizado.
Capacidad para identificar problemas, planificar estrategias y enfrentarlos.
* Todos los resultados están expresados en porcentaje.
Fuente: Ipsos, Estudio Egresados DuocUC. Consolidado total carreras. Agosto de 2009.
Certificaciones estándares de la industria
Una tercera fuente de evidencias sobre la efectividad de la formación puede generarse a partir de certificaciones externas. En particular, aquellas que constituyen estándares de la industria en que deberán desempeñarse los egresados. Una política orientada a este propósito es incorporar las certificaciones a las evaluaciones de los cursos, talleres, niveles o módulos, formando parte del currículo obligatorio en las especialidades que incluyen las competencias que miden estas certificaciones. Constituye una herramienta importante para obtener una verificación externa de la efectividad de los aprendizajes. Además, tales certificaciones aportan un valor agregado adicional, que incrementa el capital de presentación de un egresado al obtenerlas, ya que son altamente valoradas en el mercado laboral. La tabla 1 presenta una lista de algunas certificaciones que incorporamos como un valor agregado a la formación que otorgamos en DuocUC
Tabla 1
Certificación
Organismo certificador
Inglés TOEIC ETS
A+ Comptia
CCNA 1/4 Cisco
CCNA 2/4 Cisco
CCNA 3/4 Cisco
CCNA 4/4 Cisco
MCP Microsoft
PAI Panduit
Programador 3* 1/2 Microsoft
Programador 3* 2/2 Microsoft
SCJP 1/2 SUN
SCJP 2/2 SUN
Server + Comptia
AutoCAD Essentials Autodesk
AutoCAD Intermediate Autodesk
AutoCAD Creating and presenting 3D Autodesk
AutoCAD Land Desktop Essentials Autodesk Técnico en ensayos de Hormigón Fresco en Obra - grado 1 (TEHFO) ACI - ICH Supervisor en Inspector Técnico de Obras de Hormigón (SITOH) ACI - ICH
Evaluación de las competencias progresivamente alcanzadas durante el proceso formativo
Una cuarta fuente de evidencias puede construirse mediante la implementación de un modelo de evaluación de las competencias que progresivamente van alcanzando los estudiantes en su avance curricular. Desde luego, esta es la fuente más difícil de obtener, pero a la vez constituye el elemento más poderoso para asociar la gestión del proceso formativo al logro de sus propósitos: la efectividad de la formación. Como se ha dicho, si no somos capaces de medir el nivel que progresivamente van alcanzando los alumnos, las mediciones hechas al egreso reflejarán lo que ocurrió en el pasado y poco podremos hacer al respecto.
En la implementación de un modelo de evaluación de competencias, resulta fundamental reconocer cuatro momentos clave para verificar el nivel de relevancia, la pertinencia y especialmente la efectividad de los aprendizajes que van alcanzando los alumnos:
En primer lugar, la validación del perfil de egreso en la industria. La identificación de las competencias debe ser validada mediante un procedimiento sistemático en la industria, de manera que hablemos de pertinencia y relevancia y no de una declaración de propósitos que provenga de la propia comunidad académica. En el caso de DuocUC, se emplea en el proceso de diseño o actualización de una carrera un modelo de prospección en la industria que incluye paneles de expertos, entrevistas de incidentes críticos y encuestas. Del proceso resulta un mapa funcional, un perfil de egreso y un diccionario de competencias.
En segundo término, la elaboración de descriptores claros y precisos de las competencias del perfil de egreso, mediante la construcción de un diccionario de competencias detallado. Este paso resulta esencial. De lo contrario, las competencias se definen como meras declaraciones generales, políticamente correctas, pero que no proporcionan un patrón de medición útil para gestionar la eficacia de la formación. Debe describirse con detalle qué es lo que concretamente debe entenderse por cada una de las habilidades, actitudes y conocimientos a transferir al educando.
En tercer lugar, la desagregación de cada competencia en unidades de competencia, con descriptores que incluyen los respectivos criterios de desempeño y su vinculación con un determinado itinerario formativo orientado a su transferencia. Dicho de otro modo, la vinculación directa del plan de estudios con cada una de las competencias, de modo que los propósitos formativos expresados en las competencias previamente definidas queden a cargo de experiencias formativas concretas, a través de las cuales se asegure su logro y evaluación. Al mismo tiempo, esta técnica permite optimizar el currículo, evitando malgastar esfuerzos en direcciones no necesariamente pertinentes al logro del perfil de egreso.
El cuarto momento se verifica ya en la evaluación progresiva de los aprendizajes efectivamente logrados en cada unidad formativa, mediante la medición de las competencias adquiridas o desarrolladas. Este aspecto resulta cautelado mediante un sistema de exámenes transversales, aplicados con independencia de la evaluación formativa que realiza el profesor en el aula y que se orienta, precisamente, a obtener evidencias del logro efectivo de los objetivos señalados.
Un modelo de evaluación de base criterial, que respete la secuencia descrita, permite, por una parte, disponer de información del nivel de logro que progresivamente alcanzan los estudiantes respecto de las competencias definidas en los correspondientes perfiles de egreso. Por otra, asegurar una aplicación consistente y uniforme de los itinerarios formativos previstos en cada plan de estudio. Constituye además, un mecanismo efectivo de aseguramiento de la calidad, al garantizar la homogeneidad en la formación impartida en diversas sedes y modalidades –programas diurnos o vespertinos, presenciales, semipresenciales o a distancia–, garantizando con ello que la información sea equivalente, con independencia del contexto en que se imparta.
Breve descripción de un modelo de evaluación de competencias
El esquema descrito en la figura 1 presenta una visión esquemática del modelo de evaluación de competencias empleado por el sistema de exámenes transversales de DuocUC, respondiendo a la secuencia comentada.
Situación evaluativa
Instrumento
Desempeño del sujeto evaluado
Evidencia
Información
Se selecciona Que dé cuenta de recoge
Regulación del aprendizaje
Promoción académica
Certificación
Se contrasta
Juicio de valor
Toma de decisiones
Aprendizaje de alumnos
Unidad Competencia
Criterios de desempeño
Gestión institucional
Una condición esencial para lograr los objetivos perseguidos por esta experiencia es asegurar que la medición de las competencias sea objetiva. Para ello hay que cumplir ciertos criterios –validez, confidencialidad, objetividad, oportunidad e información al evaluado– que permitan asegurar que esta medición transversal refleje capacidades efectivas. En la columna derecha de la tabla 2 aparece el conjunto de mecanismos, previsto en el modelo de evaluación, que se incorporan para asegurar el cumplimiento de cada uno de estos criterios.
Tabla 2: Criterios que orientan el diseño y la aplicación del examen
Criterios
Validez
Mecanismos que lo aseguran
Matriz de contenidos:
Diseño del instrumento y componentes en función de la competencia y unidades de competencia definidos en el PIA.
Revisión por dos pares expertos.
Confiabilidad Definición taxativa de las condiciones de aplicación. Aplicación simultánea.
Objetividad Corrección cruzada. Pauta de evaluación.
Oportunidad Hojas de respuesta y de registro. Procesamiento automatizado de los reportes de resultados. Información al evaluado Ficha de información al alumno, con dos semanas de antelación al examen, sobre las competencias o unidades de competencia que serán evaluadas y el modo como se verificará el proceso.
Aplicaciones de gestión de la información obtenida
La información agregada resultante del proceso de aplicación transversal de estas evaluaciones, con toda la fuerza de una evidencia concreta de la efectividad de los aprendizajes alcanzados, proporciona antecedentes que orientan numerosas decisiones relevantes para la gestión académica. Algunas de ellas:
1. Revisión y perfeccionamiento del propio instrumento de evaluación.
2. En caso necesario, el rediseño del itinerario formativo (Estructura Curricular, Programa Instruccional y Plan Secuencial de las Asignaturas).
3. Evaluación de la calidad, pertinencia y suficiencia de los recursos metodológicos y didácticos, tales como las guías de ejercicios, protocolos de experiencia de taller o laboratorio o cursos en línea.
4. Gestión y evaluación del desempeño docente.
5. Revisión de la suficiencia del perfil de ingreso, remediales y actividades de nivelación.
6. Indicadores de gestión, reflejando la efectividad relativa de cada unidad académica; sede, escuela, programa y/o carrera.
Un ejemplo de lo anterior puede apreciarse en el cuadro siguiente (tabla 3), extraído de un Reporte de Resultados correspondiente al semestre recientemente concluido. Se aprecia así cómo, destacando una competencia comprendida en el perfil de egreso de la carrera “Administrador de Redes Computacionales” (competencia 14003: “mantener el hardware de computador personal en entorno monousuario”), ésta puede ser medida en su logro efectivo por los estudiantes. La competencia se desagrega en diez unidades de competencia, las que, a su vez, tienen señalada una asignatura o módulo en que se evalúa su logro en el nivel respectivo.
Tabla 3. Informe competencias proceso 109
Escuela Informática y Telecomunicaciones
Asignatura: todas
Sede: todas
Rut alumno: todos
Forma: A
Sección: todas
Descriptor Total puntaje Puntaje esperado Porcentaje logro
Reconoce los componentes básicos de Hardware de un computador y sus tecnologías asociadas (placa madre, CPU, RAM, discos duros, CD, tarjeta video, teclado y mouse).
Describe la homologación de unidades de medida y tecnología aplicada a los componentes de Hardware de un computador.
Identifica los estándares de ensamblaje y buenas prácticas en el armado de un computador personal. 696 696
Ensambla los componentes básicos de un computador utilizando las técnicas de ensamblaje (placa madre, CPU, RAM, discos duros, CD, tarjeta video, teclado y mouse).
Detecta fallas en los componentes básicos de Hardware de un computador (placa madre, CPU, RAM, discos duros, CD, tarjeta video, teclado y mouse).
Verifica el ensamblado de partes y piezas de Hardware de un computador. 2288
Analiza componentes de Hardware averiados con el fin de sustituir, reparar o reconfigurar, quedando operativo.
Evalúa dispositivos de Hardware a incorporar a un computador.
Justifica la tecnología de partes y piezas de Hardware de un computador.
Fuente: DuocUC - VRA, Coordinación de Evaluación. Reporte resultados, 1er sem. 2009.
En la tabla 3 se observa la comparación entre el puntaje esperado y el que efectivamente alcanzan los alumnos. La información permite apreciar el porcentaje de logro alcanzado en cada una de las unidades de competencia evaluadas. En forma agregada, se obtiene evidencia suficiente sobre la efectividad de los aprendizajes alcanzados en la competencia indicada. La fuente de información corresponde al desempeño de cada alumno, pero además, en forma agregada, aporta información de gran utilidad para reconocer qué tan efectivo ha resultado el proceso de transferencia y, en consecuencia, el cumplimiento de los objetivos educativos propuestos, permitiendo orientar los ajustes que resulte necesario incorporar.
Conclusiones
La eficacia de la formación técnica se expresa en la empleabilidad de sus egresados. Dicha empleabilidad se reconoce en su inserción laboral, trayectoria y renta. Con independencia de factores de contexto, estas variables resultan condicionadas por las competencias efectivamente logradas por los egresados, tanto genéricas (competencias de empleabilidad) como específicas (competencias laborales).
Asegurar la pertinencia, relevancia y efectividad de tales competencias es misión de la entidad educativa, y su gestión en sí misma constituye un mecanismo efectivo de aseguramiento de la calidad.
Evidencias de la eficacia del proceso formativo pueden obtenerse mediante consultas –ex pos– a los propios egresados y a las empresas que los emplean. Además, pueden observarse –ex ante– en la medición directa de las competencias progresivamente alcanzadas durante el proceso formativo.
Es posible evaluar las competencias efectivamente adquiridas por los estudiantes y compatibilizar las exigencias de un modelo de evaluación por competencias con las exigencias propias de la promoción académica. Eventualmente, esta evidencia puede ser complementada mediante la incorporación de certificaciones reconocidas como estándares de la industria. Sin embargo, para que la información resultante de las evaluaciones internas pueda ser utilizada como evidencia válida y relevante, debe cumplir varias condiciones, entre las cuales se encuentran su validez, confiabilidad y objetividad, lo que debe asegurarse tanto en los procedimientos de diseño de las evaluaciones como en la aplicación de las mismas.
La información que refleja el nivel de logro alcanzado por los alumnos permite el análisis de los distintos factores implicados en el proceso formativo. Es una oportunidad para tomar las decisiones encaminadas a la mejora de este proceso, compensando las áreas deficitarias antes del egreso.
Por último, para hacerse cargo de la eficacia de la formación que otorgan, las instituciones educativas pueden (y deben) relevar información resultante de esta evidencia e incorporarla a sus propios procesos de gestión, de evaluación y prospectiva.