02 de noviembre, 2011 VERSIÓN 2
MODELO INTEGRAL DE EVALUACIÓN DE RESULTADOS PROGRAMA DE EDUCACIÓN CONTINUA PARA EL MAGISTERIO, PEC I.
PRESENTACIÓN
El Programa de Educación Continua Para el Magisterio, PEC, afines del 2010 efectuó un proceso de reflexión y rediseño estratégico. Como resultados centrales del proceso se ha obtenido un conjunto de orientaciones estratégicas que inspirarán el quehacer del Programa en el próximo período, las cuales se ordenan en torno a un nuevo modelo de productos y servicios del Programa. Asimismo, se ha obtenido una nueva estructura organizativa que integra funciones centrales del quehacer institucional e incorpora nuevas áreas complementarias que agregan valor a la gestión global del programa. En este marco se han definido diseñar e implementar un nuevo modelo de evaluación de los resultados de su quehacer tanto desde la perspectiva del desempeño interno de la organización como de los resultados obtenidos en la implementación de sus productos y servicios. El propósito general de esta línea de trabajo dice relación con obtener, como sello diferenciador, la excelencia en el quehacer, la mejora continua y el reconocimiento de un trabajo efectuado con altos estándares de calidad, trabajo en el cual la satisfacción de los usuarios y el logro de resultados observables sea el norte de la gestión. En el presente documento, se presenta el Modelo Integral de Evaluación referido a los resultados a obtener en la implementación de sus servicios y productos, es decir, en la acción externa del Programa. En lo fundamental, documento expone los objetivos del Modelo, sus componentes centrales, el contenido de las herramientas desarrolladas y los procesos definidos para su implementación.
II.
MODELO INTEGRAL DE EVALUACIÓN DE RESULTADOS
2.1 Objetivos Los objetivos del Modelo Integral de Evaluación son: Evaluar la calidad y efectividad de los procesos y de los resultados obtenidos en las líneas programáticas y proyectos implementados por el Programa.
1
Incorporar la evaluaciรณn sistemรกtica como una prรกctica para la mejora continua de los servicios y productos del Programa y el aseguramiento de la calidad de su quehacer.
2.2 Contenido central El Modelo Integral de Evaluaciรณn, en lo sustancial, estรก conformado por cuatro componentes, cada uno destinado a evaluar distintas fases del proceso de formaciรณn y de obtenciรณn de resultados que se presentan para los actores involucrados en dicho proceso. Estos componentes son: la evaluaciรณn de la satisfacciรณn de los usuarios que participan en los proyectos del PEC, entiendo por tales a los estudiantes y las contrapartes institucionales; la evaluaciรณn acadรฉmica destinada a evaluar el desempleo de los profesores y relatores que participan en los cursos del PEC; la evaluaciรณn de aprendizajes obtenidos por los participantes en los cursos; y finalmente, la evaluaciรณn de los resultados finales entendidos como los efectos de la aplicaciรณn de los aprendizajes en el entorno (aula, escuela, unidad de gestiรณn) de quienes han participado en las iniciativas del Programa. En la siguiente figura, se grafica la articulaciรณn de los distintos componentes enunciados. Modelo Integral de Evaluaciรณn de Resultados
La articulaciรณn de estos cuatro componentes alude a la condiciรณn integral del modelo, ello en el sentido de reunir y conjugar el conjunto de dimisiones y de tipos de evaluaciรณn que son posibles de obtener en la acciรณn formativa o de actualizaciรณn docente. Ello, en el entendido, que el proceso de capacitaciรณn y formaciรณn presenta resultados de distinta naturaleza observables en distintos momentos del proceso de aprendizaje y de aplicaciรณn de รฉstos. Como se observa en la siguiente figura, cada componente del Modelo responde a distintas preguntas pertinentes de hacerse y de responder, en momentos particulares del proceso de formaciรณn.
2
2.3 Fuentes de información Para el desarrollo del Modelo se han consultado distintas fuentes de información: Experiencia desarrollada por el PEC en el ámbito de la evaluación a lo largo de su existencia Literatura especializada en materia de evaluación y de gestión de calidad, tal como modelo Servqual, modelo Kirkpatrick, EPA, MBA, MBD, ED, AEP, entre otros. Instrumentos de evaluación oficiales de la Universidad de Chile. Instrumentos de evaluación aplicados por la Escuela de Postgrado de la Facultad de Filosofía y Humanidades de la Universidad de Chile. Instrumentos de evaluación Sence y CPEIP de evaluación.
2.4 Resultados esperados Con la aplicación del Modelo y la sistematización de sus resultados se espera obtener insumos para retroalimentar y mejorar: el diseño de los proyectos, al evaluarse su pertinencia e idoneidad con los destinatarios, la implementación de los proyectos, al evaluarse el proceso de ejecución e identificarse oportunamente áreas de mejoramiento, la calidad académica del claustro docente, al evaluarse su desempeño y socializar los resultados con los académicos, y, la gestión del conocimiento, al sistematizarse el quehacer del Programa y contar con información para la difusión de los resultados.
2.5 Niveles de evaluación de resultados y sus contenidos Como se ha indicado, el Modelo contempla cuatro niveles de evaluación. Para cada uno de éstos se han definido herramientas específicas de medición.
3
Dichas herramientas contemplan un conjunto de factores de evaluación, como se expone a continuación.
A. Satisfacción de los usuarios (alumnos y contrapartes)
Características generales: Es una evaluación de un nivel básico de la formación impartida, asociada a la satisfacción de los participantes y las contrapartes con la experiencia experimentada en términos de cumplimiento del programa, infraestructura, logística y satisfacción global con el servicio o producto recibido. Mide la calidad del proceso de aprendizaje y de servicio de acuerdo a la percepción de los participantes. Se aplica en el proceso de formación y al finalizar la experiencia. Contempla la evaluación de satisfacción de los estudiantes participantes en los cursos, de los participantes en actividades de las asistencias técnicas y a las contrapartes institucionales. Factores de Evaluación Satisfacción de Estudiantes:
4
5
Factores de institucionales:
Evaluación
Satisfacción
de
Contrapartes
Evaluación de satisfacción de participantes en asistencias técnicas
6
B. Evaluación académica
Características generales Es una evaluación del desempeño de los docentes y relatores en el curso de la formación impartida. Evalúa la calidad del docente en términos de contenidos, metodologías, prácticas pedagógicas, ejercicios y otras variables del proceso de enseñanza. Evalúa a cada relator/ profesor. Se mide una vez finalizada la formación. Factores de Evaluación
7
A. Evaluación Aprendizaje
Para
el
Características generales Como modelo teórico y metodológico se ha tomado como referencia la Evaluación Para el Aprendizaje, EPA. De esta se han seleccionado un conjunto de principios y métodos que son pertinentes de aplicar dada la naturaleza de los cursos del PEC. Es una evaluación de la adquisición de los conocimientos impartidos, competencias y habilidades transmitidas, de acuerdo a los objetivos de cada curso. El foco está en la internalización de los aprendizajes por parte de los participantes. Contempla herramientas de distinta naturaleza para la comparación de los aprendizajes antes y después del la formación. Esta evaluación es consistente con el tipo de curso / proyecto (alcance, número de horas y modalidad de formación). Esta evaluación es aplicada por cada docente o relator del curso. Para desarrollar el instrumental de evaluación, los docentes cuentan con un Manual de Orientación, el que contiene los estándares de calidad definidos por el Programa en el ámbito de la evaluación, las definiciones pertinentes de EPA y las estrategias que los docentes deben emplear
8
para el diseño de los programas de sus cursos y para la evaluación de sus alumnos conforme a los principio de la EPA. Estándares de calidad: Consistencia de esta evaluación con estándares orientados por MINEDUC y estándares internacionales en formación continúa. Consistencia entre modelo curricular del curso y contenidos de la evaluación (modelo por competencias o por objetivo) Pertinencia de la evaluación con el tipo de destinatarios y el tipo de curso. Evaluación de diagnóstico, de proceso y final. Socialización de los criterios de evaluación con los alumnos. Socialización de protocolos de evaluación con los docentes para el aseguramiento de la calidad de la evaluación. Retroalimentación permanente como herramienta de y mejora continua de aprendizajes. Herramientas de observación de resultados en el aula.
D. Evaluación Resultados
de
Efectividad
y
Características generales Es una evaluación de la aplicación de los conocimientos, competencias y/o habilidades adquiridas por los estudiantes y de los cambios observables en el entorno de su desempeño laboral Se mide un tiempo tras el proceso de capacitación y formación. Se requiere el desarrollo de instrumental de observación de clases particular. Este nivel de evaluación se encuentra en proceso de diseño.
9
2.6 Procedimiento de evaluación El diseño e implementación de evaluación del Modelo conlleva el trabajo conjunto de tres áreas funcionales del Programa. A cada una le compete un rol específico así como un conjunto de tareas específicas en el proceso. Estas se observan en el siguiente flujo:
10
Proceso de Evaluación de Resultados Área Diseño
Área Evaluación
Área implementación y seguimiento
Recopilación insumos
Fase I_ Elaboración de criterios de evaluación compartidos
Requerimie ntos
Retroalimenta
Literatura especializa da
Diseño Modelo
Diseño Modelo Evaluación ajustado y validado
Fase IV: Evaluación del modelo
Retroalimenta
Socialización del modelo en el equipo para su implementación
Monitorea implementación
Implementa Evaluaciones
Sistematiza información global
Sistematiza información por proyecto y por tipo de formación
Retroalimenta áreas
Analiza e incorpora retroalimentación en el proceso de implementación
Fase II: Recolección de Evidencias
Analiza e Fase III: incorpora Retroalimentación retroalimentación en el diseño
Experiencia aplicación
Elabora Informe anual de resultados
FIN
11