Issuu on Google+

Evaluación de programas1 Qué es la evaluación y qué no es Lo que medimos y lo que apreciamos En un estudio reciente sobre la congruencia entre las metas ideales y las metas actuales de los cuerpos docentes, funcionarios y administradores en instituciones educativas se encontró que la mayoría de las medidas de progreso de los objetivos a las que ninguno de los tres grupos dio prioridad, son precisamente las que las dependencias de gobierno solicitan. Ejemplos de ello son la matrícula y los promedios por grado. Como resultado de la disminución de los recursos y el cuestionamiento a las instituciones sociales que ha tenido lugar en las décadas pasadas, existe una necesidad apremiante de medir los resultados de los programas educativos. Las dos aproximaciones principales que llevan a cabo esta tarea, la evaluación y la investigación, continuamente son confundidas entre sí.

Evaluación versus Investigación En la investigación, queremos conocer algo de manera que se pueda generalizar. Las barreras a superar para conocer algo de esa manera son dos: 1.- La idea que queremos comprender no ha sido sistemáticamente examinada antes; 2.- Investigaciones anteriores sobre esta idea no han sido conclusivas. Por el otro lado, cuando hacemos evaluación lo que pretendemos es hacer elecciones entre opciones. Las barreras a superar son: 1.- La falta de claridad en el valor que tiene cada opción; 2.- La falta de claridad en la información que se necesita para tomar las decisiones. Se emprende una investigación por la curiosidad que se tiene ante una idea. El uso que se dé a la información obtenida al final del proceso se deja a los procesos naturales de diseminación y aplicación, que habitualmente incluyen la publicación de los resultados. En contraste, la evaluación pretende apoyar la resolución de un problema práctico específico, por lo que hay un esquema muy intencional de distribución de los resultados a los tomadores de decisiones específicos. Una evaluación reunirá datos específicos, solicitados por los tomadores de decisiones, ya que el estudio será encargado y patrocinado por ellos; en contraste, la decisión para seleccionar hipótesis y los contextos en que éstas se pondrán a prueba depende exclusivamente de quienes lleven a cabo su investigación. La investigación es la búsqueda de relaciones entre dos o mas clases de entes o eventos, mientras que la evaluación describe las características valiosas de un ente o evento específico. Una evaluación puede considerarse completa al describir el valor de los entes o eventos bajo escrutinio, sin que requiera una explicación de cómo se generan los efectos. En cambio, una investigación se lleva a cabo para localizar relaciones y tendencias de tipo causa - efecto. La evaluación es una actividad diseñada para producir juicios de valor (utilidad social). La investigación pretende producir verdades científicas. La investigación educativa pretende alcanzar información generalizable a través del tiempo, del lugar, y de las actividades educativas. La evaluación de programas educativos acota los resultados de manera que no se generaliza de ninguna de estas maneras. No hay un acuerdo general sobre el grado en que las técnicas de trabajo de la investigación y la evaluación se traslapan. Algunos autores especulan que en la investigación se utilizan herramientas de una sola disciplina, debido a que las preguntas que se quieren responder normalmente están dirigidas por los métodos de esa disciplina; en cambio, los evaluadores tienen que responder preguntas generadas por otra persona o personas, y por ello las respuestas no suelen obtenerse usando sólo una metodología estándar. Una buena investigación requiere tener validez interna (medir las variables de interés, con poca interferencia de otras variables) y validez externa (que sus resultados puedan aplicarse a otras situaciones además de las que se estudiaron). En cambio, los criterios para una buena evaluación son el isomorfismo (que la información recabada sea de la misma naturaleza que la información requerida) y la credibilidad (que la información recabada sea creíble para quienes harán uso de ella). 1 Resumen de “Program Evaluation” de Charles E. Feasley, American Association for Higher Education; Research ReportNo. 2, 1980. Traducción y resumen de Andrés Sánchez Moguel.


Símiles y Modelos Evaluación como medición Esta aproximación se enfoca principalmente en los datos y los instrumentos formales utilizados para obtener datos. Se hacen referencias frecuentes a las escalas estandarizadas. Si bien los instrumentos de medición producen datos que son fácilmente manipulables para producir normas y estándares, se ha encontrado que en muchos casos los puntajes se consideran fines en sí mismos, dejando de lado los juicios y criterios que debieran culminar un ejercicio verdadero de evaluación2. El problema con este enfoque aumenta cuando las entidades que van a ser evaluadas no poseen características significativas que sean susceptibles de medición.

Evaluación como juicio profesional Ejemplos comunes del uso de este modelo pueden ser: grupos de expertos que hacen visitas de acreditación, comités editoriales de revistas y revisión del trabajo por pares para otorgar premios. Los criterios de procesos como estos pueden ser públicos. Los métodos incluyen observación personal, entrevistas, pruebas y revisión de documentos. Las dificultades más grandes de esta aproximación se refieren a la subjetividad no deseada, poca confiabilidad en general y dificultades para generalizar a otros programas.

Evaluación como comparación entre ejecución y objetivos Popham considera que esta aproximación es un modelo de objetivos alcanzados. Gardner sugiere que ningún otro tipo de evaluación ha recibido tanta atención en la literatura reciente sobre educación superior. Ralph Tyler, que es generalmente aceptado como el padre del movimiento de los objetivos conductuales, estableció que los objetivos de un programa se evaluaran en términos de la conducta específica de los estudiantes (clientes). Estas conductas se miden con pruebas referidas a la norma o referidas a criterio. La formulación de metas se basa en tres fuentes: el estudiante, la sociedad y la asignatura. La mayor objeción que se hace al modelo de congruencia entre ejecución y objetivos es que, se enfoca más en productos medibles que en lo que sucede durante los procesos. Esto puede evitar que se vislumbren importantes efectos laterales.

Evaluación como base para la toma de decisiones Esta aproximación consta de tres supuestos básicos: 1.- Las metas más estables y conocidas públicamente son los puntos principales que caracterizan un programa; 2.- Las evaluaciones reúnen información sobre la manera en que funcionan los programas y sobre la efectividad con que cumplen con las metas estables y conocidas; 3.- Los tomadores de decisiones usarán la información generada por la evaluación como base para dirigir los esfuerzos de mejora de los programas. Un modelo representativo, el CIPP (Context, Imput, Process, Product: contexto, insumo, proceso, producto) señala cuatro tipos de actividades de evaluación: 1.- Evaluación del contexto para ayudar a los tomadores de decisiones a establecer objetivos; 2.- Evaluación de insumos para clarificar de qué manera se deben asignar los recursos para alcanzar los objetivos del programa; 3.- evaluación de procesos para dar retroalimentación continua a las personas que deben tomar decisiones durante la aplicación del programa; 4.- evaluación de productos para determinar si una actividad debe continuar, ser revisada, repetida o concluida. Un modelo similar orientado a la toma de decisiones es el de CSE (Center for the Study of Evaluation). Su primera etapa es la evaluación de necesidades, que consiste en conocer la diferencia entre lo que existe y lo que se quiere. El punto central de esta etapa es la selección de problemas. La segunda etapa es la planeación, cuyo punto central es la selección de programas. La tercera etapa se enfoca en la modificación de programas; se le conoce como evaluación de la aplicación y da información sobre qué tanto un programa da cuenta de su propio plan. La cuarta etapa, evaluación del progreso, se enfoca en la modificación de programas, como la tercera; pero reuniendo información sobre qué tanto se están alcanzando los objetivos del programa. La última etapa es la evaluación de resultados. La principal crítica que se hace a la evaluación orientada a la toma de decisiones es que el evaluador acepta un contexto de decisiones y valores/criterios definidos por los tomadores de decisiones. 2 Autores renombrados en el campo de la medición, como Thorndike y Hagen, aceptan que la verdadera evaluación incluye juicios de valor que sobrepasan la simple colección de datos.


Evaluación como proceso libre de metas preestablecidas En un intento por evitar el sesgo ocasionado por las metas predeterminadas por los diversos diseñadores de un programa, en este enfoque el evaluador busca dar cuenta de todos los productos y resultados de un programa, incluyendo los efectos inesperados. Estos productos y resultados son examinados y resumidos en una sola lista jerárquica que los ordena por su utilidad social. Los usuarios de los servicios otorgados por el programa a evaluar son considerados como los principales interesados en conocer los resultados de este tipo de evaluación. El proceso puede llevarse de la siguiente manera: 1.- Se hacen reuniones con los usuarios y los responsables para identificar los alcances del programa, descubrir propósitos e intereses, conceptualizar problemas e identificar las necesidades de información. 2.- Los observadores y los jueces examinan antecedentes, procesos y resultados seleccionados. 3.- Se preparan descripciones y estudios de caso. 4.Finalmente, se escriben los reportes y se prepara la presentación. La falta de énfasis en métodos formales de medición es la principal causa por la que los críticos consideran a la evaluación libre de metas preestablecidas como demasiado subjetiva.

Evaluación como solución de conflictos Iniciar un estudio de evaluación puede ser señal de que el programa bajo escrutinio es sujeto de negociación y modificación. Individuos con puntos de vista diferentes pueden ver las evaluaciones como una batalla de méritos, cuyo resultado puede determinar que las actividades de un programa sean más cercanas a sus preferencias. Un ejemplo claro de este esquema es el modelo de evaluación jurídico o de oposiciones.


Evaluaciondeprogramas