Guía para la evaluación de iniciativas VcM

Guía para la evaluación de iniciativas de Vinculación con el

Medio

Documento elaborado en el marco del proyecto del Fondo de Desarrollo Institucional Mineduc denominado “Impulsando la vinculación con el medio innovadora: función esencial universitaria para fortalecer la docencia y la investigación aplicada con impactos en el territorio”.

Vicerrectoría de Vinculación con el Medio y Proyectos Institucionales. Universidad San Sebastián.

vcm@uss.cl

Marzo de 2025

Presentación

1. Presentación

En concordancia con su Proyecto Educativo, la Universidad San Sebastián desarrolla su actividad de vinculación con el medio en sinergia con la docencia, buscando enriquecer la formación profesional y humana de los estudiantes a través de la interacción con organizaciones del entorno y contribuir al bien público mediante el abordaje colaborativo de los problemas y desafíos territoriales.

Para lograr este propósito, la Universidad despliega diversos instrumentos de Vinculación con el Medio (VcM) y está incorporando paulatinamente en los programas de estudio asignaturas que, desde su diseño, reflejan el sentido y propósito de ésta. Complementariamente, a través del “Sistema Integrado de Evaluación de la Contribución e Impacto VcM USS” y una de sus herramientas, el “Modelo de Evaluación de la Contribución e Impacto VcM USS”, desarrollado reflexivamente junto a actores clave, se han definido con nitidez las estrategias de Vinculación con el Medio a implementar; los resultados e impactos que se espera conseguir en los actores involucrados (estudiantes, institución, académicos y comunidad y territorio); los recursos y capacidades con que la Universidad cuenta y los indicadores que permitirán corroborar en qué medida se ha logrado lo propuesto.

La ruta y el horizonte se encuentran trazados, sin embargo, es necesario recorrer juntos el camino. El desafío que aborda esta guía es contribuir a llevar a la práctica este “Sistema de Evaluación”, utilizando los componentes y herramientas disponibles, con el fin de desarrollar las instancias evaluativas necesarias para fundamentar la toma de decisiones y generar evidencia acerca del cumplimiento de los propósitos institucionales, contribuyendo al logro y avance progresivo de las metas establecidas y a la mejora continua de los instrumentos de la VcM.

Uso de la guía

2. Uso de la

guía

Este documento propone una base conceptual y metodológica inicial que aborda de manera práctica y clara el desafío de identificar cómo las iniciativas de VcM están tributando a los resultados e impactos esperados que la Universidad ha definido. Adicionalmente, se proporcionan herramientas para orientar a los académicos y académicas respecto del diseño, ejecución y análisis de metodologías de evaluación que les permiten identificar y poner en valor los resultados de sus iniciativas VcM en el marco de cada proyecto.

¿Cuál es el objetivo de esta guía?

El objetivo de esta guía es facilitar el diseño y ejecución de la evaluación de los instrumentos de la VcM, para identificar su contribución a los resultados e impactos definidos en el Modelo de Evaluación de la Contribución e Impacto VcM-USS.

¿Qué limitaciones tiene esta guía?

Si bien esta guía ofrece un marco metodológico teórico y práctico para orientar la evaluación de los instrumentos de Vinculación con el Medio (VcM), es importante señalar que su alcance no es exhaustivo. En este sentido, se abordan de manera sintética los contenidos y herramientas más pertinentes y aplicables al propósito de la evaluación institucional, priorizando aquellos elementos que faciliten la implementación de procesos evaluativos en distintos contextos.

Asimismo, dado que el campo de la evaluación de impacto en educación superior y vinculación con el medio es dinámico y en constante evolución, esta guía no pretende agotar todas las metodologías y herramientas disponibles. En consecuencia, se recomienda que los usuarios complementen su aplicación con referencias adicionales, metodologías emergentes y modelos de evaluación específicos a las particularidades de cada iniciativa de VcM.

Por otra parte, la implementación efectiva de las recomendaciones aquí presentadas dependerá de factores contextuales, tales como la disponibilidad de información, los recursos institucionales y la consolidación de capacidades evaluativas en los equipos responsables. En este sentido, el uso de la guía debe ser flexible y adaptativo, permitiendo ajustes según la naturaleza y objetivos de cada evaluación.

¿A quién va dirigida?

• A los académicos(as) y colaboradores USS que participan en el diseño, gestión y ejecución de instrumentos de la VcM.

• A los equipos de VcM, que orientan y acompañan en el diseño y ejecución de dichos instrumentos.

¿Para qué proyectos o iniciativas aplica?

Puede ser utilizada para todos los instrumentos de la Vinculación con el Medio1 que se encuentran vigentes, en etapas de diseño, desarrollo o finalizados, para lo cual se deberá identificar previamente qué tipo de evaluación corresponde aplicar (diseño, implementación, ejecución y/o cierre) para identificar su contribución y medir su desempeño.

¿Cuándo evaluar?

Existen diferentes tipos de evaluación que serán revisados a lo largo de la guía y su aplicación dependerá de la etapa y trayectoria en que se encuentre un instrumento de VcM (incluyendo la fase de formulación). Sin perjuicio de lo anterior, se sugiere evaluar los resultados e impactos de los instrumentos de la VcM en fases avanzadas o luego de su implementación, para así indagar su contribución hacia los resultados e impactos esperados en Vinculación con el Medio.

¿Quién evalúa?

Las evaluaciones pueden ser ejecutadas por los(as) académicos(as) y colaboradores(as) USS que lideran o participan de un instrumento de VcM y/o los equipos de VcM. Eventualmente, cuando se trata de evaluaciones de impacto2 es deseable que sean efectuadas por una entidad o actor externo a la sede, área o unidad que ejecuta las iniciativas o externo a la Universidad.

¿Cómo me puedo contactar en caso de tener dudas o consultas sobre la evaluación de las iniciativas de vinculación con el medio?

Ante cualquier consulta sobre esta guía y los procesos evaluativos de la VcM, contacte con el equipo nacional de la Vicerrectoría de Vinculación con el Medio a vcm@uss.cl.

1. Proyectos Colaborativos, Proyectos con Fondos externos adjudicados; Proyectos de Política pública y adaptada para evaluar otro tipo de instrumentos como los Consejos Sectoriales; Consejos Consultivos Territoriales y Extensiones académicas.

2. Evaluación de impacto del tipo experimental o semiexperimental.

Marco Institucional de la Vinculación con el Medio

3. Marco Institucional de la Vinculación con el Medio

3.1 La evaluación de las iniciativas de Vinculación con el Medio-USS

La Comisión Nacional de Acreditación (CNA) enfatiza que la vinculación de las Universidades con su entorno significativo (local, nacional, internacional y otras instituciones de educación superior) debe asegurar resultados de calidad.

Para ello, entre otros elementos, indica que deben “incorporarse mecanismos de evaluación de la pertinencia e impacto de las acciones ejecutadas, e indicadores que reflejen los aportes de la institución al desarrollo sustentable de la región y del país” (Ley Nº 21.091). Además, agrega que el seguimiento de los indicadores de impacto debe permitir ajustes en la planificación y ejecución de las acciones de vinculación con el medio, y que éstas deben mostrar una mejora continua en el logro de las metas e indicadores de impacto interno y externo, local o nacional (CNA-Chile, 2022).

Los elementos mencionados: a) la existencia de indicadores y mecanismos de evaluación de la pertinencia e impacto de las acciones de vinculación con el medio; b) el seguimiento de indicadores de impacto, y c) la mejora continua de los resultados, son algunos de los objetivos principales que guían a la Universidad en este ámbito.

Sin embargo, la importancia de evaluar no solo radica en su contribución a los procesos de acreditación universitaria. La evaluación forma parte esencial de cualquier proyecto, programa o actividad posibilitando, entre otros aspectos, mayores niveles de transparencia; la validación y valoración del trabajo realizado; el reconocimiento de los gestores y ejecutores, y la toma de decisiones basada en evidencia.

Visualizando tempranamente este desafío, la Universidad ha desarrollado desde 2018 diversas estrategias para sistematizar, monitorear y evaluar los instrumentos de Vinculación con el Medio (VcM). No obstante, en 2021, con la adjudicación del proyecto “Impulsando la Vinculación con el Medio Innovadora..” 3, financiado por el Fondo de Desarrollo Institucional (FDI) del Mineduc, y su objetivo específico N°3, enfocado en “Incrementar las capacidades internas para el desarrollo de metodologías y mecanismos de generación de evidencia y evaluación de impacto de los proyectos VcM”, es que la Universidad avanza de forma decidida en la creación de un “Sistema Integrado de Evaluación de la Contribución e Impacto de VcM USS” que busca incorporar la evaluación a lo largo del ciclo de vida de las iniciativas de los diferentes instrumentos de la VcM.

La presente guía se propone convocar y generar capacidades en los actores involucrados en la VcM-USS, para la utilización de las herramientas disponibles y así implementar con éxito los procesos evaluativos de las iniciativas desplegadas a lo largo del país.

3. Proyecto USS 21102-39 “Impulsando la Vinculación con el Medio Innovadora: función esencial universitaria para fortalecer la docencia y la investigación aplicada con impactos en el territorio”.

3.2 ¿Qué es el Sistema Integrado de Evaluación de la Contribución e Impacto VcM- USS?

Es un ambiente donde se interrelacionan elementos teóricos y prácticos que permiten definir, evaluar, analizar y evidenciar de manera sistemática los resultados y contribuciones que la Vinculación con Medio USS logra a partir del despliegue de sus

HERRAMIENTA

1. Plataforma digital de VcM (operativa desde 2016)

2. Modelo de Evaluación de la Contribución e Impacto VcM USS (vigente desde enero de 2023)

2.1 Guía para la evaluación de iniciativas de Vinculación con el Medio de la USS (2025) (el presente documento)

3. Plataforma digital de Evaluación de la Contribución e Impacto de VcM (operativa desde 2024)

4. https://proyectosvcm.uss.cl/vcm/login.html

instrumentos. En concreto, genera información útil durante todo el ciclo de vida de las iniciativas, proporcionando información clave para orientar la toma de decisiones y la mejora continua.

Para su implementación el Sistema Integrado de Evaluación de la Contribución e Impacto VcM-USS, en adelante Sistema de Evaluación, se compone de las siguientes herramientas:

DESCRIPCIÓN

Permite registrar y sistematizar las iniciativas desplegadas de los instrumentos de VcM y efectuar el seguimiento y monitoreo durante su ejecución 4

Define y precisa las principales estrategias, resultados e impactos esperados a partir de la VcM. Al mismo tiempo, propone indicadores e instrumentos de recolección de datos para evaluar la implementación de las estrategias y el logro de los resultados e impactos.

Proporciona conocimientos a los académicos y equipos de VcM, para diseñar y ejecutar procesos evaluativos e identificar si se lograron los resultados e impactos esperados del modelo y/o de cada iniciativa desplegada de los diferentes instrumentos de la VcM.

Permite evaluar de manera ordenada y descentralizada la contribución de las iniciativas desplegadas de los instrumentos de la VcM, mediante la aplicación de encuestas y rúbricas. Asimismo, permite la generación de reportes de resultados ajustados a las necesidades de cada usuario, generando evidencia e información útil para la mejora continua.

Cuadro 1. Herramientas del Sistema Integrado de Evaluación de la Contribución e Impacto VcM-USS

ENLACE

Para revisar en detalle la Plataforma de VcM en la USS, escanee el código de acceso al documento o diríjase al siguiente link:

https://bit.ly/4iqUF0S

Para revisar en detalle el Modelo de Evaluación de la Contribución e Impacto de VcM en la USS, escanee el código de acceso al documento o diríjase al siguiente link.

https://bit.ly/4kRbRxV

Para acceder y revisar en detalle la Plataforma de Evaluación de VcM de la USS, escanee el código de acceso al documento o diríjase al siguiente link:

https://impactovcm.uss.cl/

Fuente: Vicerrectoría de Vinculación con el Medio USS.

En la siguiente figura se puede observar cómo las distintas herramientas se conectan e interrelacionan para hacer funcionar el “Sistema de Evaluación”.

Figura 1. Herramientas del Sistema de Evaluación de la Contribución e Impacto VcM USS y sus interrelaciones.

¿Qué es?

Es una herramienta digital diseñada para el registro y monitoreo de iniciativas de VcM.

i. Seguimiento y Monitoreo

Implementación del Sistema Integrado de Evaluación de la Contribución e Impacto de VcM-USS

Plataforma de registro VcM

ii. Recolección de datos ex post (encuestas, rúbricas)

Plataforma de Evaluación de la contribución

Estas herramientas nutren:

Modelo de Evaluación de la Contribución e Impacto Indicadores e instrumentos para evaluar cada uno de los resultados e impactos.

Permite producir:

¿Cuál es su propósito?

Registrar y sistematizar las iniciativas desplegadas de los instrumentos de VcM y efectuar el seguimiento y monitoreo durante su ejecución.

¿Qué es?

Es una herramienta digital diseñada para apoyar el proceso de evaluación de resultados de las iniciativas de VcM.

¿Cuál es su propósito?

Disponer de instrumentos de recolección de datos para su aplicación descentralizada y monitorear este proceso.

Productos

• Reportes de resultados generales de VcM.

• Reporte de contribución por iniciativa de VcM.

• Reportes de trayectoria en VcM para jerarquización académica.

• Memoria anual de VcM.

• Informes de acreditación y certificaciones.

Fuente: Elaboración propia - Vicerrectoría de Vinculación con el Medio - USS

Para evaluar los diferentes instrumentos de la VcM, es crucial comprender los resultados e impactos que se pretenden alcanzar, los que se encuentran establecidos en el Modelo de Evaluación de la Contribución e Impacto VcM USS, en adelante “Modelo de Evaluación”.

3.3 ¿Qué es el Modelo de Evaluación de la Contribución e Impacto VcM USS?

Es una herramienta del Sistema de Evaluación que define y precisa las principales estrategias, resultados e impactos esperados a partir de la VcM. Al mismo tiempo, propone indicadores e instrumentos de recolección de datos para evaluar la implementación de las estrategias y el logro de los resultados e impactos.

Para lograr lo anterior, el Modelo de Evaluación descompone y organiza el propósito de la VcM utilizando la teoría de cambio 5, la que

permite apreciar la lógica que hay detrás de la implementación de la VcM. De esta manera, sobre la base de ciertos supuestos, necesarios para el logro de las contribuciones esperadas, se grafica la cadena causal, identificando los recursos y capacidades con que cuenta la Universidad; las estrategias de VcM desplegadas, y los resultados e impactos esperados que permiten alcanzar el propósito de la VcM.

En la figura 2 se grafica la cadena causal, distinguiendo las capacidades y recursos; los instrumentos de la VcM, y las diferentes dimensiones de estrategias, resultados e impactos por cada nivel o actor clave considerado (Institución, académicos, estudiantes y comunidad y territorio).

5. Ver apartado 6.2 sobre la Teoría de Cambio.

se utiliza para la aplicación, monitoreo y generación de informes sobre los Instrumentos de Recolección de Datos (IRD) integrados en el Modelo. Su función es automatizar y agilizar los procesos de medición y evaluación de los proyectos de VcM.

Además, la Plataforma ofrece varios módulos y contenido relevante destinado a la evaluación del impacto de las acciones llevadas a cabo. De esta manera, el Sistema proporciona información detallada y significativa sobre las contribuciones e

iniciativas. El Sistema proporciona información objetiva y basada en datos primarios para evaluar el éxito y la eficacia de las acciones emprendidas, permitiendo mejorar de manera continua y en coherencia con los desafíos sociales. El propósito de este despliegue es mejorar continuamente la pertinencia y efectividad del Proyecto Educativo, alineándolo con las necesidades de una sociedad cambiante y fortaleciendo el compromiso con el desarrollo regional y del país.

Figura 2. Cadena causal del Modelo de Evaluación de la Contribución e Impacto.

CAPACIDADES Y RECURSOS

Académicos Estudiantes Colaboradores

Socios Externos (públicos, privados, sociedad civil)

COMUNIDAD Y TERRITORIO

INSTITUCIÓN

• Desarrollo de red externa

• Sinergia e innovación

• Evaluación y mejoramiento continuo

ESTRATEGIA INSTRUMENTOS

RESULTADOS

PROGRAMAS TERRITORIALES HITO

PROYECTOS COLABORATIVOS

Recursos Económicos

INSTITUCIÓN

• Innovación institucional

• Innovación educativa

• Articulación con investigación

• Diversificación de fuentes de financiamiento para los proyectos

ACADÉMICOS

• Impulso al desarrollo de proyectos y trabajo colaborativo

• Aprendizaje experiencial como innovación educativa orientada al cambio social

Infraestructura

IMPACTO

INSTITUCIÓN

• Reputación institucional

• Fortalecimiento de alianzas

• Retroalimentación al curriculo

• Cultura de innovación

PROYECTOS DE POSTGRADO

CONSEJOS SECTORIALES

ÁMBITO INTERNO

ACADÉMICOS

• Trabajo interdisciplinario

• Desarrollo profesional

• Fortalecimiento de la práctica docente

CONSEJOS CONSULTIVOS TERRITORIALES

ESTUDIANTES

• Aprendizaje experiencial para el cambio social

• Experiencias laborales situadas tempranas

• Experiencias de aprendizaje multi e interdisciplinarias

ÁMBITO INTERNO

ACADÉMICOS

• Vinculación con realidades y conocimiento local

• Aprendizaje en gestión y sustentabilidad de alianzas

• Impacto en la práctica docente

• Investigación con impacto territorial

• Impacto en la carrera académica

ESTUDIANTES

ESTUDIANTES

• Fortalecimiento de los valores sebastianos

PROYECTOS DE POLÍTICA PÚBLICA

PROYECTOS CON FONDOS EXTERNOS

ÁMBITO EXTERNO

COMUNIDAD Y TERRITORIO

• Contribución al desarrollo sostenible del territorio y políticas públicas

• Identificación de brechas territoriales

• Generación de alianzas estratégicas nacionales e internacionales

ÁMBITO EXTERNO

COMUNIDAD Y TERRITORIO

• Desarrollo de habilidades disciplinares, socioemocionales y de ciudadanía

• Conocimiento de la realidad social

• Detección temprana de talentos y expectativas laborales futuras

• Consolidación de la vocación

• Agregación de valor y capacidad de transformación

• Propuestas y mejoras de políticas públicas locales, regionales y nacionales

Fuente: Elaboración propia.

Fuente: Elaboración propia - Vicerrectoría de Vinculación con el Medio - USS

Diagrama 3. Modelo de Evaluación de Impacto VcM-USS

Para comprender la figura 2, se detallan y ejemplifican a continuación cada uno de los elementos de la cadena causal de VcM.

• Capacidades y recursos: entre las capacidades se cuentan los conocimientos, habilidades, competencias y experiencia de los actores internos y externos involucrados en el despliegue de la VcM. Por otra parte, los recursos pueden ser económicos, como los presupuestos para ejecución de actividades, estipendios o incentivos; de tiempo, infraestructura o equipamiento.

Por ejemplo, la implementación de un Programa Territorial Hito orientado a la educación ambiental en comunidades rurales requiere de la participación de académicos con experiencia en conservación ecológica, estudiantes con formación en educación para la sustentabilidad y actores comunitarios con conocimientos sobre el territorio. A nivel de recursos, se pueden considerar laboratorios móviles para análisis de calidad del agua, financiamiento para la producción de material didáctico y disponibilidad de espacios en la universidad para encuentros de planificación.

• Estrategias : conjunto de definiciones y decisiones tomadas sobre la base del propósito de VcM-USS, que se concretan a través de acciones orientadas hacia un fin determinado, articulado con el propósito mayor que las inspira.

Por ejemplo, si una estrategia de VcM se centra en el aprendizaje experiencial como innovación educativa orientada al cambio social, una acción concreta podría ser el desarrollo de un programa de mentorías en emprendimiento.

En este programa, los docentes articulan un enfoque pedagógico basado en la resolución de problemas reales, en el que los estudiantes trabajan directamente con microempresarios locales para asesorarlos en la digitalización de sus negocios.

A través de este proceso, los académicos no sólo impulsan el desarrollo de Proyectos Colaborativos, sino que también integran metodologías activas de enseñanza, fomentando que los estudiantes apliquen sus conocimientos en escenarios reales. Como resultado, se generan instancias de aprendizaje significativo tanto para los alumnos como para los emprendedores, quienes adquieren herramientas prácticas en el uso de plataformas de comercio electrónico y estrategias de marketing digital.

• Instrumentos de VcM: tipos de iniciativas de VcM que permiten conectar a la Universidad con los actores relevantes, mediante mecanismos de acción o trabajo bidireccional definidos y formalizados. Los instrumentos de la VcM son herramientas al servicio de la implementación de las estrategias.

Por ejemplo, los Proyectos Colaborativos pueden ser un instrumento clave para articular la formación de estudiantes con necesidades territoriales concretas. Un proyecto en el área de arquitectura podría consistir en el diseño participativo de espacios comunitarios en barrios vulnerables, en conjunto con vecinos y autoridades locales.

• Resultados: efectos directos que se producen a partir de las acciones implementadas a través de las estrategias de VcM y sus instrumentos.

Estos efectos se pueden generar de forma inmediata o en el mediano plazo, y ser tangibles o intangibles. Habitualmente, los resultados se evalúan, por ejemplo, a través de las percepciones de los actores involucrados o la observación directa de un producto resultante concreto.

Por ejemplo, en un Proyecto Colaborativo del ámbito jurídico y social, donde participan estudiantes de Derecho y Psicología, un resultado relevante en los estudiantes podría ser el fortalecimiento del sentido de responsabilidad y compromiso con el desarrollo de las comunidades, además de constituir una experiencia laboral situada temprana que les permite aplicar conocimientos en contextos reales y desarrollar habilidades profesionales en una etapa inicial de su formación.

• Impactos: efectos internos o externos, positivos y deseados de largo plazo, que son atribuibles de manera directa a un instrumento de la VcM. A nivel externo, por ejemplo, los impactos producen una transformación de manera posterior a los resultados obtenidos, mejorando las condiciones en un territorio, comunidad u organización.

Por ejemplo, un impacto a largo plazo de un Programa Territorial Hito, y que se enmarca dentro de la contribución al desarrollo sostenible de los territorios, podría ser la adopción progresiva de técnicas de cultivo agroecológicas en comunidades rurales, reduciendo el uso de agroquímicos y mejorando la seguridad alimentaria local. A nivel interno, un impacto en la institución podría ser el fortalecimiento de líneas de investigación en agroecología y la consolidación de redes de colaboración con organismos públicos y privados.

• Nivel: se refiere a una clasificación del actor involucrado en los instrumentos de VcM, y que, por tanto, se ve afectado por las distintas dimensiones a las que se asocia a lo largo de la cadena causal.

Por ejemplo, en un proyecto de inclusión educativa, el nivel “estudiantes” se beneficiaría a través del desarrollo de competencias pedagógicas en futuros docentes que trabajan con niños con necesidades especiales. A nivel “comunidad y territorio”, el impacto se vería en el fortalecimiento de prácticas inclusivas en escuelas locales.

En este modelo se identifican cuatro niveles:

1. Institución: se refiere a la contribución o impacto que las iniciativas de VcM generan en la Universidad San Sebastián. Esto puede traducirse en mejoras a su posicionamiento y reputación; fortalecimiento de redes de colaboración; desarrollo de la innovación educativa y fortalecimiento de su compromiso público, entre otros.

2. Académicos: abarca la contribución e impacto en los académicos e investigadores involucrados en las iniciativas. Puede manifestarse en la actualización y adquisición de conocimientos mediante la vinculación con las realidades locales; el fortalecimiento de competencias pedagógicas y de transferencia del conocimiento; entre otros.

3. Estudiantes: representa la contribución e impacto que estas iniciativas tienen en la formación de los estudiantes. Incluye el desarrollo de habilidades disciplinares y socioemocionales; y el aprendizaje basado en la experiencia, promoviendo una educación más integral y conectada con la realidad, entre otros.

4. Comunidad y territorio: hace referencia a la contribución e impacto en los actores externos vinculados a la Universidad, tales como organizaciones públicas y privadas y las comunidades. Se puede reflejar en la resolución de problemas locales; el fortalecimiento de capacidades en la comunidad; el acceso a conocimiento especializado y la promoción del desarrollo sostenible.

• Dimensiones: buscan dar cuenta de lo que se va logrando o espera lograr en términos de las estrategias, resultados e impactos. Poseen determinadas características y expresan un conjunto de ideas.

• Por ejemplo, existen dimensiones de resultado específicas relacionadas con los estudiantes, como la dimensión denominada “Aprendizaje Experiencial para el Cambio Social”, que se evidencia en iniciativas donde los estudiantes aplican conocimientos teóricos en contextos reales. Un caso concreto es la participación de estudiantes de Psicología en programas de acompañamiento psicosocial a comunidades afectadas por desastres naturales, lo que no sólo fortalece sus competencias profesionales, sino que también fomenta su compromiso con el bienestar social.

• Asimismo, en el caso de los académicos, una dimensión de resultado relevante es el “Fortalecimiento de la Práctica Docente”, que implica la integración de metodologías innovadoras y experiencias de aprendizaje activo en el aula. Por ejemplo, un académico que incorpora Proyectos Colaborativos con comunidades rurales en su curso de Ingeniería Ambiental logra que los estudiantes experimenten el impacto de sus conocimientos en la resolución de problemáticas territoriales, enriqueciendo su formación y fomentando la enseñanza basada en la realidad.

• En el nivel institucional, una dimensión clave es el “Fortalecimiento de Alianzas Estratégicas”, que se traduce en la consolidación de redes de colaboración con organismos públicos, privados y de la sociedad civil. Un ejemplo de ello es la firma de convenios entre la Universidad y municipios para el desarrollo de proyectos de planificación urbana sustentable, donde equipos de académicos, estudiantes y actores locales co-construyen soluciones para mejorar la calidad de vida en sus territorios.

• Finalmente, en el nivel de comunidad y territorio, una dimensión de impacto relevante es la “Contribución al Desarrollo Sostenible”, que se manifiesta en la implementación de iniciativas que generan transformaciones positivas en el entorno. Por ejemplo, un programa de vinculación en agroecología desarrollado en conjunto con pequeños agricultores ha permitido la adopción de prácticas sustentables, reduciendo el uso de pesticidas y mejorando la producción de alimentos saludables para la comunidad.

• En resumen : El modelo indica que con las capacidades y recursos disponibles, los actores internos y externos implementan las estrategias a través de los diferentes instrumentos de la VcM, dando lugar a los resultados e impactos esperados en cada uno de los niveles (institución, estudiantes, académicos y comunidad y territorios).

Para finalizar, es importante considerar que, dada la complejidad de la realidad social, la interrelación entre las dimensiones de estrategias, resultados e impactos de la VcM de cada uno de los diferentes niveles (Institución, Estudiantes, Académicos y Comunidad y Territorio) es dinámica y variable y, en consecuencia, admite múltiples lecturas e interpretaciones.

3.3.1 ¿Cómo se evalúan las diferentes dimensiones del Modelo?

Para operacionalizar la evaluación de las diferentes dimensiones de la cadena causal de VcM, es decir, conocer y, al mismo tiempo, evidenciar si los instrumentos de VcM permitieron efectivamente la implementación de las estrategias y el logro de

los resultados e impactos esperados, el Modelo propone factores, indicadores e instrumentos de recolección de datos6, que se pueden aplicar de manera transversal a cada uno de los Instrumentos de la VcM.

Estos elementos son claves al momento de diseñar la evaluación y pueden ser actualizados periódicamente.

• Factor : dada la complejidad que puede alcanzar una dimensión, al reunir un conjunto de ideas y conceptos, el factor busca reducir esta complejidad descomponiendo la dimensión en aspectos conceptuales concretos, lo que permite facilitar de manera posterior la definición de un indicador.

Por ejemplo, la dimensión de Resultado en el nivel Académico “Desarrollo Profesional”, incluye los siguientes factores:

• Oportunidades para el desarrollo profesional.

• Compromiso público.

• Amplificación de redes de colaboración académicas y profesionales.

6. Se refiere a instrumentos de recolección de datos como encuestas y rúbricas. Para más detalle revisar el Modelo de Evaluación de la Contribución e Impacto.

• Indicador: describe la forma concreta en que se medirá o evaluará la dimensión, dando cuenta de la magnitud de su cumplimiento.

Por ejemplo, para evaluar la dimensión de “Desarrollo profesional del nivel “Académicos”, en su factor “Compromiso público”, se propone el siguiente indicador:

N° de académicos que manifiestan que a través de proyectos VcM potenciaron su rol como agentes activos de cambio social.

• Instrumento: corresponde a la herramienta que permitirá recolectar la información que se utilizará para aplicar el indicador.

Por ejemplo, para aplicar el indicador: “N° de académicos que manifiestan que a través de proyectos VcM potenciaron su rol como agentes activos de cambio social”, se utiliza el instrumento de recolección de datos:

“Encuesta de experiencia de académicos participantes en Proyectos VcM”.

Cada uno de los elementos descritos se encuentra detallado en el Modelo de Evaluación de la Contribución e Impacto. En el anexo Nº1, se presentan las dimensiones de resultados e impactos, con sus respectivos factores por nivel.

Para operacionalizar la evaluación de las diferentes dimensiones de la cadena causal de VcM y evidenciar en qué medida los instrumentos implementados han contribuido al logro de los resultados e impactos esperados, es fundamental establecer factores, indicadores e instrumentos de recolección de datos que permitan un análisis riguroso y sistemático. El modelo propone indicadores e instrumentos a utilizar; no obstante, pueden incorporarse nuevos indicadores e instrumentos idóneos.

A continuación, se presentan ejemplos que ilustran cómo pueden evaluarse las dimensiones del Modelo de Evaluación de la Contribución e Impacto de la VcM en el marco de los instrumentos de la VcM:

Ejemplo 1

En un Proyecto Colaborativo enfocado en mejorar la calidad de vida de niños y niñas con quemaduras de difícil manejo que viven en contextos de alta vulnerabilidad, se busca evaluar en qué medida el proyecto contribuyó al logro de la dimensión de impacto en el nivel estudiantes: “Desarrollo de habilidades disciplinares, socioemocionales y de ciudadanía”, particularmente en lo relativo al desarrollo de habilidades socioemocionales. El modelo define cinco indicadores, pero para fines de este ejemplo se utilizarán sólo dos:

• Porcentaje de estudiantes que señalan que, a partir de su experiencia en el Proyecto Colaborativo, fortalecieron su empatía.

• Porcentaje de estudiantes que señalan que, a partir de su experiencia en el Proyecto Colaborativo, fortalecieron sus habilidades de resolución de problemas.

Tal como se indica en el modelo, estos indicadores se calculan con información proveniente de la “Encuesta de experiencia de estudiantes participantes”, un instrumento de recolección de datos aplicado anualmente al finalizar los proyectos. Esta encuesta recoge la percepción de los estudiantes sobre el valor que otorgan a su experiencia en el proyecto.

Para aplicar este instrumento, los académicos ingresaron a la Plataforma de Evaluación de VcM, donde la encuesta estaba disponible. Luego, accedieron al reporte de resultados, lo que les permitió conocer los indicadores, analizarlos y utilizarlos como fuente de información relevante para los resultados y las conclusiones.

Ejemplo 2

En un Proyecto Colaborativo implementado en un territorio rural con un alto índice de aislamiento, uno de sus objetivos es contribuir a la dimensión de resultado “Identificación de brechas territoriales”, en el nivel Comunidad y Territorio. Para ello, desde la formulación del proyecto, se estableció un indicador que permitiera evaluar en qué medida se logró este resultado.

Esta dimensión implica determinar si, a partir de las iniciativas de VcM desarrolladas, se han logrado reconocer y documentar necesidades específicas del territorio que requieran intervención y articulación de actores estratégicos.

Para cuantificar el grado de cumplimiento de este factor, el modelo define dos indicadores que permiten medir de manera objetiva la contribución de una iniciativa a esta dimensión. No obstante, el equipo ejecutor del proyecto propuso un nuevo indicador adaptado a su contexto específico:

• “ Número de estudios diagnósticos realizados en comunidades vulnerables que identificaron brechas territoriales en acceso a servicios básicos, educación o desarrollo económico local, en el marco de proyectos de VcM”.

Este indicador busca reflejar el nivel de sistematización de información relevante para la toma de decisiones y la orientación de políticas públicas que favorezcan el desarrollo de territorios aislados.

Para la recolección de datos se realizaron encuestas, entrevistas a actores clave y análisis de datos secundarios del territorio. A partir de estos insumos, se evaluaron las brechas detectadas y se exploraron posibles estrategias de intervención.

De este modo, el proceso evaluativo no sólo permite determinar si las iniciativas de VcM han cumplido con sus objetivos, sino que también levanta información valiosa adicional para la toma de decisiones y el ajuste de estrategias durante la ejecución del proyecto. Esto asegura que las acciones desarrolladas tengan un impacto significativo y sostenible en los territorios intervenidos.

Cuadro 2. Resultados e impactos del nivel Institución del Modelo de Evaluación VcM USS.

NIVEL

EFECTO DE LA CADENA CAUSAL

DIMENSIÓN

Innovación institucional

Resultados

Institución

Innovación educativa

Articulación con investigación

Diversificación de fuentes de financiamiento para los proyectos

Reputación institucional

Impacto

FACTOR

Generación de productos innovadores

Abordaje innovador de los desafíos territoriales

Aplicación de metodologías para la innovación educativa

Trabajo con investigadores en base a una problemática territorial

Adjudicación de recursos externos

Conexión de la USS con el entorno

Confianza en la USS

Reconocimiento de actores institucionales en el territorio

Fortalecimiento de alianzas Vinculación sostenible

Retroalimentación al currículo

Cultura de innovación

Experiencias de retroalimentación curricular

Reconocimiento de una cultura de innovación

Fuente: Elaboración propia - Vicerrectoría de Vinculación con el Medio - USS

Cuadro 3. Resultados e Impactos del Nivel Académicos del Modelo de Evaluación VcM USS.

NIVEL EFECTO DE LA CADENA CAUSAL

DIMENSIÓN

Trabajo interdisciplinario

Resultados

Desarrollo profesional

Académicos

Impacto

Fortalecimiento de la práctica docente

Vinculación con realidades y conocimiento local

Aprendizaje en gestión y sustentabilidad de alianzas

Impacto en la práctica docente

Investigaciones con impacto territorial

Impacto en la carrera académica

FACTOR

Percepción del aporte del trabajo

interdisciplinario a la sinergia disciplinaria y profesional

Oportunidades para el desarrollo profesional

Compromiso público

Amplificar redes de colaboración académicas y profesionales

Nuevas didácticas educativas

Motivación de los estudiantes

Interacción académico-estudiante

Relevancia de conocimientos adquiridos desde realidades locales

Comprensión de problemáticas territoriales

Percepción sobre aprendizajes en gestión y sustentabilidad de alianzas

Sustentabilidad de las alianzas

Impacto en la evaluación docente

Experiencia de innovación educativa

Desarrollo de investigaciones con impacto territorial

Evolución y tránsito en la carrera académica

Fuente: Elaboración propia - Vicerrectoría de Vinculación con el Medio - USS

Cuadro 4. Resultados e impactos del nivel Estudiantes del Modelo de Evaluación de VcM USS.

NIVEL

Estudiantes

EFECTO DE LA CADENA CAUSAL

Resultado

Impacto

DIMENSIÓN FACTOR

Aprendizaje experiencial para el cambio social

Experiencias laborales situadas tempranas

Experiencias de aprendizaje multi e interdisciplinarias

Desarrollo de habilidades disciplinares, socioemocionales y de ciudadanía

Relevancia para el proceso formativo

Compromiso con el cambio social

Experiencia laboral temprana

Participación en Proyectos Colaborativos multi e interdisciplinarios

Competencia disciplinar

Manejo de información para la toma de decisiones relativas al campo disciplinar

Prolijidad en el desarrollo de su disciplina

Empatía

Colaboración

Comunicación

Adaptación y flexibilidad

Resolución de problemas

Ser un ciudadano responsable

Conocimiento de la realidad social

Detección temprana de talentos y expectativas laborales futuras

Consolidación de la vocación

Conocimiento y comprensión de la realidad social

Comprensión de su aporte a la sociedad desde su rol profesional/laboral

Detección temprana de talentos

Entendimiento de su aporte a la sociedad desde su rol profesional/laboral

Incremento de redes de contacto profesional

Empleabilidad de los estudiantes que participaron en las iniciativas VcM

Fortalecimiento de la vocación

Fuente: Elaboración propia - Vicerrectoría de Vinculación con el Medio - USS

Cuadro 5. Resultados e impactos del nivel Comunidad y Territorio del Modelo de Evaluación VcM USS.

NIVEL EFECTO DE LA CADENA CAUSAL

DIMENSIÓN

Contribución al desarrollo sostenible del territorio y políticas públicas

Comunidad y territorio

Resultados

Impacto

Identificación de brechas territoriales

Generación de alianzas estratégicas nacionales e internacionales

Agregación de valor y capacidad de transformación

Propuestas y mejoras de políticas públicas locales, regionales y nacionales

FACTOR

Proyectos y beneficiarios por dimensión de impacto (Desarrollo Económico-productivo; Calidad de Vida; Medioambiental; Artes, Culturas y Patrimonio)

Política pública

Identificación de brechas territoriales

Creación de redes estratégicas de carácter nacional e internacional

Aporte de la iniciativa según organizaciones

Experiencias de impacto en el medio, de programas y proyectos

Aporte a las políticas públicas

Involucramiento de académicos en instancias de trabajo formales del aparato estatal sobre políticas públicas

Fuente: Elaboración propia - Vicerrectoría de Vinculación con el Medio - USS

Definiciones fundamentales para la evaluación de las iniciativas de VcM-USS

4. Definiciones fundamentales para la evaluación de las iniciativas de VcM-USS

4.1 ¿Qué es una evaluación y por qué es importante evaluar?

La evaluación es un proceso mediante el cual se analiza el desempeño de un proyecto, considerando aspectos como la viabilidad, la relevancia, el progreso, resultados y la sostenibilidad en diferentes etapas de su desarrollo (Rossi, Lipsey & Freeman, 1999). Su principal propósito es proporcionar información valiosa para la toma de decisiones relacionadas con una iniciativa, programa o política pública, permitiendo determinar si esta debe continuar, modificarse o finalizar.

Este proceso acompaña al programa, proyecto o política pública a lo largo de todo su ciclo de vida (Irarrázaval y Ríos, 2014) y resulta fundamental tanto por razones internas como externas. Internamente, permite evaluar la efectividad y eficiencia del proyecto, mientras que, externamente, asegura la rendición de cuentas frente a los usuarios, los recursos utilizados y las políticas establecidas.

Además, fomenta la mejora continua, garantizando que las iniciativas se mantengan alineadas con sus objetivos y el propósito para los cuales han sido diseñados para abordar una problemática y necesidades del entorno.

Cuadro 6. Dimensiones de valor de una evaluación

DESCRIPCIÓN

Gestión y seguimiento interno

Permite obtener una mayor claridad sobre el funcionamiento del proyecto y su progreso hacia el cumplimiento de los objetivos propuestos . En esta línea, contribuye de manera significativa a la transparencia y la rendición de cuentas, asegurando que se respete lo establecido en su concepción inicial y que los resultados sean monitoreados, conocidos y comunicados de manera clara y verificable.

EN VcM-USS

Los instrumentos de VcM establecen desde su formulación objetivos e indicadores que deben ser monitoreados en su cumplimiento. Para ello, en el caso de Proyectos VcM existen informes de etapa y cierre.

Por ejemplo, en un Proyecto Colaborativo de educación inclusiva, el equipo responsable debe presentar informes de avance semestrales, en los que se detallan las actividades ejecutadas, los recursos utilizados y el nivel de participación de los actores involucrados. Además, al finalizar el proyecto, se elabora un informe de cierre que sistematiza los aprendizajes obtenidos, los resultados alcanzados y las oportunidades de mejora para futuras iniciativas.

Coordinación y alineamiento

DESCRIPCIÓN EN VcM-USS

La evaluación es un mecanismo que visibiliza los flujos de trabajo y la multiplicidad de actores involucrados, aportando un juicio objetivo sobre los medios utilizados, los actores clave y la efectividad de la solución propuesta (Consejo para la Transparencia, 2016).

Las iniciativas y proyectos VcM generalmente cuentan con múltiples actores incumbentes a nivel nacional, a nivel de sedes, y con otros actores del entorno. Una evaluación, permite visibilizar elementos que contribuyen a mejorar la coordinación y flujos internos entre los distintos actores del proyecto.

Por ejemplo, en el Programa Territorial Hito que aborda la convivencia vecinal, la ejecución de proyectos de intervención en barrios requiere la articulación entre académicos, estudiantes, municipios y organizaciones comunitarias. La evaluación de la coordinación permite detectar cuellos de botella en la comunicación entre actores, optimizar los tiempos de ejecución y mejorar la planificación conjunta de las acciones en el territorio.

Optimización y eficiencia

Mejora la calidad del proyecto y permite analizar y redistribuir recursos para optimizar su uso. Esto se alinea con la búsqueda de una mayor eficiencia en la asignación de presupuestos, lo cual es crucial para maximizar los beneficios del proyecto (Irarrázaval y De los Ríos, 2014).

Las iniciativas y proyectos de VcM han establecido objetivos que contribuyen al quehacer académico, los estudiantes, las comunidades, organizaciones y la propia institución, y deben estar orientados a su buen desarrollo para continuar contribuyendo tanto interna como externamente. Por ejemplo, en un Proyecto Colaborativo de Innovación Educativa, se identificó que la compra de materiales físicos para actividades pedagógicas era menos eficiente que la implementación de una plataforma digital de recursos educativos abiertos. A partir de esta evaluación, se redirigieron fondos hacia el desarrollo de herramientas virtuales, lo que permitió ampliar el acceso a un mayor número de beneficiarios y reducir costos operativos.

Gestionar el aprendizaje

Central para la construcción de un cuerpo de conocimiento común en torno al tema en que se inscribe el proyecto, documentando su trayectoria y compartiendo su experiencia (Gertler et al, 2017). Es decir, no solo permite identificar éxitos y fallas, sino también mejorar la formulación de proyectos, programas y políticas públicas futuras basadas en un enfoque de evidencia.

La mayoría de las iniciativas y proyectos de VcM de la USS, cuentan con varios años de desarrollo y funcionamiento y con ello, múltiples aprendizajes que pueden y deben ser integrados para la mejora continua de la VcM y sus instrumentos.

Por ejemplo, en un Programa Territorial Hito de Salud Comunitaria, la evaluación de experiencias previas permitió identificar que las capacitaciones a líderes comunitarios eran más efectivas cuando se realizaban en modalidad presencial y con metodologías participativas. A partir de este aprendizaje, se ajustó el diseño del programa para incluir talleres experienciales y acompañamiento en terreno, mejorando así su impacto en las comunidades beneficiarias.

DESCRIPCIÓN

Toma de decisiones basadas en datos y evidencia.

La evaluación permite garantizar la sostenibilidad de los proyectos, ya que contribuye significativamente a la toma de decisiones basadas en evidencia. Este enfoque, ampliamente reconocido por diversos autores, como Cohen y Franco (1992), destaca que las evaluaciones fortalecen la toma de decisiones al proporcionar información sistemática y rigurosa. De este modo, la evaluación no solo facilita la mejora continua, sino que también impulsa la innovación en el diseño e implementación de iniciativas, asegurando su relevancia y efectividad a lo largo del tiempo.

4.2 ¿Qué tipo de evaluaciones existen y cuándo evaluar?

Dependiendo del momento en que se inserta una evaluación, antes (ex ante), durante (ex dure) o después (ex post) de la implementación del proyecto o iniciativa, va a tener distintas consideraciones. En concreto, es posible identificar diversas evaluaciones dependiendo del momento del proyecto en que se despliega.

Los proyectos de VcM deben garantizar una relevancia sostenible a lo largo del tiempo. Aunque se formulan y postulan numerosos proyectos con el objetivo de consolidarse, solo aquellos que demuestren un mayor nivel de valoración y cumplimiento de sus objetivos deberían mantenerse vigentes. Esto asegura que los proyectos que perduren contribuyan de manera efectiva a los propósitos de VcM para los cuales fueron diseñados, alineándose con su misión y fortaleciendo su impacto. Es aquí donde adquiere relevancia el informe de cumplimiento que se genera al cierre de un proyecto.

Por ejemplo, en un Programa Territorial Hito, la evaluación arrojó que en promedio, el 80% de los estudiantes que participaron en Proyectos Colaborativos vinculados, percibieron que su participación en el Proyecto no fue significativa para su formación profesional, por lo cual se determinó un rediseño del rol de los estudiantes y se tomaron medidas para potenciar su protagonismo y relevancia en la ejecución del proyecto.

Fuente: Elaboración propia en base a diversos autores.

En un nivel ex ante, se realizan evaluaciones de necesidad y diseño; en un nivel ex dure evaluaciones de implementación y de seguimiento o monitoreo; y en un nivel ex post, evaluaciones de resultados e impacto.

A continuación, se detalla cada uno de los tipos específicos de evaluación, su descripción y de manera sintética, el nivel en el que operan y sus implicancias según el foco.

Cuadro 7. Tipos de evaluación, descripción e incidencia.

EVALUACIÓN DESCRIPCIÓN

TIPO DE EVALUACIÓN FOCO

Ex-ante

Evaluaciones que se desarrollan durante la etapa de preparación o inicio de un proyecto o programa. Evalúan la definición del problema y su contexto, las necesidades detectadas, la población objetivo, los insumos y las estrategias de acción.

• Evaluación de necesidades : realización de un diagnóstico de las necesidades o problemáticas de un grupo en particular. Es el paso previo a la elaboración y formulación de un proyecto social (Bañón, 2003).

• Evaluación de diseño : caracterización de aspectos relacionados con aquellos elementos que justifican la necesidad de intervención y el diseño de su estrategia: problemas, medios y objetivos (Osuna & Márquez, 2000).

• En la coherencia entre el problema detectado y la solución propuesta.

• En los usuarios/as o población objetivo.

Ex-dure

Evaluaciones que se desarrollan durante la ejecución del proyecto o programa. Evalúan las actividades del proceso en el momento que se están implementando, identificando los desafíos, aciertos y errores.

• Evaluación de implementación : análisis de los procedimientos puestos en marcha por los gestores para ejecutar y gestionar las actuaciones del proyecto, así como vías para mejorar su aplicación, eficacia y eficiencia (Osuna & Márquez, 2000).

• Evaluación de seguimiento o monitoreo (procesos): examen continuo o periódico sobre cómo se está poniendo en práctica una actividad, deteniéndose en los mecanismos y procedimientos necesarios para la recogida de la información necesaria para evaluar la intervención ex post (Bañón, 2003; Osuna & Márquez, 2000).

• En la alineación entre la ejecución de las actividades y el diseño planteado.

• La toma de decisiones sobre continuar, cambiar o terminar.

Ex-post

Evaluaciones que se realizan una vez finalizada la ejecución del proyecto o programa. Buscan analizar el cumplimiento de los objetivos iniciales en distintos momentos, ya sea inmediatamente terminadas las actividades, o algún tiempo después (meses o años).

• Evaluación de resultados : análisis sobre el nivel de cumplimiento de los objetivos inmediatos del proyecto una vez finalizado. Se centra en los efectos directos sobre los usuarios/beneficiarios (Osuna & Márquez, 2000).

• Evaluación de impacto : caracterización del efecto causal de un proyecto sobre el resultado de interés. Se centra en los cambios en la población beneficiaria atribuibles directamente a las actividades del proyecto (BID, 2017).

• En el cumplimiento de los objetivos propuestos.

• En orientar las decisiones a futuro: mantener, expandir o restringir.

Fuente: Elaboración propia a partir de Ortegón, Pacheco & Prieto (2005), Irarrázaval y Ríos (2014) y Consejo para la Transparencia (2016).

4.3 ¿Por qué son relevantes los indicadores en una evaluación?

Para caracterizar el nivel de cumplimiento de los objetivos de un proyecto, las evaluaciones –en sus distintos niveles– requieren de unidades que permitan medir el alcance de un objetivo específico (Cohen & Franco, 1992). Los indicadores de desempeño son una herramienta que entrega información respecto al logro en cada etapa de desarrollo del proyecto (DIPRES, 2009).

Específicos : capaces de medir la información requerida de la forma más rigurosa posible.

Ejemplo: porcentaje de personas mayores participantes en talleres de alfabetización digital que logran enviar un correo electrónico de manera autónoma al finalizar el programa.

Medibles: basados en la garantía de información que se puede obtener fácilmente.

Ejemplo: número de consultas jurídicas gratuitas realizadas por estudiantes de Derecho a microemprendedores durante el año registradas en las planillas de atención.

Atribuibles : que aseguren de que cada medida está relacionada directamente con los logros del proyecto.

Ejemplo: incremento en el porcentaje de docentes de colegios rurales que integran herramientas de enseñanza inclusiva tras participar en un programa de capacitación liderado por la Universidad en el marco de una actividad de un Proyecto Colaborativo.

Realistas : capaces de garantizar que los datos se pueden obtener de manera oportuna, con una frecuencia y un costo razonables.

Ejemplo: número de emprendimientos asesorados en estrategias de comercialización sostenible durante el primer trimestre del año, a través de un programa de acompañamiento dirigido por estudiantes y académicos de Ingeniería Comercial.

En concreto, un indicador representa la cuantificación del efecto que han tenido las intervenciones sobre la población beneficiaria mediante la expresión matemática que establece la relación entre dos variables. Pueden ser porcentajes, tasas de variación, promedios índices, entre otras unidades de medida. Según Gertler et al. (2017), cumpliendo las siguientes características, se puede considerar un indicador como efectivo:

Focalizados: Restringidos a la población objetivo.

Ejemplo: porcentaje de organizaciones comunitarias de Mulchén que han recibido asesoría en gestión de proyectos por parte de estudiantes de Ingeniería Comercial y que expresan una satisfacción alta en el índice de satisfacción.

El Independent Evaluation Group (2012), por su parte, define las siguientes dimensiones de los indicadores de acuerdo con su objetivo de medición:

Eficacia : mide el nivel de cumplimiento de los objetivos del proyecto.

Calidad : mide las capacidades de los bienes o servicios de satisfacer a las necesidades de la población beneficiaria.

Eficiencia : mide la relación entre los objetivos logrados y los recursos utilizados para producirlos.

Economía : mide la capacidad de administración y movilización de los recursos financieros.

Este punto es especialmente relevante tanto para el monitoreo de los indicadores establecidos en las fases de formulación de los instrumentos de VcM, que permiten visibilizar su cumplimiento y resultados, como para la definición de indicadores en una nueva evaluación . En este contexto,

la evaluación podrá utilizar los indicadores existentes o, si es necesario, diseñar y establecer nuevos indicadores específicos en el marco del diseño evaluativo, garantizando un análisis más preciso y adaptado a las necesidades del proyecto.

Buenas prácticas para formular indicadores

Cuando se define un indicador en el diseño de un proyecto o una evaluación, es fundamental garantizar su calidad y utilidad para la medición de los resultados esperados. Para ello, se recomienda utilizar el siguiente listado de verificación, propuesto por el PNUD (2009), que permite evaluar la claridad, pertinencia y viabilidad de los indicadores existentes:

1. ¿Se han especificado con claridad los indicadores?

• La ambigüedad en los indicadores puede generar interpretaciones erróneas y afectar la medición de los resultados. Un indicador bien definido debe ser preciso y comprensible para todos los involucrados en el proyecto.

2. ¿Los indicadores cumplen con las características anteriormente descritas (específicos, medibles, atribuibles, realistas y focalizados)?

• Estas características garantizan que los indicadores sean útiles y permitan una evaluación efectiva. Por ejemplo, si un indicador no es medible, no podrá reflejar cambios concretos.

3. ¿Cuál es la fuente de los datos de cada indicador?

• Es crucial definir de dónde provendrá la información (encuestas, bases de datos, registros administrativos, observaciones de campo, etc.), asegurando su disponibilidad y confiabilidad.

4. ¿Con qué frecuencia se recopilarán los datos?

• Establecer una periodicidad adecuada para la recolección de información permite dar seguimiento a la evolución del proyecto y realizar ajustes si es necesario.

5. ¿Quién es el responsable de recopilar los datos?

• Definir con claridad los roles en la recolección de datos evita confusiones y asegura la continuidad del proceso de evaluación.

6. ¿Quién es responsable del análisis y de los informes?

• Es fundamental asignar responsabilidades en la interpretación y sistematización de la información, garantizando que los datos sean analizados de manera rigurosa y comunicados adecuadamente.

7. ¿Qué recursos se necesitan para producir los datos?

• La viabilidad del indicador depende de los recursos disponibles. Si un indicador requiere una metodología costosa o compleja de implementar, puede volverse inviable.

8. ¿La documentación es adecuada?

• Un sistema de registro bien estructurado facilita la trazabilidad de los datos y su correcta interpretación.

9. ¿Qué riesgos implica?

• Evaluar posibles dificultades en la recolección de datos, sesgos en la información o limitaciones técnicas permite anticipar soluciones y mejorar la confiabilidad del proceso evaluativo.

¿Cuál es la importancia de la formulación y diseño de un proyecto?

5.

¿Cuál es la importancia de la formulación y diseño de un proyecto?

Si bien el propósito de esta guía se centra en fortalecer en los académicos y equipos de VcM, conocimientos y herramientas metodológicas prácticas para realizar y/o participar en evaluaciones de resultados, para lograr los resultados e impactos esperados es necesario haber diseñado previamente iniciativas y proyectos de VcM pertinentes o conocer a cabalidad el diseño de lo que se va a evaluar. Esto permite identificar cómo el proyecto ha propuesto responder de la manera más efectiva posible a la problemática o necesidad que le dio origen y también al propósito de la VcM-USS y, en base a eso, definir su evaluación.

Por consiguiente, como parte del Sistema Integrado de Evaluación de la Contribución e Impacto de VcM, la evaluación de diseño de los proyectos de VcM, se realiza a través de la aplicación de rúbricas por parte de un equipo evaluador experto, en los sucesivos llamados a Fondos Concursables que se realizan de forma anual. Así también, mediante el acompañamiento directo de los equipos de VcM a los académicos, instancia en la que se proponen ajustes a los proyectos que buscan mejorar la coherencia, calidad e impacto de estos.

De esta manera, con el objeto de robustecer las capacidades de formulación de proyectos por parte de académicos y equipos de VcM, se revisarán algunas herramientas útiles para este fin.

5.1. ¿Qué es y cómo se formula un problema?

Las iniciativas, programas y proyectos de VcM están formulados para abordar problemáticas del entorno de forma colaborativa, junto a las organizaciones y/o comunidades involucradas. Es

por ello que uno de los requisitos iniciales para la evaluación de cada uno, es la identificación del problema que se busca atender.

El PNUD (2019) propone detenerse en la caracterización de los siguientes elementos a la hora de formular un problema o de observar cómo se ha formulado un problema:

a) Identificación de una situación negativa.

b) Especificación de la población afectada.

c) Descripción de la magnitud de la problemática.

d) Proyección de una situación potencial o deseada, entendida como un estadio mejor y viable de alcanzar.

e) Caracterización de las principales barreras u obstáculos para alcanzar la situación potencial.

f) Análisis de causas.

g) Análisis de efectos.

Para garantizar una formulación precisa del problema en las iniciativas de VcM, no solo es fundamental identificar sus elementos clave, sino también analizar sus causas y efectos de manera estructurada. Para ello, existen 3 herramientas que se complementan en el proceso de planificación y evaluación de programas y que son las más utilizadas:

a) El árbol del problema es una herramienta utilizada para identificar los problemas claves que se deben abordar y analizar de manera estructurada las causas y efectos de un problema central. La representación visual es similar a un árbol: el tronco representa el problema principal, las raíces reflejan las causas que lo originan y las ramas representan sus efectos o consecuencias (González, Sánchez & Hernández, 2023).

3. Esquema árbol del problema

Efecto indirecto

Efecto indirecto

Efecto directo

directa

Efecto indirecto

Efecto directo

Efecto directo

directa

directa

indirecta

indirecta

indirecta

Fuente: Elaboración propia a partir de (González, Sánchez & Hernández, 2023)

Figura

Causa

Causa

Causa

Causa

Causa

Causa

Problema Central

Implementación y ventajas del árbol del problema

La implementación del árbol del problema en proyectos de VcM comienza con la identificación del problema central a través del trabajo colaborativo con las comunidades y organizaciones involucradas. Luego, mediante sesiones participativas, se identifican y organizan las causas y efectos, asegurando que la estructura del análisis refleje la realidad del territorio o grupo beneficiario. Esta herramienta facilita la construcción de consensos entre los actores involucrados, ya que permite visualizar de manera clara las conexiones entre los factores que inciden en la problemática y sus repercusiones.

Entre sus principales ventajas, destaca su capacidad para proporcionar un diagnóstico estructurado, evitando enfoques superficiales o fragmentados. Además, favorece la toma de decisiones basada en evidencia, ya que permite priorizar intervenciones dirigidas a atacar las causas-raíz del problema en lugar de centrarse únicamente en sus síntomas. En el contexto de la VcM, el uso del árbol del problema no solo mejora la pertinencia de las iniciativas, sino que también fortalece la planificación estratégica al asegurar que las acciones diseñadas tengan un impacto sostenible en el tiempo

b) Teoría de cambio: es una herramienta manejada por diversos organismos internacionales para el diseño y evaluación de programas sociales.

Traduce el diagnóstico en un plan de acción y explica cómo se logrará el cambio esperado. Esta se entiende como un modelo explicativo simple que busca evidenciar cómo y por qué funcionan las iniciativas, programas o proyectos, sin limitarse a evaluar solamente si se han alcanzado sus resultados.

Destaca por ser un modelo conceptual y gráfico personalizable, que permite esquematizar los supuestos sobre cómo las actividades del

proyecto deberían haber llevado a los resultados esperados, comparar los resultados reales con los esperados, analizar por qué se alcanzaron o no, en qué medida fueron alcanzados o en qué medida contribuyeron a los elementos e indicadores formulados. En este sentido, aparece como un enfoque que relaciona el problema de origen, la intervención a través de los insumos utilizados, los productos generados, los resultados y el impacto logrado (Arenas, 2021).

Desde la Unicef (2012) se han propuesto las siguientes definiciones de los elementos que constituyen la Teoría del Cambio:

Fuente: Elaboración propia a partir de Rogers (2014).

Tabla 1. Teoría del Cambio

• Problema: necesidad identificada en un grupo de personas o sector de la sociedad.

Ejemplo : en varias escuelas rurales, los docentes y estudiantes tienen acceso limitado a herramientas tecnológicas y formación en educación digital, lo que dificulta el desarrollo de competencias digitales esenciales para su aprendizaje y futuro laboral.

• Insumos : recursos humanos, materiales, maquinarias, equipos y servicios para el logro de un producto.

Ejemplo: para abordar esta problemática, el proyecto contará con académicos universitarios especializados en tecnología educativa, estudiantes de Pedagogía como facilitadores, recursos tecnológicos (tablets y software educativo) y espacios de formación en la universidad para capacitaciones presenciales y virtuales.

• Actividades: conjunto de acciones específicas que transforman los insumos en productos o servicios, permitiendo avanzar hacia los objetivos del proyecto.

Ejemplo: las actividades consideran la entrega de recursos y los hitos de formación presencial y todas las gestiones asociadas para que ello ocurra.

• Productos: bienes o servicios que surgen como resultado de la transformación y combinación de insumos mediante un proceso productivo.

Ejemplo: como resultado del uso de los insumos, se desarrollarán talleres de alfabetización digital para docentes y estudiantes de educación básica, se elaborará una guía pedagógica digital para integrar TIC en el aula y se establecerá una plataforma virtual con recursos educativos accesibles para las escuelas.

• Resultados: efectos a corto y mediano plazo probables o logrados de los productos del proyecto. Refieren al cumplimiento directo del objetivo.

Ejemplo : a corto y mediano plazo, se espera que los docentes capacitados incorporen herramientas digitales en sus clases y que los estudiantes mejoren sus habilidades en el uso de tecnologías para el aprendizaje. Se prevé también un incremento en la motivación y participación de los estudiantes en actividades escolares basadas en tecnología.

• Impacto: efectos de largo plazo positivos y negativos, primarios y secundarios, producidos directa o indirectamente por la intervención para el desarrollo, intencionalmente o no .

Ejemplo: a largo plazo, la intervención contribuirá a reducir la brecha digital en comunidades rurales, fortalecerá la inclusión educativa y mejorará las oportunidades de acceso a educación superior o empleo para los estudiantes beneficiados. Además, se generará un modelo replicable de alfabetización digital que otras instituciones educativas podrán adoptar.

Se sugiere elaborar la teoría de cambio al momento de formular el proyecto (ex-ante), dado que esto permitirá mejorar su coherencia y facilitar su planificación y evaluación. No obstante, esta se puede reconstruir, modificar y/o ser adaptada durante las etapas de implementación (ex-dure), o posterior a su ejecución (ex-post) y revisarse continuamente.

c) Matriz de Marco Lógico es una herramienta de planificación y gestión de proyectos que presenta de forma resumida y estructurada los aspectos más importantes de una intervención. Esta matriz se organiza en una tabla de cuatro filas y cuatro columnas, donde se detallan los objetivos del proyecto, los indicadores para medir su cumplimiento, las fuentes de verificación y los supuestos o factores externos que podrían influir en su éxito. La estructura de la matriz se compone de:

Filas: corresponden a los distintos niveles de objetivos del proyecto.

• Fin: objetivo de largo plazo al que contribuye el proyecto.

• Propósito: objetivo específico que se espera lograr al finalizar el proyecto.

• Componentes/resultados : productos o servicios que resultan de las actividades del proyecto.

• Actividades: acciones necesarias para generar los componentes o resultados.

Columnas: proporcionan información detallada sobre cada nivel de objetivos:

• Resumen narrativo : descripción de los objetivos y actividades.

• Indicadores : criterios cuantitativos o cualitativos que permiten medir el logro de los objetivos.

• Medios de verificación: fuentes de información que respaldan los indicadores.

• Supuestos: factores externos que podrían afectar el logro de los objetivos.

Estas herramientas facilitan la identificación y priorización de problemas de un proyecto para definir una adecuada planificación de actividades y la evaluación de resultados, asegurando una gestión eficiente y efectiva.

Etapas y recomendaciones para realizar una evaluación de VcM de la USS

6. Etapas y recomendaciones para realizar una evaluación de VcM de la USS

6.1 ¿Cuáles son las etapas para realizar una evaluación?

La evaluación es un proceso que considera distintas etapas que pueden ser agrupadas en 5 fases: la definición de la evaluación y su alcance; el diseño de la metodología de evaluación; la recolección de los datos; el análisis; y los resultados y su difusión.

Estas etapas permiten estructurar de manera efectiva el proceso de evaluación, asegurando que los objetivos de la evaluación sean claros, que se recolecten datos de calidad, que se realice un análisis riguroso y que los resultados se comuniquen adecuadamente a los actores relevantes (OCDE, 2010).

Tabla 2. Etapas de la evaluación

Definición de la evaluación y su alcance

2

Diseño de la metodología de evaluación

Recolección Análisis Resultados y difusión

Fuente: Elaboración propia - Vicerrectoría de Vinculación con el Medio - USS

Se presenta a continuación un diagrama con el resumen de las etapas y las principales subetapas y actividades que contiene cada una para, posteriormente, detallar consideraciones relevantes en cada una de ellas.

Figura 4. Etapas, subetapas y actividades de una evaluación.

Etapa 1

Definición de la evaluación y su alcance

1.1 Definir que tipo de evaluación voy a realizar

1.2 Definir la unidad de análisis a evaluar

1.3 Definir la temporalidad o el período que abarcará la evaluación

1.4 Definir los niveles y ámbitos de contribución a evaluar

1.5 Considerar criterios de factibilidad

Etapa 2

Diseño metodológico de la evaluación

2.1 Presentar y describir las iniciativas de VcM a evaluar

2.2 Formulación de los objetivos de la evaluación

2.3 Definir la metodología de evaluación a utilizar

• Métodos de investigación

• Técnicas de recolección

• Tipos de fuentes de información

• Definir públicos objetivos y muestreos

• Definir y elaborar los instrumentos

• Planificación y plan de trabajo

• Resguardo de aspectos éticos

Fuente: Elaboración propia - Vicerrectoría de Vinculación con el Medio - USS

Etapa 3

Recolección de la información

3.1 Consideraciones para la recolección de la información

3.2 Tamaño muestral y precisión de los datos

3.3 Aspectos clave para la calidad de la información

3.4 Sistematización

Etapa 4

Análisis de la información

4.1 Herramientas para apoyar el análisis

4.2 Relevancia del trabajo en equipo

Etapa 5

Resultados y difusión de resultados

5.1 Elaboración de productos e insumos de evaluación

5.2 Visualiación y comunicación de hallazgos

5.3 Difusión, uso y retroalimentación de resultados

Fuente: Elaboración propia - Vicerrectoría de Vinculación con el Medio - USS

1. Definición de la evaluación y su alcance:

En esta fase se determina el tipo de evaluación a realizar, definiendo qué y cómo se evaluará. Se establece el alcance y la delimitación del proceso, junto con los objetivos de la evaluación. Además, se presentan las definiciones clave, la justificación y los criterios que guiarán el desarrollo de la evaluación.

2. Diseño metodológico de la evaluación:

Se seleccionan la metodología y las técnicas de evaluación más adecuadas para alcanzar los objetivos planteados. Asimismo, se diseñan los instrumentos de recolección de datos. En esta etapa, es fundamental definir los plazos, recursos y aspectos operativos, incluyendo la programación, el cronograma y las acciones necesarias para obtener la información. Todo ello permite ajustar el diseño a las condiciones, recursos y tiempos disponibles, fundamentando las decisiones tomadas y estableciendo una planificación detallada del trabajo.

3. Recolección de información:

En esta fase se lleva a cabo el trabajo de campo, así como el procesamiento y organización de la información recopilada mediante los métodos previamente definidos. Los datos se sistematizan para su posterior análisis.

4. Análisis de la información:

Se analizan los datos recolectados con el fin de responder a los objetivos establecidos en la primera fase. En esta etapa se elaboran los productos de la evaluación, incluyendo el análisis de hallazgos, la interpretación de resultados, las conclusiones y las recomendaciones derivadas.

5. Presentación y difusión de resultados:

La elaboración de informes y la comunicación de los resultados constituyen una fase clave del proceso. Dado que uno de los principales propósitos de la evaluación es apoyar la toma de decisiones, es esencial garantizar la difusión de los hallazgos y recomendaciones a los actores involucrados, priorizando la devolución de los resultados.

Para la formulación de la definición y alcance de la evaluación se deberá:

ETAPA 1: DEFINICIÓN DE LA EVALUACIÓN Y SU ALCANCE A

1.1 Definir qué tipo de evaluación voy a realizar:

Como se mencionó, existen diversos tipos de evaluaciones ex antes, ex dure y ex post, pero será relevante enfocar las evaluaciones de las iniciativas, programas y proyectos de VcM en la evaluación de resultados, cuyo propósito es medir y analizar los efectos directos o indirectos de un programa, evaluando si ha cumplido con los objetivos e indicadores establecidos y en qué medida se han logrado los resultados esperados de cada iniciativa.

Adicionalmente, se busca visualizar cómo los diversos instrumentos de VcM se orientan a contribuir al logro del propósito de la VcM y los resultados e impactos definidos en el Modelo de Evaluación.

modo de ejemplo:

• Ex ante: en la formulación de un Programa de Educación Ambiental para comunidades rurales, la evaluación ex ante modificó las necesidades que tenían los habitantes respecto a la gestión de residuos y conservación del agua. A partir de esta información, se ajustó el diseño del programa para incorporar componentes específicos sobre estas temáticas, garantizando de mejor manera su pertinencia y efectividad.

• Ex dure: en un Proyecto Colaborativo de salud comunitaria, que contempla la capacitación de voluntarios(as) para la atención de personas mayores, la evaluación ex dure reveló que la metodología utilizada en las capacitaciones no era lo suficientemente interactiva, lo que afectaba la retención del contenido y preparación del equipo ejecutor. A partir de este hallazgo, se ajustó la estrategia pedagógica, incorporando simulaciones prácticas y estudios de caso para mejorar la experiencia de aprendizaje.

• Ex post: en un Programa Territorial Hito donde se realizaron actividades de Innovación Productiva en PYMEs, la evaluación ex post mostró que el 80% de las empresas participantes implementaron estrategias de digitalización sugeridas en los talleres, mejorando su competitividad en el mercado. Además, un año después, se evidenció un aumento del 25% en sus ventas promedio, lo que confirmó el resultado e impacto positivo del programa en la sostenibilidad económica de los negocios beneficiados.

Fuente: Elaboración propia - Vicerrectoría de Vinculación con el Medio - USS

1.2 Definir la unidad de análisis a evaluar

Cada una de las iniciativas, programas y proyectos de VcM presenta características particulares, lo que plantea como primer desafío delimitar claramente el “objeto” de evaluación o la “unidad de análisis” en la que se centrará el proceso. La unidad de análisis es la entidad principal que se examina en una investigación, determinando el “qué” o “quién” se está estudiando. En las ciencias sociales, las unidades de análisis comunes incluyen individuos, grupos, organizaciones, países, interacciones sociales o artefactos.

Por ejemplo, la mayoría de estas iniciativas y proyectos cuentan con varios años de ejecución, tienen su propia formulación y objetivos, y, en algunos casos, como en los Programas Territoriales Hito, incluyen diversas iniciativas asociadas, tanto vigentes como finalizadas; cada una con sus propios objetivos, formulaciones y resultados.

Por lo tanto, un aspecto clave al definir es qué se va a evaluar y determinar con precisión el alcance de la evaluación, asegurando que este abarque los elementos esenciales para cumplir con los objetivos del análisis.

1.3 Definir la temporalidad o el periodo que abarcará la evaluación

Es fundamental establecer un período específico que delimite el alcance temporal de la evaluación. Por ejemplo, se debe decidir si esta incluirá únicamente las versiones de las iniciativas, programas o proyectos vigentes en 2023 y/o 2024. En el caso de abarcar proyectos desarrollados

desde 2019 hasta 2024, el número de iniciativas sería considerablemente alto (más de 40 proyectos o múltiples extensiones académicas), lo que podría dificultar el proceso debido a la complejidad de acceder a información actualizada, la posible desconexión de actores clave, y el hecho de que muchos de los proyectos más tempranos no fueron diseñados teniendo en cuenta el modelo actual.

Por el contrario, enfocarse en los años más recientes (2023 y 2024) permite un análisis más concreto y manejable, con mayor acceso a datos actualizados y a informantes clave. Esto asegura tanto la calidad de la información recolectada como la relevancia y utilidad de los resultados obtenidos para la toma de decisiones.

1.4 Definir los niveles y ámbitos de contribución a evaluar

Es importante establecer qué ámbitos del Modelo de Evaluación de la Contribución e Impacto

VcM-USS serán evaluados. Como se ha señalado al inicio de la guía y se puede revisar en detalle en anexos, este modelo identifica cuatro niveles de impacto:

• Institución

• Estudiantes

• Académicos

• Comunidad y Territorio

Cada nivel tiene sus propias dimensiones de resultados e impactos esperados, con factores, indicadores e instrumentos específicos que se pueden revisar en anexos.

Según las características de cada iniciativa, programa o proyecto, algunas dimensiones pueden ser más claras y pertinentes, facilitando la evaluación de la contribución en esos ámbitos específicos del modelo (ver figura 2).

Por ejemplo, en un proyecto donde los estudiantes ejecutan los procesos de rehabilitación, capacitación y talleres a personas mayores, la contribución hacia el nivel de estudiantes estará más presente, o de acuerdo con la temática e integrantes de un Consejo Consultivo Territorial, se podrán identificar otras. Hay otros que, por su diseño y características de sus programas, el rol de los académicos tiene mayor protagonismo. También podría decidirse evaluar cómo se contribuye a los resultados e impacto de todas las dimensiones, buscando por ejemplo, reforzar e integrar a futuro en los proyectos, a las áreas en las que se perciba una menor contribución.

1.5 Considerar criterios de factibilidad

De acuerdo con la Cepal (2021), la definición de criterios asegura que el alcance de la evaluación sea realista, útil y accesible en función de los recursos disponibles. En este sentido, resulta fundamental pensar estratégicamente cuál es la información más importante de levantar, proponiendo preguntas y objetivos que sean específicos, alcanzables y relevantes. Así, el alcance debe definir las áreas del proyecto que se evaluarán, estableciendo los límites del análisis (PNUD, 2009).

Por ejemplo, un factor importante de factibilidad a considerar es la disponibilidad, calidad y acceso a la información. En algunas iniciativas, programas y proyectos se cuenta con actas, minutas de acuerdos, informes de seguimiento, informes de cierre, informes de cumplimiento7, resultados de encuestas aplicadas a estudiantes y organizaciones, los cuales forman parte de los indicadores del modelo. Sin embargo, para un proyecto las encuestas que constituyen una relevante fuente de información secundaria pueden tener muy pocas respuestas o aplicaciones intermitentes en el periodo a evaluar.

De la mano con el alcance y las definiciones, esta primera actividad requiere del análisis de criterios de factibilidad de la evaluación, detallando la disponibilidad de información, tiempos, plazos y recursos, entre otros.

7. A partir de 2024, se comenzaron a implementar los informes de cumplimientos, que evalúan el grado de cumplimiento del proyecto respecto de lo comprometido.

EJEMPLO FINAL ETAPA 1: DEFINICIÓN DEL TIPO DE EVALUACIÓN, ALCANCE Y OBJETIVOS

En el marco de la evaluación del Proyecto Colaborativo Emblemático (PCE) Fitoterapia y Autocuidado, el año 2024, un grupo de estudiantes de un Diplomado en Vinculación con el Medio formuló el siguiente objetivo de evaluación, delimitando y justificando su alcance:

Evaluar los resultados de las distintas versiones del Proyecto Colaborativo Emblemático (PCE) “Fitoterapia y autocuidado”: educando a la comunidad” desarrollado entre los años 2021 y 2023 en la sede Concepción, identificando su contribución en las dimensiones de los niveles de estudiantes y académicos de acuerdo con el Modelo de Evaluación de la Contribución e Impacto VcM-USS.

Entre las justificaciones utilizadas por los estudiantes para dicha definición, luego de haber revisado los puntos anteriores, se encuentran:

• El PCE ha tenido una ejecución continua por casi 10 años, pero aún no se ha implementado en todas las sedes de la USS, destacando que la sede Santiago no lo ha desarrollado.

• Consideran que los resultados de la evaluación permitirán: ajustar y mejorar el diseño e implementación del PCE, especialmente en la sede Santiago y garantizar que el proyecto contribuya efectivamente a la formación integral de los estudiantes.

• Se utilizará el Modelo de Evaluación de la Contribución e Impacto VcM-USS, en solo dos dimensiones: estudiantes y académicos, por las características y naturaleza propia que tiene el diseño del proyecto donde hay un alto protagonismo de los estudiantes en la ejecución.

• La evaluación se basará en encuestas aplicadas desde 2021 a 2023, analizando la experiencia de los estudiantes en términos de vinculación con el medio y satisfacción académica, ya que es la información que se encuentra disponible a la fecha de la evaluación.

IMPORTANTE:

Para la fase de definiciones de la evaluación, es fundamental conocer y leer detenidamente la formulación de cada iniciativa, programa y proyecto, identificando y consultando toda la información que se encuentre disponible (ej: hipótesis y teoría de cambio, objetivos, beneficiarios, actividades, indicadores, encuestas, etc.).

Adicionalmente, se deberá revisar documentación como los informes de seguimiento (avance), cierre y resultados de cada iniciativa desde la plataforma de VcM, con el propósito de conocer los aspectos relativos a su implementación, nivel de cumplimiento de los objetivos planteados, productos, actores involucrados, participantes y beneficiarios, entre otra información relevante de los proyectos.

Lo anterior deberá considerar como referencia el Modelo de Evaluación de la Contribución e Impacto VcM-USS, identificando cómo los diversos aspectos de las iniciativas y logros a evaluar se vinculan con el modelo (y sus dimensiones, niveles, factores) y la Política de VcM, donde se formulan los elementos, características y rendimientos esperados de las iniciativas, programas y proyectos de VcM.

ETAPA 2: DISEÑO METODOLÓGICO DE LA EVALUACIÓN

Para la formulación de la definición y alcance de la evaluación se deberá:

2.1 Presentar y describir las iniciativas de VcM a evaluar:

Para tener claridad de qué se evalúa o de qué se trata cada una de la o las iniciativas, programas y proyectos de VcM, se deberá describir en qué consiste cada uno de ellos, enunciando sus principales características

Para facilitar la presentación general, su trayectoria y componentes, se sugiere sistematizar, resumir y/o comparar las características de cada proyecto señalando: el o los años de ejecución, sus objetivos,

principales características, actividades y número de participantes, entre otros elementos contenidos en las fichas de presentación u otros documentos formales, lo que facilita una comprensión integral y con ello delimitar y justificar con más claridad qué se considerará en la evaluación y qué no, justificando aquella decisión.

A partir de la presentación de las iniciativas, programas y proyectos de VcM, es importante reconstruir o tener claridad acerca de los supuestos, definiciones o necesidades que estuvieron detrás de los planteamientos de problemas que se buscaron abordar y las acciones que se definieron para aquello. Para ello se podrá utilizar el marco lógico y teoría del cambio.

Por ejemplo: Resumen del PTH “Más Nutrición, Más Vida”

El Programa Territorial Hito “Más Nutrición Más Vida” se enfoca en promover hábitos de vida saludables en la Región del Biobío a través de la promoción de la salud y la innovación alimentaria de salud pública regional. En el año de su fundación, el 78% de la población de Biobío presentaba sobrepeso u obesidad, mientras que el 69% era sedentario (OCDE). Además, la región superaba el promedio nacional en mortalidad por ataque cerebrovascular e infarto agudo al miocardio.

El PTH ha consolidado un enfoque interdisciplinario con la participación de nueve facultades de la Universidad San Sebastián, abordando tres líneas de acción:

1. Promoción de la salud y calidad de vida: fomento de hábitos saludables en la comunidad universitaria y regional.

2. Desarrollo e innovación en salud y alimentación: estrategias innovadoras para resolver problemas de salud pública.

3. Política pública en salud: diseño y promoción de políticas en alimentación y calidad de vida.

A lo largo de sus años de funcionamiento, el PTH ha impulsado 38 proyectos colaborativos y alianzas con organismos públicos y privados, organizaciones de la sociedad civil e instituciones educativas, con una fuerte vinculación con el sector público.

EN RESUMEN

Uno de sus principales proyectos es “Trabajando por mi Salud”, una iniciativa enfocada en contribuir a mejorar los estilos de vida de los trabajadores de la Empresa de Ferrocarriles del Estado (EFE) en Santiago, Viña del Mar, Valparaíso y Concepción. Este proyecto en su versión de 2023 involucró a 140 estudiantes de distintas carreras en la sede Concepción:

• Enfermería: 2 estudiantes.

• Kinesiología: 47 estudiantes.

• Nutrición y Dietética: 73 estudiantes (distribuidos en tres asignaturas: 33, 26 y 14).

• Psicología: 27 estudiantes.

El proyecto aborda la malnutrición por exceso y su impacto en enfermedades crónicas como la diabetes, hipertensión y obesidad, promoviendo la salud a través de intervenciones educativas y prácticas dirigidas a los trabajadores de EFE.

Si aplicamos a esta presentación los aspectos determinados en la etapa 1, sobre la definición del tipo de evaluación y su alcance, podemos agregar:

Si bien existen versiones de este proyecto desde el año 2019 hasta su más reciente implementación en 2024, aún en ejecución, para esta evaluación nos centraremos mayoritariamente en los indicadores de su última ejecución, es decir, el proyecto realizado durante el año 2023, ya que incorpora lecciones aprendidas y mejoradas de sus versiones anteriores. Aun así, cabe mencionar que, a lo largo del análisis, se realizarán contrastes entre el primer año de ejecución en 2019 y el último año de ejecución en 2023, con el objeto de evaluar el progreso que tuvo la iniciativa, además de comparar resultados para evidenciar tendencias de manera eficiente.

Hasta aquí se deberá plantear en detalle las características y descripción de las iniciativas a evaluar, relacionando los elementos de la iniciativa que serán abordados en la evaluación que se realizará, según las justificaciones y definiciones del punto anterior. El propósito del ejercicio será focalizar y dejar claro el marco de la evaluación y bajo qué criterios técnicos y pragmáticos de factibilidad se han fundado, estando debidamente explicadas y justificadas.

2.2 Formulación de los objetivos de la evaluación

Los objetivos sirven para definir qué se espera lograr con la evaluación, el propósito de la evaluación y qué aspectos se analizarán, lo que guiará el “cómo” se llevará a cabo el proceso de recopilación y análisis de datos en el diseño metodológico.

En esta etapa nos debemos preguntar ¿Qué resultados queremos evaluar? ¿Qué indicadores reflejan el éxito del proyecto? ¿Qué queremos aprender de esta evaluación?

El objetivo general de una evaluación de resultados busca describir de manera amplia el propósito principal de la evaluación. Este objetivo suele centrarse en medir el grado en que el programa ha logrado los resultados esperados o su impacto en la población beneficiaria o en este caso, su nivel o grado de contribución al Modelo de Vinculación con el Medio.

Un buen objetivo general debe ser claro, enfocado y estar orientado a la acción (qué voy a hacer). Para la formulación se debe considerar:

• Enfoque amplio: se refiere al propósito general del estudio o de la evaluación, en su integralidad.

• Orientado a los resultados: describe los cambios o efectos que la evaluación busca en su propósito.

• Relación con el programa: está alineado con los objetivos del programa que se evalúa y con la política y el modelo de contribución a la VcM.

Los objetivos específicos, por su parte, son declaraciones más concretas y detalladas que desglosan el objetivo general en áreas específicas. En su definición deben estar:

• Alineados con el objetivo general: cada objetivo específico desglosa o complementa al objetivo general.

• Concretos y detallados: abordan aspectos específicos del objetivo general.

• Medibles/accionables: se formulan de manera que se puedan evaluar cuantitativa o cualitativamente.

A partir de las definiciones iniciales se plantearán los objetivos generales y específicos de la evaluación de resultados. Todo este proceso debe tener un desglose lógico que va desde lo general a lo particular (pregunta, objetivos, metodologías, instrumentos), donde en todo momento debemos asegurar su alineamiento Los siguientes son ejemplos de formulación de objetivos y delimitación del objeto de estudio.

Por ejemplo, ¿cómo podríamos formular los objetivos de evaluación del Programa Territorial Hito “Más Parques”?

Este Programa Territorial Hito surge debido a la desarticulación de los elementos naturales y las comunidades que componen la macro región patagónica y la débil de valoración y reconocimiento de estos ecosistemas, lo que se traduce en una falta de planificación sustentable del territorio, desarrollo productivo desmedido, pérdida de la biodiversidad, desequilibrio del metabolismo ambiental y falta de regulaciones e incentivos para la conservación, en un contexto de cambio climático. En esta zona se encuentra el 91% de las áreas naturales protegidas por el Estados, 19 parques nacionales y reservas y más de 13,5 millones de hectáreas.

Este PTH busca generar en el mediano plazo un modelo de gestión territorial sustentable para la puesta en valor, conservación, recuperación y restauración de las áreas naturales mediante el trabajo colaborativo y multidisciplinario de la academia y los diferentes actores del medio, para impulsar el desarrollo sostenible de los territorios.

Sus tres líneas de acción son la promoción de la conservación mediante la educación ambiental, la planificación, diseño y tecnología para el desarrollo de estrategias y herramientas de gestión territorial sustentable que permitan mejorar la conservación de ecosistemas naturales y potencia el turismo sustentable a través de la innovación y el apoyo a los emprendedores y las comunidades locales.

Objetivo general:

Evaluar los resultados del Programa Territorial Hito “Más Parques” y sus proyectos relacionados finalizados en el año 2023 en la línea de turismo sustentable, e identificar su contribución a los cuatro niveles del Modelo de evaluación de impacto de VcM-USS.

Objetivos específicos:

1. Identificar el cumplimiento de los objetivos de los Proyectos Colaborativos de la línea de turismo sustentable del PTH Más Parques.

2. Identificar la valoración y satisfacción que tienen los estudiantes que participaron de los Proyectos Colaborativos de la línea turismo sustentable del PTH.

3. Evaluar el nivel de satisfacción de los emprendedores y las organizaciones de las comunidades locales que participaron de los proyectos de turismo sustentable del PTH.

4. Identificar la experiencia y evaluación que realizan los académicos de los proyectos respecto a la contribución al modelo y el PTH según las características definidas en la Política de VcM.

2.3. Definir la metodología de evaluación a utilizar

La formulación del diseño de la evaluación de resultados y su diseño metodológico establecerán los mecanismos y acciones con los cuáles se logrará responder a los objetivos. Estos permitirán, en última instancia, identificar si las iniciativas, programas o proyectos de VcM, lograron sus objetivos propuestos y cuál fue su impacto o contribución, en este caso, al modelo de VcM.

Se deben establecer las metodologías a utilizar, justificando el enfoque y pertinencia de cada una en relación con los objetivos. En este apartado se definirá lo siguiente:

2.3.1 Métodos de investigación

La evaluación puede usar métodos cuantitativos para medir resultados numéricos, cualitativos para explorar percepciones y contextos, o mixtos para integrar ambas perspectivas, proporcionando una visión más completa y profunda de los impactos del proyecto (Sanz, 2011; Parera, 2009).

Dependiendo de los estudios, el fenómeno y la población de interés, se seleccionarán técnicas cualitativas (entrevistas, grupos focales, etnografías) o cuantitativas (encuestas, análisis estadístico). Las técnicas cualitativas permiten explorar y comprender fenómenos sociales desde la perspectiva de los participantes, centrándose en el significado, la experiencia y la construcción social de la realidad. Las técnicas cuantitativas, por otro lado, utilizan datos numéricos para medir variables y establecer relaciones causales, permitiendo generalizar los hallazgos a poblaciones más amplias.

• Metodologías cuantitativas: se enfocan en la recolección y análisis de datos numéricos para la evaluación del proyecto. Utiliza herramientas estadísticas para identificar relaciones causales, permitiendo encontrar tendencias o patrones mediante una evaluación objetiva y replicable. Sus principales ventajas refieren a la objetividad, generalización y comparabilidad (Parera, 2009). Para ello se puede utilizar análisis de datos descriptivos, univariados, bivariados.

• Metodologías cualitativas: buscan profundizar en las experiencias y percepciones de la población beneficiaria y otros actores involucrados con respecto al desarrollo del proyecto. Sus principales ventajas refieren a la profundidad, flexibilidad y multidimensionalidad (Sanz, 2011) y se enfoca en la interpretación de la realidad social, utilizando técnicas como: entrevistas, grupos focales o focus group, observación participante o no participante, análisis de discurso, entre otras.

• Metodologías mixtas : combinan enfoques cualitativos y cuantitativos de evaluación, buscando aprovechar las fortalezas de ambos para obtener una comprensión más integral. Permiten la triangulación de datos, enriqueciendo la interpretación de resultados y facilitando la toma de decisiones. Sus principales ventajas refieren al enriquecimiento de datos, la flexibilidad y la mayor comprensión (Sanz, 2011).

2.3.2 Establecer las técnicas de recolección de información: son los mecanismos que se emplearán durante la evaluación. Entre las técnicas cualitativas más comunes se encuentran las entrevistas, la observación participante, la etnografía, los grupos focales y el análisis de contenido documental. Para las técnicas cuantitativas, se utilizan generalmente encuestas online/web, presenciales, telefónicas y/o análisis estadísticos de información disponible en bases de datos existentes.

2.3.3 Definir los tipos de fuentes de información: es necesario especificar de dónde se obtendrán los datos, que pueden ser de fuentes primarias (información de primera mano obtenida directamente de los informantes) o secundarias (información disponible en registros administrativos, bases de datos, plataformas e informes). De acuerdo a las definiciones se especifican las siguientes definiciones (Casado, 2009):

• Fuentes primarias : datos que se recogen directamente de la población beneficiaria u otros actores involucrados en el proyecto. Se utilizan cuando se requiere información específica y contextual que no está disponible en fuentes existentes o cuando se busca entender mejor las percepciones y experiencias con relación al proyecto. Pueden incluir encuestas, entrevistas, grupos focales u observaciones.

• Fuentes secundarias: datos que ya han sido recolectados previamente. Estas fuentes son útiles cuando se necesita un contexto más amplio o para validar la información obtenida de fuentes primarias. Su uso es recomendable cuando hay limitaciones de tiempo y recursos, ya que suelen ser más rápidas y económicas de acceder. Pueden incluir evaluaciones previas, informes, estadísticas o literatura académica. De todos modos, el enfoque combinado permite obtener una visión más integral y precisa del desempeño del proyecto, facilitando la toma de decisiones y robusteciendo la evaluación (Casado, 2009).

Por ejemplo, para la evaluación del programa Mi Espacio Mayor, se contará con información de fuentes primarias y secundarias. La información primaria provendrá de la aplicación de encuestas a dirigentes de organizaciones sociales participantes en la iniciativa y se realizarán entrevistas a académicos. La información de fuentes secundarias provendrá desde bases de datos y resultados de encuestas aplicadas a estudiantes y los informes de cierre del proyecto.

2.3.4 Definir los públicos objetivos y muestreos: corresponde a la especificación del alcance y número de personas que formarán parte de la evaluación o las unidades de análisis.

Por ejemplo, “se realizarán 10 entrevistas a actores clave del proyecto, 4 a académicos responsables de los Proyectos Colaborativos, 4 a estudiantes participantes y 2 a organizaciones sociales”. También puede aplicarse encuestas a un universo de estudiantes o a una muestra representativa.

2.3.5 Definir y elaborar los instrumentos: se definen los instrumentos de recolección de datos, tales como cuestionarios y pautas de entrevistas. Estos deben estar alineados con los objetivos, públicos objetivo y los niveles, factores e indicadores del modelo de evaluación; para ello, podría ser recomendable realizar una operacionalización.

La operacionalización en un diseño de evaluación, es el proceso mediante el cual se definen

las variables de interés en términos de procedimientos específicos de medición, permitiendo su observación y cuantificación. Este proceso implica transformar conceptos abstractos en indicadores observables y medibles , facilitando la recolección y análisis de datos empíricos (Reguant y Martínez-Olmo (2014).

Dependiendo de las características de los indicadores, las unidades de análisis y de la existencia de registros externos se deben definir los instrumentos de recolección de datos.

2.3.6 Elaborar una planificación o plan de trabajo: se debe establecer un plan de trabajo, cronograma y estrategia (realizar actividades consecutivas o paralelas) para la recolección de la información que será requerida de acuerdo con los plazos definidos, las actividades y fases del proceso desde su inicio hasta su fin, lo que concluye con la entrega y presentación del informe final y sus resultados.

Fuente: Elaboración propia - Vicerrectoría de Vinculación con el Medio - USS

Figura 5. Imagen referencia de una carta Gantt.

2.3.7 Resguardar los aspectos y consideraciones éticas: en todos los estudios e investigaciones en las que se involucran personas, es esencial garantizar que se respeten principios éticos. Algunas consideraciones clave cuando se realizan levantamientos de información primaria, incluyen que al ser invitados/as y previo a acceder a participar de forma voluntaria, sean informados/as sobre el propósito y objetivos del estudio de evaluación; el uso que se le dará a la información, garantizando la confidencialidad y privacidad de su información (presentación agregada o anonimizada de resultados); y en qué consistirá su participación y si esto implica riesgos o beneficios potenciales, entre otros elementos. Estos pueden ser transmitidos a través de las cartas y correos de invitación, al inicio o previo al levantamiento (entrevistas/focus group), a través de consentimientos informados adecuados a cada grupo y técnica de recolección que será utilizada.

EN RESUMEN

Resumen Etapa 2 - Diseño metodológico de la evaluación

El segundo paso de una evaluación se enfoca en la formulación del Diseño de la Investigación, poniendo énfasis en la factibilidad de la evaluación. Se definen preguntas y objetivos que sean realistas y pertinentes de evaluar y finalmente, se define una metodología de evaluación, ya sea cuantitativa, cualitativa o mixta, y se identifican las fuentes de información primaria o secundaria necesarias para la evaluación.

ETAPA 3: RECOLECCIÓN DE LA INFORMACIÓN

3.1 Consideraciones para la recolección de información

La evaluación de resultados se llevará a cabo conforme al diseño metodológico definido. Esta etapa, comúnmente denominada levantamiento de información o trabajo de campo, consiste en la ejecución de las actividades planificadas para alcanzar los objetivos de la evaluación. Es un proceso clave para garantizar la calidad y fiabilidad de la información obtenida.

La recolección de datos debe estar guiada por una planificación detallada que abarque desde la organización del proceso hasta la implementación efectiva de los instrumentos diseñados.

Si se requiere recopilar información primaria, ya sea mediante metodologías cualitativas o cuantitativas, se deberán aplicar las técnicas previamente definidas, como la realización de focus group con los públicos objetivo, la aplicación de encuestas o la ejecución de entrevistas a los actores y muestras seleccionadas.

Por otro lado, cuando se trabaja con información secundaria —como datos administrativos o registros previos—, la fase de recolección incluirá su identificación y recopilación para su posterior sistematización, análisis e interpretación de resultados.

3.2 Tamaño muestral y precisión de los datos

Para cada indicador de evaluación se debe establecer el tamaño muestral requerido, de manera que los resultados permitan extraer conclusiones correctas sobre la gestión y el impacto del programa. Si el margen de error de los datos es mayor que el impacto esperado en los indicadores, no será posible determinar si los cambios observados son reales o si responden a características de la muestra.

Por ejemplo, si un proyecto dirigido a personas mayores evalúa la participación de estudiantes a lo largo de seis años, se podrá calcular una muestra aleatoria simple para la aplicación de un instrumento y realizar un seguimiento en el tiempo, diferenciando entre aquellos que continúan participando y aquellos que lo hicieron en versiones anteriores.

3.3 Aspectos claves para la calidad de la información

Para que la información recolectada sea útil, debe cumplir con criterios de confiabilidad y oportunidad. Esto implica que, en el diseño de los instrumentos de recolección, se deben definir con precisión la unidad de registro, la frecuencia y periodicidad del levantamiento y los planes de análisis de datos.

En el caso de estadísticas secundarias, ya sean datos provenientes de fuentes oficiales o de otros proyectos o programas, es fundamental analizar su validez y confiabilidad antes de ser utilizadas para una evaluación.

Independientemente del origen de los datos, es crucial identificar quiénes serán responsables de su recolección. Asimismo, es necesario definir cuándo y qué tipo de información se requiere, asegurando su alineación con los flujos de actividades del proyecto para generar una logística y organización que permita el logro de la evaluación.

3.4 Sistematización

Durante la recolección de información, se inicia el proceso de sistematización y análisis, donde los datos se organizan en función de los objetivos, sus hallazgos, dimensiones de la evaluación y el modelo, realizando énfasis en la “saturación” de la información, es decir, información que se torna repetitiva o bien, en sus distinciones, datos que se contraponen o muestran diferencias entre ellos (ej. diferencia de experiencia entre estudiantes o entre académicos y estudiantes respecto de un elemento evaluado). En el caso de la información cuantitativa la información se procesa y analiza con estadísticas simples o más avanzadas.

La sistematización implica organizar los datos recolectados de manera coherente y estructurada para facilitar su análisis. Según Jara (2010) y el Banco Mundial (2017), este proceso permite que la información obtenida sea comprensible y útil, ya que se clasifica y organiza en categorías que responden a las preguntas y objetivos de la evaluación. La OCDE (2010) destaca que la sistematización también es clave para identificar patrones y relaciones entre las variables evaluadas.

Fuente: Elaboración propia - Vicerrectoría de Vinculación con el Medio - USS

ETAPA 4: ANÁLISIS

4.1 Herramientas para apoyar el análisis

Dependiendo de la metodología utilizada, el análisis de los datos puede seguir enfoques cuantitativos, cualitativos o mixtos. El análisis cuantitativo se basa en técnicas estadísticas para medir resultados y compararlos con indicadores predefinidos, mientras que el cualitativo interpreta narrativas, percepciones y significados.

Por ejemplo: el 50% de los estudiantes declaró que su participación en el proyecto permitió el desarrollo de habilidades de “empatía”. En el caso de la información secundaria de datos y análisis documental (informes) pueden utilizarse matrices o rejillas para ir consignando la información a partir de las dimensiones e indicadores del Modelo. Al integrar diversos datos e información

cualitativa, cuantitativa y documental, se puede saturar la información, comparar, integrar, relacionar para dar cuenta, por ejemplo, de cómo el proyecto contribuyó a desarrollar habilidades socioemocionales de los estudiantes (porcentajes de acuerdo en la encuesta de estudiantes, datos y citas extraídas de los informes de cierres y lo que señalaron en entrevistas o focus group que se desarrollaron para estos efectos).

Con ello podremos concluir si se cumplieron los objetivos esperados de ese proyecto; si se contribuyó a esa dimensión del modelo en el nivel de estudiantes y de qué manera se hizo y/o podría potenciarse en futuras versiones. En la siguiente matriz, se observa un ejemplo de sistematización en el marco de una evaluación, asociado a los indicadores del Modelo de Evaluación VcM.

Cuadro 8. Matriz

utilizada

DECLARACIONES INSTITUCIONALES USS

Nivel Dimensión Factor

para la

sistematización de un proyecto.

DECLARACIONES DEL PROYECTO “RESULTADOS DEL PROYECTO MI ESPACIO MAYOR”

N° de estudiantes declaraados en la/s asignatura/s

N° de estudiantes declarados como participantes

N° de actividades comprometidas

543 414 253

Estudiantes Aprendizaje experiencial para el cambio social.Experiencias laborales situadas tempranas. Desarrollo de habilidades disciplinares, socioemocionales y de ciudadanía. Conocimiento de la realidad social.Detección temprana de talentos y expectativas laborales futuras.

Relevancia para el proceso formativo. Compromiso con el cambio social.Experiencia laboral temprana. Competencia disciplinar. Manejo de información para la toma de decisiones relativas al campo disciplinar.Proligidad en el desarrollo de la disciplina. Empatia.Comunicación. Adaptación y flexibilidad. Resolución de problemas. Conocimiento y comprensión de la realidad social.Comprensión de su aporte a la sociedad desde su rol profesional/ laboral.Entendimiento de su aporte a la sociedad desde su rol profesional/ laboral.

HALLAZGOS

A nivel de resultado A nivel de proceso

Objetivo general

Promover la participación social, salud mental y física de las personas mayores de la Agrupación Vive mayor y del Consultorio las Américas y de la Comuna de Estación Central, mediante el desarrollo de actividades psicoeducativas y colaborativas entre estudiantes de las carreras de kinesiología, psicología, nutrición y obstetricia lo cual permita también fortalecer sus capacidades de diagnóstico, intervención y evaluación de impacto asociadas a los resultados de aprendizaje de las asignaturas que participan.

Objetivos específicos (informe de cierre)

Desarrollar un adecuado nivel de conocimientos de las personas mayores respecto a diversas temáticas de salud de la mujer para la formación de gestoras en salud a través de atenciones hibridas y entrega de material educativo realizado por estudiantes de obstetricia.

Indicador de resultado

N° de personas mayores que obtienen un 60% de conocimiento en la evaluación / N° de personas mayores que responden la evaluación) x 100

% esperado del indicador

N° estudiantes con participación efectiva/ activo

N° total de participantes reales

N° de actividades realizadas

% de cumplimiento del objetivo

PROFUNDIZACIÓN CUALITATIVA

A nivel de resultado A nivel de proceso

Fortalezas Oportunidades de mejora Fortalezas Oportunidades de mejora DOCENTE ESTUDIANTES DOCENTE ESTUDIANTES

Se constata que la participación efectiva de 15 de los 20 personas mayores indica un alto interés y compromiso.

En relación a los estudiantes declarados versus actividades realizadas existe una inconsistenicia, ya que el informe final refiere actividades planificadas pero no realizadas

La combinación de atenciones presenciales y virtuales permitió flexibilidad en el aprendizaje. La formación de gestoras de salud entre las personas mayores contribuyó a su empoderamiento, permitiendoles asumir roles activos en el cuidado y el de otros.

La falta de materiales adaptados a las necesidades específicas de las personas mayores podría haber limitado la efectividad de la enseñanza.

“Hubo discrepancias entre los datos reportados en los informes de ejecución del proyecto, como las actividades no realizadas que en realidad sí se llevaron a cabo. Por ejemplo, el programa de Obstetricia se reportó como “”no realizado”” aunque efectivamente se hizo. En los informes de 2023, no se especificaban detalles como fechas exactas ni el número de actividades realizadas. Solo se mencionaba la planificación a grandes rasgos sin números exactos, lo que dificultaba la verificación y análisis detallado.”

Los estudiantes declaran que la actividad fue voluntaria, y aunque la mayoría de los estudiantes son invitados a participar, algunos no lo hacen debido a la falta de información (como no saber cómo inscribirse o no revisar los correos electrónicos). Por otro lado, hay se declara que muchos estudiantes no participan en los proyectos debido a que están más enfocados en los internados y otros compromisos académicos, lo que limita su participación en actividades extracurriculares. Se señala, además, que hubo dificultades en la planificación de las sesiones presenciales, ya que a menudo las fechas no se confirmaban hasta muy tarde y esto generaba problemas logísticos, como la falta de disponibilidad de espacios (gimnasios, sedes). Se propone que las fechas se definan desde el inicio del año para evitar estos problemas.

No hubo una evaluación formal del proyecto en 2022. Los datos disponibles eran principalmente encuestas de los participantes y algunos comentarios informales. A pesar de la falta de informes evaluativos previos, el proceso se describió como “”continuo””, con modificaciones basadas en la retroalimentación recibida durante el año.

Al inicio del proyecto no existía un modelo definido para evaluar el impacto de las intervenciones. El único mecanismo disponible eran encuestas y mediciones realizadas de manera más “”suelta””. A partir de 2023, la unidad San Sebastián construyó un modelo de Vinculación con el Medio (VCM), y se está comenzando a implementar formalmente este modelo para evaluar de manera más metodológica el impacto de los proyectos.”

Algunos adultos mayores tenían dificultades para leer el material entregado, sugiriendo que podría haberse utilizado material más accesible, como recursos auditivos o visuales, en lugar de solo folletos escritos. Esto reflejó una dificultad en cuanto a la accesibilidad de la información. Asimismo, aunque hubo algunos problemas menores con la conexión en las reuniones online, la mayoría de los adultos mayores pudieron participar sin dificultades significativas. Además, destaca que los adultos mayores se presentaban bien preparados en las sesiones presenciales.

El número de personas mayores que participaron activamente en los talleres de Kinesiología (60 de 81) indica un gran interés y compromiso por parte del grupo objetivo.

La ausencia de información precisa sobre el número de actividades realizadas dificulta evaluar la frecuencia de la intervención.

La combinación de atenciones presenciales y telerehabilitación permite que mas personas mayores accedan a la información, adaptándose a diferentes necesidades y preferencias de aprendizaje. La colaboración entre los estudiantes de kinesiología y personas mayores ha permitido un intercambio de experiencias y conocimientos, enriqueciendo la educación sobre el riesgo de caídas. Este enfoque partcipativo promueve un sentido de pertinencia y empoderamiento en la comunidad.

Aunque el contenido es coherente y relevante, puede haber dificultades en la aplicación práctica del conocimiento adquirido. La metodología de evaluación puede no haber capturado adecuadamente las habilidades prácticas o la comprensión profunda de los participantes, lo que dificulta una medición efectiva del conocimiento.

No se profundizó en este aspecto. Se considera que la baja participación estudiantil se debe a la carga académica, ya que muchas de las actividades del proyecto coinciden con horarios de clases o periodos de exámenes.

No se profundizó en este aspecto. La principal dificultad fue interiorizar los conocimientos adquiridos en clase y aplicar la teoría en la práctica, sobre todo cuando se trataba de realizar mediciones y otras actividades prácticas que solo habían aprendido teóricamente en la universidad. Sin embargo, reconoce que el apoyo de la profesora fue crucial para superar esta dificultad.

Cuadro 9. ANEXO 5: nivel de cumplimiento de los objetivos específicos de los PCE de “Fitoterapia y autocuidado: educando a la comunidad”, desarrollados entre los años 2021 y 2023.

% resultado obtenido

1 2,8%

Reflexiones de resultado por objetivo

La baja participación de los usuarios pensamos que se debe a que el realizar actividades de forma remota ya dejo de ser llamativa y el largo periodo de la pandemia ha influido en que la gente comience muy activa, pero a lo largo del tiempo decae. Al inicio del proyecto se inscribieron más de 40 personas y terminaron 5, y de estas no completaron todas las actividades.

La baja participación de los usuarios pensamos que se debe a que el realizar actividades de forma remota ya dejo de ser llamativa y el largo periodo de la pandemia ha influido en que la gente comience muy activa, pero a lo largo del tiempo decae. Al inicio del proyecto se inscribieron más de 40 personas y terminaron 5, y de estas no completaron todas las actividades.

% resultado obtenido

Reflexiones de resultado por objetivo

De los usuarios que asistieron se logró establecer que solo 2 personas de las 11 que rindieron el diagnostico tenían conocimiento sobre el uso de algunas de las 10 plantas medicinales consultadas.

% resultado obtenido

De los usuarios que asistieron permanentemente se logró establecer que 7 personas de las 8 que rindieron la evaluación final adquirieron conocimientos sobre el uso de al menos 5 de las 10 plantas medicinales trabajadas en la capacitación.

100%

Reflexiones de resultado por objetivo

A través de la aplicación de: encuestas, evaluaciones diagnóstica y final. Los estudiantes pudieron realizar informes estadísticos con los datos recopilados en el proyecto a través del tiempo.

92,8%

De los usuarios que asistieron permanentemente se logró establecer que 13 personas de las 14 que rindieron la evaluación final adquirieron conocimientos sobre el uso de al menos el 50% de las propiedades y usos de las plantas medicinales en las charlas/talleres.

Fuente: Evaluación en el marco del Diplomado en VcM, Fitoterapia y autocuidado.

4.2 Relevancia del trabajo en equipo

Un elemento central en el análisis de resultados es la colaboración entre diversos actores internos y externos del proyecto y el trabajo en equipo y validación de resultados. La diversidad de miradas enriquece el análisis, fortalece las conclusiones y aporta distintas perspectivas para la interpretación de los hallazgos.

ETAPA 5: RESULTADOS Y DIFUSIÓN

5.1 Elaboración de productos e insumos de la evaluación

Finalizado el análisis de resultados se deben preparar los productos y documentos que serán presentados a los diferentes públicos interesados. La OCDE (2010) y Gertler et al. (2017) recomiendan que los entregables incluyan:

• Resumen ejecutivo: documento accesible que sintetiza los hallazgos clave, conclusiones y recomendaciones.

• Informes detallados: documento con el análisis completo de los resultados, conclusiones y recomendaciones, orientado a la toma de decisiones.

• Presentaciones adecuadas a directivos, estudiantes, etc.

• Estos productos deben ser claros, comprensibles y adaptados a las necesidades de cada público objetivo.

5.2 Visualización y comunicación de hallazgos

Para garantizar la difusión efectiva de los resultados, es esencial presentarlos de manera clara y comprensible para los distintos públicos. La visualización de datos a través de gráficos, infografías y tablas facilita la interpretación y permite identificar patrones y conclusiones clave de forma rápida y efectiva (Banco Mundial, 2017; BID, 2014). Según la OCDE (2010), adaptar la comunicación a cada audiencia es fundamental para, por ejemplo, llegar a responsables de formulación de políticas: que requieren informes detallados y análisis técnicos y la ciudadanía y otros actores: se benefician de resúmenes ejecutivos, infografías y materiales visuales accesibles. Asimismo, el PNUD (2017) destaca que una comunicación efectiva no solo mejora la

Fuente: Elaboración propia - Vicerrectoría de Vinculación con el Medio - USS

Figura 6. Infografía, Línea de tiempo

transparencia, sino que también aumenta la probabilidad de que los hallazgos sean utilizados para mejorar la toma de decisiones y la gestión de futuros programas.

5.3 Difusión, uso y retroalimentación de los resultados

La difusión de los hallazgos debe considerar la socialización con los participantes del proceso evaluativo, la comunidad educativa y los actores de Vinculación con el Medio. Se recomienda:

• Elaborar infografías, resúmenes y presentaciones para facilitar la comprensión.

• Organizar instancias de presentación y retroalimentación para discutir aprendizajes y recomendaciones.

• Acordar colaborativamente mejoras para futuras versiones del programa, otros proyectos vigentes y nuevos modelos de intervención.

Los formatos de difusión deben ser claros, sintéticos y accesibles, incluyendo tanto informes escritos detallados como materiales interactivos. Complementariamente, se pueden realizar sesiones de retroalimentación dirigidas a los principales actores internos y externos, asegurando que los hallazgos sean utilizados para fortalecer la toma de decisiones y la implementación de futuros programas. Fuente: Elaboración propia - Vicerrectoría de Vinculación

Figura 7. Infografía

¿Sabías qué?

Durante 2024 se evaluaron algunos Programas Territoriales Hito y Proyectos Colaborativos de continuidad en el contexto del cumplimiento de Convenios de Desempeño de Académicos VcM, y el Diplomado en Vinculación con el Medio, Territorio e Innovación, impartido por la USS.

Así también, se puso en marcha la Plataforma de Evaluación de la Contribución e Impacto, que permitió la aplicación de las Encuestas de Experiencia en Proyectos Colaborativos, tanto de estudiantes como de organizaciones externas, y la Encuesta de Experiencia de Académicos que participan en proyectos VcM.

Algunos ejemplos de recomendaciones que han surgido en el marco de la evaluación de algunas iniciativas, programas y proyectos y que pueden ser de utilidad a otros proyectos, son las siguientes:

1. Fomentar la participación de todos los actores: se recomienda implementar talleres participativos, reuniones regulares y mecanismos constantes de retroalimentación. Esto permite a los diferentes actores expresar sus opiniones y fortalecer su participación, motivación y compromiso con el programa o proyecto.

2. Consolidar un sistema de monitoreo progresivo : es importante mantener un sistema de seguimiento y monitoreo de las actividades, indicadores y el contexto del programa o proyecto. Esta información debe ser movilizadora para anticipar problemas y tomar decisiones que minimicen riesgos y aseguren los resultados esperados.

3. Fortalecer la interdisciplinariedad : la incorporación de actores de disciplinas diversas permite abordar los problemas desde múltiples perspectivas, favoreciendo la innovación y generación de soluciones más integrales.

4. Incluir a estudiantes de diferentes modalidades de estudio: la incorporación de estudiantes de distintos niveles y modalidades de estudio puede potenciar la respuesta del programa o proyecto al problema planteado, enriqueciendo además la experiencia de aprendizaje de los estudiantes si se generan espacios de trabajo conjunto.

5. Crear estrategias conjuntas con actores clave: se recomienda construir o participar de redes de colaboración sostenibles con actores clave que faciliten el intercambio de recursos y conocimientos en actuales y futuros programas o proyectos.

6. Definir indicadores de aprendizaje en los estudiantes: se sugiere establecer contenidos específicos y métricas claras para evaluar la efectividad de las estrategias educativas y el desarrollo de competencias en los estudiantes.

7. Asegurar la recolección y análisis de los datos disponibles: definir roles y responsabilidades asociadas al diseño, aplicación de los instrumentos de recolección de datos y análisis de los resultados, motivando a que los actores claves respondan las encuestas y/o participen de las instancias evaluativas.

8. Fortalecer la planificación: si bien es necesario mantener cierto grado de flexibilidad, una buena planificación del programa o proyecto evita cambios innecesarios en los cronogramas que pueden desmotivar a los actores involucrados.

Consideraciones finales

7. Consideraciones finales

Luego de haber revisado en detalle el Sistema Integrado de Evaluación de la Contribución e Impacto, sus herramientas y las orientaciones para diseñar y ejecutar las evaluaciones de las iniciativas de VcM, es fundamental reflexionar sobre algunos elementos clave para su implementación efectiva.

1. La Vinculación con el Medio es un campo en constante evolución.

• Su conceptualización y criterios de evaluación continúan desarrollándose, por lo que es necesario estar atentos a nuevas directrices, metodologías y enfoques. La flexibilidad y actualización continua son esenciales para una evaluación pertinente.

2. Utilizar la información disponible de forma realista y pragmática.

• La evaluación debe considerar los datos e insumos accesibles, priorizando aquellos que permitan obtener evidencia suficiente para la toma de decisiones, sin generar una carga excesiva en los equipos.

3. Apoyarse en los equipos de VcM.

• Los equipos de Vinculación con el Medio tienen experiencia en el diseño, ejecución y monitoreo de iniciativas, por lo que pueden ser un apoyo clave en la selección de herramientas y en la interpretación de los resultados.

4. Aprovechar la información existente y hacer levantamientos de datos cuando sea necesario.

• Antes de diseñar nuevas estrategias de recolección de datos, es recomendable revisar bases de información previas, reportes institucionales y registros administrativos que puedan servir de insumo para la evaluación.

5. Entender la evaluación como un proceso de mejora continua.

• Más allá de los informes y mediciones, la evaluación debe ser un ejercicio reflexivo que permita identificar oportunidades de mejora en la planificación e implementación de iniciativas de VcM y generar aprendizajes.

6. Garantizar la participación de los actores involucrados.

• La evaluación no solo debe medir impactos, sino también incorporar las voces de los beneficiarios, académicos y estudiantes, asegurando que las iniciativas respondan a necesidades reales y generen transformaciones sostenibles.

7. Asegurar el uso de los resultados de la evaluación.

• La información obtenida debe traducirse en mejoras concretas, ajustes estratégicos y fortalecimiento de las prácticas de VcM, evitando que la evaluación sea un ejercicio meramente formal o burocrático.

Fuente: Elaboración propia - Vicerrectoría de Vinculación con el Medio - USS

Glosario de conceptos fundamentales

• Árbol del problema: herramienta de análisis que permite estructurar visualmente una problemática, identificando sus causas y efectos para diseñar estrategias de intervención efectivas. Véase en Capítulo 5.1.

• Evaluación: proceso sistemático que permite recopilar y analizar información sobre una iniciativa para determinar su contribución a los objetivos establecidos, identificar oportunidades de mejora y fundamentar la toma de decisiones. Véase en Capítulo 4.1.

• Factor: elemento que permite descomponer una dimensión de evaluación en aspectos concretos y medibles, facilitando la posterior formulación de indicadores. Cada factor representa un componente clave del fenómeno evaluado y ayuda a organizar la información de manera estructurada. Véase en Capítulo 3.3.

• Fuentes de información: son los datos utilizados para evaluar una iniciativa. Se dividen en fuentes primarias, que provienen directamente de los actores relacionados a las iniciativas a través de encuestas, entrevistas, grupos focales, etc. y fuentes secundarias, que incluyen registros administrativos y bases de datos existentes. Véase en Capítulo 2.3.3.

• Indicador: unidad de medición que permite evaluar el grado de cumplimiento de un objetivo o la magnitud del impacto generado por una iniciativa. Véase en Capítulo 4.3.

• Metodologías cualitativas: buscan profundizar en las experiencias y percepciones de la población beneficiaria y otros actores involucrados con respecto al desarrollo del proyecto. Utilizan técnicas como entrevistas, grupos focales y análisis de discurso. Véase en Capítulo 2.3.2.

• Metodologías cuantitativas: se enfocan en la recolección y análisis de datos numéricos para la evaluación del proyecto. Utilizan herramientas estadísticas para identificar relaciones causales, permitiendo encontrar tendencias o patrones mediante una evaluación objetiva y replicable. Véase en Capítulo 2.3.2.

• Problema: necesidad identificada en un grupo de personas o sector de la sociedad que requiere intervención. Su formulación implica la identificación de causas, efectos y barreras para su resolución. Véase en Capítulo 4.4.

• Teoría del cambio: enfoque metodológico que representa la lógica causal de una intervención, mostrando cómo las actividades generan productos, resultados e impactos, facilitando la planificación y evaluación de iniciativas. Véase en Capítulo 5.1.

• Tipos de evaluación : clasificación de la evaluación según el momento de aplicación en una iniciativa. Ex ante se realiza antes de la implementación; ex dure, durante su ejecución, y ex post una vez finalizada la intervención para analizar su impacto. Véase en Capítulo 5.1.

Referencias

• Aldunate, E. & Córdova, J. (2011). Formulación de programas con la metodología de marco lógico. CEPAL. Recuperado de: https://repositorio. cepal.org/server/api/core/bitstreams/3a461d898650-4dc1-acb9-127fa65bc97f/content

• Arenas, N. (2021). Aplicación de la Teoría del Cambio para la Gestión de Proyectos Públicos. Recuperado de: revistas.iudigital.edu.co

• Baker, J. L. (2000). Evaluación del impacto de los proyectos de desarrollo en la pobreza: Manual para profesionales. Banco Mundial. Recuperado de https://documents1.worldbank.org/curated/ fr/974581468278042080/pdf/207450SPANISH0manual.pdf

• Bañón y Martínez, R. (2003). La evaluación de la acción y de las políticas públicas. Madrid: Ediciones Diaz de Santos.

• Blasco, J. (2009). Guía práctica 1 - Cómo iniciar una evaluación: oportunidad, viabilidad y preguntas de evaluación. del impacto social. Integrar las cuestiones sociales en los proyectos de desarrollo. Colección Ivàlua de guías prácticas sobre evaluación de políticas públicas. Recuperado de: https://ivalua.cat/sites/default/ files/2020-01/19_03_2010_12_10_21_Guia1_Introduccion_octubre2009_0.pdf

• BID (2018). Evaluación del impacto social. Integrar las cuestiones sociales en los proyectos de desarrollo. Serie del BID sobre riesgos y oportunidades ambientales y sociales. Recuperado de: https://webimages.iadb.org/ publications/2019-01/Evaluaci%C3%B3n-del-impacto-social-Integrando-los-aspectos-sociales-en-los-proyectos-de-desarrollo.pdf

• Casado, D. (2009). Fuentes de información para el levantamiento de datos. Recuperado de https://www.ejemplo.com/casado2009.pdf

• Chile. (2018). Ley Nº 21.091 sobre educación superior. Diario Oficial de la República de Chile. https://www.bcn.cl/leychile/navegar?idNorma=1118994

• Comisión Nacional de Acreditación Institucional CNA-Chile. (2022). Orientaciones para el Uso de Criterios y Estándares del Subsistema Universitario en Procesos de Autoevaluación. Recuperado en: https://www.cnachile.cl/noticias/ SiteAssets/Paginas/Forms/AllItems/ORIENTACIONES%20PARA%20EL%20SUBSISTEMA%20 UNIVERSITARIO.pdf

• Cohen, E. & Martínez, R. (s.f.). Formulación, evaluación y monitoreo de proyectos sociales. CEPAL (No ha sido sometido a revisión editorial). Recuperado de: https://accionsocial.ucr.ac.cr/ sites/default/files/documentos/manual_formulacion.pdf

• Cohen, E., & Franco, R. (1992). Evaluación de proyectos sociales. Siglo XXI Editores.

• CCE (1993). Gestión del ciclo de un proyecto. Enfoque integrado y marco lógico. Comisión de las Comunidades Europeas bajo la dirección de la Unidad de Evaluación. Recuperado de: https://op.europa.eu/es/publication-detail/-/ publication/58c406ab-f247-47df-8d77-a7b003e00faf

• Comisión Económica para América Latina y el Caribe (CEPAL). (2021). Evaluación de programas públicos. CEPAL. https://repositorio. cepal.org/bitstream/handle/11362/46795/1/ S2100039_es.pdf

• Consejo para la Transparencia. (2016). Guía de evaluación y transparencia en políticas públicas.

• Dirección de Presupuestos de Chile (DIPRES). (2009). Indicadores de desempeño en proyectos públicos.

• Jara, O. H. (2010). Sistematización de experiencias: Práctica y teoría para otros mundos posibles. ALFORJA.

• González, S., Sánchez, M., & Hernández, R. (2023). Árbol de problemas como base en la investigación de la evaluación, 12(23) Boletín Científico Instituto de Ciencias de la Salud Universidad Autónoma del Estado de Hidalgo. Recuperado de: https://repository. uaeh.edu.mx/revistas/index.php/ICSA/article/ view/11153/10729

• Gertler, P. J., Martínez, S., Premand, P., Rawlings, L. B., & Vermeersch, C. M. J. (2017). La evaluación de impacto en la práctica (2ª ed.). Banco Mundial y Banco Interamericano de Desarrollo. https://documents1.worldbank. org/curated/en/478231485455706362/pdf/108270-SPANISH-Box402876B-PUBLIC.pdf

• Independent Evaluation Group. (2012). Designing effective indicators: Principles for policy, programs, and projects. World Bank.

• Irarrázaval, I. & Ríos, B. (2014). Monitoreo y Evaluación de Políticas Públicas. Notas Públicas del Centro UC Políticas Públicas. Recuperado de: https://www.researchgate.net/ publication/267694798_Monitoreo_y_Evaluacion_de_politicas_Publicas

• OCDE (2010). Evaluación de programas y políticas públicas: Un enfoque práctico. Organización para la Cooperación y el Desarrollo Económicos.

• OCDE (2023). Evaluating Develpment Co-operation. Development Co-operation Fundamentals OECD. Recuperado de: https:// www.oecd.org/en/publications/development-co-operation-tips-tools-insights-practices_ be69e0cf-en/evaluating-development-co-operation_5602e1f7-en.html

• Ortegón, E., Pacheco, J. & Prieto, A. (2005). Metodología del marco lógico para la planificación, el seguimiento y la evaluación de proyectos y programas. Comisión Económica para América Latina y el Caribe (CEPAL). Recuperado de: https://repositorio.cepal.org/server/api/core/ bitstreams/2d86ecfb-f922-49d3-a919-e4fd4d463bd7/content

• Osuna, J. & Márquez, C. (2000). Guía para la evaluación de políticas públicas. CEPAL. Recuperado de: https://desarrolloterritorial. adec.org.ar/herramientas/images/guia-evaluacion-politicas-publicas.pdf

• Parera, M. (2009). Guía práctica 6 - Evaluación económica. Colección Ivàlua de guías prácticas sobre evaluación de políticas públicas. Recuperado de: https://ivalua.cat/sites/default/ files/2020-01/19_03_2010_13_29_51_Guia6_ Economica_diciembre2009_revfeb2010_massavermella.pdf

• Programa de las Naciones Unidas para el Desarrollo (PNUD). (2017). Enfoques mixtos en la evaluación de programas sociales.

• Reguant, M., & Martínez-Olmo, F. (2014). Operacionalización de conceptos/variables. Dipòsit Digital de la Universitat de Barcelona. https:// diposit.ub.edu/dspace/bitstream/2445/57883/1/ Indicadores-Repositorio.pdf

• Rogers, P. (2014). La teoría del cambio. Síntesis metodológicas, sinopsis de la evaluación de impacto n°2. UNICEF. Recuperado de: http:// repositorio.ucsh.cl/xmlui/bitstream/handle/ ucsh/3121/La%20teor%C3%ADa%20del%20 cambio.pdf?sequence=1

• Rossi, P. H., Lipsey, M. W., & Freeman, H. E. (1999). Evaluation: A systematic approach (6th ed.). Sage Publications.

• Sanz, J. (2011). Guía práctica 8 - La metodología cualitativa en la evaluación de políticas públicas. Colección Ivàlua de guías prácticas sobre evaluación de políticas públicas. Recuperado de: https://ivalua.cat/sites/default/ files/2020-01/29_10_2014_9_22_05_Guia8_ final.pdf

• UNICEF. (2012). Teoría del Cambio y Marco Estratégico para el Trabajo sobre la Infancia en Movilidad Humana. Recuperado de: unicef.org.

• Universidad San Sebastián. (2023). Política de Vinculación con el Medio. Universidad San Sebastián. https://cdn.uss.cl/content/ uploads/2023/04/18125044/Politica-VcM.pdf

• Universidad San Sebastián. (2023). Modelo de evaluación de impacto de la vinculación con el medio. Universidad San Sebastián. https:// cdn.uss.cl/content/uploads/2023/01/03192338/ Modelo-de-Evaluacion-de-Impacto-de-la-Vinculacion-con-el-Medio-USS.pdf

Anexos

8. Anexos

Anexo 1.Operacionalización de las dimensiones del Modelo de Evaluación por Nivel

NIVEL

DIMENSIÓN

Innovación institucional

Innovación educativa

Articulación con investigación

Diversificación de fuentes de financiamiento para los proyectos

Institución

Reputación institucional

Fortalecimiento de alianzas

Retroalimentación al currículo

Cultura de innovación

FACTOR

FUENTE DEL MODELO

Generación de productos innovadores Resultado

Abordaje innovador de los desafíos territoriales. Resultado

Aplicación de metodologías para la innovación educativa. Resultado

Trabajo con investigadores en base a una problemática territorial. Resultado

Adjudicación de recursos externos. Resultado

Conexión de la USS con el entorno. Impacto

Confianza en la USS. Impacto

Reconocimiento de actores institucionales en el territorio. Impacto

Vinculación sostenible. Impacto

Experiencias de retroalimentación curricular. Impacto

Reconocimiento de una cultura de innovación. Impacto

INDICADOR

“N° de proyectos de VcM que generan como resultado de su implementación, productos innovadores.”

N° de proyectos VcM con reconocimiento de mérito innovador en la esfera académica, profesional o territorial.

N° de académicos que han utilizado herramientas de innovación educativa en sus Proyectos Colaborativos

N° de investigadores que participan de un proyecto VcM.

N° de proyectos VcM que se adjudican fondos externos en un periodo de un año

Monto total de aportes pecuniarios adjudicados en fondos externos en un año

N° de organizaciones externas que perciben que la USS logra vincularse adecuadamente con su entorno, conectando con las necesidades reales de las personas, comunidades u organizaciones.

N° de organizaciones externas que manifiestan que recomendarían a otra organización trabajar con la USS para el desarrollo de un Proyecto.

N° de organizaciones externas que contratarían a egresados/profesionales de la USS.

N° de académicos que son invitados a participar en instancias oficiales del aparato estatal.

N° de organizaciones externas con dos o más años de participación en proyectos VcM.

N° de organizaciones externas que manifiestan estar interesadas en seguir desarrollando Proyectos Colaborativos con la USS.

N° de escuelas/ carreras que han generado ajustes curriculares a partir de iniciativas de VcM.

N° de programa creados a partir de iniciativas de VcM

N° de directivos de carrera y escuela que reconocen la conformación progresiva de una cultura de innovación a través del desarrollo de VcM.

N° de académicos participantes de iniciativas de VcM, que reconocen la conformación progresiva de una cultura de innovación a través del desarrollo de VcM.

INSTRUMENTO O FUENTE DE INFORMACIÓN

Rúbrica de evaluación de productos innovadores.

Rúbrica de evaluación de mérito innovador en el abordaje de desafíos territoriales.

Informe de cierre de Proyectos Colaborativos.

Informes de cierre de proyectos VcM anual.

Reporte del estado de proyectos con fondos externos extraído de la plataforma de VcM.

Reporte del estado de proyectos con fondos externos extraído de la plataforma de VcM.

Encuesta de experiencia de organizaciones externas en Proyectos Colaborativos.

Encuesta de experiencia de organizaciones externas en Proyectos Colaborativos.

Encuesta de experiencia de organizaciones externas en Proyectos Colaborativos.

Estudio de caso.

Informe de cierre de proyectos VcM.

Encuesta de experiencia de organizaciones externas en Proyectos Colaborativos.

Estudio de casos de retroalimentación curricular de escuelas/carreras.

Estudio de casos de retroalimentación curricular de escuelas/carreras.

Encuesta directivos USS

Encuesta académicos participantes en iniciativas VcM USS.

Fuente: Elaboración propia - Vicerrectoría de Vinculación con el Medio - USS

NIVEL DIMENSIÓN

Trabajo interdisciplinario

Desarrollo profesional

Fortalecimiento de la práctica docente

Académicos

Vinculación con realidades y conocimiento local

Aprendizaje en gestión y sustentabilidad de alianzas

Impacto en la práctica docente

Investigaciones con impacto territorial

Impacto en la carrera académica

FACTOR

Percepción del aporte del trabajo interdisciplinario a la sinergia disciplinaria y profesional. Resultado

Oportunidades para el desarrollo profesional. Resultado

Compromiso público. Resultado

Amplificar redes de colaboración académicas y profesionales. Resultado

Nuevas didácticas educativas. Resultado

Motivación de los estudiantes. Resultado

Interacción académico-estudiante. Resultado

Relevancia de conocimientos adquiridos desde realidades locales. Impacto

Compresión de problemáticas territoriales. Impacto

Percepción sobre aprendizajes en gestión y sustentabilidad de alianzas Impacto

Sustentabilidad de las alianzas. Impacto

Impacto en la evaluación docente Impacto

Experiencia de innovación educativa Impacto

Desarrollo de investigaciones con impacto territorial. Impacto

Evolución y tránsito en la carrera académica. Impacto

INDICADOR

N° de académicos participantes de proyectos VcM que perciben que el trabajo interdisciplinario generó una sinergia disciplinar y profesional

N° de académicos que manifiestan que a través de proyectos VcM, se fortalecieron sus habilidades promoviendo su desarrollo profesional.

N° de académicos que manifiestan que a través del proyectos VcM potenciaron su rol como agentes activos de cambio social.

N° de académicos que declaran que a través del proyecto VcM ampliaron su red de contactos profesionales y/o académicas.

N° de académicos que implementaron nuevas didácticas educativas a través de los Proyectos Colaborativos

N° de académicos que consideran que se incrementó la motivación de los estudiantes con el aprendizaje de la asignatura, como resultado de su participación en Proyectos Colaborativos

N° de académicos que están de acuerdo o muy de acuerdo con que el proyecto les permitió mejorar la comunicación e interacción con sus estudiantes, fortaleciendo la práctica docente.

N° de académicos que declaran que a través de su experiencia en proyectos VcM han adquirido conocimientos relevantes desde las realidades locales.

N° de académicos que señalan que a través de su experiencia en proyectos VcM han profundizado su comprensión de problemáticas sociales y territoriales

N° de académicos líderes de proyectos VcM que señalan que han desarrollado aprendizajes en gestión y sustentabilidad de las alianzas.

N° de organizaciones externas que han trabajado de manera ininterrumpida en al menos un proyecto por año a nivel sede.

Promedio de evaluación docente de académicos que participan en proyectos VcM versus evaluación docente de académicos que no participan en proyectos VcM.

N° de presentaciones de experiencias de innovación educativa a través de VcM en seminarios y congresos

N° de publicaciones indexadas asociadas a la experiencia de innovación educativa a través de VcM.

N° de investigaciones aplicadas con impacto territorial, derivadas de una iniciativa de VcM y desarrolladas por académicos USS.

Porcentaje de académicos que manifiestan que las iniciativas de VcM les permiten avanzar en su carrera académica

INSTRUMENTO O FUENTE DE INFORMACIÓN

Encuesta de académicos participantes de proyectos VcM

Informe de cierre Proyectos Colaborativos.

Encuesta de académicos participantes de proyectos VcM.

Encuesta de académicos participantes de proyectos VcM

Rúbrica aplicada por panel de expertos en innovación educativa.

Informe de cierre Proyectos Colaborativos.

Encuesta de académicos participantes de proyectos VcM

Encuesta de académicos participantes de proyectos VcM

Encuesta de académicos participantes en proyectos VcM.

Encuesta de académicos participantes en proyectos VcM.

Encuesta de académicos participantes en proyectos VcM.

Informe de cierre de proyectos VcM.

Evaluación docente.

Estudio de casos.

Estudio de casos

Estudio de casos de investigaciones con impacto territorial derivadas de iniciativas de VcM.

En proceso de construcción.

Fuente: Elaboración propia - Vicerrectoría de Vinculación con el Medio - USS

NIVEL

Estudiantes

Aprendizaje experiencial para el cambio social

Experiencias laborales situadas tempranas

Experiencias de aprendizaje multi e interdisciplinarias

Relevancia para el proceso formativo. Resultado

Compromiso con el cambio social. Resultado

Experiencia laboral temprana

Participación en Proyectos Colaborativos multi e interdisciplinarios.

Resultado Resultado

Resultado

Resultado

Competencia disciplinar Impacto

Manejo de información para la toma de decisiones relativas al campo disciplinar. Impacto

Prolijidad en el desarrollo de su disciplina. Impacto

Empatía Impacto

Desarrollo de habilidades disciplinares, socioemocionales y de ciudadanía

Conocimiento de la realidad social

Colaboración. Impacto

Comunicación Impacto

Adaptación y flexibilidad Impacto

Resolución de problemas Impacto

Ser un ciudadano responsable. Impacto

Conocimiento y comprensión de la realidad social. Impacto

Comprensión de su aporte a la sociedad desde su rol profesional/laboral. Impacto

Detección temprana de talentos. Impacto

Detección temprana de talentos y expectativas laborales futuras

Consolidación de la vocación

Entendimiento de su aporte a la sociedad desde su rol profesional/laboral. Impacto

Incremento de redes de contacto profesional. Impacto

Empleabilidad de los estudiantes que participaron en las iniciativas VcM. Impacto

Fortalecimiento de la vocación. Impacto

INDICADOR

N° de estudiantes que declaran que la participación en el Proyecto Colaborativo fue significativa o muy significativa para su formación profesional.

N° de académicos que están de acuerdo o muy de acuerdo con que a través del proyecto se estimuló la responsabilidad social de los estudiantes y con ello, un mayor compromiso con el cambio social.

N° de estudiantes que consideran que el proyecto le permitió conocer más de su campo laboral.

N° de estudiantes que consideran que el proyecto les permitió conocer más de su campo laboral al relacionarse con las personas desde un rol laboral/profesional.

N° de estudiantes que participaron en Proyectos Colaborativos multi e interdisciplinarios.

N° de estudiantes que están de acuerdo o muy de acuerdo con la afirmación “El proyecto me permitió colaborar con personas de otras carreras o disciplinas profesionales”.

Porcentaje de estudiantes que señalan que en base a su experiencia en el proyecto VcM fortalecieron su competencia disciplinar.

Porcentaje de estudiantes que señalan que en base a su experiencia en el Proyecto Colaborativo fortalecieron sus habilidades en el manejo de información para la toma de decisiones relativas al campo disciplinar

Porcentaje de estudiantes que señalan que en base a su experiencia en el Proyecto Colaborativo fortalecieron su prolijidad en el desarrollo de su disciplina.

Porcentaje de estudiantes que señalan que en base a su experiencia en el Proyecto Colaborativo fortalecieron su empatía

Porcentaje de estudiantes que señalan que en base a su experiencia en el Proyecto Colaborativo vieron fortalecidas sus habilidades de colaboración.

Porcentaje de estudiantes que señalan que en base a su experiencia en el Proyecto Colaborativo fortalecieron su comunicación

Porcentaje de estudiantes que señalan que en base a su experiencia en el Proyecto Colaborativo fortalecieron sus habilidades de adaptación y flexibilidad.

Porcentaje de estudiantes que señalan que en base a su experiencia en el Proyecto Colaborativo fortalecieron sus habilidades de resolución de problemas.

Porcentaje de estudiantes que señalan que en base a su experiencia en el Proyecto Colaborativo fortalecieron sus habilidades para Ser un ciudadano responsable.

Porcentaje de estudiantes que indican que fue importante o muy importante su experiencia en el Proyecto Colaborativo para conocer la realidad conectando con problemáticas de personas, instituciones o comunidades.

Porcentaje de estudiantes que están de acuerdo o muy de acuerdo con que el proyecto les permitió conocer más de su campo laboral, a través del entendimiento de cómo aportar a las personas, instituciones o comunidades desde su rol profesional/laboral

N° de estudiantes que continúan trabajando con una organización externa participante de un Proyecto Colaborativo, a raíz del talento demostrado en su participación en el proyecto.

N° de estudiantes que están de acuerdo o muy de acuerdo con que el proyecto les permitió conocer más de su campo laboral, entendiendo cómo aportar a las personas, instituciones o comunidades desde mi rol profesional/laboral.

Porcentaje de estudiantes que declaran que a través de su participación en el Proyecto incrementaron su red de contactos profesionales

INSTRUMENTO O FUENTE DE INFORMACIÓN

Encuesta de experiencia de estudiantes en Proyectos

Colaborativos en VcM.

Encuesta de académicos participantes de proyectos VcM

Encuesta de experiencia de estudiantes en Proyectos

Colaborativos en VcM

Encuesta de experiencia de estudiantes en Proyectos Colaborativos en VcM

Informes de cierre de Proyectos Colaborativos

Encuesta de experiencia de estudiantes en Proyectos Colaborativos en VcM.

Encuesta de experiencia de estudiantes en Proyectos Colaborativos en VcM.

Encuesta de experiencia de estudiantes en Proyectos Colaborativos en VcM.

Encuesta de experiencia de estudiantes en Proyectos Colaborativos en VcM.

Encuesta de experiencia de estudiantes en Proyectos Colaborativos en VcM.

Encuesta de experiencia de estudiantes en Proyectos Colaborativos en VcM.

Encuesta de experiencia de estudiantes en Proyectos Colaborativos en VcM.

Encuesta de experiencia de estudiantes en Proyectos Colaborativos en VcM.

Encuesta de experiencia de estudiantes en Proyectos Colaborativos en VcM.

Encuesta de experiencia de estudiantes en Proyectos Colaborativos en VcM.

Encuesta de experiencia de estudiantes en Proyectos Colaborativos en VcM.

Encuesta de experiencia de estudiantes en Proyectos Colaborativos en VcM.

Encuesta de experiencia de organizaciones externas en Proyectos Colaborativos.

Encuesta de experiencia de estudiantes en Proyectos Colaborativos en VcM.

Encuesta de experiencias de estudiantes en Proyectos Colaborativos VcM.

Valoración de los empleadores respecto a egresados USS que durante su formación universitaria participaron en proyectos VcM. En proceso de construcción.

N° de estudiantes participantes de Proyectos Colaborativos que señalan que a través del proyecto fortalecieron su vocación profesional.

Encuesta de experiencia de estudiantes en Proyectos Colaborativos en VcM.

Fuente: Elaboración propia - Vicerrectoría de Vinculación con el Medio - USS

NIVEL

DIMENSIÓN

Comunidad y territorio Contribución al desarrollo sostenible del territorio y políticas públicas

Identificación de brechas territoriales

Generación de alianzas estratégicas nacionales e internacionales

Agregación de valor y capacidad de transformación

Propuestas y mejoras de políticas públicas locales, regionales y nacionales

FACTOR

Proyectos y beneficiarios por dimensión de impacto (Desarrollo Económico-productivo; Calidad de Vida; Medioambiental; Artes, Culturas y Patrimonio).

Política pública

FUENTE DEL MODELO

Resultado

Resultado

Identificación de brechas territoriales. Resultado Resultado

Creación de redes estratégicas de carácter nacional e internacional. Resultado

Aporte de la iniciativa según organizaciones. Impacto

Experiencias de impacto en el medio, de programas y proyectos. Impacto

Aporte a las políticas públicas. Impacto

Involucramiento de académicos en instancias de trabajo formales del aparato estatal sobre políticas públicas. Impacto

INDICADOR

N° de Proyectos VcM focalizados por dimensión de impacto externo

N° de beneficiarios directos en proyectos VcM focalizados por dimensión de impacto externo.

N° de proyectos VcM que se articulan y/o generan productos con foco en políticas públicas.

N° de proyectos que amplifican la cobertura y alcance territorial de una política pública existente.

N° de organizaciones externas participantes de proyectos VcM que indican que a través del proyecto acceden a nuevas redes estratégicas.

N° de organizaciones externas participantes de Proyectos Colaborativos que están de acuerdo o muy de acuerdo con que el proyecto realizado tuvo un impacto positivo en la comunidad u organización beneficiada

INSTRUMENTO O FUENTE DE INFORMACIÓN

Informes de cierre de proyectos VcM.

Informes de cierre de proyectos VcM.

Informe de registro de Proyectos de Política Pública. Informes de cierre de proyectos VcM.

Formulario de postulación de proyectos VcM.

Encuesta de experiencia de organizaciones externas en Proyectos Colaborativos.

Estudio de caso de proyectos VcM considerados por el aparato estatal como aporte para desarrollo de políticas públicas.

Estudio de casos seleccionados bajo criterios estratégicos y de relevancia de los resultados Informes de avance de proyectos VcM

N° de proyectos VcM que han aportado de manera efectiva al desarrollo de políticas públicas interescalares.

N° de académicos que participan en instancias de trabajo formal del aparato estatal sobre políticas públicas en su calidad de expertos en áreas asociadas a los proyectos VcM.

Estudio de caso de proyectos VcM considerados por el aparato estatal como aporte para desarrollo de políticas públicas.

Estudio de caso de académicos que participan en instancias estatales sobre políticas públicas como expertos.

Fuente: Elaboración propia - Vicerrectoría de Vinculación con el Medio - USS

uss.cl