Evaluación de necesidades de Medialab Tabakalera 2021
Equipo Medialab Tabakalera Oihana Aristondo Eneka Fernández Arantza Mariskal Ibai Zabaleta
Trabajo realizado por civímetro → Coordinación CARPE - Maje Reig Alberola OFIC - Pascual Pérez Gallego
→ Colaboración Nora González Dwyer
→ Apoyo metodológico Maite Gamarra Rodríguez Ana Méndez de Andés Financiado por DESIGNSCAPES - Design-enabled Innovation in Urban Environments Proyecto bajo Licencia de Producción entre Pares 12 de abril de 2021
Evaluación de necesidades de Medialab Tabakalera 2021 ¿POR QUÉ CIVÍMETRO? CONTEXTUALIZACIÓN Y DEFINICIÓN DE OBJETIVOS
04 05
→ Análisis del contexto → Definición de objetivos → Actividades a evaluar
INTERSECCIÓN CON CIVÍMETRO
08
→ ¿Para qué estamos evaluando? Narrativa de la evaluación
ALCANCE
11
→ Criterios para la selección de aspectos a evaluar → Volumen preliminar de indicadores
TEORÍA DEL CAMBIO: NECESIDADES Y RETOS
17
→ Summer Lab → Actividades con colectivos específicos → Servicios y usos del espacio
RECOMENDACIONES Y PRÓXIMOS PASOS ANEXOS
24 26
→ Tablero de trabajo → Plantillas y caja de herramientas Civímetro 2.0 → Entregable parcial: Resumen ejecutivo en fase de alcance, diciembre 2020
3
Evaluación de necesidades de Medialab Tabakalera 2021
¿POR QUÉ CIVÍMETRO? A finales del 2020, y tras la unión de los programas Ubik e Hirikilabs para formar la entidad Medialab Tabakalera, surge la necesidad acompañar este momento con la generación de un plan de evaluación que permita extraer aprendizajes y campos de mejora de las actividades planificadas para el 2021, enmarcadas, de forma generalizada, en el ámbito de la innovación ciudadana. Civímetro se muestra, por tanto, como un sistema adecuado para iniciar dicho proceso de evaluación: → Propone un sistema adaptable al contexto de cada iniciativa pero basado en un marco metodológico de referencia, lo que permite comparar evaluaciones de distintas iniciativas y, por tanto, extraer y compartir aprendizajes. → Centra su evaluación en la innovación ciudadana, visibilizando sus formas de hacer y procesos, elementos fundamentales para la consecución de sus objetivos. → Permite visibilizar los cambios que la innovación ciudadana produce en la ciudadanía y en el territorio y rendir cuentas. El proceso de evaluación de necesidades de Medialab Tabakalera se inicia mediante la implementación de la guía v1.0 de Civímetro, desarrollada en la primera mitad del 2020 junto a Medialab Prado (Madrid). Fruto de este proceso junto a Medialab Tabakalera se ha desarrollado una segunda versión de la guía para la evaluación de Laboratorios Ciudadanos, cuyas plantillas y herramientas se adjuntan en apartado anexo. Durante los 6 meses de trabajo conjunto de los equipos de Civímetro y Medialab Tabakalera, se buscó: → Analizar el contexto y redefinir los objetivos del centro para que estos sean evaluables. → Acompañar el proceso de evaluación de Medialab Tabakalera hasta los primeros planteamientos de la Teoría del Cambio. → Identificar necesidades y ámbitos de mejora mediante un proceso de autoconocimiento del Laboratorio. → Estructurar y planificar un proceso de evaluación integral, al tiempo que se construye una narrativa de evaluación que facilite el entendimiento y la comunicación de la hoja de ruta que Medialab Tabakalera se propone llevar a cabo durante 2021. → Poner en valor no solo la evaluación de resultados e impactos, sino también la de procesos (recursos utilizados y formas de hacer). → Definir los mecanismos necesarios para que Medialab Tabakalera pueda continuar su evaluación de manera autónoma tras la colaboración con Civímetro.
4
CONTEXTUALIZACIÓN Y DEFINICIÓN DE OBJETIVOS Análisis del contexto Las primeras acciones propuestas por Civímetro consisten en entender el contexto en el que Medialab Tabakalera se desarrolla. Para ello, se trabajó conjuntamente para trazar las relaciones institucionales y de equipo que lo componen. Así, tras las primeras conversaciones vía videoconferencia, se realizó un primer intensivo de trabajo presencial en noviembre de 2020. Durante una semana el equipo de Civímetro desarrolló su labor en el espacio de Medialab Tabakalera, pudiendo visitarlo y habitarlo en su día a día, conocer algunos de los principales proyectos desarrollados y realizar talleres de trabajo colectivo junto con el equipo de Medialab Tabakalera.
↗ Encuentro de los equipos de Civímetro y Medialab Tabakalera, noviembre 2020.
↗ Medialab Tabakalera. Imagen dela web. 5
Evaluación de necesidades de Medialab Tabakalera 2021
Mapeo del contexto
6
7
Evaluación de necesidades de Medialab Tabakalera 2021
Objetivos Medialab Tabakalera 2021 A través del trabajo de redefinición de objetivos desarrollado con el equipo de Medialab Tabakalera se alcanza un listado definitivo de 6 objetivos a cumplir a lo largo del año 2021. Estos se definen siguiendo una estructura que asegura su futura correlación en indicadores medibles y evaluables. verbo
población
aspecto
en infinitivo acción principal
grupo en el que queremos incidir
de mejora o condición a tomar en cuenta en el grupo poblacional
↗ Estructura propuesta para la definición de objetivos
→ Objetivo 1 - Ofrecer recursos a colectivos vulnerables para que puedan sentirse acompañados y empoderados. → Objetivo 2 - Escuchar y definir con las usuarias del centro los usos de Medialab Tabakalera. → Objetivo 3 - Visibilizar en la institución la utilidad de Medialab Tabakalera. → Objetivo 4 - Trabajar como equipo el prototipo como forma vertebradora. → Objetivo 5 - Hacer visible a la ciudadanía (públicos) el trabajo, los procesos y las tareas invisibles. → Objetivo 6 - Reforzar y priorizar en las comunidades el trabajo colaborativo.
Actividades a evaluar Durante las primeras sesiones de contextualización se seleccionan tres actividades, bajo los siguientes criterios: → Viabilidad de la evaluación: acceso a datos e información, duración, formato, públicos, etc. → Complementariedad: actividades provenientes de las dos organizaciones anteriores (Hirikilabs y Ubik), con períodos de duración y desarrollo muy diferentes entre sí. → Interés general por parte del equipo de Medialab Tabakalera y del equipo Civímetro: en relación a actividades en las que los resultados son más escurridizos o difíciles de visibilizar, o actividades en las que se busca identificar puntos de mejora. → Representatividad de los 6 objetivos del centro para 2021.
↗ Actividades seleccionadas: ¿qué actividades podemos/debemos incluir en la evaluación? 8
Servicios y uso de espacios Medialab cuenta con una biblioteca especializada en arte y pensamiento contemporáneo (anteriormente llamada Ubik) donde también se desarrolla parte del proyecto cultural de Tabakalera. El espacio de biblioteca está a disposición de la ciudadanía. Los préstamos se realizarán de manera autónoma y el público tiene acceso directo al material: material bibliográfico y audiovisual, préstamo de dispositivos electrónicos (ordenadores portátiles o tablets), préstamos de herramientas de trabajo manual y papelería, alquiler de salas de trabajo en grupo, etc. (+info)
SummerLab SummerLab es un campamento de verano, un encuentro cooperativo temporal en torno a temáticas relacionadas con diversos ámbitos de la tecnología, la cultura digital, el diseño abierto y el aprendizaje en común, que reúne iniciativas referentes en estos ámbitos. (+info)
Actividades con colectivos específicos La necesidad de las personas de encontrarse a partir de una inquietud común viene siendo el catalizador de las dinámicas que se dan en un laboratorio ciudadano. Sin prisa, sin un objetivo concreto, solo con las ganas de contrastar y compartir ideas, prácticas y conocimiento. Estas actividades tienen una vocación pública en el concepto más amplio del término y busca llegar a quienes más dificultades tienen incluir entre sus rutinas un centro de arte y todo lo que éste puede ofrecerles. (+info)
↗ Contribución de las actividades a evaluar a cada objetivo de Medialab para 2021
9
Evaluación de necesidades de Medialab Tabakalera 2021
INTERSECCIÓN CON CIVÍMETRO Mediante los cuestionarios de intersección con Civímetro identificamos aquellas formas de hacer de la innovación ciudadana (las dimensiones de Civímetro) a las que el equipo de Medialab Tabakalera da mayor importancia para el cumplimiento de cada uno de los objetivos definidos. Esta información es la base sobre la que se construye la narrativa de evaluación y el alcance de la misma.
↗ Correspondencia entre los objetivos de Medialab 2021 y las dimensiones de Civímetro (o maneras de hacer de la Innovación ciudadana) que contribuyen a alcanzar los objetivos
¿Para qué estamos evaluando? Narrativa de la evaluación Analizando los resultados de los diferentes ejercicios de autodiagnóstico e intersección con civímetro, así como las dinámicas presenciales de contextualización y alcance, identificamos dos ámbitos principales en los que Medialab Tabakalera centra sus objetivos. Estos son: → Mejorar sus procesos de cocreación. ¿cómo participan las personas de las diferentes actividades del centro?, ¿qué tipo de públicos participa y por qué?, ¿cómo desarrolla su programación el equipo coordinador de Medialab Tabakalera? → Mejorar la comunicación y puesta en valor de sus actividades, tanto a nivel interno (con el resto de departamentos de la institución CICC Tabakalera), como externo (con respecto a la comunidad de personas usuarias habituales y la ciudadanía del entorno urbano próximo al centro).
10
nº de objetivos a los que afecta 1 objetivo
5 objetivos
n
ió co-creac
com
unicación y p ues ta en
r lo va
Organización adhocrática
Dinámica experimental
Comunidad inclusiva
Rendición de cuentas
Gestión distribuida
↗ Peso de las dimensiones y nº de objetivos que afecta
ALCANCE Tras una aproximación a qué dimensiones (maneras de hacer) son las más relevantes para el cumplimiento de los objetivos, se hace un ejercicio de selección de aquellos aspectos (acciones concretas, hechos observables y medibles) que por medio de la intersección con Civímetro se valoraron como esenciales. Esto supone un punto de partida desde el que se planteará una reducción de aspectos a evaluar. El descarte de algunos aspectos es fruto de la adaptación de la evaluación al contexto en el que se realiza, haciéndola más factible y relevante. La evaluación se centra en aquello en lo que el centro tiene mayor interés de aprendizaje y mejora, pudiendo dejar fuera del análisis temas importantes, pero que el centro considera bien conocidos.
Criterios para la selección de aspectos a evaluar Los criterios que se han seguido para el cribado de aspectos han sido: → Descartar los aspectos que no aplican respecto a las características de las actividades a las que se vinculan. → Descartar aquellos que representan acciones que ya están integradas y visibilizadas en las formas de hacer de Medialab Tabakalera, por lo que no es esencial su evaluación. → Obtener un número total de aspectos que supongan un volumen alcanzable de elementos a evaluar. → Mantener una visión general en la que las dimensiones (formas de hacer) más vinculadas a Medialab Tabakalera estén representadas. 11
Evaluación de necesidades de Medialab Tabakalera 2021
↗ Los aspectos de cada dimensión y su vinculación a objetivos y actividades
12
DE 3 DA 1 DA 2 GD 3
OA 2
13
Evaluación de necesidades de Medialab Tabakalera 2021
↗ Los aspectos seleccionados de cada dimensión y su vinculación a objetivos y actividades
14
15
Evaluación de necesidades de Medialab Tabakalera 2021
Volumen preliminar de indicadores → 29 indicadores únicos. Muchos de los indicadores se aplican varias veces, en distintos puntos de medición, de tal manera que un mismo indicador se puede utilizar en dos actividades diferentes para evaluar varios objetivos a la vez. Puntos de medición totales: 69 → Summerlab 2021 - 22 puntos → Actividades con colectivos específicos - 29 puntos → Servicios y uso del espacio - 18 puntos Los objetivos 2 y 5 cuentan con menos puntos de medición que otros objetivos, pero al ser aplicados a la actividad Servicios y uso de espacios, podrá beneficiarse de ser medido con mucha frecuencia y contar con un buen volumen de datos para extraer conclusiones. El objetivo 6 es el más próximo a la línea estratégica del centro, y por ello es más complejo que los demás, requiriendo ser evaluado bajo la lente de varias dimensiones. El objetivo 3 está enfocado claramente en comunicación y rendición de cuentas, y cuenta con numerosos puntos de medición por ser uno de los ejes clave de la evaluación. nº de dimensiones relevantes
Objetivo 6 Reforzar en comunidades el trabajo colaborativo
lor va Objetivo 5 Hacer visible a la ciudadanía el trabajo, los procesos y las tareas invisibles
co m
un
Cuidar a colectivos vulnerables (COVID)
4 dimensiones
ión
icación y p
Objetivo 1
c ea r c
uesta en
co -
1 dimensión
Objetivo 2 Escuchar y definir con las usuarias del centro los usos
Objetivo 3 Visibilizar en Tabakalera el trabajo de Medialab
Objetivo 4 Trabajar como equipo el prototipo
16
TEORÍA DEL CAMBIO: NECESIDADES Y RETOS La teoría del cambio es una representación de la cadena de valor completa de la actividad que estamos evaluando. En ella se incluyen todas las hipótesis y asunciones de cómo creemos que la actividad se va a desarrollar. Esta teoría es la base para acabar de identificar los indicadores que necesitaremos en la evaluación. Está creada por el equipo de evaluación y consensuada con los principales agentes de la iniciativa. Por un lado, permite que el equipo de evaluación conozca bien la realidad que está evaluando y, por otro, garantizar que los agentes implicados tengan una visión común de la evaluación. Durante varias sesiones individuales con las personas responsables de las 3 actividades a evaluar se realizó una aproximación a la teoría del cambio. Se mencionan a continuación las principales inquietudes detectadas por el equipo de Medialab Tabakalera respecto a la continuidad del proceso de evaluación. → Desconexión entre el trabajo interno y el trabajo externo: es difícil poner la atención en evaluar cuando los procesos no están claros. → Dudas ante la implementación de los resultados de la evaluación. → Capacidad de poder introducir la evaluación en el día a día de Medialab Tabakalera. → Necesidad de poder medir la disonancia que se genera entre lo que se cree, se propone y lo que los hechos (u otros) dicen que se hace. → Definir un proceso de evaluación y un sistema de indicadores que sea resiliente al proceso de cambio que está sufriendo Medialab Tabakalera: evaluar actividades que tengan carácter permanente y no sean susceptibles de desaparecer al año siguiente o durante el mismo año 2021. A continuación se muestran pormenorizadamente necesidades y retos identificados para cada una de las 3 actividades seleccionadas. Además de una aproximación a la teoría del cambio desarrollada durante el taller, se recogen, también, los calendarios de evaluación en los que se detallan los principales agentes implicados, los tipos de evaluación a desarrollar, así como los principales hitos en el desarrollo de la actividad y en la recogida de información.
17
Evaluación de necesidades de Medialab Tabakalera 2021
Summerlab Necesidades: → Priorizar aquellas dimensiones y aspectos más útiles para generar una evaluación asumible y adaptada a la escala de la actividad (de corta duración y puntual). Retos: → Involucrar a los agentes externos a la institución implicados en la actividad (talleristas, comunidades de Medialab Tabakalera, etc.) en el desarrollo de la evaluación. → Modificar el sistema de llamamiento hacia un modelo de convocatoria abierta. → Planificar una comunicación con más detalle y tiempo.
→ Calendario de evaluación
Agentes
Enero
Nº Evaluac. ¿Cuándo ocurre la preparación previa?
¿Quién ejecuta? Equipo Medialab TBK Equipo Mediación (sala) Equipo catalogación Agentes externos (talleristas).
¿Quién disfruta?
18
Febrero
Marzo
→ Teoría del cambio
Abril
Mayo
Junio
Julio
Agosto
Sept.
19
Evaluación de necesidades de Medialab Tabakalera 2021
Actividades con colectivos específicos Necesidades: → Identificar diferencias entre uso de colectivos específicos y uso en general. Retos: → Identificar aquellas actividades que puedan ser más útiles para observar/evaluar de entre todas las actividades que se desarrollan a lo largo del año. → Sistematizar e incorporar el proceso de evaluación para una actividad recurrente como ésta.
→ Calendario de evaluación
20
→ Teoría del cambio
21
Evaluación de necesidades de Medialab Tabakalera 2021
Servicios y usos del espacio Necesidades: → Definir momentos específicos de preparación, revisión o mantenimiento para estructurar la evaluación. Retos: → Sacar el máximo partido de los datos que actualmente se recopilan y tener la capacidad crítica de renunciar a aquellos que no visibilizan los cambios que se desean observar/evaluar. → Identificar qué información es verdaderamente importante y útil para el desarrollo de una evaluación que aporte valor a la institución y a las personas usuarias. Evitar generar sobreinformación que no se es capaz de procesar. → Generar una cultura de evaluación capaz de incorporarse en una actividad diaria y permanente.
→ Calendario de evaluación
22
→ Teoría del cambio
23
Evaluación de necesidades de Medialab Tabakalera 2021
RECOMENDACIONES Y SIGUIENTES PASOS A continuación se recogen planteamientos a modo de recomendaciones con el fin de facilitar la continuidad de la evaluación por parte de Medialab Tabakalera. → Adaptación de la evaluación a los recursos disponibles. Las tareas derivadas de la implementación de un plan de evaluación son notables. Es esencial que la evaluación se trate como un proyecto más dentro del funcionamiento diario de la institución. Para ello, es necesario, por una parte, integrar la evaluación dotándola de tiempo de dedicación de las personas implicadas y, por otra parte, ajustar la evaluación a los recursos humanos disponibles. → Integración de la evaluación. Para que la evaluación se lleve a cabo de manera acompasada con el funcionamiento diario de la entidad, es necesario tener en cuenta el cronograma previsto de las actividades a evaluar. De esta forma, se podrán optimizar esfuerzos. Este aspecto se trabajó durante el Taller de Alcance (diciembre 2020). Recomendamos revisar y completar esta información en caso de que fuera necesario y tenerla presente a la hora de planificar la evaluación. → Aprovechamiento de la información. La planificación, toma y análisis de datos para generar una información que permita evaluar, son acciones que pueden suponer un volumen de trabajo considerable. Por ello, recomendamos aprovechar al máximo los datos e información de los que ya se dispone y añadir sólo aquellos que sean imprescindibles y mantenibles en el tiempo. Por otra parte, la planificación, recogida y análisis de información debe promover, también, una toma de conciencia de qué datos se están tomando y si tiene sentido seguir recabándolos. → Definición de un prototipo de evaluación. Intentar evaluar la totalidad de los objetivos y las tres actividades seleccionadas puede resultar inabarcable si es la primera vez que se implementa un plan de evaluación. Comenzar por una actividad acotada en el tiempo permite poner a prueba la evaluación, sacar aprendizajes y plantear su futura implementación en otras actividades. Proponemos comenzar por el SummerLab por ser una actividad de corta duración que todavía no ha tenido lugar este año y que abarca dos objetivos relevantes. Teniendo presente las acciones ya realizadas en materia de evaluación, y tomando como referencia el plan de evaluación, marco metodológico y material de apoyo que ofrece Civímetro, se recomienda seguir los siguientes pasos: 1. Realizar un mapeo de elementos de la actividad a evaluar. Afrontar una teoría del cambio puede resultar complejo, ya que habitualmente las actividades no están planificadas según esta cadena de valor. Como paso previo y para facilitar tener bien mapeados todos los elementos que conforman una actividad, se puede utilizar esta dinámica propuesta por Civímetro. 2. Completar la teoría del cambio. Durante el Taller de la Teoría del Cambio (febrero 2020) se comenzó el trabajo con las tres actividades seleccionadas. Como comentamos en el apartado de recomendaciones, proponemos empezar por una, a modo de prototipo: el SummerLab. Para acotar la evaluación y acabar de completar la teoría del cambio comenzada, proponemos que se evalúen las cadenas de valor generadas por cuatro aspectos:
24
→ Objetivo 3: Visibilizar en la institución la utilidad de Medialab Tabakalera. ↘ Rendición de cuentas - Aspecto 1. Documentar de forma regular los procesos de trabajo para su correcta trazabilidad. ↘ Rendición de cuentas - Aspecto 2. Promover y publicar una evaluación consciente y constante de los procesos, los resultados y los impactos. → Objetivo 6: Reforzar y priorizar en las comunidades el trabajo colaborativo. ↘ Gestión distribuida - Aspecto 4. Asegurar la participación y aportación de ideas de todas las personas participantes en igualdad de oportunidades. ↘ Organización adhocrática - Aspecto 4. Promover que en los proyectos participen tanto personas con perfiles profesionales como principiantes o simplemente interesadas. Recomendamos acabar de definir las 4 cadenas de valor (proceso-producto-resultado-impacto) en el tablero de trabajo digital, tras revisar el trabajo realizado durante el taller. 3. Plantear las preguntas de evaluación. Las preguntas de evaluación son aquéllas que realizamos una vez configurada la teoría del cambio respecto a los elementos que en ella se han mapeado y que nos sirven para plantear indicadores. Proponemos como ejemplo para el SummerLab: Objetivo 6: Reforzar y priorizar en las comunidades el trabajo colaborativo Aspecto
Tipo
Pregunta de evaluación (ejemplos)
Tipo de indicador
Organización adhocrática (4) Promover que en los proyectos participen tanto personas con perfiles profesionales como principiantes o simplemente interesadas.
Proceso
¿Cómo asegura el summerlab la participación y aportación de ideas en igualdad de oportunidades? ¿de qué recursos se dispone?
indicador de proceso
Producto
¿Qué evidencias materiales o digitales ha dejado tras de sí el SummerLab? ¿Qué han creado durante el SummerLab los participantes?
indicador de producto
Resultado
¿Qué habilidades se han desarrollado con los participantes del SL? ¿Qué evidencias muestran la participación en igualdad de oportunidades?
indicador de resultado
Impacto
¿En qué medida el SL contribuye a aumentar las sinergias entre los agentes que componen Tabakalera?
indicador de impacto
4. Definir indicadores. Un indicador es una unidad de medición que se expresa en datos, cifras, hechos, opiniones o percepciones que sirven para analizar y medir los cambios de situaciones y condiciones específicas de un proyecto o actividad. Para el caso que estamos definiendo, se contempla la definición potencial (máxima) de 16 indicadores: cuatro (proceso, producto, resultado e impacto) por cada uno de los 4 aspectos seleccionados. Conviene tener en cuenta que: → En el proceso de definición de indicadores es posible que este número se reduzca por falta de información disponible o imposibilidad de generarla. → La obtención de datos y las métricas deben ser prácticas y asequibles para el equipo encargado del trabajo de campo.
25
Evaluación de necesidades de Medialab Tabakalera 2021
→ Se debe contemplar que los indicadores midan también resultados negativos, entendidos como aquellos que suponen cambios no deseados. → Los diferentes elementos definitorios de un indicador (descripción, herramientas, aplicación o metodología de cálculo…) deben estar documentados con el fin de generar un proceso transparente. → Los indicadores deben servir para rendir cuentas y también para compartir el proceso favoreciendo el aprendizaje entre iniciativas evaluadas. Para facilitar la definición de indicadores, Civímetro cuenta con una plantilla de ficha de indicadores y con unos indicadores predefinidos que pueden ser tomados directamente o servir de inspiración para generar otros ad-hoc. 5. Aplicar indicadores y extraer conclusiones. Una vez definidos los indicadores, es necesaria la creación de una infraestructura que facilite la recogida y análisis de datos de forma clara, sencilla e integrada con la iniciativa a evaluar. Tras el trabajo de campo (generación, recogida y sistematización de datos y documentación para la medición de los indicadores), se podrán analizar los datos obtenidos y extraer conclusiones que permitan la identificación de mejoras en la actividad SummerLab y la definición y aplicación de mejoras a futuro.
ANEXOS → Panel de trabajo: https://miro.com/app/board/o9J_kg852wY=/ → Plantillas y caja de herramientas Civímetro 2.0: https://miro.com/app/board/o9J_lTjH1sU=/ → Entregable parcial: Resumen ejecutivo en fase de alcance, diciembre 2020: https://drive.google.com/file/d/14dyectNeQPkArl06WzaXVcwbknZ8FsYB/view?usp=sharing
26
27
www.civimetro.org