Issuu

Tutorías Remotas para Acelerar y porAprendizajesfortalecerafectadoslapandemia Encuesta de Línea de Base: Informe sobre el trabajo de campo realizado en la Ciudad de Buenos Aires CEPE - Di Tella, Universidad Torcuato Di Tella

1El presente informe presenta los resul tados obtenidos en la aplicación de la encuesta de línea de base correspon diente al estudio piloto del proyecto “Tutorías Remotas para Acelerar y fortalecer Aprendizajes afectados por la pandemia” en la Ciudad de Buenos Aires. El mismo tiene por objeto: i) describir del contexto y los mecanis mos bajo los que funcionó el operativo de encuestas, ii) describir los resultados de performance y productividad de la encuesta para alcanzar sus metas y iii) ofrecer recomendaciones y orientaciones de mejora para futuros relevamientos asociados a pilotos e intervenciones de tutorías en matemática en la Argentina y el resto de la región.

IntroducciónDiseñodeestrategia

contacto inicial con las familias El objetivo del operativo consistió en implementar una encuesta de Línea de Base de 2.600 familias con hijos e hijas de entre 10 y 13 años que fueran estudiantes de escuelas públicas de la Ciudad de Buenos Aires. A diferencia de lo realizado en otros países de la región, se decidió centrar la tarea de los tutores en el contacto con las familias y estudiantes que serían beneficiarios de las tutorías. Es por ello que el contacto inicial con las familias, en donde se realiza la presentación de la propuesta, se obtiene el consentimiento informado, y se realizan los relevamientos de línea de base establecidos se lleva ron a cabo a través de un call center. 1 1

La estrategia de reclutamiento se diseñó a partir de una base de datos de 10.000 IDs de familias selecciona das por el Ministerio de Educación de la Ciudad a los que se contactaría hasta 7 veces según protocolo. El operativo duraría 5 semanas, de esta forma habría una semana antes del comienzo de tutorías para organizar la base de datos. Se accedió a una base de datos de 28.308 contactos facilitados por el Ministerio, de los cuales sólo 7.719 renglones cumplían los criterios de elegibilidad del piloto de tutorías y tenían los datos de contacto, por lo que el operativo arrancó con menos contactos de lo previsto. En esta etapa inicial se contemplaron los siguientes instrumentos de relevamiento: cuestionario sobre aspectos sociodemográficos de los hogares y de trayectorias educativas; cuestionarios socio emocionales y evaluación diagnóstica en contenidos de matemática.

1 1

Encuesta en Ciudad de Buenos Aires: operativo de campo2 De manera complementaria, se utilizó un formulario de preinscripción para anticipar a las familias el propósito del Proyecto e invitar a los interesados a ingresar información relativa a su nombre, nombre de su hijo, grado y teléfono de Previocontacto.alcomienzo

del operativo se realizó una prueba piloto. En la misma prueba se vio que el sistema, SurveyCTO funcionaba correctamente y se realiza ron ajustes al instrumento final en función de los aprendizajes de la aplicación piloto 2. 2 Los ajustes fueron documentados en el informe piloto del cuestionario. 2

> Selección y capacitación de encuestadores Para este proyecto trabajaron 21 encuestadores en total, que fueron parte de las instancias de capacitación lideradas por los equipos de 8020 y del CEPE Di Tella con acompañamiento de referentes del BID. En la capacitación se com partió el proyecto con el equipo, se profundizó en el guión de las llamadas y se NÚMERO DE FAMILIAS Base de registros de familias elegibles por el que cumplían criterios de elegibilidad, datos completos de contacto y confirmación de número válido Contactos que cumplían criterios de elegibilidad y datos completos de contacto 28.308 FAMILIAS 7.719 FAMILIAS

ContactosMinisterio

BASE DE REGISTROS DE MINISTERIO DE EDUCACIÓN CABA 5.122 FAMILIAS

el operativo trabajando con 15 encuestadores que fueron capaci tados en dos grupos. A lo largo del operativo se sumaron 6 personas más que fueron reforzando el equipo inicial. El operativo finalizó con 21 encuestadores activos ya que una encuestadora dejó antes de terminar.

- Por diferentes motivos, de los 30 días efectivos previstos de trabajo solo se pudo trabajar aprovechando toda la capacidad del equipo de encues tadores en 19 días.

- Envío de información complementaria del piloto compartiéndo link a url con la descripción de las tutorías en el portal de UTDT.

- Coordinación de horario de llamadas en las que estuviera disponible el hijo/ hija y el adulto responsable,

> SurveyCTO como plataforma Survey CTO fue la herramienta utilizada para el trabajo de campo. La herra mienta permite una aplicación web y otra móvil lo que hace fácil el proceso de carga de datos para el equipo de trabajo. La herramienta permite también visualizar de forma sincrónica información sobre el relevamiento que facilitó la supervisión y aseguramiento de calidad de la recolección de información du rante el operativo.

instruyó cómo utilizar SurveyCTO. La capacitación fue un espacio útil para hacer las consultas necesarias y armar equipo. Este equipo de trabajo luego sirvió para compartir información, motivación entre pares y puesta en común de Seestrategias.comenzó

- Envío de hipervínculo al formulario para pre inscribir y distribuir a otras familias u otros hijos/as.

> Utilización complemento de WhatsApp A lo largo del operativo además de llamar telefónicamente a las familias se utilizó el contacto mediante contactos por WA. Principalmente las actividades que se realizaron por WA fueron:

> Duración del campo El trabajo de campo comenzó el día 4/04/2022 y finalizó el día 13/05/2022. El operativo duró una semana más de lo previsto y se logró inscribir el 46% de las 2600 familias planificadas. Esto sucedió por varios motivos:

- Envío de ejercicios de la evaluación diagnóstica para lectura simultánea con el estudiante,

- En primer lugar se pudo trabajar con solamente 5.122 casos de la base de datos original provista por el gobierno, prácticamente la mitad de lo que se había previsto (10.000 familias) filtrando por información completa de contacto y descartando números inválidos.

- Un punto adicional tuvo que ver con la subestimación de la dificultad de 3

Finalmente cada encuestador debía indicar si la llamada se consideraba: El caso 14 fue agregado durante el operativo porque la base de pre-inscritos muchas veces incluía a familias que se encontraban en la base original. Si el resultado era de 1 a 7 (o 14) el caso se consideraba cerrado, 8 a 13 el caso seguía disponible para conectar. >Base de contactos del Ministerio. La base de contactos enviada por el GCBA contaba con los datos de 28.308 estudiantes. Se limpió la base de tal manera que nos quedáramos sólo con aquellos NNA dentro del rango de edad de 10 a 13 años previsto, y que además tuvieran un número telefónico que por su cantidad de dígitos pareciera válido. Se empezó entonces el operativo con una base de 7.719 estudiantes. Al momen to de la decisión de interrumpir el contacto a familias de la base original, se llevaban contactadas 5.122 familias. Cabe aclarar que además el 25% de estos casos resultaron números inválidos o inexistentes, y otro 5% adicional númerosequivocados.laencuesta,

10. Llama y nadie responde

sobre todo en encontrar disponibles tanto a adultos como niños. Un 40% de ellos asistían en doble turno y solo podían resolver la evaluación por las tarde, a partir de las 17.30hs o por la noche.

El protocolo de campo consistió en contactar a cada familia hasta 7 veces, (hasta 2 por WhatsApp y 5 por teléfono). Se estableció un guión de contacto para los encuestadores que se distribuyó mediante la guía de sensibilización/ EnTDR.cada una de las llamadas se buscó: identificar el hogar, comprobar que los datos de la familia sean correctos; lograr el consentimiento del cuidador; im plementar con los adultos los cuestionarios demográficos y de trayectorias educativas; realizar con los estudiantes los cuestionarios socio emocionales y la prueba de evaluación diagnóstica de matemáticas; y, por último, realizar acuerdos sobre la mejor vía de comunicación para las tutorías (día y horario).

>Breve descripción de protocolo de campo

1. Encuesta completa 2. No están interesados en participar del programa

4. Protocolo de 7 contactos completo 5. NNA fuera de rango de edad

6. Número equivocado 7. Número inválido/ no timbra/ no corresponde a un abonado

8. Buzón de voz directo 9. Grabación “el número solicitado no se encuentra disponible...”

- Por último, se incrementó el tiempo de duración de la encuesta en 11 minutos promedio por sobre la duración del piloto (25 minutos) por la inclusión de ítems del módulo socio-emocional (36 minutos)

3. Llamada rechazada (sin escuchar de qué se trata)

Esto quiere decir que los encuestadores trabajaron con una base de unos 3.600 teléfonos que funcionaban de la base original. Estos fueron también los casos más difíciles en términos de desconfianza y que pidieron muchas veces che quear con las escuelas que el programa fuera cierto, recibiendo respuestas negativas o de desconocimiento por parte de éstas.

>Nuevas estrategias de contacto con familias Durante el operativo, se elevaron propuestas de estrategias alternativas para acelerar la tasa de conversión de contactos a encuestas completas. Las pro puestas más relevantes se concentraron en 4 estrategias:

>> Contacto con Directores de Establecimientos: Consistió en compartir modelos de cartas a Directores de Escuelas informando sobre la implementación del estudio de tutorías y los mecanismos de inscripción y funcionamiento.

Efectividad: el desarrollo de modelos de comunicación “listos para usar” facilita la labor de funcionarios para promover el programa. El proceso se aceleró en cuanto se tomó contacto directo con el equipo de Dirección de Escuelas Primarias para explicar específi camente las acciones requeridas

Con todo, el ratio de conversión de esta base fue del 13%, superior a la tasa de rechazos, pero muy por debajo de la tasa de conversión de pre-inscriptos (ver figura 2).

Efectividad: existe cierta opacidad sobre cómo se da el contacto de la Dirección y los Supervisores con los Directores de Estableci mientos y cómo se presenta el piloto. Un contacto más directo con los Directores para entender los mecanismos de promoción pueden ser beneficiosos en el futuro

>> Comunicación del sistema educativo: Consistió en compartir modelos de información sobre los objetivos, la implementación y la evaluación del piloto a funcionarios de Dirección General de Escuelas Primarias y Supervisores Escolares a fin que puedan sensibilizar y promover el piloto de tutorías en el sistema educativo.

La base de datos con la que se trabajó consistía en: 1). familias de escuelas públicas de la Ciudad de Buenos Aires que no conocían el proyecto y 2). fami lias que conocían el proyecto y se pre inscribieron en un formulario. Para las familias del primer grupo fue importante tener una página web institucional para consultar, en este caso la web estaba disponible en un link del portal de la Universidad Torcuato Di Tella. Se comenzó trabajando con la base de datos del tipo 1, y a medida que avanzó el proyecto hubo más familias del tipo 2. Las últimas semanas se trabajó solamente con familias preinscritas.

>Actividades de pre-inscripción

Efectividad: recién a partir del contacto directo con la Dirección de Escuelas Primarias se notó un salto en la tasa de pre-inscripción en el formulario. La tasa de conversión a encuesta completa fue significativamente superior.

>Bitácora de campo Durante las 6 semanas de campo, se registraron algunos sucesos e hitos relevantes que incidieron en la performance del trabajo de campo. Estos sucesos corresponden a acciones deliberadas consensuadas para aumentar el número de encuestas completas, o a eventos de shock en el calendario que afectaron la productividad del trabajo de campo. La tabla 2 en el anexo describe detalla damente los sucesos para cada uno de los días del campo. A continuación se 6

Efectividad: el clima suscitado a partir del artículo de prensa demoró la utilización de esta estrategia.

>> Envío de email masivo: Se diseñó un modelo de correo electrónico masivo orientado a las familias para informar y promover la inscripción al programa de tutorías

>> Formulario de pre-inscripción : Se desarrolló un formulario online con información descriptiva sobre las tutorías para las familias con campos abiertos para que los adultos responsables de estudiantes interesados pudieran inscribirse

indican algunos de estos eventos de mayor relevancia.

FECHA 8 de abril 4 de abril 12 de abril 14 de abril 15 y 16 de abril 18 de abril 20 de abril Se da de baja 1 encuestadora, pero se refuerza el equipo de campo, incorporando 3 personas máspción para familias Solicitud al Ministerio de Educación que refuerce el mensaje de sensibilización sobre las tutorías y la pre-inscripción en el sistema educativo Se enfatiza el contacto de pre-inscriptasfamilias

Nuevos encuestadores se suman al SemanaequipoSanta Se adicionan 2 encuestadores para completar un equipo de 19 en total Se comparte con el sistema educativo modelos de comunicación sobre el piloto de tutorías e formularios de pre-inscripciónparafamilias Inicio del trabajo de campo con encuestadores15

22 y 23 de abril Oferta de incentivos económicos a ecuestadores (paga doble por encuesta completa para aquellos que realizan un número mayor a 50 submissions diarias)

Tabla 1: Bitácora de campo, encuesta de línea de base Acelerar Aprendizajes en Ciudad de Buenos Aires, Argentina de abril DESCRIPCIÓN DE SUCESO

La tabla 2 a continuación muestra un resumen sobre los resultados de cobertu ra y productividad de la encuesta de línea de base. El operativo de campo concluyó con 1.204 encuestas completas, alcanzando un 46% del objetivo inicial de alcanzar 2.600 familias en la CABA. Durante el operativo fueron contactadas 5.891 familias en base a información de la base de contactos del Ministerio y de la base de familias pre-inscriptas que completaron el formulario de inscripción vía google form. El número total de familias con información disponible para comunicarse ascendió a 8.489 familias compuestas por las 5.122 familias elegi bles de los contactos del Ministerio de Educación de CABA más, las 769 familias 25 de abril Se suman 2 encuestadores, alcanzando 21 en el equipol Sale la publicación del primer artículo en el portal “Tiempo Argentino”

8 Resultados3 > Encuesta: productividad, cobertura de campo y performance

Por indicación del Ministerio de CABA, se frena el operativo de campo Se publica el segundo artículo delArgentino”“Tiempo Se reanuda el contacto con familias solo pre-inscriptas hasta el final operativodel Se concentra el trabajo en cerrar casos abiertos y pre-inscriptos en la semana.última Se finalizó el operativo 26 de abril 28 de abril 29 de abril 30 de abril 10 y 11 de mayo 12 de mayo

pre-inscriptas de forma espontánea a partir de las acciones de comunicación, sobre las cuales vamos a referirnos en detalle en las próximas secciones. Tabla 2: Métricas de seguimiento, encuesta de línea de base Acelerar Aprendi zajes en Ciudad de Buenos Aires, Argentina 9 MÉTRICAS AL 13/05/2022 BASE TOTAL (1) Objetivo de encuestas completas (N) (2) Encuestas completas (N) (3) Objetivo cumplido de encuestas completas (%) (4) Familias contactadas (N) (5) Contactos en la base de datos (N) (6) Consumo de la base de datos (%) (7)Tasa de conversión (%) (Encuestas realizadas(11)acumulado(10)(9)campo(8)contactadas)completas/FamiliasDuracióndetrabajodeensemanas(N)Semanaactual(N)Díasencampo(N)Númerodellamadas(N) 12042600 100,00%769769528-520,44%69,40%84895891 5 6 6 32 32 12077 68,4%12077 46,31% PRE-INSCRIPTOS

> Resultado de encuesta Se logró convertir el 20.4% de las familias contactadas a casos de éxito de encuestas completas. Como muestra la figura 1 a continuación, el 21.6% de los datos telefónicos de la base total (GCBA + pre-inscritos) correspondía a núme ros inválidos. Sobre el resto, para un 18.4% de las familias se completó el proto colo de llamadas sin lograr establecer contacto con las familias. A un 13.2% de las familias se las contactó en diversas ocasiones sin lograr respuesta. Un 9.4% de las familias manifestó desinterés por participar de la propuesta y así la figura continúa una distribución de resultado para la base de 5.891 familias contactadas. Figura 1: Resultados de la llamada en función de las familias contactadas en Ciudad de Buenos Aires 0,00% 5,00% 10,00% 15,00% 20,00% 25,00% 20,40%21,66% 18,42% 13,29% 9,47% 3,82%4,48% 0,08%0,15%1,19%1,43%1,73%1,95%1,92% RESULTADO DE LA LLAMADA DE SENSIBILIZACIÓN EN FUNCIÓN DE LAS FAMILIAS CONTACTADASPORCENTAJESOBRE EL TOTAL DE FAMILIAS LLAMADAS (N=5981) 7. Número inválido 4. Protocolo de 7 contactos completos 10. Llama y nadie responde 1. Encuesta completa 2. No están intersados en el programa 6. Número equivocado 8. Buzón de voz directo 9. Grabación de voz 13. CITA 14. Ya fue contactado por otro tutor 11. Adulto completo, falta NNA 12. Encuesta incompleta 3. Llamada rechazada sin escuchar de que se trata 5. NNA fuera del rango de edad En base a los datos, observamos una significativa diferencia en la tasa de éxito en la conversión de encuesta completa entre familias con fuente de informa ción basada en el registro de contacto del Ministerio de aquellas familias pre-inscriptas espontáneamente. Como indica la figura 2, mientras la tasa de encuestas completas entre pre-inscriptos alcanzó el 68,4%, entre los registros de la base de contactos sólo fue del 13,2% de las familias. Esta diferencia marca el resultado más interesante desde el punto de vista de la dirección y gestión del operativo de la encuesta. Dos aspectos resultan claves para el éxito de este tipo de experiencias: a: i) la baja calidad de información de contacto de las familias de los registros educa10

Figura 2: Resultados de la llamada discriminada por fuente de origen del regis tro de familias: Base del Ministerio GCBA y Base de pre-inscriptos La figura 3 a continuación ofrece una visualización de la evolución de encues tas completas diarias por jornada de campo, con hitos de sucesos relevantes destacados en la bitácora y su impacto en las encuestas completas. A partir del 28 de abril se acordó con el Ministerio de Educación focalizar las llamadas en familias de pre-inscriptos, interrumpiendo el contacto telefónico directo a familias de la base de registros. Figura 3: Evolución de encuestas completas por día de campo 11

RESULTADO DE LA LLAMADA DE SENSIBILIZACIÓN POR FAMILIA CONTACTADA, ENTRE BASE DE PRE-INCRIPTOS Y BASE DEL GCBA

BASE DEL GCBA BASE DE PRE-INSCRIPTOS 0,00% 20,00% 40,00% 60,00% 80,00% 7. Número inválido 4. Protocolo de 7 contactos completos 10. Llama y nadie responde 1. Encuesta completa 2. No están intersados en el programa 6. Número equivocado 8. Buzón de voz directo 9. Grabación de voz 13. CITA 14. Ya fue contactado por otro tutor 11. Adulto completo, falta NNA 12. Encuesta incompleta 3. Llamada rechazada sin escuchar de que se trata 5. NNA fuera del rango de edad 24,70% 1,43%1,43% 20,03% 7,67% 10,09%15,07% 0,20%0,00%1,04%5,00%5,33%4,30%0,65%2,25%2,19%0,13%1,50%3,25%1,29%0,52%9,62%0,16%0,13%0,04%0,39% 68,40% tivos, y ii) la alta efectividad de relevamiento de trabajar con mecanismos de pre-inscripción de familias que garantizan el conocimiento y el interés sobre la propuesta educativa de las tutorías.

2022Apr042022Apr052022Apr062022Apr072022Apr082022Apr092022Apr112022Apr122022Apr132022Apr142022Apr152022Apr162022Apr182022Apr192022Apr202022Apr212022Apr222022Apr232022Apr252022Apr262022Apr272022Apr282022Apr292022Apr302022May022022May032022May042022May052022May062022May072022May102022May112022May12TOTSEMANA:189TOTSEMANA:258FRENOPORORDENDELGCBASEMANASANTASOLOPRE-INSCRIPTOSTOTSEMANA:315 > Reacciones a la encuesta >>Reacciones positivas La interacción de los encuestadores con las familias en ocasiones despertó interés y agradecimiento por parte de las familias. Estos son algunos de esos testimonios: ENCUESTAS COMPLETAS POR DÍA 80706050403020100 12

- Resultó significativamente más efectivo para el proyecto trabajar sobre una base de datos de familias pre-inscritas al programa que sobre una base de números de familias que no tienen contexto del programa (68% vs. 13% de respuesta a la evaluación diagnóstica).

>> Reacciones negativas

- Se recomienda hacer esfuerzos para mejorar la sensibilización y familia ridad de la intervención a los Directores del Sistema Educativo, Superviso res y Directores de Establecimiento, más allá del desarrollo de modelos de carta de presentación. Es necesario que las acciones de reclutamiento cuenten con liderazgo y apoyo para promocionar la participación de las familias desde todas las instancias del sistema educativo (Directores de Primaria, Supervisores y Directores de Establecimientos)

- Es necesario trabajar con el Ministerio de Educación y con los superviso res de las escuelas seleccionadas para que la intervención y el estudio resulten en un contexto más favorable.

Desconfianza: Existieron reacciones de desconfianza de algunas familias con respecto al piloto de tutorías y el mecanismo de acceso a la información de contacto sobre las familias que usó el encuestador para contactarlos. El estu dio despierta sensibilidad en las familias respecto del acceso a información sobre menores de edad y desconfianza respecto de cuán integrada se encuen tra la intervención con el sistema educativo y las escuelas.

- Sería beneficioso que representantes del piloto de tutorías del donante como del ejecutor participen activamente en todas las instancias de sensibilización sobre el piloto en cada línea de jerarquía del sistema educativo. Es el esfuerzo institucional y de comunicación el que permite me jorar el alcance y la recepción del proyecto.

- Las familias y el sistema educativo necesitan información confiable Lecciones aprendidas4

Prensa: Se publicaron 2 artículos en prensa en un medio gráfico de bajo alcan ce cuestionando bajo qué condiciones el Ministerio de Educación de la CABA compartió información de contacto de las familias para la ejecución del piloto y sobre el rol de la Universidad en el estudio.

> Sobre la base de datos: > Pistas sobre cómo mejorar institucionalidad y la comunicación: 14

- Es útil contar con una página web, un artículo en el diario, que respalde al piloto, y muy recomendable que la información descanse en portales oficiales del Ministerio de Educación .

-familia.Esimportante

- La información idealmente debe llegar a las familias por vía jerárquica, es decir: Ministerio> Supervisión> Escuelas> Docentes> Familias

> Protocolo de contacto - 3 contactos por familia pareciera ser suficiente, la familia interesada no dilata la conversación.

- Contar con un 0800 para consultas podría ser beneficioso para el piloto.

> Sobre cómo hacer la encuesta y evaluación sobre la existencia del piloto, sino desconfían de la iniciativa y les cuesta más comprender el contexto.

- El encuestador siempre debe tener en mente los tiempos y guiar a la dar a las familias toda la información requerida y antici par cómo será el proceso de evaluación para evitar contratiempos.

- Combinar información mediante WhatsApp y teléfono es útil para mejo rar la comprensión de los ejercicios diagnósticos.

- Se puede preinscribir a las familias utilizando comunicación digital, pauta en medios digital dirigido a la casilla de mail, email marketing. Idealmente esta pauta/ mecanismo de distribución debe vincularse a las redes y medios institucionales del organismo.