BANCO INTERAMERICANO DE DESARROLLO
La evaluación de impacto del Servicio de Acompañamiento a Familias de Cuna Más Noviembre, 2016 VI Simpósio Internacional de Desenvovimento da Primera Infância
CONTENIDO 1.Antecedentes 2.La evaluaciรณn de impacto 3.Resultados 4.Conclusiones y recomendaciones
Prueba de vocabulario, zona rural (niños de 4 años)
110 105 Puntaje promedio TVIP
100 95
Cuartil First más rico (richest) quartile
90 85
Fourth Cuartil (poorest) más quartile pobre
80 75 70 65 60 Chile
Fuente: Schady et al. 2015
Colombia
Ecuador
Nicaragua
Peru
Antecedentes Los programas de visitas domiciliarias han demostrado tener impactos importantes sobre el desarrollo infantil en contextos de países de ingresos altos y de ingresos medios/bajos. En Jamaica, 22 años más tarde, los adultos que, de niños, recibieron el programa de estimulación tenían mejores resultados: •Cociente intelectual •Puntajes en pruebas de lectura, matemáticas y conocimientos generales •Escolaridad. •Depresión, habilidades sociales •Comportamientos violentos •Salarios (25%) Estos resultados provienen de un programa de muy pequeña escala.
Gertler et al., Science 2014
Antecedentes Por su cobertura, el SAF es el principal servicio de desarrollo infantil en Perú Bien focalizado: zonas rurales, pobres, con altos niveles de desnutrición En los distritos focalizados, todos los niños menores de 24m son elegibles En 2015 llegó a 82 mil niños en 580 distritos Esta es la primera evaluación de un programa de visitas domiciliarias implementado a escala por una agencia de gobierno
El Servicio de Acompañamiento a Familias, SAF • Objetivo “Promover el desarrollo y fortalecimiento de conocimientos, capacidades y prácticas de cuidado y aprendizaje de las familias (madre/padre/cuidador principal) para mejorar el desarrollo infantil de los niños y niñas menores de 36 meses en zonas en situación de pobreza y pobreza extrema.”
La operación del programa Facilitadoras de la comunidad 10 familias por facilitadora Reciben un estipendio por su trabajo Facilitadoras entrenadas y apoyadas por el/la Acompañante Técnico 10 facilitadoras por AT AT entrenados y apoyados por especialistas regionales 20 oficinas regionales de SAF en el país Especialistas regionales reciben entrenamiento y supervisión del equipo central en la sede de Lima Tiempo de capacitación limitado (previo y continua)
La teoría de cambio Visitas domiciliarias
Más y mejores interacciones adulto-niño Más actividades y materiales de juego Disciplina y refuerzo positivo
Más y mejores oportunidades de aprendizaje
Mejor desarrollo infantil: cognitivo, comunicación, motricidad y socioemocional Mayor aprestamiento escolar, mejor aprovechamiento
CONTENIDO 1.Antecedentes 2.La evaluaciรณn de impacto 3.Resultados 4.Conclusiones y recomendaciones
La evaluación de impacto Desde su creación, SAF se ha expandido de manera gradual Esto permitió diseñar una evaluación de impacto experimental, con asignación aleatoria a grupos de tratamiento y control 180 distritos en 12 departamentos, 67 provincias 120 asignados a tratamiento (T) y 60 a control (C) En cada distrito, 2 centros poblados 16 niños por CP en la encuesta
La muestra
Estadísticas descriptivas N
Media
DE
5,339 5,339 5,186 5,190
12.79 0.49 0.38 0.08
6.66 0.50 0.48 0.27
5,065 5,339 5,339 5,339 5,339 5,339 5,339 5,339 5,339 5,339
6.57 0.11 0.5 0.08 0.41 0.6 0.26 0.76 0.59 0.25
4.08 0.31 0.5 0.27 0.49 0.49 0.44 0.43 0.49 0.43
Características del niño Edad (meses) Proporción de mujeres Desnutrición crónica Desnutrición global
Características del cuidador y del hogar Años de educación Proporción de indígenas Proporción con televisor Proporción con refrigeradora Proporción con cocina a gas Proporción con celular Proporción con piso de tierra Proporción con eletricidad Proporción con agua (dentro de la vivienda) Proporción con servicio higiénico (dentro de la vivienda)
LĂnea de tiempo 2014
2013 Abr
LĂnea de base
1-24 meses de edad
Jun
Ago
Sep
Nov
2015
LĂnea de tiempo 2014
2013 Abr
Jun
Ago
Sep
LĂnea de base Preparativos
1-24 meses de edad
Visitas
Nov
2015
LĂnea de tiempo 2014
2013 Abr
Jun
Ago
Nov
Sep
Preparativos
LĂnea de base Preparativos
1-24 meses de edad
Visitas
Visitas
2015
LĂnea de tiempo 2014
2013 Abr
Jun
Ago
Nov
Sep
May-Dic
Seguimiento
Preparativos
LĂnea de base
2015
Preparativos Visitas
1-24 meses de edad Visitas
25-55 meses de edad
Heterogeneidad en la participación Muestra de la evaluación: 3870 niños asignados a T. De ellos 1400 (36%) no reciben el SAF. ¿Por qué? 39% Estaban en 40 CP declarados no elegibles 14% Superan los 24 meses de edad cuando SAF llega a su CP 1% Estaban en CP de tratamiento donde no llegó SAF 46% Por otras causas
Heterogeneidad en la participación Muestra de la evaluación: 3870 niños asignados a T. De ellos 1400 (36%) no reciben el SAF. ¿Por qué? 39% Estaban en los 40 CP declarados no elegibles 14% Superan los 24 meses de edad cuando SAF llega a su CP 1% Estaban en CP de tratamiento donde no llegó SAF 46% Por otras causas 2470 (64%) recibe el SAF
Los niños que no participan en el Programa tienen: más edad, menor prevalencia de desnutrición crónica, mejor motricidad gruesa, madres más educadas, con un mejor nivel de vocabulario, hogares menos pobres.
Después de 27 meses de implementación, la participación en SAF entre los hogares de T era 64%, con variabilidad en el número de visitas recibidas Número de visitas recibidas, grupo de tratamiento de la muestra de la evaluación (N= 3.870)
El niño promedio: -Tenía 12 meses en línea de base -Debió haber recibido un máximo de 96 visitas
Medición del desarrollo infantil Cuestionario de Edades y Etapas, Ages and Stages Questionnaire ASQ-3 Prueba de tamizaje, disponible en español, adaptada al contexto peruano por sicólogas locales 5 áreas: resolución de problemas, comunicación, motora fina, personalsocial, y motora gruesa Reporte materno y administración directa Administrado por encuestadores del INEI, en el hogar
Medición del desarrollo infantil Cuestionario de Edades y Etapas, Ages and Stages Questionnaire ASQ-3 Prueba de tamizaje, disponible en español, adaptada al contexto peruano por sicólogas locales 5 áreas: resolución de problemas, comunicación, motora fina, personal- social, y motora gruesa Reporte materno y administración directa Administrado por encuestadores del INEI en el hogar
Escala de Bayley, Bayley Scales of Infant and Toddler Development Bayley Prueba diagnóstica considerada el “gold standard” Administrada a una sub-muestra de ~1000 niños por sicólogas en condiciones óptimas
CONTENIDO 1.Antecedentes 2.La evaluaciรณn de impacto 3.Resultados 4.Conclusiones y recomendaciones
Resultados principales El impacto de haber sido asignado a un distrito T del SAF es… Positivo y significativo en las áreas de resolución de problemas, comunicación, motricidad fina y personal social Magnitud del impacto ~ 6-8% de una desviación estándar Si consideramos el impacto sobre quienes efectivamente recibieron el SAF: Positivo y significativo en las áreas de resolución de problemas, comunicación, motricidad fina y personal social Magnitud del impacto ~ 9-12% de una desviación estándar Con el Bayley los resultados son consistentes (desarrollo cognitivo y lenguaje) y de mayor magnitud: Haber sido asignado: 16-25% de una desviación estándar Haber recibido el SAF: 19-30% de una desviación estándar
¿En qué se traducen estos impactos? 40% 35% 30% 25% 20%
Impacto Gradiente
15% 10% 5% 0% Resolución de Problemas
Comunicación Motricidad Fina Personal Social
Total
¿Cómo se logra mejorar los niveles de desarrollo infantil? Gracias a la facilitación de la interacción entre adulto niño durante la visita, se logran cambios conductuales en las prácticas de crianza en el hogar, medidos con los siguientes indicadores:
Más actividades de juego leer libros o ver sus imágenes, contar historias, cantar salir a pasear, jugar con juguetes, dibujar, nombrar objetos
Más juguetes caseros para armar o construir
Más libros de cuentos con imágenes
Más interacciones positivas entre adulto-niño
Menos castigo físico
Menos gritos
Más felicitaciones por comportamientos positivos
Calidad Objetivo: Lograr una mejor comprensión sobre la calidad de las visitas domiciliarias del SAF y cómo ésta se traduce en resultados sobre el desarrollo infantil. HOVRS: Instrumento observacional. Evalúa la efectividad de la visita domiciliaria.
Tiene dos dominios: 1.Prácticas de la visitadora domiciliaria o facilitadora 2. Involucramiento de la familia
Puntajes totales
CONTENIDO 1.Antecedentes 2.La evaluaciรณn de impacto 3.Resultados 4.Conclusiones y recomendaciones
Resumen de resultados SAF tiene impactos robustos y significativos en el desarrollo infantil, especialmente en las áreas cognitiva y de lenguaje receptivo, a pesar de los retos de implementar un programa de visitas domiciliarias a escala, a través de una agencia de gobierno, en áreas de difícil acceso y para una población diversa culturalmente. Costo del programa: ~US$300 por niño por año en 2015 (1/3 del SCD) Tasa de beneficio-costo: 3,2 con los parámetros más conservadores
Lecciones aprendidas (1/2) Enfoque del SAF ha evolucionado en el tiempo Rol de temas nutricionales Dificultades en la implementación de un programa de esta escala, que resultan en: Sub-cobertura dentro del grupo de tratamiento (sub-estimación de impactos) Retrasos en entrega de materiales, capacitación, etc. Evaluación de la primera fase de un programa en construcción En estos años, ha aumentado el conocimiento sobre la medición del desarrollo a escala para este grupo etario.
No tenemos una medición del desarrollo infantil representativa de todos los niños peruanos.
Lecciones aprendidas (2/2) Amplio espacio de mejora para consolidar la calidad del SAF: En lo operativo: - Mejorar cobertura de la población objetivo (oferta y demanda) - Garantizar 1 visita por semana - Mantener satisfacción de las familias - Reducir deserción del personal - Optimizar recojo, sistematización y procesamiento de información En los procesos: - Fortalecer capacitación y acompañamiento del personal para lograr más y mejor receptividad hacia la familia e involucramiento en el desarrollo de sus hijos - Aprovechar recursos del hogar para incorporar actividades de juego en la rutina diaria - Transición al prescolar En lo estratégico: - Continuidad de los esfuerzos de evaluación
ยกGracias!
Para conocer mรกs visite: www.iadb.org/DesarrolloInfantil www.iadb.org/Salud www.iadb.org/ProteccionSocial @BIDgente