Estudio piloto de Paraguay, Programa de Evaluacion y Monitoreo de la Alfabetizacion by OEI Paraguay

INFORME FINAL DEL ESTUDIO PILOTO DE PARAGUAY PROGRAMA DE EVALUACIÓN Y MONITOREO DE LA ALFABETIZACIÓN (LAMP) Paraguay, Noviembre 2010

Con el apoyo de:

Ficha Técnica EQUIPO DE ELABORACIÓN Ministerio de Educación y Cultura Dalila Zarza Paredes, Directora de Estadística Educativa (DIEE/DGPE) Graciela Sosa, Directora de Evaluación y Calidad Educativa (DECE/DGPE) Nidia Glavinich, Jefa del Departamento de Planificación, Investigación, Innovación y Evaluación de la Dirección General de Educación Permanente (DGEP) Ada Lina Guerrero Piris, Técnica de la Dirección de Estadística Educativa (DIEE/DGPE) Arnaldo Ortiz, Técnico de la Dirección de Evaluación de Calidad Educativa (DECE/DGPE) Edgar Osvaldo Brizuela Vera, Jefe de departamento de Diseño Curricular (DGCEO) Lidia Manuela Fabio de Garay, Jefa de departamento de apoyo a la implementación curricular en medios comunicativos (DGCEO) Oscar Gaona, Asistente Técnico en Investigación (MEC-OEI) Organización de Estados Iberoamericanos (OEI) Instituto para el Desarrollo y la Innovación Educativa (IDIE) Federico Barrios Sosa, Coordinador del Equipo Técnico Nacional LAMP Nelly Briet, Asistente Técnica en Investigación Corrección de Estilo María Gilda Vázquez, Técnica de la Dirección de Estadística Educativa (DIEE/DGPE)

Edición Marcela Capra, Departamento de Comunicación (OEI) © Dirección General de Estadística, Encuestas y Censos ,Ministerio de Educación y Cultura y Organización de Estados Iberoamericanos. Noviembre, 2010

AUTORIDADES Ministerio de Educación y Cultura (MEC) Luis Alberto Riart Montaner, Ministro Diana Serafini Fernández, Viceministra Viceministerio de Educación para la Gestión Educativa Héctor Valdez Alé, Viceministro Viceministerio de Educación para el Desarrollo Educativo Mirna Vera Notario, Directora General Dirección General de Planificación Educativa (DGPE) María de la Paz Bareiro Dorroum, Directora General Dirección General de Educación Permanente (DGEP) Organización de Estados Iberoamericanos (OEI) Luis Scasso, Director General de Cooperación y Educación Permanente Dirección General de Estadística, Encuestas y Censos (DGEEC) Zulma Sosa, Directora General Dirección General de Estadística, Encuestas y Censos

Índice

Presentación ................................................................................................. 11 RESUMEN EJECUTIVO ................................................................................... 13 INTRODUCCIÓN ............................................................................... 15 1.

MARCO CONCEPTUAL Y METODOLÓGICO DEL LAMP .......... 19

ESTUDIO PILOTO LAMP EN PARAGUAY ............................... 25

2.1.

Objetivos del estudio Piloto ................................................... 25

2.2.

Población y Muestra .............................................................. 26

2.2.1.

Consideraciones sobre población objetivo ........................... 26

2.2.2.

Consideraciones sobre unidades muestrales ........................ 26

2.2.3.

Marco muestral utilizado.................................................... 27

2.2.4.

Tamaño de la muestra ...................................................... 28

2.2.5.

Diseño de la muestra ........................................................ 28

2.3.

Adaptación y revisión de instrumentos y manuales LAMP ......... 30

2.3.1. Conformación y capacitación de los equipos de trabajo de adaptación…… .................................................................................... 31 2.3.2.

Proceso de adaptación de los instrumentos ......................... 31

2.3.3.

Talleres de adaptación ...................................................... 33

2.3.4.

Aspectos positivos del proceso de adaptación ...................... 36

2.3.5.

Dificultades encontradas durante el proceso de adaptación .. 37

2.4. 2.4.1.

Capacitación ........................................................................ 37 Capacitación a supervisores y encuestadores ...................... 37

2.4.1.1. Objetivos generales y organización de las capacitaciones a supervisores y encuestadores ............................................................... 38 2.4.1.2.

Desarrollo de la capacitación a supervisores y encuestadores 39

2.4.2.

Capacitación a correctores ................................................. 40

2.4.3.

Capacitación a digitadores ................................................. 42

2.4.4.

Capacitación a codificadores ............................................. 42

2.5.

Recolección de datos ............................................................ 43

2.5.1.

Organización y logística del trabajo de campo ..................... 44

2.5.2.

Estrategia para minimizar la tasa de no respuesta ............... 46

2.5.3.

Desarrollo del trabajo de campo......................................... 48

2.5.4.

Entrevista e instrumentos .................................................. 50

2.6.

Asignación de puntajes ......................................................... 58

2.6.1.

Procedimientos para la corrección de instrumentos .............. 59

2.6.2.

Informes comparativos de asignación de puntajes ............... 63

2.7.

Codificación del cuestionario de antecedentes ......................... 65

2.8.

Procesamiento de datos ........................................................ 66

2.8.1.

Recepción y organización de los cuestionarios…..……………….66

2.8.2.

Captura de datos .............................................................. 66

2.8.3.

Descripción de la base de datos y registros ......................... 67

2.8.4.

Verificación de la captura de datos ..................................... 67

2.8.5.

Validación y consistencia ................................................... 67

2.9.

Control de calidad ................................................................. 68

2.9.1.

Control de calidad de la adaptación de los instrumentos ....... 68

2.9.2. Control de calidad de la capacitación a encuestadores y supervisores ...................................................................................... 68 2.9.3.

Control de calidad de la muestra ........................................ 68

2.9.4.

Control de calidad de recolección de datos .......................... 69

2.9.5.

Control de calidad del procesamiento de datos .................... 70

2.9.5.1.

Corrección y codificación ................................................... 70

2.9.5.2.

Programa de consistencia de datos de los instrumentos ...... 70

2.10. 3.

Estudio etnográfico ............................................................... 71 PRINCIPALES RESULTADOS ................................................. 72

3.1.

Evaluación del marco muestral ............................................... 72

3.2.

Funcionamiento del CA y de los instrumentos cognitivos .......... 76

3.3.

Capacitaciones, recolección y procesamiento de datos ............. 78

3.3.1.

Capacitaciones ................................................................. 78

3.3.2.

Recolección de datos ........................................................ 79

3.3.3.

Procesamiento de los datos ............................................... 80

3.3.4.

Aspectos relacionados al costo ........................................... 80

3.3.5. principal

Capacidades nacionales para la implementación de la encuesta …………………………………………………………………………………….81

3.3.6.

Difusión de los resultados de la prueba piloto ...................... 82

SUGERENCIAS ....................................................................... 83

4.1.

Población y muestra ............................................................. 83

4.2.

Adaptación ........................................................................... 84

4.3.

Capacitación ........................................................................ 84

4.3.1.

Personal de campo ........................................................... 84

4.3.2.

Correctores ...................................................................... 85

4.3.3.

Digitadores y codificadores ................................................ 86

4.4.

Recolección de datos ............................................................ 86

4.4.1.

Operativo de campo.......................................................... 86

4.4.2.

Entrevista e instrumentos .................................................. 87

4.4.2.1.

Secuencia de la entrevista ................................................. 87

4.4.2.2.

Instrumentos ................................................................... 87

4.5.

Codificación ......................................................................... 89

4.6.

Procesamiento de datos ........................................................ 89

BIBLIOGRAFÍA ................................................................................. 90

Índice de tablas y anexos TABLAS Tabla 1. Muestra del estudio piloto………………………………………………………………….30 Tabla

Número

porcentaje

consistencias

inconsistencias

entre

correctores……………………………………………………………………………………………………..64 Tabla 3. Resultado final de la muestra por nivel educativo según Módulos A y B y Cuadernillos 1 y 2 ……………………………………………………………………..…………….…….72 Tabla 4. Cantidad de entrevistas según código de situación final en la encuesta…………………………………………………………………………………………………………73 Tabla 5. Distribución de encuestados por sexo y edad ………………………………………75 ANEXOS Anexo A. Perfiles y responsabilidades de supervisores y encuestadores…………………………………………………………………………………………………92 Anexo B. Tiempo de aplicación de instrumentos según código de situación final……………………………………………………………………………………………………………….96 Anexo C. Perfiles y responsabilidades de correctores.............…………………………….98 Anexo D. Duración media de la entrevista.............………………………………….………100

Agradecimientos

La concreción del estudio piloto del Programa de Evaluación y Monitoreo de la Alfabetización (LAMP), reflejada en el presente Informe, ha sido factible gracias al trabajo interinstitucional y multidisciplinario de los directivos, funcionarios y técnicos de las instituciones nacionales responsables de coordinar el estudio, quienes aportaron su conocimiento, experiencia y tiempo, sumados al entusiasmo y compromiso, para llevar a cabo esta experiencia. Al apoyo y orientaciones otorgados por los Especialistas del Instituto de Estadística de la Unesco a lo largo de todo el desarrollo del proceso. Especialmente a las personas encuestadas por brindar su mejor predisposición y tiempo para la aplicación de las entrevistas del LAMP en Paraguay.

LISTA DE SIGLAS Y ACRÓNIMOS UTILIZADOS CINE: Clasificación Internacional Normalizada de la Educación CIUO: Clasificación Internacional Uniforme de Ocupaciones CIIU: Clasificación Internacional Industrial Uniforme CMI: Comisión Mixta Interinstitucional DECE: Dirección de Evaluación de la Calidad Educativa DGPE: Dirección General de Planificación Educativa DGEEC: Dirección General de Estadística, Encuestas y Censos DGEP: Dirección General de Educación Permanente DIEE: Dirección de Estadística Educativa EEB: Educación Escolar Básica EJA: Educación de Jóvenes y Adultos EPH: Encuesta Permanente de Hogares ETN: Equipo Técnico Nacional IDIE: Instituto para el Desarrollo y la Innovación Educativa INP: Informe Nacional de Planeación IPG: Índice de Priorización Geográfica IRL: International Record Layout, Formato Internacional de Registros LAMP: Programa de Evaluación y Monitoreo de la Alfabetización MEC: Ministerio de Educación y Cultura MoU: Memorándum de Entendimiento Mercosur: Mercado Común del Sur NBI: Necesidades Básicas Insatisfechas OEI: Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura PAPI: Entrevista Papel y Lápiz PDN: Prosa, Documentos y Números PIA: Plan Iberoamericano de Alfabetización y Educación Básica de Personas Jóvenes y Adultas RI: Regla de Interrupción UIS: Instituto de Estadística de la Unesco Unesco: Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura USM: Unidad Secundaria de Muestreo

Nota: En el presente documento, se utiliza el género masculino sin implicancias discriminatorias y con el solo propósito de facilitar la lectura.

Presentación La cooperación en materia educativa requiere, entre otros aspectos, conocer, valorar, registrar, evaluar y sistematizar diversas experiencias que dan respuesta a múltiples necesidades; así como también profundizar el estudio de los campos del conocimiento. De este modo y en cumplimiento de los objetivos Institucionales de la OEI, del Plan Iberoamericano de Alfabetización y en el marco de “Metas Educativas 2021: La educación que queremos para la generación del Bicentenario”, el Instituto para el Desarrollo y la Innovación Educativa (IDIE MERCOSUR), especializado en alfabetización y educación de personas jóvenes y adultas, con Sede en Asunción realiza desde 2008 estudios, investigaciones y sistematizaciones destinadas a identificar buenas prácticas, así como a favorecer el intercambio de experiencias entre los países del Mercosur. Si bien todas las publicaciones y actividades del IDIE se encuentran en su página web www.oei.org.py/idie, valoramos la necesidad de establecer una línea de publicaciones impresas “Colección IDIE MERCOSUR” que tengo el placer de presentar, cuyo tamaño y diseño favoreciera su uso como elemento de estudio, trabajo o consulta. Para el desarrollo de las investigaciones y su publicación contamos con el inestimable apoyo del Ministerio de Educación de Paraguay y del Ministerio de Educación de España, así como con la colaboración de los Ministerios de Educación de los países del Mercosur. Agradecemos a todos quienes apoyan esta iniciativa y deseamos que estos recursos sean de vuestro interés y utilidad para mejorar la educación de nuestros jóvenes y adultos. Luis Scasso Director General Cooperación y Educación Permanente Organización de Estados Iberoamericanos

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

RESUMEN EJECUTIVO El Programa de Monitoreo y Evaluación de la Alfabetización (LAMP) propone una medición directa de los niveles de alfabetismo de la población joven y adulta de 15 años y más, y se realiza a través de la aplicación de un cuestionario de contexto y de pruebas cognitivas a un miembro seleccionado aleatoriamente dentro de un hogar. Las viviendas y los hogares, medios para llegar a los individuos, son también elegidos de forma aleatoria. La necesidad de contar con datos válidos, confiables y pertinentes en el contexto sociocultural nacional y comparables en el plano internacional para el desarrollo, ejecución, monitoreo y evaluación de políticas y programas no solo educativos sino también intersectoriales, ha llevado al Ministerio de Educación y Cultura (MEC) conjuntamente con la cooperación de la Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura y de la Dirección General de Estadística, Encuestas y Censos, a la implementación del LAMP. En el primer semestre del año 2010, se realizó el Estudio Piloto LAMP en Paraguay, cuyas metas principales han sido probar en terreno las diferentes etapas de la encuesta, la batería de instrumentos proporcionados por el Instituto de Estadística de la Unesco (UIS) y adaptados al contexto local por los equipos técnicos nacionales, ensayar tanto el proceso de capacitación como la capacidad operacional instalada en términos de recursos humanos, logística, tiempo, costo, entre otros aspectos, y analizar a lo largo del estudio piloto las modificaciones necesarias y pertinentes para garantizar la calidad de la aplicación de la encuesta principal y consecuentemente de sus resultados. Para llevar adelante el estudio piloto, se han desarrollado procesos fundamentales como la definición de la población y de la muestra; la adaptación y revisión de los instrumentos y manuales LAMP; la capacitación del personal técnico involucrado; la recolección de datos; la asignación de puntajes; la crítica y codificación del Cuestionario de Antecedentes; el procesamiento de datos; el control de calidad; y finalmente la implementación del estudio etnográfico. El operativo de campo se llevó a cabo del 17 de marzo al 9 de abril de 2010 en los distritos de Juan de Mena, José Falcón, Itauguá, Limpio, Asunción, Itá, San Lorenzo y Villa Elisa. Todo el trabajo de campo fue monitoreado por la Coordinación Técnica, con el asesoramiento de especialistas del UIS Montreal, a efectos de asegurar el cumplimiento de las normas y pautas estandarizadas y definidas en el marco del LAMP. IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

Finalmente, es preciso poner énfasis en los logros de la encuesta piloto que permitieron dimensionar los esfuerzos y ajustes necesarios para la implementación exitosa de la encuesta principal. La implementación de cada etapa permitió derivar los siguientes hallazgos: La tasa de no respuesta constituida por rechazos, casos incompletos, interrupciones, etc. fue mayor a la esperada, particularmente en los estratos socioeconómicos altos. Asimismo, el diseño y tamaño de la muestra serán redefinidos para la implementación del estudio principal.  Los datos del estudio piloto muestran una sobrerrepresentación de las mujeres, situación que deberá ser monitoreada sistemáticamente en la encuesta principal para evitar sesgos en los resultados finales.  Los instrumentos cognitivos tendrán ajustes mínimos conforme a los resultados del estudio piloto. La adaptación del Cuestionario de Antecedentes constituye un reto para el equipo técnico nacional que revisará su estructura así como su adecuación al contexto local.  La ampliación de la capacitación a todos los actores involucrados representa un desafío de primer orden por su impacto directo en la recolección y procesamiento de datos (acopio, codificación, corrección, digitación), así como el reclutamiento y selección de los recursos humanos para las diversas funciones.  En general, la duración promedio de la entrevista tuvo una extensión mayor a lo planificado, lo que incidió negativamente en algunos aspectos de la aplicación de las pruebas.  Algunos procedimientos puestos a prueba necesitan ser ajustados y fortalecidos para garantizar el buen desarrollo de todas las etapas y asegurar la cobertura, validez y precisión de la investigación.  El presupuesto de la Encuesta Principal necesita ser revisado y adecuado teniendo en cuenta las diversas situaciones emergentes en el trabajo de campo del estudio piloto que permitió dimensionar en su justa medida la envergadura del operativo.  Se destaca como valor agregado el trabajo interinstitucional e interdisciplinario llevado a cabo durante el estudio, promoviendo el trabajo cooperativo.  La experiencia piloto instaló capacidades técnicas en las instituciones involucradas en diferentes áreas de investigación, que serán aprovechadas en la aplicación principal. 

Palabras claves: Estudio piloto, Paraguay, Programa de Monitoreo y Evaluación de la Alfabetización (LAMP).

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

INTRODUCCIÓN

Antecedentes y fundamentación de la participación de Paraguay en el LAMP En marzo de 2007 se suscribió la Ayuda Memoria entre el Gobierno de la República del Paraguay y la Unesco, destacándose principalmente la necesidad de contar con la cooperación de ese organismo para dotar al país de sistemas de información que permitan mejorar la planificación y el monitoreo de políticas más efectivas de Educación de Jóvenes y Adultos (EJA), y además la posibilidad de la participación de Paraguay en la implementación del Programa de Evaluación y Monitoreo de la Alfabetización (LAMP). De esta manera se inició la etapa exploratoria para la implementación del LAMP en Paraguay. Posteriormente, en diciembre de 2007, el Ministerio de Educación y Cultura de Paraguay declaró oficialmente su interés para la implementación del LAMP. En julio de 2008 se organizó en Asunción una reunión técnica con la presencia del Especialista Principal del LAMP. El 6 de octubre de 2008 se firmó el “Convenio Específico de Cooperación Interinstitucional entre el Ministerio de Educación y Cultura (MEC), la Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI) y la Dirección General de Estadística, Encuestas y Censos (DGEEC), para la implementación del Programa de Evaluación y Monitoreo de la Alfabetización”. En el marco del Plan Iberoamericano de Alfabetización y Educación de Jóvenes y Adultos 2007-2015 (PIA) con apoyo de la Agencia Española de Cooperación Internacional y de Desarrollo (AECID), la OEI ofreció un apoyo financiero y técnico para la realización del estudio piloto del LAMP, y el MEC y la DGEEC se comprometieron a aportar las contrapartidas nacionales respectivas. Asimismo, se constituyeron formalmente la Comisión Mixta Interinstitucional (CMI) y el Equipo Técnico Nacional (ETN), responsables de la elaboración del Informe Nacional de Planeación y de la ejecución de las actividades del estudio, integrado por representantes de cada una de las instituciones mencionadas. La participación de Paraguay en el LAMP se formalizó con la aprobación del Informe Nacional de Planeación, en agosto de 2009, y la suscripción del

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

Memorándum de Entendimiento (MoU) entre el Instituto de Estadística de la Unesco (UIS) y la República del Paraguay. El actual sistema de medición de la alfabetización en Paraguay presenta limitaciones pues, por un lado, no da cuenta de las competencias en lectura de las personas, ya que se sustenta en indicadores indirectos 1. Por otro lado, la información disponible actualmente es insuficiente para monitorear y evaluar las políticas educativas implementadas. Por ello, el MEC consideró indispensable llevar a cabo un estudio de medición directa de las competencias en alfabetismo en la población joven y adulta, para disponer de datos confiables sobre la distribución real de las competencias en lectura y manejo de números, con vistas a diseñar políticas de educación permanente más pertinentes, revisar y ajustar la oferta educativa del sistema escolar, cuyos déficits configuran el telón de fondo del problema de los bajos niveles de alfabetismo acumulado. Mediante la información obtenida a través del estudio LAMP se pretende contribuir a la definición de planes, programas y proyectos sociales e intersectoriales más pertinentes, que posibiliten mejorar la calidad de vida de la población del país. Trabajo interinstitucional El proceso de implementación de la prueba piloto contó con una coordinación nacional encargada de las actividades del LAMP y se constituyó un Equipo Técnico Nacional (ETN), responsable de la coordinación técnica de las actividades de la prueba piloto, integrado por representantes del MEC, DGEEC y OEI. Durante todo el proceso, el ETN presentó los alcances, las dificultades y las propuestas técnicas a la Comisión Mixta Interinstitucional (CMI), instancia constituida por las máximas autoridades de las instituciones involucradas en la implementación del LAMP, responsable del seguimiento de las actividades del ETN así como de la aprobación de las propuestas técnicas acordadas entre las instituciones, o de tomar decisiones respecto a las modificaciones correspondientes. Se constituyeron equipos técnicos ad hoc integrados por funcionarios de las diferentes instituciones involucradas, principalmente de las dependencias del MEC (Dirección General de Planificación Educativa, Dirección General de Educación Permanente, Dirección General de Currículum, Orientación y Evaluación Educativa) para las diferentes etapas del proceso. Vale la pena destacar que en el marco de todo este proceso, el trabajo interinstitucional e interdisciplinario llevado a cabo constituyó un valor 1

Actualmente, en Paraguay, se determina si una persona es alfabeta o analfabeta a partir de la autodeclaración y en función de su nivel educativo. IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

agregado teniendo en cuenta que contribuyó a fomentar el desarrollo de actividades de manera cooperativa complementando criterios y estrategias a partir de aportes de cada integrante, lo cual enriqueció esta experiencia. Por otro lado, el trabajo interinstitucional representó un desafío importante para las instituciones involucradas considerando la necesidad de poner a disposición, a tiempo completo, los recursos humanos comprometidos en las actividades del LAMP. Situación sociolingüística de Paraguay La situación sociolingüística de Paraguay se caracteriza esencialmente por un contacto histórico de las dos lenguas oficiales del país, el castellano y el guaraní, estableciéndose entre ambas una constante interacción en la vida cotidiana de las personas, especialmente en el ámbito de la comunicación oral. En Paraguay se han acuñado dos conceptos lingüísticos en guaraní para explicar fenómenos usuales que se presentan debido al contacto de sus dos lenguas oficiales: jopara y jehe’a. En el uso común de estos dos términos guaraníes, el primero hace alusión literalmente a una mezcla donde se observa heterogeneidad; la segunda, a una mezcla mucho más homogénea (Ministerio de Educación y Cultura, 2006). Sin embargo, en el plano escrito, esta realidad presenta diferencias importantes. En primer lugar, se evidencia que la mayor parte de los materiales escritos formales y no formales disponibles se encuentran en castellano y que a pesar de los esfuerzos realizados por el sistema educativo paraguayo en los últimos años, existe muy poco uso del guaraní en forma escrita, por lo que la población en general utiliza escasamente los códigos escritos de esta lengua en su vida cotidiana. En este contexto, Paraguay aplicó la encuesta LAMP en idioma castellano, aunque el guaraní fue utilizado para establecer los primeros contactos y minimizar los casos de rechazo, alentar al encuestado durante la aplicación de la prueba; y en algunos casos para administrar el Cuestionario de Antecedentes (único instrumento para el que se consideró necesario realizar una traducción al guaraní). Estudio etnográfico Las particularidades socioculturales de Paraguay hacen que la recolección de los datos de la encuesta LAMP en este contexto difiera cualitativamente de la realizada en otros países. El UIS, teniendo presente la importancia de considerar las características socioculturales de cada país, ha recomendado IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

incluir un estudio etnográfico durante el desarrollo de la recolección de datos. Se realizó un estudio etnográfico del trabajo de campo de la Encuesta LAMP en su etapa piloto, cuyo objetivo consistió en “acompañar, observar y analizar la experiencia de aplicación de la prueba en diferentes contextos y la relación entre entrevistador y entrevistado” (Guttandin, Riquelme, 2009), con el fin de aportar una mirada cualitativa al proceso de recolección de datos, aspecto fundamental para poder evaluar el alcance de la encuesta LAMP en el contexto de Paraguay. Los resultados obtenidos forman parte de un informe etnográfico independiente, sin embargo, es mencionado brevemente en el capítulo 2 “Estudio Piloto en Paraguay” atendiendo que forma parte integral del estudio.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

1. MARCO CONCEPTUAL Y METODOLÓGICO DEL LAMP2 Las sociedades contemporáneas tienen la visión de la educación como un derecho humano fundamental, desde que se proclamara formalmente la Declaración Universal de los Derechos Humanos (1948) tras la devastadora experiencia de la Segunda Guerra Mundial. A partir de entonces, el alcance y las especificaciones de este derecho no cesaron de crecer, basados en sucesivas redefiniciones de la problemática educativa. En este sentido, el concepto de educación propugnado por la UNESCO se basa en los cuatro pilares de la educación presentados en 1996 por el Grupo de Trabajo sobre Educación para el Siglo XXI (UNESCO, 1996), vale decir, que la educación cumple una función esencial en el desarrollo de la identidad personal (aprender a ser), dentro de un entorno colectivo donde los seres humanos comparten sus experiencias de vida con otros (aprender a vivir juntos), mientras potencia a las personas para mejorar y expandir sus capacidades en forma continua (aprender a conocer), hecho que se traduce en su capacidad de actuación en el mundo en sus diferentes ámbitos (aprender a hacer). Más tarde cobró fuerza la idea de una educación a lo largo de toda la vida, “de la cuna hasta la tumba”, como un “marco filosófico y conceptual y un principio organizativo de todas las formas de educación” 3, donde la educación de adultos se reconoce como un componente esencial de este derecho. Esto ante la constatación de que una población humana cada vez más numerosa se encuentra limitada en sus oportunidades de participación en la perspectiva de una sociedad basada en la información y el conocimiento, por su limitado acceso a la educación formal o no formal, especialmente en los países en desarrollo. Por consiguiente, la educación se entiende como intrínsecamente importante para el desarrollo humano, ya que se encuentra inserta en el proceso de mejoramiento de las oportunidades y libertades de cada individuo, que le permitirán llevar adelante la clase de vida que valora, respetando los

2 Extraído del Documento técnico nº1 del Instituto Estadístico de la UNESCO, “La Nueva Generación de Estadísticas sobre Competencias en Alfabetismo: Implementando el Programa de Evaluación y Monitoreo de la Alfabetización (LAMP)”, UNESCO-UIS, 2009, Montreal, Canadá. 3 Marco de Acción de Belém. Aprovechar el poder y el potencial del aprendizaje y la educación de adultos para un futuro viable. CONFINTEA VI, Belem, 2009. IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

derechos de los demás. Por lo tanto, la educación representa un elemento clave en la realización de la condición humana. Por su parte, la alfabetización es un componente central de la educación en general, particularmente con relación a la operación de los sistemas educativos nacionales que fueron originalmente concebidos como una forma de garantizar que cada ciudadano esté dotado de las competencias básicas en alfabetismo. Asegurar estas competencias para todas las personas es un objetivo central de todo sistema educativo. Sin embargo, es importante tener en cuenta que las visiones de la alfabetización han evolucionado con el pasar del tiempo. En este sentido, la UNESCO, luego de sucesivas redefiniciones ha declarado lo siguiente: a) El alfabetismo es la habilidad de identificar, comprender, interpretar,

crear, comunicar y calcular, utilizando materiales impresos y escritos asociados con diversos contextos. El alfabetismo involucra un continuo aprendizaje que habilita a las personas a alcanzar sus objetivos, desarrollar sus conocimientos y potenciales y participar plenamente en la comunidad y en la sociedad ampliada . (Reunión de expertos de 2003 y publicada en UNESCO, 2005); y

b) Adicionalmente, la noción de “pluralidad de la alfabetización” (2004) enfatiza su dimensión social tanto con relación a su adquisición como aplicación. En consecuencia, la alfabetización se concibe como un conjunto que abarca prácticas diversas insertas en contextos socioeconómicos, políticos, culturales y lingüísticos, y adquiridas dentro y fuera de la escuela. También involucra el contexto de la familia y comunidad, los medios de comunicación a través de distintas tecnologías, las competencias para seguir aprendiendo, el mundo laboral y la vida en general. Por ende, este concepto de alfabetización enfatiza que los desafíos implican alfabetizar no solamente a los individuos sino también a las sociedades (UNESCO, 2004). La evolución de estos conceptos tiende a enfatizar ciertos elementos esenciales que deben ser tomados en cuenta en cualquier discusión sobre la alfabetización y su medición: i) la importancia de utilizar textos; ii) la necesidad de hacerlo con comprensión, es decir, en forma competente; iii) no restringirse a los textos, sino incluir la utilización de números (numeracy); iv) la necesidad de examinar estos temas en función de experiencias de la vida diaria donde los múltiples y diversos aspectos de la vida social se concretan; y v) comprender que, en cualquier entorno, la vida cotidiana nunca será una realidad aislada que sólo afecta a las personas a nivel individual. IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

Esta definición hace hincapié en dos elementos: las competencias (lectura, escritura y utilización de números [numeracy]) y los distintos escenarios de la vida social donde las competencias de alfabetismo se manifiestan. Por consiguiente, los autores desean enfatizar que las competencias y su utilización se encuentran inextricablemente entrelazadas. LAMP representa un intento por proporcionar un enfoque viable que permita generar información sobre elementos clave del fenómeno de la alfabetización. Su principal objetivo es contribuir a la generación sostenible de evidencia acerca de un tema fundamental de la alfabetización: las competencias de alfabetismo. De hecho, la intención del LAMP es generar información sobre lo que las personas saben y son capaces de hacer, con relación a un conjunto definido de aspectos críticos asociados con el manejo de textos en situaciones de la vida cotidiana. De esta manera, LAMP se enfoca en los elementos relativos a la lectura y no aborda la escritura. La medición confiable de las habilidades de lectura es una tarea que demanda mucho de los entrevistados dada la batería de instrumentos requerida. Incluir un módulo sobre escritura añadiría complejidad en una manera que puede comprometer todo el esfuerzo. LAMP intenta entregar una imagen sólida de los elementos clave que deben tenerse en cuenta en el diseño, implementación y evaluación de las políticas. Entrega una visión detallada de la distribución de competencias en alfabetismo (textos continuos [prose], textos esquemáticos [document] y utilización de números [numeracy]) y examina los factores que podrían estar asociados con los bajos desempeños (componentes de lectura). Esta información es interpretada en función del contexto socioeconómico. ¿Qué es LAMP? El Instituto Estadístico de la UNESCO (UIS) inició el Programa de Evaluación y Monitoreo de la Alfabetización (LAMP) en 2003 mediante un trabajo conjunto con un número de países y organizaciones a efectos de desarrollar un enfoque metodológico para la medición de las habilidades de lectura y uso de número entre los jóvenes y adultos, de modo a que se mejore el cuerpo de evidencia estadística existente. Su diseño se inspiró en encuestas conducidas en países de la Organización para la Cooperación y el Desarrollo Económico (OCDE). La Encuesta internacional de Alfabetización de Adultos (IALS por sus siglas en inglés) y la Encuesta sobre Alfabetización de Adultos y Habilidades para Vida (ALL por sus siglas en inglés). Estas representaron los esfuerzos más importantes en la medición de competencias de alfabetismo y uso de números a nivel internacional. Aprender de sus fortalezas y debilidades contribuyó a definir LAMP en sus primeros años.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

LAMP tiene como propósito brindar a los tomadores de decisión información robusta sobre el perfil de la población adulta con relación a habilidades de lectura y de uso de números a los efectos de alimentar los debates públicos y el diseño de programas de alfabetización y educación de adultos que ayuden a ampliar las oportunidades de los individuos, sus familias, comunidades y países. LAMP ha sido diseñado tomando en cuenta la noción de “pluralidad de la alfabetización” propuesta por la UNESCO. Esta idea enfatiza el entronque del alfabetismo con los aspectos sociales, económicos y culturales. LAMP explora la distribución de diferentes habilidades entre la población y la necesidad de usar esas habilidades para operar en situaciones de la vida diaria. Por lo tanto, LAMP puede informar de modo significativo acerca de elementos centrales relativos a los derechos de las personas a la educación. LAMP es un esfuerzo para equipar a los países con las herramientas metodológicos que requieren para conducir evaluaciones directas de las habilidades de alfabetismo y uso de números y por fortalecer las capacidades nacionales. Al combinar estos dos elementos, LAMP busca asegurar que los países que lo implementen lleguen a producir información sobre el alfabetismo de modo robusto y sostenido. La información así generada será parte del acervo internacional de información, del que UIS es responsable de monitorear y mejorar de modo continuo. ¿Qué mide el LAMP? LAMP examina el alfabetismo en tres dominios diferentes: la lectura de textos continuos (prosa); la lectura de textos discontinuos o esquemáticos (documentos); y el uso de números. Las habilidades vinculadas a la prosa son definidas como la capacidad para tratar textos organizados en párrafos, con sangrías y encabezados, que revelan su estructura y propósito. Las habilidades vinculadas a los documentos son definidas como la capacidad para usar textos no continuos en diferentes formatos (tablas, horarios, gráficos, mapas, etc.) que permite al lector usar diferentes estrategias para ingresar y extraer información de éstos. Finalmente, las habilidades vinculadas al uso de números envuelven completar tareas breves con contenido matemático. Éstas pueden demandar el uso de ciertas funciones como calcular, estimar y entender nociones de forma, longitud, volumen, unidades monetarias y otras funciones de medida. Se busca que las tareas usadas para la evaluación sean significativas para los entrevistados en términos de su relación con situaciones diarias como: el hogar y la familia, salud y seguridad, comunidad y ciudadanía, consumo, trabajo, ocio y recreación. Adicionalmente, LAMP explora factores vinculados con el bajo desempeño lector, brindando información clave para el diseño de intervenciones IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

vinculadas a la alfabetización. De hecho, el UIS encargó un esfuerzo adicional a los efectos de establecer los marcos para la evaluación de los componentes de lectura. Asumiendo que leer implica tanto el reconocimiento de las palabras como su comprensión, este módulo evalúa cómo las personas aplican estas habilidades a efectos de procesar textos escritos. La capacidad para nombrar letras y números, para procesar frases y no sólo decodificar palabras, y la lectura fluida de párrafos, son indicadores que ayudan a describir a la población de acuerdo a su capacidad lectora. Finalmente, LAMP genera información sobre las características socioeconómicas de los entrevistados y su uso de materiales escritos en diferentes ámbitos de la vida diaria, de modo que se cuente con elementos analíticos clave para caracterizar a la población. El UIS explora de modo continuo formas de mejorar los aspectos metodológicos y presta atención cercana a los desarrollo en ciencia cognitiva, metodología de encuestas y evaluación educativa. Más aún, la información reportada busca ser usada para comparaciones internacionales dada la necesidad de monitorear el progreso tanto a nivel nacional como internacional. Por esta razón, niveles comparables de habilidades son usados para el reporte de información. Estos niveles son definidos mediante afirmaciones conceptuales claras que los hacen precisos y relevantes. Los objetivos centrales de LAMP son informar a los tomadores de decisión y proveer evidencia crítica para el diseño de programas de alfabetización en el marco de las políticas educativas y los programas sociales. LAMP también beneficia las políticas públicas en otros sectores ya que les permite mejorar sus formas de comunicación, así como impacta en una mayor conciencia pública con relación a temas que afectan diferentes ámbitos de la vida diaria. LAMP está particularmente interesado en asegurar la apropiación nacional. Así, éste no es un estudio que se conduce una vez según su propio interés y agenda, sino que ha sido diseñado para contribuir al desarrollo de capacidades nacionales, reposando en la experiencia ya existente y promoviéndola como el mejor mecanismo para respaldar iniciativas nacionales. Esto, por su parte, significa que los Estados Miembros deben asegurar un adecuado entorno institucional en respuesta a sus propias necesidades. En adición a esto, el UIS está estableciendo grupos técnicos asesores en cada región del mundo a efectos de movilizar apoyo técnico a los países.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

¿Cuáles son los instrumentos usados por LAMP?

Un cuestionario de antecedentes que genera información sobre las características socioeconómicas de los entrevistados incluyendo su uso de materiales escritos. Esto es clave para el análisis de la información generada por las herramientas cognitivas.

Una prueba filtro orientada a brindar una primera aproximación al desempeño esperado de cada respondiente de modo que se pueda decidir qué conjunto de instrumentos deben ser usados para lograr una imagen más detallada de sus habilidades.

Un módulo para aquéllos con menor desempeño esperado que establecerá con mayor precisión la ubicación del respondiente y explora los elementos que pueden estar impidiendo que tenga un mejor desempeño (componentes de lectura).

Un módulo para aquéllos con mayor desempeño esperado que establecerá, nuevamente, con mayor precisión la ubicación del respondiente.

Estos instrumentos están acompañados por una documentación detallada que brinda suficiente guía acerca de las diferentes fases de implementación.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

2. ESTUDIO PILOTO LAMP EN PARAGUAY La organización del presente capítulo propone una descripción de los procesos llevados a cabo durante la prueba piloto, así como las observaciones surgidas durante su implementación, considerando los siguientes aspectos: -

Objetivos del estudio piloto Definición de la población y de la muestra. Adaptación y revisión de los instrumentos y manuales LAMP. Capacitación del personal. Recolección de datos. Asignación de puntajes. Crítica y codificación del Cuestionario de Antecedentes. Procesamiento de datos. Control de calidad. Estudio etnográfico.

2.1. Objetivos del estudio Piloto La prueba piloto constituye una etapa esencial del LAMP ya que permite corroborar la validez del estudio y sus resultados, identificar los elementos, en términos de instrumentos, procedimientos, capacitación, que deberán ajustarse, determinar las dificultades operacionales y logísticas que requieran solución, entre otros aspectos. El objetivo general del estudio piloto del LAMP en Paraguay buscó ensayar las diferentes etapas de la encuesta LAMP, para ello se trazaron los siguientes objetivos específicos: -

Evaluar el marco muestral y la muestra adoptada.

Comprobar la tasa de respuesta esperada.

Verificar el desempeño de las preguntas del Cuestionario de Antecedentes (CA), evaluar el funcionamiento de los ítems de los instrumentos cognitivos y revisar los manuales operativos.

Identificar los problemas operacionales y logísticos a partir de la aplicación de los procedimientos adoptados en las

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

distintas etapas de la recolección y captura de datos, así como en la adaptación de instrumentos, capacitación y selección del personal. -

Comprobar las previsiones en materia de diseño y costos (presupuesto inicial) para el estudio principal.

Evaluar la factibilidad de la implementación del estudio principal a partir de la formación de capacidades técnicas nacionales.

2.2. Población y Muestra 2.2.1. Consideraciones sobre población objetivo La encuesta estuvo dirigida a la población de 15 años y más de edad que residen habitualmente o en forma permanente en viviendas particulares la mayor parte del año, según el marco del Censo Nacional de Población y Viviendas 2002, y actualizado conforme a las encuestas de hogares de la DGEEC. Las normas y pautas no establecen un límite superior de edad para la población objetivo. En terreno se constató que la selección de personas de edad muy avanzada, aumenta la probabilidad de rechazos o encuestas incompletas no siempre por falta de predisposición, sino más bien por diversas limitaciones, tales como: disminución de la audición y de la agudeza visual, disminución de la memoria de fijación reciente y de la capacidad de concentración, enfermedades, etc., o por la facilidad con la que se fatigan durante el desarrollo de la prueba. Este tipo de casos constituyó la segunda causa de no respuesta (interrupciones o rechazos) durante el estudio piloto, además de que el segmento de los adultos mayores se vio ligeramente sobrerrepresentado en la muestra, en comparación con los parámetros demográficos publicados por la DGEEC. 2.2.2. Consideraciones sobre unidades muestrales La determinación de la población objetivo del estudio piloto LAMP estuvo definida por las unidades muestrales de vivienda, hogar y residencia habitual conforme a lo establecido en el INP. Se asumieron los conceptos nacionales utilizados por la DGEEC para definir “vivienda”, “hogar” y “residencia habitual”. Sin embargo, la determinación de los miembros del hogar para el propósito del LAMP no coincide estrictamente con los criterios utilizados en los operativos nacionales, una dificultad detectada fue la ambigüedad conceptual de “residencia habitual” tanto en los documentos operativos del LAMP como a nivel nacional, IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

sumado a ello la amplia gama de situaciones encontradas en campo que requirieron un análisis particular para cada caso. 2.2.3. Marco muestral utilizado La información más completa sobre población y viviendas surge de los censos nacionales de población y viviendas que se realizan en Paraguay cada 10 años. El último censo se llevó a cabo en el 2002 y sus resultados están georreferenciados, por lo que constituye la mejor fuente de información para construir el marco muestral, tanto para las encuestas de hogares realizadas anualmente por la DGEEC, como para otras encuestas que tengan como unidad de selección las viviendas de todo el país. Considerando la antigüedad de los datos relativos a la ubicación geográfica de las viviendas, para el estudio piloto se requirió de una actualización cartográfica para disponer de registros más confiables y válidos al momento de seleccionar las viviendas. Estas actualizaciones se realizaron en las áreas geográficas seleccionadas, conformadas por unidades primarias de muestreo (USM) a partir de las áreas de empadronamiento (AE) del Censo 2002. Así cada mapa proveído contaba con 30 viviendas con sus respectivas ubicaciones y delimitaciones, la identificación de las 10 viviendas seleccionadas aleatoriamente en cada USM que formaron parte de la muestra. Durante el trabajo de actualización se ajustaron los planos cartográficos de las USM, en las que se registraron los cambios encontrados en relación al marco inicial en cuanto a la cantidad y ubicación de viviendas, y sus características ocupadas, desocupadas o desaparecidas, entre otras, así como las referencias para ubicar la zona y las viviendas. La última fase del muestreo consistió en la aplicación de la tabla de números aleatorios para seleccionar a una persona dentro de la lista de los miembros del hogar ordenada por orden decreciente de edad. Se reenumeró a las personas elegibles del hogar, de mayor a menor edad, excepto al jefe de hogar, a quien correspondió el número 1 en dicha lista. Es preciso reconocer que en algunos casos la persona entrevistada no brindaba los nombres de los miembros del hogar de manera ordenada (de mayor a menor edad) y se encontraron falencias por parte de los encuestadores al realizar la enumeración y, por ende, en la confección de la lista de miembros elegibles del hogar, lo que condujo en algunos casos a una selección inadecuada de la persona a ser entrevistada. En este sentido, sería oportuno incluir una columna adicional en la parte INTRO 1-5 del Cuestionario de Antecedentes (CA) para reenumerar a los miembros del hogar en orden decreciente de edad incluyendo al jefe de hogar con el fin de evitar las falencias en la selección de la persona a ser encuestada.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

2.2.4. Tamaño de la muestra El estudio piloto del LAMP en Paraguay incluyó una muestra de 750 viviendas, con la expectativa de concretar al menos 500 entrevistas completas a individuos seleccionados aleatoriamente, previendo una tasa de no respuesta del 30%. Durante el operativo de campo, sin embargo, se tuvo que ampliar este tamaño muestral, con el fin de ajustar la distribución interna de la muestra a lo establecido en el documento “Normas y pautas del LAMP” especialmente en lo concerniente a la distribución por niveles educativos, ante la constatación de que había una clara tendencia hacia el predominio de niveles medios y altos sobre los niveles bajos de estudios. Por este motivo, el tamaño muestral se extendió finalmente a 820 viviendas, cargando todas las viviendas adicionales (70 viviendas) en la ciudad de Asunción. Con el fin de adoptar una muestra inicial ajustada al diseño previsto para el estudio principal, fueron seleccionados los distritos de acuerdo con una estratificación según pobreza crónica. Esta decisión estuvo sujeta a modificaciones en el curso del trabajo de campo, conforme a las necesidades y avances del trabajo de recolección de datos. 2.2.5. Diseño de la muestra Se utilizó un muestreo intencional, si bien se había previsto un muestreo probabilístico en la planeación. Este fue evolucionando teniendo en cuenta las dificultades encontradas en terreno y los requisitos de la muestra de la prueba piloto. Esta evolución se dio de la siguiente manera: a. Para el estudio piloto se decidió utilizar, en una primera etapa de la recolección de datos, el muestreo probabilístico, estratificado, de cuatro etapas4, similar al que será aplicado para el estudio principal. Esta decisión respondió a la necesidad de poner a prueba los supuestos adoptados para el diseño muestral y aplicar los instrumentos en los diversos contextos socioeconómicos a ser cubiertos en el estudio principal. b. Los estratos estuvieron determinados, tal como se indica en el INP, a partir de los puntajes del Índice de Priorización Geográfica (IPG) utilizado por la Secretaría de Acción Social (SAS) para sus políticas sociales5.

Las etapas previstas en el INP consideraban las siguientes unidades muestrales por cada etapa: distrito, USM, hogares, personas. 5 El IPG es una lista de todos los distritos del país que resulta de la combinación del mapa de pobreza con la incidencia de las NBI a nivel de distritos. El mapa está basado en el Censo de Población y Viviendas del 2002 y en la Encuesta Permanentes de Hogares del 2003; y las NBI están basadas en los datos del IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

Los estratos fueron definidos de acuerdo con los niveles socioeconómicos alto, medio y bajo imputados a los distritos adoptando los siguientes criterios: -

Los distritos que forman parte del estrato bajo (los más pobres) presentan una gran dispersión geográfica y factores de contexto que pueden influir sobre las competencias y habilidades de las personas. De estos distritos fueron seleccionados para la prueba piloto, uno del área urbana (José Falcón) y otro del área rural (Juan de Mena). De los distritos que forman parte del estrato medio, para el estudio piloto, fueron seleccionados Limpio, Itá e Itauguá que comprenden áreas rurales y urbanas. Atendiendo a la heterogeneidad de Asunción, se distribuyó la muestra de Asunción en estratos socioeconómicos según criterios establecidos por la DGEEC, en estratos alto, medio y bajo, en función a las cuales fueron seleccionadas las USM de Capital.

d. Se realizó la distribución de las unidades finales de la muestra por afijación proporcional a la población de los distritos seleccionados, por lo cual la mayor parte de la muestra correspondía a Asunción, tal como se puede observar en la Tabla 1. Previendo que las dificultades de aplicación de encuestas en las viviendas de las ciudades tuvieran como efecto retrasar en exceso la recolección de datos y tener una mayor tasa de rechazo, se decidió redistribuir la mitad de la muestra de Asunción entre otros distritos aledaños: San Lorenzo, Villa Elisa e Itá, pertenecientes a los mismos estratos socioeconómicos (bajo, medio y alto).

Censo del 2002. De acuerdo con este criterio, se agruparon los distritos en tres estratos, según el puntaje IPG correspondiente. IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

Tabla 1. Muestra del estudio piloto Distritos

Muestra Propuesta

Juan de Mena

Redistribución de la muestra Asunción

Configuración de la muestra final

Casos completos

José Falcón

Itauguá

100

Limpio

150

109

Asunción

410

270

170

Itá

San Lorenzo

Villa Elisa

480

820

555

Total

750

Fuente: Base de datos Estudio Piloto LAMP Paraguay. Elaboración propia

El operativo de campo siguió una trayectoria de afuera hacia adentro con respecto a Asunción, en el sentido de que se inició el trabajo de campo en los distritos más distantes (José Falcón, Limpio, Juan de Mena e Itauguá), siguiendo la distribución aleatoria adoptada inicialmente, para luego cubrir los distritos de Asunción y aledaños. Una vez completados los distritos periféricos, se decidió, en presencia del representante del UIS, modificar el criterio de asignación muestral, y pasar a una muestra intencional, de manera de garantizar el número de casos requeridos para el estudio piloto. La modificación consistió en incorporar la posibilidad de remplazar las viviendas en las que no se pudo concretar la entrevista, por otras de la misma USM, a fin de aumentar la cantidad de entrevistas concretadas por USM. Esto exigió realizar un barrido de las USM en busca de hogares ocupados. El nuevo criterio entró en vigencia en los distritos de Asunción, San Lorenzo y Villa Elisa. Más adelante, y ante la constatación de un sesgo sistemático a favor de los niveles educativos medios y altos, que conduciría, además, a que no se logre completar la distribución submuestral correspondiente a niveles educativos bajos, se decidió en los últimos días del trabajo de campo, modificar la pauta de selección de la persona a ser encuestada, favoreciendo a las personas con nivel educativo bajo. 2.3. Adaptación y revisión de instrumentos y manuales LAMP La adaptación de los instrumentos y manuales se inició una vez que el ETN tuvo acceso a los instrumentos, manuales y formularios de adaptación, en

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

inglés, con traducciones referenciales al español y francés, a través del sitio ftp6. Los objetivos generales de este proceso fueron: - Adaptar los instrumentos y manuales atendiendo al contexto sociocultural de Paraguay. - Garantizar la comparabilidad internacional de los instrumentos y manuales respetando los estándares técnicos del Programa LAMP. 2.3.1. Conformación y capacitación de los equipos de trabajo de adaptación Para la etapa de adaptación de instrumentos, se conformaron los primeros equipos técnicos interdisciplinarios con el fin de dejar capacidad instalada en las diferentes instituciones participantes de cara al estudio principal. Todas las personas que integraron el equipo LAMP suscribieron un acuerdo de confidencialidad que los habilitó a trabajar con los documentos protegidos por los derechos de autor. Cada integrante recibió los documentos operativos del estudio: Informe Nacional de Planeación, “Procedimientos de traducción y adaptación”, “Reglas generales para la traducción y adaptación de materiales LAMP”, “Pautas de traducción y adaptación de los instrumentos”. Durante la capacitación para la adaptación de los instrumentos fueron expuestos los marcos conceptuales del estudio, los principios y metodología de adaptación, la descripción y especificación de las tareas a ser desarrolladas. Además se conformaron grupos de trabajo para el análisis y la revisión del Módulo Filtro adaptado previamente por el ETN. Este ejercicio facilitó la apropiación de la metodología de adaptación por parte de los equipos de trabajo que realizaron aportes significativos. Se elaboró un calendario de trabajo para realizar la adaptación de los diferentes instrumentos, actividad que estuvo supervisada por la coordinación técnica del estudio. 2.3.2. Proceso de adaptación de los instrumentos El proceso de adaptación se realizó siguiendo los procedimientos del Programa con base en los documentos “Procedimientos de traducción y adaptación”, “Pautas generales de traducción y adaptación”, y “Reglas generales para la traducción y adaptación de materiales LAMP” 7; que consistió en: El servidor “ftp” o protocolo de transferencia de archivos es un sitio proporcionado por el UIS para acceder y descargar archivos del UIS y colocar archivos del país. 7 Esos tres documentos fueron actualizados por el UIS luego del proceso de adaptación de Paraguay, con base en los resultados de la implementación del estudio piloto en otros países. El formato actual cuenta con dos documentos : las guías generales y las guías específicas para PDN. 6

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

- Adaptar los instrumentos LAMP, las guías y manuales al contexto sociocultural-lingüístico de Paraguay. - Documentar los procedimientos realizados para la verificación internacional de los ítems adaptados por parte del UIS en los formularios respectivos. Dicho proceso de adaptación estuvo condicionado por la disponibilidad de las versiones actualizadas de los instrumentos en español enviadas por el UIS, motivo por el cual fue desarrollado en cuatro etapas: - Adaptación de los instrumentos cognitivos dirigidos a medir los niveles de competencia en prosa (texto continuo), documento esquemático y manejo de números (PDN), es decir, los módulos Filtro, Localizador y Cuadernillos 1 y 2, con las Hojas de asignación de puntaje respectivas. - Adaptación de los Componentes de Lectura (Rotafolio, Cuadernillo de Registro, Cuadernillo del Encuestado), con sus respectivas Hojas de asignación de puntaje. - Adaptación del Cuestionario de Antecedentes. - Ajuste de los manuales, guías de asignación de puntajes y procedimientos, y kits de capacitación. Los instrumentos adaptados durante las tres primeras etapas fueron sometidos a un pre-test con personas de diferentes niveles educativos; y verificados y aprobados por el UIS. Para la adaptación de los instrumentos, se tomó como base la versión original en inglés y los instrumentos ya traducidos al castellano que fueron proveídos por el UIS. Se llevó a cabo un examen minucioso de los ítems con el objeto de asegurar su claridad y precisión en el contexto local. En caso de ambigüedades en la formulación, se recurrió a la versión original en inglés y por último, si lo ameritaba, se procedió a elaborar los ajustes lexicales y sintácticos en los ítems que el equipo consideraba pertinentes. Para garantizar la consistencia en el conjunto de instrumentos y respetar la versión original en inglés, se elaboró una lista de términos traducidos a ser utilizados en las instrucciones y preguntas para unificar el vocabulario. Cuando el contenido de los estímulos presentaba incoherencias o eran poco inteligibles en el contexto local, se procedía a reemplazarlos por otros más familiares con la vida cotidiana de la población, por ejemplo, los precios de artículos comerciales. Por último, los cambios incorporados en los instrumentos y aprobados por el UIS se plasmaban en las Hojas y guías de asignación de puntajes, manuales operativos de los instrumentos y kits de capacitación.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

2.3.3. Talleres de adaptación a. Etapa 1: Adaptación de instrumentos cognitivos-PDN En esta etapa, se realizó la adaptación de las pruebas cognitivas PDN constituidas por los siguientes instrumentos: Módulo Filtro, Localizador, Cuadernillos 1 y 2 del Módulo B y las respectivas Hojas y guías de asignación de puntajes. Sobre la base de las adaptaciones propuestas por los diferentes grupos de trabajo, la coordinación técnica analizó los trabajos presentados a fin de aportar sugerencias y unificar la redacción de las justificaciones incorporadas en los formularios de adaptación. Una de las principales dificultades residió en la adaptación de los aspectos numéricos relacionados con los precios, que supuso la necesidad de aumentar la cantidad de dígitos y en algunos casos cambiar el estímulo para hacerlo consistente con los precios locales. La última fase de la adaptación de estos instrumentos consistió en la aplicación del pre-test a un total de 15 personas de niveles educativos bajos, medios y altos a efectos de probar la batería de instrumentos cognitivos adaptados al contexto nacional. A continuación, se realizó en plenaria el análisis de los resultados obtenidos y las dificultades encontradas; y se procedió a incorporar los últimos ajustes de los instrumentos. b. Etapa 2: Adaptación Componentes de lectura

instrumentos

cognitivos-

La adaptación de los Componentes de lectura se realizó en una segunda etapa, por los siguientes motivos: -

Los instrumentos se encontraban aún en proceso de modificación por parte del UIS.8 La extensión y complejidad de la batería de instrumentos de los Componentes de lectura: Rotafolio, Cuadernillo de Registro y Cuadernillo del Encuestado. Pautas de adaptación muy generales.

El asesoramiento in situ de un representante del equipo LAMP del UIS permitió introducir los cambios estructurales al Rotafolio propuestos por el equipo técnico, a saber: reordenamiento y supresión de secciones, racionalización de las instrucciones por principio de parsimonia, cambios de 8 Es importante señalar que Paraguay decidió aplicar la Prueba Piloto LAMP antes de que el UIS haya finalizado el proceso de revisión de los instrumentos originales, resultante de la aplicación de los estudios pilotos realizados en otros paises, .Esta situación podría explicar en parte la complejidad y extensión del proceso de adaptación en Paraguay. IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

imágenes y reorganización de las hojas y códigos de asignación de puntajes. Asimismo, se ajustaron las instrucciones del Rotafolio y del Cuadernillo de Registro a nivel lexical y sintáctico; y posteriormente se realizó el control de calidad de consistencia interna en cuanto a la uniformidad del vocabulario, modos verbales y consignas. Con el propósito de asegurar la calidad de estos instrumentos, se realizó a fines de noviembre un pre-test de los Componentes de lectura cuya metodología se describe a continuación: - Se seleccionaron 8 encuestados con nivel bajo de educación. 9 - Se conformaron equipos de dos personas para administrar la encuesta: un encuestador y un observador. - El observador tomó nota de los errores y dificultades durante la administración de los instrumentos. - Posteriormente se realizó una reunión, entre el representante LAMP del UIS, los encuestadores y observadores, para analizar los resultados del pre-test. Las observaciones y ajustes acordados se mencionan a continuación: Se sugirió, por principio de parsimonia, eliminar del Rotafolio las Instrucciones contenidas en el Cuadernillo de Registro. Se decidió agregar en las instrucciones generales al inicio del Rotafolio una exhortación: “Le pedimos que responda solamente en castellano durante toda la prueba”, para evitar que el encuestado responda en forma espontánea en guaraní durante la sección de Vocabulario. Se pasó la Sección 10 Vocabulario de la versión original, a la Sección 1. El ETN decidió no incluir las Secciones 7 y 8: Decodificación de Palabras y Decodificación Rápida de Palabras, por ser secciones opcionales y considerando que no era necesario medir esta competencia pues el español es una lengua que presenta mayormente correspondencias regulares y predecibles grafema-fonema. Estos cambios han exigido la reenumeración de las secciones del Rotafolio y de sus respectivos Cuadernillos de Registro y del Encuestado. Finalmente, considerando la recolección y carga de datos, se tomaron otras decisiones importantes referentes a la estructura del Cuadernillo de Registro 9

Paraguay consideró, para el estudio piloto, como niveles bajos de educación a las personas que han cursado seis años de educación o menos. IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

y de las Hojas de asignación de puntajes de los Componentes de Lectura, pues se decidió suprimir la Hoja de asignación de puntaje Nº 1, e introducir las opciones de respuestas 1/7/0 a ser asignadas directamente en el Cuadernillo de Registro. Se insertaron las burbujas para el registro de las respuestas al lado de los códigos 1/7/0 en las Hojas de asignación de puntajes y en la sección Vocabulario del Cuadernillo de Registro para facilitar su llenado y evitar confusiones entre las cifras 1 y 7 al ser escritas por el encuestador y el corrector. c. Etapa 3: Adaptación del Cuestionario de Antecedentes (CA) El CA fue el último cuestionario adaptado por encontrarse en proceso de revisión por parte del UIS. La adaptación consistió en la revisión y análisis exhaustivo de cada pregunta del cuestionario, examinándose aspectos conceptuales, comprensión de la pregunta por parte del encuestador y del encuestado, correspondencia de los saltos de preguntas y la la formulación de las preguntas al contexto nacional. En una primera instancia, las preguntas del CA fueron analizadas y comparadas con otros instrumentos de acopio de datos utilizados en los diversos operativos nacionales de relevamiento de datos, tales como: Censo Nacional de Población y Viviendas, Encuesta Permanente de Hogares y la Encuesta Continua de Empleo, a fin de garantizar la comparabilidad nacional y redactar preguntas adaptadas al contexto local. Es importante mencionar que se tuvo especial atención en las variables relevantes para la construcción del marco muestral y para los factores de expansión de la muestra. Además, fueron incluidas preguntas nacionales consideradas fundamentales para combinar los datos recabados con las condiciones de vida de la población y su localización geográfica; se incorporaron preguntas relacionadas a la interacción encuestador-encuestado en guaraní, así como aspectos vinculados a la vivienda y empleo. Se realizó la justificación correspondiente en el Formulario de Adaptación. Una vez que el UIS aprobó las adaptaciones del CA, se procedió a su rediseño con el fin de optimizar los espacios y reducir la extensión del instrumento. Las categorías y opciones de respuesta fueron pre codificadas para facilitar el llenado del cuestionario en el momento de la aplicación, así como el procesamiento de datos (crítica, codificación y digitación). Posteriormente se realizó el pre-test para probar la aplicabilidad del CA. Este instrumento fue aplicado a una muestra intencional pequeña de la población objetivo con el fin de comprobar la pertinencia de las adaptaciones,

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

identificar y cambiar algunos saltos de pregunta, y evaluar la duración de la aplicación. Es importante mencionar que el UIS aceptó que Paraguay, como país bilingüe utilice el idioma guaraní para aclarar las preguntas del CA en los casos requeridos. Para ello fue elaborado un material de referencia que sirvió de guía para la aplicación. d. Etapa 4: Adaptación de guías, manuales y materiales de capacitación Esta etapa requirió mucho tiempo debido a la cantidad y extensión de manuales y guías. El ETN realizó primeramente la adaptación de las guías y manuales operativos correspondiente a los instrumentos cognitivos cuya versión nacional había sido aprobada por el UIS. El Manual del Encuestador, que constituye uno de los materiales de referencia para el personal de campo, fue el último documento elaborado dado que no se disponía de la versión actualizada del manual conforme al nuevo instrumento de recolección. Esta tarea demandó una inversión de tiempo considerable por la extensión del material y por la falta de correspondencia entre las preguntas incluidas en la versión nacional del CA. Además, se incorporaron instrucciones especiales referentes al uso de la grabadora digital y el cronómetro, elementos empleados en la aplicación del Módulo A en Paraguay. Adicionalmente se realizó la revisión y análisis de las planillas y formularios de trabajo de campo (listado de control de tareas, informe de avances y costos, etc.). La funcionalidad de estos materiales fue evaluada por los supervisores, teniendo como resultado una disminución del número de formularios y su rediseño. Los materiales de capacitación proveídos por el UIS se componían de varias presentaciones en formato power point, en inglés; y de sus correspondientes guías para el instructor en castellano. La tarea de adaptación de los materiales de capacitación fue distribuida entre los miembros del equipo técnico responsable de la adaptación de instrumentos, quienes debían impartir la capacitación y elaborar presentaciones adicionales. 2.3.4. Aspectos positivos del proceso de adaptación La etapa de adaptación y la metodología adoptada permitieron: - Propiciar el trabajo interdisciplinario dentro del Ministerio de Educación y Cultura en torno a un proyecto común. IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

- Fortalecer el trabajo interinstitucional entre el MEC, la DGEEC, y la OEI. - Enfatizar el carácter participativo del trabajo fomentando la mirada crítica y analítica sobre el conjunto de los instrumentos. - Involucrar a los funcionarios que hayan participado de este proceso más allá de la etapa de adaptación de los instrumentos. - Dejar capacidades metodológicas y técnicas instaladas en las diferentes instituciones participantes. - Desarrollar habilidades para el trabajo en equipo dentro de un grupo profesional con formación y experiencia heterogénea. - Reflexionar sobre la importancia y complejidad de temas vinculados con la alfabetización. - Sistematizar todo el proceso de adaptación a través de una documentación técnica disponible para todos. 2.3.5. Dificultades encontradas durante el proceso de adaptación Si bien esta primera etapa generó resultados relevantes, se señalan ciertos puntos que dificultaron el desarrollo de este proceso: - Disponibilidad de versiones no actualizadas de algunos instrumentos y manuales. - Gran cantidad y extensión de manuales a ser adaptados. - Tiempo limitado para realizar un control de calidad final entre manuales y materiales de capacitación. - El pre-test de cada instrumento se realizó de manera individual perdiendo de vista el flujo completo de la aplicación de una entrevista. - Disponibilidad real de tiempo de los representantes de las diferentes instituciones, pues LAMP constituía una actividad adicional. Este hecho dificultó el cumplimiento oportuno del cronograma propuesto inicialmente, dado que se priorizaban las actividades institucionales propias. 2.4. Capacitación 2.4.1. Capacitación a supervisores y encuestadores La capacitación como componente importante de todo el proceso de la encuesta refleja aspectos relacionados a la efectividad de esta etapa en el operativo de campo. En este sentido, el trabajo de campo de la prueba piloto permitió identificar las dificultades encontradas en terreno y reconsiderar ciertos aspectos que deberán ser reforzados en la capacitación para mejorar el desempeño del personal de campo con miras a la encuesta principal (véase capítulo Sugerencias).

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

2.4.1.1.

Objetivos generales y organización de capacitaciones a supervisores y encuestadores

las

La capacitación de los encuestadores y supervisores 10 tuvo como propósitos: - Garantizar que el personal de campo estuviera bien familiarizado con los métodos de la entrevista, los conceptos y procedimientos de LAMP en particular, los aspectos relacionados a la selección del encuestado y del módulo a aplicar, el llenado correcto del CA, la administración de los instrumentos cognitivos y la asignación de puntajes correspondiente. - Concienciar al personal sobre sus funciones, responsabilidades y los procedimientos a ser empleados en campo. - Organizar el desarrollo del trabajo de campo y formar una masa crítica de personal con los conocimientos, habilidades y experiencia en el manejo y aplicación de la encuesta LAMP. Para asegurar un conocimiento más detallado y mejor manejo de los instrumentos, la capacitación se desarrolló en tres fases: - una fase a distancia de autoaprendizaje precedida de una media jornada de presentación del LAMP y de los materiales a ser estudiados antes de la capacitación presencial teórico-práctica; - una fase presencial de 7 (siete) jornadas a tiempo completo, y - una fase de simulaciones y prácticas de campo de 2 (dos) días. Cabe mencionar que se organizó una jornada exclusiva de capacitación dirigida a los supervisores de campo. Participaron de la primera jornada de presentación 40 candidatos, encuestadores y supervisores sin distinción, de los cuales 33 siguieron todo el proceso de capacitación. Los 8 supervisores fueron designados con anterioridad mediante la evaluación de sus currículum vitae, cuyas experiencias vinculadas a actividades en trabajo de campo, encuestas, educación y evaluación fueron empleadas como criterio de calificación; fueron seleccionados 24 encuestadores con perfiles diferenciados e integrados en los diferentes equipos. La capacitación estuvo a cargo de 8 instructores que habían participado en el proceso de elaboración del Informe Nacional de Planeación (INP) y en la adaptación de los instrumentos LAMP, cada uno fue responsable de un 10

Todos los actores intervinientes en la capacitación firmaron el acuerdo de confidencialidad correspondiente. IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

aspecto específico del programa de acuerdo con su especialidad. Para el desarrollo de algunos temas, los instructores trabajaron en equipo según la complejidad del tema abordado y atendiendo a la dinámica del taller. 2.4.1.2.

Desarrollo de encuestadores

capacitación

supervisores

Fase I. Actividades de autoaprendizaje

La fase de autoaprendizaje fue precedida de una presentación general del LAMP donde se entregaron los materiales a ser revisados y analizados antes de la capacitación presencial. Durante esta fase, los postulantes dispusieron de 6 días para la lectura sistemática de los manuales e instrumentos del LAMP. Se entregó una serie de ejercicios de repaso en casa para facilitar la lectura de los materiales y para evaluar los conocimientos teóricos adquiridos durante esta fase. Sin embargo, cabe destacar que la cantidad de manuales, su extensión, sumadas a las ambigüedades internas dificultaron la fase de auto aprendizaje del personal de campo, pues no les permitieron tener una visión práctica del trabajo de campo. b.

Fase II. Actividades presenciales

El primer día de la capacitación, los postulantes a encuestadores entregaron los ejercicios de repaso en casa. Estos ejercicios permitieron identificar las falencias recurrentes de los candidatos y definir los puntos sobre los cuales insistir durante la capacitación. Las actividades presenciales de capacitación se desarrollaron durante 8 días hábiles en jornadas de 9 horas diarias y se abordaron aspectos metodológicos relacionados al manejo de técnicas de entrevista, procedimientos de selección del encuestado, módulos a ser administrados, criterios de inclusión/exclusión de miembros del hogar, llenado correcto del CA, administración de instrumentos cognitivos y asignación de puntajes, además se presentaron las funciones y responsabilidades de los encuestadores y supervisores, y algunas consideraciones generales sobre el muestreo. Del mismo modo se procedió a analizar situaciones especiales que pueden presentarse en el terreno, especialmente referidos a la aplicación del CA y a las asignaciones de puntajes. A fin de garantizar que los participantes conocieran, aplicaran y sea posible la retroalimentación y perfeccionamiento de sus habilidades, se desarrollaron tres momentos importantes durante la capacitación presencial: i) la adquisición conceptual y teórica con el contenido de la encuesta; ii) la simulación, juego de roles y práctica en terreno, y iii) la discusión de dudas IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

y dificultades para poder mejorar la comprensión y la habilidad referida a la aplicación. 2.4.2. Capacitación a correctores 2.4.2.1.

Objetivos generales y organización de la capacitación a correctores La capacitación de los correctores constituye un proceso fundamental para lograr un alto nivel de consistencia en términos de interpretación y aplicación de las reglas de asignación de puntaje durante el operativo. Asimismo, este proceso es determinante para garantizar la calidad de los puntajes asignados e investigar de forma confiable sobre el comportamiento de los ítems, en el marco del estudio piloto. La capacitación a correctores tuvo como propósitos: Brindar información suficiente acerca de los objetivos, actividades y resultados esperados del LAMP, procedimientos generales y herramientas de asignación de puntaje. Dominar las reglas de asignación de puntajes del LAMP. Adquirir un buen nivel de desempeño en la interpretación y corrección de ítems. La actividad de capacitación se desarrolló en 2 fases: a. Fase de autoaprendizaje a distancia. b. Fase presencial de 2 días. 2.4.2.2.

Desarrollo de la capacitación a correctores

a. Fase I. Actividades de autoaprendizaje Se entregaron el Manual de procedimiento operacional de asignación de puntajes, la Guía para la administración de los componentes de lectura y los instrumentos cognitivos para una lectura previa del material. Cabe mencionar que los correctores tenían un conocimiento previo de los instrumentos puesto que participaron de la adaptación de instrumentos y manuales, lo que permitió llevar a cabo la capacitación presencial en 2 días. Por otra parte, la capacitación de cada instrumento estaba a cargo de un integrante del equipo corrector por lo cual el proceso fue fluido y muy interactivo. b. Fase II. Actividades presenciales La primera parte de la capacitación, a cargo de la jefa correctora, consistió en presentar:

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

- El LAMP y la dimensión internacional de la encuesta. - Las prácticas estandarizadas de asignación de puntajes, los objetivos y responsabilidades de los correctores. - La metodología de trabajo para la corrección durante el operativo. Seguidamente, se procedió a una revisión y análisis en grupo de las reglas de asignación de puntaje del UIS. Durante la segunda parte de la capacitación se presentaron casos prácticos de asignación de puntajes. Se adoptó la misma metodología para el Cuadernillo Filtro, Localizador, Cuadernillos 1 y 2, tal como se describe a continuación: - Lectura y análisis exhaustivo de los ítems del Cuadernillo y de la Guía de asignación de puntajes correspondiente. - Proyección de ejemplos de ejercicios completados, análisis y justificación del puntaje asignado. - Proyección de ejercicios de corrección a realizar individualmente. - Socialización de los resultados en grupo. El abordaje de la capacitación de los Componentes de lectura (Cuadernillo de Registro y Cuadernillo del Encuestado) se hizo de manera diferente, dado la especificidad de la prueba. La presentación en formato power point de los Componentes de Lectura sirvió tanto para los encuestadores como para los correctores. Sin embargo, en el caso de la capacitación a correctores, se contemplaba además los aspectos relativos a la asignación de puntaje del Cuadernillo del Encuestado, instrumento corregido exclusivamente en gabinete. La capacitación de Componentes de lectura actividades:

abarcó las siguientes

- Revisión de los instrumentos. - Presentación de las reglas generales de asignación de puntajes y ejemplos correspondientes. - Simulación de la administración sección por sección por parte de los instructores frente al grupo que asignaba puntaje en tiempo real. - Retroalimentación y sesión de preguntas. - Simulación de la administración del Rotafolio en su integralidad por parte de los instructores frente al grupo que asignaba puntaje en tiempo real. -

Retroalimentación y sesión de preguntas.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

Cabe destacar que la capacitación a correctores se realizó previamente a la de los encuestadores, lo que permitió reajustar ciertos aspectos de la capacitación y de la presentación en power point. 2.4.3. Capacitación a digitadores La capacitación a digitadores se realizó en el centro de Operaciones LAMP paralelamente a la recolección de datos, con una duración de dos días y participaron de ella 6 digitadores, funcionarios del MEC. La capacitación estuvo a cargo de los programadores de la aplicación informática LAMP y se desarrolló en dos fases: a.

Fase I. Actividades teóricas, consistieron en: - Analizar los manuales de todos los instrumentos. Cada manual proveía una descripción de la utilización y del funcionamiento del software de captura de datos, con las diferentes opciones y explicaciones para la resolución de errores según pantalla de instrumento. - Familiarizar a los digitadores en la utilización práctica del software y diferentes pantallas de los instrumentos. Además, a modo de soporte, cada uno disponía de los manuales, hojas de asignación de puntaje o cuadernillo de registro correspondiente. - Realizar una lectura previa y exhaustiva del Cuestionario de Antecedentes, así como prestar una atención particular a los saltos y consistencias entre una pregunta y otra. - Analizar las diferentes secciones del Cuadernillo de Registro para poder detectar los errores de relevamiento de datos y agilizar la digitación del instrumento.

Fase II. Actividades prácticas, consistieron en: - Practicar la captura de datos del Cuestionario de Antecedentes, con CA completados durante los pre-test. - Practicar la captura de datos de los instrumentos cognitivos directamente con las hojas de asignación de puntaje de los primeros días del operativo.

2.4.4. Capacitación a codificadores La capacitación de los críticos codificadores a cargo de la Jefa Codificadora se desarrolló en dos días. IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

Se proporcionó a la Jefa Codificadora indicaciones previas sobre el manejo y llenado del instrumento así como un ejemplar del Manual del Encuestador que presentaba en forma detallada las diferentes secciones del CA. Durante la capacitación de los codificadores, se revisó en un primer tiempo el manual del crítico-codificador, explicando los diferentes pasos a seguir en esta etapa del proceso LAMP. A continuación se procedió al análisis del CA, enfatizando los siguientes campos: -

Selección de personas, módulo y cuadernillo.

Fecha de nacimiento.

Nivel educativo.

Ocupación principal y rama de actividad del encuestado/a.

Se examinaron también las preguntas y los saltos donde prestar una particular atención para poder detectar las eventuales inconsistencias. Posteriormente, se propusieron ejercicios de crítica y codificación de CA completados de manera a agilizar su práctica en el manejo del instrumento, del manual del crítico-codificador, de las listas de códigos a ser empleados, y de los clasificadores internacionales: Clasificación Internacional Uniforme de Ocupaciones (CIUO-08) y la Clasificación Internacional Industrial Uniforme (CIIU-Revisión 4). Respecto a este último punto, las actividades de práctica del taller permitieron problematizar los distintos casos a ser encontrados en la parte relativa a ocupación principal y rama de actividad. 2.5. Recolección de datos El operativo de campo se llevó a cabo del 17 de marzo al 9 de abril del 2010 (19 días incluyendo algunos sábados y domingos). La recolección de datos fue realizada por equipos, cada uno compuesto por 1 supervisor, 3 encuestadores (24 en total) y un chofer. En el Anexo A se describen las tareas y responsabilidades de los supervisores y encuestadores encargados del operativo de la prueba piloto. Cada equipo de trabajo tuvo a su cargo 9 ó 10 USM y cada encuestador debía completar 23 casos aproximadamente. Se estimó 1,5 días por USM según el cronograma acordado. El desarrollo de todo el trabajo de campo fue monitoreado por la Coordinación Técnica Nacional en concordancia con el diseño establecido en el INP, a efectos de asegurar el cumplimiento de las normas y pautas estandarizadas en los manuales y guías. Cabe mencionar que el personal de campo estaba constituido en su gran mayoría por funcionarios del MEC, por lo cual se decidió aumentar el IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

número de equipos para disminuir el periodo de recolección de datos frente a la necesidad de disponer de los recursos humanos en sus respectivos lugares de trabajo. Esto aceleró el proceso del trabajo de campo, sin embargo, la corta duración de la recolección de datos dificultó el monitoreo y la retroalimentación. Es así que cuando los encuestadores y supervisores afianzaron sus competencias, la prueba piloto ya estaba en su etapa final.

2.5.1. Organización y logística del trabajo de campo a.

Centro de Operaciones

El Centro de Operaciones LAMP se instaló en la Dirección General de Educación Permanente de Adultos del MEC, un mes antes del inicio del trabajo de campo. En este espacio se llevaron a cabo las siguientes actividades: - Capacitación de los diferentes equipos del LAMP. - Instalación de los equipos de correctores, codificadores digitadores, así como la oficina de la Coordinación Central.

- Organización de aspectos logísticos y administrativos relativos a la recolección de datos: entrega de viáticos y combustibles, reposición de materiales e instrumentos faltantes, entrega y recepción de sobres de casos por parte de los supervisores, etc. - Organización de las respectivas retroalimentaciones al personal de campo. - Resolución de asuntos inherentes a la aplicación de la encuesta: toma de decisiones respecto a la elección de estrategias alternas para obtener la tasa de participación esperada, opciones para llegar a los lugares geográficos de difícil acceso, medidas de seguridad en los barrios de mayor riesgo, coordinación con las instituciones locales (comisarías, iglesias, municipalidad, entre otros). El trabajo de campo implicó un importante esfuerzo de logística y organización, como preparación de planillas de control, de sobres de casos 11, de materiales y útiles, asignación de vehículos, distribución de cupos de combustibles, pago de viáticos al personal de campo, etc.

Cada sobre de casos contenía los siguientes documentos oficiales: una carta de presentación firmada por el Ministro de Educación y Cultura, un tríptico, una calcomanía “Vivienda encuestada”, dos notificaciones de visita, un CA, un módulo filtro con su hoja de asignación de puntaje. IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

Comunicación telefónica

Se entregó a cada participante interviniente en el trabajo de campo un chip telefónico y tarjetas prepagas. La suscripción nueva permitía elegir un número de teléfono para comunicarse una hora por día de forma gratuita. -

Los encuestadores eligieron el número de su supervisor/a.

Los supervisores eligieron el número de su fiscalizador/a.

Este procedimiento resultó satisfactorio, aunque la compañía telefónica no tenía cobertura en ciertas zonas del país. Tomando en cuenta que la encuesta principal cubrirá zonas más alejadas, resulta fundamental asegurarse del alcance de la cobertura proveída por la empresa telefónica a fin de poder monitorear correctamente el trabajo de campo y atender cualquier necesidad que surja. c.

Cartografía y sobre de casos

Los supervisores se reunieron con su equipo de encuestadores para preparar las carpetas de los diferentes planos cartográficos y todos los sobres de casos por USM. En cada sobre, se adhirió una etiqueta que se completó con las informaciones pertinentes del Resumen de Aplicación del Cuestionario de Antecedentes (ID del equipo, del supervisor, del Encuestador, localización de la vivienda, Cuadro de códigos de situación final de los instrumentos, etc.) d.

Vehículos y choferes

Como contraparte institucional, el MEC y la DGEEC pusieron a disponibilidad del operativo de campo 5 y 3 vehículos con chóferes, respectivamente. Además, se contó con 2 vehículos adicionales del MEC durante la primera semana para los fiscalizadores y observadores. Los supervisores fueron responsables de la administración de los cupos de combustible que se les entregaba en función de la hoja de ruta presentada y conforme a las distancias a ser recorridas. Puesto que la movilidad de los equipos de trabajo hasta las viviendas seleccionadas garantiza que el relevamiento de datos pueda efectuarse en los tiempos planificados, resulta imprescindible poder contar con un vehículo en buen estado por equipo durante todo el operativo de campo, en particular para las zonas de más difícil acceso. Adicionalmente, se vio la necesidad de contar con el mismo chofer durante todo el operativo para garantizar su involucramiento y evitar eventuales contingencias.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

2.5.2. Estrategia para minimizar la tasa de no respuesta La estrategia implementada para la minimización de la tasa de no respuesta tuvo como objetivo principal informar a la población sobre la realización del estudio piloto LAMP y sensibilizarlos positivamente hacia este importante emprendimiento para el país. La estrategia de difusión y promoción de la encuesta se convirtió en un aliado decisivo para lograr las metas propuestas por el estudio piloto, teniendo en cuenta que la promoción del estudio buscó propiciar la participación ciudadana, minimizar la tasa de no respuesta y, sobre todo, concienciar a la sociedad y a los tomadores de decisión acerca de la importancia de disponer en Paraguay de información y datos confiables sobre los niveles de alfabetización de la población. La estrategia de difusión y sensibilización no tuvo una cobertura en todos los medios de comunicación por los siguientes motivos: - Carácter piloto de la prueba. Dado que la prueba no pretendía difundir resultados sobre la distribución de niveles de alfabetización, se prefirió no crear demasiadas expectativas al respecto. - Recursos financieros disponibles limitados. Sin embargo, se realizó una serie de acciones que tuvieron un impacto positivo para acceder a los hogares y hacer partícipe a los ciudadanos en esta iniciativa sin precedentes en el país. Por otra parte, se puso a prueba las estrategias utilizadas, permitiendo evaluar las necesidades en términos de difusión y comunicación de cara al estudio principal. a. Campaña de concienciación pública Se realizaron las siguientes actividades orientadas a concienciar a la ciudadanía en general: - Elaboración de afiche y tríptico con información del LAMP, población destinataria, objetivos nacionales del programa, fechas de realización del estudio piloto, descripción de los niveles de alfabetismo y de los instrumentos a ser aplicados, informaciones acerca de la utilización de los resultados y tipo de usuarios, instituciones responsables del Programa. El afiche y el tríptico proporcionaban también el número telefónico del Centro de Operaciones del LAMP para brindar información al público. - Distribución de trípticos y afiches en los distritos seleccionados para la aplicación de la prueba piloto en los lugares de mayor afluencia de personas. IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

- Habilitación de un número telefónico de atención al público en el Centro de Operaciones. - Conferencia de prensa de presentación del LAMP a cargo de las autoridades del MEC, de la OEI y de la DGEEC, y distribución de los materiales de difusión a los medios de prensa presentes. - Lanzamiento oficial del trabajo de campo con la presencia de las autoridades del MEC, de la OEI y de la DGEEC y de los medios de comunicación (prensa, televisión y radio) el 17 de marzo de 2010. Difusión de la noticia en los diarios de mayor circulación en el país; en canales televisivos y en diversas emisoras de radio. - Confección de remeras LAMP para el personal de campo para su identificación y facilitar así el acceso a los hogares. - Elaboración de gacetillas a lo largo de la etapa preparatoria, que fueron distribuidas a los medios de masivos de comunicación, especialmente para el lanzamiento y la clausura oficial del operativo de campo. - Participación de autoridades del MEC y del Coordinador Nacional en un programa de televisión de gran audiencia durante el operativo de campo. - Publicación on line del Informe Nacional de Planeación en las páginas webs del MEC (http://www.mec.gov.py) y de la OEI (http://www.oei.org.py/idie.v2/html/estudios1.html). - Presentaciones del Ministro de Educación y Cultura a las autoridades nacionales de los siguientes estamentos: Presidencia de la República, Parlamento Nacional, Ministerio de Justicia y Trabajo, y Ministerio de Industria y Comercio. - Publicación de reseñas en el portal de la OEI-IDIE (http://www.oei.org.py/idie.v2/html/noticias.html) a lo largo del desarrollo de las actividades previas a la implementación del LAMP para informar de los avances del proceso (reuniones de la CMI, del ETN, de los talleres de trabajo y resultados de las actividades). b. Estrategias participación

contacto

inicial

incentivos

para

A continuación se describen las estrategias implementadas para facilitar el acceso a los hogares y aumentar la probabilidad de participación. Envío de una carta oficial dirigida al Comandante de la Policía Nacional antes del inicio de la recolección de datos para su amplia difusión en las comisarías locales de los distritos a ser visitados y el IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

acompañamiento correspondiente de la Policía Nacional en caso de ser necesario, en especial en las zonas consideradas más sensibles y riesgosas. Visita a municipalidades y comisarías durante el operativo: al llegar al distrito seleccionado, los supervisores y/o fiscalizadores visitaban las respectivas municipalidades y comisarías para entregar los afiches y trípticos del Programa y brindar información suplementaria acerca del desarrollo del trabajo de campo. Cabe destacar que si bien no se visitaron todas las municipalidades y comisarías, esta estrategia resultó interesante para respaldar el trabajo de los encuestadores y brindar más confianza a los encuestados. Provisión de alimentos durante la administración de la entrevista: considerando la duración de la encuesta y el uso de la grabadora, se ofrecieron golosinas a los niños presentes en el hogar, de modo a disminuir las interferencias durante la entrevista; y otros comestibles (chipás y galletitas) para los encuestados con el fin de evitar interrupciones. Provisión de lentes de lectura para realizar los ejercicios de los cuadernillos de tareas: durante los primeros días varios encuestados, por lo general personas mayores de edad, manifestaron tener problemas visuales o cansancio de vista. Por este motivo, se consideró propicio proveer a cada equipo de trabajo lentes de lectura con graduación estándar en caso de que el encuestado lo necesitaba y solamente si se sentía cómodo con ellos. Al respecto, se orientó a los encuestadores a tomar las medidas higiénicas correspondientes. Sorteo de computadoras portátiles: los encuestados que completaban la entrevista recibieron un cupón para participar del sorteo de dos computadoras portátiles. 2.5.3. Desarrollo del trabajo de campo Durante la recolección de datos, los encuestadores visitaron las viviendas seleccionadas, se presentaron utilizando su credencial, explicaron el motivo de su visita, entregaron la carta oficial firmada por el Ministro de Educación y Cultura, así como los materiales informativos LAMP. En caso de que el encuestador no haya logrado contactar con ningún miembro del hogar o con la persona seleccionada, dejaba en la vivienda un aviso de notificación de visita. Cabe destacar que la entrega de los materiales alusivos a la encuesta y la credencial del encuestador facilitó el acceso al hogar. IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

Una vez seleccionada la persona y concretada la entrevista, se administraron los instrumentos siguiendo el flujo de la entrevista y los estándares de aplicación. Cada componente de la encuesta LAMP fue administrado utilizando el método Entrevista Papel y Lápiz (PAPI) a través de una visita personal, sin intervención de terceros, a excepción del llenado del CA, donde algunos encuestados recibieron ayuda de un miembro mejor informado del hogar para los ítems relacionados a las condiciones socioeconómicas. 2.5.3.1.

Aspectos positivos del trabajo de campo

Es pertinente mencionar el estado de avance detectado en el desarrollo del trabajo de recolección de datos: - En la medida en que se ejercitó la aplicación, los encuestadores y supervisores adquirieron mayor capacidad para el manejo de los cuestionarios e instrumentos, del cronómetro y de la grabadora. - Mejor habilidad en la interacción entre encuestador- encuestado, es decir, que de una aplicación mecánica, estricta, de lectura textual y completa de la batería de instrumentos, se pasó a un intercambio fluido y contextualizado que permitió ganar la confianza del encuestado y, consecuentemente, obtener información de mayor calidad. También, se pudo notar que este aspecto permitió acortar el tiempo de aplicación de la encuesta. - Adecuación de los encuestadores a las diferentes circunstancias presentadas durante la realización del trabajo de campo. - Compromiso de los encuestadores y supervisores, predisposición hacia el trabajo realizado, confianza para la presentación a los miembros del hogar seleccionado y creatividad para implementar estrategias de persuasión al encuestado a fin de lograr su cooperación. 2.5.3.2.

Dificultades encontradas durante el trabajo de campo

A continuación se sintetizan los contratiempos y las situaciones surgidas durante el relevamiento de datos que dificultaron alcanzar el número de casos completos previsto según el INP: - Dificultades relacionadas con la disponibilidad y cooperación de las personas seleccionadas: específicamente esta situación se presentó en los distritos de San Lorenzo, Itá y Villa Elisa, que son distritos IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

aledaños a Asunción, constituidos en su mayoría por hogares “dormitorios” de los trabajadores del área metropolitana. Los hogares de estratos socioeconómicos medios y altos también constituyeron una dificultad adicional considerando la alta tasa de rechazo resultante. De hecho estas circunstancias retrasaron el cronograma de trabajo y obligaron a replantear la estrategia de contacto y obtención de encuestas completas. - Problemas para aplicar correctamente la definición operacional de “miembro del hogar” y hacerla comparable con la definición utilizada en los operativos nacionales: una de las situaciones que confundió tanto a los supervisores como a los encuestadores fue la aplicación homogénea de los criterios de inclusión/exclusión de miembros del hogar, por ejemplo, el caso de los trabajadores temporales que no duermen la mayor parte de la semana en sus hogares (camioneros, peones de estancia, trabajadores de empresas agroganaderas, etc.). - Problemas climatológicos: debido a las intensas lluvias caídas durante una semana del trabajo de campo fue necesario reprogramar las visitas a algunos distritos intransitables por vía terrestre, lo cual alteró el cronograma de trabajo elaborado inicialmente. 2.5.4. Entrevista e instrumentos La aplicación de la encuesta LAMP se inicia con un Cuestionario de Antecedentes, seguido por pruebas cognitivas organizadas en subconjuntos o módulos de aplicación selectiva (Módulos A y B), de acuerdo con un procedimiento de selección aleatoria realizado en el terreno. Esta situación determina la complejidad para su administración y el nivel de destreza y preparación que debe tener el encuestador, así como la red de controles que debe ser implementado para asegurar la calidad de la información colectada. Es preciso diferenciar las actividades concernientes a la entrevista como conjunto total de aquellas que corresponden a cada instrumento para manejar adecuadamente las distintas fases del proceso. En este apartado se analizan por separado los aspectos que se relacionan con la entrevista y con cada instrumentos con base en la experiencia piloto en Paraguay. 2.5.4.1.

La entrevista

a. Gestión del flujo Para gestionar el flujo de la entrevista, se dispuso de soportes de aplicación destinados a facilitar la administración del conjunto de instrumentos y que IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

permitieron monitorear y evaluar las distintas etapas de este proceso: la etiqueta del sobre de casos, el resumen de aplicación contenido en la portada del CA, la sección INTRO del CA, el manual de procedimientos, entre otros. La experiencia piloto identificó algunos aspectos que serían oportunos mejorar en estos documentos para mejorar la gestión y el control del flujo de la entrevista. b. Secuencia de la entrevista Es necesario examinar la secuencia de la entrevista en su conjunto para poder analizar los fenómenos que surgen durante la aplicación de las pruebas, tanto en la interacción entre los principales actores como en la reacción de los encuestados ante el instrumento, y demás factores exógenos y endógenos al proceso. Respecto a la secuencia de la entrevista en Paraguay se pudo constatar que: - El inicio de la entrevista con la aplicación del CA representó una etapa muy prolongada antes de aplicar las pruebas cognitivas. - Los instrumentos del Módulo A no se organizan por nivel de dificultad, consecuentemente algunos encuestados con muy bajas competencias en alfabetización no llegaron a completar el instrumento de menor nivel de dificultad (último de la secuencia) por interrupciones o rechazo luego de haber intentado administrarles el Filtro y el Localizador. - La ubicación del Localizador en la secuencia del flujo de la entrevista correspondiente al Módulo A fue cuestionada por el personal de campo. - La mezcla de pruebas PDN y Componentes de lectura en un mismo módulo supone un cambio metodológico tanto para el encuestador como para el encuestado pues los instrumentos PDN son autoadministrados mientras la mayoría de las secciones del Rotafolio se aplican oralmente. En ese sentido, la interacción entre los actores se altera. c. Idioma de aplicación Pese a que el idioma de aplicación seleccionado en Paraguay era el castellano, en el trabajo de campo los encuestadores utilizaron el guaraní en varias situaciones durante la aplicación como se describe a continuación: - Primer contacto con los hogares, presentación del propósito de la encuesta, interacciones entre el encuestado y encuestador, despedida, etc. IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

- Aplicación del CA en guaraní, de acuerdo con la autorización del UIS, solicitada por la Coordinación Técnica, al considerar la situación lingüística del país antes descrita. Para ello se preparó una traducción de referencia para el CA que fue distribuida a los encuestadores y supervisores. Según los registros, sólo el 24% de los encuestados solicitó aclaraciones de las preguntas del CA en guaraní. - Algunos encuestadores brindaron aclaraciones de las instrucciones y de las preguntas del Filtro en guaraní cuando los encuestados solicitaban con insistencia, a pesar de que en las capacitaciones, los manuales, las normas y pautas se establecían que se debía utilizar únicamente el castellano para la administración de los instrumentos cognitivos. 2.5.4.2.

Instrumentos

El análisis que se presenta a continuación apunta a examinar los instrumentos aplicados durante la prueba piloto en los siguientes términos: - Aplicabilidad y desafíos para el estudio principal, - Reacción del encuestado ante el ítem y los instrumentos, - Interacción encuestado/encuestador. Los aspectos mencionados se basaron por una parte en las observaciones en terreno y por la otra en la información resultante de un examen descriptivo de los datos obtenidos. Con ello se realizan breves consideraciones de los aspectos señalados y, en caso necesario, se aportan sugerencias de modificación que presumiblemente podrían facilitar la aplicabilidad de los instrumentos con el fin de mejorar los niveles de validez y confiabilidad de los datos indagados. a.

Cuestionario de Antecedentes (CA)

Genera información sobre el encuestado, su familia y su entorno. Cumple una función integradora de la entrevista y contiene los siguientes aportes metodológicos: - Constituye la plataforma de articulación de la encuesta, complementada con pruebas directas de evaluación en alfabetismo. - Contiene indicadores sobre aspectos lingüísticos, trayectorias educacionales y formativas detalladas, contacto con materiales impresos, acceso a tecnologías de comunicación, aspectos socioeconómicos, entre otros.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

- Proporciona insumos sobre factores asociados claves para la mejor interpretación de los resultados de las pruebas. Observaciones generales sobre la aplicación del CA - Promedio de duración: 31 minutos (Anexo B). - Cansancio del encuestado debido a la extensión del instrumento y la reiteración de las preguntas, específicamente entre las secciones C1/C2, referentes a la experiencia del encuestado con materiales impresos (excluyendo las actividades de trabajo), y las secciones E7/E8 (incluyendo actividades de trabajo). El equipo técnico nacional requiere claridad sobre el importancia específica de disponer de información desagregada de estas variables en el contexto nacional; incluso se ha constatado confusiones por parte del encuestado que en algunas ocasiones manifestó haber ya contestado a estas preguntas en secciones anteriores del instrumento. - Respuesta mecánica e inconsistente del encuestado, específicamente en las secciones que contienen preguntas con gran número de opciones de respuestas. - Incomodidad del encuestador en la administración de algunos ítems por su falta de pertinencia en ciertos contextos socioculturales. Se identificaron en terreno dificultades de diversa índole algunas atribuibles al instrumento (saltos, inconsistencias, etc.) y otras a los actores intervinientes (falta de indagación para consignar la respuesta correcta, respuestas asumidas, etc.). El formulario de adaptación del CA para la encuesta principal propondrá un análisis exhaustivo de los cambios propuestos. b.

Módulo Filtro

Es una prueba de 17 preguntas diseñada para discernir entre personas a las que se les aplicará el módulo A para bajas competencias lectoras, o el módulo B para competencias medias y altas. En la aplicación piloto el Filtro no cumplió esta función, dado que la selección del Módulo se realizó de forma aleatoria según el nivel educativo del encuestado, para determinar el criterio de corte del Filtro para la encuesta principal. Observaciones generales sobre la aplicación del Módulo Filtro - Promedio de duración: 23 minutos (Anexo B). - Resultó difícilmente aplicable a personas con fuertes limitaciones de alfabetización, pues su administración supone un mínimo de competencias lectoras y manejo de números. Además, al poner de IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

manifiesto las limitaciones lectoras o la exclusión de contextos letrados del sujeto puede generar una situación incómoda a los actores intervinientes. - Es la primera prueba cognitiva aplicada y constituye un cambio en la interacción entre el encuestador y el encuestado. El encuestado tiende a solicitar orientaciones y ayuda, motivado por el hecho de que en el CA el encuestador proporcionó ejemplos para que el encuestado respondiera. - La administración oral de las instrucciones y de las preguntas abrió la posibilidad del diálogo y de la inducción de las respuestas por parte del encuestador. También pudo haber tenido incidencias sobre el proceso de asignación de puntaje por parte del encuestador dado que ciertos encuestados daban la respuesta correcta oralmente pero la registraban de forma incompleta o incorrecta. Por ejemplo, en una tabla que contiene nombres de países y cantidades de producción correspondientes de un determinado producto “n”, el encuestado subrayó la cantidad de producción “n” en vez del nombre del país, aunque mencionó oralmente el nombre del país (Item PF00003). - Ciertos encuestados manifestaron tener problemas visuales y se quejaron del tamaño de las letras utilizado en algunos ejercicios. - La necesidad de realizar correcciones en el terreno plantea una ruptura en la interacción y supone una responsabilidad adicional a cargo del encuestador. c.

Módulo Localizador – Módulo A

El Localizador, cuya administración se realiza después del Módulo Filtro, constituye el primer instrumento aplicado dentro del Módulo A, comprende 18 preguntas y “permite suplementar en mayor detalle la información obtenida del filtro y determinar con mayor precisión la ubicación del encuestado respecto a los niveles inferiores de competencias” (UIS, 2009). Observaciones generales sobre la aplicación del Módulo Localizador – Módulo A: - Diferencias en los procedimientos de administración del instrumento con relación al Filtro, pues el encuestador no lee las preguntas del Cuadernillo al encuestado. - Este Cuadernillo, al igual que el Filtro, resultó difícilmente aplicable a personas con fuertes limitaciones de alfabetización. - En atención a lo anterior, eso obligó a relajar las condiciones de aplicación, mencionadas en el GAT, a criterio del encuestador dándole IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

mucha “libertad”. Asimismo, el encuestador pedía al encuestado ojear el instrumento y realizar las tareas si podía; y pasaba a continuación a la administración de los Componentes de lectura. - Algunos encuestados manifestaron estar cansados o se quejaron de tener que completar otro instrumento. Teniendo en cuenta que los ítems del Localizador se corrigieron en gabinete, primera y segunda corrección, las consideraciones al respecto se desarrollan más adelante en el capítulo Asignación de puntaje. d.

Componentes de lectura – Módulo A

Los componentes de lectura proponen una indagación detallada de las competencias básicas previas al desarrollo de la lecto-escritura, dimensión no presente en evaluaciones internacionales anteriores. Su propósito principal es brindar a los diseñadores de programas y tomadores de decisión, mayor información sobre las habilidades lectoras de partida de las personas que requieren un mayor grado de intervención para la formulación diferenciada de programas de alfabetización y post alfabetización. Los Componentes de lectura abordan aspectos no considerados en otros instrumentos de observación nacionales, ni en las demás pruebas PDN del conjunto LAMP. La versión nacional adaptada del Rotafolio de Componentes de Lectura contiene ejercicios distribuidos en 10 secciones que pretenden captar con precisión los elementos que podrían explicar el bajo desempeño lector de los encuestados. Se administra de forma oral con grabación integral de audio y algunas de las secciones están cronometradas. El encuestador registra todas las respuestas dadas en voz alta por el encuestado en el Cuadernillo de Registro. Además, otras respuestas se registran en el Cuadernillo del Encuestado que contiene ejercicios cronometrados a realizar en silencio. Observaciones generales sobre los Componentes de lectura – Módulo A La experiencia en campo, particularmente en la primera semana, puso en evidencia la complejidad de la administración y de la corrección del instrumento, tareas a cargo del encuestador. - Promedio de duración: 31 minutos (incluyendo casos incompletos o de aplicación parcial). - La medición oral de los Componentes de lectura que se da con la administración del Rotafolio, implica un nuevo escenario de

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

interacción y un cambio metodológico con los demás instrumentos del conjunto (PDN), en los cuales se espera una respuesta escrita. - Supone el manejo de una batería de instrumentos y elementos auxiliares que complican el trabajo en el terreno (Rotafolio, Cuadernillo de Registro, Cuadernillo del Encuestado, grabadora, cronómetro), particularmente en contextos con limitada comodidad. Por consiguiente, los encuestadores debieron en varias oportunidades apelar al ingenio y administrar el Módulo de Componentes con el Rotafolio colocado en las rodillas, con la grabadora en el suelo; en la calle, de pie, encima de una muralla, de un basurero, etc. - Las interferencias del entorno (presencia de niños y otros miembros del hogar, animales de granja y domésticos, vecinos, etc.), sumadas a la atención requerida para desarrollar diversas tareas simultáneas, aumentaron las probabilidades de que tanto el encuestado como el encuestador cometieran errores durante la administración de este módulo. Asimismo, estas situaciones incidieron en la asignación de puntajes. - Supone corrección en campo en tiempo real, con criterios diferentes a los utilizados en la corrección de los instrumentos PDN. Adicionalmente, los acentos y las variaciones de lenguaje propias de la influencia del guaraní en el castellano dificultaron la tarea de asignación de puntajes a las respuestas orales. - Por todo lo expuesto, los Componentes de lectura representan el mayor desafío para la encuesta principal tanto para el acopio correcto y preciso de los datos, como para su procesamiento y posterior análisis estadístico. Se planteó la premisa de que este instrumento sería quizás más apropiado para un diagnóstico personal o para una evaluación única que para una medición estadística a escala junto con otras pruebas. Consideraciones sobre los ejercicios de componentes de lectura - Utilizan instrucciones que suponen niveles cognitivos más elevados que los requeridos en los ejercicios de la prueba. - Algunos encuestadores se apropiaron de las instrucciones y las reformulaban con sus propias palabras acorde al contexto, para no romper el clima de confianza creado (a pesar de las normas de aplicación definidas). - Varios encuestados reaccionaron de forma positiva ante el instrumento, pues la aplicación de la prueba les resultó una actividad lúdica por la diversidad de los ejercicios propuestos. IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

- Por ser la última prueba a ser administrada, algunos encuestados mostraban señales de cansancio y se debían enfrentar a instrucciones largas, complejas y reiterativas, así como ejercicios cronometrados que presumían exigencias adicionales. - Así también el encuestador ante el desafío de aplicar la prueba más exigente en atención y dedicación, pudo haber cometido errores durante la administración y la asignación de puntajes, especialmente en los ejercicios cronometrados. - Los ejercicios de la Sección 9-Procesamiento de Oraciones presentaron más dificultades para la asignación de puntajes, pues se le exigía al encuestador efectuar dos tareas de corrección: tachar las palabras leídas de forma incorrecta y encerrar en un círculo la respuesta dada por el encuestado (V/F/NS). Se observó en algunos casos que el encuestador no alcanzaba a tachar todas las palabras incorrectas en tiempo real. - Durante la primera semana de la prueba piloto, algunos encuestadores no se aseguraron de que el encuestado haya entendido correctamente las consignas de los ejercicios del Cuadernillo del Encuestado que se administran en forma independiente y en silencio. En otros casos, no dieron las orientaciones suficientes (dar vuelta a la página, subrayar la última palabra del párrafo, etc.) para el llenado correcto de este cuadernillo. e.

Cuadernillos 1 y 2 – Módulo B

Los Cuadernillos 1 (32 preguntas) y 2 (31 preguntas) del Módulo B “permiten determinar con mayor precisión la ubicación del respondiente respecto de los niveles superiores de competencias” (UIS, 2009). La administración del Cuadernillo 1 y 2 difiere de la del Filtro pues el encuestador no lee las preguntas al encuestado. Observaciones generales sobre los Cuadernillos 1 y 2 – Módulo B - Promedio de duración: C1: 38 minutos y C2: 42 minutos (Anexo B). - En el marco del estudio piloto, considerando que la selección del módulo se realizó aleatoriamente, estos cuadernillos resultaron difícilmente aplicables a personas con fuertes limitaciones de alfabetización. Al respecto, el encuestador tuvo que flexibilizar las pautas de administración del instrumento para no crear una situación incómoda al entrevistado. - La cantidad de preguntas prolongó la duración de la prueba. IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

- Ciertos encuestados cuestionaron la fuente y el contenido de algunos artículos (por ejemplo en el ítem MBL001). Teniendo en cuenta que los ítems de ambos cuadernillos se corrigieron en gabinete, primera y segunda corrección, las consideraciones respectivas se desarrollan más adelante en el capítulo Asignación de puntaje. 2.5.4.3.

Códigos de situación final de los instrumentos

Los códigos de asignación final propuestos para la aplicación piloto no contemplaban a las personas que declaraban no saber leer ni escribir, y consecuentemente no podían realizar ciertos cuadernillos de la entrevista. Esta situación resultó problemática desde la aplicación del Filtro pues existía un riesgo potencial a perder el caso. Por este motivo, durante la encuesta piloto, el equipo técnico propuso crear un nuevo código “00” para las personas con serias dificultades en alfabetismo con el fin de justificar la alteración de la administración de los instrumentos del Módulo A o la interrupción de la encuesta si salía seleccionado para completar el Módulo B. Sin embargo, no se adoptó este código y se resolvió flexibilizar las pautas de administración, para completar los casos. Finalmente, el equipo técnico de Paraguay creó un código de interrupción “41” para aquellos encuestados que declararon “no poder” realizar secciones del Rotafolio por sus bajas competencias en lectura, para poder discernir estos casos considerados completos de aquellos que fueron interrumpidos por otras razones voluntarias e involuntarias contabilizados como parcialmente completos. 2.6. Asignación de puntajes El trabajo de corrección se inició el 22 de marzo del 2010 y finalizó el 30 de abril del 2010. El equipo encargado de la corrección de los ítems de la prueba piloto LAMP, fue conformado por un corrector Jefe y 6 correctores. En el Anexo C, se describen los perfiles y responsabilidades de los correctores. El proceso de corrección de los instrumentos cognitivos del LAMP siguió las Reglas generales y guías de asignación de puntaje proporcionadas por el UIS con el fin de asegurar la comparabilidad de la asignación de puntajes a nivel nacional e internacional. Por otra parte, se controló la aplicación correcta y consistente de las reglas de asignación de puntaje, identificando oportunamente los ítems que presentaron dificultades y los correctores con IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

bajo nivel de consistencia; detectando los problemas relacionados con las instrucciones de las guías de asignación de puntajes, y solucionando los casos de discrepancias. Los correctores trabajaron coordinadamente con el Corrector Jefe con el propósito de discutir casos difíciles, compartir experiencias y resolver inconsistencias que se presentaron durante el proceso de asignación de puntajes. Cabe señalar que el equipo corrector pudo contar con el apoyo del UIS para resolver las dudas que surgieron del campo a lo largo del proceso. 2.6.1. Procedimientos para la corrección de instrumentos Este apartado describe brevemente los aspectos observados y las soluciones adoptadas durante el proceso de corrección de los instrumentos. a. Corrección del Módulo Filtro Se realizó la doble asignación de puntajes en gabinete para el 100% de los casos corregidos en el campo por el encuestador. La corrección y la captura de datos del Filtro se realizaron en forma casi paralela de modo que los resultados del primer y segundo corrector puedan ser comparados con un desfase mínimo de tiempo. A partir del análisis de las discrepancias, se trataron los aspectos más relevantes durante reuniones de retroalimentación que se realizaron durante el trabajo de campo, con los encuestadores, supervisores, correctores y coordinadores en presencia del especialista del LAMP del UIS Montreal para recordar los criterios de asignación de puntajes a ser aplicados. b. Corrección Cuadernillo Localizador - Módulo A Se realizó una doble corrección de los ítems de este cuadernillo para 100% de los casos por los correctores en la oficina del CO. La corrección de este instrumento no ha generado mayores inconvenientes. c. Corrección del Rotafolio/Cuadernillo de Registro - Módulo A Los ítems de esta prueba fueron corregidos primeramente por los encuestadores en tiempo real, durante la administración en campo. La segunda corrección del 20% del total de las grabaciones, se realizó en las oficinas del CO, por los correctores. La doble corrección, que se realizó a partir de la grabación de la prueba, permitió observar ciertos errores de administración del instrumento en campo. Asimismo, ante las dificultades que se detectaron la primera semana de trabajo de campo para la administración de este instrumento, se decidió IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

proceder a la doble corrección del 100% de las pruebas de la primera semana. Además se organizaron dos reuniones de retroalimentación que se realizó con todos los encuestadores y supervisores durante el trabajo de campo para monitorear la administración y la corrección del instrumento y subsanar los errores recurrentes que se describen en este apartado . Se presentan las siguientes observaciones consideradas pertinentes para ajustar el proceso de asignación de puntajes de la encuesta principal: Sección 1. Vocabulario Esta sección propone dibujos lineales que el encuestado debe identificar de forma oral, contestando a la pregunta “¿Qué es esto?” mide el vocabulario oral básico de las personas encuestadas. El cuadernillo de registro contiene las respuestas a ser consideradas correctas entre paréntesis. Asimismo se registraron como incorrectas algunas respuestas que no estaban indicadas entre paréntesis pero que hubieran podido ser consideradas como opciones correctas12. La mayor cantidad de respuestas incorrectas fue registrada para aquellos estímulos que tienen un bajo nivel de familiaridad para la población adulta evaluada por no formar parte del contexto local de algunos encuestados. El equipo técnico tiene expectativas a cerca de la posibilidad de analizar estos ítems, así como su funcionamiento diferencial respecto a su desempeño frente de los distintos países, y proponer otros estímulos en caso de que fuese necesario13(Linacre, 2008). Por otra parte, a través de la grabación de audio: se pudo detectar errores de administración de esta sección: - En algunos casos, el encuestador ha saltado unos ítems durante la administración de esta sección. En ese sentido se sugiere añadir un código para los errores de administración para no perjudicar o favorecer al encuestado14. Asimismo, se considera indispensable, en esta sección, que el encuestador repita ante cada imagen la expresión “¿Qué es esto?” o variantes como “¿y esto?” para que el segundo 12

Esta sección fue revisada por el UIS y propone un nuevo formato para el estudio principal. El funcionamiento diferencial (DIF) indica que un ítem se localiza en una posición ordinal diferente, dentro de la escala de dificultad, respecto de otro grupo de entrevistados. Por ejemplo, un ítem que se ubica como el segundo más difícil para un país dentro de un conjunto de 20 ítems y en cambio se localiza como el décimo más difícil para otro país, claramente muestra un funcionamiento diferencial entre estos dos países. Nótese que no estamos interrogando el valor absoluto de la dificultad del ítem pues es necesario que haya varianza en la información e ítems más difíciles que otros para entender los diferentes niveles de la población en alfabetización. En cambio, sí podríamos interrogar que esta dificultad relativa sea distinta entre un país y otro. 14 Cabe señalar que para la encuesta principal, el UIS incorporó un código para los errores de administración. 13

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

corrector pueda determinar si el ítem fue correctamente administrado o saltado por error. - Ante el silencio del encuestado o después de la respuesta errada dada por el encuestado, a veces, el encuestador proporcionaba la respuesta correcta al encuestado en los ítems posteriores a aquellos utilizados como ejemplos. Sección 3. Identificación rápida de números /Sección 6. Identificación rápida de letras (secciones cronometradas de 20 segundos) Estas secciones cronometradas miden la fluidez de los encuestados en el reconocimiento de elementos alfanuméricos. Durante la primera semana, se detectó por medio de la grabación, en algunos casos que el encuestador no respetaba el tiempo indicado “20 segundos” y/o no le indicaba al encuestado que podía volver a empezar la lista cuando sobraba tiempo. Sección 4 y 5. Identificación de letras en minúscula y mayúscula Estas secciones piden al encuestado asociar la letra al símbolo impreso. Los criterios de asignación de puntajes se modificaron durante la primera semana pues no se habían contemplado las diferentes opciones posibles. A modo de ejemplo, se consideraron como correctas pronunciaciones de fonemas como: /ke/ por “Q”; /gue/ por “G, considerando que el encuestado había reconocido la letra de forma correcta. Se propone indagar más sobre estos aspectos para definir mejor los criterios de asignación de puntaje a adoptar para la encuesta principal. Sección 7. Reconocimiento de palabras Esta sección mide la habilidad del encuestado para reconocer palabras frecuentes. Se consideró incorrecto cuando el encuestado agregó innecesariamente algunas letras intermedias o finales a las palabras. y cuando no se respetó la acentuación en el caso de que fuera discriminatoria y que incidiera sobre el significado de la palabra En cambio, se consideraron correctas las palabras con falta de acentuación si éstas no se prestaban a confusión con otras palabras. Se consideró la respuesta como correcta cuando el encuestado leía la palabra, y omitía la consonante final “s”, “n” o “d” o las intermedias de las mismas letras, por ser una tendencia observada en los guaraní hablantes. IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

Este fenómeno se podría explicar en parte al hecho de que el idioma guaraní “presenta una estructura silábica abierta: consonante-vocal o vocal sola, sin palabras que terminen en consonante” (M.G Pereira Jacquet, 2009) y por el contexto socio lingüístico del sujeto. Con vistas a la encuesta principal, es indispensable indagar y discutir más sobre las modificaciones fonológicas de los enunciados en castellano producidos por la población adulta en Paraguay, especialmente por los guaranís hablantes, a fin de determinar con precisión los criterios de asignación de puntajes. Sección 8. Reconocimiento rápido de palabras Lista de la prueba (sección cronometrada de 120 segundos). Durante la primera semana, se detectaron en algunos casos que el encuestador no respetaba el tiempo establecido y/o no le indicaba al encuestado que podía volver a empezar la lista cuando sobraba tiempo. Sección 9. Procesamiento de oraciones de los Conjuntos 1 al 5 Esta sección determina si el encuestado puede entender el significado de una oración. La grabación audio de esta sección dificultó a veces la corrección en gabinete pues algunos encuestados contestaron con un gesto y no en voz alta. Era necesario que el encuestado responda en forma audible para que facilite la doble corrección, de lo contrario, el segundo corrector no podía asignar puntaje. Sección 10. Lectura de párrafos. Oraciones 1-2 y Párrafo 1 Esta sección requiere que el encuestado lea un párrafo y elija entre dos opciones la palabra con más sentido en la oración. Este ejercicio presentó dificultades de corrección a raíz de que muchos encuestados no seleccionaban una de las palabras sino leían ambas. Asimismo ante la cantidad de casos detectados donde mostraban claramente que el encuestado no había comprendido la consigna, se creó un código. para distinguir esta situación de las otras respuestas15.

A raíz de los resultados de los estudios pilotos de los diferentes países, el UIS modificó la estructura de los ejercicios de esta sección. IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

Cuadernillo del Encuestado Los ejercicios de este Cuadernillo eran cronometrados y se realizaban en silencio. Los encuestadores no asignaban puntajes a estos ejercicios. Se corrigieron la totalidad de los cuadernillos en gabinete y se realizó la doble corrección de 20% de las pruebas. - Los errores de administración fueron más recurrentes con el Cuadernillo del Encuestado por ser auto administrado y por ende escapan al control del encuestador en algunos casos. Por ejemplo, no se aseguró que el encuestado había entendido la consigna, se interrumpió al encuestado al cabo de 60 segundos en vez de 120 segundos y daba por terminada la sección. Cabe destacar que el UIS decidió incorporar al Rotafolio los ejercicios contenidos originalmente en este cuadernillo. d. Corrección de Cuadernillos 1 y 2 - Módulo B - Se realizó una doble corrección de los ítems de este cuadernillo para 100% de los casos por los correctores en la oficina del CO. La corrección de este instrumento no ha generado mayores inconvenientes. - Se detectó una inconsistencia entre la instrucción del ítem PMBL003 y los criterios de asignación de puntajes de la guía de correctores. 2.6.2. Informes comparativos de asignación de puntajes Con vistas a poner a prueba los estándares de la encuesta principal, y tal como se definió en el Manual de Procedimientos de asignación de puntajes, se buscó una consistencia de 97% entre los Correctores. La Tabla 2 presenta el porcentaje de consistencias e inconsistencias entre el primer y segundo corrector por instrumento PDN en la que se observa que el Filtro presentó el mayor porcentaje de discrepancias entre el Corrector 1 (encuestador) y el Corrector 2 (corrector). Sin embargo, la doble corrección de estos cuadernillos en los primeros días de trabajo de campo permitió identificar los ítems que causaban dificultades para la asignación de puntajes, y los correctores 1 que tuvieron menor desempeño. Se organizaron 2 reuniones de retroalimentación la primera semana de trabajo de campo y se realizó un monitoreo de la corrección de las pruebas en terreno por parte de los supervisores y coordinadores.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

Tabla 2. Número y porcentaje de consistencias e inconsistencias entre correctores, según instrumentos Consistencia

Inconsistencia

Abs.

Total corregido

Filtro

9587

324

9911

Localizador

5040

98,94

1,06

5094

Cuadernillo Registro

Sin dato

Instrumento

Sin dato

Cuadernillo Encuestado 6827

99,52

0,48

6860

Cuadernillo 1

2749

97,76

2,24

2812

Cuadernillo 2

2486

98,38

1,62

2527

Fuente: Base de Datos prueba piloto LAMP Paraguay. Elaboración propia.

También se elaboraron tablas de los ítems según instrumentos con mayores discrepancias entre el corrector 1 y 2. El análisis de las tablas y de las discrepancias permitió detectar los ítems que presentaron dificultades en el proceso de asignación de puntajes, así como otros aspectos a ser considerados para la adaptación de los instrumentos y manuales; y la capacitación de la encuesta principal. Se pueden destacar las observaciones siguientes: - Para el Módulo Filtro, en términos generales, las discrepancias de asignación de puntajes entre corrección en campo y gabinete podrían estar relacionadas, en alguna medida, con la característica de los registros de respuestas de los instrumentos PDN, que están planteados como preguntas abiertas. Lo expresado alude a las discrepancias observadas en algunos ítems en especial, a partir de respuestas ambiguas o incompletas de parte de los encuestados. Se cita como ejemplo el ítem PF004 del Filtro: El encuestado respondió encerrando en un círculo la producción (en miles de toneladas) y no los nombres de países a que hace referencia la pregunta. El primer corrector pudo registrar la respuesta como correcta y el segundo como incorrecta. Se podría explicar en parte por el hecho de que durante la aplicación en terreno, ciertos encuestados dan la respuesta correcta en voz alta pero marcan sólo el dato que les permitió encontrar la respuesta correcta. - En el caso del Módulo Filtro, se detectaron algunas inconsistencias entre las guías de asignación de puntajes de los correctores y las

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

guías de tareas (GAT) de los encuestadores que podrían explicar ciertas discrepancias. - Las preguntas abiertas donde se espera una descripción, una justificación, etc., específicamente en los cuadernillos 1 y 2 del Módulo B, generaron mayores dificultades para la corrección. Sería necesario analizar con mayor profundidad durante la capacitación el rango de respuestas a considerar como correctas para la encuesta principal.

2.7. Codificación del cuestionario de antecedentes La codificación del Cuestionario de Antecedentes estuvo a cargo de un equipo de codificadores, integrado por tres críticos codificadores y un jefe coordinador responsable de la distribución del trabajo, recepción y control de cuestionarios, así como de la supervisión y verificación del trabajo de los críticos codificadores. El equipo de codificadores contaba con experiencia en encuestas y censos, y fueron previamente capacitados específicamente sobre el CA del LAMP. Se elaboró un registro de los cuestionarios recepcionados, codificados y criticados para monitorear la producción del equipo de trabajo así como el traspaso de los CA entre el equipo de codificadores y digitadores. La primera actividad consistió en el análisis de consistencia interna del cuestionario (verificación de los campos marcados y/o llenados conforme a lo establecido en el Manual del Encuestador, y de los saltos de preguntas). Las preguntas correspondientes a ocupación principal y rama de actividad fueron codificadas con los clasificadores internacionales el CIUO-88 Número 2 (Clasificación Internacional Uniforme de Ocupaciones) y el CIIU Número 4 (Clasificación Industrial Internacional Uniforme de todas las Actividades Económicas). Las preguntas referentes a educación no fueron codificadas según CINE 97, debido a que las categorías de respuesta del CA correspondían a los niveles/grados/programas del sistema educativo nacional y que el programa de entrada de datos incluía las equivalencias al CINE-97. Para el caso de las preguntas abiertas, se procedió a la elaboración de un listado exhaustivo de todas las respuestas consignadas en las categorías “Otro (especifique)”, esto permitió la agrupación de las respuestas en familias de categorías y facilitó la creación de códigos. Los principales inconvenientes encontrados durante la crítica y codificación estuvieron relacionados a las respuestas sobre la ocupación principal y rama de actividad, debido a la falta de precisión en la información recolectada en IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

campo, lo cual dificultó la asignación de códigos. Los procedimientos y acuerdos arribados por los críticos codificadores fueron registrados para estandarizar y asegurar la comparabilidad entre los datos obtenidos por los diferentes encuestadores. 2.8. Procesamiento de datos 2.8.1. Recepción y organización de los cuestionarios e instrumentos La recepción de los instrumentos estuvo a cargo de un técnico asignado exclusivamente a esta actividad, para tal fin se diseñó una planilla Excel de registro, donde se sistematizó la entrega de los materiales provenientes del campo, dicho soporte facilitó el monitoreo de la cobertura de la encuesta por USM, los entrevistas completas por equipo, la verificación del cumplimiento y la distribución de los casos necesarios para satisfacer los estándares técnico del LAMP en términos de nivel de estudio y módulos a realizar. El control de entrega de instrumentos se realizó mediante la verificación de la “Lista de control de tareas y entrega de instrumentos”, en esta actividad participaban el responsable de logística y el supervisor de encuestadores. El procesamiento de los materiales provenientes del campo se organizó de la siguiente manera: - Separación de instrumentos por lotes. - Organización de los lotes de instrumentos según USM, para los diferentes destinatarios (codificadores-correctores-digitadores). - Descarga de los archivos de sonido correspondientes a la aplicación del Rotafolio en un equipo informático, organizados por carpeta de supervisor y dentro de ellas subcarpetas por USM. 2.8.2. Captura de datos Paraguay desarrolló su propio sistema de captura de datos con una estructura compatible con el software internacional utilizado por el programa LAMP. El equipo de digitación estuvo constituido por dos programadores que elaboraron el software y 6 digitadores. La digitación se realizó en paralelo con la recolección, corrección y codificación de instrumentos, permitiendo identificar los principales problemas en cada una de esas etapas. En total se han producido 25 bases de datos, que se clasifican de la siguiente manera: grabación y verificación de la primera corrección y segunda corrección del Filtro, del Localizador, de los Cuadernillos 1 y 2, del Cuadernillo de Registro y Cuadernillo del Encuestado de componentes de lectura y la base de datos IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

del Cuestionario de Antecedentes. Cabe aclarar que se entiende como “verificación”, a la segunda grabación independiente de cada corrección. 2.8.3. Descripción de la base de datos y registros Se elaboró un diccionario de la base de datos conforme al software desarrollado en Paraguay y fue remitido al UIS para fines comparativos. Este diccionario de base de datos fue utilizado para el procesamiento y análisis de los datos de la prueba piloto a nivel nacional. Además, se realizó la migración de los datos al formato IRL. 2.8.4. Verificación de la captura de datos Se realizó la doble digitación del 100% de los cuestionarios e instrumentos de evaluación por distintos digitadores en archivos independientes, con el fin de evaluar el porcentaje de discrepancia entre digitadores y disponer de las bases de datos necesarias para el análisis de las discrepancias entre correctores. 2.8.5. Validación y consistencia Esta etapa consistió en la aplicación de procesos de verificación de consistencia de la información recolectada, para lo cual se llevó a cabo un proceso recursivo de verificación y retroalimentación a los digitadores para el ajuste de la información en caso de existir inconsistencias. La experiencia ha demostrado que las inconsistencias simples se pueden identificar y corregir fácilmente durante el ingreso de datos. Sin embargo, los errores más complejos de consistencia se deben resolver examinando cuidadosamente el cuestionario, dado que la corrección de una variable puede generar inconsistencias en otras. Las consignas para la consistencia de datos se establecieron con anticipación a la captura de datos de manera a disponer de criterios claros y uniformes. En caso de duda, los digitadores consultaban con la Coordinación Técnica para resolver las inconsistencias. El procedimiento seguido consistió en implementar un sistema de consultas para verificar la estructura y el contenido de cada campo en cada tabla de datos. Una vez ejecutada las consultas se generó un reporte de errores entregado a los digitadores para su verificación y corrección, así los digitadores procedían a realizar la revisión del mencionado reporte con los instrumentos respectivos, principalmente el CA, e introducían los cambios correspondientes. Este procedimiento fue reiterado una y otra vez a medida que se corregía la base de datos. IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

2.9. Control de calidad Los procedimientos de control de calidad aplicados durante todo el proceso de la prueba piloto han sido componentes integrales de las etapas de diseño, planeación e implementación del estudio. 2.9.1. Control de calidad de la adaptación de los instrumentos Con el fin de asegurar que los instrumentos adaptados no alteren la dificultad de los ítems, su dominio conceptual ni el formato de los instrumentos, textos y gráficos contemplados en las versiones originales en inglés; el equipo técnico de adaptación siguió las “Reglas generales para la traducción y adaptación del material del LAMP” y “Pautas de traducción y adaptación del LAMP” proporcionados por el UIS e ingresó todos los cambios propuestos en las respectivas plantillas Excel en el “Formulario de Adaptación”. Los formularios fueron remitidos al UIS para su revisión y aprobación. Este proceso de verificación permitió discutir las modificaciones sugeridas antes de integrarlas a los archivos PDF enviados al UIS para su aprobación final. 2.9.2. Control de calidad de la capacitación a encuestadores y supervisores Durante el proceso de capacitación, los supervisores y encuestadores fueron evaluados sobre la parte teórica y práctica. Estas evaluaciones permitieron, en otras cosas, poner a prueba el proceso mismo de capacitación, detectando los aspectos a mejorar y a reforzar en la capacitación con vistas a la encuesta principal. Por otra parte, se pidió a los mismos supervisores y encuestadores evaluar el proceso de capacitación durante el taller de evaluación que se organizó al finalizar el operativo de campo para considerar sus sugerencias. 2.9.3. Control de calidad de la muestra Además de la funciones y tareas especificadas en el INP, los supervisores fueron responsables de verificar la calidad del marco muestral, seleccionando de forma aleatoria al menos una vivienda por cada USM que se encontraba en la zona a su cargo. Debían efectuar un recorrido completo de las USM durante el operativo y verificar los datos recolectados durante la actualización; sin embargo, esta tarea no se pudo realizar en todos los casos, debido a que los supervisores se encargaron en el terreno de asignar IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

los hogares a los encuestadores y observar parte o totalidad de la administración de la encuesta, averiguando en esos casos, la correcta selección de los miembros del hogar. 2.9.4. Control de calidad de recolección de datos A objeto de garantizar la estandarización de la aplicación del CA y los instrumentos cognitivos a las personas seleccionadas, los supervisores y encuestadores se comprometieron a seguir estrictamente las pautas, normas y procedimientos establecidos a nivel nacional elaborados en base a los criterios técnicos internacionales del Programa LAMP. Para tal efecto, se entregó al personal de campo los manuales operativos, se llevaron a cabo capacitaciones intensivas y se adoptaron mecanismos de supervisión y fiscalización. Asimismo, se contó con la presencia de un miembro del equipo LAMP del UIS que pudo apreciar la aplicación de los procedimientos durante la recolección de datos del estudio en general. Además observó las particularidades del diseño de la encuesta en un contexto bilingüe, así como las dificultades presentadas en terreno. Cada supervisor observó varias sesiones de aplicación de cada uno de los tres encuestadores a su cargo y registró en el formulario “Observaciones del Supervisor” todo aquello que en mayor o menor grado se apartó de los procedimientos estipulados, las situaciones que merecían una atención prioritaria de cara a la encuesta principal, los aspectos que según su percepción podrían ser mejorados, entre otros. El supervisor tenía la potestad de intervenir durante la entrevista en el caso de que los procedimientos utilizados por el encuestador no se ajustaban a lo estipulado. No obstante, su papel principal fue ayudar a resolver dudas, apoyar la aplicación de instrumentos en caso de dificultades, explicar con mayor amplitud el proyecto LAMP cuando lo ameritaba, ayudar a la toma de decisiones respecto a la aplicación de las encuestas y mantener una comunicación permanente con la Coordinación Técnica. Otro nivel de control de calidad de la etapa de recolección de datos estuvo constituido por los fiscalizadores encargados de evaluar el desempeño de los encuestadores y supervisores durante las entrevistas. En términos generales, los fiscalizadores juzgaron la aplicación de la prueba como “buena”, sin embargo, en algunas sesiones observadas se identificaron divergencias respecto a las directrices, en especial durante los primeros días del trabajo de campo, en este sentido para subsanar la dificultades encontradas se realizaron dos talleres de retroalimentación, el primero luego del tercer día de campo y el segundo la siguiente semana en presencia del Especialista del UIS.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

2.9.5. Control de calidad del procesamiento de datos 2.9.5.1.

Corrección y codificación

El control de calidad del proceso de corrección, crítica y codificación se efectuó a través de la doble corrección del 100% de las pruebas cognitivas y la doble codificación del 100% de los CA. La segunda corrección de los instrumentos de evaluación se ejecutó de forma independiente por un corrector diferente del primero. También, se establecieron procedimientos de asignación de los lotes de instrumentos para garantizar la rotación de los segundos correctores, y se generaron periódicamente listados de discrepancias para verificar la aplicación correcta de los criterios de asignación depuntajes. La doble codificación del CA se realizó una vez concluida la crítica y codificación de cada USM por otro codificador. En caso de discrepancia, se consultaba al jefe de crítica y codificación quien realizaba el análisis y revisión del CA y asignaba a su vez el código a ser considerado válido para la digitación. 2.9.5.2.

Programa de consistencia instrumentos PDN

datos

los

Se han creado programas de consistencia de datos para los instrumentos PDN y para los Componentes de Lectura para controlar el ingreso de valores permitidos en cada variable, el control de flujo de los datos ingresados y los rangos de fecha de acuerdo al mes en que se realizó la encuesta. Para los instrumentos PDN, el programa realizó una sumatoria de control del total de respuestas correctas (1) ingresadas y las respuestas no alcanzadas (0). Para los componentes de lectura, se realizaron controles para las secciones de Identificación rápida de números, Identificación rápida de letras y también en Reconocimiento rápido de palabras donde se controló el último número, letra o palabra que alcanzó el encuestado. Se incluyeron controles para la aplicación de la regla de interrupción (RI) en las secciones de Reconocimiento de palabras y de Procesamiento de oraciones, así también del puntaje asignado a los ítems de las secciones de Procesamiento de oraciones y Lectura de Párrafos. Además se han creado programas para listar los ID de todos los módulos Filtro, Localizador, Cuadernillos 1 y 2 del Módulo B, Cuadernillos de Registro IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

y Cuadernillo del Encuestado de los Componentes de Lectura para luego poder chequear si cada instrumento tiene su correspondencia con lo cargado en el Cuestionario de Antecedentes. 2.10.

Estudio etnográfico

Los investigadores etnográficos visitaron, junto a los diferentes grupos de encuestadores, 45 viviendas para poder disponer de 18 entrevistas completas sin interrupción. La observación directa y el registro (en audio y vídeo) de las entrevistas realizadas con el acuerdo previo del encuestado, consideró todas las etapas desde el contacto inicial, inicio de la entrevista, aplicación de los instrumentos y fin de la entrevista; además del registro de elementos contextuales temporales, espaciales y de la interacción entre entrevistador y encuestado. Se consignaron a su vez entrevistas a supervisores y encuestadores así como situaciones especiales recabadas a través de las grabaciones: comentarios de encuestados y de otros miembros del hogar presentes durante la entrevista. Además, se realizó un grupo focal con los supervisores y encuestadores para analizar su percepción del proceso de recolección de datos. Los resultados obtenidos del análisis cualitativo se presentan en un informe etnográfico independiente titulado “Investigación cualitativa sobre el contexto de aplicación de pruebas de medición de niveles de alfabetismo.” Es importante destacar que el mencionado estudio forma parte integral de la etapa piloto de la encuesta LAMP y que proveyó de insumos importantes a tener en cuenta en la encuesta principal. (Guttandin, Riquelme, junio, 2010).

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

3. PRINCIPALES RESULTADOS La planeación del estudio LAMP y los procedimientos adoptados se pusieron a prueba durante la fase piloto. Conforme a lo esperado, la prueba piloto ha permitido identificar ciertas situaciones que deberán ser contempladas en el estudio principal, tales como: mejorar los procedimientos de selección y reclutamiento del personal, de capacitación, de aplicación de los instrumentos, ajustar los aspectos logísticos, presupuestarios, etc. Este apartado contiene información referente a los principales resultados obtenidos en función a los objetivos propuestos para el estudio piloto considerando los aspectos descriptos a continuación. 3.1. Evaluación del marco muestral Paraguay cumplió con los requerimientos de distribución de casos completos y válidos por nivel educativo y según los módulos, para satisfacer los estándares y establecer las escalas psicométricas de competencias en alfabetismo de forma confiable (Tabla 3). Tabla 3. Resultado final de la muestra por nivel educativo, según Módulos A y B y Cuadernillos 1 y 2

Módulo/ Cuadernillo

Nivel 1: hasta el 6º grado o equivalente

Nivel 2: 7º grado y más o equivalentes

Hombre

Mujer

Total

Módulo A

135

170

Módulo B

Total

176

Cuadernillo 1 Cuadernillo 2 Total

Hombre

Mujer

Total

Hombre

Mujer

Total

104

199

274

130

214

110

171

281

237

124

194

318

185

370

555

115

148

133

130

214

110

171

281

Fuente: Base de Datos prueba piloto LAMP Paraguay. Elaboración propia

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

a. Tasa de respuesta Considerando la experiencia nacional referente a tasa de respuestas a encuestas de hogares, para la prueba piloto se estimó obtener una tasa de respuesta del 70%. Se visitaron aproximadamente 820 viviendas, de las cuales se digitaron en la base de datos 702 casos 16 y finalmente 555 personas completaron la totalidad de la batería de instrumentos LAMP, según el módulo seleccionado. Cabe señalar que la tasa de no respuesta se encuentra subestimada dado que la última semana de trabajo de campo, los equipos reportaron rechazos de USM completas. Ante esta situación la Coordinación Técnica del LAMP tomó la decisión de realizar el barrido de las USM hasta cumplir los casos completos requeridos y no fueron registrados los casos de rechazo en el Resumen de Aplicación del CA. La Tabla 4 muestra la tasa de participación, según las situaciones registradas en campo. Tabla 4. Cantidad de entrevistas, según código de situación final Situación Final

Abs.

Completada

555

79,1

Incompleta

6,0

Rechazo

6,8

5 30 15 2 1 1 1 2 702

0,7 4,3 2,1 0,3 0,1 0,1 0,1 0,3 100,0

Otra persona rehusó en nombre del encuestado No se encuentra en casa Ausencia temporal Muerta, enfermedad u otras circunstancias inusuales Condición mental emocional Discapacidad física Retardo mental Otros (no especificados) Total

Fuente: Base de Datos prueba piloto LAMP Paraguay. Elaboración propia

El diseño muestral del estudio piloto permitió evidenciar algunos supuestos básicos para el estudio principal, a saber:

La diferencia de 118 casos corresponde a los rechazos, viviendas desocupadas, temporales, en construcción que no fueron registrados porque se reutilizaron los CA no llenados para otros casos a fin de optimizar los cuadernillos impresos. IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

- La estratificación de los distritos permitió cubrir una gama muy heterogénea de contextos socioeconómicos en los que se realizará el estudio principal, aspecto relevante para los fines analíticos que propone la encuesta a nivel nacional. - En el Departamento Central, la diferencia entre ámbitos urbano y rural tiende a disolverse, tal como se comprobó en el caso de Limpio e Itauguá, zona de expansión de la periferia urbana. - La tasa de respuesta obtenida en Juan de Mena, José Falcón, Itauguá y Limpio, distritos incluidos en el estrato con nivel socioeconómico bajo-medio donde se aplicó una muestra aleatoria, ha sido superior a la tasa de respuesta obtenida en los estratos altos. Particularmente en Asunción y distritos aledaños, la tasa de respuesta ha sido más baja a pesar de seleccionar los hogares de manera intencional. Cabe destacar que esta tendencia también se observa en los datos de la Encuesta Permanente de Hogares confirmando la necesidad de establecer una estrategia sólida con el propósito de reducir la tasa de no respuesta en estos distritos y en los estratos más altos. Esta medida permitirá también evitar una sobrerrepresentación de personas pertenecientes a estratos bajos en los datos finales. Finalmente, se ha acordado redefinir el tamaño de la muestra para el estudio principal considerando que el marco muestral no está actualizado, lo que incidiría sobre las desagregaciones y estratos definidos en el INP. El nuevo diseño muestral no perdería representatividad de las variables de interés. b. Procedimientos de selección Selección del hogar En Paraguay, existen muchas viviendas cuya característica está dada por la existencia de más de un hogar en una misma vivienda. Por este motivo, se vio la necesidad de crear una estrategia de selección aleatoria del hogar a ser encuestado. Selección de la persona a encuestar Una de las dificultades relacionadas con la selección de la persona se refirió a la confección de la lista de personas del hogar que debía responder a dos criterios: orden decreciente de edad y jefatura de hogar.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

En algunos casos el entrevistado no ofrecía los nombres de los miembros del hogar de manera ordenada y se detectaron ciertos errores de reenumeración cometidos por los encuestadores; lo que derivó en una selección incorrecta de la persona que debía ser encuestada. Por otro lado, como se observa en la Tabla 5, el sesgo en la distribución por sexo hacia las mujeres se agudizó en las localidades donde es común la ausencia prolongada del hombre por razones laborales, como consecuencia directa de la aplicación del criterio de “residencia habitual” limitado al horizonte temporal de la prueba piloto. Tabla 5. Distribución de los encuestados por sexo y edad Sexo

Rango de Edades 15-24 25-34 35-44 45-54 55-64 65 y más Total

Total

Varón

Mujer

68 41,0% 41 29,3%

98 59,0% 99 70,7%

166 100,0% 140 100,0%

113

31,0% 21 25,9% 12 25,0% 35 47,3% 212 34,1%

69,0% 60 74,1% 36 75,0% 39 52,7% 410 65,9%

100,0% 81 100,0% 48 100,0% 74 100,0% 622 100,0%

Fuente: Base de Datos prueba piloto LAMP Paraguay. Elaboración propia

Selección del Módulo y del Cuadernillo 1 ó 2 La selección del Módulo y de los Cuadernillos fue alterada por los siguientes motivos: - La distribución esperada de personas con niveles bajos, medios y altos de educación en el marco muestral usado no correspondió a la realidad encontrada en terreno, pues el monitoreo de la distribución de los casos detectó un déficit en la cantidad requerida de encuestas para los niveles más bajos de educación. Esto obligó a rediseñar la IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

estrategia de selección de viviendas identificando otras USM con las características requeridas. - La tabla de selección aleatoria no garantizó la distribución equitativa entre el Cuadernillo 1 y 2 del Módulo B, pues estas tablas de selección habían sido adheridas a la totalidad de los CA de la muestra. Por tanto, la pérdida de CA originada por los rechazos, casos incompletos y los utilizados para los encuestados seleccionados para el Módulo A alteró el balance final de las tablas de selección de los CA disponibles para aquellos encuestados seleccionados para el Módulo B (Cuadernillos 1 o 2). - También fueron identificados errores de asignación atribuibles al encuestador. 3.2. Funcionamiento del CA y de los instrumentos cognitivos a. Cuestionario de Antecedentes: se considera que en general las adaptaciones nacionales realizadas a las preguntas del CA en términos sociolingüísticos han sido comprendidas por la población objetivo, puesto que se ha intentado utilizar como modelo las diversas encuestas realizadas a nivel nacional. Sin embargo, tal como se mencionó en el apartado de instrumentos en el capítulo de recolección de datos, se identificaron algunas reiteraciones, opciones de respuestas y preguntas que deberán ser evaluados por el equipo técnico para: i) determinar si proporciona todos los elementos críticos para propósitos analíticos en el ámbito nacional; ii) evitar respuestas mecánicas e inconsistentes por parte del encuestado que atenten contra la calidad de la información recolectada, y iii) asegurar la consistencia interna del instrumento. Este análisis pormenorizado será documentado y fundamentado en la etapa de adaptación del CA para la encuesta principal. Finalmente, el promedio de duración del CA es de 31 minutos, superando la duración media de aplicación de cada uno de los instrumentos cognitivos asignados, lo cual ocasionalmente podría originar rechazo o indecisión del encuestado para seguir con la entrevista después de la administración del CA, por su larga duración. b. Instrumentos cognitivos PDN: no tendrán mayores cambios para la encuesta principal, pues se pudo evaluar su funcionamiento en el campo, destacándose las observaciones específicas en el apartado de Instrumentos en Recolección de datos y en Asignación de Puntajes. En el aspecto procedimental, la divergencia en las orientaciones de aplicación entre el Filtro, cuyas preguntas son leídas al encuestado, y los demás instrumentos PDN, que son autoadministrados, pudo influir en los IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

resultados pues la administración oral de las preguntas y el diálogo que emerge de esta interacción resulta difícil de controlar en el campo. Asimismo, no todos los encuestadores leen las preguntas de la misma forma (intencionalmente o no) y hasta pueden incidir en las respuestas dadas por los entrevistados. Por otra parte, es importante señalar que se observaron estilos de administración diferentes según los encuestadores. En este sentido, la estandarización de los procedimientos de administración y la neutralidad representan desafíos importantes para el personal de campo, que se enfrenta a situaciones no previstas y singulares cada día. c. Componentes de lectura: la administración de este módulo presentó mayores desafíos comparándolo con los demás instrumentos por sus características singulares (por una parte, aplicación oral esperando una respuesta también oral e inmediata a los estímulos y por la otra, el llenado independiente de la última sesión), los aspectos particulares fueron detallados en el apartado de Instrumentos en Recolección de datos y en asignación de puntajes. Sin embargo, se destacan los siguientes puntos: - Los encuestadores a medida que aplicaban las encuestas, fueron afianzando sus conocimientos en el contenido, manejo y administración de los Componentes en diferentes circunstancias. - El cambio metodológico que supone la administración del Rotafolio obligó a los encuestadores a desarrollar estrategias para mantener la colaboración del encuestado para completar la administración del Módulo A. - En varias situaciones a los supervisores no les alcanzó el tiempo para verificar la calidad de la información recolectada. En general, entre las razones que pueden explicar las dificultades asociadas a la aplicabilidad de los instrumentos en su conjunto, se señalan: - La extensión de cada instrumento (cuestionario y pruebas cognitivas) sumado al número de pruebas aplicadas en cada caso. - Las innovaciones contenidas en el CA referentes al acopio de variables de interés que puedan representar factores asociados al logro cognitivo de las personas, resulta muy significativo y esencial. Sin embargo, la aplicación del CA en Paraguay puso de manifiesto para el equipo nacional la necesidad de desarrollar mayores análisis para el ajuste pertinente del CA con miras a la encuesta principal. - La complejidad del manejo de la plataforma de la encuesta en su conjunto, complementado por la batería de instrumentos y elementos auxiliares necesarios para administrar los ejercicios de Componentes de lectura. - La diversidad de tareas a cargo del encuestador y del supervisor, que supone toma de decisiones importantes (selección del IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

entrevistado, del módulo a ser aplicado, asignación de puntajes al filtro y a los ejercicios de Componentes de lectura, entre otros). Estos aspectos tuvieron incidencias directas en los encuestados relacionados principalmente con la exigencia de: i) utilizar mucho tiempo para responder a la encuesta, renunciando a sus actividades cotidianas, ii) “invadir” su espacio, y además iii) realizar pruebas haciendo lo mejor que pueda durante varias horas. d. Asignación de puntajes: los encuestadores ensayaron la asignación de puntaje del Filtro en tiempo real en el campo, en general esta tarea resultó satisfactoria requiriendo de 2 a 4 minutos para su realización. Como lo muestran los informes de consistencia entre correctores (capítulo de Asignación de Puntajes), se cumplieron con los estándares técnicos del programa LAMP a pesar de las inconsistencias detectadas entre las Guías de Asignación de Puntajes de los correctores y el GAT de los encuestadores. Los otros instrumentos PDN no mostraron mayores dificultades en la corrección en gabinete. Respecto a los componentes de lectura, se evidenciaron mayores discrepancias entre la asignación de puntajes en el campo por el encuestador y el corrector en gabinete, utilizando las grabaciones. Se podría argumentar estas discrepancias sistemáticas por los siguientes factores: aplicación oral del instrumento en el campo en diversos contextos alterada por numerosas interferencias; utilización de cronómetro sin temporizador automático, exigencia de realización de tareas simultáneas por parte del encuestador, etc.

3.3. Capacitaciones, recolección y procesamiento de datos 3.3.1. Capacitaciones La capacitación a supervisores, encuestadores, codificadores, correctores y digitadores permitió ensayar varios aspectos importantes inherentes a la investigación. En primer término posibilitó someter a prueba el proceso de selección del personal, colaboró para la identificación de procedimientos y actividades a ser mejorados en el adiestramiento de los actores involucrados y ofreció una oportunidad de observar el desarrollo de la entrevista LAMP en situaciones simuladas. Si bien los diferentes roles desempeñados exigen contenidos y prácticas específicos, se evidenció la necesidad de articular las capacitaciones de las diferentes áreas y de proponer una sesión común para todos los actores. Esto con el fin de que todos los involucrados conozcan los roles y responsabilidades de cada uno en los diversos procesos. IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

También pudo constatarse que las prácticas en situaciones simuladas resultó una estrategia útil y efectiva para el aprendizaje de las destrezas requeridas, específicamente para las funciones de supervisores y encuestadores. Sin embargo, el tiempo dedicado resultó insuficiente, por lo cual se prevé subsanar esta falencia para la capacitación del estudio principal aumentando el número de prácticas y el tiempo de entrenamiento. 3.3.2. Recolección de datos La recolección de datos tuvo como resultado evaluar la composición de los equipos de trabajo en campo. Se constató la importancia de mantener la conformación original de los equipos de trabajo durante todo el proceso para fomentar el trabajo mancomunado y coordinado entre sus miembros, con el fin de agilizar esta etapa. Otro aspecto que fue evaluado durante esta etapa fue el periodo de tiempo requerido para la recolección de los datos, y basado en los resultados mejorar las previsiones para la encuesta principal, considerando un espectro más amplio de posibilidades. Asimismo, fue indispensable, a pesar del exigente ritmo de trabajo, crear espacios para la retroalimentación entre los encuestadores y sus respectivos supervisores y la Coordinación Técnica. Se notó a su vez la vital importancia de un sistema efectivo de monitoreo y seguimiento al levantamiento de los datos. Asimismo, se constataron falencias en la actualización de la cartografía, dificultades relacionadas a vías de acceso efectivas y seguras, que obligaron a ajustar los procedimientos. En cuanto a la logística, se vio la necesidad de disponer de vehículos en buen estado, un buen sistema de comunicación (teléfonos celulares) entre los encuestadores, supervisores y los coordinadores técnicos, así como previsiones en materia de imponderables o imprevistos. La articulación de las tareas y diferentes etapas del proceso fue beneficiada por la instalación del Centro de Operaciones LAMP. Durante la recolección de datos de la prueba piloto pudo observarse la aplicación de los instrumentos y el desarrollo de toda la entrevista en un contexto real. El promedio de duración de la entrevista (para los niveles educativos bajo, medio y alto y los módulos A y B) fue de 1 hora y 37 minutos (ANEXO D). Sin embargo, cabe destacar que el promedio de duración no incluye los intentos para ubicar a la persona seleccionada, la presentación, el llenado de la Sección INTRO del CA, ni la despedida (entrega de talón para el sorteo, pegado de calcomanía de vivienda encuestada y agradecimientos). Por lo expuesto, se podría estimar que se requiere aproximadamente 2 horas para concretar una entrevista y recolectar la información correspondiente.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

Como estrategia utilizada para aumentar la colaboración de los encuestados y disminuir así los rechazos, se puso en práctica una campaña de difusión mediática ya mencionada con anterioridad. Poner a prueba estas estrategias permitió dimensionar la importancia de dar a conocer al público en general los objetivos de la investigación, además de proveer los insumos para mejorar la difusión de la encuesta principal. 3.3.3. Procesamiento de los datos Un resultado apreciable de la prueba piloto tiene que ver con la buena acogida por parte de los digitadores del software desarrollado a medida para la captura de datos LAMP por programadores locales, debido a que la nueva interfase ofrecía pantallas que mostraban idéntica estructura que los instrumentos, y podía ser operado utilizando las teclas numéricas. Las facilidades del nuevo software fueron determinantes para la digitación del Cuadernillo de Registro y del Encuestado que seguían una lógica diferente de digitación. De este modo, permitió una mejor orientación de los digitadores, agilizó el proceso de carga de datos y minimizó los eventuales errores de digitación al desplegar mensajes de alerta ante potenciales inconsistencias. Sin embargo, a medida del desarrollo del trabajo de campo, se identificaron nuevos requerimientos que debieron ser considerados en el software, por ejemplo, la creación de nuevos códigos de variables. La etapa de depuración de datos, como actividad ineludible y delicada dentro de la producción de datos estadísticos, demandó un tiempo considerable. Las principales correcciones tuvieron que ver con la eliminación de registros duplicados y corrección de pequeñas inconsistencias en variables de menor importancia. No obstante, esta fase permitió identificar datos inconsistentes relacionados mayormente a imperfecciones en la estructura del CA (saltos de preguntas, reiteraciones, ajustes no contextualizados, entre otros). 3.3.4. Aspectos relacionados al costo La financiación del estudio piloto LAMP fue realizada en mayor parte con los fondos ofrecidos por la OEI, en el marco del PIA; y contó con los aportes del MEC y de la DGEEC en concepto de contrapartida institucional, los cuales no fueron contemplados en el presupuesto. Adicionalmente, si bien la previsión de gastos identificados inicialmente han podido ser cubiertos con estos recursos, durante la etapa preparatoria del operativo de campo surgieron aspectos no previstos en la fase de planeación IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

del presupuesto, entre las que se puede citar la necesidad de desarrollar un software robusto para la captura de datos, la crítica y codificación del CA, la contratación de personal de logística, etc. Otro de los factores que ha incidido en el aumento del costo operativo del estudio LAMP fue la subestimación inicial de las etapas de adaptación de los instrumentos de recolección de datos. Para lograr este último cometido (18 días laborales previstos para el relevamiento de datos), se aumentó el número de equipos de trabajo y las largas jornadas en terreno, lo que requirió la asignación de viáticos complementarios a los choferes, puesto que en el presupuesto inicial solo se había contemplado el pago de remuneraciones extraordinarias y adicionales provenientes de recursos del MEC. Es importante mencionar que para cubrir el costo total del operativo piloto, a los fondos iniciales se adicionaron: i) recursos financieros de la OEI en el marco del PIA, y ii) contrapartida proveniente de los recursos presupuestarios del MEC, principalmente para complementar los pagos de viáticos y salarios del personal contratado en el marco del estudio LAMP. Los desembolsos relativos a viáticos, pago de salarios y cupos de combustible se realizaron sin mayores inconvenientes en los tiempos establecidos, no obstante, se deben prever fondos adicionales para imprevistos como los que surgieron durante el estudio piloto, tales como, mantenimiento de vehículos, pago de peajes, compra de implementos adicionales (lentes de lectura, alimentos, golosinas), etc. Asimismo, ante los resultados y las sugerencias del estudio piloto expuestos en este informe y con el propósito de mejorar y garantizar la calidad de la información generada por la encuesta LAMP; el equipo nacional tuvo que revisar y ajustar el presupuesto de la encuesta principal, específicamente para cubrir los gastos de alquiler de vehículos, de capacitación, de comunicación, de viáticos y de salarios, subestimados durante la etapa preparatoria. 3.3.5. Capacidades nacionales para la implementación de la encuesta principal La iniciativa de cooperación técnica horizontal entre Paraguay y el UIS en el ámbito del LAMP promueve la convergencia de esfuerzos para el fortalecimiento de los sistemas de información que permitan mejorar la formulación, implementación, monitoreo y evaluación de políticas de educación a lo largo de toda la vida. En este sentido, la aplicación piloto logró instalar capacidades técnicas nacionales en aproximadamente 50 funcionarios de las diversas dependencias intervinientes, quienes IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

desempeñarán diversos roles en la implementación de la encuesta principal LAMP. Se remarca que esta experiencia constituyó un aporte significativo en la utilización de metodologías, técnicas, mecanismos y redes de trabajos innovadores, generando sinergias entre las instituciones involucradas y revalorizando el trabajo multidisciplinario e intersectorial. 3.3.6. Difusión de los resultados de la prueba piloto El MEC y la OEI organizarán en la cuidad de Asunción, del 23 al 25 de noviembre del 2010, un Seminario Iberoamericano de Presentación de la Experiencia y Resultados del Estudio LAMP en Paraguay, en el marco del PIA y con el apoyo de la AECID. Este evento pone de manifiesto el interés de Paraguay de realizar la encuesta principal en el primer semestre del año 2011, y la voluntad política de las autoridades del Gobierno Nacional de asumir como una prioridad la lucha para el mejoramiento de los niveles de alfabetismo de la población cumpliendo con sus compromisos nacionales e internacionales. El seminario estará dirigido a directores de Educación Permanente de los países de la región iberoamericana, expertos en el tema de educación de adultos, especialistas del LAMP del UIS, representantes y autoridades del MEC y de la OEI. Si bien este seminario tendrá como eje central la experiencia del estudio LAMP en Paraguay, pretende también abrir un espacio de reflexión y de debate entre los países de Iberoamérica sobre los métodos de monitoreo y evaluación del alfabetismo y los criterios e indicadores claves para mejorar las políticas educativas y públicas en la región. Se tiene previsto la distribución del Informe Nacional de la Prueba Piloto LAMP y del Informe del Estudio Etnográfico realizado durante el operativo de campo, asimismo se organizarán presentaciones, conferencias y mesas de discusiones relativos temas de alfabetización. Por otra parte, se invitará a los medios de comunicación para dar amplia difusión al encuentro y sensibilizar a diversos actores de la sociedad paraguaya sobre la necesidad de disponer de un diagnóstico preciso de las necesidades en competencias de lectura y manejo de números de la población joven y adulta. En otros términos, esa oportunidad permitirá también dar un impulso a la campaña de comunicación y de sensibilización que será llevado a cabo durante la encuesta principal para garantizar la tasa de respuesta esperada para la muestra nacional.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

4. SUGERENCIAS El siguiente capítulo contiene un resumen de las principales sugerencias para las diferentes etapas de la encuesta LAMP con vistas a la encuesta principal. Es importante destacar que las nuevas versiones de los documentos operativos y de los instrumentos del UIS ya contemplan algunos aspectos señalados en este capítulo, con base en la experiencia piloto LAMP de los distintos países participantes. 4.1. Población y muestra - Adoptar un rango de edad que abarque a personas desde los 15 años hasta una edad tope determinada, considerando además que los estudios precursores del LAMP (IALS, ALL) adoptaron como límite de edad 65 años. - Mejorar el trabajo de actualización cartográfica, especialmente en cuanto a las referencias para el acceso a las USM, a la correcta identificación de las viviendas ocupadas, desocupadas o en construcción y en cuanto a las referencias locales para una ubicación más efectiva de las viviendas seleccionadas. - Contar con el asesoramiento técnico de un especialista en muestra durante el trabajo de campo para acompañar, monitorear y dar indicaciones sobre los procedimientos a seguir ante las situaciones que requieren reemplazos de hogares, ya sea por rechazo, no contacto, viviendas desocupadas, etc. - Revisar el concepto de “residencia habitual” y definir con mayor precisión los criterios de inclusión/exclusión a ser considerados en la encuesta LAMP, debido a la corta duración del trabajo de campo. - Establecer estrategias para asegurar la comparabilidad de las definiciones operacionales críticas tanto a nivel internacional como nacional para realizar, por ejemplo, cálculos de factores de expansión confiables.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

- Implementar mecanismos efectivos de seguimiento y monitoreo a la recolección de datos para evitar sesgos sistemáticos (distribución hombre/mujer, niveles educativos, rango de edad, etc.). 4.2. Adaptación - Disponer de los marcos conceptuales detallados y de los objetivos de cada variable del CA y de los instrumentos cognitivos con el propósito de tener un respaldo técnico robusto para la investigación LAMP en su contexto. - Contar con las últimas versiones actualizadas antes del inicio del proceso de adaptación. 4.3. Capacitación - Proponer una sesión común de presentación general en la cual participen todos los actores involucrados y sesiones específicas donde participarían los actores acorde a su ámbito de competencias. 4.3.1. Personal de campo - Monitorear la lectura previa de los manuales e instrumentos y propiciar la autoaplicación de las pruebas por parte de los encuestadores y supervisores para facilitar el conocimiento y manejo de los materiales. - Realizar jornadas presenciales menos intensivas en términos de carga horaria y durante más días. - Formar grupos pequeños para facilitar y promover las prácticas, las intervenciones, y aclarar dudas. - Elaborar un material audiovisual complementario para facilitar la fase de auto aprendizaje y para ser utilizado en la fase presencial para proveer ejemplos de casos reales. - Enfatizar con los encuestadores la importancia de seguir estrictamente los procedimientos de aplicación de los instrumentos de recolección de datos, mantener la imparcialidad durante la encuesta, etc. - Elaborar un abanico de escenarios más variados utilizando como soporte las observaciones y los casos reales de la prueba piloto, enfatizando los aspectos más débiles identificados (Determinadas secciones del CA, secciones cronometradas del Rotafolio, etc.).

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

- Realizar ejercicios de control de consistencia interna de los datos recolectados en el CA y de llenado de formularios administrativos. - Aumentar las prácticas y simulaciones de administración de los instrumentos así como de asignación de puntaje del Filtro y Rotafolio utilizando como ejemplos los cuestionarios de la prueba piloto. - Organizar una simulación completa de la aplicación de la encuesta por cada encuestador y evaluar su desempeño. - Establecer nuevos criterios de evaluación y selección del personal de campo otorgando mayor puntaje a las prácticas de campo. - Proponer una corrección por evaluación de pares de la prueba de selección en su parte teórica y organizar una retroalimentación en plenaria para poder responder a las diferentes dudas de los participantes antes de empezar la etapa de práctica de campo. - Realizar una capacitación diferenciada dirigida a supervisores antes de la capacitación a encuestadores, incluyendo prácticas de verificación de sobres de casos, llenado de formularios, estrategias de monitoreo, etc., para trabajar sobre los errores sistemáticos y situaciones encontradas en el terreno; y una posterior sesión para organizar el trabajo de campo. 4.3.2. Correctores - Contar con la participación del Jefe Corrector en la capacitación a supervisores y encuestadores en las sesiones atinentes a su ámbito de competencia. - Prever una extensión mayor de día para la capacitación puesto que todos los correctores no tendrán un conocimiento previo de los instrumentos. - Incluir en la capacitación los errores relevantes encontrados en la prueba piloto y analizarlos acorde con las reglas de asignación de puntajes para minimizar la tasa de discrepancia. - Realizar una simulación entera de la administración del Rotafolio e incluir más ejercicios de prácticas de asignación de puntajes. - Enfatizar durante la capacitación sobre el uso del cronómetro en las secciones correspondientes de los componentes de lectura. - Realizar una prueba de selección de correctores al finalizar la capacitación a través de simulaciones de corrección y doble corrección para verificar el nivel de consistencia entre los correctores. IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

4.3.3. Digitadores y codificadores - Seleccionar a los digitadores y a los codificadores al finalizar la capacitación a través de una prueba final teórico-práctica (simulación con grilla de evaluación: velocidad, precisión, discrepancias). - Contar con la participación de los coordinadores de digitación en la capacitación a supervisores y encuestadores para detectar los errores más frecuentes encontrados durante el estudio piloto. - Contar con la participación de los coordinadores de codificación en la capacitación a supervisores y encuestadores para coordinar la sesión de capacitación referente a las preguntas de ocupación principal y rama de actividad, con la finalidad de contribuir con estrategias exitosas basadas en su experiencia, de modo a obtener información precisa y completa que permita la correcta codificación utilizando los clasificadores internacionales. 4.4. Recolección de datos 4.4.1. Operativo de campo - Adecuar los compromisos institucionales de modo que las personas designadas tengan el tiempo disponible para cumplir con el trabajo asignado oportunamente. - Contratar a especialistas en comunicación social para organizar la campaña nacional de difusión. - Proponer manuales operativos más concisos, precisos y sencillos e introducir en el Manual del Encuestador y del Supervisor un resumen esquemático de los procedimientos relativos al manejo de la entrevista con el fin de ayudar al personal de campo a estandarizar los criterios asumidos en las distintas situaciones presentadas en el terreno. - Elaborar documentos operacionales para facilitar el seguimiento de las actividades de campo. - Alquilar camionetas en buen estado con chóferes permanentes durante todo el operativo de campo

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

4.4.2. Entrevista e instrumentos 4.4.2.1.

Secuencia de la entrevista

- Incluir un campo en el CA para el código final de la entrevista, para fines analíticos. 4.4.2.2.

Instrumentos

a. Cuestionario de Antecedentes - Revisar el formato del CA para adaptar su aplicación a diferentes contextos tales como urbano / rural, cuidando de garantizar, la comparabilidad de las variables afectadas. - Reestructurar el CA con vistas a acortar la duración de su aplicación a través del uso oportuno de preguntas filtro. - Analizar el desempeño de los ítems y grupos de ítems mediante técnicas estadísticas avanzadas (TRI) a fin de determinar los que aportarían la misma información en la escala y que consecuentemente podrían ser omitidos para hacer más liviano el instrumento. b. Módulo Filtro - Contemplar un código de interrupción para el Módulo Filtro considerando las personas que declaran y demuestran mayores limitaciones en sus competencias lectoras, a fin de evitar situaciones incómodas y/o rechazo por parte del encuestado de seguir con las demás pruebas. - Armonizar los procedimientos de administración de los instrumentos PDN, lo que implica no leer al encuestado las preguntas del Filtro. - Introducir al inicio del cuadernillo un test de agudeza visual sencillo para asegurarse de que el encuestado pueda realizar los ejercicios y minimizar las posibilidades de interrupción de la encuesta. c. Cuadernillo Localizador – Módulo A - Contemplar un código de interrupción para el Módulo Localizador considerando las personas que declaran y demuestran mayores limitaciones en sus competencias lectoras, a fin de evitar situaciones incómodas y/o rechazo por parte del encuestado de seguir con las otras pruebas.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

d. Componentes de lectura – Módulo A - Contemplar un código de interrupción en caso de que el encuestado tenga muy bajas competencias de lectura y declare no saber leer y escribir antes de haber podido llegar a las secciones donde se aplica la “Regla de Interrupción” (RI). - Simplificar las instrucciones para que no superen el nivel de dificultad de los ejercicios propuestos y garantizar que los encuestados las entiendan. - Reducir la duración del instrumento, eliminando algunos ítems de las secciones más largas, respetando la confiabilidad psicométrica. - Proveer más información acerca del desafío del uso estadístico de los datos obtenidos con el Módulo de Componentes de lectura a partir de una muestra, para elaborar y diseñar políticas públicas. - Prever una capacitación más larga para los Componentes de lectura y contemplar diferentes contextos de aplicación. - Disponer de cronómetros con cuenta regresiva para asegurar que las secciones cronometradas estén correctamente administradas. e. Asignación de puntajes - Contar con un foro moderado por especialistas del UIS para exponer y resolver las dudas respecto a la asignación de puntaje. - Indagar mayormente sobre los fenómenos lingüísticos característicos del contacto de los idiomas guaraní y castellano para definir con más precisión los criterios de asignación de puntajes, particularmente para los Componentes de lectura. - Evitar la corrección exclusiva de un solo bloque de instrumentos por un mismo corrector durante varias horas seguidas para evitar una corrección mecánica que incidiría sobre la asignación de puntaje y por consiguiente afectaría la calidad de los datos. - Disponer de un espacio independiente al espacio asignado para la recepción de sobre de casos para evitar todo tipo de interferencias. - Contar con un equipo informático destinado exclusivamente a la descarga de las grabaciones de los Componentes de lectura. - Revisar y ajustar los kits de capacitación con ejemplos tomados de la prueba piloto.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

4.5. Codificación - Trabajar de forma coordinada con los programadores a fin de definir criterios homogéneos para la creación de los códigos requeridos (por ejemplo, en el caso de la categoría “Otro” (especifique). - Mejorar el mecanismo de recepción y entrega del CA entre codificadores y digitadores, con miras a la agilización de tareas, monitoreo y evaluación del proceso. 4.6. Procesamiento de datos - Elaborar un plan de trabajo para el proceso de depuración de los datos, decisivo para la calidad de los datos generados teniendo en cuenta el tiempo necesario para que los países verifiquen y corrijan sus bases de datos respectivas. La planificación de este proceso es crucial por el impacto directo que tiene sobre los costos de producción y los plazos de difusión de los datos esperados a nivel nacional. - Ajustar el mecanismo de recepción de los instrumentos y elaborar planillas de control más operacionales para consignar, además de los datos ya incorporados, la firma de la persona que tiene en su poder el sobre de casos en cada momento del proceso: supervisor, codificador, corrector 1, corrector 2, digitador 1 o digitador 2, para facilitar el seguimiento del flujo físico de los instrumentos de cada caso.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

BIBLIOGRAFÍA DGEEC (2004). Censo Nacional de Población y Viviendas 2002. Principales Resultados. Fernando de la Mora, Paraguay. DGEEC-STP-PR. Encuestas de Hogares 1995,1997/1998,2000/1, 2002, 2003, 2004, 2005, 2006 y 2007 (base de datos de abril 2008). Fernando de la Mora, Paraguay. GUTTANDÍN, Friedhelm (2001). El guaraní mirado por sus hablantes. Ministerio de Educación y Cultura: Paraguay. GUTTANDIN, Friedhelm y Lidia RIQUELME (2010). Informe preliminar.

Investigación cualitativa sobre el contexto de aplicación de la prueba de medición de niveles de alfabetismo. Asunción, Paraguay. JACQUET, María Gloria (2000). La lengua guaraní ante los desafíos como lengua de enseñanza. Seminario Internacional sobre "El Bilingüismo en la Educación Formal". Asunción, Paraguay. LINACRE, John M. (2008). A user’s Guide to Winsteps Ministeps. Rash Model Computer Programs. USA, Winsteps. MELIÁ, Bartomeu. (1992). La lengua guaraní del Paraguay. Historia, sociedad y literatura, Madrid: MAPFRE. MINISTERIO DE EDUCACIÓN (2006). La educación bilingüe en la reforma educativa paraguaya. Asunción, Paraguay. MEC, OEI, DGEEC (2009). Programa de Evaluación y Monitoreo de la Alfabetización (LAMP). “Informe Nacional de Planeación de Paraguay”. Colección IDIE MERCOSUR Nº 6, Asunción, Paraguay. INSTITUTO DE ESTADÍSTICA DE LA UNESCO (2009). La nueva generación

de estadísticas sobre competencias en alfabetismo: Implementando el Programa de Evaluación y Monitoreo de la Alfabetización (LAMP). Montreal, Québec.

VILLAGRA DE BATOUX, D; ACOSTA F.; JACQUET,M.G. y AGUILERA N. (2000) Tratamiento de la lengua guaraní en los materiales educativos: Líneas directrices y recomendaciones. “Programa para el Fortalecimiento de la Educación Bilingüe”. Asunción, Paraguay. IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

Documento de trabajo. Marco de Acción de Belém (2009). Aprovechar el

poder y el potencial del aprendizaje y la educación de adultos para un futuro viable. CONFINTEA VI, Belem. Sitios web: http://www. mec org.py http://www.oei.org.py http:// www. dgeec.gov.py

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

ANEXO A PERFIL Y RESPONSABILIDADES DE LOS SUPERVISORES Y ENCUESTADORES SUPERVISORES El supervisor tiene un papel fundamental puesto que tiene que garantizar la calidad de los datos recolectados por los encuestadores, a través de las responsabilidades que asume y de las diferentes actividades que le corresponde desarrollar. Perfil académico -

Estudios terciarios concluidos (título universitario o terciario no universitario) preferentemente en áreas de trabajo social, ciencias sociales, administración, ingeniería, estadística, informática o economía. Fluidez en idioma guaraní.

Experiencia profesional - Ejecución de censos o encuestas a nivel local, regional o nacional. - Trabajos relacionados a relevamiento de datos en campo (encuestas o censos). - Trabajos relacionados con evaluación de consistencia de datos en instrumentos de recolección de datos. Actividades -

Capacitación continúa al encuestador. Efectuar la asignación de cargas de trabajo a los encuestadoras/es de su equipo de campo. Orientar a los encuestadores en el llenado y utilización del formulario “Lista de control de tareas del Encuestador”. Verificar la “Lista de Control de Tareas” que elaborarán los encuestadores. Actualizar juntamente con los encuestadores el formulario “Lista de control de tareas del Encuestador” y las USM asignadas. Supervisar el operativo de campo. Realizar la observación y acompañamiento al encuestador en las primeras encuestas realizadas (al menos 2 observaciones por encuestador). Monitoreo permanente del trabajo completado por cada encuestador, una reunión del equipo de campo por semana y al

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

menos una reunión con cada encuestador durante el período de recolección de datos Monitorear los casos completados para garantizar el número de observaciones requeridas para los Módulos A y B Realizar segundas visitas al 10% de casos de cada encuestador, a fin de constatar que los procedimientos de selección de la muestra fueron observados y verificar parte de la información recolectada el encuestador. Realizar seguimiento a los casos de no-respuesta e informar al Centro de Operaciones. Recolectar, revisar y sistematizar toda la información de los instrumentos aplicados por los encuestadores. Realizar el envío de materiales (grabadora digital, cronometro, calculadora) e instrumentos aplicados correspondiente a su equipo al Centro de Operaciones.

Responsabilidades -

Estudiar y manejar con fluidez las guías y manuales del encuestador y los instrumentos de recolección de datos. Cumplir y hacer cumplir las normas establecidas en los manuales. Realizar un reconocimiento del Área de Empadronamiento (AE) asignada, de sus límites y de la ubicación exacta de las viviendas seleccionadas en la muestra. Efectuar la revisión de la cartografía existente, verificando la calidad y exactitud de la información contenida en ella, y a través de visitas casa por casa actualizará la lista de viviendas y hogares existentes en la AE. Elaborar un plan de trabajo a ser desarrollado, el tiempo estimado que durarán las entrevistas y cómo encarar el operativo de campo. Informar permanentemente al Centro de Operaciones sobre el avance de las actividades. Mantener una constante coordinación y comunicación fluida con los actores involucrados.

ENCUESTADORES Perfil académico -

Estudios terciarios en curso y/o persona con vasta experiencia en aplicación de encuesta y censo. Estudios de actualización como mínimo de 40 horas académicas relacionados con estadísticas, encuestas, censos, análisis de datos, educación y evaluación. Fluidez en idioma guaraní.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

Experiencia profesional -

Ejecución de censos o encuestas a nivel local, regional o nacional. Trabajos relacionados a relevamiento de datos en campo (encuestas o censos). Trabajos relacionados con evaluación de consistencia de datos en instrumentos de recolección de datos.

Actividades - Tener amplio conocimiento del contenido del manual del encuestador y demás documentos para realizar un trabajo eficiente. Contactar con el hogar, presentarse, explicar la razón de su visita y entregar la carta oficial. Aplicar la metodología de recolección de datos del estudio LAMP Administrar los instrumentos de recolección de datos. Completar los formularios operativos (Listado de Control de Tareas del Encuestador, Formulario de Entrega del Supervisor, Informe de Avance y Costos). Verificar que el trabajo sea legible, esté completo y correctamente procesado. Consultar al supervisor de encuestadores toda dificultad o caso especial que se presente en el operativo de campo. Cumplir con las cargas de trabajo asignadas por el supervisor de encuestadores. Acatar las instrucciones del supervisor de encuestadores, durante la asignación de cargas de trabajo y horarios convenidos para sus reuniones del equipo de campo. Garantizar la calidad, veracidad y cobertura de la información recolectada en los instrumentos. Entregar los documentos (Listado de Control de Tareas, Formulario de Entrega al Supervisor, Informe de Avance y Costo) e instrumentos aplicados y no aplicados a su Supervisor. Devolver los materiales utilizados en la aplicación de los instrumentos (cronometro, grabadora digital, calculadora) al supervisor de encuestadores. Responsabilidades -

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

Efectuar la revisión de la cartografía existente, verificando la calidad y exactitud de la información contenida en ella, y a través de visitas casa por casa actualizará la lista de viviendas y hogares existentes en la AE. Elaborar un plan de trabajo a ser desarrollado, el tiempo estimado que durarán las entrevistas y cómo encarar el operativo de campo. Informar permanentemente al Supervisor sobre el avance de las actividades. Mantener una constante coordinación y comunicación fluida con los actores involucrados.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

ANEXO B TIEMPO DE APLICACIÓN DE LOS INSTRUMENTOS SEGÚN CÓDIGO DE SITUACIÓN FINAL CA Estadísticos descriptivos Código de situación final

Completada

639

Mínimo

Máximo

8,00

Media

91,00

Mediana

31,4757

12,64511

Módulo Filtro Estadísticos descriptivosa Código de situación final

Mínimo Máximo

Media

Mediana

Desv. típ.

20,00

12,59832

600

1,00

105,00

23,2167

Rehusada

9,00

9,0000

Dificultades

10,00

10,0000

6,00

6,0000

1,00

15,00

8,4000

10,00

5,45894

2,00

4,00

3,0000

3,00

1,41421

Completada

relacionadas con el idioma Dificultades relac. con habilidad lectora o de escritura Ceguera o trastornos visuales Otros (no especificado)

Mód. A: Localizador Estadísticos descriptivosa N Completada

Mínimo

Máximo

Media

292

1,00

67,00

17,3733

Rehusada

1,00

1,0000

Otros (no

3,00

3,0000

Mediana 15,00

Desv. típ. 9,83582

especificados) IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

Mód. A: Rotafolio Estadísticos descriptivosa N Completada

Mínimo

Máximo

Media

Mediana

Desv. típ.

281

5,00

93,00

31,2100

30,00

10,71991

Parcialmente

14,00

42,00

28,6000

30,00

13,77679

Rehusada

28,00

36,00

32,0000

32,00

5,65685

Otros (no

4,00

25,00

14,5000

14,50

14,84924

especificados)

Mód. B: Cuadernillo 1 Estadísticos descriptivosa N Completada

Mínimo Máximo

Media

154

10,00

127,00

42,0844

33,00

33,0000

2,00

32,00

17,0000

Parcialmente

Mediana

Desv. típ.

40,00

17,65943

17,00

21,21320

completada Rehusada

Mód. B: Cuadernillo 2 Estadísticos descriptivosa N Completada Parcialmente

Mínimo Máximo

Media

154

10,00

127,00

42,0844

33,00

33,0000

2,00

32,00

17,0000

Mediana

Desv. típ.

40,00

17,65943

17,00

21,21320

completada Rehusada

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

ANEXO C PERFIL Y RESPONSABILIDADES DE LOS CORRECTORES Perfil académico Estudios terciarios concluidos (título universitario o terciario no universitario) preferentemente en las siguientes áreas: ciencias sociales, estadísticas o evaluación. Experiencia profesional Participación en actividades de corrección de ítem de pruebas cognitivas. -

Participación en programas, proyectos y/o evaluaciones nacionales e internacionales.

Experiencia satisfactoria en equipo de trabajo.

Responsabilidades Participar de la capacitación a realizarse por la Coordinación Técnica de LAMP. -

Suscribir el acuerdo de confidencialidad de los instrumentos y materiales referentes al estudio y cumplir con las obligaciones establecidas en dicho acuerdo.

Acudir a reuniones cuando el Corrector Jefe lo convoque en horario y lugar determinado.

Estudiar y analizar detenidamente el Manual de Procedimientos Operacional de Asignación de Puntajes.

Corregir las pruebas cognitivas (Módulo Filtro, Módulo A: Cuadernillo Localizador, Módulo A: Cuadernillo del encuestado Componentes de Lectura -, Cuadernillo del Registro- Componentes de Lectura -, Módulo B: Cuadernillo 1 y 2 en coordinación con el equipo de correctores del LAMP.

Comunicar problemas encontrados y las soluciones propuestas de acuerdo a las normas establecidas, con el fin de socializar las soluciones y estandarizar la producción de la información.

Presentar informe final de la actividad realizada.

Mantener la confidencialidad de los instrumentos y materiales referentes al estudio.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

No conservar ni dejar al alcance de personas ajenas los instrumentos y materiales de LAMP, ni permitir la realización de copias.

No divulgar por ningún medio a personas no autorizadas el contenido de los materiales del estudio.

Considerando que los materiales e instrumentos de LAMP contienen información personal que ha sido proporcionada por individuos, esta será manejada de acuerdo a las normativas establecidas que obligan a la protección de la identidad de los encuestados; por lo tanto, no se publicarán datos que permitan identificar a las personas.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa

ANEXO D Duración media de entrevistas completas Estadísticos descriptivos N TiempoTotal

429

N válido

429

Mínimo 30.00

Máximo 248.00

Media 97.39

Mediana

Desv. típ.

93.00

(según lista) Fuente: Base de Datos prueba piloto LAMP Paraguay. Elaboración propia Nota: Para calcular la duración promedio de la entrevista se consideraron solo los 429 casos que se completaron en una sola visita.

IDIE MERCOSUR – Instituto para el Desarrollo y la Innovación Educativa 100

30.13