Objetivo 1.1.a: Estándares de calidad, seguridad y confidencialidad respecto del desarrollo de ítems y pruebas: capacitación de los redactores, redacción de ítems, revisión, ensamblaje, impresión, distribución y aplicación de pruebas Descripción: Este objetivo incluyó una revisión de varios aspectos del desarrollo de ítems y procesos de administración usados para la PSU, incluyendo: • • • • • • •
El proceso para desarrollar marcos y especificaciones para guiar la redacción de los ítems (Faceta 1). El proceso para seleccionar y capacitar a los redactores de ítems para la PSU (Faceta 2). El proceso para la asignación de la redacción de ítems para la PSU (Faceta 3). El proceso para la revisión y aceptación de los ítems en borrador de la PSU (Faceta 4). Las herramientas de autoría de ítems y banco de ítems (Faceta 5). El proceso para la distribución y la administración de las pruebas de la PSU (Faceta 6). Los procesos de captura de datos y puntuación de la PSU (Faceta 7).
Para este objetivo, el equipo evaluador verificó los principales participantes y documentó los procedimientos empleados con un foco en las calificaciones de los participantes, la posibilidad de revisión de las especificaciones y de los ítems desarrollados por otro grupo de expertos, la calidad de la seguridad y respaldos del sistema sobre el cual los ítems y la prueba fueron construidos, así como también la calidad y la documentación para los procedimientos de distribución y retorno de materiales. Método: La información para este objetivo se obtuvo a partir de entrevistas realizadas a funcionarios del DEMRE, entre el 19 y 20 de marzo de 2012, incluyendo a su director, al jefe del departamento de construcción de pruebas, a los coordinadores de los comités de construcción de pruebas de las cuatro áreas temáticas, al jefe de la unidad de investigación y su equipo, así como también al jefe de las unidades logísticas, de los registros educacionales, la unidad computacional, del proceso de selección y al coordinador general. También se consultó la documentación formal disponible del DEMRE en la preparación de la evaluación de este objetivo. Hallazgos: Los equipos técnicos a cargo de redactar las especificaciones tienen una capacitación académica y experiencia profesional acorde a su participación en el desarrollo de las especificaciones de la prueba. Los marcos y las especificaciones de las pruebas son el producto de un análisis curricular que también ha contemplado las demandas de la educación superior, a fin de plantear una propuesta de evaluación objetiva y seria. Sin embargo, ni en la construcción del marco ni de las especificaciones se encuentra evidencia de la participación de expertos externos al DEMRE en la revisión y análisis de la pertinencia y relevancia de estas especificaciones, para los fines de la prueba y para el interés de la población evaluada.
11