Recomendaciones: 67. Recomendamos tomar medidas a fin de que los valores obtenidos en el piloto y la administración final sean más cercanos entre sí; por ejemplo, mayor consideración a variables como género deben ser tomadas en cuenta para el muestreo de la población de la administración piloto. 68. De acuerdo con la recomendación anterior, y de otra evidencia en la evaluación, se recomienda que el DEMRE reconsidere el uso de la “corrección por adivinación” en el contexto de la PSU. Tal corrección se basa en supuestos teóricos con débil respaldo y los programas de selección universitaria internacionales han abandonado su uso o están seriamente considerando retirarlo de sus procesos. 69. Recomendamos analizar el impacto de las tasas de no participación sobre la representación pretendida de las variables socio demográficas mayores durante el proceso de muestreo del piloto. 70. Recomendamos redefinir los elementos del diseño de muestra de la administración piloto, tomando en cuenta el propósito de dicha administración, el propósito de la PSU, la teoría psicométrica a ser empleada en el ítem y análisis de pruebas y en la escala de puntaje a ser utilizada. Esta redefinición incluye considerar otras formas de pilotaje de ítems tales como la inclusión de grupos de ítems en la administración operacional. Estos grupos de ítems no serían asignados puntajes o utilizados para obtener resultados de aquellos respondiéndolos, pero eso proporcionaría estadísticas muy cercanas a los datos de las administraciones operacionales, ya que los evaluados no sabrían cuáles ítems están siendo pilotados. 71. Aunque la muestra que participa en el piloto es voluntaria y hay un compromiso de parte de las instituciones seleccionadas para que sus estudiantes participen, es importante analizar el impacto de la no participación en la representación pretendida de grupos socioeconómicos mayores de manera tal de dar cuenta de un posible sesgo en los resultados. Una vez realizado este análisis, se podría dar cuenta de las tasas históricas de no participación mediante la sobremuestra de dichos grupos.
Objetivo 1.1.g: Exploración de variables asociadas al DIF, en el caso que se encuentre presente Descripción: Este objetivo incluyó una exploración de las variables asociadas al DIF en la PSU. Para este objetivo, el equipo evaluador suministró (1) análisis experto de procesos DIF documentados en los informes del DEMRE y aclarados durante entrevistas al personal del DEMRE, (2) una inspección analítica de variables relacionadas con el DIF, cubriendo el modelaje estadístico de los resultados de DIF con información relevante de nivel de ítem y (3) una demostración empírica de computación de DIF con datos del proceso de selección del año 2012.
31