Las decisiones sobre la selección de ítems para pruebas operacionales son compartidas entre los miembros del equipo técnico quienes, según ya ha sido descrito, cuentan con las calificaciones académicas y psicométricas que les permiten realizar esta labor. Las decisiones se basan en etapas de revisión y discusiones en equipo que le confieren confiabilidad al proceso. Los procedimientos para tratar con ítems que demuestran comportamientos extremos son aceptables porque tales ítems son, de hecho, revisados adecuadamente por el comité de contenidos del DEMRE, utilizando criterios relevantes. En general, el proceso parece ser el adecuado y cumple con las expectativas mínimas. Los equipos responsables de la selección de ítems para las pruebas operacionales se basan en la documentación respecto de los indicadores y características de los ítems que deben ser tomados en cuenta. Sin embargo, el DEMRE no ha establecido un procedimiento para seleccionar ítems cuando un ítem cumple con algunos criterios, pero no con otros. Esto deja espacio para una mayor subjetividad en la selección de los ítems y puede afectar la comparabilidad de las formas de prueba entre administraciones. En la documentación revisada no hay evidencia de que los procedimientos de selección de preguntas incluyen comparaciones entre el comportamiento de los ítems en aplicaciones piloto y operacionales. Las pautas del DEMRE explícitamente permiten que los ítems pilotados sean editados o de otra forma, cambiados previo al uso operacional. Esta práctica contradice las mejores prácticas en el desarrollo de formas de pruebas operacionales respecto de que los ítems no deberían ser editados o cambiados, a no ser que los ítems sean piloteados nuevamente. Recomendaciones: 57. Recomendamos documentar la razón de los cambios de los criterios de selección de ítems entre los años 2005 y 2011; específicamente, documentar la historia de la prueba en sus procedimientos técnicos y las razones para realizar cambios en los mismos. 58. Recomendamos especificar cómo los indicadores TRI son analizados: CCI y Función de Información. ¿Son ellos los criterios para aceptación o rechazo? 59. Recomendamos documentar la justificación para establecer un rango mucho más amplio (desde -5 a +5) de aceptación del valor de dificultad que aquel indicado como aceptable por la literatura TRI (desde -3 a +3), así como también describir y respaldar con mayor precisión la decisión de aplicar criterios de dificultad diferentes (p) para pruebas diferentes, incluyendo controles en el caso que sean necesarios para impedir que tales decisiones sean contraproducentes respecto de los propósitos de la prueba. 60. Recomendamos revisar y reconciliar los criterios que difieren para valores de discriminación TRI aceptables (esto es, a ≥ 0.6 versus a≥ 0.65), dado que los ítems seleccionados con ese criterio podrían ser catalogados a un nivel bajo de discriminación, de acuerdo con la tabla de clasificación para este indicador. 61. Recomendamos revisar el actual criterio utilizado para marcar ítems con altas tasas de omisión, considerando un estándar extraído de las observaciones y experiencia del equipo evaluador respecto de evaluaciones internacionales (por ejemplo, 10% omisiones). 62. Recomendamos documentar en mayor detalle los procesos de selección de ítems en cuanto a qué pasos están involucrados en su planeamiento y cómo
28