Considerando lo anterior, y con el propósito de evitar las interpretaciones simplistas, las gráficas que presentan ordenamientos de países o entidades se han diseñado en este informe en forma tal que la distancia que separa en la gráfica a dos países o entidades es proporcional a la diferencia real de sus puntuaciones promedio. Por tanto, se incluye siempre el intervalo de confianza correspondiente, de manera que se puede apreciar fácilmente cuáles puntuaciones no difieren de manera significativa, en términos estadísticos, porque los intervalos de confianza se traslapan, y en qué casos la diferencia es importante. Una limitación aún más elemental de las interpretaciones simplistas de los resultados basados en ordenamientos simples de puntuaciones promedio es la que consiste en interpretar una puntuación más alta como reflejo inequívoco de mejor calidad de las escuelas, y una puntuación más baja como signo indudable también de menor calidad de ellas. Los resultados se deben a muchos factores, unos del ámbito de la escuela, pero otros, cuya importancia se reitera estudio tras estudio, del entorno familiar y social de los alumnos: los de una escuela que funciona bien, pueden tener resultados inferiores a los de otra de funcionamiento menos ordenado, debido precisamente al peso de los factores del entorno. En sociedades muy desiguales, como la mexicana, las interpretaciones simplistas de los rankings pueden ser injustas con las escuelas que atienden a alumnos de medios desfavorecidos, máxime si se tiene en cuenta que suelen también contar con menos recursos que las escuelas a las que asisten mayoritariamente alumnos de medios más favorables. Esto no debe llevar a la conclusión de que los resultados de pruebas como las de PISA no son importantes, pero sí debe alertar sobre la necesidad de tener en cuenta otros elementos sobre los recursos de las escuelas y sobre su forma de operar para poder llegar a conclusiones sobre su calidad. Si los resultados de PISA en un país son mejores que en otro, no se puede inferir sin más que las escuelas del primero sean más eficaces, pues el aprendizaje comienza antes de asistir a la escuela y se desarrolla dentro y fuera de ella. La conclusión válida, en cambio, es que el impacto acumulado de las experiencias de aprendizaje en ese país, desde la infancia hasta los 15 años, dentro y fuera de la escuela, ha traído consigo mejores resultados en los aspectos evaluados por PISA. Una mejor perspectiva: los niveles de competencia El segundo tipo de presentación de resultados que se utiliza permite interpretaciones más ricas que el primero. Se trata de las gráficas de porcentajes de estudiantes por país o entidad que se ubican en los niveles de desempeño de cada escala. Las interpretaciones de los resultados de PISA que centran la atención en el lugar ocupado en ordenamientos simples son relativas, y no informan sobre la situación de un país o entidad en términos absolutos, lo que sí permiten hacer los porcentajes de jóvenes que se ubican en cada nivel de desempeño. La escasa utilidad de los rankings se aprecia, si se acepta que el propósito que debe perseguir el sistema educativo de un país no es estar mejor que otro, sino conseguir que los niños y jóvenes del país de que se trate tengan
39