El listado del THES ha sido ampliamente criticado pero también ampliamente usado. Como con el ranking de Shangai, las partes integrantes del ranking del THES son idiosincrásicas y la consideración es arbitraria sin ningún fundamento evidente en la teoría. La principal preocupación de las críticas tienden a ser los juicios de reputación de los pares. Por su parte, el listado del ranking del THES se apoya pesadamente en evaluaciones subjetivas de expertos. Cuán válidas son estas últimas y cuán bien representan a las instituciones cubiertas son preguntas importantes que quedan sin responder (RFSU, 2008). Aunque aluden al sondeo del THES, Stella y Woodhouse (2006, pp 8-9) plantean algunas objeciones generales al uso de opiniones de expertos que incluyen el “efecto halo”, bases de conocimientos insuficientes, celos académicos y llegan a la conclusión de que existe poca justificación científica para continuar basándose en la opinión experta. Esto es algo irónico viniendo de una agencia de aseguramiento de la calidad que usa la revisión de pares. Control del fenómeno de los rankings En respuesta a la creciente demanda de los consumidores la UNESCO inició el Grupo de Expertos en Rankings Internacionales (IREG), que adoptó los Principios de Berlín sobre el Ranking de Instituciones de Educación Superior (CHE/CEPES/IHEP, 2006) para promover un sistema de mejoramiento continuo de los rankings (IHEP, 2008). Los Principios son un grupo de oraciones diseñadas para asegurar que “aquellos que producen rankings y cuadros de ligas se hagan responsables por la calidad de su propia recolección de datos, metodología y diseminación”. Algunas universidades se han preocupado tanto por los rankings que se han negado a participar. Por ejemplo, en 1999, la Universidad de Tokio y 19 universidades de China Continental, que incluyen la Universidad de Pekín, así como otras 15 instituciones se rehusaron a brindar información a la revista Asiaweek para su ranking anual de universidades en la región de Asia y el Pacífico. Asiaweek (1999) abandonó este ranking poco tiempo después. Recientemente, un grupo de siete instituciones de Canadá indicaron que ya no participarían en el ranking anual de universidades de la revista Maclean en ese país (Birchard, 2006). La respuesta de Maclean fue que continuaría realizando rankings de esas instituciones usando datos de otras fuentes públicas, por lo tanto ya no es necesaria la participación voluntaria de las instituciones. Preocupaciones de los Depositarios A pesar de los Principios de Berlín existen preocupaciones difundidas por el ranking de la educación superior de una gama de depositarios. Una reunión ministerial informal en Tokio en 2008 llegó a la conclusión de que la “desviación en la base de información de rankings existentes hacia los resultados de la investigación se apartaría de los esfuerzos para mejorar el rendimiento educacional” (OECD, 2008). Stella y Woodhouse (2006) de la Agencia Australiana de la Calidad de las Universidades (AUQA) argumentó que los rankings infringen un enfoque de aptitud para el propósito, que por lo menos en teoría es el corazón de la mayor parte de los enfoques de las agencias de la calidad. El ranking juzga según un grupo de criterios genéricos, que son perjudiciales para la diversidad institucional. La Unión de Estudiantes Europeos (ESU, 2006) objeta el elitismo generado por los rankings y reclama que realmente no informan a los estudiantes. Una reunión de la Comisión Permanente de Educación Superior e Investigación en Oslo objetó el ranking porque es “irreconciliable con el principio de equidad y las misiones
11