What’s in a Rank? Variabilidade e estabilidade nos rankings de revistas científicas Gradim, Anabela; Cerqueira, Adriano; Moura, Catarina (Laboratório de Comunicação e Conteúdos Online (LabCom), Universidade da Beira Interior) adriano.cerqueira@labcom.ubi.pt, anabela.gradim@labcom.ubi.pt, catarina.moura@labcom.ubi.pt
Resumo A partir da adesão de Portugal à UE, as modernas práticas de gestão e avaliação foram trilhando o seu caminho também dentro da academia. Classificar e avaliar são práticas imprescindíveis num mundo de crescente complexidade. O presente estudo pretende contribuir para demonstrar como qualquer instrumento de medida afecta o que é mensurado, usando como case study os rankings de impacto de revistas científicas; e ainda verificar se existem diferenças significativas nesta área entre as Ciências e as Ciências Sociais e Humanas. Neste estudo foram analisadas as publicações do primeiro quartil do JCR – Journal of Citation Report em áreas distintas das Ciências da Comunicação e das Ciências Sociais e Humanas; e comparadas com o primeiro quartil da Scopus nas mesmas áreas científicas. O propósito era determinar qual a variação da posição de uma revista entre as duas bases de referência, e se essa variação é mais significativa nas áreas representativas das Ciências Naturais, quando comparadas com as Humanidades, ou se pelo contrário, se verificava a existência de uma correlação sólida entre os valores alcançados .
Palavras-chave: Comunicar Ciência; Factor de Impacto; Journal Ranking; Revistas Científicas
Classificar e avaliar são actividades imprescindíveis mundo de crescente complexidade, inscrevendo racionalidade nos processos de decisão, da mais banal – escolher um restaurante ou um livro – à mais importante – escolher uma universidade ou um curso. A partir da adesão de Portugal à UE, as modernas práticas de gestão e avaliação foram trilhando o seu caminho
2 também dentro da academia. Na universidade portuguesa o tema entrou na ordem do dia com a publicação, em Agosto de 2009, de um novo Estatuto de Carreira Docente Universitária, que determina para os docentes do ensino superior um regime de avaliação do desempenho, conforme regulamento a aprovar por cada estabelecimento de ensino, que será no mínimo trianual e tendo como responsável máximo pelo processo o reitor da instituição. Tendo por base este input legislativo, de 2009 em diante as 15 universidades portuguesas foram publicando os seus regulamentos de avaliação, a qual incide essencialmente sobre quatro vertentes: investigação/publicação, ensino, gestão e transferência de conhecimento. Em todos, a publicação é um dos aspectos mais extensivamente quantificado, “é considerada uma grande variedade de publicações, e é feito um esforço notório para tentar determinar o valor dessas publicações recorrendo a aspectos quantitativos, e com o auxílio de instrumentos como bases de dados, informação bibliométrica, ponderação do número de autores” (Gradim & Serra: 2012). Por essa altura, a totalidade das áreas científicas começou a dar importância à publicação em veículos indexados a bases de dados com tratamento bibliométrico: WoS – Web of Science e Scopus, preocupação que anteriormente estava sobretudo confinada às hard sciences. Ora para as Ciências Sociais e Artes e Humanidades a jornada estava no princípio. Para muitos investigadores destas áreas o veículo privilegiado para a comunicação de resultados científicos era o livro; e mesmo quando publicavam artigos, o prestígio e importância de uma publicação não dependiam de indexação mas de outros factores, como o tipo de enraizamento na comunidade científica da disciplina e o escopo do jornal, ie, o seu grau de especialização. A evolução da publicação de artigos WoS em Portugal nas últimas décadas é ilustrativa: tem crescido a um ritmo elevado, que tenderá a intensificar-se com a sua valorização pelos regulamentos de avaliação. No entanto, sendo a curva de crescimento constante, esse desenvolvimento não é equilibrado em todas as áreas científicas, com as Humanidades e as Ciências Sociais em clara desvantagem, como se constata dos quadros seguintes, que se referem a dados extraídos da Web of Science.1
1. Fonte GPEARI/MCTES a partir de Thomson Reuters, Pordata, acedido pela última vez em Junho de 2012.
3
Nas publicações em co-autoria com instituições de outros países, as Humanidades, contavam, até 1992, zero, enquanto as Ciências Sociais chegavam às duas dezenas; isto num universo de 604 publicações, repartidas pelas Engenharias, Saúde, Ciências Exactas, e Naturais. Uma década depois o fosso mantinha-se com as Humanidades a publicarem 15 items, e as Ciências Sociais 85, num universo de 2766 publicações. Os últimos dados, de 2010, revelam que nos oito anos seguintes a produção das Humanidades teve uma evolução ainda mais lenta que nas Ciências Sociais, e que o fosso entre as áreas científicas se mantém inalterado.
4
Os dados para o total de publicações ISI, por áreas, também não diferem muito. 2 Em 1981, para um total de 301 artigos, duas dezenas pertenciam às Humanidades e Ciências Sociais; dez anos depois, eram 50, num universo total de 1100; e em 2010, último ano com dados conhecidos, as Humanidades somavam 134 artigos, e as Ciências Sociais 657, num universo de 12.865. De resto a curva das publicações totais, e em co-autoria, é inequívoca
2. Fonte GPEARI/MCTES a partir de Thomson Reuters, Pordata.
5
Mas há um dado que merece reflexão: as publicações têm de facto aumentado, mas as citações têm diminuído, o que coloca a questão do impacto, que não relevância, do que vem sendo publicado.
Em Portugal foi sobretudo nos últimos anos, e tendo como causa próxima múltiplos regulamentos de avaliação docente incomensuráveis no todo ou em parte que começaram a colocar-se questões sobre a comparabilidade das diversas áreas científicas, bem como sobre o valor absoluto dos rankings de publicações empregues, nomeadamente Scopus e WoS. Journal Rankings
6 São múltiplos os rankings de revistas científicas existentes, e também eles parcialmente incomensuráveis. Há dois tipos básicos de ranking de jornais, que têm a sua origem na metodologia empregue para a sua construção: preferência declarada, e preferência revelada (Harzig: 2008, Serenko: 2011). Os rankigs de preferência declarada (stated preference) baseiam-se na recolha de informação junto de especialistas e da comunidade científica de uma área, em amostras que podem incluir pequenos grupos, painéis especializados, ou inquéritos de alcance transnacional. Porque falamos de qualidade percebida, são rankings mais subjectivos, que poderão ter enviesamentos relacionados com o prestígio, e são menos sensíveis à mudança (aumento de qualidade ou declínio), tendendo a ser menos generosos para as publicações mais recentes. Exemplos de rankings de revistas científicas deste tipo são o ERIH – European Reference Index for the Humanities, da European Science Foundation;3 ERA - Excellence in Research for Australia, do Australian Research Council, que começou como ranking em 2003, e hoje é uma lista de jornais e conferências; ou o Qualis 4 Periódicos, índice da responsabilidade do CAPES brasileiro,5 produzido por diversas comissões de área de avaliação, que atribuem 7 classificações possíveis, de A1 a C. Os rankings de preferência revelada (revealed preference) baseiam-se no comportamento que determinada publicação elicita nos seus destinatários, apoiando-se normalmente na contagem de citações de artigos como elemento revelador do impacto e influência dessas publicações.
Os rankings PR são tidos como mais objectivos por se
basearem em comportamentos/acções em vez da qualidade percebida. No entanto, são estão isentos de crítica, devido a aspectos particulares do seu funcionamento. Exemplos deste tipo de rankings são o JCR - Journal of Citation Report, da Thomson, e a Scopus, da Elsevier. Neste trabalho propomo-nos mostrar que mesmo os rankings de preferência revelada dependem da selecção daquilo que irá ser medido, e dos critérios escolhidos para esse exercício, comparando o primeiro quartil de quatro áreas científicas distintas em dois desses 3. “The European Reference Index for the Humanities (ERIH) is the only reference index created and developed by European researchers both for their own purposes and in order to present their ongoing research achievements systematically to the rest of the world. (...) A list of core disciplines was identified as central to the European humanities community and Expert Panels in these disciplines were set up to review journals which had been proposed by the various ESF Member Organisations as well as by editors and publishers”: http://www.esf.org/index.php?id=4813.
4. http://www.capes.gov.br/avaliacao/qualis 5. CAPES – Coordenação de Aperfeiçoamento de Pessoal de Nível Superior: http://www.capes.gov.br/
7 rankings; pretendendo ainda averiguar se haverá diferenças significativas entre Ciências Sociais e Humanas e Física e Bioquímica.. O ranking da Web of Science, da Thomson (anteriormente conhecido por ISI) expressa-se no Journal of Citation Report6, que se apresenta como “a autoridade reconhecida na avaliação de revistas”, e tem por base o cálculo do Factor de Impacto (IF), conceito originalmente desenvolvido pelo fundador do ISI - Institute for Scientific Information, Eugene Garfield. Proposto por Garfield, o Factor de Impacto é desde 1975 o principal método de cálculo usado para definir a popularidade das revistas científicas indexadas em bases de dados, geridas por relatórios de citações. Este método faz um levantamento dos artigos publicados numa determinada revista durante um período de três, ou de cinco anos, e determina a média de citações que cada artigo recebeu durante esse período de tempo. Tal média define o valor do Factor de Impacto. A Sciverse Scopus7 apresenta-se como “a maior base de dados de resumos e citações e literatura com revisão por pares”, contando com 50 milhões de registos, 21 mil títulos e 5 mil editores. O seu fundo é superior em extensão ao da Thomson, mas bastante mais recente, cobrindo um intervalo de tempo menor. SNIP - Source-Normalized Impact per Paper é o indicador, desenvolvido por Henk Moed, em que se baseia para classificar as publicações. O facto de o algoritmo SNIP ser diferente de o de IF determinará, como veremos, diferenças significativas na classificação de revistas. Neste trabalho compararam-se duas áreas com comportamentos distintos no que diz respeito à valorização do Factor de Impacto: as Ciências Naturais, e as Humanidades. Dentro destas duas áreas, foi seleccionada uma amostra de 154 revistas, correspondentes ao primeiro quartil da base de indexação, Web of Science, nas disciplinas de Bioquímica (72 revistas), Física Aplicada (31), Ciências da Comunicação (17) e Sociologia (34). Numa fase inicial foram recolhidos os valores de FI para cada uma das áreas acima referidas. Como pode ser observado na Tabela 1, as disciplinas representativas das 6. “Journal Citation Reports® offers a systematic, objective means to critically evaluate the world's leading journals, with quantifiable, statistical information based on citation data. By compiling articles' cited references, JCR helps to measure research influence and impact at the journal and category levels, and shows the relationship between citing and cited journals”: http://thomsonreuters.com/journal-citation-reports/
7. http://www.elsevier.com/online-tools/scopus
8 Humanidades apresentam um factor de impacto consideravelmente inferior àquele que pode ser observado nas disciplinas das Ciências Naturais.
Tabela . Análise Factor de Impacto Ciências
Sociologia (SOC)
da Física
Comunicação
Aplicada
(CCOM)
(PHYS)
Bioquímica (BIOCHEM)
Média
1.972
1.878
6.907
8.250
Mediana
1.700
1.866
3.979
6.446
Max
4.442
2.710
32.841
34.317
Min
1.273
1.878
2.298
4.405
Fonte: Elaboração Própria Este comportamento pode ser explicado por uma prevalência da citação de livros em detrimento de artigos científicos, no que diz respeito às Humanidades. Este factor aliado a uma necessidade superior a cinco anos para que um artigo seja referenciado pelos seus pares, fazem das Humanidades e Ciências Sociais, um exemplo que permite questionar a validade do Factor de Impacto como principal elemento de análise do prestígio e divulgação de uma revista. A cultura actual de publicação de revistas científicas pressupõe a necessidade de indexação das mesmas nas principais bases de dados que fazem tratamento bibliométrico da informação recebida. Neste estudo foram analisadas as 154 revistas que compõem os primeiros quartis (Q1) da base de dados Web of Science (WoS) nas quatro áreas referidas. Pretendia-se, num momento seguinte, comparar esse ranking com o posicionamento que estas mesmas revistas teriam no ranking da base de dados rival, a Scopus. Tabela 2. Número de Revistas do Q1 das bases de dados WOS e Scopus WOS
Scopus
CCOM
17
36
SOC
34
99
BIOCHEM
72
67
PHYS
31
50
9 Total
154
252 Fonte: Elaboração Própria
Como é possível observar na tabela 2, a Scopus possui um fundo mais vasto, que se expressa no maior número de revistas indexadas, nas áreas científicas em consideração. Dado que é mais facilmente salientado nos casos das Ciências da Comunicação, da Sociologia, e da Física Aplicada. Mas isto significa que todas as revistas da WOS se encontram indexadas na Scopus, que a primeira está contida na segunda?
Tabela 3. Percentagem de Revistas da WOS indexadas no primeiro quartil da Scopus WOS
Scopus
WOS e Scopus
%
CCOM
17
36
12
70,59%
SOC
34
99
15
44,12%
BIOCHEM
72
67
21
29,17%
PHYS
31
50
8
25,81%
Total
154
287
56
36,36%
Fonte: Elaboração Própria Como é observável na tabela 3 das 154 revistas presentes na WOS, apenas 56, cerca de um terço, surgem no primeiro quartil da Scopus. Com a excepção das Ciências da Comunicação que conseguem ter 70,59% das suas revistas presentes no primeiro quartil da Scopus, as restantes áreas têm valores abaixo dos 50%. No caso da Física Aplicada, apenas cerca de um quarto (25,81%) das revistas indexadas na WOS estão presentes no Q1 da Scopus. Tabela 4. Variação das posições das revistas do Q1 da WOS na Scopus Igual CCOM SOC BIOCHEM PHYS Total
Negativo
Positivo
Total
0
5
7
12
0
7
8
15
1
2
18
21
0
0
8
8
1
14
41
56
10 %
2,17%
25%
73,21%
Fonte: Elaboração Própria A tabela 4 indica que das 56 revistas presentes na Scopus, apenas cinco mantém a mesma posição em relação à WOS, enquanto 29 subiram, e as restantes 22 descem de posição. No total, apenas 39,29% das revistas presentes em ambas as bases de dados estão pior posicionadas na Scopus em relação à WOS. Tabela 5. Variação em percentagem por área Igual %
Negativo %
Positivo %
CCOM
0,00%
41,67%
58,33%
SOC
0,00%
46,67%
53,33%
BIOCHEM
4,76%
9,52%
85,71%
PHYS
0,00%
0,00%
100,00%
Fonte: Elaboração Própria A área que regista maior número de subidas é a Bioquímica com 85,71% das suas revistas a registarem valores positivos, enquanto a Sociologia é a que regista um maior volume de revistas com valores negativos, com 46,67%. Tabela 6. Variação absoluta das posições efectivas das revistas na Scopus CCOM
SOC
BIOCHEM
PHYS
Máximo
30
50
51
11
Mínimo
-15
-41
-4
2
Média
6,83
3,75
17,8
5,55
7
1
17
6
Mediana
Fonte: Elaboração Própria Tabela 7. Médias de Variação das Revistas na Scopus Média Total
10
Média Positivo
17
Média Negativo
-12 Fonte: Elaboração Própria
11 Ao verificarmos os valores da tabela 7, é possível determinar que a média de posições que uma revista sobe na Scopus quando comparada com a sua posição na WOS é de 17 lugares. Já a média de descida é 12 posições. É possível concluir que a média total de variação de posição da Scopus para a WOS é de 10, o que determina uma tendência para as revistas da WOS serem colocadas numa posição mais elevada na Scopus. Também se verifica que nos dois rankings, apesar de partilharem princípios de elaboração semelhantes (ambos se baseiam na análise de citações), a valorização que atribuem a uma mesma publicação pode ser distinta. Este facto corrobora a visão de que os rankings não são valores absolutos, mas relativos ao que é medido, e ao modo como é medido. Isto nada retira à sua actualidade, pertinência e utilidade, apenas recomenda cautela para que, ao trabalhar com estes instrumentos, não se tome a nuvem por Juno.
Referências bibliográficas: Alhoori, Michael, & Furuta, Richard (2013), “Can Social Reference Management Systems Predict a Ranking of Scholarly Venues?” http://www.informatik.uni-trier.de/~ley/pers/hd/f/Furuta:Richard Garfield, Eugene (1979), Citation Indexing, its Theory and Application in Science, Technology and Humanities, John Wiley and Sons. Gradim, Anabela; Serra, Paulo (2012), “O papel da publicação na avaliação dos docentes das universidades portuguesas”, comunicação apresentada no IX FECIES – Foro de Evaluación de la Calidad de la Investigación y de la Educación Superior (IX Foro) ISBN: 978-84-695- 3701-5. Harzig, Anne-Will, & der Wal, Ron van (2008), “A Google-Scholar H-Index for Journals: an Alternative Metric to Measure Journal Impact in Economics and Business”: http://www.harzing.com/download/gshindex.pdf Pontille, David, & Torny, Didier (2010), “The controversial policies of Journal Ratings: evaluating Social Sciences and Humanities”, Research Evaluation, vol. 19 (5), p. 347-360.
12
Serenko, Alexander (2010), “The development of an AI journal ranking based on the revealed preference approach”, Journal of Informetrics 4 (2010) 447-459. Serenko, Alexander, & Dohan, Michael (2011), “Comparing the expert survey and citation impact journal ranking methods. Example from the field of Artificial Intelligence”, Journal of Informetrics 5, (2011) 629-648. Wheeler, Bonnie (2011), “Journal ‘Ranking’ Issues and the State of the Journal in the Humanities – a 2009 Cell Roundtable”, Journal of Scholarly Publishing, April 2011, doi: 10.3138/jsp.42.3.323