Kwaliteit is publiceren in een Engelstalig blad dat bijna niemand leest
Zelden zien we teksten in de ISI-tijdschriften die een breder verband aangeven. Sterker nog, zogenaamde review artikelen, waarin grote hoeveelheden losse artikelen aan elkaar worden gekoppeld, hebben een kleinere kans om gepubliceerd te worden, omdat „er niets nieuws wordt verteld”. Daarbij komt ook nog de monodisciplinaire productie van informatie. Het ‘geval mens’ wordt bestudeerd door politicologen, sociologen, psychologen, antropologen, economen, pedagogen etc. Om het voorbeeld van het electorale onderzoek aan te houden: een simpel fenomeen als stemgedrag wordt benaderd vanuit diverse disciplines (wat goed is), maar die disciplines verwijzen nauwelijks naar elkaars literatuur en inzichten (wat minder is). Dit terwijl de mens politicoloog, socioloog, filosoof, psycholoog en antropoloog in één is. De disciplinaire blik is per definitie beperkt. Dit kan winst opleveren, maar alleen als de monomane discipline de moed heeft om zich te verhouden tot andere disciplines, iets wat zelden gebeurt.
hoongelach mijn deel – in het gunstigste geval nog wel. Want, zeggen de feestgangers, jij kunt dit wel beweren, maar wij weten verdomd goed waarom wij op politieke partijen stemmen. Daar hebben wij jouw ‘onderzoek’ echt niet voor nodig. En dit is nog de mildste reactie.
nlangs nam de VSNU, de vereniging van universiteiten, een opmerkelijk besluit. Ze schrapte het criterium ‘productiviteit’ uit het Standard Evaluation Protocol (SEP). Dit protocol is het uitgangspunt bij de evaluatie van universitair onderzoek. Deze stap heeft vergaande gevolgen: niet langer is het aantal gepubliceerde artikelen graadmeter voor de kwaliteit van het werk. ‘Hoe meer hoe beter’ geldt niet meer. En dat is een opzienbarende stap, want in de vorige versie van het protocol was het aantal publicaties nog een belangrijk criterium. Maar na de affaire-Stapel, waarin de Tilburgse hoogleraar sociale psychologie fraudeerde met onderzoeksgegevens, kwam dat criterium onder druk te staan. Overigens blijven de criteria ‘kwaliteit’, ‘maatschappelijke relevantie’ en ‘toekomstbestendigheid’ wel in het protocol gehandhaafd. Wetenschappers hebben de aanpassing met ‘gejuich’ ontvangen, aldus de VSNU. Ze zijn blij; niet langer staat de kwantiteit (het absoluut aantal artikelen dat iemand publiceert) centraal, maar de kwaliteit. Ik stel vast: het verwijderen van het criterium ‘productiviteit’ lost het probleem van veel wetenschappelijk onderzoek niet op. Immers, het is niet de publicatiedruk die de relevantie bedreigt. Het is de cultuur van publiceren. Dit is met name bij de sociale wetenschappen een serieus probleem. Laat ik voorop stellen: de exacte wetenschap is niet alleen ‘echte’ wetenschap en ze is niet vele malen moeilijker dan de sociale wetenschappen. Dat is een misverstand. Natuurlijk, ‘harde’ wetenschappen hebben een grote bijdrage geleverd aan onze welvaart. Waar zouden we zijn zonder ruimtevaart, grondstofwinning, plastic en pacemakers? Toch is het ‘object’ of ‘subject’ mens vele malen ingewikkelder dan welk hemellichaam dan ook. De voorspelbaarheid van het Higgs-deeltje is peanuts vergeleken met de puzzels waarmee sociale wetenschappers worden geconfronteerd bij het begrijpen van menselijk gedrag. Daar komt bij: het Higgs-deeltje praat niet terug. Zelden heb ik een Higgs-deeltje horen zeggen dat hij/zij zich „geen Higgs-deeltje voelt” en dat de kennis die wij beweren over hem/haar te hebben niet klopt. Kom daar maar eens om bij de sociale wetenschappen. Ikzelf heb veel onderzoek gedaan naar determinanten van stemgedrag: waarom stemmen mensen op de politieke partijen waarop ze stemmen? Deel ik deze kennis deel op verjaardagsfeestjes, dan is
O
Sociale wetenschap wordt bedreigd door te korte artikelen over invalide metingen in Engelstalige tijdschriften die niemand leest. Hoog tijd om daar mee te stoppen, meent Jean Tillie.
et is daarom des te fascinerender dat een belangrijk deel van de sociale wetenschappen de publicatiecultuur van de natuurwetenschappen heeft omarmd. Deze publicatiecultuur kenmerkt zich vooral door een focus op Engelstalige artikelen (ongeveer achtduizend woorden lang) in zogenaamde ISIranked tijdschriften. Het Institute for Scientific Information (ISI) is een private organisatie die een lijst van tijdschriften dicteert waarin veel wetenschappers willen publiceren. Immers, dan tel je pas echt mee. Maar deze focus op Engelstalige artikelen leidt tot een marginalisatie van de sociale wetenschappen. Ik noem vier gevolgen.
H
1
Engels is de internationale taal van de wetenschap. Daar is niets mis mee. Alleen worden Nederlandse publicaties niet meer als volwaardig gezien. Nederlands is immers een lokale taal met een beperkte reikwijdte. Zo wordt impliciet vaak gesteld dat Nederlandstalige publicaties minder goed zijn. Daarbij, het is evidente onzin om de kwaliteit van een artikel te koppelen aan het bereik van dat artikel. Voorals als je je bedenkt dat het gemiddeld aantal lezers van die vele Engelstalige artikelen op circa 3 (drie!) ligt. Veel gemeenschapsgelden worden dus besteed aan artikelen die weinig mensen lezen. En de wetenschappers die zich wel op een Nederlandstalige publiek richten, moeten zich vaak binnen hun onderzoeksinstituut hiervoor verantwoorden. De Engelse taal maakt ook dat de relevantie van al dat onderzoek voor de Nederlandse samenleving onduidelijk wordt. Wie maatschappelijk relevant onderzoek wil doen, moet of ‘derde geldstroom onderzoek’ doen (onderzoek dat bijvoorbeeld door een lokale overheid wordt gefinancierd ) of via Twitter, blogs of opinieartikelen de resultaten van dat onderzoek voor een breder publiek toegankelijk maken. De wetenschapper die zich op dit terrein begeeft, moet zich intern verantwoorden. Maar op zijn best is het een interessante nevenactiviteit.
2
Jean Tillie is voorzitter domein Maatschappij en Recht aan de Hogeschool van Amsterdam en hoogleraar Electorale Politiek aand e Universiteit van Amsterdam.
De ISI artikelen bevatten zelden echt nieuwe ideeën die onze kijk op de maatschappelijke werkelijkheid radicaal veranderen. De voornaamste oorzaak ligt in het aantal woorden dat een artikel mag bevatten: circa achtduizend. Dat is heel veel voor een natuurwetenschappelijk artikel (met veel formules), maar heel weinig voor een sociaalwetenschappelijk artikel. Na achtduizend woorden wordt het meestal pas moeilijk. De heilige achtduizend-woordengrens leidt tot zeer kleine onderzoeksvragen die zich in zoveel woorden laten beantwoorden: wat is het effect van inkomen op stemgedrag, van leeftijd op stemgedrag, van geslacht, van sociale klasse? Het effect van al die artikelen is dat een aantal fundamentele vragen die meerde-
re onderzoeksvragen impliceren (hoe ontwikkelt de democratie zich, wat is de historische dynamiek in sociale scheidslijnen binnen een samenleving) in artikelen niet wordt behandeld. Dat gebeurt overigens wel in boeken, maar die zijn weer niet populair in de artikelencultuur. Boeken worden in deze cultuur vaak gezien als tijdrovend, en het risico dat een boek ‘mislukt’ wordt te groot geacht.
3
Wetenschappers zijn ook mensen. Soms zijn ze lui, soms zuinig. Veel analyses die dan ook worden gepubliceerd, gebruiken gegevens die niet door de betreffende schrijver zijn verzameld; de zogenoemde ‘secundaire dataanalyse’. Veel wetenschappers vinden het zonde van hun tijd of geld om zelf gegevens te verzamelen. Dat leidt tot veel invalide metingen en dus veel invalide conclusies. Een voorbeeld. Enkele jaren terug was ik op de Midwest Political Science Association conferentie, voor politieke wetenschappers, in Chicago. Daar presenteerde een collega een ingewikkeld mathematisch model om te verklaren of en wanneer mensen politiek participeren. Dit zogenaamde multilevel model bestudeerde de invloed van context (in dit ge-
Het ‘object’ of ‘subject’ mens is vele malen ingewikkelder dan welk hemellichaam dan ook val kenmerken van lokaal beleid) op de vorming van sociale netwerken in een stad die vervolgens weer de politieke participatie van bepaalde groepen beïnvloedde. Met het mathematisch model was niets mis. Maar op de meest banale vraag, namelijk of hij wel valide vragen gebruikte om zijn theoretische concepten te meten (lees hier: de sociale netwerken), moest hij het antwoord schuldig blijven. Ja, dat was inderdaad een probleem, maar ik moest toch begrijpen dat dit de beschikbare gegevens waren. Juist de artikelencultuur maakt secundaire data-analyse aantrekkelijk: je bespaart de moeite van een intensief dataverzamelingsproces, je bespaart een langdurige introductie over het dataverzamelingsproces en kunt zo snel je resultaten presenteren.
4
De verregaande versplintering van sociaal-wetenschappelijke kennis. Veel kleine onderzoeksvragen leiden tot een fragmentatie van kennis. Het is eigenlijk geen kennis, het is informatie. Zien we het genereren van ‘kennis’ als de activiteit die in een complexe wereld verbanden legt tussen allerlei losse vormen van informatie, dan moeten we veel sociaal-wetenschappelijk onderzoek als ‘informatie’ bestempelen.
H
oe ontsnappen de sociale wetenschappen uit deze dynamiek die uiteindelijk zal leiden tot de irrelevantie van het vakgebied? Eén antwoord op deze vraag werd geformuleerd door het Slow Science Manifesto: wetenschappers moeten meer tijd nemen om na te denken en te reflecteren. Een dergelijke onthaasting van de wetenschap werd tien jaar geleden al door de Nederlandse socioloog Dick Pels bepleit. Neem de tijd en het komt allemaal goed. Maar dit is – op zijn best – slechts een eerste stap. Wie meer tijd neemt om in het Engels achtduizend woorden te schrijven, zit nog altijd gevangen in het frame van een kleinschalige, gefragmenteerde, maatschappelijk irrelevante wetenschap. De discussie die we moeten voeren is veel fundamenteler. Ze is eigenlijk een herhaling van de oeroude vraag: wat is kwaliteit? Wanneer concluderen we dat sociaal-wetenschappelijk onderzoek ‘goed’ is? Het antwoord op deze vraag heeft vele dimensies. De onderzoeker moet zich buigen over de aard van de onderzoeksvraag (in hoeverre worden structurele menselijke processen geanalyseerd); en over de gebruikte methodologie (wordt voldaan aan de professionele eisen van goed kwantitatief en kwalitatief onderzoek). Hij moet kijken naar de interdisciplinariteit van het onderzoek (wordt de onderzoeksvraag benaderd vanuit verschillende disciplines, om mijn eigen onderzoekspraktijk als voorbeeld te nemen: wie probeert radicalisme of extremisme te begrijpen, ontkomt er niet aan om dit fenomeen vanuit historisch, politicologisch, sociologisch en psychologisch perspectief te benaderen); en naar de opbouw van het argument om de onderzoeksvraag te beantwoorden (in zoveel woorden als nodig blijkt, dit zal in ieder geval meer dan achtduizend zijn). Hij moet vragen stellen bij de bruikbaarheid van het onderzoeksresultaat in de samenleving (voor bijvoorbeeld overheidsbeleid of beroepspraktijk) en bepalen of onderzoeksresultaten nieuwe vragen genereren (volgens wetenschapsfilosoof Imre Lakatos hét criterium om de kwaliteit van een onderzoeksprogramma te bepalen). De sociale wetenschappen zijn, wat betreft de focus op ISI artikelen, toe aan een fundamentele herbezinning. Een herbezinning waarbij de vraag wat eigenlijk kwalitatief goed onderzoek is weer centraal moet staan. Wat is kwaliteit? Het is waarschijnlijk één van de eerste filosofische vragen die de mens zich ooit gesteld heeft en het is dus één van de filosofische vragen die altijd weer terug zal komen. Ook nu weer.