Rekenfout CWTS vertekent citatiescore

Het meten van de frequentie waarmee onderzoekers door collega’s worden geciteerd wordt steeds vaker gebruikt bij de beoordeling van de kwaliteit van het onderzoek. Citatietellingen kunnen daardoor grote invloed hebben op de loopbaanperspectieven van de betrokken onderzoekers. Het Centrum voor Wetenschaps- en Technologie Studies (CWTS) in Leiden is de belangrijkste instantie die deze citatiescores van wetenschappers meet.

Het CWTS gebruikt daarbij bepaalde indexen om de prestaties te vergelijken met een wereldgemiddelde. Dit is nodig omdat ruwe citatietellingen niet zoveel zeggen doordat wetenschapsgebieden nogal verschillen in hun wijze van publiceren en citeren. Daarom moeten de prestaties van onderzoekers en onderzoeksgroepen worden vergeleken met groepen in hetzelfde vakgebied of met groepen die in dezelfde tijdschriften publiceren.

Daartoe heeft het CWTS de Journal Citation Score (JCS) en de Field Citation Score (FCS) ontwikkeld. Deze indexen worden gemiddeld voor een instelling, onderzoeksgroep of individuele onderzoeker. En deze waarden worden gebruikt als noemer in een vergelijking met het gemiddelde aantal citaties per publicatie (CPP) in de teller. Dus het gemiddelde CPP wordt gedeeld door het gemiddelde JCS of het gemiddelde FCS.

Volgens een binnenkort te publiceren onderzoek van Tobias Opthof (AMC) en Loet Leydesdorff (UvA) klopt dit niet, omdat hier gemiddelden worden gedeeld in plaats van de delingen te middelen; dus eerst delen en dan pas middelen, zoals ‘Mijnheer Van Dalen Wacht Op Antwoord’ zegt. De Leidse methode om eerst op te tellen en dan te delen houdt in dat de actuele citaties een impliciete rangorde aangeven; het CWTS veronderstelt dat publicaties die vaker geciteerd zijn meer gewicht in de index moeten krijgen. Volgens Opthof en Leydesdorff zouden alle publicaties eerst hetzelfde gewicht moeten hebben.

Door gemiddelden te gebruiken in plaats van quotiënten van gemiddelden kan bovendien statistisch worden bepaald of verschillen significant zijn. Het CWTS kan echter geen statistiek meer toepassen en dus geen fout (bijv. standaarddeviatie) uitrekenen. Deze rekenfout kan grote gevolgen hebben, omdat na herberekening de normalisatie voor de scores anders uitkomen dan door het CWTS eerder is vastgesteld.

De fout is door een toeval aan het licht gekomen. De gegevens die het CWTS gebruikt zijn namelijk niet openbaar. Opthof probeerde eind vorig jaar een score van AMC-onderzoekers na te rekenen aan de hand van zijn eigen gegevens. Zijn uitkomsten bleken niet te kloppen met die van het CWTS. Samen met de UvA-specialist Leydesdorff heeft hij daarop een herberekening gemaakt voor een klein aantal AMC-onderzoekers. Volgens Leydesdorff kwamen daarbij significante verschillen aan het licht: een onderzoeker die volgens het CWTS gemiddeld scoorde kwam na deze herberekening in de top van zijn groep terecht.

Leydesdorff heeft de resultaten onlangs gepresenteerd op een congres in Parijs en binnenkort verschijnt een publicatie van Opthof en hemzelf in het Journal of Infometrics (de preprint versie is hier beschikbaar). Volgens de auteurs is de fout des te pijnlijker omdat de Leidse indicatoren een rol spelen bij het beleid en bij de beoordeling van de kwaliteit van het onderzoek. Het wetenschapsbeleid wordt voor een belangrijk deel gebaseerd op de uitkomsten van deze indicatoren, bijvoorbeeld bij het toekennen van subsidies. De Leidse indicatoren zijn hierbij de standaard.

Jammer genoeg kunnen kritische gebruikers van de evaluatierapporten van het CWTS niet corrigeren voor de fout omdat de onderliggende citatiegegevens, zoals gezegd vertrouwelijk zijn. Onderzoekers krijgen alleen de management informatie die aangeeft of een onderzoeksgroep boven of onder het gemiddelde scoort. Maar, zegt Leydesdorff, „de indicatoren zijn zeer belangrijk bij het managen van het onderzoek en daarom moeten ze transparant zijn en moeten we ze kunnen narekenen”.

Ton van Raan, directeur van het CWTS, is het niet eens met de kritiek van Leydesdorff en Opthof:

„Dat Leydesdorff onze indicatorenberekening als rekenfout kwalificeert is ronduit ridicuul. Het is enkel en alleen een verschil in berekeningswijze gebaseerd op verschillende methodologische overwegingen. In onze benadering zit geen enkele rekenfout, niet structureel, en niet toevallig. Wij hebben intussen een reply op de publicatie van Opthof en Leydesdorff geschreven.”

„We hebben ook correlatie-berekeningen uitgevoerd op alle relevante aggregatieniveaus: hele landen, tijdschriften, universiteiten, onderzoeksgroepen, en individuele onderzoekers. Er zijn nauwelijks significante verschillen. Wel zijn, zoals te verwachten, op het laagste aggregatieniveau, de individuele onderzoeker, de verschillen sterker. Maar in onze reply wordt uitgelegd waarom, en dat wijst tevens op de zwakte van de Opthof-Leydesdorff berekening. Bovendien passen wij bibliometrische indicatoren als regel niet toe op individuen, juist vanwege de statistische problemen van lage aantallen. Alleen bij onderzoekers met een fors oeuvre, die daarmee quasi de omvang van een onderzoekgroep hebben, kun je het wel toepassen.”

„Deze hele zaak heb ik afgelopen vrijdag tijdens een congres in Parijs, waar ik de key note spreker was, al aan een omvangrijk publiek van vakgenoten haarfijn uitgelegd, met al het bovengenoemde empirisch materiaal er bij.” „Ik heb daar ook aangegeven dat de berekeningswijze Opthof-Leydesdorff, waar we overigens al geruime tijd zelf onderzoek naar doen en waar ook andere onderzoekers al eerder mee bezig zijn geweest, zeker bepaalde mathematische voordelen heeft. Dit zal naast de reply in een uitvoerig artikel gepubliceerd worden; dit artikel en het reply worden deze week in ArXiv gedownload en aan hetzelfde tijdschrift aangeboden als waarin het Opthof- Leydesdorff verhaal zal verschijnen. Intussen zijn we, om allerlei misverstanden te vermijden, begonnen om bij evaluatiestudies de resultaten van beide berekeningswijzen aan te geven.”

Bron: Onderzoek Nederland nummer 251, 12 maart 2010, pagina 1 / 2