‘Ook SNIP-citatieindex moet herberekend’

Om de prestaties van onderzoekers en onderzoeksgroepen te kunnen vergelijken met groepen in hetzelfde vakgebied of met groepen die in dezelfde tijdschriften publiceren heeft het Centrum voor Wetenschaps- en Technologie Studies (CWTS) in Leiden de Journal Citation Score (JCS) en de Field Citation Score (FCS) ontwikkeld. Volgens onderzoek van Tobias Opthof (AMC) en Loet Leydesdorff (UvA) klopt deze score niet, omdat het CWTS veronderstelt dat publicaties die vaker geciteerd zijn meer gewicht in de index moeten krijgen. Volgens Opthof en Leydesdorff zouden alle publicaties eerst hetzelfde gewicht moeten hebben. De Leidse normalisatie leidt tot andere uitkomsten in de ranking.

Niet alleen de JCS- en FCS-berekening is voor verbetering vatbaar. Dit geldt volgens beide onderzoekers ook voor de recent door Scopus van Elsevier in samenwerking met het CWTS ontwikkelde SNIP, de Source Normalized Impact per Paper index. Scopus en CWTS hebben deze index onlangs ontwikkeld als alternatief voor de Journal Impact Factor van het Institute of Scientific Information (ISI).

De SNIP-indicator probeert het probleem op te lossen dat citatiefrequenties in sommige wetenschappen, zoals wiskunde, gemiddeld significant lager zijn dan in andere, zoals de biomedische wetenschappen. De oplossing van Elsevier-onderzoeker Henk Moed is een normalisatie via het begrip ‘citatiepotentieel’: als auteurs veel referenties in hun artikelen zetten, dan hebben andere publicaties een grotere kans om te worden geciteerd. Daarom moet je normaliseren voor het aantal referenties in de publicaties die citeren. Bovendien kan rekening worden gehouden met het veldspecifieke citatiegedrag door dit per tijdschrift bij te houden. Als publicatie A wordt geciteerd door publicatie B die n referenties geeft en door publicatie C met m referenties, kunnen de bijdragen aan de impact van publicatie A achtereenvolgens worden gewogen als 1/n and 1/m.

Uitgaande van dit idee, volgt de SNIP-indicator een andere route door eerst de citerende publicaties bij elkaar te tellen op het niveau van het citerende tijdschrift en de mediaan daarvan als noemer te gebruiken op een aangepaste impactfactor in de teller (de impactfactor is zelf een meerjarig gemiddelde van de citaties per publicatie). Volgens Leydesdorff en Opthof klopt dit niet: men moet geen gemiddelden of medianen op elkaar willen delen, want dan verliest men de mogelijkheid om statistiek te bedrijven. Men moet eerst normaliseren (delen) en dan pas middelen of de mediaan nemen. Door de rekenregel ‘Meneer Van Dalen Wacht op Antwoord’ te volgen, zou de SNIP aan kwaliteit kunnen winnen, zeggen Leydesdorff en Opthof. Ze publiceren hun berekeningen binnenkort in het Journal of the American Society for Information Science & Technology; een preprint is hier reeds beschikbaar.

For the record
Het eerste artikel in de reeks over de CWTS-indicatoren publiceerden we onder de kop: Rekenfout CWTS vertekent citatiescore. Volgens sommigen kan dat overkomen als een feitelijke constatering, zeker als mensen niet het hele artikel lezen. De kop sloeg uiteraard op de bevinding van Leydesdorff en Opthof die onderwerp van discussie was in het artikel. Mocht dat verkeerd zijn overgekomen, dan spijt ons dat. Het is overigens in alle gevallen raadzaam het hele artikel te lezen.

Bron: Onderzoek Nederland Nr. 255, pagina 5