Debat over de Leidse indicatoren

In Onderzoek Nederland werd aandacht besteed aan een rekenfout in de CWTS-analyse. Opthof en Leydesdorff hadden ontdekt dat de vereiste, althans logische, volgorde van algebraïsche operatoren niet was gevolgd. Van Raan’s reactie was dat voor de normalisatie de volgorde van algebraïsche operaties er niet toe doet en dat de keuze voor normalisatie bovendien heel bewust was gemaakt.

Wanneer we naar een analogie kijken waarbij de meetwaarden echt betekenis hebben, zien we dat de volgorde van operaties van groot belang is. Het getallenvoorbeeld dat in beide artikelen wordt gebruikt bestaat uit een tabel met in een kolom het aantal citaties naar een artikel en in de tweede het gemiddelde aantal citatie naar alle vergelijkbare artikelen in het betreffende tijdschrift in hetzelfde jaar. Laten we nu de betekenis van de kolommen veranderen: de eerste is het gewicht van een persoon, W, de tweede de lengte, L. Het generieke doel van de analyse blijft hetzelfde: de kwaliteit van de groep. In het ene geval dat van de groep artikelen, in het analoge geval de gezondheid van de groep personen.

Het is bekend dat langere personen zwaarder zijn dan kortere en dus is normalisatie vereist. In de Quetelet index delen we gewicht door lengte in het kwadraat maar voor de eenvoud normaliseren we hier het gewicht naar de lengte, W/L. Van Raan verdedigt het standpunt dat eerst de gemiddelde lengte en het gemiddelde gewicht berekend kunnen worden en dat de gemiddeldes kunnen worden gedeeld voor de normalisatie van gewicht in relatie tot de lengte.

Echter, wie zal dat doen? Natuurlijk zal ieder zinnig mens de normalisatie per persoon uitvoeren en dan zien of de groep gemiddeld aan het gezondheidscriterium voldoet. In het voorbeeld zal het CWTS concluderen dat de groep te licht wordt bevonden en dat stimuleren van voedingssupplementen aan de groep gewenst is,terwijl de goede methode tot de conclusie leidt dat de groep gezond is. Is de methode van normalisatie van belang of niet? Wel, het beleid ingegeven door de CWTS-methode zal tot overgewicht in de groep leiden. Daarom, de volgorde van algebraïsche operaties is zeker van belang.

Waarom zouden voor een opkomende wetenschap als bibliometrie normale wiskundige regels niet gelden? Deze regels zijn niet willekeurig maar liggen ten grondslag aan de wetenschapsbeoefening in ieder gebied waar variabelen kwantificeerbare grootheden voorstellen zoals in de natuurkunde en in de economie. Wanneer in de bibliometrie wordt gedacht dat deze regels niet voor dat gebied gelden dan kan men eenvoudig concluderen dat het hier een pseudowetenschap betreft.

Ter verdere verdediging levert Van Raan een statistische analyse waarin de uitkomst van beide normalisaties met elkaar worden vergeleken. Echter, een correlatie, hoe goed ook, kan niet worden gebruikt als argument bij de verdediging van een normalisatiemethode. Die methode is goed of fout en de CTWS-normalisatie is gewoon fout. De CWTS-evaluaties spelen een belangrijke rol in de reorganisaties en bezuinigingen van instituten zoals het AMC.

Vooral interdisciplinaire gebieden hebben hieronder te leiden. Het CWTS heeft daarmee een grote verantwoordelijkheid op zich genomen. Van Raan beweerde eerder in ON dat het duidelijk moet zijn dat de CWTS-analyses niet gebruikt kunnen worden om individuele wetenschappers te beoordelen. Echter, het CWTS levert deze informatie op verzoek en deze wordt dan natuurlijk wel gebruikt op individuele basis. Bovendien lijkt de valurisatie van bibliometrisch onderzoek een waardevrije wetenschappelijke discussie over de waarde ervan in de weg te zitten.

Echte wetenschap heeft altijd te lijden gehad van pseudowetenschap maar dit wordt nu naar een ander niveau getild. Pseudowetenschap wordt zo een echt gevaar omdat het door onze managers als instrument kan en zal worden gebruikt om over de toekomst te beslissen van excellente onderzoekers en gebieden van onderzoek die mogelijk ten onrechte worden ondergewaardeerd.

Jos A.E. Spaan, Hoogleraar Medische Fysica, AMC

De artikelen behorende bij de discussie aangaande de Leidse indicatoren zijn hier, hier en hier te vinden.

Bron: Onderzoek Nederland nummer 254, 23 april 2010, pagina 5