De evaluatie van de kwaliteit van het wetenschappelijk onderzoek moet eenvoudiger worden en rechtvaardiger. Dat vindt de commissie Kwaliteitszorg van de KNAW. De commissie wil het huidige Standaard Evaluatie Protocol (SEP) terugbrengen tot een kern-SEP, het KEP, met alleen de meest relevante informatie.
305208158_58b67c407a.jpg -
Illustratie lucykimbell
In het KEP zou het aantal hoofdcriteria teruggebracht moeten worden van vier naar drie: kwaliteit, productiviteit en relevantie. Hieraan moet de zelfevaluatie worden toegevoegd, maar in een sterk vereenvoudigde vorm met alleen de hoogstnoodzakelijke informatie. Dus bijvoorbeeld geen volledige publicatielijsten over de afgelopen vijf jaar, maar een aantal kernpublicaties.
De commissie onderschrijft het belang van kwaliteitszorg en constateert dat daardoor de kwaliteit van het onderzoek de afgelopen decennia omhoog is gegaan. Tegelijkertijd is het wetenschapssysteem veel ingewikkelder geworden met veel nieuwe financieringsbronnen. Dit leidt tot meer evaluaties en extra werk voor onderzoekers.
Volgens de commissie zijn de bestaande evaluaties te complex en te weinig gestandaardiseerd. Bovendien worden de verschillende evaluaties te weinig op elkaar afgestemd. Deze stapeling wordt verergerd, doordat onderzoekers steeds weer iets anders moet aanleveren. En dat terwijl het juist de bedoeling van het SEP was de evaluaties te standaardiseren, zoals de naam al zegt. Een evaluatie volgens het SEP zou in principe drie jaar mee moeten kunnen gaan voor andere evaluaties, maar in de praktijk werkt dit niet. De commissie vindt dat het onderzoek te vaak wordt geëvalueerd, waarbij de meerwaarde van de verschillende evaluaties onduidelijk is.
Het moet niet alleen eenvoudiger, maar ook rechtvaardiger: Er is een aanzienlijk verschil in onderzoek in de verschillende disciplines en vakgebieden. De evaluaties worden echter gedomineerd door criteria en indicatoren die geaccepteerd zijn in de natuur- en levenswetenschappen, maar niet (of minder) in de humaniora en sociale wetenschappen. Daarnaast is er onderzoek dat zich richt op een breder publiek dan de wetenschap alleen. De beoordeling van dat onderzoek vergt volgens de commissie een andere benadering dan het tellen van publicaties en citaties.
De commissie wil het huidige systeem vereenvoudigen en rechtvaardiger maken, middels het KEP. Dit moet voldoende flexibel zijn om de verschillen tussen vakgebieden te accommoderen. Het aantal hoofdcriteria kan, zoals gezegd, terug van vier naar drie: kwaliteit, productiviteit, relevantie. Voor elk van de drie zou er een betere definitie moeten komen op basis enkele indicatoren of indicaties. Bij relevantie zou als indicator 'inverdiencapaciteit' kunnen gelden, zowel voor de materiële als de personele inbreng.
Het vierde SEP-criterium 'vitality and feasibility' is volgens de commissie wel van belang, maar moeilijk te waarderen in een incidentele site visit. Het gaat om de vraag of de onderzoeksgroep goed wordt geleid en een vitale structuur heeft. De beoordeling daarvan is beter op zijn plaats in de regelmatige gesprekken binnen de instelling tussen bestuurders en onderzoeksleiders.
In een eerste reactie spreekt de VSNU van een prima rapport met een goede analyse en een waardevolle bijdrage aan de discussie. Vooral het onderkennen van de verschillen tussen disciplines en diversiteit van soorten onderzoek is volgens de VSNU belangrijk. Het SEP is de primaire evaluatie: die moet zo beperkt mogelijk zijn, maar wel verantwoord. Andere evaluaties zouden daar zoveel mogelijk op aan moeten sluiten. In de herziening van het SEP is de VSNU al de richting ingeslagen die de commissie aangeeft. Maar het is, volgens de VSNU, niet gemakkelijk het protocol te vereenvoudigen. NWO wacht met een reactie tot het overleg dat in oktober over het rapport plaatsvindt met de KNAW en de VSNU.
Zelfevaluatie in tien punten en maximaal tien pagina's
Volgens de KNAW commissie hoeft een zelfevaluatie slechts beknopt in te gaan op de volgende tien punten
en niet meer dan tien pagina's te beslaan:
1. Doel van het onderzoek.
2. Samenstelling van de groep: totaal aantal medewerkers per functiecategorie en financieringsstromen.
3. Onderzoeksomgeving en inbedding, nationale en internationale positionering, aantal gastonderzoekers.
4. Kwaliteit: 3-5 sleutelpublicaties per (sub)groep; 3-5 belangrijkste resultaten/hoogtepunten relevant voor het vakgebied, per (sub)groep; aantal artikelen in de top-10% tijdschriften relevant voor het vakgebied; idem in de top-25%; 3-5 belangrijkste boeken of hoofdstukken in boeken, voor zover relevant.
5. Output: aantal artikelen in gerefereerde tijdschriften; aantal boeken, hoofdstukken in boeken; aantal promoties.
6. Inverdiencapaciteit bij competitieve fondsen, nationaal en internationaal.
7. Academische reputatie per onderzoeksleider.
8. Valorisatie in brede zin: sociaal-culturele relevantie; technische of economische impact.
9. Haalbaarheid van het programma, beschikbare infrastructuur en methodologie.
10. Toekomstvisie, inclusief kansen en bedreigingen.
De volledige tekst van het rapport is hier verkrijgbaar.
Bron: Onderzoek Nederland, nr. 215, p. 5
Voeg een reactie toe