Het nieuwe SEP kijkt naar relevantie

De vorige versie van het SEP stamt uit 2003. Het protocol is een middel om onderzoek te beoordelen dat met publieke gelden is gefinancierd via de universiteiten, NWO of KNAW. Maar intussen gebruiken ook andere onderzoeksorganisaties, waaronder het Sociaal en Cultureel Planbureau en het RIVM, het protocol als maatstaf, vertelt Jack Spaapen, coördinator kwaliteitszorg en onderzoeksevaluatie bij de KNAW.

Het protocol kan worden toegepast op elke onderzoeksdiscipline en heeft vier beoordelingscriteria: kwaliteit, productiviteit, maatschappelijke relevantie en haalbaarheid. Onderzoeksgroepen moeten aan de hand van de richtlijnen in het protocol een zelfevaluatie maken van tien hoofdstukken. Dat wordt aangeboden aan een externe commissie, waarvan de meerderheid bestaat uit buitenlandse onderzoekers, behalve bij vakgebieden zoals Nederlandse taal- en letterkunde waar dat niet goed kan. Spaapen: „De beoordeling overlaten aan buitenlanders maakt het onafhankelijker en helpt bij het bepalen van de positie van Nederlandse onderzoeksgroepen in het internationale onderzoeksveld.” De beoordeling vindt, volgens het nieuwe SEP, een keer in de zes jaar plaats. Elke instelling heeft zijn eigen evaluatiecyclus, dus de evaluaties komen niet allemaal tegelijk binnen. Dat kan onhandig zijn voor het vergelijken van onderzoeksgroepen. Maar volgens Spaapen is het protocol niet in de eerste plaats bedoeld voor het maken van een vergelijking: „De nadruk ligt vooral op verantwoording en mogelijke verbetering van het onderzoek.”

Volgens Spaapen is de beoordeling ingewikkeld, omdat het gaat over de prestatie van een groep onderzoekers. „Een individuele wetenschapper kun je snel beoordelen door naar het aantal citaties en publicaties te kijken, maar bij een groep is het een stuk complexer. De kwaliteit van onderzoeksinstituten wordt niet alleen bepaald door resultaten maar ook door faciliteiten, aio-opleiding, maatschappelijke dienstverlening, management en beleid.”

In het beoordelingsrapport van de externe commissie krijgt een instelling een aantal aanbevelingen. Na drie jaar voert de onderzoeksinstelling een mid-term review uit waarin wordt gerapporteerd wat er terecht is gekomen van deze aanbevelingen. Het protocol dient vooral te leiden tot verbetering van het onderzoek. Spaapen: „Dat wil niet zeggen dat er niet af en toe wordt afgerekend. Het kan zijn dat slecht beoordeelde onderzoekslijnen of onderzoeksleiders minder geld, aio's of faciliteiten krijgen.”

De bureaucratische last is in de nieuwe versie verkleind door strikter te omschrijven wat er in de zelfevaluatie en de mid-term review vermeld moet worden, vertelt Spaapen. „Het nieuwe protocol vraagt bijvoorbeeld niet om ellenlange publicatielijsten, maar om een rijtje van kernpublicaties.” Verder komt in het nieuwe protocol explicieter naar voren wat volgens KNAW, VSNU en NWO de belangrijkste taken zijn van onderzoeksgroepen: onderzoek doen, opleiden van nieuwe onderzoekers, en maatschappelijke dienstverlening. In het nieuwe protocol wordt benchmarking gestimuleerd. Spaapen: „Het doel is dat onderzoekers zich meer gaan spiegelen met andere onderzoekers op hun vakgebied.” Vooral de maatschappelijke relevantie van onderzoek krijgt in de nieuwe versie meer aandacht. Spaapen: „Het Nederlandse onderzoek scoort internationaal erg goed, maar de verbinding tussen onderzoek en de maatschappij is nog niet zo best. Daar leggen we meer de nadruk op door te vragen om daar expliciet over te rapporteren.”

De maatschappelijke relevantie wordt in het nieuwe SEP gemeten aan de hand van drie criteria. Het eerste is maatschappelijke kwaliteit; in hoeverre tracht een onderzoeksgroep aansluiting te vinden bij belangrijke maatschappelijke vraagstukken. De tweede variabele is maatschappelijke impact van het onderzoek; bijvoorbeeld de invloed op wetgeving en beleid. En het derde criterium is valorisatie, commercieel en niet-commercieel.

Het nieuwe SEP is hier te vinden.

Bron: Onderzoek Nederland 237, pagina 1 en 2