Bovenkant van de pagina
Ga direct naar de navigatie
Ga direct naar de content

Verhaal, Nieuws: Elisa Hermanides ON 116

Leydesdorff: Het geld gaat niet naar de besten

5 juni 2009

In Onderzoek Nederland 233 hebben we bericht over een onderzoek van Peter van den Besselaar (Rathenau) en Loet Leydesdorff (UvA) naar de selectieprocedures bij NWO, bij MaGW om precies te zijn. Conclusie: NWO slaagt er niet in onderscheid te maken tussen 'goed' en 'best'. Een van de auteurs, Van den Besselaar, bestreed achteraf de conclusies van dat artikel, evenals MaGW-voorzitter Henriette Maassen van den Brink (zie Onderzoek Nederland 234). We vroegen co-auteur Loet Leydesdorff om commentaar. Die houdt de oorspronkelijke conclusies staande. Wat volgens Van den Besselaar en Maassen van den Brink weer niet klopt. Een nieuwe aflevering in het debat over de selectie bij NWO, met deze keer: onenigheid tussen de auteurs.

„Binnen de groep van goede onderzoekers gaan de onderzoeksgelden significant níet naar de besten in termen van het aantal citaties en publicaties”, zegt Loet Leydesdorff. Volgens Leydesdorff gaf het artikel uit Onderzoek Nederland 233 waarop NWO reageerde wel een goed beeld van de bevindingen van de studie die hij samen met Peter van den Besselaar uitvoerde.

Leydesdorff vindt het terecht dat beleidsthema's, zoals het voorrang geven aan vrouwen, een rol spelen bij de honorering. „Het zou te technocratisch zijn als NWO alleen het aantal publicaties en citaties zou laten meetellen. Idealiter zit je ergens in het midden.” Maar dat is niet het geval bij deze beoordelingen bij MaGW. Volgens Leydesdorff. „De beoordeling is te veel doorgeslagen naar één kant. Dat blijkt uit het resultaat dat het geld significant niet naar de besten gaat. NWO MaGW neemt veel beleidsruimte ten opzichte van de feitelijke informatie die zij ter beschikking heeft.” Volgens Leydesdorff is het moeilijk om, nadat je de staart van slechte voorstellen eraf hebt gehaald, de selectie te maken. „Uit ons onderzoek blijkt dat je het geld net zo goed kunt verdelen via een loterij. Ten aanzien van het criterium van citaties en publicaties score je dan zelfs beter dan nu. Natuurlijk gaat het in sommige vakgebieden wel goed, maar dat is geen reden om niet kritisch te blijven kijken naar de procedure. Een loterij is natuurlijk extreem, maar ik denk wel dat je de procedure kunt aanpassen, zodat je misschien minder hoeft te vergaderen.”

In de reactie van Van den Besselaar en Maassen van den Brink in Onderzoek Nederland 234 worden de referentenoordelen van de onderzoeksvoorstellen erbij gehaald. Leydesdorff: „Met dat criterium erbij is er gemiddeld geen verschil tussen succesvolle aanvragers en de topgroep van niet-succesvolle aanvragers. Maar het referentenoordeel is geen onafhankelijke variabele en was daarom ook in eerste instantie geen criterium in onze onderzoeksvraag.” Voor een gedeelte worden onderzoeksvoorstellen beoordeeld door de peers in Nederland die dicht bij het onderzoek staan. Verder kunnen er buitenlandse referenten zijn die misschien meer op de internationale literatuur letten en minder dicht bij de onderzoeker staan. Leydesdorff: „De referenten vormen dus een gemengde groep, waardoor hun oordeel het gevonden patroon afzwakt en een zachter beeld naar voren komt.” Deze netwerken worden door het Rathenau instituut nu nader onderzocht.

Het harde beeld komt boven, volgens Leydesdorff, als je kijkt per discipline. „Bij de economen hebben wij inmiddels in een ander onderzoek gekeken naar de h-index, die de carrière-impact van een onderzoeker meet aan de hand van een formule van het aantal publicaties en citaties. Daaruit bleek dat 100 procent van de nietsuccesvolle aanvragers volgens dit criterium ten onrechte zou zijn afgewezen. Dat is reden tot zorg, lijkt mij.”

Leydesdorff zou het vooral vervelend vinden als universiteiten onderzoekers die bij NWO zijn afgewezen minder kansen zouden geven. „Dat is onterecht. Als je bij NWO wordt afgewezen kan dat om heel andere redenen zijn dan dat de kwaliteit van je voorstel. Ik denk dat het belangrijk is dat mensen dat weten.”

Reactie Van den Besselaar en Maassen van den Brink
In de repliek van Loet Leydesdorff wordt opnieuw gesuggereerd dat het helemaal fout zit in de toekenning van onderzoeksgelden. Ten onrechte, zeggen Peter van den Besselaar en Henriette Maassen van den Brink. In een schriftelijke reactie op Leydesdorff voeren de onderzoeker van het Rathenau instituut en de voorzitter van MaGW vijf punten aan.

1. In de studie worden twee kwaliteitscriteria gebruikt: past performance en kwaliteit van het voorstel. Beide zijn van belang, en daarom van meet af als onafhankelijke variabelen meegenomen in de studie. Op basis van die criteria is er een duidelijk en significant verschil tussen de goedgekeurde en de afgewezen voorstellen. De correlatie tussen referentenoordelen en past performance is laag; het zijn blijkbaar twee onafhankelijke kwaliteitsindicatoren. De referenten geven dan ook geen 'zachter beeld' van kwaliteit dan past performance, zoals Leydesdorff suggereert, maar een ander beeld.

2. Vergelijken we nu de goedgekeurde voorstellen met de best scorende afgewezen voorstellen, dan is er geen verschil in kwaliteit. Waar de succesvolle aanvragers gemiddeld wat beter scoren met hun projectvoorstel, scoren de niet-succesvolle gemiddeld wat beter op past performance. De stelling dat „het geld significant niet naar de besten gaat” is dus onjuist. Leydesdorff geeft dat ook toe door een loterij voor te stellen.

3. Dat laatste lijkt ons onwenselijk en onnodig. Loten zou alleen te overwegen zijn als er echt geen andere zinvolle criteria zouden zijn om voorstellen te selecteren. Maar die zijn er natuurlijk wel: het onderzoeksthema, de verdeling over de disciplines, de maatschappelijke relevantie van onderzoek, en loopbaanbeleid. Die spelen naast kwaliteitscriteria een belangrijke rol bij de selectie binnen de groep van de beste aanvragers.

4. In het artikel wordt gesteld dat het „harde beeld ontstaat” dat alle afgewezen goede economievoorstellen eigenlijk gehonoreerd hadden moeten worden. Ook dit is weer gebaseerd op alleen de past performance van de aanvragers. Ook hier wordt ten onrechte de reviewscore erbuiten gelaten, evenals de andere hierboven genoemde criteria. We delen de zorg over hoge aantallen afgewezen goede voorstellen. Maar daaruit kan niet worden afgeleid dat systematisch de verkeerde aanvragen zijn toegekend.

5. De grootste zorg is vooralsnog dat te veel goede voorstellen niet kunnen worden gehonoreerd. Een afgewezen voorstel is inderdaad niet synoniem met een slecht voorstel, of met een slechte past performance. De oplossing ligt dan in het vergroten van de middelen, andere toekenningsprocedures helpen hier niet.

Bron: Onderzoek Nederland 235, pagina 4

Bijdragen 
1 … 10 / 116 Volgende »

domino online

This awesome site, you have a talented writing and very qulified article, make me have to bookmark this http://qqboya.com

Lyn Jessie
,
20 jul 2017,17:48

Thank you

The words help me understand more things. Thank you very much!
http://www.pictaram.org/

Linda
,
29 jun 2017,11:57

trewertghy

[url=http://nour-clean.com/%d8%b4%d8%b1%d9%83%d8%a9-%d8%aa%d9%86%d8%b8%d9%8a%d9%81-%d8%a8%d8%a3%d8%a8%d9%87%d8%a//شركة تنظيف بأبها *
*شركة تنظيف فلل بأبها*
*شركة تنظيف شقق بأبها*
*شركة تنظيف منازل بأبها*
*شركة تنظيف مجالس بأبها*
*شركة ننظيف موكيت بأبها*
*شركة تنظيف خزانات بأبها*
*شركة نقل أثاث بأبها*
*شركة عزل أسطح بأبها*
*شركة عزل حمامات بأبها*
*شركة رش مبيد بأبها*
*شركة مكافحة حشرات بأبها*
*شركة مكافحة النمل الأبيض بأبها*
*شركة تسليك مجارى بأبها*
*شركة كشف تسربات مياة بأبها*
*شركة تنظيف بخميس مشيط*
*شركة تنظيف شقق بخميس مشيط*
*شركة تنظيف فلل بخميس مشيط*
*شركةتنظيف منازل بخميس مشيط*
*شركة دهانات بابها وخميس مشيط*

*شركة كشف تسربات باحد رفيدة*

asdfgh
,
8 jun 2017,17:30

sdfghjk

شركة مكافحة حشرات بنجران*شركة عزل اسطح وحمامات بنجران*
*شركة رش مبيد بجازان*
*شركة كشف تسربات بجازان*
*شركة مكافحة نمل ابيض بنجران*
*شركة كشف تسربات بنجران*
*شركة تنظيف خزانات بنجران*
*شركة مكافحة حشرات بنجران*

*شركة عزل خزانات بنجران*
*شركة تنظيف خزانات بجازان*
*شركة مكافحة النمل الابيض بجازان*
*شركة عزل خزانات بجازان
*
*شركة تنظيف مجالس بالرياض*
*
شركة تنظيف خزانات بالرياض مع العزل والتعقيم*
*شركة كشف تسربات يالرياض*
*شركة تنظيف فلل بالرياض*
*شركة رش مبيد بالرياض*
*شركة مكافحة حشرات بالرياض*
*شركة دهانات بابها وخميس مشيط*
*شركة تنظيف باحد رفيدة*
*شركة عزل اسطح بجازان[/url

xcvb
,
8 jun 2017,17:29

ygtfrde

*شركة مكافحة حشرات بالدمام
*
*شركة كشف تسربات بالدمام*
*شركة تنظيف بالدمام*
*شركة نقل اثاث بالدمام
*
*شركة رش مبيد بالدمام
*
*شركة عزل اسطح بالدمام*
*شركة تنظيف خزانات بالدمام

*
*شركة تنظيف مجالس بالرياض*
*شركة تنظيف خزانات بالرياض مع العزل والتعقيم*

*شركة تنظيف فلل بالرياض*
*شركة كشف تسربات يالرياض*
*شركة رش مبيد بالرياض*

*شركة مكافحة حشرات بالرياض*

rtyu
,
8 jun 2017,17:29

Re: qwewq

*شركة تنظيف خزانات بخميس مشيط*
*شركة نقل اثاث بخميس مشيط*
*شركة تنظيف موكيت بخميس مشيط*
*شركة تنظيف مجالس بخميس مشيط*
*شركة عزل اسطح بخميس مشيط*
*شركة مكافحة حشرات بخميس مشيط*
*شركة عزل حمامات بخميس مشيط*
*شركة تنظيف خزانات بمحايل*
*شركة عزل اسطح وحمامات بمحايل*
*شركة مكافحة حشرات بمحايل*
*شركة تنظيف منازل بمحايل*
*شركة كشف تسربات بخميس مشيط*
*شركة كشف تسريات بمحايل*
*شركة عزل خزانات بمحايل*
*شركة دهانات بابها وخميس مشيط*
*شركة مكافحة حشرات باحد رفيدة*

nbvcx
,
8 jun 2017,17:28
1 … 10 / 116 Volgende »