Kwaliteitscontrole wetenschap hapert door tekort aan beoordelaars

Wetenschappelijke tijdschriften moesten in 2017 een kwart meer onderzoekers benaderen voor een kwaliteitskeuring dan vier jaar eerder. Dat blijkt uit onderzoek van wetenschapssite Publons, waarover ook onder andere Nature onlangs rapporteerde.

Het systeem van onderlinge kwaliteitscontrole door wetenschappers is de gouden standaard binnen de academische wereld. Dat werkt zo: onderzoekers delen hun bevindingen door ze te publiceren in wetenschappelijk tijdschriften, zoals Nature of Science. De tijdschriften plaatsen deze onderzoeksartikelen echter alleen als een aantal onafhankelijke experts een positieve beoordeling van de inhoudelijke kwaliteit geeft. Die beoordelaars zijn (meestal twee of drie) collega-wetenschappers – de peer reviewers.

Soms lukt het tijdschriften zelfs niet om de vereiste twee experts te vinden. Dat ervoer bijvoorbeeld hersenwetenschapper Guillaume Sescousse toen hij resultaten van een project dat hij uitvoerde op het Donders Instituut wilde publiceren in vakblad NeuroImage. ‘Na vier maanden liet het blad weten dat het maar één reviewer gevonden had, en wees het ons artikel op basis van dat ene oordeel af.’ Oneerlijk en frustrerend, vertelt hij aan de telefoon. ‘Het is niet goed om kwaliteit af te meten aan één oordeel. Nu hebben we onze resultaten naar een ander tijdschrift moeten sturen. Vijf maanden onnodige vertraging.’

Sescousses ervaring sluit aan bij die van Bert Weckhuysen, hoogleraar anorganische chemie en katalyse aan de Universiteit Utrecht. Als redacteur van chemisch vakblad Journal of Catalysis – naast beoordelaars zijn ook redacteuren zelf wetenschappers – moet hij steeds vaker extra verzoeken uitsturen om voldoende beoordelaars te vinden. ‘Soms wel twee of drie rondes. Het aantal artikelen groeit gewoon sterker dan het aantal wetenschappers’, is zijn analyse.

Meer wetenschappers nodig

Niet alleen duurt het daardoor langer voordat wetenschappelijke kennis de maatschappij bereikt, ook wordt het zo steeds lastiger om de kwaliteit van de beoordelingen op peil te houden. 

Voor een oplossing moeten we naar het Oosten kijken, denkt de hoogleraar. ‘In China neemt het aantal wetenschappers wél toe.’ Daar wordt relatief veel in onderzoek geïnvesteerd. Chineze wetenschappers publiceren inmiddels bijna net zoveel artikelen als Amerikanen, laat het onderzoek van Publons zien, terwijl ze drie keer minder vaak optreden als beoordelaar.

Bert Niesters valt Weckhuysen bij. Niesters is hoogleraar medische microbiologie aan het UMCG in Groningen en redacteur van vakblad Journal of Clinical Virology. ‘De kwaliteit van Chinese onderzoekers kunnen we nog lastig inschatten. Ons netwerk zit toch vooral in de VS en Europa’, legt hij uit aan de telefoon. ‘Daarom proberen we nu ook meerdere associate editors (redacteuren, red.) uit onder andere China te betrekken bij het tijdschrift.’ Zelf ervaart hij de zoektocht naar geschikte beoordelaars nog niet als problematisch, mede dankzij de uitgebreide databases met experts die wetenschappelijke uitgevers aanleggen.

Volgens Marijtje Jongsma van wetenschappersvakbond Vawo ligt de oorzaak van het beoordelaarsprobleem in de wetenschappelijke publicatiecultuur. ‘Universiteiten en subsidiecommissies vinden het nog steeds belangrijk om publicaties te tellen, omdat het een schijn van objectiviteit geeft.’ Daardoor wordt publiceren een doel op zich, ziet ze om zich heen, en zijn er te veel artikelen die beoordeeld moeten worden. ‘We moeten ook andere vormen van wetenschapscommunicatie waarderen: congresbijdragen, workshops, of boeken schrijven.’