Verbeter de wetenschap, maak peer review transparant


: 08-05-2012 11:00 uur

In de discussie die volgde op de onderzoeksfraude van Diederik Stapel bleef een essentiële partij opmerkelijk buiten schot. Kwaliteitsbewaking is in de wetenschap niet primair de taak van een meerdere – aan een universiteit is ‘een baas’ een vreemd begrip – maar van gelijken. Peer review is de onvertaalbare naam van het mechanisme dat ervoor moet zorgen dat gepubliceerd werk van hoge kwaliteit is. De peer review heeft blijkbaar bij alle publicaties van Stapel gefaald, maar de reviewers die de kwaliteit hadden moeten waarborgen zijn daarmee weggekomen.

Anonimiteit als ideaal
Wetenschappers sturen hun werk in artikelvorm op naar tijdschriften. De redactie daarvan zoekt vervolgens naar peers – onderzoekers met min of meer dezelfde specialisme als de auteur – met het verzoek het artikel te reviewen. De review is dubbel blind: alleen de redactie kent de koppeling auteur-reviewer. De reviewer geeft feedback aan de auteur en doet een aanbeveling aan de redactie (zie dit voorbeeldformulier). Er zijn daarbij grofweg drie mogelijkheden: accepteren met kleine aanpassingen, laten herzien en  opnieuw indienen, en afwijzen.

De logica achter de anonieme aard van het proces is tweezijdig. Aan de ene kant is het bedoeld om te voorkomen dat ‘bekende’  wetenschappers voorgetrokken worden. Als je weet dat het artikel van Einstein is, beoordeel je het vast minder kritisch dan wanneer het van een eerstejaars promovendus is. Daarnaast beschermt de blindheid de reviewer, waardoor deze eerlijk zijn mening kan geven. Een auteur kan immers niet later verhaal komen halen waarom hij is afgewezen. De wetenschap is een wereld die tegelijkertijd collegiaal en competitief is.

Auteur is te weinig anoniem
Omdat de reviews gedaan moeten worden door iemand uit hetzelfde veld, is de kans groot dat de reviewer de auteur kent. Onderzoek wordt meestal eerst op conferenties gepresenteerd, waar wetenschappers elkaar leren kennen en kennis nemen van de dringende kwesties in het veld. Van de belangrijke en iets minder belangrijke mensen in mijn veld weet ik precies waar ze aan werken.

Het internet heeft peer review nog iets minder blind gemaakt. De titel van een artikel googelen leidt meestal direct tot de naam van de auteur, omdat hij zijn paper al eens gepresenteerd heeft op een conferentie waarvan het programma uiteraard online staat.

De hoofdredactie van een tijdschrift heeft veel macht in dit proces. Zij kunnen bij bevriende auteurs gunstige reviewers kiezen. Daarnaast zijn zij degenen die de reviews tegen elkaar afwegen en beoordelen. Als reviewer 1 afwijst en reviewer 2 publicatie aanbeveelt, velt de hoofdredactie een oordeel. Het is daarbij in hun belang ‘namen’ voorrang te geven. Grote namen worden meer geciteerd en hoe meer artikelen geciteerd worden, hoe hoger het aanzien van het tijdschrift (de zogeheten impactfactor).

Reviewer is te veel anoniem
Peer review is dus niet blind in de zin dat de reviewer goed kan inschatten wie de auteur is. Het proces is echter wel aan de andere kant blind: auteurs komen zelden te weten wie de reviewer is. We weten wat anonimiteit doet met commenters op het internet en wetenschappers zijn wat dat betreft geen haar beter. Anonimiteit geeft reviewers carte blanche hun gal te spuwen. Waar je op conferenties beleefde en opbouwende uitwisselingen hebt met je collega, krijg je in een review van wellicht dezelfde persoon denigrerend commentaar.

Anonimiteit zorgt er ook voor dat de reviewer geen enkele verantwoordelijkheid draagt voor zijn kwaliteitscontrole. Een goed paper kan afgewezen worden omdat de reviewer het ziet als competitie of omdat hij het paradigma niet onderschrijft. Een slecht paper kan geaccepteerd worden omdat de reviewer bevriend is met de auteur, gecharmeerd is omdat hij geciteerd wordt of gewoon lui is.

Transparantie
Zoals gezegd wordt er op conferenties met open vizier gediscussieerd over de kwaliteit van onderzoek. Dit kan ook met publicaties worden gedaan. Maak de identiteit van de reviewer bekend en laat hem dus ook rekenschap afleggen voor zijn review. Met de digitalisering is het mogelijk geworden om naast het artikel ook de reviews te publiceren. Hiermee kan de lezer onderzoek en onderzoeksproces beter op waarde schatten: wat waren de bezwaren van de reviewers en welke aanpassingen zijn er vervolgens gedaan? Wanneer collega’s de reviewer kunnen aanspreken op slecht werk – hoe heb je het valse werk van Stapel kunnen goedkeuren? – wordt de reviewer gedwongen beter werk af te leveren.

CC Foto: Vmenkov

Over de auteur:

Linda Duits Linda Duits (1976, Zeist) is handelaar in kennis over populaire cultuur, in het bijzonder op het gebied van gender, seksualiteit en jongeren. Ooit was ze UvA-wetenschapper en mede-oprichter van DeJaap. Nu is ze veelgevraagd expert in de media, auteur van het Nederlandse standaardwerk over meisjescultuur en freelance indoctrinator in het hoger onderwijs. Ze houdt van alles dat niet vanzelfsprekend is, maar vooral van bier.

9 Reacties :

  1. Alexander Pleijter:

    Goed voorstel!

    Behalve het publiceren van de reviews en de namen van reviewers, lijkt het me ook nuttig om relevante onderzoekszaken bij het artikel te publiceren. Denk aan het gebruikte meetinstrument en het databestand waar de conclusies op zijn gebaseerd. Zodat iedereen kan controleren hoe dat in elkaar zit.

    Verder vraag ik me af of het systeem niet nog veel verder opengebroken zou kunnen worden. Waarom moeten reviewers een artikel publiceren voor het gepubliceerd wordt? Laat wetenschappers op een bepaald platform zelf hun artikelen publiceren. En vervolgens kunnen vakgenoten die becommentariëren en bekritiseren. Dat lijkt me nog transparanter.

  2. kas peters:

    He-le-maal eens met Linda. Eigenlijk kunnen we dit systeem beter helemaal afschaffen. Als je nagaat dat elk paper door gemiddeld 3 reviewers wordt bekeken, en dat de acceptance rates van tijdschriften verre van 100% zijn, heb je voor elk gepubliceerd paper een veelvoud van dit aantal reviewers nodig: 6 in een gunstig geval, maar 8 a 9 lijkt me een betere schatting (sommige tijdschriften hebben ook twee afzonderlijke rondes met nieuwe reviewers). Dat zet de peer-review natuurlijk ook sterk onder druk – stel dat je 3 artikelen per jaar publiceert, dan betekent dat dat je daartegenover ongeveer 27 papers moet reviewen, en dat doet natuurlijk niemand. Gevolg: tijdschriftredacties weten van gekkigheid niet waar ze de reviewers vandaan moeten slepen, en komen vaak terecht bij derderangsfiguren die ook niet weten wat goed onderzoek is en je paper beoordelen op allerlei flauwekulcriteria.
    Tot overmaat van ramp nemen redacties deze reviewers vaak serieus en pleuren ze de reviews vaak direct voor de voeten van de onderzoekers met het advies:’om het commentaar van de reviewers te verwerken’. Daar schiet je dan ook weinig mee op. Mijn advies, aansluitend op het verhaal van Linda: Gewoon een kernredactie, die met naam en toenaam bekend is, die commentaar geven, liefst coherent, en daarmee basta!

  3. knelistonie:

    Zwak stukje enthousiast wensdenken vanuit rare focus op anonimiteit van peer reviewers.

    Gooi alles maar open. En de historie met Stapel zou zich toch herhaald hebben. Want het echte probleem lag bij de datasets.

  4. Frank Pieters:

    Aldus Frontiers
    http://www.frontiersin.org/computational_neuroscience/10.3389/fncom.2012.00020/abstract

    En Folia Magazine in Maart
    http://www.foliaweb.nl/wetenschap/peer-reviews-openbaar-maken/

    Maar het blijft een goed plan. Dus meer publiciteit, want meer aandacht!
    Transparantie in de wetenschap is hard nodig.

  5. Marnix:

    Vrijwel volledig eens. Bij dat beetje wetenschap wat ik gedaan heb, op een nogal specialistisch terrein, was het altijd volstrekt duidelijk wie achter welk stuk zat. Er waren een aantal basishypothesen die per lab verschilden. Ook de gekozen studiedesigns en diermodellen bracht je simpel op een spoor. Maar open peer review voorkomt volgens mj geen datafraude. Ik bedoel, hoe kun je er nu rekening mee gaan houden dat iemand zijn data verzint? Dan houdt alles op, dat moeten ze binnen de vakgroep en universiteit maar tackelen.

  6. knelistonie:

    Enkele zaken die hiermee in verband staan:

    1. aan publicaties in peer reviewed tijdschriften wordt een veel hogere Citation Indexscore toegekend dan aan publicaties in “zomaar” tijdschriften.

    2. personeelszaken is gek op C.I.-scores

    3. wetenschappelijke tijdschriften zijn tegenwoordig in handen van grote uitgevers als Elsevier, Blackwell, Brill, Swets & Zeitlinger e.a. die astronomisch hoge bedragen vragen voor hun pakketten.

    4. o.a. Harvard kan die vereiste miljoenen (1,6-2,0) nu niet meer opbrengen. Harvard deed zeer onlangs een opmerkelijke wake-up call in de wetenschappelijke wereld, please publiceer Open Access.

    5. dit zou zonder twijfel leiden tot enorme verschuivingen in de waardering van al het wetenschappelijk personeel. Met het huidige C.I.-systeem wordt hiermee feitelijk, in een aantal gevallen, ook hun huidige rechtspositie opgeblazen.

  7. knelistonie:

    Laatste zin, lees: Met het zo snel afbreken van het huidige C.I.-systeem loopt in een aantal gevallen hun huidige rechtspositie groot gevaar.

  8. Frank:

    Kan er niet veel beter op internet gepubliceerd worden?

    Kun je meteen een like- en een versiebeheer-systeem toevoegen, zodat de peer-review na publicatie kan gebeuren.

    Dat hele peer-review-systeem was toch vooral nodig omdat vroeger de publicatie betekende dat de boel vanaf dat moment volledig vast lag.

  9. Blitskikker:

    Goed stuk Linda. Ik denk echter dat louter het transparant maken van de peer reviews niet voldoende is. Een gerelateerd probleempunt is namelijk dat je in de wetenschappelijke wereld wordt beoordeeld op je eigen publicaties, en niet op de reviews van het werk van anderen die je hebt afgeleverd. Dat maakt het reviewen ook bijzonder ondankbaar werk, wat de kwaliteit niet ten goede komt. Naast het transparant maken van de peer reviews zouden wetenschappers dus ook incentives moeten krijgen die het aantrekkelijk maken om goede reviews af te leveren.

Reacties zijn inmiddels gesloten