En weer is er slecht nieuws uit de wereld van de wetenschap. Ze zijn onverbeterlijk, die wetenschappers. Een team Franse onderzoekers heeft een stapel medische persberichten onder de loep genomen, en constateert (deze week, in het open access internettijdschrift PLOS Medicine) dat in de helft van de gevallen de conclusies die in het persbericht staan niet overeenkomen met de feitelijke resultaten in het wetenschappelijke artikel. Ook al viel de pil of de therapie in feite tegen – in het persbericht wordt vrolijk beweerd dat de resultaten significant, veelbelovend, een doorbraak…et cetera zijn. Dergelijke jubelende persberichten vinden vervolgens gemakkelijk hun weg naar kranten, websites en zo verder. En dat is een slechte zaak.
Waar komen die leugens vandaan? De eerste neiging is natuurlijk te zeggen: van de onderzoekers. Want die hebben hard gewerkt, willen graag hun fifteen minutes of fame (en alle verdere financiering die dat oplevert), en nemen het daarom niet zo nauw. Dat is ook wat de NRC gisteren van dit onderzoek maakte. Onder het kopje ‘Medisch onderzoek komt te positief in de krant‘ schreef de krant: ‘Dit komt doordat de medische onderzoekers zelf de positieve effecten noemen in de samenvatting van hun artikel over de uitkomsten van de trial.’ En ietsje verderop: ‘De meeste spin in kranten en andere media is volgens de Franse studie te wijten aan de onderzoekers zelf.’
Zo. Die zit.
Altijd weer die liegende wetenschappers!
Maar wat zeggen die Franse onderzoekers nu écht?
Grootste verantwoordelijkeheid
Ten eerste constateren ze inderdaad dat die té positief getoonzette persberichten heel vaak gebaseerd zijn op de samenvatting en conclusie bij het originele wetenschappelijke artikel. De onderzoekers hebben die overdreven positieve conclusies dus niet volledig uit de duim gezogen; ze zijn gebaseerd op wat er uiteindelijk in de wetenschappelijke pers wordt gepubliceerd. Met andere woorden, op wat de redacteuren van de tijdschriften hebben goedgekeurd. Een wetenschappelijk artikel is immers geen eenmansprodukt; de tekst gaat meestal heel wat keren heen en weer tussen auteurs, reviewers en de redactie. En de laatste beslist uiteindelijk wat er gedrukt zal worden. En daar zit ‘m de crux. Niet alleen auteurs, ook de redacties van wetenschappelijke bladen houden van termen als ‘significant, veelbelovend, doorbraak en ga zo maar door. Dat soort termen genereren nieuws, en dat zien de uitgevers graag. In plaats van de wetenschappers tegen zichzelf in bescherming te nemen (‘Jongens, gaat die conclusie niet wat ver…’) vinden ze het juist wel prima dat er in de abstract en het persbericht lekker overdreven wordt – wetende dat de meest web- en krantenredacties op aarde nooit meer lezen dan het persbericht, en de abstract. (*) Wie draagt hier dan de grootste verantwoordelijkheid: de auteurs, of de redactie van het tijdschrift? Allebei even veel? De Franse onderzoekers leggen de schuld in ieder geval bij de redacties. Ze besluiten een paragraaf getiteld ‘what do these findings mean?‘ met de volgende opmerking:
‘Overall, these findings highlight the important role that journal reviewers and editors play in disseminating research findings. These individuals, the researchers conclude, have a responsibility to ensure that the conclusions reported in the abstracts of peer-reviewed articles are appropriate and do not over-interpret the results of clinical research.‘
Spin
Merkwaardig genoeg is deze conclusie in het stukje in de NRC volledig verdwenen. Daar krijgen de onderzoekers de Zwarte Piet toegeschoven. Over de tijdschriften geen woord. Daar lezen we bovendien: ‘De meeste spin in kranten en andere media is volgens de Franse studie te wijten aan de onderzoekers zelf.’ Nee dus, En daar komt bij: de onderzoekers laten zich niet uit over de schuldvraag bij kranten en andere media. Maar daar valt natuurlijk wel wat over te zeggen. Kwaliteitskranten, zoals de NRC, beweren graag dat ze verder kijken dan het persbericht, én verder dan de conclusie of abstract. Dat je niet af mag gaan op een persbericht maar wetenschappelijke artikelen écht moet lezen, en deskundigen moet raadplegen. Als er dus ‘spin’ in kranten verschijnt, dan ligt de oorzaak niet bij de onderzoekers, en zelfs niet bij de wetenschappelijke tijdschriften die ook een loopje nemen met de cijfers. Dan is dat te wijten aan de redactie van de krant zélf.
(*) = Mooi voorbeeld: Twee weken geleden publiceerde Nature een Amerikaans onderzoek naar levensverlenging. Iedereen weet dat een hongerdieet bij veel diersoorten het leven verlengd; Amerikaanse onderzoekers zouden hebben aangetoond dat dat niet opging voor apen. Dus wie weet ook niet voor de mens. Dergelijk onderzoek scoort altijd enorm in de media – en dat zal de reden zijn waarom Nature het accepteerde want direct na publicatie werd duidelijk dat dit onderzoek aan alle kanten rammelde. Cijfers en conclusies staan mijlenver uiteen. De ene na de andere deskundige schoot er gaten in. (Zie Volkskrant en NRC, 30 augustus.) Nature, dat zich altijd op de borst ramt het beste wetenschappelijke tijdschrift te zijn, dat veel meer artikelen krijgt aangeboden krijgt dan het kan plaatsen en dus alle rommel kan afwijzen en het beste van het beste kan publiceren, besloot uiteindelijk om dit slechte onderzoek mee te nemen. Om voor de publiciteit te gaan.
