Wereldwijd heeft hij de pers gefopt met zijn ‘baanbrekende onderzoek’. Zelfs het grootste Europese dagblad, Bild, trapte er met open ogen in. Journalist John Bohannon toont met een 'fake' onderzoek aan hoe flinterdun voedingsonderzoek kan zijn en hoe journalisten zich volledig in de luren laten leggen.
John Bohannon beschrijft op io9 hoe hij weloverwogen te werk is gegaan om met slechte wetenschap maar goede 'framing' de wereldpers te halen.
Zijn onderzoek 'chocolade helpt je sneller af te vallen' heeft inmiddels een miljoenenpubliek bereikt.
Authentiek onderzoek
Bohannon verzon de studie om aan te tonen hoe slecht het merendeel van het voedingsonderzoek is. Hij zette een 100% authentiek klinisch onderzoek op, met echte proefpersonen en daadwerkelijk verzamelde en geanalyseerde data. "Het was eigenlijk een onderzoek dat behoorlijk representatief is is voor het veld van het voedingsonderzoek. Dat wil zeggen: hele slechte wetenschap. De resultaten zijn nietszeggend en de gezondheidsclaims die de media naar miljoenen mensen wereldwijd rondgebazuind hebben zijn nergens op gestoeld", schrijft Bohannon.
De belangrijkste oorzaak: het verschijnsel dat als je een grote hoeveelheid data verzamelt over een kleine groep proefpersonen (in dit geval 15), dan valt daar bij analyse altijd wel een statistisch relevant verband aan te tonen. Je hebt een bijna gegarandeerd recept voor 'vals-positieve' uitslagen in handen.
Bespelen van de media
In een zeer lezenswaardig artikel op io9 geeft hij inzicht in de stappen hij doorlopen heeft om het nep-onderzoek in het 'wetenschappelijk tijdschrift’ International Archives of Medicine gepubliceerd te krijgen.
Er blijken lijsten te bestaan van al dan niet echt wetenschappelijke tijdschriften die zonder zogenaamde peer review werken, een kritische blik van collega wetenschappers die over de waarde van de aangeboden onderzoeken oordelen.
Nog voor hij het wist, had Bild zijn verhaal al gepubliceerd, zonder zelfs maar contact met de 'wetenschappers' opgenomen te hebben om het verhaal te verifiëren of aan te vullen. Andere media volgden. Veelal met prachtige plaatjes met een combinatie van een vrouw en chocolade er bij.
Luie journalisten en actief publiek
Bohannon noemt die manier van werken kenmerkend voor de journalisten van vandaag. Hij noemt ze ronduit lui en niet in staat een wetenschappelijke publicatie te lezen. Ze gaan net zo met wetenschapsnieuws om als met berichten over filmsterren of royalty: even een persberichtje overnemen, plaatje erbij, klaar. "Het enige probleem met de voedingswetenschap-tam-tam is dat het wel om wetenschap gaat", zegt Bohannan.
Er is een sprankje hoop. Dat zijn de lezers. Bij veel van de berichten die journalisten maar gewoon over namen, bleken de lezers wel sceptisch. Zij stelden de vragen die de journalisten achterwege hadden gelaten. Zij gingen op internet na hoe het zat met de website. Zij prikten door de flinterdunne façade heen.
In het huidige journalistieke systeem is voor die kritische publieke functie echter (nog) geen plaatsje ingeruimd.
Fotocredits: 'Unwrapping Valrhona Ampamakia 2006', Everjean
Dit artikel afdrukken
Zijn onderzoek 'chocolade helpt je sneller af te vallen' heeft inmiddels een miljoenenpubliek bereikt.
Authentiek onderzoek
Bohannon verzon de studie om aan te tonen hoe slecht het merendeel van het voedingsonderzoek is. Hij zette een 100% authentiek klinisch onderzoek op, met echte proefpersonen en daadwerkelijk verzamelde en geanalyseerde data. "Het was eigenlijk een onderzoek dat behoorlijk representatief is is voor het veld van het voedingsonderzoek. Dat wil zeggen: hele slechte wetenschap. De resultaten zijn nietszeggend en de gezondheidsclaims die de media naar miljoenen mensen wereldwijd rondgebazuind hebben zijn nergens op gestoeld", schrijft Bohannon.
De belangrijkste oorzaak: het verschijnsel dat als je een grote hoeveelheid data verzamelt over een kleine groep proefpersonen (in dit geval 15), dan valt daar bij analyse altijd wel een statistisch relevant verband aan te tonen. Je hebt een bijna gegarandeerd recept voor 'vals-positieve' uitslagen in handen.
Bespelen van de media
In een zeer lezenswaardig artikel op io9 geeft hij inzicht in de stappen hij doorlopen heeft om het nep-onderzoek in het 'wetenschappelijk tijdschrift’ International Archives of Medicine gepubliceerd te krijgen.
Er blijken lijsten te bestaan van al dan niet echt wetenschappelijke tijdschriften die zonder zogenaamde peer review werken, een kritische blik van collega wetenschappers die over de waarde van de aangeboden onderzoeken oordelen.
Als journalisten echter niet kritisch meer zijn, wordt de wereld overspoeld door junk wetenschapSpannender nog is zijn verhaal over hoe de media er vervolgens, zorgvuldig geregisseerd, mee vandoor gingen. Bohannon schreef zelf het persbericht volgens de regels van de kunst. Hij koos een pakkende titel, mooie plaatjes en externe links. Hij vatte alle onderzoeksresultaten netjes samen. Hij meldde alleen niet hoe klein zijn onderzoeksgroep was en hoe miniem de gevonden verschillen.
Nog voor hij het wist, had Bild zijn verhaal al gepubliceerd, zonder zelfs maar contact met de 'wetenschappers' opgenomen te hebben om het verhaal te verifiëren of aan te vullen. Andere media volgden. Veelal met prachtige plaatjes met een combinatie van een vrouw en chocolade er bij.
Luie journalisten en actief publiek
Bohannon noemt die manier van werken kenmerkend voor de journalisten van vandaag. Hij noemt ze ronduit lui en niet in staat een wetenschappelijke publicatie te lezen. Ze gaan net zo met wetenschapsnieuws om als met berichten over filmsterren of royalty: even een persberichtje overnemen, plaatje erbij, klaar. "Het enige probleem met de voedingswetenschap-tam-tam is dat het wel om wetenschap gaat", zegt Bohannan.
Bij veel van de berichten die journalisten maar gewoon over namen, bleken de lezers wel sceptisch. Zij stelden de vragen die de journalisten achterwege hadden gelatenAls een studie niet vermeldt om hoeveel proefpersonen het ging, of wel hard roept dat er een 'statistisch significant effect' is maar dat vervolgens niet kwantificeert, moeten er belletjes gaan rinkelen. Dat gebeurt veel te weinig, en dat is jammer want journalisten worden meer en meer het eigenlijke peer review systeem. Als journalisten echter niet kritisch meer zijn, wordt de wereld overspoeld door junk wetenschap.
Er is een sprankje hoop. Dat zijn de lezers. Bij veel van de berichten die journalisten maar gewoon over namen, bleken de lezers wel sceptisch. Zij stelden de vragen die de journalisten achterwege hadden gelaten. Zij gingen op internet na hoe het zat met de website. Zij prikten door de flinterdunne façade heen.
In het huidige journalistieke systeem is voor die kritische publieke functie echter (nog) geen plaatsje ingeruimd.
Fotocredits: 'Unwrapping Valrhona Ampamakia 2006', Everjean
Nog 3
Je hebt 0 van de 3 kado-artikelen gelezen.
Op 3 augustus krijg je nieuwe kado-artikelen.
Op 3 augustus krijg je nieuwe kado-artikelen.
Als betalend lid lees je zoveel artikelen als je wilt, én je steunt Foodlog
Lees ook
Zie hier de methode Wakkerdier, Foodlog, Radar en nog een paar wetenschappelijk uitgelegd. Zorg dat je een goed bericht kunt typen, dat kan Sjoerd bijvoorbeeld heel goed, en zorg ook nog dat het ook op een tijdstip komt dat op de redactie maar een handje vol stagiaires aanwezig is die alles gevuld moeten krijgen.
Binnen de korstte keren is op alle redacties de copy paste knop gevonden, want op de site van partij X staat een kopje dat partij Y dan natuurlijk niet kan laten schieten.
Misschien moest elke zich zelf respecterende redactie het verbieden dat er gekeken wordt op de site van conculegas!
Een bijkomende factor van deze volksverlakkerij is dat de rectificatie vrijwel nooit op dezelfde hype-manier de pers haalt. Gisteren schreef De Correspondent daar nog over en ik eerder ook.
Een van de onderliggende factoren is dat de meeste journalisten geen 'bèta-hoofd'-hebben. Het zijn meest mensen die houden van taal en communicatie, politiek, intriges, interessante personen. En niet van cijfers, analyses, statistieken, abstracte verbanden. Een uitzondering zijn wetenschapsjournalisten.
Bedankt voor je uitleg Cécile. Zag het systeem breder.
Het zal nog lastig worden om in de publicatiepraktijk die je omschrijft ruimte voor publieke reflectie op te nemen.
Denk je dat de huidige situatie, waarbij een kritisch publiek publicaties achteraf fileert uiteindelijk niet ook zuiverend zal werken? De journalist en zijn krant (of wat dan ook) staan tenslotte in het hemd. Zou dit niet uiteindelijk moeten leiden tot een meer kritische houding van diezelfde journalist naar wetenschapper toe? Of zie ik het te rooskleurig in?
@Aart, met 'huidig systeem' doel ik op de bestaande publicatiepraktijk, die door Bohannon met zo veel gemak omzeild is. Waarbij wetenschappers kunnen 'leuren' met hun artikelen tot een - dan maar minder gerenommeerd - tijdschrift hun bijdrage accepteert. Waar peer review een wassen neus blijkt. Waar journalisten geen research, fact-finding of check bij een onafhankelijke wetenschapper doen. Met als resultaat: 'junk science'.
In dat systeem heeft de 'kritische publieke functie' geen expliciete rol. In de praktijk gelukkig wel. Dankzij internet, ja.