Ik zou beter moeten weten. En toch liet ik me misleiden door een artikel op de NOS-website met de kop: ‘Een glas alcohol is eigenlijk al te veel’. Bij meer dan één glas alcohol per dag, stond er, loop je al de kans om eerder te overlijden.
Verwezen werd naar een publicatie in het gerenommeerde The Lancet: 83 studies waren gecombineerd, opgeteld ging het om 600.000 onderzoekspersonen. Indrukwekkend, dacht ik, maar was er wel sprake van oorzaak en gevolg? Dat zag ook arts-onderzoeker Vinay Prasad, die het onderzoek op Twitter bekritiseerde.
Hij noemde de term publication bias: het verschijnsel dat alleen de studies die een verband vinden, worden gepubliceerd. En er was dan wel een hoger overlijdensrisico bij bierdrinkers gevonden, maar nauwelijks bij wijndrinkers. Het was niet zozeer de alcohol, suggereerde Prasad, maar het lagere inkomen van bierdrinkers dat ongezond was.
Ik concludeerde dat er dus weinig mis was met een paar glazen alcohol – pas later zou ik ontdekken dat dat nogal voorbarig van me was.
Verstand is niet alles
Als nieuwsconsumenten maar beter zouden begrijpen hoe cijfers worden berekend, dacht ik vroeger altijd, zou iedereen vanzelf gaan inzien wat de beperkingen en misleidingen bij cijfers zijn.
Dus begon ik te schrijven over slechte peilingen, onzekerheidsmarges, en correlatie en causaliteit. Telkens probeerde ik uit te leggen hoe je er de volgende keer niet meer in trapt: door jezelf af te vragen hoe er is gestandaardiseerd, hoe de cijfers zijn verzameld.
Maar zelfs dan trek je soms toch foute conclusies over cijfers. Of je nu wetenschapper, journalist, politicus of krantenlezer bent – iedereen is daar gevoelig voor. Ook ik. Ik zakte door de grond toen ik na een lezing die ik gaf zag dat 50 procent mijn optreden niet goed had gevonden. Wat ik vergat: maar twee personen hadden aan de peiling meegedaan.
Inmiddels begrijp ik hoe het komt dat je dit soort verkeerde conclusies trekt: het draait bij het consumeren van cijfers niet alleen om denkfouten, maar ook om onderbuikgevoelens.
Ideologie
Yale-hoogleraar psychologie Dan Kahan onderzoekt hoe cultuur, waarden en overtuigingen ons denken beïnvloeden. In een van zijn experimenten legde hij deelnemers tabellen voor met cijfers over het gebruik van een nieuwe huidcrème.
Bij de ene groep lieten de cijfers zien dat de huiduitslag toenam, bij de andere nam die juist af. Helpt de crème tegen de uitslag, vroeg Kahan, of maakt die het alleen maar erger?
Om op het antwoord te komen moesten de deelnemers een lastige rekensom maken met de cijfers uit de tabellen. De mensen die voor een eerdere wiskundetest een hoge score hadden behaald, kwamen vaker met het goede antwoord. Tot zover bevestigt het experiment: hoe meer je van cijfers snapt, hoe dichter je bij de waarheid komt.
Maar er waren nog twee groepen deelnemers. Deze kregen geen tabellen over huidcrème, maar over een onderwerp dat veel aandacht krijgt in de Amerikaanse politiek en media: wapenbezit. Zogenaamd was er een experiment uitgevoerd met strengere wetgeving. Nu was de vraag: stijgt of daalt de criminaliteit door de nieuwe maatregelen?
De uitkomsten verschilden als dag en nacht met die van de deelnemers uit de huidcrèmegroepen. Ook al waren precies dezelfde tabellen gebruikt, nu werden ineens veel vaker foute antwoorden gegeven – ook door de mensen die goed waren in wiskunde.
De verklaring voor Kahans resultaten? Ideologie. Deelnemers die behoorden tot de liberale Democraten, die in Amerika doorgaans pleiten voor beperking van wapenbezit, stelden vaker dan andere deelnemers vast dat de criminaliteit omlaagging – óók in de groep waar dat niet uit de tabellen bleek. Bij deelnemers die behoorden tot de conservatieve Republikeinen, was het juist andersom. Zij stelden vaker vast dat strengere wetgeving niet werkte.
Deze antwoorden draaiden niet meer om de waarheid, stelde Kahan. Ze draaiden om het beschermen van je identiteit of het horen bij je ‘stam’. Vaak verloopt dit proces volledig onbewust. Het is je psyche die een loopje met je neemt. Ons brein werkt als een advocaat, koste wat het kost zal het argumenten vinden om onze overtuigingen te verdedigen.
Onderbuikgevoelens
Iedereen is vatbaar voor dit soort psychologische processen. Bij een goede interpretatie van cijfers draait het dus niet alleen om kennis. Deze adviezen helpen je om met je eigen onderbuikgevoelens rekening te houden als je cijfers tegenkomt.
1. Wat voel je precies?
Pas op met cijfers waarbij je iets voelt: wees alert als het onderwerpen betreft die nauw samenhangen met je identiteit en ‘stam’, zoals racisme, seks of verslavende middelen. Als je daarover een cijfer ziet, doe dan eerst een stap terug en vraag jezelf af: wat voel ik? Toen ik de eerdergenoemde alcoholstudie zag langskomen, raakte ik geïrriteerd.
Zeker toen ik de kop ‘Een extra glas alcohol kan je leven met 30 minuten verkorten’ las. Dat was gewoon klinklare onzin. Mijn irritatie was een gevoel dat paste bij mijn professionele ‘stam’ – cijfersceptici – maar ook bij mijn persoonlijke.
Als ik mijn vrienden ontmoet, drinken we samen een wijntje of een biertje. Dat hoort erbij. Daarmee stoppen? Liever niet. Ik voelde me dan ook tevreden toen ik de tweets van de gerenommeerde medicus Vinay Prasad las. Opgelucht was ik, ik kon gewoon doordrinken.
Maar ik zag iets belangrijks over het hoofd. Toen ik merkte dat ik me wel erg goed voelde bij de conclusie dat er niets mis was met drinken, pakte ik Prasads tweets er nog eens bij. En ik zag: hij had nergens gezegd dat drinken níét schadelijk was. Alleen dat deze studie niet deugde.
Net als in het onderzoek van Kahan had ik direct een interpretatie gekozen die bij mijn ‘stam’ paste. Een interpretatie die niet per se de juiste was, maar die wel goed voelde.
2. Klik door!
Kom je een cijfer tegen dat je interesseert, ga dan op onderzoek uit. Zoek – online of offline – naar mensen die er anders tegenaan kijken. Lees artikelen die ingaan tegen je overtuigingen, en durf je daardoor ongemakkelijk, boos of wanhopig te voelen.
Ik nam de proef op de som en ging op zoek naar meer informatie over alcoholonderzoek. Na wat doorklikken vond ik al snel allerlei onderzoeken die een oorzakelijk verband tussen alcohol en de kans op kanker deden vermoeden. Zoals een experiment met bavianen die een leveraandoening kregen door alcohol, en een metastudie die een lineair verband liet zien tussen de kans op borstkanker en alcoholinname.
Wat me duidelijk werd: experts zijn het er al lang over eens dat drinken vooral nadelige effecten heeft. Niet voor niets raadt onze Gezondheidsraad al sinds 2015 aan om hooguit één glas alcohol per dag te drinken.
3. Onzekerheid hoort erbij
Veel van de cijfers die je in de krant tegenkomt zijn voorbarig omdat er nog meer onderzoek moet worden gedaan. Moet je zulke onzekere cijfers dan maar negeren? Nee. Ze helpen om de wereld wat beter te begrijpen. Maar neem ze wel met een korrel zout. En houd er rekening mee dat er over een paar jaar misschien andere conclusies worden getrokken.
Ander onderzoek is al veel verder gevorderd, zoals het alcoholonderzoek. Als je googelt naar ‘meta-onderzoek alcohol’ (onderzoek naar alcoholonderzoek), dan zie je al snel dat veel alcoholstudies op dezelfde conclusie uitkomen.
Zo is het causale verband tussen borstkanker en alcoholconsumptie intussen hardgemaakt. De alcoholonderzoekers zeggen hetzelfde als wat de wetenschappers indertijd na bergen onderzoek zeiden over sigaretten: we weten genoeg.
Maar zelfs het onderzoek naar alcohol is nooit definitief, dat is de aard van de wetenschap. Er zijn studies die suggereren dat gematigd alcoholgebruik een paar aandoeningen juist tegengaat. Ook kun je in alcoholstudies correlatie en causaliteit niet altijd uit elkaar halen; is onderzoek op dieren niet hetzelfde als op mensen; en hoeveel alcohol je nu precies kunt drinken voordat het slecht voor je is, is onduidelijk.
Laat zulke onzekerheid nu net iets zijn waar we psychologisch ook slecht mee kunnen omgaan. Niet voor niets domineren mensen met stellige overtuigingen talkshows, politieke debatten en krantencolumns. ‘Ik weet het zeker’, ‘zo steekt het in elkaar’, zeggen ze allemaal.
Maar wie het zeker weet, is per definitie niet nieuwsgierig. Wie koste wat kost vasthoudt aan zijn overtuigingen, staat nooit open voor nieuwe informatie. Willen we goed met cijfers – en informatie in het algemeen – omgaan, dan zullen we die onzekerheid moeten omarmen. Cijfers zijn een venster op de werkelijkheid, maar nooit scherper dan matglas. Ze laten hooguit de contouren zien.
Eigen afweging
Maar laat je ook weer niet verlammen. Op een gegeven moment moet je kiezen: zal ik minder drinken? Cijfers kunnen die vraag niet voor je beantwoorden. Ze lijken een ideaal excuus om te stoppen met nadenken, maar kunnen geen kant-en-klare antwoorden geven. Ze helpen hooguit om dichter bij een antwoord te komen.
En niet alleen zijn cijfers onzeker, er spelen ook andere factoren een rol die niet in de cijfers gevangen zijn. Hoe belangrijk vind ik het om alcohol te drinken? Hoeveel risico durf ik te nemen met mijn gezondheid? Hoe gezond leef ik over het algemeen? Dat zul je toch echt zelf moeten bedenken.
Kortom: wees je bewust van je gevoelens, ga op onderzoek uit en accepteer onzekerheid. En maak dan je eigen afweging.
Dit artikel is ontleend aan het recent verschenen Het bestverkochte boek ooit (met deze titel) van Sanne Blauw (decorrespondent.nl/cijfers)
3x kritisch
Een gemiddelde zegt niet zoveel: want zijn er uitschieters die het flink omhoog of omlaag kunnen trekken, dan zegt het cijfer niet veel over een doorsnee situatie.
Ranglijsten zijn vaak arbitrair. Een top 10 van meest beboete verkeersovertredingen tot de populairste redenen voor een carrièreswitch staat leuk, maar de opeenvolgende plekken verschillen regelmatig niet écht van elkaar, omdat er vaak sprake is van onzekerheidsmarges.
‘U heeft x procent meer kans op ziekte y…’ Als je niet weet waarvan die x een percentage is, dan zegt het niet zoveel. Is de kans in de eerste plaats klein, dan is een toename van x procent ook klein.