We zien en horen ze elke dag, in krant en weekblad, op radio en televisie: de cijfers die journalisten citeren om een catastrofe aan te kondigen of trend te signaleren. Maar hoe betrouwbaar zijn die eigenlijk? Wij leggen vijf cijfers, uit de week van maandag 16 tot vrijdag 20 maart, onder het vergrootglas van de scepsis.
1 Over 10 jaar heeft 1 op de 3 Vlamingen een allergie
De week begint, zoals zo vaak, met een ware onheilstijding. Vandaag, zo meldt Gazet van Antwerpen, heeft een op de vier Vlamingen een allergie. Over tien jaar zal een op de drie Vlamingen eraan ten prooi vallen. Het cijfer werd aangeleverd door de Vlaamse Astma- en Allergiekoepel, een patiëntenorganisatie die informatie wil verspreiden onder het brede publiek. Een telefoontje naar de koepel leert ons dat ze zich baseren op ‘wetenschappelijke studies’, die men ons evenwel niet zo gauw kan bezorgen. Even checken, dus.
‘Het aantal mensen met een allergie is de afgelopen dertig jaar verdubbeld’, zegt Jan Ceuppens, hoogleraar immunologie aan de K.U.Leuven. ‘Die toename is goed gedocumenteerd in verschillende landen. Voor Vlaanderen kennen we geen precieze cijfers, maar we mogen ervan uitgaan dat 25 procent van de Vlamingen vandaag inderdaad een of andere allergie heeft. Maar stijgen zal dat cijfer de komende jaren waarschijnlijk niet meer. Als we naar de grafieken kijken, zien we immers dat die beginnen af te vlakken. Wellicht is 25 procent mensen met een of andere allergische reactie de bovengrens. Dat hangt samen met het feit dat de genetische aanleg voor een allergie maar bij ongeveer 25 procent van de populatie aanwezig is. Dus een op de drie Vlamingen zal het vermoedelijk niet worden.’
En zelfs die 25 procent moet stevig worden gerelativeerd, legt Ceuppens uit. ‘Bij die 25 procent horen ook alle mensen die eens een paar keer flink moeten niezen als ze het gras gemaaid hebben. Als je die niet meetelt, hou je nog maar 12 procent allergielijders over, mensen die weleens bij de dokter terechtkomen met hun symptomen. En van die 12 procent heeft maar de helft echt last van zijn of haar allergie. Dus we houden uiteindelijk 6 procent mensen over die een echt probleem hebben.’
‘Op die manier kun je wel meer cijfers deconstrueren’, zegt Geert Molenberghs. Hij is directeur van het Interuniversitair instituut voor biostatistiek en statistische bio-informatica en kent nog andere voorbeelden van verbijsterende percentages die bij nader inzien helemaal niet zo spectaculair zijn. ‘Uit een gezondheidsenquête is ooit gebleken dat de helft van de Belgen op jaarbasis te kampen had met een psychiatrisch probleem’, vertelt hij. ‘Dat klonk ook heel spectaculair. Maar net zoals bij die allergieën ging het in de meeste gevallen om tamelijk onschuldige dingen. Iemand die zich eens een paar dagen depri voelde omdat er spanningen waren op het werk, werd al meegeteld in die cijfers. En je kunt dat met wat goede wil weliswaar een licht geestelijk gezondheidsprobleem noemen, maar toch niet zo erg dat je naar de psychiater moet. Om maar te zeggen: je moet zulke cijfers altijd met de nodige scepsis bekijken.’
2 2000 doden meer door strenge winter
Het stond in haast alle kranten: de voorbije winter heeft zich in ons land een zogenaamde oversterfte van ruim 2000 personen voorgedaan. Daarvoor zijn drie oorzaken: de griep, de koude en het fijn stof. Werd ons medegedeeld door de Leuvense viroloog Marc Van Ranst. ‘Deze cijfers komen van het Wetenschappelijk Instituut Volksgezondheid’, legt hij uit. ‘Daar worden alle overlijdens geteld. Zo zien we heel duidelijk dat in de maanden januari en februari van dit jaar ruim 2000 mensen meer zijn gestorven dan gemiddeld in die maanden. Tegelijk zien we dat de grafieken in die periode pieken vertonen qua koude, fijn stof en griep. Mij gaat het vooral om die laatste factor: ik wil mensen sensibiliseren voor het griepvaccin. Als je 85 jaar oud bent en je wilt 86 worden, dan laat je je het best vaccineren. Die boodschap wil ik de wereld insturen, en ik draai al lang genoeg mee om te weten dat ik veel makkelijker de pers haal als ik met een of ander cijfer voor de dag kom.’
Het sterftecijfer op zich is zeer betrouwbaar, omdat het gewoon een kwestie van tellen is. Maar zijn die griep, dat fijn stof en die koudegolf werkelijk de oorzaak van die extra overlijdens? Even checken bij Geert Molenberghs. ‘Als je een oorzakelijk verband wilt aantonen, heb je verschillende mogelijkheden’, legt hij uit. ‘De beste manier is door een vergelijkend experimenteel onderzoek, zoals dat gebeurt in de farmaceutische industrie, bijvoorbeeld. Geef 100 mensen middel X en 100 mensen een placebo en ga vervolgens na of er een significant verschil is. Zo’n onderzoek is uiteraard niet altijd mogelijk, onder meer om ethische redenen, en dus gebeurt het meestal zoals hier met die sterftecijfers: men doet waarnemingen en men zoekt verbanden. Hier gaat het om zogenaamde competing risks, risico’s die met elkaar concurreren om mensen te doden, en dan is het héél moeilijk om een direct oorzakelijk verband hard te maken. Op individueel niveau kun je dat sowieso niet met de voorliggende cijfers. Deze cijfers geven het verband weer op populatieniveau, en daaruit kun je nooit individuele conclusies trekken. Dat noemen we de ecological fallacy, de ecologische redeneerfout: wat op populatieniveau aan de hand is, is niet noodzakelijk ook datgene wat er op individueel niveau aan de hand is. Heel concreet: iemand van 85 kan een longontsteking krijgen omdat zijn immuunsysteem door de koude minder energie krijgt, vervolgens in het ziekenhuis belanden en uiteindelijk overlijden aan de ziekenhuisbacterie. Is die longontsteking dan de doodsoorzaak? Of de koude? Of die bacterie?’
Zelfs als alles wijst op een oorzakelijk verband, dan nog is het vaak onmogelijk om dat ook onomstotelijk te bewijzen, legt Molenberghs uit. ‘Dat wil zeggen dat we zeer voorzichtig moeten zijn met zulke cijfers, maar ook niet naïef. Want die theoretische mogelijkheid om te blijven twijfelen aan een oorzakelijk verband wordt tot op de dag van vandaag door de tabaksindustrie aangegrepen om het verband tussen roken en longkanker te relativeren. En hoe erg het ook is, strikt genomen hebben ze geen ongelijk om dat te doen.’
Dit gezegd zijnde bestaan er zeker ook hypes in dit soort gezondheidsonderzoeken, zegt Molenberghs. ‘Er wordt momenteel zeer veel onderzoek gedaan naar fijn stof, en onderzoekers hebben altijd de neiging om datgene wat zij onderzoeken als de oorzaak van deze of gene evolutie aan te wijzen. We weten dat fijn stof een effect heeft op de gezondheid, maar het is heel moeilijk om het als afzonderlijke factor duidelijk te isoleren. Als er veel fijn stof in de lucht hangt, is dat vaak ook in een koude periode, omdat het bij koud weer blijft hangen in de onderste luchtlagen. Het is dus een zogenaamde merker voor koude. De vraag is of dat hier ook het geval is, dan wel of het echt heeft bijgedragen tot de extra sterfte. Dat weten we niet.’
Stel je voor, zegt Molenberghs, dat je de oorzaak zoekt van een ziekteverschijnsel dat alleen in Canada voorkomt, en niet in de rest van de westerse wereld: ‘Je zou dan met veel gemak kunnen aantonen dat maple syrup daarvan de oorzaak is, omdat Canadezen dat nu eenmaal veel meer eten dan andere westerlingen. Voorzichtigheid is dus geboden.’
3 150.000 Belgen volledig uitgeblust
Nog nieuws van het gezondheidsfront. Golf van burn-outs door crisis, kopt alweer Gazet van Antwerpen bij wijze van primeur. Dat van die crisis hebben ze er wellicht maar een beetje bij verzonnen, valt te vrezen, want het gaat om Nederlandse cijfers die geëxtrapoleerd zijn naar België. ‘De Nederlandse cijfers kennen we’, legt de Leuvense arbeidspsycholoog Hans De Witte uit. ‘Die cijfers zijn ook uitermate betrouwbaar. En in Nederland blijkt vier procent van de werkende bevolking een burn-out te hebben. Als je dat cijfer vertaalt naar de Belgische werkende bevolking, krijg je ongeveer 150.000 mensen. Die berekening heb ik gemaakt op verzoek van een journalist die mij belde naar aanleiding van de recente cijfers over burn-out bij journalisten. Ik denk dat zo’n extrapolatie moet kunnen. Met de nodige voorzichtigheid, omdat je natuurlijk nooit weet of de situatie in België hetzelfde is als die in Nederland.’
‘Precies’, zegt Geert Molenberghs. ‘Zeker kun je daarvan nooit zijn. Ik zeg niet dat dit cijfer onbetrouwbaar is, maar met extrapolaties moet je inderdaad altijd voorzichtig zijn. Mocht men nu een paar jaar geleden onderzoek hebben gedaan waaruit bleek dat de situatie in België en Nederland vergelijkbaar is, en mocht er nu een nieuw onderzoek zijn gedaan maar alleen in Nederland – dan zou men met een redelijk vertrouwen kunnen extrapoleren. Maar in dit geval is natuurlijk scepsis geboden. Als ik even hardop nadenk, dan zie ik toch behoorlijk wat verschillen tussen België en Nederland die een invloed zouden kunnen hebben op het aantal werknemers met een burn-out. In Nederland maakt men zich bijvoorbeeld veel meer bezorgd over de betaalbaarheid van de pensioenen, omdat het pensioenstelsel er anders in elkaar zit dan bij ons. De Nederlandse pensioenen zijn veel afhankelijker van de beurs, wij hebben nog een wettelijk pensioen dat minder aan zulke risico’s wordt blootgesteld. Ik zeg niet dat zulke factoren een invloed hebben, maar het zou kunnen. Het lijken mij toch factoren die relevant zijn voor het vertrouwen en de zekerheid die mensen al dan niet hebben.’
4 46 procent van de Belgen zijn pro kerncentrales
Het was een klein berichtje dat zowat alle kranten haalde in de week die wij uitkozen voor deze cijfersteekproef. Van alle Belgen is maar een minderheid van 15 procent gewonnen voor de sluiting van de kerncentrales tegen 2025. Bijna de helft van alle Belgen vindt dat de centrales langer mogen openblijven. Bron van dit cijfer: het communicatiebureau Brandhome, dat wilde nagaan of de campagne van Nucleair Forum ( Bent u voor of tegen kernenergie?) enig effect had gehad. Navraag leert ons dat deze peiling werd afgenomen via een online-enquête bij 1000 Belgen: mensen die gerekruteerd werden om af en toe deel te nemen aan onlinevragenlijsten, via e-mail dus. Het gaat om mensen die zich vrijwillig hebben aangemeld. Uit dit panel werd volgens Brandhome een representatieve steekproef genomen, die werd gecontroleerd door quota te zetten op geslacht, leeftijd en regio.
Jaak Billiet, emeritus hoogleraar aan de K.U.Leuven en een streng criticus van slecht opgezette opiniepeilingen, is genadeloos. ‘Met dit cijfer kan ik niets aanvangen’, zegt hij. ‘Ik zeg niet dat het niet klopt, het zou best kunnen van wel. Alleen: ik heb geen enkele reden om dat aan te nemen. Om te beginnen kan een onderzoek dat alleen online gebeurt, niet representatief zijn, omdat de mensen die niet met internet werken – toch bijna een kwart van de bevolking – helemaal niet in de steekproef zitten. Dat is al een enorme vertekening. Er werd ook geen enkele rekening gehouden met kenmerken die samenhangen met de vraagstelling. Ik verklaar mij nader: wat u vindt van kernenergie, hangt in hoge mate samen met uw politieke stemgedrag. En met dat stemgedrag werd hier helemaal geen rekening gehouden. Men heeft wel gecorrigeerd op leeftijd, geslacht en regio, maar dat is nu net het bedrieglijke: nu lijkt de steekproef oké, maar ze is het nog helemaal niet. Corrigeren op deze kenmerken verhoogt de representativiteit alleen maar als deze kenmerken sterk samenhangen met de houding tegenover kernenergie. En dat wordt niet aangetoond.’
Het is een echte plaag, vindt Billiet. ‘Een degelijk, wetenschappelijk verantwoord onderzoek kost veel geld. Het zijn bijna alleen nog de universiteiten die zich daarmee bezighouden. Commerciële organisaties en media nemen steeds vaker hun toevlucht tot dit soort veel goedkopere, maar onbetrouwbare enquêtes. En haast niemand reageert daarop.’
5 40 procent van de Radio 1-luisteraarsverkiest het Arup/Sum-tracé
Maar het ergste moest nog komen. Het minst betrouwbare cijfer in de week van 16 tot 20 maart werd gescoord in het Radio 1-programma Peeters & Pichal. Na een groot debat over de omstreden Antwerpse Oosterweelverbinding, konden de luisteraars via de website of via sms het traject van hun voorkeur kiezen. Het alternatief van onderzoeksbureau Arup/Sum haalde het met 40 procent, het BAM-traject met de Lange Wapperbrug kreeg 39 procent van de in totaal 1024 uitgebrachte stemmen en het alternatief van stRaten-Generaal kon slechts 21 procent van de luisteraars bekoren. Of liever: van de mensen die hun stem uitbrachten. Want of die mensen al dan niet representatief zijn voor de luisteraars, laat staan voor de Vlamingen, zullen we natuurlijk nooit weten.
Voor de goede orde: schiet niet op Radio 1. Want vrijwel álle media schotelen hun kijkers en lezers en luisteraars tegenwoordig onlinepolls voor. Ook Knack. En dat zouden we niet meer mogen doen, vindt Jaak Billiet. ‘Zulke polls zijn voor mij puur entertainment, meer niet’, zegt hij. ‘Uit principe moet ik de uitslag ervan totaal waardeloos vinden.’
Moeten academici dan niet veel strenger zijn als ze gevraagd worden om commentaar te geven op zulke cijfers? In de uitzending van Peeters & Pichal zei de Antwerpse politicoloog Dave Sinardet dat de uitslag van die online- en sms-poll ‘niet zo heel veel waard’ was – waardoor mensen nog altijd kunnen denken dat die uitslag toch wel een heel klein beetje waard is.
‘Dave had strenger moeten zijn’, vindt Jaak Billiet.
‘Ik heb nochtans heel duidelijk gemaakt wat er scheelt aan zo’n onlinepeiling’, zegt Sinardet. ‘Dat moeten we als academici ook blijven doen, vind ik. Als je weigert commentaar te geven, is er niemand meer om het te kaderen. Zulke peilingen zijn nu eenmaal niet representatief, en dus mag je er geen conclusies uit trekken. Het enige voordeel ervan is dat ze het maatschappelijk debat stimuleren door mensen aan te zetten om zich een opinie te vormen. Tenminste als ze gepaard gaan met voldoende evenwichtige informatie.’
DOOR JOëL DE CEULAER
