‘Wat meer realisme bij opdrachtgevers en gebruikers, en minder overmoed bij peilers zou al veel helpen.’ Gewoon hoogleraar sociologie Dirk Jacobs blikt terug op de rol van peilingen en opinie onderzoek in het afgelopen jaar.
Het afgelopen jaar kreeg de geloofwaardigheid van opinie onderzoek zowel in binnen- als buitenland een flinke knauw.
Brexit en de verkiezing van Donald Trump kwamen voor veel mensen als een donderslag bij heldere hemel omdat men in slaap gewiegd was door geruststellende peilingen.
De realiteit is al complex en schrijnend genoeg dat we desinformatie als kiespijn kunnen missen.
In eigen land slaagde de Islam-enquête van Humo en VTM nieuws erin zowat alle fouten te begaan die bij een bevraging mogelijk zijn. En vorige maand ging de Eurobarometer met een misleidende vraagstelling over seksueel geweld dan weer behoorlijk uit de bocht. Het is bijgevolg een goede zaak dat verschillende media aangekondigd hebben terughoudender met peilingen om te springen.
Want neen, er waren niet alleen geen dansende moslims na de aanslagen in Brussel, het is ook helemaal niet zo dat 1 op 5 Belgische moslims IS zou steunen, net zoals het ook niet waar is dat 60% van de Belgen een vorm van seksueel geweld goedpraat.
De realiteit is al complex en schrijnend genoeg dat we dit soort desinformatie als kiespijn kunnen missen. Slecht uitgevoerde peilingen en fout gerapporteerde bevindingen zijn even schadelijk als ‘fake news’.
Langzaam maar zeker is het gevolg dat we elk type van expertise niet alleen met de nodige argwaan zullen bekijken maar we ook onderzoek niet langer hoger zullen inschatten dan de eigen intuïtie.
Kwantitatief onderzoek leidt tot waardevolle kennis, maar het is van belang dat zorgvuldig met methodologie omgesprongen wordt. Door het gemak waarmee men via internet peilingen kan organiseren, gebeurt vandaag te veel onderzoek “quick and dirty”.
Vergelijk het met een medische ingreep. Als de gemiddelde chirurg voor een openhartoperatie vier uur nodig heeft, is het onverstandig in zee te gaan met iemand die beweert de klus op een half uurtje te kunnen klaren. Een wetenschappelijk verantwoorde peiling zal vaak een ingewikkelde opdracht blijken te zijn.
Om nog enige winstmarge te behouden wordt gevaarlijk op methodologie beknibbeld.
En zo bijt de slang zichzelf in de staart. Niemand wil vandaag nog veel tijd spenderen en geld uitgeven aan peilingen die men sowieso toch niet echt meer vertrouwt. Om nog enige winstmarge te behouden wordt gevaarlijk op methodologie beknibbeld.
Wat te doen?
Het is tijd om methodologie terug ernstig te nemen. Laat ons alvast beginnen met alle online polls overboord te gooien. Ze zijn niet meer dan amusement. Internetpolls met zelfaanmelding kunnen per definitie alleen de mening van bezoekers van de betrokken website weergeven. Deelname zal heel sterk van het onderwerp afhangen (wie meer betrokken is, doet sneller mee).
Op de koop toe zijn ze doorgaans bijzonder gemakkelijk te manipuleren (zo kan men een achterban inschakelen). Met het wissen van de “browser history” en het opkuisen van de “cookies” kan men heel vaak zelfs gewoon meerdere keren meestemmen.
Kortom, elk zichzelf respecterend medium laat online polls beter links liggen, of bouwt minstens een betere beveiliging in. Qua informatiewaarde leveren polls namelijk weinig op, behalve een zicht op mobilisatiegedrag.
Meer is niet altijd beter
Peilingen via zelfaanmelding kunnen overigens per definitie nooit representatief zijn voor dé publieke opinie, ook al nemen er duizenden mensen aan deel.
Het aantal deelnemers is niet het belangrijkste element.
Het aantal deelnemers is immers niet doorslaggevend, wel of elke persoon in wiens mening men geïnteresseerd is, een gelijke kans had om deel te nemen. Dat lijkt tegen onze intuïtie in te gaan maar is van het grootste belang. Het aantal deelnemers is niet het belangrijkste element, wel de manier waarop zij gerekruteerd werden en de mate waarin hun deelnamebereidheid samenhangt met hun sociologisch profiel en het onderwerp.
Die les werd al bij de Amerikaanse presidentsverkiezingen in 1936 geleerd. Toen organiseerde het tijdschrift Literary Digest één van de grootste opiniepeilingen ooit. Liefst 2,4 miljoen Amerikanen werden per post ondervraagd.
Toch zat de voorspelling er volkomen naast, terwijl het opkomende onderzoeksbureau Gallup met een peiling bij ‘slechts’ 50.000 kiezers wel de correcte winnaar kon aanwijzen.
Voor de rekrutering van respondenten maakte Literary Digest gebruik van de adressen in telefoonboeken en ledenlijsten van serviceclubs. En zo liep het fout: het armere deel van het Amerikaanse electoraat had een ingebakken kleinere kans om gecontacteerd te worden. Dat het om een zeer grote steekproef ging, kon de zaak niet redden.
Als je selectieprocedure vertekend is, dan maakt dit het probleem zelfs alleen maar groter.
Hoe moet het dan wel?
De sleutel ligt bij wat we een ’toevalssteekproef’ noemen. Stel het je voor als een lotto-trekking. De naam en het adres van elke inwoner van een gebied staat op een balletje geschreven. Al die balletjes gaan in een reusachtige trommel en we pikken er dan op volledig willekeurige wijze 1000 balletjes uit. Die 1000 mensen gaan we bevragen en we doen de nodige inspanningen dat ze daadwerkelijk allemaal meewerken.
De kans is groot dat die 1000 mensen een erg goede afspiegeling zijn van de gehele bevolking. We zouden natuurlijk nog betere resultaten krijgen als we nog meer mensen zouden ondervragen volgens dezelfde procedure.
Maar het kan ook zijn dat we pech hebben. Net zoals het weinig waarschijnlijk is dat u ooit de lotto wint, is er weinig kans dat we toevallig 1000 honderdjarige inwoners selecteren. Maar het is ook niet helemaal uitgesloten.
Het zou best kunnen dat mijn steekproef zo toch geen goede afspiegeling is van de hele populatie. De honderdjarigen zullen qua ideeën en gedrag namelijk flink verschillen van de rest van de bevolking en onze steekproef zal geen correcte resultaten opleveren.
Foutenmarge
Vele mogelijke steekproeven zullen een beetje naast het werkelijke resultaat zitten. Daarom hebben steekproeven altijd een foutenmarge. Die foutenmarge kan berekend worden.
Het is begrijpelijk dat men in de pers liever niet spreekt over foutenmarges. Vaak gaat het om 3 tot 4 procentpunt en dat betekent in de praktijk vaak dat er grote overlap is in de mogelijke scores van bijvoorbeeld politieke partijen in een peiling. Een krant of zender die net enkele tienduizenden euro’s heeft uitgegeven om het onderzoek te bekostigen, heeft natuurlijk niet veel zin om te vertellen dat vanuit statistisch oogpunt eigenlijk niet te zeggen valt wie er zal winnen.
Dit kan lijken op muggenziften, maar kiezers en politici laten – en dat staat wel vast – van deze resultaten soms belangrijke beslissingen afhangen.
‘Neen, bedankt’
Nu heeft het redeneren in termen van berekenbare foutenmarges pas echt zin als er geen probleem is met vertekening door weigering tot deelname.
En dat is vandaag de dag steeds vaker waar het schoentje echt wringt. Zelfs als met een toevalssteekproef gewerkt wordt, weigert bij telefonische enquêtes soms tot 90% van de gecontacteerden deel te nemen.
De grote uitdaging voor peilingsbureaus is om geselecteerden aan onderzoek te laten deelnemen.
Bij heel wat politieke peilingen is dit het geval. Die non-respons hangt vaak samen met belangrijke kenmerken (zoals scholingsniveau en mate van vertrouwen) en dan wordt het heel moeilijk om representativiteit te bereiken.
De grote uitdaging voor peilingsbureaus is om geselecteerden, ongeacht het profiel of de opinie, aan onderzoek te laten deelnemen. Met de opmars van de mobiele telefoon en de neergang van de vaste telefoon is dit probleem overigens alleen maar toegenomen.
Gemakshalve wordt nu heel vaak met vaste internetpanels (met de nodige ingebouwde variatie que leeftijd, gender, opleidingsniveau en woonplaats) gewerkt door marketingsbureaus maar daar is het probleem dan weer dat men na verloop van tijd met geroutineerde respondenten werkt die een schijnzekerheid van representativiteit geven. Bovendien mag men de slinkende maar nog steeds bestaande groep niet-internetgebruikers niet vergeten.
Het ideale scenario, face-to-face onderzoek bij mensen thuis, is ontzettend duur en als alternatief kiest men steeds vaker voor gecombineerde bevragingen via vaste lijnen, mobiele telefoon en internetbevragingen. Er is een grote variatie in hoe bedachtzaam peilers daarmee omgaan.
Om beperkingen op te vangen en toch kosten te beperken, werken de meest onderzoeksbureaus ook met wegingen (waarbij men de antwoorden van bepaalde “lastige” profielen zwaarder doet meetellen). Zet men daarop te hard in, dan kan het natuurlijk ook flink foutlopen.
Zo bleek in oktober 2016 tijdens de Amerikaanse peilingen dat de mening van één negentienjarige zwarte man uit Illinois 30 tot 300 keer zwaarder doorwoog op nationale peilingresultaten dan andere profielen. Dat is om ongelukken vragen.
De enige echte remedie is inzetten op degelijkheid en methodologische uitdagingen op het vlak van geldigheid en betrouwbaarheid serieus nemen.
Wat meer realisme bij opdrachtgevers en gebruikers, en minder overmoed bij peilers zou al veel helpen. Het zou ook goed zijn wat minder onzinnige peilingen te organiseren.
Maar er helemaal mee ophouden en ruim baan laten voor allerlei nattevinger- en giswerk over de publieke opinie, met als enige infobron radio trottoir (het sprokkelen van straatinterviews voor radio of televisie), helpt niet.
Stellen “geen wetenschappelijke pretenties” te hebben en toch over representativiteit en significantie te spreken, is dan weer niets meer dan het publiek foppen.
De enige echte remedie is inzetten op degelijkheid en methodologische uitdagingen op het vlak van geldigheid en betrouwbaarheid serieus nemen. Bovenal moeten we in staat zijn de vinger aan de pols te kunnen houden: volledige technische transparantie is van groot belang. Elke opiniepeiling die ruchtbaarheid krijgt in de media, dient vergezeld te zijn van een publiek raadpleegbare technische fiche met basisinformatie.
Opdrachtgevers en journalisten moeten die technische kant zelf ter harte nemen en soms ook durven beslissen om resultaten niet te brengen. Want wie gelooft in een goede uitkomst wanneer een verkeerde scalpel gebruikt wordt of de openhartoperatie er na een kwartiertje opzit?
Fout opgemerkt of meer nieuws? Meld het hier
