‘Een kritische houding is niet enkel nodig ten aanzien van politieke peilingen, maar ook voor de enquëtes waarop het beleid gebaseerd is’, schrijft Geert Loosveldt. Hij wijst op de omstandigheden waardoor er fouten in de resultaten kunnen sluipen.
In de maanden voorafgaand aan verkiezingen en de dagen na een verkiezingsdag is er doorgaans wel wat te doen over peilingen die proberen de resultaten van de verkiezing te voorspellen. De evaluatie van de kwaliteit van de peilingsresultaten is doorgaans negatief. De resultaten van de peilingen blijken meestal slechts een zwakke voorafspiegeling te zijn van de uiteindelijke verkiezingsuitslag.
Sommigen concluderen dan ook dat de nauwkeurigheid van politieke peilingen te beperkt is en dat het daarom niet aangewezen is om er veel belang aan te hechten. Het is merkwaardig dat een dergelijke conclusie niet bijdraagt tot een kritischere houding ten aanzien van resultaten van enquêtes die gebruikt worden voor het opstellen van openbare statistieken.
In essentie maken dergelijk enquêtes gebruik van dezelfde methodologie als politieke peilingen. Belangrijke kenmerken van die methodologie zijn het gebruik van een representatieve steekproef uit een populatie en het gebruik van een gestructureerde vragenlijst om de gewenste informatie te verzamelen.
Dat een kritische houding aangewezen is blijkt uit een recent onderzoek van het Steunpunt Werk naar ‘Trendindicatoren Vlaamse Arbeidsmarkt: Werkzaamheid & werkloosheid o.b.v. Statbel -EAK, Eurostat-LFS, VDAB, Federgon, RVA’.
Bij het ontwikkelen van deze indicatoren wordt o.a. gebruik gemaakt van de ‘Enquête naar Arbeidskrachten (EAK)’ die deel uit maakt van de ‘European Labour Force Survey’. Deze enquête wordt uitgevoerd door Statbel, de federale instelling die in België verantwoordelijk is voor de productie en verspreiding van cijfers over de Belgische economie en de samenleving.
Nu blijkt dat de resultaten van deze enquête die ons basisinformatie moet verschaffen over de arbeidsmarkt althans voor Vlaams Brabant in de periode 2021-2024 onvoldoende betrouwbaar te zijn.
Recent is duidelijk geworden dat omwille van de wijze waarop één enquêteur zijn opdracht heeft uitgevoerd in de provincie Vlaams-Brabant, het aantal werkende en bijgevolg de werkzaamheidsgraad voor de periode 2021-2024 systematisch werd onderschat.
Stabel schat dat de werkgelegenheidsgraad van de provincie Vlaams Brabant in de periode 2021-2024 met 2 tot 4 procentpunten werd onderschat. De impact op Vlaams en federaal niveau is beperkter, met respectievelijk 0.5 en 0.3 procentpunten (nota Stabel: ‘EAK-resultaten van de provincie Vlaams-Brabant voor 2021-2024’, website Statbel, versie 08/05/2025).
Het is niet verwonderlijk dat de resultaten van enquêtes die gebruikt worden voor het opstellen van openbare statistieken ook onnauwkeurigheden bevatten. De verschillende foutenbronnen van onderzoek waarbij een steekproef van personen bevraag wordt, zijn in de literatuur goed gedocumenteerd (o.a. meetfouten en steekproeffouten). Maar bij de onbetrouwbare resultaten van de EAK voor Vlaams-Brabant kunnen toch wel enkele vragen gesteld worden.
Hoe is men die onregelmatigheid op het spoor gekomen?
De bal ging aan het rollen doordat het Steunpunt Werk de afgelopen jaren vaststelde dat de werkzaamheidsgraad voor de provincie Vlaams Brabant die bepaald werd op basis van de EAK niet de trend volgde die op basis van de Vlaamse Arbeidsrekening werd vastgesteld. Bij de Vlaamse Arbeidsrekening wordt gebruik gemaakt van administratieve data.
Door te zoeken naar een verklaring van deze discrepantie is men uiteindelijk bij de onregelmatigheden van de interviewer terechtgekomen. Het is opmerkelijk dat het niet de interne kwaliteitscontrole van de EAK is die het probleem in eerste instantie heeft gesignaleerd.
Hoe kan het dat het werk van een enkele enquêteur de resultaten van de EAK voor een vrij lange periode kan bepalen?
In de eerder vermelde nota van Statbel wordt verwezen naar menselijke fouten die kunnen gebeuren tijdens het dataverzamelingsproces. Iets verder lezen we dat die menselijk fouten blijkbaar systematisch onregelmatige handelingen van de enquêteur zijn. De enquêteur maakte veelvuldig gebruik van de short cuts in de vragenlijst.
Zo werd de vraag naar het al of niet hebben van een job systematisch negatief beantwoord en moesten er geen bijkomende vragen gesteld worden over bv. de aard van het werk. Op die wijze kan men de tijd die nodig is om een enquête af te nemen inkorten en kan men gemakkelijker meer en veel interviews doen in een bepaalde periode. Veel enquêtes kunnen doen is bij een vergoeding per enquête niet onbelangrijk.
De combinatie van het systematisch nemen van shortcuts en het afnemen van een groot aantal enquêtes, resulteerde in de onderschatting van de werkzaamheidsgraad in Vlaams-Brabant. Dit type van ongepast gedrag door een interviewer is in de literatuur over datakwaliteit goed gedocumenteerd, en kan door een systematische controle van de duurtijd van interviews tijdens het dataverzamelingsproces op eenvoudige wijze tijdig worden gedetecteerd.
Blijkbaar is dit geen standaardpraktijk bij de kwaliteitscontrole van de EAK. Dergelijke onregelmatigheden bij de afname van de enquêtes die een ernstige vertekening van de resultaten tot gevolg hebben, kunnen bij gebrek aan een adequate kwaliteitscontrole lang onder de radar kunnen blijven.
Er kan daarbij opgemerkt worden dat met uitzondering van de nota naar aanleiding van de recente problemen er op de website van Statbel geen informatie beschikbaar is over de resultaten van eventuele kwaliteitscontroles voor de EAK.
In de vakliteratuur wordt ook sterk beklemtoond dat het aantal vragenlijsten dat een enquêteur afneemt tijdens de dataverzameling van een onderzoek, moet beperkt zijn. Het is een basisregel bij het uitvoeren enquêtes waarbij gebruik wordt gemaakt van interviewers. Bij de uitvoering van EAK past men die regel duidelijk niet toe en loopt men het risico dat één of een beperkt aantal interviewers een grote impact kunnen hebben op de datakwaliteit.
Wat er de afgelopen jaren bij het EAK is gebeurd bevestigt het belang van het toepassen van deze basisregel. De reden waarom men een enquêteur veel enquêtes laat afnemen is simpel: men beschikt over te weinig enquêteurs en men slaagt er niet in om mensen warm te maken voor die job. Enquêteur is sinds lang een niet door de VDAB erkend knelpuntberoep.
Wat met de kwaliteit van andere burgerbevragingen van Statbel die gebruik maken van enquêteurs?
De enquêteurs die voor de EAK worden ingezet worden door Statbel ook gebruikt voor andere belangrijke onderzoeksprojecten waarbij de dataverzameling (gedeeltelijk) door interviewers gebeurt. Dit is bijvoorbeeld het geval voor de ‘Enquête naar Inkomsten en Levensomstandigheden’ (EU-SILC: Statistics on Income and Living Conditions). Dit onderzoek vierde in 2024 zijn twintigste verjaardag en is het referentie onderzoek voor het uittekenen en evalueren van het armoedebeleid in België.
In het op de website beschikbare kwaliteitsrapport van EU-SILC 2023 vinden we dat 31% van de enquêteurs meer dan 140 huishoudens hebben geïnterviewd. Ook hier wordt de basisregel van een beperkt aantal enquêtes per interviewer niet toegepast.
Verder vinden we geen informatie die toelaat om de verschillen tussen in interviewers in de duurtijd van de interviews te evalueren. De beschikbare informatie over de kwaliteitscontrole in EU-SILC lijkt weinig garantie te bieden dat onregelmatigheden zoals die bij EAK werden vastgesteld, tijdig worden opgespoord.
Er is weinig informatie beschikbaar om te stellen dat er bij de andere enquêtes van Statbel die grotendeels door dezelfde groep van enquêteurs worden uitgevoerd, er geen impact is van systematisch onregelmatig interviewergedrag Een dergelijk conclusie kan onvoldoende onderbouwd worden en lijkt dan ook wel voorbarig.
Conclusie
Bij onjuiste resultaten van politieke peilingen kunnen we de relativerende bedenking maken dat het maar peilingen zijn die verder weinig belang hebben. Maar we vergeten soms dat enquêtes waarvan de data gebruikt worden om basisindicatoren te berekenen waarop het sociaal economisch beleid steunt, gebruik maken van dezelfde methodologie als politieke peilingen en dat die enquêtes bijgevolg ook onderhevig kunnen zijn aan allerhande fouten die kunnen resulteren in onbetrouwbare resultaten.
We kunnen en mogen onbetrouwbare resultaten van deze enquêtes waarop het sociaal economisch beleid steunt, echter niet afserveren met de opmerking, ‘het zijn maar enquêtes’. We mogen van dergelijke enquêtes verwachten dat ze de nodige kwaliteitsgaranties bieden. Het kan inderdaad gebeuren dat enquêteurs hun taken niet naar behoren uitvoeren en dat dit vergaande gevolgen heeft voor betrouwbaarheid van de data.
Wat niet zou mogen gebeuren is dat de kwaliteitscontroles niet in staat zijn om die onregelmatigheden tijdig op te sporen. Het is duidelijk dat de kwaliteitscontroles tijdens de dataverzameling van de EAK gedurende een aantal jaren niet in staat waren om gemakkelijk op te sporen onregelmatigheden te detecteren. Dat de kwaliteitscontroles van Stabel bij andere enquêtes wel kwaliteitsgaranties zouden bieden, valt echter te betwijfelen.
Ter verdediging moet hierbij opgemerkt worden dat Statbel moet roeien met de beschikbare riemen. In het geval van enquêtes is een tekort aan enquêteurs daar een belangrijk aspect van. Hoe dan ook moet Statbel die verantwoordelijk is voor de uitvoering van enquêtes die gebruikt worden bij het uittekenen en evalueren van het sociaal economisch beleid, de nodige kwaliteitsgaranties kunnen bieden.
Geert Loosveldt is professor emeritus met opdracht KU Leuven, Centrum voor Sociologisch Onderzoek (CeSO).