Velen willen al graag projecties maken over hoe ons leven en de maatschappij eruit zal zien na deze coronacrisis. Maar kunnen we daar op dit moment wel wetenschappelijk verantwoorde dingen over zeggen? Maarten De Schryver, (Doctor in de Psychologie en statistical consultant UGent), waarschuwt voor overhaaste conclusies.
Terwijl covid-19 hard inhakt op de gezondheidszorg en economie, lijken het wel gouden tijden voor sociale wetenschappers. Koortsig worden vragenlijsten de wereld ingestuurd om ons gedrag, onze gevoelens, gedachten en attitudes tijdens deze pandemie op te tekenen om die uiteindelijk in een wetenschappelijk werk neer te schrijven. En het moet vooruit. Want de wetenschapper die als eerste met een inzicht naar buiten kan komen, kan het beleid adviseren en ons gedrag mogelijks aanpassen waar nodig. Van academici wordt immers ook verwacht dat ze voldoende maatschappelijke impact hebben.
De exponentiële groei aan vragenlijsten staat echter in schril contrast met het onderbreken van enkele surveys over het welzijn van de bevolking. Tim Goedemé, onderzoeker aan de Universiteit van Oxford, liet recent nog in Knack optekenen dat enkele grote enquêtes noodgedwongen worden onderbroken. Door de huidige veiligheidsmaatregelen konden niet alle nodige participanten ondervraagd worden. Het niet kunnen bereiken van een belangrijk deel van de steekproef heeft een serieuze impact op de representativiteit van de steekproef. En een niet-representatieve steekproef heeft als gevolg dat de onderzoeksresultaten niet te veralgemenen zijn naar de gehele populatie. Er is met andere woorden een generalisatieprobleem.
Dit generalisatieprobleem is er niet enkel een van steekproef en populatie. Het probleem situeert zich ook in het generaliseren van context naar context. Sociale wetenschappers zijn niet erg succesvol in het voorspellen van ons gedrag tijdens deze pandemie. Mensen blijken vandaag anders te reageren dan wat kon verwacht worden op basis van de resultaten uit een experimentele setting of labo. Het gaat zelfs zo ver dat men tegenwoordig spreekt van een generalisatiecrisis: conclusies die genomen worden op basis van experimentele studies (in het lab van de sociale wetenschapper) gelden niet zomaar voor situaties buiten het lab – voor ‘de echte wereld’, zeg maar. Stuart Ritchie, professor aan King’s College in London, stelde de vraag luidop: ‘Kunnen we weten welke resultaten van experimenteel onderzoek relevant zijn voor de huidige coronacrisis?‘ Het koude antwoord is: neen, dat kunnen we niet.
Het belang van de juiste context kan dus niet onderschat worden. De situatie vandaag is zo uitzonderlijk dat de vraag naar generalisatie alleszins moet worden gesteld. Wat kunnen we vandaag bijvoorbeeld leren over thuiswerken? Ik vrees niet veel. Ondanks dat we nu met z’n allen thuis moeten werken, valt de situatie vandaag niet te vergelijken met die van voor en na de crisis. De ‘social distancing’-maatregel, werken met kinderen thuis, niet weten hoe lang we nog in ‘ons kot’ moeten blijven, mogelijke angst dat we zelf of familieleden besmet raken met het virus, zijn maar enkele factoren die de resultaten kunnen vertekenen. Hoogstens zullen we min of meer te weten komen hoe mensen die de tijd hadden de vragenlijst in te vullen, thuiswerken ervaren in een periode van pandemie.
De sociale wetenschappen (de psychologie in het bijzonder) zijn nog maar net aan het bekomen van de replicatie-uppercut die ze de laatste jaren hebben moeten verwerken. Deze crisis, die in 2011 losbarstte, confronteerde de sociale wetenschappers met de niet-repliceerbaarheid van algemeen aanvaarde onderzoeksresultaten. Met andere woorden, resultaten gepubliceerd in wetenschappelijke (top)tijdschriften kunnen niet meer gevonden worden als men de studie herhaalt. Anne Scheel, verbonden aan de Universiteit van Eindhoven en onderzoeker van de betrouwbaarheid en efficiëntie van psychologisch onderzoek, wijst er op dat zowel tijdsdruk als bepaalde genotsprikkels kunnen leiden tot slechte onderzoekspraktijken. Laat dit nu net twee ingrediënten zijn die corona-onderzoek met zich meebrengt, schrijft Anne in haar blogpost. Onderzoekers willen zo snel als mogelijk hun stempel kunnen drukken op de crisis. Het aantal downloads van de paper, de likes op twitter en facebook en/of de aandacht die men krijgt van de pers fungeren als incentives.
Maar de snelheid waarmee gewerkt wordt, verhoogt de kans op fouten – zowel in de onderzoeksdesigns, de methodologie en de analyses. Ook de meetschalen waarmee gewerkt worden, zijn vaak problematisch: weet men nog wel wat men meet? De vragen naar introspectie worden ook niet eenvoudiger: Stel je voor dat na de crisis dit en dat, denkt u dan dat door de crisis u meer of minder dit of dat zult doen? Met de beste wil van de wereld, ik kan het me vandaag maar moeilijk voorstellen.
Sinds de replicatie-crisis zijn de sociale wetenschappers gelukkig gevoeliger geworden voor methodologische precisie. Slechte designs, foute analyses, en generalisatieproblemen kunnen door een degelijk reviewproces (de studie wordt grondig geëvalueerd door andere experten) gedetecteerd en gecorrigeerd worden. Helaas worden resultaten ook vóór zo een reviewproces gecommuniceerd aan een breed publiek. Nuances en tekortkomingen worden daarbij vaak opzij geschoven en genegeerd. Foute resultaten worden waarheden. Na de replicatie- en generalisatiecrisis mag alertheid voor degelijk onderzoek een bijkomende maatregel worden in deze tijden van coronacrisis. En laten we die regel dan behouden, ook na de crisis.
Fout opgemerkt of meer nieuws? Meld het hier