Bernd Carette & Elias Corneillie (UGent)

‘Psychologisch onderzoek deugt niet? Ambigue onderzoeksresultaten zijn net de toekomst van onze discipline’

Bernd Carette & Elias Corneillie (UGent) Respectievelijk wetenschappelijk onderzoeker & assistent en doctoraatsstudent aan de vakgroep Personeelsbeleid, Arbeids- en Organisatiepsychologie van de UGent.

Onderzoekers Bernd Carette en Elias Corneillie (UGent) moesten hartelijk lachen om het nieuws dat psychologisch onderzoek ‘niet deugt’. ‘Als persoon B de bevinding van persoon A niet kan herhalen, is de meest constructieve (en productieve) reactie niet ‘persoon A is verkeerd’, maar’ hoe komt het dat persoon A tot die conclusie komt en persoon B tot een andere?”

In verschillende kranten verscheen het bericht dat psychologisch onderzoek niet ‘deugt’ (De Standaard) of dat het merendeel van psychologische studies gebaseerd is op drijfzand (De Morgen). Na het lezen van de verschillende journalistieke stukken en bijhorende commentaren op sociale media, konden we een schaterlach moeilijk onderdrukken. Hoogtijd voor een reactie van de andere kant.

‘Psychologisch onderzoek deugt niet? Ambigue onderzoeksresultaten zijn net de toekomst van onze discipline’

Psychologisch onderzoek heeft sinds het ontstaan al heel veel wenkbrauwen doen fronsen, die van Steven Van Herreweghe als perfect voorbeeld. Zeker de laatste tijd hebben alleenstaande gevallen zoals Diederik Stapel of Michael LaCour (ook een interessant verhaal) onze discipline in een slecht daglicht geplaatst. Data manipuleren, opkuisen, of zelf fabriceren om toch maar een effect te vinden – plots leek de psychologie een discipline van charlatans en leugenaars.

Onterecht, want enorm veel onderzoekers (inclusief yours truly) werken dag in dag uit heel hard om correcte studies uit te voeren met als doel de complexiteit van ons menselijk gedrag beter te begrijpen. Een professor geneeskunde zei ooit in een interview: ‘Psychologisch onderzoek zou ik niet willen doen, niet omdat het niet interessant is, maar omdat je over zoveel dingen geen controle hebt. In de medische wereld hebben we dat wel, alle tools zijn zo gemaakt dat je telkens dezelfde analyse kunt maken op iets dat meetbaar is.’

Hij heeft gelijk: heel wat factoren dragen bij tot de resultaten die psychologen vinden in hun studies en daar kan je als onderzoeker nooit 100% controle over hebben. De clue als goeie wetenschapper is om de lezer van je artikel te waarschuwen hiervoor: ga niet zomaar blind mee in het gevonden of niet-gevonden effect, maar hou rekening met de context en de zaken die we in deze studie niet in rekening hebben kunnen brengen.

‘Wij kunnen ons niet van de indruk ontdoen dat journalisten zich laten leiden door u003cemu003ecatchyu003c/emu003e effecten’

En daar knelt nu volgens ons net het schoentje: wetenschapscommunicatie. Wij kunnen ons niet van de indruk ontdoen dat de journalistiek zich te vaak laat leiden door artikels waarin catchy effecten werden gevonden, om dan ook maar een deel van het volledig artikel te rapporteren. Beperkingen van het onderzoek, de context waarin het werd verricht of een waarschuwing dat dit niet voor iedereen geldt, of slechts voor een bepaalde steekproef van mensen wordt zelden vermeld.

Nochtans staan die zaken standaard in een wetenschappelijk artikel. Op deze manier wordt de lezer (die het oorspronkelijk wetenschappelijk artikel hoogstwaarschijnlijk zelden leest) misleid: het effect lijkt absoluut en geldt voor iedereen. Van een wetenschapsjournalist mag je nochtans wat meer nuance verwachten: hij of zij moet het artikel in een leesbare vorm gieten, maar mag daarbij de inhoud niet beperken tot het hoofdeffect zelf.

Verbazingwekkend is het dan ook dat een wetenschapsredacteur een journalistiek stuk schrijft met als titel ‘psychologisch onderzoek deugt niet’. In de geciteerde studie kwam men tot de conclusie dat amper 36 op 100 gepubliceerde psychologische effecten konden worden teruggevonden in een tweede studie. Dit hoeft echter allesbehalve te leiden tot conclusies over het al dan niet deugen van onze wetenschap.

Op twee manieren omgaan met ogenschijnlijke tegenstrijdigheden

Akkoord, minder dan de helft van de gepubliceerde effecten kon worden herhaald. Als wetenschappers gaan we echter op twee manieren om met deze ogenschijnlijke tegenstrijdigheden.

Enerzijds gaan we niet in één studie, maar in tientallen studies na of we een effect al dan niet kunnen herhalen.

Door te concluderen dat een gepubliceerd effect niet bestaat op basis van één negatief resultaat, maakt men zich immers aan dezelfde fout schuldig als men de oorspronkelijke onderzoekers verwijt. Wie zegt dat het afwijzen van een eerder gevonden effect op basis van een nieuwe studie de juiste conclusie is? Het is perfect mogelijk dat er een onnauwkeurigheid schuilt in het onderzoeksopzet van de replicatieonderzoekers waardoor het effect niet kan worden teruggevonden.

In plaats van conclusies te trekken op basis van één enkele studie, gaan onderzoekers hetzelfde effect na in tientallen verschillende studies over verschillende landen heen (in vaktermen: een meta-analyse). Op die manier hebben we een meer realistische weergave van de uiteenlopende contexten.

Indien het effect in een dergelijke meta-analyse stand houdt, kunnen we met vrij veel zekerheid concluderen dat het echt bestaat en geen gevolg is van onderzoeksmatige hocuspocus van de onderzoekers die het initiële effect hebben gevonden.

Ten tweede vormen ambigue onderzoeksresultaten de toekomst – eerder dan de ondergang – van onze wetenschappelijke discipline.

Door op zoek te gaan naar de factoren die aan de basis liggen van de ambiguïteit kunnen we tot een beter begrip komen van de invloed die de context waarin we leven heeft op ons dagdagelijks functioneren. Anders gesteld: indien persoon B de bevinding van persoon A niet kan repliceren, is de meest constructieve (en productieve) reactie niet ‘persoon A is verkeerd’, maar’ hoe komt het dat persoon A tot die conclusie komt en persoon B tot een andere?’

Door het identificeren van contextuele elementen die aan de basis liggen van verschillende onderzoeksbevindingen – eerder dan complexe bevindingen gemakshalve af te doen als onwaar en/of frauduleus – helpen we ons veld veel meer vooruit.

Context en volledigheid

Willen we daarom twee zaken afspreken: wetenschappers moeten zoveel mogelijk de context van hun onderzoek beschrijven, zodat andere wetenschappers daarop kunnen verder bouwen. Enkel op deze manier boeken we wetenschappelijke vooruitgang.

Journalisten van hun kant moeten een wetenschappelijk artikel beschrijven in zijn volledigheid: laat dus geen zaken achterwege die door de wetenschappers worden gerapporteerd met als doel de context van het onderzoek duidelijk maken.

De lezer zal zich meer bewust zijn of het artikel en het eventueel gevonden effect in kwestie van toepassing kan zijn op hem of haar, en zal in de toekomst misschien beter begrijpen waarom twee dezelfde studies niet altijd hetzelfde resultaat opleveren.

Fout opgemerkt of meer nieuws? Meld het hier

Partner Content