De PISA-shock is een gekende term bij beleidsmakers wereldwijd. Het symboliseert de reactie van landen en regio's op de driejaarlijkse PISA-ranking opgemaakt door de Organisatie voor Economische Samenwerking en Ontwikkeling (OESO). Een daling van enkele plaatsen zet het land of de regio in rep en roer, en een stijging wordt uiteraard gelinkt aan goed onderwijsbeleid. De PISA-ranking heeft met andere woorden een enorm politiek belang, en steeds meer landen nemen deel aan het PISA-programma. Ook Vlaanderen ondergaat momenteel een PISA-shock, uit de ranking blijkt immers dat Vlaamse 15-jarigen voor zowel lezen, wiskunde als wetenschappen achteruit gaan.

De validiteit van PISA

Een mogelijk gevaar dat nu ontstaat is een vertekende besluitvorming bij onze beleidsmakers. De roep om een reactie is prominent, en dit dwingt beleidsmakers tot snelle actie. Maar laat ons nu vooral de tijd nemen voor een uitgebreide analyse van ons onderwijssysteem, in de plaats van op zoek te gaan naar "quick fixes" die ons wat hoger laten scoren op de volgende ranking binnen drie jaar. Om deze reflectie te stimuleren is het belangrijk om toch wat dieper in te gaan op de validiteit van PISA als meetinstrument van de publieke waarde die onderwijs moet creëren.

PISA is een middel, geen doel op zich.

In 2014 ondertekenden 83 academici en experten van universiteiten wereldwijd een open brief naar Dr Andreas Schleicher, toen de directeur van het OESO PISA-programma. Deze brief werd gepubliceerd door The Guardian. De titel spreekt voor zich: "De OESO en PISA-test schaden onderwijs wereldwijd." Het voornaamste argument is dat PISA helemaal geen valide meetinstrument is van de publieke waarde die onderwijs creëert, het meet slechts een beperkt aantal dimensies van publieke waarde.

Argumenten tegen PISA

Onderstaand alvast vier belangrijke argumenten waarom PISA niet mag verheerlijkt worden als instrument om de publieke waarde van onderwijs te meten:

- PISA heeft het belang van kwantitatieve gestandaardiseerde testen enorm laten toenemen. Een mogelijk gevaar hiervan is het extreme ranken en labelen van leerlingen op jonge leeftijd alsook van leerkrachten en scholen. Dergelijke ranking zal ongetwijfeld beleid, bestuur en schoolkeuze beïnvloeden. De vraag is natuurlijk of dit wel wenselijk is, een ranking zegt niet noodzakelijk iets over bijvoorbeeld de leerwinst die een school creëert of de democratische waarden en burgerschap die een school bij haar leerlingen stimuleert. Bovendien blijkt uit empirisch onderzoek in landen als de V.S. dat dergelijke ranking leidt tot manipulatie, waar scholen bijvoorbeeld bewust leerlingen een bepaald label geven opdat ze niet zouden meetellen in de test. Met andere woorden moet PISA gebruikt worden als een middel, een bron van informatie die - naast andere bronnen - ons helpt om te identificeren of onze onderwijsstrategie in de goede richting evolueert en of er mogelijks enige bijsturing nodig is. PISA mag nooit "het" doel worden van ons onderwijs.

- Onderwijs is een bijzonder complex beleidsveld en systeem. PISA volgt een driejaarlijkse cyclus. Hierdoor ontstaat het gevaar dat landen en regio's focussen op snelle acties om hoger te scoren in de ranking ondanks het feit dat duurzame veranderingen in onderwijssystemen uiteraard een lange termijn perspectief, visie en strategie vereisen die overheen PISA-cycli alsook beleidscycli dienen te worden gerealiseerd. "Quick fixes" zullen misschien helpen om na drie jaar enkele plaatsen te stijgen, maar kunnen gelijktijdig nefast zijn voor de lange termijn publieke waarde die we van ons onderwijs verwachten. Het is met andere woorden primordiaal dat er een lange termijn onderwijsstrategie voor Vlaanderen wordt ontwikkeld die beleidscycli alsook PISA-cycli overstijgt, gericht is op een visie voor Vlaanderen waar onderwijs zoveel mogelijk publieke waarde creëert en gebaseerd is op een grondige analyse van PISA maar ook van andere bronnen.

- PISA focust op meetbare, kwantificeerbare aspecten van onderwijs. Maar onderwijs creëert ook publieke waarde die niet altijd meetbaar of kwantificeerbaar is. Bijvoorbeeld de fysieke, morele, burgerlijke en artistieke ontwikkeling van leerlingen. Door PISA te verheerlijken als enige indicator van onderwijskwaliteit ontstaat mogelijks een verwaarlozing van andere belangrijke aspecten van onderwijskwaliteit die misschien op de korte termijn minder tastbaar zijn maar op de lange termijn wel bijdragen aan onze cultuur, wetenschap en innovatievermogen. Een befaamde quote van Einstein stelt: "Niet alles wat telt kan geteld worden, en niet alles dat geteld kan worden telt." Hoe kunnen we er dus voor zorgen dat ons onderwijs creativiteit, kritisch denken, burgerschap en verantwoordelijkheid stimuleert? Het zijn deze kenmerken van leerlingen die de toekomst van Vlaanderen zullen bepalen, en niet noodzakelijk hoe hoog we gerangschikt staan op PISA.

- Een laatste argument betreft de administratieve last die PISA en mogelijk andere gestandaardiseerde testen met zich meebrengen. Enerzijds worden leerkrachten geraakt in hun autonomie door zich sterk te moeten gaan focussen op "training for the test" in de plaats van goed kwaliteitsvol onderwijs op maat aan te bieden. Anderzijds confronteren we kinderen met een veelvoud aan gestandaardiseerde meerkeuzevragen die ze nog bovenop de eigen schoolexamens moeten oplossen. Dit komt het al hoge stressniveau in scholen niet ten goede. Uit bestuurskundig onderzoek blijkt dat dergelijke administratieve last de prestatie van publieke diensten negatief beïnvloedt en het welbevinden van publieke dienstverleners vermindert. We moeten dus absoluut vermijden dat gestandaardiseerde testen zorgen voor een verdere bureaucratisering van een onderwijsveld dat nu reeds gebukt gaat onder administratieve verplichtingen.

Wat betekent dit nu voor Vlaanderen?

Minister Ben Weyts staat voor een grote uitdaging gelet op de maatschappelijke verwachtingen die zijn ontstaan door de nieuwe PISA-ranking. Het is echter primordiaal dat beleidsinitiatieven nu niet gericht zijn op zogenaamde "quick fixes" die er voor zorgen dat we binnen drie jaar hoger gerangschikt staan, maar op de langere termijn ons onderwijs negatief raken. Wat is hiervoor nodig? PISA moet diepgaand worden geanalyseerd, in al zijn nuances. Vaak focust men enkel op de ranking en "snapshots" die de OESO produceren, maar PISA bevat heel wat meer data en informatie die relevant zijn voor beleid. Bovendien zijn er ook andere bronnen - bijvoorbeeld TALIS 2018 - die kunnen helpen om systemische problemen te identificeren.

Ook gaf Minister Ben Weyts reeds aan dat hij een OESO expert team wilt inschakelen om een review van ons onderwijssysteem te doen. Dit is ongetwijfeld een goed idee, ik was als extern expert reeds deel van dergelijke reviews en vaak worden systemische problemen geïdentificeerd en gelinkt aan internationale best practices als potentiele oplossing. Echter, dit OESO team zal geen verantwoordelijkheid hebben omtrent de daadwerkelijke implementatie van de voorgestelde aanbevelingen.

Ik raad de Minister dan ook aan om deze analyses te verwerken in een strategische onderwijsagenda op lange termijn voor Vlaanderen, waar we de voornaamste uitdagingen voor ons onderwijs concretiseren en daar een ambitieuze en realistische strategie aan linken die korte termijn beleidscycli en PISA-cycli overstijgt. Overigens moet deze strategie niet ontstaan vanuit een ivoren beleidstoren, maar in co-productie met onderwijs en maatschappelijke partners. Zij gaan immers met de strategie aan de slag en kennen praktische problemen in het veld die men in Brussel niet kan identificeren.

De PISA-shock is een gekende term bij beleidsmakers wereldwijd. Het symboliseert de reactie van landen en regio's op de driejaarlijkse PISA-ranking opgemaakt door de Organisatie voor Economische Samenwerking en Ontwikkeling (OESO). Een daling van enkele plaatsen zet het land of de regio in rep en roer, en een stijging wordt uiteraard gelinkt aan goed onderwijsbeleid. De PISA-ranking heeft met andere woorden een enorm politiek belang, en steeds meer landen nemen deel aan het PISA-programma. Ook Vlaanderen ondergaat momenteel een PISA-shock, uit de ranking blijkt immers dat Vlaamse 15-jarigen voor zowel lezen, wiskunde als wetenschappen achteruit gaan.De validiteit van PISAEen mogelijk gevaar dat nu ontstaat is een vertekende besluitvorming bij onze beleidsmakers. De roep om een reactie is prominent, en dit dwingt beleidsmakers tot snelle actie. Maar laat ons nu vooral de tijd nemen voor een uitgebreide analyse van ons onderwijssysteem, in de plaats van op zoek te gaan naar "quick fixes" die ons wat hoger laten scoren op de volgende ranking binnen drie jaar. Om deze reflectie te stimuleren is het belangrijk om toch wat dieper in te gaan op de validiteit van PISA als meetinstrument van de publieke waarde die onderwijs moet creëren.In 2014 ondertekenden 83 academici en experten van universiteiten wereldwijd een open brief naar Dr Andreas Schleicher, toen de directeur van het OESO PISA-programma. Deze brief werd gepubliceerd door The Guardian. De titel spreekt voor zich: "De OESO en PISA-test schaden onderwijs wereldwijd." Het voornaamste argument is dat PISA helemaal geen valide meetinstrument is van de publieke waarde die onderwijs creëert, het meet slechts een beperkt aantal dimensies van publieke waarde.Argumenten tegen PISAOnderstaand alvast vier belangrijke argumenten waarom PISA niet mag verheerlijkt worden als instrument om de publieke waarde van onderwijs te meten:- PISA heeft het belang van kwantitatieve gestandaardiseerde testen enorm laten toenemen. Een mogelijk gevaar hiervan is het extreme ranken en labelen van leerlingen op jonge leeftijd alsook van leerkrachten en scholen. Dergelijke ranking zal ongetwijfeld beleid, bestuur en schoolkeuze beïnvloeden. De vraag is natuurlijk of dit wel wenselijk is, een ranking zegt niet noodzakelijk iets over bijvoorbeeld de leerwinst die een school creëert of de democratische waarden en burgerschap die een school bij haar leerlingen stimuleert. Bovendien blijkt uit empirisch onderzoek in landen als de V.S. dat dergelijke ranking leidt tot manipulatie, waar scholen bijvoorbeeld bewust leerlingen een bepaald label geven opdat ze niet zouden meetellen in de test. Met andere woorden moet PISA gebruikt worden als een middel, een bron van informatie die - naast andere bronnen - ons helpt om te identificeren of onze onderwijsstrategie in de goede richting evolueert en of er mogelijks enige bijsturing nodig is. PISA mag nooit "het" doel worden van ons onderwijs.- Onderwijs is een bijzonder complex beleidsveld en systeem. PISA volgt een driejaarlijkse cyclus. Hierdoor ontstaat het gevaar dat landen en regio's focussen op snelle acties om hoger te scoren in de ranking ondanks het feit dat duurzame veranderingen in onderwijssystemen uiteraard een lange termijn perspectief, visie en strategie vereisen die overheen PISA-cycli alsook beleidscycli dienen te worden gerealiseerd. "Quick fixes" zullen misschien helpen om na drie jaar enkele plaatsen te stijgen, maar kunnen gelijktijdig nefast zijn voor de lange termijn publieke waarde die we van ons onderwijs verwachten. Het is met andere woorden primordiaal dat er een lange termijn onderwijsstrategie voor Vlaanderen wordt ontwikkeld die beleidscycli alsook PISA-cycli overstijgt, gericht is op een visie voor Vlaanderen waar onderwijs zoveel mogelijk publieke waarde creëert en gebaseerd is op een grondige analyse van PISA maar ook van andere bronnen.- PISA focust op meetbare, kwantificeerbare aspecten van onderwijs. Maar onderwijs creëert ook publieke waarde die niet altijd meetbaar of kwantificeerbaar is. Bijvoorbeeld de fysieke, morele, burgerlijke en artistieke ontwikkeling van leerlingen. Door PISA te verheerlijken als enige indicator van onderwijskwaliteit ontstaat mogelijks een verwaarlozing van andere belangrijke aspecten van onderwijskwaliteit die misschien op de korte termijn minder tastbaar zijn maar op de lange termijn wel bijdragen aan onze cultuur, wetenschap en innovatievermogen. Een befaamde quote van Einstein stelt: "Niet alles wat telt kan geteld worden, en niet alles dat geteld kan worden telt." Hoe kunnen we er dus voor zorgen dat ons onderwijs creativiteit, kritisch denken, burgerschap en verantwoordelijkheid stimuleert? Het zijn deze kenmerken van leerlingen die de toekomst van Vlaanderen zullen bepalen, en niet noodzakelijk hoe hoog we gerangschikt staan op PISA.- Een laatste argument betreft de administratieve last die PISA en mogelijk andere gestandaardiseerde testen met zich meebrengen. Enerzijds worden leerkrachten geraakt in hun autonomie door zich sterk te moeten gaan focussen op "training for the test" in de plaats van goed kwaliteitsvol onderwijs op maat aan te bieden. Anderzijds confronteren we kinderen met een veelvoud aan gestandaardiseerde meerkeuzevragen die ze nog bovenop de eigen schoolexamens moeten oplossen. Dit komt het al hoge stressniveau in scholen niet ten goede. Uit bestuurskundig onderzoek blijkt dat dergelijke administratieve last de prestatie van publieke diensten negatief beïnvloedt en het welbevinden van publieke dienstverleners vermindert. We moeten dus absoluut vermijden dat gestandaardiseerde testen zorgen voor een verdere bureaucratisering van een onderwijsveld dat nu reeds gebukt gaat onder administratieve verplichtingen.Minister Ben Weyts staat voor een grote uitdaging gelet op de maatschappelijke verwachtingen die zijn ontstaan door de nieuwe PISA-ranking. Het is echter primordiaal dat beleidsinitiatieven nu niet gericht zijn op zogenaamde "quick fixes" die er voor zorgen dat we binnen drie jaar hoger gerangschikt staan, maar op de langere termijn ons onderwijs negatief raken. Wat is hiervoor nodig? PISA moet diepgaand worden geanalyseerd, in al zijn nuances. Vaak focust men enkel op de ranking en "snapshots" die de OESO produceren, maar PISA bevat heel wat meer data en informatie die relevant zijn voor beleid. Bovendien zijn er ook andere bronnen - bijvoorbeeld TALIS 2018 - die kunnen helpen om systemische problemen te identificeren. Ook gaf Minister Ben Weyts reeds aan dat hij een OESO expert team wilt inschakelen om een review van ons onderwijssysteem te doen. Dit is ongetwijfeld een goed idee, ik was als extern expert reeds deel van dergelijke reviews en vaak worden systemische problemen geïdentificeerd en gelinkt aan internationale best practices als potentiele oplossing. Echter, dit OESO team zal geen verantwoordelijkheid hebben omtrent de daadwerkelijke implementatie van de voorgestelde aanbevelingen. Ik raad de Minister dan ook aan om deze analyses te verwerken in een strategische onderwijsagenda op lange termijn voor Vlaanderen, waar we de voornaamste uitdagingen voor ons onderwijs concretiseren en daar een ambitieuze en realistische strategie aan linken die korte termijn beleidscycli en PISA-cycli overstijgt. Overigens moet deze strategie niet ontstaan vanuit een ivoren beleidstoren, maar in co-productie met onderwijs en maatschappelijke partners. Zij gaan immers met de strategie aan de slag en kennen praktische problemen in het veld die men in Brussel niet kan identificeren.