• blad nr 9
  • 1-10-2021
  • auteur W. Peeters 
  • Opinie

 

Onderzoek toepassen in onderwijs is lastig

Het is goed om onze aanpak in het onderwijs te baseren op onderzoek. Maar wat ‘werkt’ volgens de wetenschap? Dat bepalen, is vaak complexer dan we denken, schrijft Wessel Peeters.

Net als in de gezondheidszorg, baseren we onze aanpak in het onderwijs graag op wetenschappelijk inzicht. Maar de complexiteit van onderwijzen is nog groter dan die van een operatie. Evidence based werken, uitgaan van wetenschappelijke kennis is daarom in het onderwijs misschien een burg te ver. Een veelvoorkomend credo is tegenwoordig het evidence informed vormgeven van onderwijs, een aanpak waarin wetenschappelijke informatie wordt meegewogen, met name inzichten uit de cognitieve psychologie, in samenhang met de kennis en ervaring van leerkrachten.
Zwart-wit discussies doen het onderwijs eerder kwaad dan goed. Met vier voorbeelden illustreer ik hieronder de complexiteit van het onderzoek over leren.

Significant
Wetenschappelijke resultaten moeten significant zijn, wat betekent dat de kans dat een gevonden effect op toeval berust minder is dan 5 procent. Vaak halen onderzoeken die 5 procent maar net. Om het concreet te maken: leerlingen scoren na een onderwijsverandering gemiddeld een 6,8 in plaats van een 6,3, als rekening wordt gehouden met alle andere omstandigheden zoals bijvoorbeeld doelgroep en docentengedrag van dien. Als uit onderzoek blijk dat iets beter werkt, weet dan dat het verschil vaak relatief klein is en gebonden is aan een context. Maak van een mug dus geen olifant: het ei van columbus voor leren is niet zomaar gevonden.

Publicatiebias
Welke onderzoeken worden gepubliceerd? Onderzoeken die significante verschillen aantonen. Welke onderzoeken dus niet? Onderzoeken die geen verschil aantonen. Oftewel: een nieuwe methode met hetzelfde resultaat als een al bestaande methode, is vaak geen publicatie waard. Dit maakt dat veel nuttige informatie niet het publicatiedaglicht ziet. Het feit dat iets niet uit onderzoek naar voren komt, maakt dus niet dat het niet zo is: het kan simpelweg zo zijn dat het niet uitzonderlijk genoeg is, maar nog steeds erg goed.

Replicatiecrisis
Veel onderzoek rondom leren komt voort uit de jaren zestig en zeventig van de vorige eeuw. Denk bijvoorbeeld aan veel onderzoeken naar het geheugen, de basis voor leerstrategieën als retrieval practice(je onthoudt iets beter als je het bij tests meermaals opdiept uit je geheugen) en spaced practice (herhaald stof behandelen met tussenpozen), maar ook onderzoeken naar motivatie. In het afgelopen decennium is gebleken dat veel onderzoeken binnen en buiten het onderwijs geen significante resultaten geven als andere onderzoekers ze opnieuw doen (repliceren).
Dit is in de eerste plaats omdat de methode vaak niet duidelijk is omschreven, waardoor niet precies bekend is hoe het onderzoek is gedaan. Onderzoek dat wel kan worden nagebootst, geeft soms simpelweg niet dezelfde uitslag. Fraude en fouten kunnen daaraan ten grondslag liggen, zoals Stuart Richie beschrijft in zijn interessante boek Science Fictions uit 2020.
Een voorbeeld van niet repliceerbaar onderzoek is de bekende marshmallow-test. Het oorspronkelijke onderzoek uit 1970 toonde aan dat kinderen die beter in staat waren de verleiding van het opeten van een marshmallow te weerstaan, in ruil voor een extra marshmallow in de toekomst, later meer studiesucces hadden. Ook waren deze kinderen op latere leeftijd welvarender en hadden ze een gezonder lichaamsgewicht.
Executieve functies, waaronder zelfbeheersing, zijn erg bepalend voor levenssucces was destijds de conclusie. Waarom laten we dan niet alle leerlingen zo’n test ondergaan? Omdat bij replicatie-onderzoek bleek dat bij het oorspronkelijke onderzoek vooral kinderen uit betere milieus deelnamen. Niet het uitstellen van de beloning, maar de achtergrond van de kinderen verklaarde de verschillen.

Mindset
Kinderen met een growth mindset geloven dat verschillen in talent kunnen worden ingehaald door persoonlijke groei en hard werken. Maar wat kan een leerkracht daarmee? Uit recent onderzoek komt naar voren dat het bewust werken aan een growth mindset van leerlingen mogelijk een negatief effect heeft op de leerprestaties. Eerder bleek al dat een growth mindset geen meetbaar positief effect heeft op onderwijsprestaties.
Stoppen dus met het investeren in een growth mindset bij leerlingen? Nee, want ook deze zaak ligt ingewikkeld.
Het werken aan een growth mindset heeft over het algemeen geen positief effect, maar wel bij jongere leerlingen met een lagere sociaaleconomische achtergrond. Bij oudere leerlingen met een hogere sociaaleconomische achtergrond werkt de aanpak juist averechts. Mogelijk speelt een rol dat deze laatste groep het expliciet werken aan hun mindset opvat als beledigend (‘Denk je dat ik dom ben?’).

Context
Deze vier voorbeelden laten zien dat de uitslag van een onderzoek vaak complexer is dan het in de eerste instantie lijkt. Wat nu? Een goed begin is het kijken naar meta-analyses: studies waarin data uit verschillende vergelijkbare onderzoeken wordt gecombineerd. Dit verkleint de kans op toevalligheden en resultaten die alleen in een specifieke context van toepassing zijn. Het is op basis van meta-analyses dat we bijvoorbeeld overtuigend kunnen zeggen dat het retrieval practice een erg krachtige manier van leren is.

Zwart-wit
Wat werkt nu het beste? Genuanceerd zijn. Onderzoek is ontzettend complex en evidence informed werken is dus zeker niet zo straight-forward als het soms lijkt. Natuurlijk weten we door veel replicaties en meta-analyses dat bepaalde interventies zoals leerstof stap voor stap uitleggen krachtige manier van leren zijn. Daar kunnen we als docent dus van profiteren.
Het gebeurt echter ook dat vanuit diezelfde overtuiging ten onrechte wordt gezegd dat het inzetten op de growth mindset nutteloos is of dat het werken aan executieve functies niet mogelijk is omdat er geen bewijs voor is. In dergelijke zwart-wit uitspraken gaat de nuance verloren. De ene context is immers de andere niet.
Evidence informed lesgeven is complex. Laten we bij het lesgeven veel waarde blijven hechten aan onderzoek, maar je kunt het werken met leerlingen en studenten niet daartoe reduceren. Dan doe je ze tekort. Onderzoeken wat ‘werkt’, vraagt om een dialoog in plaats van een monoloog. Kies voor team grijs en niet voor het soms bijna radicale zwart of wit.

Wessel Peeters is mede-oprichter en eigenaar van het onderwijsplatform Vernieuwenderwijs. Daarvoor was hij enkele jaren werkzaam als onderwijskundige in het hbo en negen jaar als docent in het VO. Dit is een bewerkte versie van een artikel dat eerder verscheen op vernieuwenderwijs.nl

Dit bericht delen:

© 2022 Onderwijsblad. Alle rechten voorbehouden
Het auteursrecht op de artikelen in dit archief berust bij het Onderwijsblad, columnisten of freelance-medewerkers. Het citeren van delen van artikelen is toegestaan, mits met bronvermelding. Volledige overname, herplaatsing of opname in andere publicaties is slechts toegestaan na overleg met de hoofdredacteur via onderwijsblad@aob.nl Indien het gaat om artikelen van freelancers zal hiervoor een bedrag in rekening worden gebracht.