Bedrieglijke precisie

De invloed van economen op het onderwijs neemt toe. Rendementsberekeningen en kosten-batenanalyses hebben de schijn van exactheid, maar kampen met onvolledigheid en vreemde tegenstrijdigheden. Leerkrachten hoeven die analyses niet voor lief te nemen.

Soms komen ze prima van pas, de berekeningen van economen. Wie rekent aan rendementen komt tot de conclusie dat er weinig betere bestedingen bestaan dan een investering in onderwijs. De Oeso, een organisatie die de ontwikkeling van rijke landen onderzoekt, heeft becijferd dat hoger onderwijs Nederlanders later in hun leven grofweg honderdduizend euro oplevert. En dat is alleen nog maar het rendement voor iemand persoonlijk. Investeren in goed onderwijs, is ook verstandig voor de maatschappij als geheel, want de economie van een land met een hoogopgeleide bevolking moet harder kunnen groeien. Dat lijkt logisch. In de praktijk viel het lang niet mee om dat verband hard te maken, want landen met een hoog percentage lager, middelbaar of hoger geschoolden hebben gemiddeld niet een hoger nationaal inkomen.
Econoom Eric Hanushek van de Universiteit van Stanford ontdekte dat we niet moeten kijken naar opleidingsniveau, maar naar de kwaliteit van het onderwijs. ‘Een jaar scholing in een dorpje in de Braziliaanse Amazone is niet hetzelfde als en jaar scholing in België’, schrijft hij in een veelgeciteerde publicatie uit 2008. Als maat voor onderwijskwaliteit gebruikt Hanushek in deze studie resultaten die landen behalen op internationale tests zoals die van Oeso (Pisa) en het onderzoeksinstituut IEA in Boston (TIMMS en PIRLS). Hij vergeleek testscores met economische groei en zie daar: nu is de positieve relatie er wel.

Niet waterdicht
Het verband tussen groei en onderwijsresultaten is voor veel economen een reden om te pleiten voor investeringen in onderwijs. Dat is mooi, maar hun invloed gaat verder. Ze rekenen ook uit hoe efficiënt onderwijs is, wat het rendement is van leerkrachten en wat de kosten en baten zijn onderwijsmaatregelen. Maar zijn dat soort berekeningen wel waterdicht?
Op verzoek van het ministerie van Onderwijs onderzocht het Centraal Planbureau (CPB) eind vorig jaar hoe kosten-batenanalyses kunnen worden toegepast bij de onderbouwing van onderwijsbeleid. Het CPB concludeert dat dit in principe kan, al erkent het planbureau dat doorgaans de cijfermatige informatie die nodig is om de voor- en nadelen van onderwijsmaatregelen echt tegen elkaar af te wegen, over het algemeen ontbreekt. Dat blijkt.
Een policy brief over zittenblijven, waarin het CPB begin dit jaar concludeerde dat zittenblijven duur is, laat zien wat er bij kosten-batenanalyses mis kan gaan. Basis voor de conclusie was een eenvoudige optelsom: scholen krijgen van het ministerie jaarlijks een bijdrage per leerling van zo’n 6000 euro (lagere school) of 7500 euro (middelbare school). Het CPB vermenigvuldigde deze kosten met een schatting van het jaarlijkse aantal zittenblijvers en zie daar: er rolde een jaarlijkse kostenpost van een half miljard uit de bus. Zo lijkt zittenblijven afschaffen een mooie oplossing om de overheidsbegroting op te poetsen.
Maar hoe zit het met de baten? Wie het CPB-rapport leest komt tot de conclusie dat het probleem zittenblijven te ingewikkeld is voor een sluitende kosten-batenanalyse. Het opvallendst is de voorlopige conclusie van het CPB, gebaseerd op wetenschappelijk correct opgezette studies, dat zittenblijven helpt. Twee Amerikaanse onderzoeken laten zien dat kinderen die blijven zitten het jaar daarop beter presteren dan kinderen die met de hakken over de sloot over mogen. Het effect is na een paar jaar uitgewerkt, maar met deze taxatie van de baten van zittenblijven is het CPB toch opvallend positief. Zo concludeert de Nieuw-Zeelandse onderwijsonderzoeker John Hattie in overzichtswerken dat zittenblijven één van de weinige maatregelen is in het onderwijs met een negatief effect op onderwijsprestaties. Hattie veegde de beschikbare wetenschappelijke studies naar zittenblijven bijeen, zonder onderscheid te maken naar kwaliteit. Het CPB doet dat wel, maar drukt de (tijdelijke) vooruitgang in leerprestaties niet in geld uit.
Voor een sluitende kosten-batenanalyse is dat wel nodig. Het CPB had dan bovendien ook de kosten moeten inschatten van alternatieven voor zittenblijven zoals de zomerschool of de extra inspanningen die leerkrachten moeten leveren als ze jarenlang werken met een kind dat (ten onrechte) niet is blijven zitten.
En wat als kinderen die niet blijven zitten terug moeten naar een lager niveau? Hier komt het CPB tot een malle analyse. Een vwo’er die niet blijft zitten maar de havo afmaakt in plaats van het vwo, is twee jaar eerder klaar. Dat levert de overheid tweemaal het bedrag op dat zij jaarlijks uitgeeft aan middelbaar onderwijs, aldus het CPB: 13 duizend euro. Het planbureau erkent dat deze redenering alleen geldt als de zogeheten afstroom geen gevolgen zou hebben voor wat economen ‘het menselijk kapitaal’ noemen: de inkomsten van de havist in kwestie in de rest van zijn leven. Maar als die gevolgen er niet waren, zou een economisch redenerende overheid het hele onderwijs kunnen afschaffen, dat is immers goedkoper.
Woordvoerder Edwin van de Haar meldt desgevraagd dat het CPB ondanks ‘alle kanttekeningen en onzekerheden’ rekent met rendementen op onderwijsinvesteringen van 5 tot 10 procent (voor het individu) en 7,5 tot 12,5 procent (voor de maatschappij). Maar in de policy brief over zittenblijven gebeurt dat niet. Het CPB merkt op dat het verlies aan inkomen in een mensenleven ‘enkele tonnen’ kan bedragen als een middelbare scholier die ten onrechte niet blijft zitten daarna niet op de universiteit terechtkomt, maar in het beroepsonderwijs. In de kosten-batenanalyse van zittenblijven is deze post niet verwerkt.

Het alternatief
In het boek Het alternatief, afgelopen zomer gepresenteerd in de Engelse vertaling Flip the System, verzetten leerkrachten Jelmer Evers (geschiedenis) en René Kneyber (wiskunde) zich tegen de overheersing van economische redeneringen in het onderwijs. Meer dan twintig leerkrachten en andere onderwijsspecialisten vallen hen bij, elk met eigen bijdragen aan het boek.
Alderik Visser (geschiedenisleraar in Rotterdam), Stephen Ball en Gert Biesta (beiden hoogleraar in Engeland) leggen in hun bijdragen uit dat het onderwijs geen markt is en zeker niet een markt met standaardproducten waarin we studenten als klanten kunnen beschouwen. Natuurkundedocent Dick van der Wateren beschrijft de gevaren van het beoordelen van leerkrachten op hun toegevoegde waarde: de individuele bijdrage die zij leveren aan de leerprestaties van kinderen.
Ten slotte maken tal van auteurs zich in Flip the System zorgen over het feit dat internationaal vergelijkbare scores op tests zoals Pisa, TIMMS en PIRLS de onderwijsagenda gekaapt hebben, het verbeteren van deze scores is voor onderwijsbeleidsmakers in sommige landen een doel op zich. Ten onrechte vinden zij, want goed onderwijs dient zoveel andere doelen.

Bommetje
Leerkrachten hebben kritiek, maar ook economen zelf hebben hun twijfels over het klakkeloos accepteren van internationale testscores als een maat voor goed onderwijs. In de studie Hoeveel leert een kind op school plaatste het CPB nog niet zo lang geleden een bommetje onder de waarde van de internationale onderwijstests die ook de auteurs van Het alternatief bekritiseren.
De CPB-studie maakt handig gebruik van het feit dat leerlingen in veel landen korter of langer naar school gaan afhankelijk van de maand waarin ze geboren zijn. De auteurs concluderen dat negen- en dertienjarigen met een jaar extra schoolervaring beter scoren op TIMMS, de internationale wiskunde en wetenschapstest van de onderwijsonderzoekers van het IEA. Dat is niet verassend. Maar het is wel vreemd, zo merken de auteurs op, dat de landen waar kinderen veel vooruitgang boeken op de internationale tests niet de landen zijn die op deze tests hoog scoren.
Met andere woorden: leerlingen die door extra onderwijs snel vooruitgaan op een internationale test als TIMMS scoren over het algemeen niet hoger op diezelfde test. De enig mogelijke verklaring daarvoor is dat kinderen die snel vooruitgaan op een lager niveau begonnen zijn. Als dat klopt, dan is dat een extra reden om testscores niet te gebruiken als maat voor de kwaliteit van onderwijs.
Inderdaad concludeert het CPB: ‘Hoge scores op tests kunnen een slecht presterend onderwijssysteem maskeren als de omstandigheden buiten school gunstig uitpakken voor het leren.’ Dat is slecht nieuws voor economen als Eric Hanushek die proberen de gunstige effecten van familie en leeftijdgenoten te scheiden van de invloed van goed onderwijs. Het is ook slecht nieuws voor beleidsmakers die internationale testscores gebruiken om te bepalen of hun maatregelen werken.
Een recente studie van de Oeso heeft laten zien dat landen als Duitsland, Denemarken en Japan hun onderwijssysteem op zijn kop hebben gezet in reactie op tegenvallende Pisa-scores. Maar het is de vraag of zij wel op basis van de juiste feiten gehandeld hebben. Het CPB concludeert: ‘Een focus op testscores alleen zal waarschijnlijk misleidende informatie opleveren over de prestaties van een onderwijssysteem.’
Dat het CPB en andere economen die testscores toch als uitgangspunt nemen is volgens CPB-woordvoerder Van de Haar onvermijdelijk: “Uiteraard zijn wij bekend met de haken en ogen aan dergelijke metingen, maar dit betekent niet dat ze geen waarde hebben.” Bovendien, stelt Van de Haar, zijn er weinig alternatieven beschikbaar.

Groentje
Tegenstrijdigheden plagen niet alleen het onderzoek naar internationale testscores, maar ook economische meetsystemen voor de prestaties van leerkrachten. In Flip the System citeert de Nederlandse leerkracht Dick van der Wateren onderzoek waarin zijn Amerikaanse collega Gary Rubenstein laat zien dat een groot bestand met gegevens over de toegevoegde waarde van 18 duizend leerkrachten in New York inconsistenties bevat. Zo komt er uit die dataset naar voren dat de toegevoegde waarde van leerkrachten in New York jaarlijks sterk fluctueert en dat zij het in hun tweede jaar voor de klas niet of nauwelijks beter doen dan in het eerste jaar, waarin zij zich als groentje voor het eerst alleen moesten redden.
In een rapport van april 2014 concludeert de Onderwijsraad dat het meten van toegevoegde waarde en het daaraan verwante begrip leerwinst voor scholen en leerkrachten een goed instrument kan zijn om hun onderwijs te verbeteren.
Leerwinst is de vooruitgang die een leerling maakt in de scores van het volgsysteem van zijn eigen school. Niets mis mee om die te meten. Elke leerkracht zal wel beamen dat de vooruitgang op scores in het leerlingvolgsysteem meer zegt dan die scores op zichzelf.
De problemen ontstaan bij het berekenen van de toegevoegde waarde: de bijdrage die een school of zelfs een leerkracht heeft geleverd aan de leerwinst van een leerling. Het uitrekenen van de toegevoegde waarde is nodig om scholen of zelfs leerkrachten onderling te kunnen vergelijken.
Ook hier is weer sprake van een bedrieglijke precisie waar leerkrachten de dupe van worden als ze niet oppassen. Want hoezeer economen ook rekenen, het lukt niet om de bijdrage die een school of leerkracht levert aan de prestaties van een kind op een betrouwbare manier los te koppelen van andere factoren die deze resultaten veel sterker beïnvloeden, zoals de sociaal economische achtergrond.
Eric Hanushek heeft betoogd dat Amerika zou kunnen doorstoten naar de top van de internationale ranglijsten op onderwijsgebied als de 10 procent leerkrachten die de minste waarde toevoegen aan de prestaties van hun leerlingen ontslagen zouden worden. Maar voor elke econoom als Hanushek is er een sceptische collega die zijn analyses in twijfel trekt. Jesse Rothstein van de Universiteit van Californië bijvoorbeeld, die waarschuwt dat leraren ontslaan op basis van hun toegevoegde waarde even oneerlijk is als ontslag door het opgooien van een muntje.
Zelfs als het mogelijk zou zijn, is het uitrekenen van de toegevoegde waarde van een leerkracht razend ingewikkeld en voor buitenstaanders onnavolgbaar. Zolang economen het zelf over dergelijke analyses niet eens zijn, hebben leerkrachten geen reden om de zeggenschap over hun vak aan hen uit handen te geven.