• blad nr 9
  • 1-10-2021
  • auteur . Breetvelt 
  • Opinie

 

Studentenquêtes bedreigen onderwijskwaliteit

Wetenschappelijk onderzoek laat zien dat studenten de kwaliteit van hun docenten niet goed beoordelen. Het toenemend belang dat bestuurders en leidinggevenden hechten aan deze oordelen brengt de kwaliteit van het onderwijs in gevaar, schrijft Iris Breetvelt.

Met de invoering van de Wet modernisering universitaire bestuursorganisatie (1997) heeft een nieuwe managementfilosofie zijn intrede gedaan in het hoger onderwijs. Instellingen worden bestuurd als private ondernemingen en meer en meer gezien als competitieve organisaties die zich moeten richten op efficiëntie en studierendement. Internationalisering van wetenschap en studenten vergroot het belang van internationale rankings van onderwijsinstellingen en dat draagt daaraan bij.
Om de onderwijskwaliteit te monitoren en te verbeteren, heeft het ministerie met instellingen in het hoger onderwijs zogenoemde kwaliteitsafspraken gemaakt. Vragenlijsten waarin studenten een oordeel geven over hun docenten en de kwaliteit van het onderwijs, worden al lange tijd gebruikt om de kwaliteit van ons onderwijs te beoordelen en te verbeteren, maar in de context van de kwaliteitsafspraken hebben deze enquêtes in het afgelopen decennium een nieuwe functie gekregen: Ze worden ook meer en meer gebruikt om docenten te beoordelen.
Dat is niet vanzelfsprekend. In wetenschappelijke publicaties is het idee dat het oordeel van studenten een valide maatstaf is om de kwaliteit van docenten te beoordelen de laatste jaren ter discussie gesteld.

Overeenstemming
Om een betrouwbare meting te doen, is het in de eerste plaats nodig dat verschillende beoordelaars voldoende overeenstemming bereiken over de scores die ze toekennen aan docenten en hun lesstof. Dat is niet het geval, zo blijkt uit studies van onder andere de Amerikaanse onderwijsonderzoeker Dennis Clayson uit 2018. Clayson laat zien dat in het oordeel van verschillende studentengroepen over eenzelfde cursus enorme verschillen bestaan. Als het oordeel van studenten wordt gebruikt voor beslissingen waarbij de rechtspositie van docenten in het geding is, dan is de zogenoemde interbeoordelaarsbetrouwbaarheid van deze oordelen een absolute vereiste.
Overzichtsstudies, zoals die van onderwijsonderzoeker Peter Cogen, uit de jaren tachtig - zogenoemde meta-analyses - wezen aanvankelijk op een positief verband tussen het oordeel van studenten over docenten en hun studieprestaties als maat voor de effectiviteit van het onderwijs, maar ook deze conclusie is intussen achterhaald. Een studie van Clayson uit 2009 heeft aangetoond dat dit vermeende positieve verband verdwijnt als in meta-analyses wordt gecorrigeerd voor de omvang van de steekproeven die daarin is gebruikt. Naarmate het onderzoek methodologisch beter is opgezet, met naar aantal en omvang voldoende parallelgroepen met verschillende docenten, vertonen studentevaluaties minder tot zelfs geen samenhang met studieprestaties. Het ontbreekt studentevaluaties dus aan validiteit: de waardering van een docent valt niet zonder meer samen met de effectiviteit van die docent.

Reviews
Wetenschappelijk onderzoek wijst uit dat studenten grote steken laten vallen waar het gaat om de beoordeling van hun docenten. Zo hebben recente reviews van bestaand onderzoek laten zien dat zowel vrouwelijke als mannelijke studenten mannelijke docenten hoger beoordelen dan hun vrouwelijke collega’s. Ook worden docenten met een niet-westerse achtergrond lager beoordeeld dan hun collega’s. Verder blijkt ook de fysieke aantrekkingskracht van docenten een belangrijke factor te zijn in het oordeel dat studenten geven over docenten. Onderzoekers spreken in dit verband van een halo-effect, een fenomeen dat begin vorige eeuw is gedefinieerd door de Amerikaanse wetenschapper Edward Thorndike: aan mensen die er op een foto aantrekkelijk en goed verzorgd uitzien, worden vaak ten onrechte tal van andere positieve eigenschappen toegeschreven.

Gelikt
Bij het oordeel van studenten over lesprogramma’s spelen vergelijkbare problemen. Studenten gaan er ten onrechte vanuit dat gelikte presentaties door enthousiaste docenten met veel visualisaties leerzamer zijn dan saaie presentaties. Ze hebben daarentegen geen oog voor de effectiviteit van didactische methodes waarvan bewezen is dat ze werken, zoals het in herinnering roepen van kennis die studenten eerder hebben opgedaan. De aard van het vak doet er ook nog toe want bij kwantitatieve en sterk hiërarchisch georganiseerde vakdomeinen vallen de docentevaluaties minder hoog uit dan bij veel alfa- en gammavakken.
Bovengenoemde factoren verklaren het gebrek aan statistische samenhang tussen studentevaluaties en hun studieprestaties. Studenten blijken geen betrouwbare en valide beoordelaars te zijn van de effectiviteit van lesprogramma’s en docenten.
De Amerikaanse onderwijsonderzoekers Carpenter, Witherby en Tauber hebben in een studie van vorig jaar laten zien dat het merendeel van bestuurders en leidinggevenden in het onderwijs studentevaluaties gebruikt voor rechtspositionele beslissingen zoals de benoeming, bevordering en het ontslag van docenten. In werkelijkheid zijn deze evaluaties daarvoor niet geschikt. Het gebrek aan betrouwbaarheid en validiteit ervan leidt in een groot aantal gevallen tot onrechtvaardige beslissingen.
Het gebruik van studentevaluaties voor het beoordelen van docenten kan er toe leiden dat zij proberen de studielast te verlagen of lessen te geven die aantrekkelijker zijn, maar misschien ook oppervlakkiger. Dat brengt de kwaliteit van het onderwijs in gevaar.


Iris Breetvelt werkte tot afgelopen zomer als wetenschappelijk onderzoeker bij het Kohnstamm Instituut en was tien jaar lang lid van medezeggenschapsraden van de Universiteit van Amsterdam. Daarnaast is ze lid van de AOb-sectorraad voor het hoger onderwijs. Haar studie naar studentevaluaties is te vinden via op kohnstamminstituut.nl/onderzoek/, zoekterm: Breetvelt

Dit bericht delen:

© 2022 Onderwijsblad. Alle rechten voorbehouden
Het auteursrecht op de artikelen in dit archief berust bij het Onderwijsblad, columnisten of freelance-medewerkers. Het citeren van delen van artikelen is toegestaan, mits met bronvermelding. Volledige overname, herplaatsing of opname in andere publicaties is slechts toegestaan na overleg met de hoofdredacteur via onderwijsblad@aob.nl Indien het gaat om artikelen van freelancers zal hiervoor een bedrag in rekening worden gebracht.