Slechte kwaliteit is lariekoek

De kwaliteit van examens in de bve-sector is volgens de inspectie al jaren onvoldoende. Ook in 1999 bleek driekwart van de onderzochte examens weer beneden peil. Hoofdinspecteur bve Jan Teuwen vindt de situatie ernstig, maar volgens Alard Beck van de Bve-raad zegt het onderzoek weinig. 3De uitkomst is absoluut geen redelijke afspiegeling van de werkelijke kwaliteit.2

Het Onderwijsverslag 1999 maakt voor het eerst melding van het inhoudelijk onderzoek naar examens van opleidingen die onder de Wet educatie en beroepsonderwijs vallen. Van de 141 examentrajecten waren elf trajecten niet te beoordelen omdat gegevens ontbraken. Van de overige examens voldoet zeventig procent niet aan de inspectienorm. Examenopgaven sluiten bijvoorbeeld onvoldoende aan bij het gegeven onderwijs, of bepaalde vaardigheden worden niet getoetst. Daarbij maken instellingen geen of een onjuist gebruik van een onafhankelijke exameninstelling, ook wel externe legitimering geheten, terwijl dat wel verplicht is.
Volgens Alard Beck van de Bve-raad, de overkoepelende organisatie van roc-opleidingen, is de steekproef van de inspectie zeker niet representatief. 3De inspectie heeft 130 examens onderzocht, terwijl we er jaarlijks duizenden afnemen. Het is lariekoek om nu te denken dat zeventig procent van alle examens niet voldoet. Toch is dat beeld ontstaan en dat vind ik een uitermate kwalijke zaak. Het werkt zeer demotiverend.2
De Bve-raad twijfelde aan de werkwijze van de inspectie en heeft die laten onderzoeken door het Cito. 3Hieruit komt niet naar voren dat de inspectie met verschillende maten heeft gemeten, of de lat te hoog heeft gelegd2, geeft Beck toe. 3Maar volgens het Cito is het logisch dat er met zoveel regelgeving rondom examens wel eens ongelukken gebeuren.2

Ziekte
Sinds de invoering van de Wet educatie en beroepsonderwijs in 1997 moet elke toets de eindtermen dat wat een leerling na de opleiding behoort te kunnen en kennen - afdekken. Landelijke organen van beroepsonderwijs bepalen in samenspraak met het bedrijfsleven deze eindtermen, die vervolgens worden opgenomen in de onderwijs- en examenregeling. Dit reglement is een soort contract met de leerling, waarin staat wat hij van de opleiding kan verwachten, hoe het examen is geregeld en wat hij na de opleiding kan.
Alard Beck: 3Zo1n reglement houdt geen rekening met de werkelijke onderwijssituatie, waar natuurlijk van alles mis kan gaan. Door bijvoorbeeld ziekte lukt het gewoon niet om binnen een bepaalde termijn de lesstof te behandelen. Het is in de praktijk onmogelijk om precies te voldoen aan de regels. Maar de inspectie gebruikt juist dit reglement voor haar controle. Ja, dan vind je altijd wel iets dat niet klopt, maar dat wil niet zeggen dat de kwaliteit onvoldoende is.2
Een roc moet zorgen dat de lessen en de toetsing van de lesstof voldoen aan de eindtermen. Per juli vorig jaar zijn de instellingen verplicht een deel van de examens te laten controleren door een onafhankelijke exameninstelling. 3Juist deze exameninstellingen hebben luid en duidelijk uitgesproken dat er grote vooruitgang is geboekt2, zegt Beck. 3Daarbij concluderen ze dat de kwaliteit van het examen, ook als opleidingen zich soms niet aan de regels hebben gehouden, recht overeind blijft. Natuurlijk ontken ik niet dat de gecontroleerde examentrajecten gebreken vertonen, maar het is allemaal niet zo zwart-wit als de inspectie ons wil doen geloven.2
Jan Teuwen, hoofdinspecteur van de bve-sector, erkent dat de conclusies van de inspectie over de examens wat pregnant in het nieuws zijn gekomen. 3De bevindingen zijn al in januari bekend gemaakt in het Examenverslag 1999. Omdat wij onlangs examinering in het algemeen als onderwerp kozen voor de presentatie van het Onderwijsverslag zijn de conclusies nogmaals breed uitgemeten in de pers. We hebben inderdaad maar een beperkt aantal opleidingen gecontroleerd. Maar uit die steekproef blijkt wel dat zeventig procent niet voldoet, en dat is ernstig.2
We hebben gekeken of er integer geëxamineerd is, of er valide en betrouwbaar is gewerkt2, vervolgt Teuwen. Naast controle of de procedures in de examenregeling zijn nagekomen, heeft de inspectie ook inhoudelijk de examentrajecten bekeken. Hiervoor zijn externe deskundigen ingeschakeld die het niveau van de toetsen beoordeelden. 3We kijken echt niet alleen naar de procedure zoals de Bve-raad zegt. Of een toets een dag eerder is gepland of naar morgen is verschoven, is helemaal niet van belang. Veel ernstiger is het als een docent bij te veel onvoldoendes een extra toets houdt, zonder dat dat is opgenomen in de examenregeling. Als hij deze extra toets zelf zonder enige controle van andere docenten maakt, is het gebeurd met de objectiviteit. Dat zijn de punten waar het om gaat. Instellingen maken afspraken en het is aan hen om te doen wat ze beloven.2

Welles/nietes
Dat er grote vorderingen zijn gemaakt, ontkent Teuwen niet. 3Maar ik moet dat toch wat nuanceren. Voorheen waren bijvoorbeeld de examens voor het leerlingwezen strikt op orde. Nu het leerlingwezen onder de beroepsbegeleidende leerweg valt, moeten we helaas constateren dat de examinering niet meer deugt. Dus wat dat betreft is het er echt niet beter op geworden.2
Als een opleiding is onderzocht, gaat de inspectie een jaar later opnieuw op controle. 3We zien dan duidelijke verbeteringen2, concludeert Teuwen. 3Maar als we dan naar andere opleidingen binnen dezelfde instellingen kijken, worden daar soms eendere fouten gemaakt. We zien verbeteringen en progressie, maar het consistent doorvoeren zien we niet altijd gebeuren en dat is jammer.2
Jan Teuwen weet heel goed hoe lastig het is om veranderingen door te voeren. Voor zijn overstap naar de inspectie in 1997 was hij lid van het college van bestuur van roc Gilde-opleidingen. 3Natuurlijk heb ik begrip voor alle veranderingen die roc1s doormaken. Maar als instelling moet je wel prioriteiten weten te stellen en ik vind dat die bij examens moeten liggen. Een school moet diploma1s afgeven waar ze haar handen voor in het vuur durft te steken. Ik weet ook dat er nog veel ontwikkeld moet worden en dat voordat alles op orde is we wel een paar jaar verder zijn. Maar dat neemt niet weg dat je wel de lat mag stellen en dat je daaraan mag afmeten of de kwaliteit gehaald is.2
Hij betreurt het dat de Bve-raad zo in de verdediging gaat. 3Ik vind het jammer om in een welles/nietes-spelletje te belanden. De Bve-raad behartigt natuurlijk de belangen van de leden, maar de inspectie staat ook voor het bve-belang en dat van de leerlingen. Ik kom even hard op voor de mensen in de bve-sector. Wel zo, dat een instelling moet zorgen dat alles voor elkaar is, zodat we ook eens positief kunnen berichten. Als inspectie willen we natuurlijk ook veel liever melden dat de examens in orde zijn.2

Meer tijd voor examens
In alle onderwijssectoren is na de presentatie van het Onderwijsverslag van de inspectie de discussie over examineren losgebarsten. Voor de bve-sector heeft de Bve-raad inmiddels met minister Hermans afspraken gemaakt. Zo moet het aantal toetsen worden verminderd en moeten opleidingen binnen een instelling meer samenwerken om de kwaliteit van examens te verbeteren.
Op het Albedacollege in Rotterdam heeft de inspectie een deel van de examens van drie opleidingen gecontroleerd en onvoldoende bevonden. Hoewel de steekproef zeker niet als representatief wordt beschouwd, is het voor het management aanleiding geweest om de examinering van alle opleidingen te bekijken. Marjo Jansen, beleidsmedewerker onderwijs: 3Uit ons onderzoek komt duidelijk naar voren dat de examinering aan het veranderen is. Vanaf augustus zullen voor veel opleidingen ontwikkelteams van docenten de toetsen maken. Ook zullen aparte commissies controleren of deze toetsen voldoen aan de eindtermen. Het toetsen hangt dus niet meer van één persoon af. Daarnaast gaan docenten met een toetsmatrijs werken, een soort blauwdruk wat er minimaal in een toets moet.Jansen ziet bovendien een ontwikkeling in toetsing via internet. 3Steeds meer exameninstellingen gaan samen met roc1s toetsenbanken oprichten. Voordeel hiervan is dat je op meerdere tijdstippen in een studiejaar de leerling een examen kunt aanbieden, waardoor je als instelling flexibeler bent.
Dat de kwaliteit nog niet overal op orde is, is volgens Jansen te wijten aan de drukke tijd die roc1s achter de rug hebben. 3De fusies van scholen, de invoering van de wet, alles vond bijna tegelijkertijd plaats. Ik zie dat er nu echt tijd en ruimte vrijkomen om de kwaliteit van de examens eens goed aan te pakken.

Plezier
Bart ter Haar, voorzitter examenbureau afdeling techniek van het roc Utrecht, is het daarmee eens. 3Geen enkele partij was voorbereid op de veranderingen. Het ontwikkelen van examenregelingen, de fusies, het herzien van managementstructuren, noem maar op. Je hebt dan niet van de ene op de andere dag toetsen die meteen aan de eindtermen voldoen. Daarbij hebben niet alle landelijke organen de eindtermen zo omschreven dat die richtinggevend zijn voor het onderwijs en de toetsing. Het ene orgaan doet dat heel globaal, terwijl het andere verzandt in detaillering. Binnen de unit techniek heb je al gauw te maken met zo1n zes landelijke organen die allemaal een ander liedje zingen. Het zou echt een winst zijn als die organen meer gaan samenwerken.2
Ook hij is voorstander van een toetsenbank. Op zijn werkplek laat hij de vele ordners zien, waarin de gemaakte toetsen worden verzameld. 3De rij groeit gestaag. Het zou natuurlijk makkelijker zijn als alles in de computer wordt opgeslagen. Een toetsenbank is dan een goed idee. Als een docent een toets nodig heeft, kan hij gewoon in de computer kijken en er een uitdraaien. Nu is dat allemaal nog ontzettend onhandig.
Ter Haar benadrukt dat examinering slechts een klein aspect van het onderwijs is. 3In feite moet het leerproces centraal staan, zodat de leerling na het afsluiten van de opleiding gewoon zijn vak verstaat. Plezier in werken en leren is toch het belangrijkste van de opleiding.