Het effect van herkansingen op de toetsresultaten

Je biedt zelden één examenpoging aan. Vaak zijn er één of meerdere herkansingsmogelijkheden nodig om de grote groep kandidaten door

Je biedt zelden één examenpoging aan. Vaak zijn er één of meerdere herkansingsmogelijkheden nodig om de grote groep kandidaten door een toetsprogramma te helpen. Wat is nu het effect van die herkansingen?

Soms zijn er examenkandidaten die echt wel de kennis, vaardigheid en mogelijkheden hebben om te kunnen slagen voor een toets, maar toch zakken. Soms met alle gevolgen van dien (niet overgaan, geen diploma, enzovoorts). Dit worden fout-negatieve beslissingen genoemd. Zij zijn dan onterecht gezakt.

Andersom geldt hetzelfde: er zijn examenkandidaten die de kennis, de vaardigheid en de mogelijkheden missen die nodig zijn om te kunnen slagen voor de toets, maar toch slagen. Dit worden fout-positieve beslissingen genoemd. Misschien nog wel erger dan de eerste groep, want deze groep is onterecht geslaagd.

Het is belangrijk om hier als toetsontwikkelaars bij stil te staan, omdat je de fout-negatieve en fout-positieve beslissingen vaak niet kan opsporen. Als dat wel zo was, dan had je dat al gedaan en gecorrigeerd.

De meeste onderwijs- en exameninstellingen staan kandidaten toe om toetsen te herkansen, wanneer ze hier niet bij de eerste poging voor slagen. Onder andere Millman (1989) heeft in een onderzoek aangetoond wat het effect is van herkansingen en concludeert: hoe meer herkansingen toegestaan zijn, hoe groter de kans op fout-positieve beslissingen

Dus hoe meer herkansingen, hoe meer kandidaten onterecht slagen. Dit wordt aangetoond in de onderstaande figuur.

Figuur 1 Bron: Millman

Voor deze toets is een beheersingsniveau van 70% vereist. In de verschillende lijnen zie je aantallen kandidaten met verschillende beheersingsniveau ’s. Daarvan zie je dat de lijn van 70% en 75% beheersing (dus de geschikte kandidaten) niet allemaal de toets halen in de eerste poging (dat zijn dus fout-negatieve beslissingen). Maar vooral de lijn van de kandidaten waarvan het beheersingsniveau onder de maat is (60% en 65%) is erg interessant. Deze stijgt bij de 65% groep bijvoorbeeld aanzienlijk per poging. En zie je bijvoorbeeld bij poging 10 dat maar liefst 80% van deze groep toch het examen haalt.

Je kunt dit helaas niet volledig voorkomen. Je wilt ten slotte wel een herkansing aanbieden, omdat (zo laat de grafiek ook zien) er een hele groep geschikte kandidaten het examen niet haalt tijdens de eerste poging, maar het is wel belangrijk om het aantal herkansingen goed te overwegen.

Er valt iets voor te zeggen om het aantal herkansingen te beperken. Als je het alleen zou baseren op de grafiek van Millman, zou je misschien al na de tweede poging een andere toetsvorm moeten inzetten. Dan worden de fout-positieve beslissingen groter dan de fout-negatieve beslissingen. Dit heeft natuurlijk alles te maken met het doel van de toets. Gaat het om een formatieve toets of om een summatieve toets in een rijk toetsprogramma, dan is het misschien minder belangrijk. Ook speelt de doelgroep mee: gaat het bijvoorbeeld om een examen voor artsen of verpleegkundigen? Dan is het misschien slimmer om al na één examenpoging een andere toetsvorm in te zetten.

Bronnen:

  • Cizek, G. & Bunch, M. (2007). Standard Setting. Thousand Oaks: Sage Publications
  • Millman, J. (1989). If at first you don’t success: Setting passing scores when more than one attempt is permitted. Educational Researcher, 18(6), 5-9