Je doet een opleiding, aan het einde doe je examen, je krijgt je diploma en gaat aan het werk. Dat is de traditionele aanpak van toetsen in het onderwijs. Veel onderwijsinstellingen zien dat graag veranderen. We kunnen meer doen rondom het leren van toetsen, maar hoe kun je het dan inrichten? Misschien is programmatisch toetsen daar de oplossing voor.
Wanneer je een enkele toets afneemt bij studenten is er altijd sprake van een compromis als het gaat om de kwaliteitscriteria. Het is onmogelijk om een perfecte betrouwbaarheid, validiteit en acceptatie te behalen. Wanneer je een kennistoets afneemt kun je streven naar perfecte betrouwbaarheid, wanneer je een praktijk-assessment inzet zul je meer streven naar authenticiteit en neem je genoegen met een minder objectief oordeel. De keuze van het compromis heeft te maken met de context en het doel van de toets.
Wanneer toetsen worden ingezet, is er dus vaak sprake geweest van een compromis. Toch worden er dagelijks zware beslissingen genomen op basis van deze toetsen: diploma, studieadvies, overgaan naar het volgende jaar. Programmatisch toetsen probeert hiervoor een oplossing te bieden door verschillende toetsmethoden samen te voegen, die samen het eindresultaat bepalen.
Wat is er mis met de traditionele manier?
Wanneer een student zakt, moet hij vaak het hele examen herkansen. Wanneer de student meerdere keren zakt, moet hij het hele vak opnieuw doen. Als je een aantal toetsen hebt behaald, mag je door naar de grote eindtoets. Hoewel studenten vaak wel worden gestimuleerd door dergelijke examens, wordt er onterecht vanuit gegaan dat studenten hetgeen er is getoetst voor de rest van hun leven beheersen. In de meeste gevallen zal dit niet zo zijn. Volgens psychologen zijn de meeste studenten 50% van het geleerde al binnen een paar weken vergeten.
Daarnaast is het de vraag of ze datgene wat is geleerd ook in de praktijk kunnen toepassen: het transferprobleem. Stel je voor dat je iemand een cursus geeft over communicatie, die bestaat uit 4 lesdagen. Daarna beoordeel je hem met een mondeling examen. De conclusie op basis van onze traditionele manier van toetsen is dat deze student voldoende kan communiceren. Maar de praktijk laat ons zien dat dit soort vaardigheden zich ontwikkelen over een langere periode van tijd. Wanneer je het demonstreert in de praktijk en hierover feedback ontvangt. Bij de huidige manier van toetsing is de feedback vaak mager. Soms bestaat de feedback alleen uit een cijfer.
Principes van programmatisch toetsen
Programmatisch toetsen is gebaseerd op een aantal toetsprincipes:
Enkele toets representeert één datumpunt
In programmatisch toetsen wordt er niet gesproken over examenresultaten, maar over data-punten. Eén toetsresultaat staat gelijk aan één datumpunt. Er bestaat geen perfecte toets. Dus je hebt behoorlijk wat datumpunten nodig om een oordeel te geven over jouw student.
Ieder datumpunt is bedoeld om van te leren
Ieder datumpunt is rijk aan feedback en informeert de student over zijn voortgang. Soms wordt de leertaak zelf gebruikt als datumpunt. De voorwaarde is dat het de studiehouding bevordert en de student verder kan helpen. Daarmee is het geoorloofd om iedere toetsmethode toe te passen, waarmee zicht gegeven kan worden op de voortgang. Dus ook dat mondelinge examen en die hele lange casus, die eerst te subjectief werd bevonden.
Consequenties zijn gebaseerd op een ononderbroken reeks van resultaten
Programmatisch toetsen kent geen onderscheid tussen formatieve en summatieve toetsen. Ze spreken over high-stake en low-stake datapunten. Een low-stake datumpunt kan samen met andere datapunten gebruikt worden voor een high-stake beslissing.
Zwaarte van de beslissing en het aantal datumpunten zijn gerelateerd
Hoe zwaarder de beslissing is die genomen moet worden (bijvoorbeeld diplomeren) hoe meer datapunten er nodig zijn om deze beslissing te nemen.
Studenten worden geholpen bij het gebruiken van feedback
Programmatisch toetsen heeft als doel om het zelfsturend leren van studenten te bevorderen. Dit wordt gedaan met behulp van een dialoog, meestal met behulp van een mentor. Mentoren helpen de student bij het verwerken van de gegeven feedback. Dit doen zij door veel vragen te stellen. Maar ook medestudenten kunnen hierin een grote rol spelen.
Samenvoegen van beoordelingen met behulp van betekenisvolle entiteiten
Programmatisch toetsen richt zich vaak op competenties of andere entiteiten die vakoverstijgend zijn. Hoe kun je datapunten die voortkomen uit een specifiek vak samenvoegen met andere datapunten? Meestal is daar een overkoepelde term voor nodig (zoals een competentie). Zo kan een resultaat uit het vak statistiek misschien een datumpunt zijn onder de competentie analyseren.
Procedurele maatregelen dragen bij aan de betrouwbaarheid van de beslissingen
Wanneer er veel datapunten beschikbaar zijn en er een belangrijke beslissing genomen moet worden over de student, is het van belang dat deze beslissing geaccepteerd kan worden. Een oordeel geven hierover is niet eenvoudig. Er wordt geadviseerd om een comité op te richten die verantwoordelijk is voor het nemen van die beslissingen. De leden van dit comité zijn onafhankelijk van de docenten en studenten. Je kunt daarbij toestaan dat de mentor het comité voorziet van een advies, maar de leden van het comité nemen een beslissing over de student. Daarmee wordt de relatie tussen de mentor en de student beschermd.
Benieuwd hoe dit in de praktijk ingericht kan worden? De Universiteit van Maastricht gebruikt programmatisch toetsen voor hun medisch onderwijs. In deze film legt één van de onderzoekers uit hoe dit werkt.
Bron: Van der Vleuten, C., Heeneman, S., & Schuwirth, L. (2017). Programmatic assessment. A Practical Guide for Medical Teachers, 295.
