Als een kandidaat voor een toets niet de vereiste score haalt, heeft deze de toets niet gehaald. Er wordt vaak een herkansing aangeboden, zodat de kandidaat zich opnieuw kan bewijzen. Het is verstandig om goed na te denken op welk moment deze wordt aangeboden.

Er zijn verschillende redenen te bedenken waarom iemand een toets niet heeft gehaald. Het kan zijn dat de kandidaat erg zenuwachtig was, slecht heeft geslapen of er zijn andere persoonlijke omstandigheden die de resultaten hebben beïnvloed. Misschien had de kandidaat hard gestudeerd, maar was de stof erg moeilijk.

Wat de reden ook is, het is wenselijk dat kandidaten die de gewenste kennis bezitten slagen en dat degenen die cruciale kennis of vaardigheden missen niet onterecht slagen. Heeft de planning van herkansingen hier invloed op?

Op welk moment bied je een herkansing aan?

Tussen de afname van het originele toetsmoment en de herkansing zit altijd een periode van tijd. Er is onderzocht of een langere periode negatieve invloed had op het uiteindelijke cijfer (Slater, 2008). Het idee erachter was: een langere periode tussen toetsen beïnvloedt de resultaten van de herkansing, omdat de kandidaten de leerstof of -vaardigheden na verloop van tijd (gedeeltelijk) vergeten. Hoewel in het onderzoek naar voren kwam dat een kortere periode iets betere resultaten opleverde, kon dit niet definitief bewezen worden. Hoeveel tijd er tussen de eerste afname en de herkansing zit zou daarom niet van belang moeten zijn.

Wat wel invloed heeft, is of de mogelijkheid tot herkansen bij kandidaten bekend is gemaakt. Hier komt een fenomeen bij kijken wat het herkansingseffect wordt genoemd. Dit houdt in dat wanneer een kandidaat weet dat er een mogelijkheid is om te herkansen, deze minder uren besteedt aan studeren voor de eerste afname. Dit verschilt wel per kandidaat, afhankelijk van de leerstrategie en motivatie. Wat interessant is, is dat wanneer de kandidaat door heeft dat er veel tijd tussen de pogingen zit, het herkansingseffect kleiner lijkt te zijn. Dit kan zijn omdat kandidaten verwachten meer stof te vergeten, naarmate de periode tussen de toetsmomenten groter is. Hoewel hier dus geen bewijs voor is, kan het goed zijn om er rekening mee te houden. Je wilt voorkomen dat kandidaten een tactische keuze maken om voor bepaalde toetsen niet te studeren, omdat ze er toch wel een herkansing voor krijgen.

Herkansingen in een toetsperiode of erbuiten?

Onderwijsinstellingen kunnen vaak zelf kiezen op welke momenten herkansingen plaatsvinden. In veel gevallen worden herkansingen in de volgende toetsperiode afgenomen, bijvoorbeeld om de komende lessen zo min mogelijk in de weg te zitten. Het kan ook een praktische reden hebben, zoals niet voldoende ruimte hebben voor meer toetsen of tentamens. Het kan voor docenten een voordeel hebben, omdat het nakijkwerk tegelijk valt met de toetsen van het aankomende blok. Maar wat is volgens wetenschappelijk onderzoek het beste om te doen?

Het uitspreiden van toetsen over een jaar heeft mogelijk een negatieve invloed hebben op de toetsresultaten (Slater, 2008). Toets- of tentamenweken in het hoger- en voortgezet onderwijs bieden daar een mogelijke oplossing voor. Er zijn wel onderzoekers die pleiten om niet te veel toetsmomenten dicht op elkaar te zetten. Dit is zeker relevant bij onderwerpen die op elkaar lijken, omdat kandidaten de leerstof door elkaar zullen halen (Little, Storm, & Bjork, 2011). Dat wordt interferentie genoemd. De inhoud van een toets is daarmee ook van belang voor het inplannen van een passend herkansingsmoment. Zorg dat kandidaten zo min mogelijk ‘last’ hebben van een herkansing door de interferentie zo goed als mogelijk te voorkomen, zeker in periodes met veel toetsen of tentamens.

Bronnen:

Little, J. L., Storm, B. C., & Bjork, E. L. (2011). The costs and benefits of testing text materials. Memory, 19(4), 346-359.

Slater, R. (2009). The timing of referred examinations. Bioscience Education, 13(1), 1-9.

John Hattie is een bekende naam in het onderwijsonderzoek. Vooral zijn boek ‘Visible Learning’ (‘Leren Zichtbaar Maken’ in het Nederlands) is veel geciteerd. Wat maakte zijn onderzoek zo bijzonder en baanbrekend?

In het boek ging Hattie (2008) in op de data die hij had verzameld voor meta-analyses. Dat is op zich niet bijzonder, totdat je het totale aantal studenten bekijkt. Zijn analyses omvatten meer dan 50.000 studies, met een totaal aantal leerlingen van 240 miljoen!

Effectgrootte van handelingen

Wat wilde Hattie precies uit deze data halen? Hij onderzocht welke ingrepen van docenten een bepaald effect hadden op het leergedrag van studenten. Elke ingreep die opgenomen was in het onderzoek kreeg een bepaalde score, ook wel de effectgrootte genoemd. Wanneer deze een effectgrootte had van 0,4 of meer, dan viel het binnen de zone van gewenste effecten. 0,4 was namelijk het gemiddelde van alle ingrepen samen. Alles wat boven de nullijn zat, maar onder de grens van 0,4, is minder wenselijk. Hoewel deze ingrepen bijdragen aan een verbetering van het leergedrag, stelt Hattie dat het beter is om ze te vervangen voor handelingen die wel de 0,4-grens passeren.

Er zijn veel onderdelen opgenomen voor analyse, waarvan er drie een effectgrootte van boven de 1,0 hadden. Vooraf vragen naar de verwachtingen van studenten heeft het grootste effect. Dit kan te maken hebben met het maken van inschattingen door studenten, waarop een docent weer kan anticiperen en doorvragen. Tweede in de lijst is het toepassen van de cognitieve ontwikkelingstheorie van Piaget. Deze theorie deelt de ontwikkeling van een kind op in verschillende stadia. In elk stadium staat een andere ontwikkeling centraal. Het derde onderdeel is reactie op een interventieprogramma. Dit zijn interventies voornamelijk gericht op jongere leerlingen, zodat ze zich kunnen ontwikkelen op verschillende zaken, zoals sociale competenties en algemene gezondheid.

Wat doen de experts?

Hattie haalde vijf belangrijke onderwerpen uit de studie. Dit zijn de dingen die de beste docenten consistent konden uitvoeren.

1. Deskundige docenten identificeren de belangrijkste manieren om de onderwerpen te presenteren. Het bijzondere aan de excellerende docenten is dat zij dit ook doen bij onderwerpen waar zij zelf weinig van af weten. Ze kunnen snel de verbinding maken met andere onderwerpen, om de stof beter te begrijpen en duidelijk uit kunnen leggen. Ze leggen zo connecties voor zichzelf en de studenten om de kennis beter op te kunnen nemen. Deze docenten zijn sterk in het ontwikkelen van dit soort strategieën om leren te bevorderen.
   
2. Het opzetten en behouden van een prettige werksfeer lijkt een gegeven. Denk hierbij aan foute antwoorden durven geven, wat voor veel leerlingen lastig is, omdat ze een vervelende reactie verwachten. Het is daarom niet vreemd dat docenten die de prettige werksfeer vast kunnen houden betere leerprestaties kunnen bieden, doordat er meer deel wordt genomen aan de les.
3. Ook het constant monitoren en feedback geven aan leerlingen lijkt voor de hand liggend. Hatties onderzoek benadrukt dat de beste docenten hier beter in zijn. Ze zijn beter in anticiperen op veranderingen en weten welke leerlingen achter dreigen te lopen.
4. Een interessant gegeven is dat deskundige docenten vaak van mening zijn dat elke leerling intelligent kan zijn. Hattie stelt dat dit een gevolg is van het respect dat deze docenten hebben voor de leerlingen. Daarnaast lijken ze ook meer passie te tonen voor hun vak. Hoewel het onderzoek aangeeft dat passie lastig te meten is, merken leerlingen het zeker wanneer een docent gedreven is.
5. Een goede docent meet prestaties niet alleen met cijfers. Ze helpen leerlingen ontwikkelen op het gebied van leerstrategieën, creativiteit en leren ze respect te hebben voor anderen en zichzelf.

Vanwege de enorme schaal van het onderzoek is het erg goed generaliseerbaar. Docenten en scholen kunnen met al deze data zich beter richten op de belangrijkste taken en minder belangrijke zaken achterwege laten.

Vorige maand kon je een introducerend artikel lezen over wat programmatisch toetsen precies inhoudt. Deze manier van toetsing is erg verschillend van de huidige, meest gangbare vorm van toetsing door middel van eindtoetsen. Deze maand lees je meer over de werking van onze oplossing voor deze interessante invulling van het onderwijs.

We weten dat elke (onderwijs)instelling een eigen, unieke manier van werken heeft. Dit zal met programmatisch toetsen niet anders zijn. De informatie en afbeeldingen in dit artikel vormen de basis voor het gebruik bij programmatisch toetsen. Zoals je van ons gewend bent, is het mogelijk om aanpassingen te doen en een omgeving naar wens in te richten. Daarnaast zijn de functionaliteiten voor programmatisch toetsen binnen MijnPortfolio nu in gebruik maar worden ook nog doorontwikkeld, op basis van feedback via scholen, partners en studenten. We willen deze eerste blik graag delen, omdat we trots en enthousiast zijn op wat deze oplossing nu al te bieden heeft.

De nieuwe module voor programmatisch toetsen

Met programmatisch toetsen is het voor elke gebruikersrol mogelijk om een uitdaging (of challenge) toe te voegen. Het is dus voor zowel studenten als begeleidende rollen mogelijk om deze aan te maken.

Het doel van een uitdaging is om een student iets te laten bereiken. Dit kan een algemeen doel zijn wat bijvoorbeeld een jaar in beslag neemt, of een specifieke taak die een maand of zelfs korter duurt. Een uitdaging zou er als volgt kunnen uitzien:

Klik op de afbeelding om deze in een tabblad te openen.

Je ziet dat er bij de uitdaging verschillende vragen worden voorgelegd. In dit geval gaat het om een student die graag de Spaanse taal wil leren.

Elke uitdaging kan voltooid worden door er bewijsstukken aan toe te voegen en feedback van experts, professionals en coaches te verzamelen. Begeleidende rollen kunnen dit inzien. Er kunnen ook opmerkingen bij een uitdaging worden geplaatst, bijvoorbeeld om suggesties te doen voor verdere aanscherping.

De gedachte achter het opstellen van deze uitdagingen is dat studenten zelf kunnen aangeven hoe zij willen ontwikkelen. De overkoepelende leerdoelen van een opleiding blijven bestaan, maar de manier waarop deze bereikt worden kan voor elke student uniek zijn. De begeleiders, docenten en coaches kijken samen met de student naar de challenges van de student om te beslissen of deze passend zijn en wat, als de student er mee bezig is, het niveau is waar de student zich naar toe ontwikkelt.

Overkoepelende en individuele leerdoelen

Er zijn individuele leerdoelen die opgesteld moeten worden. Een student kan een individueel leerdoel aan één of meerdere overkoepelende leerdoelen koppelen. Deze worden door de organisatie beschikbaar gesteld. Studenten kunnen ook werkprocessen selecteren, die je in MijnPortfolio terugvindt bij de module voor Kwalificaties. In de onderstaande afbeelding zie je een voorbeeld uit de omgeving van IBS Maastricht.

Klik op een afbeelding om deze in een tabblad te openen.

Hierboven worden de ‘Worlds’ weergegeven. Hiermee heeft deze opleiding haar PLO (programme learning outcomes) vertaald naar 10 ‘werelden’ waarbinnen de leerdoelen van de opleiding zijn ondergebracht en samengevat. Elke MijnPortfolio-omgeving kan deze termen een eigen benaming geven, het mooie hiervan is dat zo exact de taal van de opleiding gesproken wordt. Zo is er optimale herkenbaarheid voor de studenten aan de ene kant, maar door de koppeling aan de formele onderwijskwalificatie is er ook inzicht op de groei van de student op de formele leeruitkomsten of werkprocessen.

Net als bij uitdagingen moet de student beschrijven op welke manier het leerdoel wordt bereikt. In dit geval gaat het over het maken van een interne analyse voor een organisatie. De student wil aantonen dat het leerdoel is behaald door een rapport te laten zien, waarin deze analyse wordt gepresenteerd. Begeleiders kunnen dit bekijken, het bespreken met de student en deze van feedback en een inschaling voorzien.

De concrete uitwerking van dit leerdoel wordt verder verfijnd met behulp van de uitdagingen. In dit voorbeeld wil de student dit doen door een bedrijf of organisatie te benaderen. De omschrijving in de uitdaging moet voor de begeleider duidelijk maken waar dit plaatsvindt en met wie er contact is. Hierbij moet natuurlijk informatie komen op welke wijze de student aan het doel gaat werken, welke stappen hij of zij plant daar naartoe en welke bronnen gebruikt gaan worden. Hieronder vindt je een voorbeeld van een uitdaging uit de omgeving van IBS Maastricht.

Klik op de afbeelding om deze in een tabblad te openen.

De uitdaging wordt vervolgens gekoppeld aan één of meerdere persoonlijke leerdoelen, wat allemaal visueel is terug te vinden in een totaaloverzicht. De afbeelding hieronder is een gedeelte van die pagina.

Klik op de afbeelding om deze in een tabblad te openen.

Het overzicht toont voor elke uitdaging de datums waarbinnen de student deze wil afronden. De datapunten zijn momenten waarop de student het huidige niveau kan aantonen (lees het artikel van vorige maand voor verdere toelichting) en zo de voortgang laat zien. Het aantal gekoppelde uitdagingen staat ernaast. De cijfers in de volgende kolom zijn de eerder genoemde ‘Worlds’ waar dit leerdoel aan is verbonden. Er ontstaat zo een hiërarchie, beginnend met de uitdagingen van de studenten en eindigend met de leerdoelen van de opleiding.

Gebruik van andere modules

MijnPortfolio bevat natuurlijk veel andere modules, waarvan een aantal heel nuttig kunnen zijn voor het gebruik bij programmatisch toetsen.

• De module voor trainingen maakt het voor studenten eenvoudig om een bepaalde om een les, voorlichting, bedrijfsbezoek of presentatie bij te wonen. Iemand kan zich in de MijnPortfolio-omgeving inschrijven, waardoor begeleiders dit ook direct in het overzicht kunnen zien. Het maakt het aanbieden en zoeken van een bepaalde bijeenkomst makkelijk door het gebruik van filters en categorieën.
• Wil je informatie of bestanden beschikbaar maken voor de studenten? De bibliotheekmodule ondersteunt dit. Elk onderdeel in de bibliotheek kan verschillende teksten en/of bestanden bevatten. IBS Maastricht heeft de bibliotheek bijvoorbeeld opgedeeld, zodat elke ‘World’ (leerdoel) een eigen sectie met bestanden heeft. Dit maakt het voor de studenten overzichtelijk, doordat alle bestanden op één plek terug te vinden zijn.
• Aankondigingen op een centrale plek zetten kan met behulp van de prikbordmodule. Zijn er nieuwe evenementen beschikbaar, of is er een speciale voorlichting? Of zoekt een student mede-studenten om een challenge op te pakken? Een tekst plaatsen op het prikbord is eenvoudig en alle gebruikers in de omgeving kunnen er op reageren.
• Heb je als student feedback nodig of wil je even snel sparren met een docent, coach of domeinexpert? Dan is de “Boek een afspraak”-module een heel handige. Hiermee kan een afspraak direct worden ingepland in de Outlook-agenda’s van docenten en externen. Uiteraard kan dat dan alleen op de dagen en tijdstippen die de docenten en externen hiervoor hebben vrijgegeven.

De ervaring van Frank Aretz, Senior Lecturer Entrepreneurship and Business Growth van Zuyd Hogeschool

In de Paragin Update van januari zal Frank Aretz van IBS Maastricht meer vertellen over zijn ervaringen met programmatisch toetsen met behulp van MijnPortfolio. We delen hier graag alvast een stuk over zijn ervaringen tot nu toe:

“De studenten die er nu mee werken doen het erg goed. Ik ben blij om te zien dat zij echt heel actief hun ontwikkelproces in eigen hand nemen. De MijnPortfolio-omgeving van Paragin werkt er uitstekend voor. Andere organisaties waar ik het aan heb voor gelegd zijn ook erg benieuwd. Zuyd als overkoepelende organisatie kijkt constant mee hoe de ontwikkeling binnen IBS Maastricht verloopt.”

“Programmatisch toetsen is een grote onderneming. Ik merk dat het onderwijs als het ware is vastgeroest in de huidige aanpak. Iedereen is het zo gewend dat het moeilijk is om er van af te stappen, maar in mijn ogen is programmatisch toetsen een enorme verbetering voor de kwaliteit van het onderwijs. Ik heb bij slimme leerlingen met toetsangst gezien dat zij totaal niet tot hun recht kwamen. Op deze manier hoop ik er aan bij te dragen dat ook zij zich optimaal kunnen ontwikkelen.”