Twijfels, twijfels… Bij het maken van een toets heeft iedereen wel eens getwijfeld tussen de antwoorden. Er gaan verschillende suggesties rond voor wat je dan het beste kunt doen. “Laat het antwoord open en vul het later in”, “Kies altijd antwoord C als je het niet weet” of “Blijf altijd bij je eerste antwoord”. Naar deze laatste uitspraak is ooit wetenschappelijk onderzoek gedaan.

Waar komt het vandaan?

In 1984 waren drie Amerikaanse onderzoekers benieuwd of het inderdaad logisch was om bij een vraag bij je eerst gekozen antwoord te blijven. Voor het uitvoeren van de studie lieten ze zien dat deze suggestie wijdverspreid was onder studenten. Een verzameling van eerdere studies toont aan dat zo’n driekwart van de studenten niet gelooft dat het veranderen van antwoord hun score zou verbeteren.

Waar haalden ze dit geloof dan precies vandaan? De onderzoekers zochten naar antwoorden in literatuur, maar daar niet veel te vinden. De meeste onderzoeken raden alleen aan om niet van antwoord te wisselen als de student op het randje van gokken zit. De literatuur raadt verder docenten aan om studenten niet te weerhouden om antwoorden te veranderen. Dat hangt er maar van af of docenten dit soort tactieken om te beginnen al klassikaal bespreken.

Zijn de docenten schuldig?

De betreffende onderzoekers gingen hier zelf nog een keer achteraan. Ze ondervroegen docenten of zij zelf van antwoord zouden wisselen en of ze dit met hun studenten hadden besproken. De helft van de docenten gaf aan dat ze geloofden dat van antwoord wisselen minder punten zou opleveren. Ongeveer 20% van alle ondervraagden heeft studenten aangeraden om bij het eerste antwoord te blijven. Het overgrote deel raadt alleen aan om een ander antwoord te kiezen nadat alle antwoorden volledig overwogen zijn.

Op basis van hun eigen onderzoek, leek het er vooral op dat de studenten het geloof van elkaar overnamen. Deden ze hier goed aan?

Metastudie

De onderzoekers hebben vervolgens een metastudie gedaan naar het veranderen van antwoorden. Dit was niet altijd even betrouwbaar, omdat onderzoekers in die tijd elke aanpassing met eigen ogen moesten registreren. RemindoToets bestond nog niet!

Uit de verzamelde data bleek dat gemiddeld 84% van de studenten minstens één antwoord op een toets wisselen. Per toets veranderden zij gemiddeld 3.3% van de totale respons. Verder werd duidelijk hoeveel van deze studenten er op vooruitgingen wat betreft de eindscore van de toets. De geschatte mediaan voor alle onderzoeken in de metastudie is dat 67.5% van de studenten er op vooruitging nadat zij een ander antwoord selecteerden. Zo’n 15% ging er op achteruit en het overige gedeelte veranderde niet van score. Dit hangt nog wel af van het vraagtype: meerkeuzevragen zagen relatief minder vooruitgang in score dan vragen met slecht twee antwoordmogelijkheden.

Wie verandert meer?

Er zijn een aantal variabelen onderzocht die mogelijk het wisselen van antwoorden konden verklaren. Als eerste wordt academische vaardigheid besproken. De conclusie was dat studenten die hogere cijfers haalden minder antwoorden veranderden. Als je bedenkt dat degenen die goed studeren vaak hoger scoren op een toets, is dat ook vanzelfsprekend: de kans is veel groter dat ze het goede antwoord al weten. In hetzelfde straatje is het logisch dat je geen tien haalt door al je antwoorden te veranderen.

Daarnaast leken vrouwen iets vaker van antwoord te wisselen dan mannen, maar er kon niet bewezen worden dat vrouwen er relatief meer profijt van hadden. Een aantal studies in de metastudie hebben naar persoonlijkheden van studenten gekeken. Er wordt gesuggereerd dat impulsieve mensen meer geneigd zijn om aanpassingen te doen, er zijn echter geen significante resultaten gevonden.


Bron:

Benjamin Jr, L. T., Cavell, T. A., & Shallenberger III, W. R. (1984). Staying with initial answers on objective tests: Is it a myth?. Teaching of Psychology, 11(3), 133-141.


Deze maand spreken we met Frank Aretz over programmatisch toetsen. Na het eerste, introducerende artikel en het tweede artikel over de module in MijnPortfolio vertelt Frank ons nu meer over zijn ervaring met programmatisch toetsen in de praktijk. Frank is sinds 2009 verbonden aan de International Business School Maastricht, onderdeel van Zuyd University of Applied Sciences. Deze opleiding behandelt thema’s als marketing, sales en bedrijfseconomie en wordt geheel in het Engels gegeven. Frank is destijds gevraagd om les te komen geven, zodat het onderwijs wat dichter bij de ‘echte’ wereld zou komen te staan. Frank heeft dit altijd parttime gedaan, omdat hij ook (software)bedrijven heeft die te maken hebben met business en marketing. We vragen hem naar zijn ervaringen vanuit IBS Maastricht. Waarom hebben ze voor programmatisch toetsen gekozen? Welke mogelijkheden heeft het geboden? Zal programmatisch toetsen in de toekomst door meer organisaties gebruikt worden?

IBS Maastricht is de eerste organisatie waar Paragin de module voor programmatisch toetsen aanbiedt! Hoe ben je met de organisatie op deze vorm van onderwijs uitgekomen?

We hebben onderzoek gedaan naar probleemgestuurd onderwijs, maar dat was niet naar wens. Die vorm ging er nog steeds van uit dat wij als aanbieder van onderwijs voor de student bepalen wat ze leren. We kregen het gevoel dat het daarom niet zo lang relevant zou blijven. Vervolgens hebben we gekeken naar high impact learning that lasts. Hier hebben we een belangrijke les uit kunnen halen, namelijk dat studenten graag inzien waarom zij bepaalde dingen moeten leren. Dit is in het onderwijs vaak niet duidelijk. Waarom zou de student een bepaald onderwerp moeten kennen, als ze denken dat ze er later geen gebruik van maken? We noemen dit urgency, of urgentie in het Nederlands. Als voor studenten duidelijk is waarom iets geleerd moet worden, worden zij meer gemotiveerd om meer met leerstof te doen naast het reproduceren voor een tentamen.

Verder richtten we ons ook meer op intersubjectiviteit. Samengevat houdt dat in dat mensen verschillende meningen over iets kunnen hebben. Ook in het onderwijs kan dit zo zijn en we kunnen daarom niet altijd verwachten dat verschillende correctors altijd dezelfde beoordeling moeten geven. Wij vinden het daarom belangrijker dat verschillende mensen naar de afgeronde taken van een student kijken. Dit wordt binnen programmatisch toetsen goed geregeld. De software van Paragin helpt daar perfect bij. We hebben alle onderdelen in één systeem zitten, in plaats van verschillende systemen te moeten gebruiken voor verschillende onderdelen. Ook voor de studenten is het handig om alles op een plek te hebben.

Mijn ideaalbeeld zou zijn dat we afstappen van de docent als baken van kennis en deze meer gaan zien als begeleider van ontwikkeling.

Je gaf aan dat je al geruime tijd werkzaam voor IBS Maastricht. Wanneer begon voor jou persoonlijk de urgentie om iets te veranderen in het onderwijs?

Rond 2016 merkte ik dat we vooral bezig waren om het onderwijssysteem tevreden te houden. Daarmee bedoel ik dat we in mijn beleving te weinig bezig waren met studenten ontwikkelen. We waren veel tijd kwijt aan dingen als evalueren, formulieren maken en toetscommissies bespreken. Hierdoor werd er minder op het onderwijs zelf gelet, het lesgeven viel bijvoorbeeld meer op de achtergrond. Het gaat er uiteindelijk om dat studenten zo goed mogelijk worden opgeleid, zodat ze in de toekomst goed aan het werk kunnen. Goed onderwijs aanbieden is daar essentieel in.

Waren er misschien specifieke signalen die je aanspoorden om iets anders te proberen?

In diezelfde periode worstelden we met de opkomst in de klassen. Studenten kunnen in deze tijd veel informatie bij elkaar googelen, wat de kennisoverdracht in de klas minder relevant maakt. Ik heb ooit een les gegeven waarin de kostprijs van een telefoon aan bod kwam. Ik zei geloof ik iets van 25 dollar. Een student zei snel daarna “Dat klopt niet, het is 21.85”. Een mooi voorbeeld van hoe eenvoudig het tegenwoordig is om simpele dingen direct op te zoeken. Je zou zelfs zo ver kunnen gaan dat docenten dit soort informatie niet meer hoeven te geven, omdat studenten dat zelf wel kunnen opzoeken als je ze aanleert hoe dat moet.

Als we zo veel theoretische informatie aanbieden, vinden de studenten het minder belangrijk om de lessen te volgen. Het was jammer om te zien dat de interesse er niet meer was, omdat de mensen die out-of-the-box kunnen denken dan niet terugkomen. Traditioneel zijn die er juist erg veel bij onze opleiding en dat zijn de studenten die je wilt aantrekken en opleiden.

Het lastige hieraan is dat wij eerst niet konden identificeren waar dit aan lag. Aan het begin dachten we dat het aan de studenten zelf lag. “De moderne student was gewoon niet geïnteresseerd genoeg”, zeiden we. Dit ging zelfs zo ver dat we aanwezigheidsplichten hebben ingesteld, met consequenties eraan verbonden. Achteraf gezien is dat erg scheef. Als de studenten van het onderwijs wegblijven, waarom zou het forceren ervan het dan wel aantrekkelijk maken? We hebben toen besloten iets anders te gaan doen. We wilden af van het ‘moeten’. We wilden af van die regels.

Je zou zo ver kunnen gaan dat docenten bepaalde informatie niet meer hoeven te geven, omdat studenten dat zelf wel kunnen opzoeken als je ze aanleert hoe dat moet.

Studenten zijn verschillend in wat zij prettig onderwijs vinden. Waarom geloof je dat het niet aan hen lag?

De studenten die bij ons binnenkomen zijn van verschillende leeftijden, de meesten tussen 17 en 23 jaar oud. De helft van hen komt uit het buitenland. We geloven dat het overgrote deel van deze studenten intrinsiek gemotiveerd is om onze opleiding te volgen en af te maken. We weten dat deze studenten deugen. Om die reden denk ik dat we het onderwijs niet goed aanboden. Het onderwijs in het algemeen gaat te weinig uit van die motivatie. Daarom vind ik vraagstukken zoals plagiaatsoftware ook erg onnodig. Het gaat om mensen die een persoonlijke groei doormaken en we moesten de opleiding met die gedachte gaan verbeteren. We mogen echt wel wat meer vertrouwen hebben in onze studenten. Het is dan ook onze verantwoordelijkheid om onderwijs aan te bieden wat bij hen past.

In ons vorige artikel keken we naar de verschillende worlds die in de omgeving van IBS Maastricht zijn opgezet. Daarin worden de overkoepelende leerdoelen van de opleiding beschreven. Hoe verhoudt een beoordelingsprocedure zich hiermee?

Studenten hebben eigen verantwoordelijkheid over het leerproces, dus opdrachten bedenken ze zelf. In onze omgeving worden ze challenges genoemd. Ze stellen een of meerdere challenges voor, waarmee zij kunnen aantonen dat ze het niveau voor hun leerdoelen hebben behaald. Ook deze hebben ze zelf opgesteld. Uiteindelijk komen de challenges en indiviudele leerdoelen samen om de overkoepelende doelstellingen, de worlds, van de opleiding af te kunnen strepen.

Bij elk leerdoel hoort dus een of meerdere challenges. Een challenge wordt door de student zelf aan een feedback provider gekoppeld. Dit zijn voornamelijk docenten, hoewel ze in deze rol ook als coach fungeren. Deze persoon kijkt samen met de student naar de gegevens die zij hebben aangeleverd. Dit zijn uitgevoerde opdrachten zoals rapporten, gegeven presentaties of feedback van externe organisaties. Zoals in de aard van programmatisch toetsen ligt, is dit geheel aan de student welke invulling er aan gegeven wordt.

We geloven dat het overgrote deel van deze studenten intrinsiek gemotiveerd is om onze opleiding te volgen en af te maken.

Je gaf aan dat je zelf twee dagen per week les geeft. Ben jij dan ook beschikbaar voor het geven van feedback? Heb je misschien een voorbeeld?

Als docent hoor ik er inderdaad ook bij! Recentelijk heeft een student mij gevraagd om feedback te geven op een rapport wat hij met een aantal medestudenten had geschreven. Ik heb ervaring in het werkveld als consultant en dat weten studenten van mij. Het is daarom logisch dat degenen die bezig zijn met dit onderwerp naar mij toe komen en ik help daar graag mee.

Dit specifieke rapport had betrekking op het bevoorradingsproces van een extern bedrijf waar de student contact mee had. Na het lezen geef ik de student feedback, in dit geval met de suggestie om het rapport wat leesbaarder te maken en heldere conclusies te noteren. De student schrijft mijn feedback op, plaatst een nieuw datapunt met een samenvatting van ons gesprek en/of de feedback en dient het in. Ik bevestig vervolgens dat dit klopt en ik relateer het datapunt aan de worlds die gekoppeld waren. Ik kan bij elk onderdeel vervolgens aangeven op welk niveau de student zit. Zo wordt voor mijn collega’s ook direct zichtbaar of de student vooruitgang boekt, aan de hand van alle datapunten.

Hoe werkt de verdeling dan precies voor het geven van feedback?

Een student kiest er zelf voor om bij iemand om feedback te vragen. Het is mogelijk om telkens dezelfde persoon te selecteren, maar we bespreken dan om ook andere docenten te benaderen. Het blijft natuurlijk goed om zo veel mogelijk docenten naar je werk te laten kijken. Mij collega’s zullen misschien heel verschillende feedback geven, het is goed voor de student om daar zelf op te letten.

Het is voor studenten best een ding om zo veel verantwoordelijkheid te hebben in het leerproces.

Zeker! Wat ik er zelf erg leuk aan vind, is dat het leerproces heel duidelijk twee kanten op gaat. Studenten hebben het bijvoorbeeld over NFT’s, een nieuwe ontwikkeling die samenhangt met blockchain-technologie en dat soort zaken. Ik heb echt geen idee hoe dat werkt, dus studenten kunnen mij daar juist weer over vertellen. Als het een onderwerp is waar zij graag in ontwikkelen, vind ik dat alleen maar mooi om te zien. Wij zijn er om hen daarbij te helpen. Ze houden zelf de verantwoordelijkheid om voor ons die ontwikkeling zichtbaar te maken.

Hoe zie jij programmatisch toetsen in de toekomst? Denk je dat het door meer organisaties opgepakt zal worden?

We hebben contact gehad met grote organisaties die zelf ook merken dat recent afgestudeerden regelmatig moeite hebben met hun eerste baan. Het huidige onderwijs sluit in dat geval niet goed aan, zeggen ze. Soms gaat dit zo ver dat mensen opnieuw opgeleid moeten worden. Dat is gewoon zonde. Ze zijn daarom benieuwd hoe we bij IBS Maastricht het programmatisch toetsen hebben ingebracht en hoe dit zich uiteindelijk vertaalt naar het werkveld.

Op dit moment zijn wij een van de weinige opleidingen die programmatisch toetsen geïntegreerd hebben in de opleiding. Het is ook niet eenvoudig om zomaar om te schakelen naar een ander systeem. Docenten die al 20 tot 25 jaar in het vak zitten kunnen het lastig vinden om te wisselen. Ik zie het wel voor me dat we over een tijd, wanneer meer organisaties programmatisch toetsen hebben opgepakt, er een grotere verschuiving zal plaatsvinden. Ik denk dat we het traditionele onderwijs, met alle kwantificaties die erbij komen kijken, achter ons laten. We gaan ons gezamenlijk meer richten op de mensen die we opleiden.

Mijn ideaalbeeld zou zijn dat we afstappen van de docent als baken van kennis en deze meer gaan zien als begeleider van ontwikkeling. Ik denk dat mensen veel gemotiveerder zullen zijn, omdat ze meer inspraak hebben in hoe ze worden opgeleid. Op dit moment zijn we zelf in ieder geval heel tevreden over de software van Paragin, het biedt ons alles om programmatisch toetsen op een prettige manier aan te kunnen bieden. We gaan zien hoe het zich de komende jaren gaat ontwikkelen!


Er zijn verschillende methoden om het opstellen en verbeteren van toetsen soepel te laten verlopen. Een van deze methoden heet De Toetsing Getoetst. Het projectteam wat deze methode heeft ontwikkeld is afkomstig van de HAN, in samenwerking met Zuyd Hogeschool. In dit artikel wordt deze methode kort toegelicht.

Het doel van de methode De Toetsing Getoetst is zorgen dat de kwaliteit van toetsing binnen het hoger onderwijs verhoogd zou worden. Toen het project in 2011 van start ging, stond deze kwaliteit regelmatig ter discussie. De afgelopen jaren zijn aan de hand van het project verschillende vormen van ondersteuning opgesteld, waaronder praktische handvatten voor opleidingen om zelf aan de slag te gaan. Hieronder lees je daar een korte samenvatting van.

Een proces met een cyclus

In het boek van Sluijsmans, Joosten-ten Brinke en van Schilt-Mol (2015) wordt het stappenplan van de methode weergegeven als cyclus. Hier zit een gedachte achter, namelijk dat toetsen constant verbeterd kunnen worden. De cyclus bestaat uit vier stappen met één losstaande voorbereiding. Elke stap maakt een belangrijk onderdeel uit van de cyclus ten behoeve van het analyseren, verbeteren en waarborgen van toetsen.

Stap 0. Voorbereiding

Hoewel deze stap niet direct in de cyclus wordt geplaatst, is voorbereiding nog steeds noodzakelijk. Er wordt voorgesteld om een persoon aan te stellen als moderator. Deze is verantwoordelijk voor een goed verloop van alle opeenvolgende stappen. In de voorbereiding kan het nuttig zijn om deze persoon als voorzitter van bijeenkomsten aan te stellen, zodat alle betrokkenen tot een gezamenlijk plan kunnen komen.

Verder moet van tevoren duidelijk zijn welke actoren gedurende het proces de kwaliteit van toetsing op zich nemen. Voor elk onderdeel van toetsing kan dit verschillend zijn, omdat actoren hierbij een verschillende mate van betrokkenheid hebben. Een examencommissie is bijvoorbeeld gedurende het gehele proces betrokken, terwijl een opleidingscoördinator vooral bij de toetsorganisatie iets inbrengt.

Stap 1. Toetsingskwaliteit analyseren

De Toetsing Getoetst schrijft voor dat elke ‘laag’ binnen het toetsingsproces apart op kwaliteit geanalyseerd wordt. Dit zijn de volgende zes lagen:

  • Toetsbeleid
  • Toetsprogramma
  • Toetsen
  • Toetstaken
  • Toetsbekwaamheid
  • Toetsorganisatie

De actoren die betrokken zijn bij een laag, komen gezamenlijk tot een kwaliteitsoordeel door individueel bewijsstukken aan te leveren. De soorten stukken zijn voor elke laag anders. Denk bij toetsbeleid bijvoorbeeld aan een beleidsplan en bij een toets zelf aan toetsmatrijzen en -analyses.

De moderator neemt alle oordelen samen en legt deze voor aan de actoren. Het overleg wordt vastgelegd, zodat alle besproken informatie gemakkelijk gebruikt kan worden in de volgende stap.

Stap 2. Doelen en ambities vaststellen

Aan de hand van stap 1 stellen de actoren doelen en ambities op die zij op het gebied van toetskwaliteit willen bereiken. Denk bijvoorbeeld aan de relevantie van de toets in verhouding tot de maatschappij. Zijn er bepaalde onderwerpen die onvolledig of verouderd zijn? Als dit het geval is, stellen de actoren bijvoorbeeld als doel om dit aan te scherpen.

Ook in dit onderdeel kunnen de actoren van mening verschillen. Dit kan zijn omdat zij een andere positie hebben in het proces of vanwege verschil in perceptie van het onderwerp. Studenten die het onderwijs ontvangen hebben misschien een andere blik dan degenen die het toetsbeleid opstellen. In dit geval zorgt de moderator opnieuw dat er een gezamenlijke beslissing komt.

Stap 3. Het uitwerken van doelen en activiteiten

In de derde stap werken de actoren aan het schrijven van plannen van aanpak. Hierin geven zij aan welke actoren welke taken op zich nemen en op welke manier die uitgevoerd worden. Net als bij de eerdere stappen is dit afhankelijk van de relevantie van de actoren bij een specifiek onderdeel. Het specifiek maken van de taken kan opnieuw gezamenlijk worden bepaald, waarbij de moderator coördineert. Er moet aan het eind van deze stap duidelijk zijn op welke manier de activiteiten bij gaan dragen aan verbeterde toetskwaliteit.

Stap 4. Uitvoeren en monitoren van activiteiten

Het uitvoeren van de activiteiten vindt als laatste onderdeel van de cyclus plaats. Het is de bedoeling dat deze volgens de omschrijving in het plan van aanpak worden gevolgd. De methode doet als suggestie om de examencommissie als verantwoordelijke voor het monitoren aan te stellen. De moderator zal regelmatig in overleg met de commissie zijn over het navolgen van de activiteiten door de actoren. Dit is wel afhankelijk van wat de activiteiten precies inhouden, omdat dit per opleiding sterk kan verschillen. Uiteindelijk moeten de activiteiten er toe leiden dat de kwaliteit van de toetsing meetbaar is verbeterd.

Een nieuwe cyclus

Wanneer de cyclus in zijn geheel is doorlopen, zal men weer bij stap 1 uitkomen. Er wordt geen specifiek tijdsbestek genoemd waarbinnen een cyclus zich zal afspelen. Dit kan afhankelijk zijn van de grootte van de opleiding, het aantal betrokken actoren en de geconstateerde kwaliteit van de toetsen. De Toetsing Getoetst maakt het met deze methode eenvoudiger om een stappenplan met routine op te stellen, onafhankelijk van de tijdsperiode.

Kijk voor een uitgebreide omschrijving van de gehele methodiek in de onderstaande bron, of op de website van de HAN: https://www.han.nl/projecten/2011/de-toetsing-getoetst/


Bron:

Sluijsmans, D., Joosten-ten Brinke, D., & van Schilt-Mol, T. (2015). Kwaliteit van toetsing onder de loep. Handvatten om de kwaliteit van toetsing in het hoger onderwijs te analyseren, verbeteren en borgen. Maklu.