Is het zinvol voor examenkandidaten om de examenvragen nog eens na te lopen en hun antwoorden te verbeteren? Er worden verschillende adviezen over gegeven. Van “Doe dat niet, want je eerste ingeving is meestal de beste” tot “Je kunt de vragen beter wél nalopen, omdat je gedurende het examen tot beter inzicht kunt komen.”
Maar welk advies geef je nu aan je examenkandidaten: moeten ze wel of niet hun antwoorden verbeteren? Onderzoek geeft hierop een antwoord.

Er zijn veel kandidaten die gedurende het examen hun antwoorden aanpassen. Ze gaan dan nog eens terug en wijzigen hun gekozen antwoord. Dat is niet altijd in hun voordeel. Als het gaat om meerkeuzevragen hebben de afleiders in dat geval goed hun werk gedaan. Examenkandidaten krijgen regelmatig het advies om antwoorden op meerkeuzevragen niet aan te passen. “Houd je vast aan je eerste ingeving”, wordt dan gezegd. Uit onderzoek blijkt echter dat kandidaten dat advies beter in de wind kunnen slaan.

Pike (1979) heeft de bevindingen over dit onderwerp van een aantal onderzoekers samengevat en vond een verrassende uitslag.

Wanneer examenkandidaten hun antwoorden aanpassen, is dat volgens het onderzoek meestal in hun voordeel. Tegenover éénmaal waarop het antwoord wordt veranderd naar incorrect, staan twee keren waarop hij zijn antwoord verandert naar correct. Dit is wel vaker het geval bij moeilijkere vragen. Minder moeilijker vragen worden dus minder vaak ten goede verbeterd. Dat lijkt logisch te zijn, omdat je bij moeilijke vragen wellicht met wat langer nadenken tot een betere analyse en dus een beter antwoord komt. Eenvoudige vragen gaan vaak over feitenkennis, wat moet komen uit het semantisch geheugen van kandidaten. Wanneer die kennis er niet is, kun je dat gedurende de toets moeilijk ophalen (tenzij het in een andere vraag toevallig weg wordt gegeven, wat natuurlijk niet de bedoeling is).

Daarnaast komt er uit het onderzoek naar voren dat hoogscorende kandidaten meer profiteren van het aanpassen van een antwoord, dan laagscorende kandidaten. In het algemeen worden er weinig antwoorden gewijzigd, namelijk in gemiddeld 4% van de vragen.

Wat moet dan het advies zijn? Om zomaar te zeggen dat kandidaten vooral hun antwoorden moeten aanpassen, zou behoorlijk kort door de bocht zijn. Waaróm doen zij dat? Dat kan bijvoorbeeld zijn door een beter inzicht, of omdat ze gedurende de toets zich ineens iets herinneren. Maar het kan ook voortkomen uit een onzekerheid en dan kan een aanpassing nadelig effect hebben. Misschien is het beste om er helemaal geen advies over te geven. Kandidaten moeten zich gesteund voelen wanneer ze hun antwoord willen aanpassen, maar het is ook goed wanneer ze dat niet willen. Dan zal, áls men het eerder gegeven antwoord alsnog aanpast, het aanpassen volgens onderzoek zeker kunnen leiden naar een beter resultaat.

Bron: Pike, L. W. (1979). Short-term instruction, testwiseness, and the Scholastic Aptitude Test: A literature review wilt research recommendations. Princeton, NJ: Educational Testing Service

Wijze lessen van de functioneel beheerder

“We werden zo enthousiast en wilden direct beginnen, maar dat ging veel te snel.” Een wijze les van Hans Stoltz, docent en functioneel beheerder van de Hogeschool van Arnhem en Nijmegen (HAN). Vorig jaar ging de HAN voor alle propedeuse studenten van het instituut Financieel Management van start met MijnHANportfolio. Hans Stoltz deelt met ons de vier belangrijkste lessen die hij heeft geleerd van het afgelopen jaar.

1.      De student staat centraal

“De student centraal, dat is ons doel binnen HAN. Vanuit die gedachte vinden we het belangrijk om studenten de beschikking te geven over een ePortfolio. Op die manier kunnen studenten samen met hun begeleidende docenten hun ontwikkeling volgen en meten. In 4 jaar tijd bouwt de student een mooi portfolio op, waar hij op kan terugvallen. Het is van hem en het blijft van hem. Daarin zitten al zijn projecten, beoordelingen en documenten waar hij trots op is.

Voor onze stagiairs en afstudeerders Bedrijfseconomie werkten we al met MijnPortfolio.nl van Paragin en dat bevalt ons enorm, dus het was heel logisch om Paragin uit te nodigen en samen na te denken over de inrichting van MijnHANportfolio.”

2.      Temper je enthousiasme

“We kwamen bij elkaar met de juiste mensen en het balletje ging rollen. Jeroen (directeur Paragin) werd uitgenodigd om MijnHANportfolio te presenteren en iedereen was daar erg van gecharmeerd. Toen Jeroen eenmaal begon te praten, raakte iedereen zó enthousiast dat we allemaal meteen wilden beginnen. Dat was het moment dat we ons misschien hadden moeten afvragen of we niet te snel van start gingen, terwijl nog niet alles was uitgedacht en uitgewerkt. Het was wellicht slimmer geweest om eerst met een klein groepje van één of twee propedeuseklassen een pilot te draaien en niet direct alle 400 studenten toegang te geven.”

3.      Gebruik wat je nu nodig hebt

“De software van Paragin kan zoveel, er zijn ontzettend veel mogelijkheden en opties. De ene optie nog mooier dan de andere. We wilden alles wel gebruiken. Dat was eigenlijk te veel in een te korte tijd. We hadden veel beter eerst kunnen nadenken over wat we precies nodig hadden in dat stadium en het gefaseerd uitbreiden. Wat heb je nodig en hoe krijg je dat zo simpel mogelijk geïmplementeerd? Ik heb gedurende dit proces steeds de steun gehad van Henri en Monique van Paragin. Ik heb zelden een partij ontmoet die zo snel schakelt, meedenkt en oplossingsgericht werkt. Dat heeft enorm geholpen.”

4.      Houd rekening met mogelijk weerstand van gebruikers

“Hoe enthousiast je ook bent over het programma en hoe goed het ook wordt geïmplementeerd, je krijgt altijd te maken met weerstand. De docenten en beheerders zijn degenen die ermee moeten werken. Wanneer zij om de haverklap worden geconfronteerd met een nieuw systeem, zul je daar toch weerstand bij merken. Je loopt altijd tegen wat startproblemen aan. Nu, na een jaar, beginnen docenten te merken dat er wat betreft dit systeem heel snel geschakeld wordt en hebben ze er een groeiend vertrouwen in. Het wordt steeds mooier voor ze om ermee te werken. Ontwikkeling van studenten is zichtbaarder en meetbaarder. We hebben er meer grip op en zijn er nu ontzettend blij mee. ”

Tijdens de training van deze maand stond het normeren in RemindoToets centraal.

Uit een toets komen scores, maar hoe geef je nu betekenis aan die scores? Wanneer is het een 5,5, is dat altijd bij 55% van de te behalen punten? De deelnemers kwamen er achter dat daar iets meer bij komt kijken: “Opfrissen van cesuurkennis, beter inzicht in hoe Remindo omgaat met cesuur” en “veel stof om over na te denken”, waren de reacties vanuit de evaluatie.

Op 15 december wordt release 18-3 van RemindoToets uitgerold, voor alle RemindoToets gebruikers. De afgelopen maanden hebben we onder andere gewerkt aan groot onderhoud aan de fundamenten van RemindoToets. De huidige versie van RemindoToets viert dit jaar zijn 8-jarige bestaan en hoewel RemindoToets altijd goed onderhouden is, is in de tussentijd de stand van de techniek aardig veranderd. Met deze update brengen we de achterkant van RemindoToets weer helemaal up-to-date.

Dit biedt de voordelen dat RemindoToets sneller werkt, nog stabieler wordt, nog veel beter geautomatiseerd te testen is, fouten makkelijker preventief kunnen worden geïdentificeerd en voorkomen, en updates makkelijker en sneller kunnen worden uitgerold. In de dagelijkse praktijk zal dit geen directe invloed hebben op de manier hoe gebruikers met RemindoToets werken, maar we hebben hiermee een heel een grote stap gezet zodat het ontwikkelen van nieuwe features en mogelijkheden de komende jaren nog voorspoediger gaat lopen.

Hiernaast is gewerkt aan een aantal mooie toevoegingen, bijvoorbeeld de mogelijkheid om kandidaten de toets al te laten starten voordat het toetsmoment officieel is begonnen. De kandidaat ziet de tijd aftellen tot de daadwerkelijke start van het toetsmoment. De berekening van de resterende tijdsduur kan nu ook aangepast worden, er kan gekozen worden dat er berekend wordt vanaf de start van het toetsmoment of de start van de individuele toets.

Daarnaast is er een nieuwe optie om een toetsmoment gezamenlijk te starten. Een toezichthouder bepaalt dan met één druk op de knop dat het toetsmoment voor alle kandidaten gestart wordt in plaats van gebruik te maken van een vastgestelde starttijd welke het toetsmoment opent.

Het proces van het verwerken van papieren toetsen met open vragen is geoptimaliseerd, er kan nu bijvoorbeeld direct een correctieronde worden aangemaakt.
Daarnaast zijn in de beheeromgeving bijvoorbeeld nog meer opties beschikbaar om het husselen van vragen en regels in te stellen in de toetsmatrijs, zodat nog preciezer de toets er uit komt die u uit RemindoToets wilt hebben.

Benieuwd naar alle nieuwe toevoegingen? Neem dan even contact met ons op!