RemindoToets kent maar liefst 12 verschillende vraagtypen. Toch domineert vooral één vraagtype in de itembanken van onze klanten: de meerkeuzevraag. De keuze voor dit vraagtype is logisch vanuit de historie rondom toetsen en dan vooral de papieren toets-gewoonten. Waar men al wel de overstap heeft gemaakt op het digitaliseren van het toetsproces, is het overstappen naar het gebruik van verschillende vraagtypen niet zo snel gemaakt. Waarom is het slim om dit wel te overwegen? En welk vraagtype past dan het best bij de toetscriteria?

Op basis van een vergelijking van de drie grootste itembanken in RemindoToets (in totaal 276.760 vragen) zien we dat maar liefst 69% van de vragen een meerkeuzevraag is. De invulvraag (15%) en de open vraag (14%) staan op de tweede en derde plaats in de ranglijst.

Verdeling vraagtypen uit de drie grootste itembanken (totaal: 276.760 vragen). In dit overzicht worden zowel de ‘een-uit-meervraag’ en de ‘meer-uit-meervraag’ als meerkeuzevraag beschouwd en zowel de uploadvraag als de samengestelde vraag zijn achterwege gelaten.

Wanneer een organisatie de toetsen afneemt op papier is de keuze voor een meerkeuzevraag heel begrijpelijk. We toetsen veel en bij grotere aantallen kandidaten is het heel belangrijk dat er snel beoordeeld kan worden. Daar leent een meerkeuzevraag zich uitstekend voor.

Wanneer er wordt overgegaan op digitale toetsing komt er een heel spectrum aan vraagtypen ter beschikking. Dan is het kiezen voor een meerkeuzevraag een stuk minder logisch. Mede omdat het beoordelen digitaal ook bij andere (gesloten) vraagtypen geautomatiseerd gebeurt. De belangrijkste bezwaren die we horen als het gaat om het eventueel overstappen naar een ander vraagtype zijn:

1. Het wordt voor de kandidaat heel verwarrend als we meerdere vraagtypen gaan gebruiken in één toets.
2. We nemen al jaren deze toets af in deze vorm (bijvoorbeeld 60 meerkeuzevragen). We moeten kandidaten wel toetsen blijven aanbieden van dezelfde moeilijkheidsgraad.

In 2009 deden Draaijer en Van den Bos onderzoek naar het gebruik van verschillende vraagtypen. Dit onderzoek werd uitgevoerd onder derdejaars studenten van de opleiding ‘Voeding en Spijsvertering’. In het onderzoek werd de studenten een examen aangeboden met daarin de gebruikelijke 56 meerkeuzevragen en daarbij 22 vragen van een ander vraagtype. Hiervoor werden de matrixvraag, de drag & dropvraag en de meervoudig-juistvraag gebruikt. Daarna werden de psychometrische gegevens van de toetsresultaten bekeken en kregen de kandidaten nog een aantal vragen over hun ervaring met dit nieuwe examen.

De kandidaten reageerden verrassend enthousiast over de variatie in vraagtypen. Ze gaven daarbij aan: “Leuk en uitdagend, ik werd gedwongen beter na te denken.”

De psychometrische gegevens gaven daarnaast ook een positief beeld van de ‘alternatieve’ vraagtypen.

• Een toets die zou bestaan uit alleen de 56 meerkeuzevragen gaf een gemiddelde rit-waarde van 0,21.
• Een toets die zou bestaan uit alleen ‘alternatieve’ vraagtypen gaf een gemiddelde rit-waarde van 0,34.

Daarmee maakt de toets met alternatieve vraagtypen dus een beter onderscheid tussen de kandidaten die de leerstof wel, en kandidaten die de leerstof niet beheersen.

Daarnaast had het gebruik van de ‘alternatieve’ vraagtypen effect op het slagingspercentage.

• Voor een toets met alleen de meerkeuzevragen zou 61% van de kandidaten zijn geslaagd.
• Voor een toets met alleen de ‘alternatieve’ vraagtypen zou 77% van de kandidaten zijn geslaagd.

Wanneer we terugkijken naar de veelgehoorde bezwaren van het overstappen naar een ander vraagtype, laat dit onderzoek zien dat het voor kandidaten helemaal niet zo verwarrend heeft gewerkt.

Over de moeilijkheidsgraad valt er op basis van dit onderzoek geen duidelijke conclusie te trekken. We zien dat er meer mensen slagen met de alternatieve vraagtypen. Dat kan komen omdat het examen hierdoor makkelijker is geworden. Maar aannemelijker is het dat we met behulp van de alternatieve vraagtypen beter hebben kunnen meten wat we wilden meten, de toetsanalyse geeft namelijk betere resultaten.

Dit onderzoek geeft dus aan dat de aarzeling met betrekking tot de verschillende vraagtypen niet nodig is. Het levert juist veel voordelen op als het gaat om de betrouwbaarheid en validiteit van de beslissingen die je neemt op basis van de toetsresultaten.

Hoe pak je dit dan aan?

Het kiezen van een passend vraagtype is net zo belangrijk als andere onderdelen van de toetsontwikkeling. Je zult merken dat door het juiste vraagtype in te zetten, de vraag beter geformuleerd kan worden en echt gemeten kan worden wat je wilde meten.

Om je hierbij te ondersteunen hebben we een hulpdocument geschreven. Daarop vind je een overzicht van werkwoorden. Op basis van deze werkwoorden is aangegeven welk vraagtype hier logischerwijs bij zou passen. Je kunt dit document leggen naast je toetscriteria en voorafgaand aan het ontwikkelen van het examen al bedenken: welke vraagtypen ga ik gebruiken?

Naast het kiezen van een vraagtype dat past bij je toetscriterium zijn er ook andere factoren van belang die samenhangen met het vraagtype dat je kiest. Zo hebben we niet voor niets jarenlang allerlei toetscriteria proberen te toetsen met meerkeuzevragen. Je wilt natuurlijk een betrouwbare en valide oordeel vellen over je kandidaten, maar het is heel begrijpelijk om ook aan bijvoorbeeld de organisatiefactoren te denken. Kun je het wel bolwerken om meer open vragen te stellen?

Hier bieden we je een checklist aan waarop een aantal van die factoren beschreven staan. Als je kijkt naar de meerkeuzevraag als vraagtype zie je bijvoorbeeld:

• Dat hij meerdere cognitieve niveaus kan toetsen (hoewel ze vaker gericht zijn op lagere orde denkvaardigheden).
• Dat hij door kandidaten snel te beantwoorden is, zodat je veel vragen kunt stellen in één examen en daarmee een heel groot deel van je leerstofdomein kunt bevragen.
• Dat hij lastig is om te ontwikkelen. Goede afleiders bedenken is een hele klus en lukt niet altijd.
• Dat kandidaten een raadkans hebben op deze vraag, waarmee een deel van de scoring betekenisloos wordt.
• Je kunt er niet bij bluffen, zoals je dat wel kan in open vragen. Bluffen houdt in dat kandidaten niet precies het antwoord geven op de vraag, maar wel veel andere informatie waardoor je geneigd bent als beoordelaar om (enkele) punten toe te kennen.
• Hij biedt wat informatie over denkfouten die kandidaten maken. Je kunt bijvoorbeeld zien voor welke afleider vaak is gekozen. Als je dit soort informatie hebt, kun je daar je onderwijs op verbeteren.
• De scoring van dit vraagtype wordt volledig objectief (namelijk geautomatiseerd) gedaan.

Zo zien we dat het helemaal niet vreemd is dat er vaak voor een meerkeuzevraag wordt gekozen. Andere vraagtypen kennen ook hun voor- en nadelen. De uitdaging ligt erin om een vraagtype te kiezen dat recht doet aan de leerstof en de toetscriteria die getoetst moeten worden.

Voel je vrij om verschillende vraagtypen te gebruiken. Veel succes!

Twee weken na de prijsuitreiking waar hij de Publieksprijs voor Examens won, trainde Harry Molkenboer op het kantoor van Paragin vol enthousiasme RemindoToets-gebruikers in het juist interpreteren van de toets- en itemanalyse en het bepalen van cesuur.

Tijdens de training werd, aan de hand van concrete voorbeelden uit RemindoToets, uitleg gegeven over hoe deze waarden geïnterpreteerd kunnen worden en wat de conclusie kan zijn over de kwaliteit van de vraag en de toets. Deelnemers werden uitgedaagd om beslissingen te nemen in verschillende casuïstiek.

Het boek van Harry ‘180 gevalideerde richtlijnen voor toetsen‘ was een welkome handleiding voor deze toetsanalyse. Aan de hand van voorbeelden werd stil gestaan bij de richtlijnen voor de betreffende waarde, zoals de p- en rir-waarde. Daarbij werd steeds nuance aangebracht waarbij duidelijk werd dat ook de toetsanalyse geen zwart-wit gebied betreft, maar bestaat uit verschillende grijstinten waar goed over nagedacht moet worden. Harry gaf inzage in het effect van een meetfout in de toets. Met hoeveel zekerheid kunnen we zeggen dat een oordeel over een score van een kandidaat passend is?

Deze vraag heeft ook te maken met het bepalen van cesuur. Daarbij heeft Harry verschillende cesuurmethoden uitgelegd en hierbij de voor- en nadelen besproken.

Enkele reacties van de deelnemers waren:

“Leuk om echt te oefenen met echte voorbeelden!”

“Ik wist vrijwel niets van toets- en itemanalyse en nu voel ik me een halve onderwijskundige!”

“Ik ben blij dat ik erbij was!”

Wij bedanken Harry hartelijk voor zijn enorme inzet en de enthousiaste manier waarmee hij het gecompliceerde eenvoudig en met humor weet te brengen.

Processen zijn van grote invloed op het reilen en zeilen binnen organisaties. Het is dus niet zo vreemd dat veel organisaties de behoefte hebben om hun processen te verbeteren of aan te scherpen. Hoe beter het proces, hoe efficiënter en effectiever gewerkt kan worden. Procesverbetering wordt vaak samen genoemd met digitalisering. Alsof de organisatie door het inbedden van een digitaal systeem automatisch de processen verbetert. Helaas is dat meestal niet het geval. Hoe kun je dan wel een succes maken van procesdigitalisering? 

Door het plaatsen van een bestaand proces in een digitaal systeem, plaats je eigenlijk iets ouds in een nieuw jasje. Dit kan uitstekend werken bij een oude hit die opnieuw op een nieuwe, moderne manier wordt uitgebracht. In het geval van processen en systemen op de werkvloer kunnen mensen ‘veranderingsmoe’ worden. Soms is het de zoveelste verandering op het werk en zien mensen het nut niet in van de verandering. Het is belangrijk dat digitalisering geen doel op zich is. Digitalisering kun je beter zien als een middel om een doel te bereiken. Het middel waarmee het proces wordt doorlopen verandert, maar het proces zelf niet. Is het proces niet passend of draagt het niet bij aan de effectiviteit of efficiëntie van de werkzaamheden, dan moet er dus eerst wat veranderen aan het proces.

Breng het proces eerst globaal in kaart

Het is aan te raden om eerst helder te hebben hoe het huidige proces er uit ziet. Breng samen met alle betrokkenen goed in kaart wat de exacte stappen zijn die nu doorlopen worden. Van welke persoon/personen wordt tijdens welke stap iets verwacht? Stel eerst globaal het proces op van a tot z. Je zult er dan achter komen dat een proces vaak niet op zichzelf staat, maar deel is van meerdere processen. Een inschrijving van een nieuwe klant kan op zichzelf een proces zijn met meerdere stappen, maar kan ook deel zijn van een groter proces dat loopt van inschrijving tot aan uitschrijving. Om deze processen in kaart te brengen, zou je bijvoorbeeld flowcharts kunnen gebruiken. Om het totaalplaatje niet uit het oog te verliezen, kun je het beste voorkomen dat iemand direct in detail treedt. Bijvoorbeeld de specifieke vragen die aan een klant worden gesteld tijdens de inschrijvingsprocedure, kun je het beste pas beschrijven nadat het gehele proces globaal is opgesteld.

Verbeter het proces

Vervolgens kun je als organisatie met de betrokkenen van het proces nadenken over de gewenste situatie. De directe betrokkenen weten vaak het beste waar verbetering te halen valt. Waar lopen ze tegenaan? Wat zijn onnodige stappen in het proces? Wat zijn hun behoeften? Hoe zouden ze het zelf anders zien? Op basis van deze input kun je als organisatie processen verbeteren naar de gewenste situatie. Ook creëer je op deze manier draagvlak voor het toepassen van een vernieuwd proces.

Digitalisering

Daarna komt de digitalisering pas in beeld. Paragin denkt hierover graag met je mee. Samen zoeken we naar een passende software-oplossing en evalueren we gezamenlijk of de software aansluit bij de (toekomstige) wensen en ontwikkelingen.

Het is belangrijk dat software blijft aansluiten bij een gewenst organisatieproces. Wanneer je als organisatie de behoeften van de betrokkenen continu meeneemt in procesverbetering en hiermee (meer) draagvlak creëert voor het gewenste proces, is de stap naar een passende software-oplossing om dit proces te faciliteren klein. Grote kans dat de gebruikers de software als een uitkomst voor het geoptimaliseerde proces gaan ervaren, in plaats van als een struikelblok.