Het samenstellen van een toets gebeurt vaak handmatig door de docent of de toetsontwikkelaar. Het is een tijdrovend en nauwkeurig werk. RemindoToets kan de vragen ook voor je selecteren. Waar moet je dan rekening mee houden?
Het samenstellen van een toets wordt vaak gedaan op basis van een toetsmatrijs. De inhoudsexperts bekijken deze toetsmatrijs en kiezen (of maken) hierbij de passende vragen. De vragen worden gesorteerd, met elkaar vergelijken en in een juiste volgorde geplaatst. Eventueel worden er direct meerdere versies van de toets gemaakt, waarbij gelet wordt op gelijke zwaarte. Wanneer iedere versie van de toets voldoet aan de vereisten en de beschrijving uit de toetsmatrijs, gaan de toetsen naar de vaststeller en worden ze afgenomen.
Het maken van goede vragen kost veel meer tijd dan het samenstellen van een toets. Maar toch is het de moeite waard om de werkwijze eens goed door te nemen. Waar kun je in dit proces de hulp van de software inzetten? Voor het samenstellen van een toets, maak je vaak gebruik van een expert. Is het samenstellen van de toets echt iets wat bij de inhoudsexpert thuis hoort? De tijd die je hebt met de inhoudsexpert kun je wellicht veel nuttiger inzetten.
Daarnaast kun je software ook gebruiken om het proces van toetsen samenstellen te verbeteren. Voor mensen is het mogelijk om bij het samenstellen van een toets rekening te houden met de moeilijkheid van de vraag, de inhoudsdimensie, het vraagtype en misschien nog de kwaliteit. Meer dan dat wordt heel lastig. Je kunt dat als mens bijna niet overzien.
Toets laten samenstellen door RemindoToets
Wanneer je de toets samenstelt met behulp van RemindoToets kun je dit nog gedetailleerder doen dan handmatig. Het is mogelijk om meerdere vraageigenschappen aan vragen toe te voegen, zoals een taxonomie-niveau, een onderwerp, maar bijvoorbeeld ook eventuele genderverschillen, zoals vragen die jongens meer aanspreken dan meisjes en andersom. Of vraaglengte, waardoor de toetsen ook qua leeswerk met elkaar vergelijkbaar zijn.
In RemindoToets heb je de beschikking over de toetsmatrix (toetsmatrijs op basis van een matrix). Wanneer je een toetsmatrix ontwerpt, kan RemindoToets automatisch een toets samenstellen, gebaseerd op de vereisten die omschreven staan in de toetsmatrix.
Daarna heb je de keuze om de geselecteerde vragen in de toets als vaste set aan te bieden. Hierdoor heb je vooraf precies in beeld welke vragen de kandidaten krijgen. Je kunt meerdere varianten laten samenstellen, waarmee je verschillende versies kunt afnemen, die gebaseerd zijn op dezelfde toetsmatrix.
Je kunt er ook voor kiezen om de toets ad random vragen te laten selecteren op basis van de toetsmatrix. Je bent er dan van verzekerd dat de vragen die worden gepresenteerd aan de kandidaten bij de vereisten in de toetsmatrix passen, maar je weet niet welke set vragen de kandidaten zullen krijgen.
Dit levert een aantal praktische voordelen op, zoals het voorkomen van spiekgedrag en je hoeft dan geen nieuwe toetsen meer samen te stellen. Maar het vermindert je zicht op de kwaliteit van de toets vooraf en je moet er zeker van zijn dat alle vragen goed gelabeld zijn. Zoals bijvoorbeeld de uitsluitingen: vragen die niet bij elkaar in één toets mogen komen, omdat ze bijvoorbeeld teveel op elkaar lijken.
Wanneer je RemindoToets de vragen laat selecteren, of dit nu in een vaste set gebeurt of ad random, is het van belang dat je achteraf de volgende twee zaken controleert:
-
- Worden vragen overgeslagen?
Je kunt je toetsmatrix zodanig hebben ingesteld dat bepaalde vragen in de vragenbank nauwelijks worden ingezet. Dat is zonde. Het kost veel tijd en geld om die vragen te ontwikkelen en je wilt ze graag laten rouleren. Je kunt vaak door aanpassing aan de instellingen of het koppelen van een vraageigenschap deze vragen weer laten meedoen. - Zijn er vragen die altijd worden gekozen?
Het kan ook andersom gebeuren: de toetsmatrix is zo ingesteld dat sommige vragen altijd worden geselecteerd. Dat is ook onwenselijk, omdat het de exposure van je vraag vergroot. Hoe meer kandidaten deze vraag maken, hoe sneller de vraag ‘op straat’ bekend is. Ook hierbij geldt: kijk eens goed naar de vraageigenschappen en probeer handig om te gaan met de instellingen van de toetsmatrix.
- Worden vragen overgeslagen?
Over het algemeen is het nuttig om bij flexibel samengestelde toetsen ervoor te zorgen, dat de vragenbank waaruit geput wordt groot is en goed gecategoriseerd. Wil je daar meer over weten? SURF heeft er een mooi handboek over gepubliceerd.
Gebruik maken van RemindoToets bij het samenstellen van de toetsen, zorgt ervoor dat je veel beter kunt aansluiten bij de toetsmatrijs en dat parallelle toetsen veel meer op elkaar lijken. En dat geldt natuurlijk niet alleen voor digitaal afgenomen toetsen. Ook bij de papieren toetsen van RemindoToets kun je hier gebruik van maken.
Bron: Drasgow, F. (2015). Technology and testing: Improving educational and psychological measurement. Routledge.
