Het samenstellen van een toets gebeurt vaak handmatig door de docent of de toetsontwikkelaar. Het is een tijdrovend en nauwkeurig werk. RemindoToets kan de vragen ook voor je selecteren. Waar moet je dan rekening mee houden?

Het samenstellen van een toets wordt vaak gedaan op basis van een toetsmatrijs. De inhoudsexperts bekijken deze toetsmatrijs en kiezen (of maken) hierbij de passende vragen. De vragen worden gesorteerd, met elkaar vergelijken en in een juiste volgorde geplaatst. Eventueel worden er direct meerdere versies van de toets gemaakt, waarbij gelet wordt op gelijke zwaarte. Wanneer iedere versie van de toets voldoet aan de vereisten en de beschrijving uit de toetsmatrijs, gaan de toetsen naar de vaststeller en worden ze afgenomen.

Het maken van goede vragen kost veel meer tijd dan het samenstellen van een toets. Maar toch is het de moeite waard om de werkwijze eens goed door te nemen. Waar kun je in dit proces de hulp van de software inzetten? Voor het samenstellen van een toets, maak je vaak gebruik van een expert. Is het samenstellen van de toets echt iets wat bij de inhoudsexpert thuis hoort? De tijd die je hebt met de inhoudsexpert kun je wellicht veel nuttiger inzetten.

Daarnaast kun je software ook gebruiken om het proces van toetsen samenstellen te verbeteren. Voor mensen is het mogelijk om bij het samenstellen van een toets rekening te houden met de moeilijkheid van de vraag, de inhoudsdimensie, het vraagtype en misschien nog de kwaliteit. Meer dan dat wordt heel lastig. Je kunt dat als mens bijna niet overzien.

Toets laten samenstellen door RemindoToets

Wanneer je de toets samenstelt met behulp van RemindoToets kun je dit nog gedetailleerder doen dan handmatig. Het is mogelijk om meerdere vraageigenschappen aan vragen toe te voegen, zoals een taxonomie-niveau, een onderwerp, maar bijvoorbeeld ook eventuele genderverschillen, zoals vragen die jongens meer aanspreken dan meisjes en andersom. Of vraaglengte, waardoor de toetsen ook qua leeswerk met elkaar vergelijkbaar zijn.

In RemindoToets heb je de beschikking over de toetsmatrix (toetsmatrijs op basis van een matrix). Wanneer je een toetsmatrix ontwerpt, kan RemindoToets automatisch een toets samenstellen, gebaseerd op de vereisten die omschreven staan in de toetsmatrix.

Daarna heb je de keuze om de geselecteerde vragen in de toets als vaste set aan te bieden. Hierdoor heb je vooraf precies in beeld welke vragen de kandidaten krijgen. Je kunt meerdere varianten laten samenstellen, waarmee je verschillende versies kunt afnemen, die gebaseerd zijn op dezelfde toetsmatrix.

Je kunt er ook voor kiezen om de toets ad random vragen te laten selecteren op basis van de toetsmatrix. Je bent er dan van verzekerd dat de vragen die worden gepresenteerd aan de kandidaten bij de vereisten in de toetsmatrix passen, maar je weet niet welke set vragen de kandidaten zullen krijgen.

Dit levert een aantal praktische voordelen op, zoals het voorkomen van spiekgedrag en je hoeft dan geen nieuwe toetsen meer samen te stellen. Maar het vermindert je zicht op de kwaliteit van de toets vooraf en je moet er zeker van zijn dat alle vragen goed gelabeld zijn. Zoals bijvoorbeeld de uitsluitingen: vragen die niet bij elkaar in één toets mogen komen, omdat ze bijvoorbeeld teveel op elkaar lijken.

Wanneer je RemindoToets de vragen laat selecteren, of dit nu in een vaste set gebeurt of ad random, is het van belang dat je achteraf de volgende twee zaken controleert:

1. 1. Worden vragen overgeslagen?
      Je kunt je toetsmatrix zodanig hebben ingesteld dat bepaalde vragen in de vragenbank nauwelijks worden ingezet. Dat is zonde. Het kost veel tijd en geld om die vragen te ontwikkelen en je wilt ze graag laten rouleren. Je kunt vaak door aanpassing aan de instellingen of het koppelen van een vraageigenschap deze vragen weer laten meedoen.
   2. Zijn er vragen die altijd worden gekozen?
      Het kan ook andersom gebeuren: de toetsmatrix is zo ingesteld dat sommige vragen altijd worden geselecteerd. Dat is ook onwenselijk, omdat het de exposure van je vraag vergroot. Hoe meer kandidaten deze vraag maken, hoe sneller de vraag ‘op straat’ bekend is. Ook hierbij geldt: kijk eens goed naar de vraageigenschappen en probeer handig om te gaan met de instellingen van de toetsmatrix.

Over het algemeen is het nuttig om bij flexibel samengestelde toetsen ervoor te zorgen, dat de vragenbank waaruit geput wordt groot is en goed gecategoriseerd. Wil je daar meer over weten? SURF heeft er een mooi handboek over gepubliceerd.

Gebruik maken van RemindoToets bij het samenstellen van de toetsen, zorgt ervoor dat je veel beter kunt aansluiten bij de toetsmatrijs en dat parallelle toetsen veel meer op elkaar lijken. En dat geldt natuurlijk niet alleen voor digitaal afgenomen toetsen. Ook bij de papieren toetsen van RemindoToets kun je hier gebruik van maken.

Bron: Drasgow, F. (2015). Technology and testing: Improving educational and psychological measurement. Routledge.

Toen Stichting Praktijkleren de overstap wilde maken van papieren naar digitale toetsen, werden verschillende toetsapplicaties bekeken en getest. Er werd gekozen voor RemindoToets en inmiddels is de pilotfase bijna achter de rug. We spreken Franca Zijlstra van Stichting Praktijkleren over haar ervaringen.

Stichting Praktijkleren ondersteunt roc’s door les- en examenmateriaal te ontwikkelen voor praktijkleren, binnen én buiten de school. Dat doen zij voor de sectoren Zakelijke dienstverlening, Veiligheid & Vakmanschap, ICT en Commercie van het middelbaar beroepsonderwijs, in nauwe samenwerking met de roc’s.

De wens ontstond om de kwaliteit van de examens te verhogen door middel van toets- en itemanalyse, het examenproces beter te beveiligen en de administratieve lasten te verlagen van zowel de eigen organisatie als de roc’s. Hierdoor werd besloten om een overstap te maken van examens op papier naar digitaal examineren.

Waarom is de keuze gemaakt om te gaan werken met RemindoToets?

Franca: “Bij het digitaliseren van alle processen rondom examineren, komt een hoop kijken. Doordat we al wat ervaring hadden opgedaan met diverse pilotafnames, konden we de verschillende aspecten van ons interne constructieproces en het afnameproces op het roc vertalen naar een uitgebreide eisen- en wensenlijst. Deze lijst hebben we vervolgens aan verschillende leveranciers van toetssystemen voorgelegd. Wat direct opviel aan Remindotoets, was hoe compleet het systeem al was. Alle noodzakelijke functionaliteiten (onze musthaves) waren aanwezig en dat was lang niet bij alle systemen het geval.

Opvallend in het contact met Paragin, was de mate waarin zij met ons mee wilden denken. Ook als zij ons een ‘nee, dat kan (nog) niet’ moesten verkopen, werd er meegedacht over alternatieve opties. Daarnaast werd de aard van onze vraag uitgebreid onderzocht: waarom hadden we deze functionaliteit nodig, wat wilden we daarmee bereiken? Als nieuwe gebruiker ben je nog niet volledig op de hoogte van alle mogelijkheden die de software te bieden heeft en dus is het extra belangrijk dat een leverancier kritisch met je meekijkt.

Om een systeem zowel intern als extern ‘over de bühne’ te krijgen, is het van groot belang dat het gebruiksvriendelijk en intuïtief is. Zowel onze eigen medewerkers als de gebruikers op de roc’s moeten er op een prettige en eenvoudige manier mee kunnen werken. Onze eerste korte test met de verschillende systemen bestond daarom uit het construeren en samenstellen van een toets en het inplannen, maken en beoordelen van diezelfde toets in een afnameomgeving. Onze insteek was dat dit zou moeten lukken zonder handleidingen en zonder ondersteuning van een supportdesk. RemindoToets kwam als enige systeem met vlag en wimpel door deze test heen. Na deze eerste positieve ervaringen besloten we dan ook met RemindoToets een proof of concept uit te voeren.”

Hoe verliep de implementatie van RemindoToets?

Franca: “Voor elke stap in het proces – van constructie van het examen tot de examenafname op het roc – hebben we met de gebruikers getest of voor hun specifieke taak alle benodigde voorwaarden aanwezig waren in het systeem. In de praktijk loop je namelijk tegen andere dingen aan dan je van tevoren kunt bedenken. Alle betrokkenen hebben ons van uitgebreide feedback voorzien en dit hebben wij vervolgens meegenomen in de gesprekken met Paragin. De ervaringen waren zo positief, dat we direct een contract voor een pilotjaar hebben afgesloten.

De pilot zijn we gestart met één opleidingsgebied, waarvan de kennisexamens uitsluitend gesloten vragen bevatten. ‘Eerst maar eens een afgebakende test met gesloten vragen succesvol laten verlopen, voordat we met de rest van de opleidingsgebieden en open vragen beginnen’, was onze gedachtegang.

Omdat dit opleidingsgebied toevallig ook net een nieuw kwalificatiedossier kreeg en wij aan de start stonden van het construeren van nieuwe examens, hebben we in overleg met de betreffende roc’s besloten om die constructie direct digitaal te laten plaatsvinden. Naast dat dit de uiteindelijke implementatie zou bespoedigen, was onze verwachting ook dat dit extra waardevolle ervaringen en inzichten op zou leveren tijdens de pilot. We moesten immers de gehele beheeromgeving al inrichten, passend bij onze processen en bij de vorm en inhoud van onze examens.

Dit is iets wat in één keer goed moet gebeuren en hierbij heeft Paragin ons dan ook begeleid en uitgebreid geadviseerd. Denk aan het indelen van je opleidingen, vragenbanken, rollen en rechten en de instellingen van zowel de beheeromgeving als de afnameomgevingen. Dat was overigens ook één van de doorslaggevende factoren in onze keuze voor RemindoToets: de mogelijkheid tot een afnameomgeving per roc en het kunnen aanpassen van instellingen aan schoolspecifieke situaties. Geen roc is immers hetzelfde dus het is prettig dat zij bepaalde instellingen zelf kunnen beheren en dat RemindoToets deze flexibiliteit biedt.

Tijdens de pilot heeft RemindoToets zich als betrouwbaar systeem bewezen, waar de roc’s goed mee uit de voeten konden. Hierdoor konden we al snel de andere opleidingsgebieden uitrollen (inclusief examens met open vragen) en de pilot gebruiken om overige zaken te testen die bij het digitaliseringsproces komen kijken. Denk bijvoorbeeld aan handleidingen, instructiefilmpjes en trainingen voor zowel de interne als de externe gebruikers; ook die wil je graag getest hebben voordat ze officieel deel uit gaan maken van je trainingsaanbod.”

Hoe hebben jullie RemindoToets uitgerold richting de roc’s?

Franca: “Bij een overgang van papier naar digitaal is het belangrijk dat je de gebruikers intensief betrekt. Daarom hebben we naast het geven van presentaties, workshops en trainingen ook diverse bijeenkomsten georganiseerd voor docenten, managers, examenbureaus, beleidsmedewerkers en examencommissies.

Veel besproken thema’s waren onder andere het vaststellen van examens, inzagerecht, het archiveren van resultaten, koppelingen met leerling administratiesystemen en een hele belangrijke: beveiliging, zeker in combinatie met BYOD (Bring Your Own Device).

Daarnaast hebben we een aparte werkgroep in het leven geroepen, waarmee we specifiek de business case van digitaal toetsen hebben besproken. Wat zijn de kosten en baten van digitaal toetsen, zowel kwantitatief als kwalitatief?
Het doel van deze bijeenkomsten was om te informeren, input op te halen en om samen helder te krijgen wat er allemaal nodig is om de overgang van papier naar digitaal te kunnen maken (en op welke termijn).
Uiteindelijk hebben we besloten dat we verder gaan met RemindoToets.

Gedurende het schooljaar 2020-2021 maken de digitale kennis- en vaardigheidsexamens onderdeel uit van ons reguliere aanbod, maar hebben scholen nog de keuze hebben of ze onze papieren examens of digitale examens willen gebruiken. Voor ons kleeft hier een echter een groot nadeel aan; namelijk dat van dubbel onderhoud. Je laat in feite twee processen naast elkaar bestaan, wat foutgevoelig, arbeidsintensief en niet efficiënt is. We merkten echter dat veel scholen het niet zouden redden om op tijd klaar te zijn voor deze digitalisering en we vonden dat we die geluiden serieus moesten nemen.”

Hoe zijn jullie ervaringen met Paragin?

Franca: “Tijdens dit gehele proces hebben we nauw contact gehad met Paragin, waarbij ze intensief met ons hebben meegedacht en zowel onze feedback als dat van onze gebruikers zeer serieus hebben genomen. De supportdesk was zeer goed bereikbaar en de drempel om contact op te nemen en om advies te vragen hebben we als zeer laag ervaren. Daarnaast was het erg fijn dat ze ons in contact konden brengen met andere gebruikers, zodat we ook met hen eens van gedachten konden wisselen.

We hebben Paragin eigenlijk niet alleen als leverancier, maar ook als samenwerkingspartner ervaren. Een gedreven partner die met veel enthousiasme met verschillende partijen samenwerkt én veel ervaring heeft in het MBO. En dat zie je terug in hun software.”

Ben je ook benieuwd naar de mogelijkheden van RemindoToets? Neem dan vooral even contact op. We informeren je graag!