Ontwerpen van toetsen in RemindoToets

Een toets heeft vaak belangrijke gevolgen voor toetskandidaten. Daarom is het noodzakelijk, dat de toets gericht op zijn

Een toets heeft vaak belangrijke gevolgen voor toetskandidaten. Daarom is het noodzakelijk, dat de toets gericht op zijn doel is vormgegeven en meet wat er gemeten moet worden. Om hier zeker van te zijn, is het verstandig om een toetsmatrix samen te stellen. We vertellen je graag meer over de toetsmatrix en hoe je deze in RemindoToets kunt gebruiken.

Leerdoelen

Het beschrijven van leerdoelen is een belangrijke eerste stap in het toetsen. Leerdoelen zijn doelstellingen waarvan je hoopt dat de kandidaat deze in de opleiding of training gaat behalen. Deze leerdoelen worden niet alleen gebruikt voor het ontwerpen van een toets, maar ook voor het ontwerpen en uitvoeren van het onderwijs voorafgaand aan de toets. Het is belangrijk dat leerdoelen richting geven en duidelijk zijn. Je kunt meer over het opstellen van leerdoelen lezen in dit artikel.

De omschreven leerdoelen vormen de basis van de toets. Vanuit deze leerdoelen wordt de toets samengesteld.

Taxonomie

Leerdoelen kunnen bestaan uit verschillende niveaus.

Voorbeeld:

“De kandidaat kan uitleggen welke maatregelen de Nederlandse politiek treft, tegen de gevolgen van vergrijzing.”

Een toetsvraag als ‘Welke maatregelen treft de Nederlandse politiek tegen de gevolgen van vergrijzing?’ is het meest doelgericht, maar niet altijd wenselijk. Vaak zijn er meerdere vragen nodig om eerlijk en afgewogen te kunnen toetsen. Of ligt er veel kennis onder het leerdoel, die je ook graag wilt terugzien in het antwoord van de toetskandidaat. Daarom worden in een toetsmatrix niet alleen de leerdoelen, maar ook de begripsniveaus waarop het leerdoel wordt getoetst vermeld. Zo wordt in één overzicht duidelijk wat de cognitieve zwaarte van de toets zou moeten zijn.

Om een niveau-aanduiding te kunnen geven, worden vaak taxonomieën gebruikt. De taxonomie van Bloom is een hele bekende, maar ook andere taxonomieën komen voor en kunnen heel nuttig zijn, zoals de taxonomie van Krathwohl of het RTTI- of OBIT-model. Een taxonomie is een ordening. Zo geeft de taxonomie van Bloom de ordening weer van de complexiteit van kennis/cognitieve processen, waarbij Bloom aangeeft dat het laagste niveau ‘onthouden’ is en het hoogste niveau ‘creëren’. Op het laagste niveau moet de kandidaat zich de informatie kunnen herinneren en benoemen, op het hoogste niveau bevragen we de kandidaat op het niveau van nieuwe ideeën vormen, nieuwe concepten te creëren of te kunnen ontwerpen.

De toetsmatrix

De leerdoelen (of onderwerpen) en taxonomieniveaus komen samen in de toetsmatrijs.

De kolom aan de linkerkant bevat alle leerdoelen die in de toets aan bod moeten komen. In de andere kolommen staan de taxonomieniveaus (Bloom in het voorbeeld hierboven). Toetsontwikkelaars hebben vaak de neiging om zich te richten op de lagere cognitieve processen, zoals ‘onthouden’ in de afbeelding. Door meer of alle taxonomieniveaus op te nemen in de toetsmatrijs, bereik je een bredere spreiding van cognitieve processen in de toets.

Tijdens het invullen van de toetsmatrix denk je na over het aantal vragen die binnen het betreffende leerdoel gesteld moet worden en op welk cognitief niveau elke vraag gericht moet zijn. Dit zie je terug in de aantallen in de cellen in bovenstaande afbeelding. In de afbeelding zie je bijvoorbeeld dat er over het eerste leerdoel twee vragen op niveau ‘onthouden’ opgenomen moeten worden in de toets.

Rechtsonder wordt bijgehouden uit hoeveel vragen het totale examen zou bestaan.

Wanneer je de kolommen hebt ingevuld en hier tevreden over bent, kun je van start gaan met het ontwikkelen van de vragen. Het kan voorkomen dat er binnen de exameninstelling of school afspraken zijn gemaakt over bijvoorbeeld de toetsvorm. Je kunt dan een extra validatiecriterium toevoegen aan deze toetsmatrijs. Een voorbeeld hiervan gaat over de vraagtypen. De school of exameninstelling kan hierover afspraken hebben gemaakt, om bijvoorbeeld te voorkomen dat de toets volledig bestaat uit meerkeuzevragen en je als ontwikkelaar wordt gestimuleerd ook andere vraagtypen op te nemen.

Zo laat dit voorbeeld zien dat de vragen in deze toets mogen bestaan uit de vraagtypen ‘meerkeuzevraag’, ‘sorteervraag’, ‘invulvraag’ en hotspotvraag’. Het grootste deel (40%) bestaat uit meerkeuzevragen. De andere vraagtypen zijn meer uitwisselbaar. Ze mogen 5 tot maximaal 20% van de toets uitmaken.

Wanneer al deze instellingen zijn gemaakt, kun je beginnen met het ontwikkelen van de vragen (wanneer deze nog niet bestaan). Vanuit de toetsmatrix kunnen in RemindoToets direct lege toetsvragen worden aangemaakt in de juiste vragenbank, die voldoen aan de specificaties uit de matrix, zodat je direct kunt beginnen.

Zodra de toets wordt samengesteld, zullen de regels in de toetsmatrijs steeds bijhouden of er wordt voldaan aan de afspraken in de toetsmatrix. Zo vindt er steeds een controle plaats over de ontwerpdoelstellingen, die je zelf hebt ingevuld in de toetsmatrix.

Stappenplan Toetsmatrix

Voordat de toetsmatrix gebruikt kan worden, is het nodig om deze eerst aan te zetten in de ‘algemene instellingen’ van de beheeromgeving. Je vindt de optie onder het tabblad ‘toetsmatrijsinstellingen’.

Stap 1: Matrijs toevoegen

Om een toetsmatrix toe te voegen kies je in ‘beheer opleidingen’ voor ‘nieuwe matrijs toevoegen’. Je vult alle instellingen in en kiest bij ‘type’ voor ‘toetsmatrijs op basis van matrix’. Er verschijnt een leeg veld waarin je de matrix opbouwt.

Stap 2: Instellingen

Voordat je de toetsmatrix kunt invullen, maak je eerst een keuze uit de toetsmatrix-instellingen die je wilt gebruiken, om de matrix gegevens in weer te geven. Je ziet standaard het vraagtype als criterium om de toetsmatrix op te bouwen, maar vaak wil je de toetsmatrix opbouwen met behulp van vraagniveaus, oftewel taxonomieën. Om deze te kunnen gebruiken, voer je dit eerst in als vraageigenschap. Let erop dat de vragen dan ook aan deze eigenschappen gekoppeld zijn. Je klikt op ’toetsmatrix-instellingen aanpassen’ en kiest de vraageigenschappen die je wilt gebruiken voor de toetsmatrix.

Stap 3: Leerdoelen aanmaken

Om de toetsmatrix van inhoud te voorzien, maak je leerdoelen aan. Dit zijn de leerdoelen die je gaat toetsen. Je klikt op leerdoel toevoegen en kiest de vragenbankcategorie waar je de vraag of vragen uit wilt halen. Je kunt daarnaast nog andere leerdoelen opgeven en direct zie je onderaan hoeveel vragen op basis van deze leerdoelen nu al in de itembankcategorie beschikbaar zijn.

Stap 4: Toetsmatrix invullen

Wanneer de leerdoelen zijn aangemaakt, worden de aantallen beschikbare vragen per kolom getoond. Je vult dit naar eigen inzicht in. Eventueel voeg je nog een extra validatiecriterium toe. Sla vervolgens de toetsmatrix op.

Stap 5: Genereer lege vragen

Wanneer je tevreden bent over de toetsmatrix die is ontworpen, kun je lege vragen aan laten maken in de itembank, die voldoen aan de invoerde criteria. Klik hiervoor op ‘genereer lege vragen’.

In de opgegeven vragenbank worden lege vragen aangemaakt die voldoen aan de criteria die zijn ingesteld. De lege vragen hebben als tekst het leerdoel waar de vraag op gericht moet zijn.

Wanneer alle vragen zijn ontwikkeld en goedgekeurd, kan de toetsmatrix worden geactiveerd om te gebruiken.

Stap 6: Maak de toets aan

Afhankelijk van de doelstelling van de toetsmatrix, maak je nu de toetsen aan. Dit doe je door een variant toe te voegen aan de toetsmatrix. Je kunt hier twee keuzes in maken:

  1. Kopieer alle instellingen en bepaal een vaste set vragen volgens de matrix

Nu worden met behulp van de instellingen in de matrix, de vragen geselecteerd die hier het best bij passen. Per leerdoel laat de toets zien of de geselecteerde vragen voldoen aan jouw ingevulde matrix.

Je kunt nog toevoegen en verwijderen, totdat je een toets hebt samengesteld die past bij de matrix. Alle regels kleuren dan groen.

  1. Kopieer alle instellingen en maak een template om te vullen

Met deze optie worden alle leerdoelen en niveaus gekopieerd naar de toets en selecteer je handmatig de vragen die je wilt toevoegen aan deze toets.

De toets houdt tijdens het toevoegen van de vragen bij of je al voldoet aan de vereisten uit de toetsmatrix. Je kunt op basis van de toetsmatrix meerdere toetsen samenstellen. De energie die je steekt in de toetsmatrix blijft op deze manier nuttig voor alle toetsen die je gaat afnemen over dit leerstofdomein. Je maakt pas weer een nieuwe matrix wanneer de leerdoelen inhoudelijk veranderen.

We vertellen je graag meer over het werken met een toetsmatrix. Je kunt hiervoor altijd even contact met ons opnemen.