In de wereld van het toetsen wordt veelvuldig gebruik gemaakt van ‘de toetscyclus’. Het doel van het volgen van de toetscyclus is om een valide, betrouwbare en transparante toets te ontwikkelen. Door de stappen te volgen (en elke stap op de juiste manier uit te voeren) wordt de kwaliteit van een toets verhoogd. ‘De’ toetscyclus bestaat echter niet, elke organisatie gebruikt zijn eigen versie. Bij de één wordt het afnemen van de toets en het nakijken ervan in bijvoorbeeld één stap gecombineerd, bij de ander zijn dit twee losse stappen. Groter dan de verschillen tussen de cycli zijn echter de overeenkomsten. In feite volgen ze allemaal de PDCA-cyclus (Plan-Do-Check-Act) toegespitst op het construeren van toetsen in ongeveer 7 stappen. In dit artikel willen we kijken hoe Remindo ondersteuning biedt bij het doorlopen van de toetscyclus. Wij gaan hierbij uit van de toetscyclus zoals SURF deze in het artikel “Begrippenkader en toetscyclus voor digitaal toetsen” heeft omschreven.
1. Ontwerp
De eerste stap vindt plaats buiten de software. Het gaat om de vraag wat voor soort toets het moet worden, welke (inhoudelijke) onderwerpen getoetst moeten worden, wat de lengte van de toets moet zijn, welk type vragen er gebruikt moeten worden, of en welke taxonomie toegepast moet worden en of de toets formatief of summatief moet zijn, etc. Al deze zaken zijn onder meer afhankelijk van de visie op onderwijs, het toetsbeleid en het toetsprogramma, maar ook heel concreet: van de leerdoelen. Dit geheel moet in samenhang zijn, zodat de toets die afgenomen wordt, aansluit bij de manier van onderwijs en de leerdoelen waar ze aan gewerkt hebben. Deze samenhang tussen onderwijs, toetsing en leerdoelen wordt ook wel constructive alignment genoemd. Wanneer dit helder is, kunnen de kaders geschetst worden voor de toets.
2. Constructie
Bij de tweede stap wordt op basis van het ontwerp een toetsmatrijs samengesteld. De opbouw hiervan kun je in Remindo verwerken. Je kunt in Remindo kiezen voor een opbouw op basis van regels of op basis van een matrix. Je kunt zowel toetsen maken met een vaste set vragen, als toetsen met een random set vragen. Wanneer je sowieso een random toets wilt maken kun je ook kiezen voor een toetsmatrijs op basis van een matrix, dit is een mooie manier om een random toets mee te bouwen. (Zie ook het artikel Random toetsen: ijzersterk met een goede itembank!)
Wanneer je de toetsmatrijs aanmaakt geef je ook meteen de normering aan van de toets, deze kan later nog aangepast worden!
Daarnaast ontwikkel je in deze stap ook de vragen. Het ontwikkelen van vragen is vaak een proces op zich waarbij meerdere mensen betrokken zijn, zoals een auteur, een collega-auteur of inhoudsdeskundige die tegenleest, een onderwijskundige, een redacteur en een vaststeller. In Remindo kun je een proces opzetten waarbij de verschillende rollen opéénvolgend of parallel stappen uitvoeren in dit proces. Elke versie van een vraag en de eventuele feedback hierop wordt vastgelegd; op deze manier kan verantwoord worden hoe een vraag tot stand is gekomen, wat bijdraagt aan de borging van de kwaliteit van zowel vragen als de toets.
Nadat zowel vragen als de samenstelling van de toets zijn goedgekeurd kan de toets in de afname-omgeving ingepland worden voor afname.
3. Afnemen
Belangrijk bij de afname van een digitale toets waarbij Remindo kan bijdragen is een beveiligde afname. Dit kan van een eenvoudige volledig-scherm-beveiliging, of het moeten aanvragen van toestemming bij een surveillant, tot de integratie van proctoring en plagiaatcontrole zoals Schoolyear, Safe Exam Browser, Proctorio, Turnitin of Ouriginal.
4. Nakijken
Afhankelijk van de samenstelling van de toets, zal (een deel van) de toets automatisch nagekeken worden. Dit is allang niet meer enkel de meerkeuzevraag. Ook werkbladvragen en invulvragen (met specifieke antwoorden) kunnen automatisch nagekeken worden (zoals bijvoorbeeld onderstaande invulvraag).
Open vragen moeten door correctoren nagekeken worden. Remindo ondersteunt anoniem beoordelen van kandidaten en het in meerdere rondes nakijken van antwoorden van dezelfde kandidaat, zonder te zien hoe de kandidaat eerder is beoordeeld. Dit draagt bij aan een betrouwbare en objectieve beoordeling.
5. Analyseren
Een belangrijke meerwaarde van digitaal toetsen is de stap analyseren. Veel gegevens van de afgenomen toets(vragen) worden automatisch door Remindo geanalyseerd. Zo is er snel inzicht in de moeilijkheid en de betrouwbaarheid van de toets. Maar ook het gemiddelde cijfer, het slagingspercentage en de spreiding van de scores geven informatie. Ook opmerkingen van kandidaten over vragen kunnen meegenomen in de analyse van de vragen. Als het nodig is, kan het antwoordmodel van een vraag, maar ook de cesuur van de toets na afname nog aangepast worden waarbij het resultaat van de afgenomen toetsen automatisch kan worden herzien.
6. Rapporteren
Veel toetscycli noemen deze stap ‘rapporteren en communiceren’. In deze stap worden namelijk de definitieve resultaten (bijv. cijfers) geregistreerd en gecommuniceerd naar kandidaten. In Remindo is het mogelijk om kandidaten (deels) toegang te geven tot hun resultaten, ook zijn er verschillende manieren door exports en koppelingen om gegevens aan een gewenst studentinformatiesysteem (SIS) uit te leveren.
7. Evalueren
De laatste stap is evalueren. Deze is bedoeld om een volgende toets (mogelijk dezelfde), te verbeteren. Daarbij wordt niet alleen gekeken naar de toets zelf, maar ook hoe alle stappen uit de toetscyclus zijn verlopen. Zo zullen het constructieproces, de afname, de beoordeling en zelfs de communicatie naar studenten moeten worden geëvalueerd. De vijfde stap, ‘Analyseren’, geeft natuurlijk al veel input voor de evaluatie van de toetsvragen en toets. Wanneer er opmerkingen van kandidaten waren over bepaalde vragen, of het antwoordmodel moest worden aangepast, dan kan de auteur van de vraag via Remindo op de hoogte worden gebracht en de vraag verbeteren. Ook kan via Remindo een evaluatieveld of link naar een online tool worden opgenomen waarin studenten feedback mogen geven op de toets. Hoewel het evalueren zelf grotendeels buiten Remindo plaatsvindt, geeft Remindo veel mogelijkheden om de input te leveren die nodig is voor deze stap en het verhogen van de toetskwaliteit!
Wil je meer weten over hoe je Remindo kan inzetten voor het verhogen van de toetskwaliteit? Neem dan contact met ons op via onze website.
