De vraagindices uit RemindoToets toegelicht

De p’-, r_it– of r_ir-, r_at– of r_ar– en de a-waarde, RemindoToets geeft al deze vraagindices weer in de toetsanalyse. Veel informatie, maar wat moet je ermee? In dit artikel lees je een toelichting over de vraagindices, zodat je méér uit je toetsanalyse kunt halen.

Indices is het meervoud van index. Vraagindices zijn dus eigenlijk meerdere getallen die een verhouding weergeven. Het klinkt heel ingewikkeld, maar eigenlijk kijk je naar allerlei gegevens over de afname van je vraag. En dat is interessant, want je wilt graag weten of je vraag goed is geweest en bijvoorbeeld onderscheid heeft gemaakt tussen kandidaten die de kennis wel hebben en kandidaten die dat niet hebben. Dat bepaalt of je de vraag wilt blijven gebruiken, hem aanpast of helemaal archiveert.

Voordat je de vraagindices gaat bekijken, kijk je eerst naar de betrouwbaarheid van de toets en de analyse-waarden van de toets. Je wilt namelijk eerst weten hoe serieus je de waarden moet nemen. Wil je precies weten hoe je de toetsanalyse stap voor stap aanpakt, lees dan ons artikel ‘Toetsanalyse in RemindoToets‘.

Vraagindices bekijk je altijd gezamenlijk. Dan kun je een juiste conclusie trekken over het betreffende vraag.

De p’-waarde

De p’-waarde geeft de moeilijkheidsgraad van de vraag aan. De waarde laat zien wat het gemiddeld aantal punten is dat kandidaten hebben behaald met deze vraag. Het wordt berekend door de gemiddelde score van alle kandidaten op deze vraag te delen door het maximum aantal te behalen punten. Een p’-waarde ligt tussen de 0 en 1.

Een p’-waarde van 0,39 geeft bijvoorbeeld aan dat de kandidaten gemiddeld 39% van het maximum aantal punten voor deze vraag hebben gescoord. Dat zou kunnen duiden op een te moeilijke of niet-relevante vraag. Maar dat hóeft niet zo te zijn. Het is belangrijk dat er genoeg variatie in een examen zit. Een vraag met een p’-waarde van 0,39 is bijvoorbeeld prima tussen vragen met een p’-waarde van bijvoorbeeld 0,7.

Je kunt ernaar streven om de p’-waarde ergens tussen de 0,4 en 0,6 te krijgen.

Houd er rekening mee dat verschillende zaken invloed hebben op de p’-waarde. Herkansers veroorzaken vaak een lagere p’-waarde en vragen die als laatste in het examen worden gesteld, kunnen ook een lagere p’-waarde vertonen (vanwege gebrek aan concentratie of te weinig tijd). Het hoeft niet altijd een slechte vraag te zijn.

De r_it en r_ir-waarden

Een goede vraag in een toets heeft onderscheidend vermogen. Daarmee wordt bedoeld dat de vraag onderscheid maakt tussen kandidaten die de kennis hebben en kandidaten die de kennis niet hebben. Als dat niet zo is, dan is er iets vreemds aan de hand. De rit- en de rir-waarden geven dat onderscheidend vermogen weer, het staat voor relatie item toets (rit) en relatie item rest (rir).

Om te bepalen wie een goede kandidaat is, wordt de totaalscore van de toets gebruikt. De rit-waarde wordt berekend door het resultaat van het vraag te vergelijken met het resultaat van de toets. Als een kandidaat met een hoge score een goed antwoord heeft gegeven op de vraag en een kandidaat met een lage score een fout antwoord heeft gegeven op de vraag, dan is er sprake van een vraag met onderscheidend vermogen en zie je een hoge rit-waarde. De vraag heeft dan de goede kandidaten van de slechte kandidaten gescheiden. In dat geval draagt de vraag bij aan de validiteit van de toets.

Het nadeel van de rit-waarde is dat de vraag waar de waarde over gaat, ook is meegerekend bij de vergelijking met de toetsscore. Dat is eigenlijk niet correct (hoewel het verschil in de waarden vaak verwaarloosbaar is). De rir-waarde is in dat opzicht beter (relatie item rest). Daarbij zijn de punten van de specifieke vraag weggelaten uit de score waarmee wordt vergeleken.

De rit- en rir-waarden liggen tussen de -1 en +1. Hoe hoger de rit en rir-waarden, hoe groter het onderscheidend vermogen. Een rir-waarde van 0,25 of hoger laat voldoende onderscheidend vermogen zien. Het advies is om bij negatieve rit- en rir-waarden kritisch naar de vraag te kijken. Dan hebben kandidaten die laag scoren op de toets de vraag dus vaker juist beantwoord dan kandidaten die hoog scoren op de toets. Misschien zit er een fout in het correctiemodel of is de vraag niet goed geformuleerd.

Standaardafwijking

De standaardafwijking (in RemindoToets getoond als STD, als afkorting van standaarddeviatie) geeft aan hoe ver de behaalde scores op de vraag uiteen liggen. Hoe lager de standaardafwijking, hoe dichter de scores bij elkaar liggen. Bij een standaardafwijking van 0 heeft iedere kandidaat exact dezelfde score behaald. Dat zou wel een kritische blik waard zijn. Wanneer alle 100 kandidaten bijvoorbeeld 6 van de 10 punten hebben gehaald, dan zou er misschien iets fout kunnen gaan bij de puntentoekenning. Een hoge standaardafwijking duidt op een grote spreiding tussen goede en slechte scores en geeft dus een groot onderscheidend vermogen weer.

De a-waarde

Bij gesloten vragen, zoals meerkeuzevragen, is de a-waarde een interessant hulpmiddel om de kwaliteit van de afleiders te meten. Iedere afleider in een toets heeft een eigen a-waarde, die weergeeft welk deel van de kandidaten heeft gekozen voor deze afleider. Het aantal kandidaten dat voor een fout antwoord kiest, zegt iets over de aannemelijkheid van de afleiders.

Het onderstaande voorbeeld gaat uit van een vraag met vier antwoordopties waarvan één antwoord juist is. In de analyse is te zien dat de a-waarde van het juiste antwoord (B) 0,38 is, wat betekent dat 38% van de kandidaten het juiste antwoord heeft gegeven.
NB: omdat één punt wordt toegekend aan één juist antwoord, is de p’-waarde in dit voorbeeld gelijk aan de a-waarde van het juiste antwoord. Deze waarden zullen uiteenlopen bij een complexere puntenverdeling.

De drie foutieve afleiders hebben samen een a-waarde van 1 – 0,38 = 0,62. Idealiter zouden alle foutieve afleiders ongeveer dezelfde a-waarde hebben, in dit geval 0,62 / 3 = 0,21. Dit zou betekenen dat ze allemaal even plausibel zijn. In het voorbeeld zie je dat de a-waarden van de foute antwoorden respectievelijk 0,36 (D), 0,19 (C) en 0,07 (A) zijn. Mogelijk lijkt de onjuiste afleider D veel op het juiste antwoord. Ook kan het zijn dat de kandidaten op het verkeerde been zijn gezet of het verkeerde antwoord hebben aangeleerd. Afleider D vraagt dus om nadere analyse. Afleider A heeft een relatief lage a-waarde en is kennelijk niet erg aannemelijk als antwoord op de vraag. Je zou er daarom voor kunnen kiezen deze afleider te verwijderen.

De r_at– en r_ar-waarden

De rat- en de rar-waarden zijn verbonden aan de rit- en de rir-waarden. Rat staat voor relatie afleider toets en rar voor relatie afleider rest (waarbij de laatste een betere meting geeft, zie uitleg over rit en rir). Aan deze waarden zie je in hoeverre de keuze voor een bepaalde afleider zich verhoudt tot de rest van de toets.

De rar-waarde is interessant omdat je daarmee kunt zien of kandidaten die goed presteren op de toets bij een specifieke vraag wellicht eerder een foutieve afleider hebben gekozen. Zijn de goede kandidaten dan misschien op het verkeerde been gezet? Of misschien is er een fout geslopen in het antwoordmodel, of leidt de vraagstelling teveel naar een onjuist antwoord.

Als je al deze gegevens over je vraag hebt bekeken, kun je een goede conclusie trekken. Was de vraag van goede kwaliteit? Neem dan een beslissing over wat jouw analyse betekent voor de afname die is geweest. Pas je bijvoorbeeld het antwoordmodel aan? Of verwijder je de vraag helemaal uit het examen? Vergeet dan niet om de vraag in ieder geval in de vragenbank te verbeteren, zodat je in de toekomst met een betere vraag verder kan.

We wensen je veel succes bij het analyseren van je toets. Lees voor meer informatie ook nog dit artikel ‘Toetsanalyse in RemindoToets‘ en houd onze events in de gaten voor leuke trainingen over toetsanalyse.

Werken aan het teamleervermogen

Als we kijken naar leren in organisaties, gaat het vaak over het leren en ontwikkelen van individuele personen. Dat is natuurlijk een heel belangrijk aspect, maar wanneer mensen veel met elkaar moeten samenwerken (binnen een team bijvoorbeeld) is het gezamenlijk leren minstens zo belangrijk.

“Leren als team? Nee, dat wil ik absoluut niet!” Zo’n opmerking zul je niet snel horen. Iedereen ziet wel wat positiefs in het leren als team. Maar niet iedereen vindt het nodig om daar bewust aandacht aan te besteden of vindt de nadelen van het teamleren te groot (want die zijn er ook). Meestal wordt er pas aandacht aan besteed wanneer zich problemen voordoen. Bijvoorbeeld wanneer de situatie in het voorbeeld uit de hand loopt en teamleden in conflict raken met elkaar, omdat Ingrid altijd haar eigen zin doordrijft of omdat de anderen nooit iets durven zeggen en later niet meer meedoen. Juist dan zijn al die lessen zo beladen, met alle conflicten die er tussen teamleden hebben afgespeeld, waardoor het rendement dat uit zo’n leerproces komt, tegenvalt.

Een beter plan is om in de organisatie structureel aandacht te besteden aan het leren als team. Afhankelijk van de uitdagingen van de organisatie en de samenstelling van de team, beslis je wat daarvoor nodig is. Peter Senge geeft in zijn boek De vijfde discipline (1992) aan dat teamleren ontstaat wanneer er sprake is van een dialoog in de groep. Onder dialoog verstaat hij: een vrije doorstroom van gedachten door een groep.

Volgens Senge zijn er 5 aspecten nodig om in een team tot een goede dialoog te komen:

1. Er is een heldere vraagstelling geformuleerd.

Wanneer voor team niet duidelijk is waar het dialoog precies over gaat, kunnen teamleden moeilijk deelnemen.

In het voorbeeld was de vraagstelling helder: hoe verdelen we het werk evenredig en hoe wordt het sneller opgepakt?

2. Er zijn communicatieve vaardigheden nodig.

Communicatief vaardig zijn is enorm belangrijk voor het dialoog. Zo kan een teamgesprek helemaal uit de hand lopen, door het gebrek aan communicatieve vaardigheden en wordt er meer schade aangebracht dan dat er geleerd wordt.

In het voorbeeld zijn er teamleden die niet meepraten, dat zou kunnen wijzen op een gebrek aan communicatieve vaardigheden.  

3. Spontane gedachten worden gestimuleerd.

Teamleden denken vaak binnen dezelfde kaders, vanuit wat er al wordt gedaan of wat er in het verleden is gebeurd. Buiten die kaders om denken is dus ontzettend belangrijk om te kunnen leren, want dat is nu juist wat teamleden nog niet kennen.

In het voorbeeld had Ingrid al haar plan klaar, dat werkte beperkend. Er is een sfeer nodig waarbij iedereen zich veilig voelt en mee kan doen, dat leek in dit team niet aan de orde.

4. Er is leiderschap (formeel of informeel), waardoor het werkproces wordt begeleid.

De manier waarop en mate waarin iemand de leiding neemt, heeft te maken met de organisatiestructuur. Om het dialoog tussen teamleden te stimuleren, moet iemand de leiding nemen. Het liefst iemand die werkt op afstand van dagelijkse team-werkzaamheden, zodat het team zich verantwoordelijk blijft voelen voor het resultaat en de uitkomst niet bepaald wordt door iemands persoonlijke voordeel daaraan.

In het voorbeeld wat er niet echt sprake van een gespreksleider.

5. Er wordt adequaat gereageerd op defensief gedrag.

“Ja, maar dat hebben we al twintig keer geprobeerd”, “Ik heb dat probleem nooit, je moet het gewoon zo doen” defensief gedrag is vernietigend voor open gesprekken tussen teamleden. Iemand in het team moet daar alert op zijn, zodat ideeën niet direct onder de tafel worden geschoven.

In het voorbeeld werd het gesprek meer een debat dan een dialoog, dat werkte weinig stimulerend.

Teamleren is heel waardevol voor organisaties, het leidt tot betere producten en stimuleert daarnaast ook het individuele leren van teamleden. Iedereen wordt gezien en dat vergroot de effectiviteit van medewerkers, met name bij het uitvoeren van complexe taken, zie onderzoek van Edmondson, 1999.

Het begint volgens Senge met een goed dialoog tussen de teamleden, daarnaast moet er gewerkt worden aan een gemeenschappelijke visie en bijvoorbeeld leiderschapskwaliteiten.

Maar er kleven ook nadelen aan het stimuleren van teamleren op deze manier. Bijvoorbeeld:

• Het kost de organisatie (in het begin veel) overlegtijd.
• Veel teamleden vinden het (vooral in het begin) erg ongemakkelijk.

MijnPortfolio.nl van Paragin kan het proces van teamleden met betrekking tot het teamleren ondersteunen. Wil je met het leervermogen van je team aan de slag en wil je dat we bij Paragin met je meedenken, laat het ons dan weten.

In het artikel ‘Hink-stap-sprong naar een leerdoel’ hebben we je aan de hand van een hink-stap-sprong laten zien hoe je een leerdoel zo concreet mogelijk maakt. Maar waarom zouden we de leerdoelen zo concreet maken? Dat kost toch alleen maar tijd en wat doen we vervolgens met de leerdoelen? In dit artikel willen we je laten zien wat de wat de voordelen en resultaten zijn van het investeren in concrete leerdoelen, wanneer je deze actief in het onderwijs inzet.

Even reflecteren…

Denk eens kritisch na over hoe jij je les vormgeeft. Staat bij jou (het volgen van) de lesmethode centraal en volgen al jouw leerlingen of studenten dezelfde route? Of zet je de lesmethode flexibel in en bied je meer uitdaging of hulp aan een individuele lerende? Het kan ook zijn dat de manier hoe je je les vormgeeft een combinatie van het bovenstaande is, bijvoorbeeld wanneer je bij het ene vak de lesmethode volgt en bij het andere vak flexibeler bent. Misschien heb je een bewuste keuze gemaakt of misschien ben je nog zoekende naar een methode die bij jou, de school en je leerlingen of studenten past.

Iedere manier van lesgeven heeft zijn voor en nadelen. In het basisonderwijs, voortgezet onderwijs en MBO zijn de leerdoelen (in het MBO ‘kerntaken’ en ‘werkprocessen’) vaak al concreet vastgesteld en geïntegreerd in de lesmethode. Het precies volgen van de lesmethode kan zekerheid en veiligheid bieden, omdat je zeker weet dat alle leerdoelen in de lesmethode behandeld worden. Een nadeel hiervan is dat de lerende waarvoor het niveau van de lesmethode te hoog gegrepen is wellicht de leerdoelen niet haalt.

Het voordeel van flexibel lesgeven, waarbij de lesmethode op de achtergrond staat, is dat de leerling die moeite heeft met het bijhouden van het niveau van een lesmethode, onderwijs op maat krijgt dat gericht is op het behalen van de leerdoelen. Aan de andere kant bestaat de kans dat er geen onderwijs op maat geboden kan worden, wanneer de leerdoelen niet of vaag geformuleerd zijn. Of dat je eigen gemaakte onderwijscontent aanbiedt, maar deze content niet op (concrete) leerdoelen gebaseerd is. Wat leert de lerende dan precies?

Een concreet leerdoel stuurt je onderwijs

Om ervoor te zorgen dat de lerende leert wat hij moet leren wanneer je van de lesmethode afwijkt, is het handig vooraf de leerdoelen zo concreet mogelijk te maken. Ze zijn namelijk de basis van het onderwijs dat je wilt gaan geven: je planning, content, lessen, werkvormen, instructie, groepsindeling en toetsmateriaal.

Wanneer je je leerdoel concreet hebt opgeschreven, kun je een planning maken waarin je leerdoelen aan lessen koppelt. Zo weet je wat je iedere les wilt gaan behandelen en weet je zeker dat je aan het eind van een periode alle leerdoelen hebt behandeld.

Vervolgens kun je bijpassende content zoeken of eigen content maken. Wanneer je onderwijs op maat wilt aanbieden, kun je rekening houden met verschillende niveaus. Stel je hebt het volgende leerdoel: De lerende kan 10 wiskundige breuken toepassen in realistische situaties en mag daarbij 2 fouten maken. In de lesmethode worden wellicht 10 situaties aangeboden, die voor iedere lerende hetzelfde zijn. Wanneer je voor de lerende die meer hulp behoeft eerst een aantal makkelijkere situaties aanbiedt en toewerkt naar situaties op een hoger niveau, kan deze lerende op zijn eigen tempo zich het leerdoel eigen maken. De lerende die extra uitdaging nodig heeft, kun je juist extra situaties aanbieden op een hoger niveau.

Uit de vorige alinea is wellicht al op te merken dat het aanbieden van één klassikale instructie alleen niet voldoende is. Je werkvormen, instructie en groepsindeling zullen aangepast moeten worden op je content.

Vervolgens kun je toets- en evaluatiemateriaal zoeken of maken dat passend is bij de leerdoelen en je content. Denk ook aan formatief toetsmateriaal, waarbij je de ontwikkeling en voortgang van de lerende op een leerdoel kunt volgen door de tijd heen.

Een concreet leerdoel stuurt dus je onderwijs en zorgt ervoor dat je planning, content, werkvormen, instructie, groepsindeling en toetsmaterialen goed op elkaar afgestemd kunnen worden, zodat je onderwijs een kloppend geheel wordt.

Een concreet leerdoel geeft de lerende houvast en inzicht

Wanneer je de lerende vooraf aan de les vertelt wat het leerdoel is van de les en van de periode, weet hij wat er van hem verwacht wordt. Ook is het hierbij belangrijk om uit te leggen dat niet iedereen hetzelfde leert en hetzelfde tempo heeft. Dit kun je laten zien aan de hand van verschillende opdrachten, waarbij hetzelfde leerdoel aangeleerd wordt.

Doordat je verschillende leerlingen instructie, content en formatieve toetsen aanbiedt op hun niveau en het niveau steeds verhoogt, krijgt de lerende inzicht in zijn eigen leerwijze. Mits je de lerende hier ook in meeneemt.

Meer weten?

Wil je concrete leerdoelen leren opstellen? Schrijf je dan in voor de training ‘Dat zal je leren!’, die gegeven wordt op 27 september a.s. Deze training zal gebaseerd zijn op het Instructional Design model van Morrison, Ross, Kalman en Kemp. Meer informatie over deze training en hoe je je hiervoor aanmeldt, vind je hier.

Nadat een toets of examen is afgenomen in RemindoToets, wordt deze beoordeeld (automatisch of met behulp van één of meer correctoren). Wanneer dit is gebeurd, is het belangrijk dat toetsresultaten worden geanalyseerd. Toetsen die in RemindoToets zijn afgenomen of met behulp van de Print&Scan-optie zijn ingelezen, leveren een uitgebreide toetsanalyse op. In deze uitleg lees je meer over de toetsanalyse die je kunt vinden in RemindoToets. Je leest wat de waarden betekenen en wat redenen kunnen zijn om de toets op basis hiervan te repareren.

Analyse van de toets

Je kunt de toetsanalyse bekijken van alle afnames van één specifieke toetsmatrijs. Wanneer een toetsmatrijs vaker dan één keer wordt gebruikt, is dit prettig omdat de meeste analysegegevens pas waardevol worden wanneer 100 of meer kandidaten de vraag of toets hebben gemaakt. RemindoToets geeft je daarbij wel de mogelijkheid om de analyse van de toetsmatrijs verder te specificeren. Je kunt de analyse dan bekijken van een specifieke kandidaat, kandidaatgroep of van een periode. Daarmee kun je een vergelijking maken of de toets bijvoorbeeld in het afgelopen jaar beter of slechter is gemaakt dan het jaar ervoor.

Wat zie je dan vervolgens aan waarden?

Frequentieverdeling: behaalde scores, percentage van maximum score

Allereerst wordt een grafiek getoond, zoals in figuur 1. Deze grafiek geeft een overzicht van de behaalde scores. De grafiek geeft antwoord op de vraag in hoeverre je de gegevens uit de toetsanalyse kunt gebruiken.

In een ideale situatie geeft de grafiek een normale verdeling weer. Dan heeft de grafiek zoveel mogelijk een klokvorm, zoals in figuur 2.

Figuur 1 Frequentieverdeling in RemindoToets

Figuur 2 Normale verdeling

De figuur is dan hoog in het midden en aflopend naar links en rechts. Figuur 1 geeft dus een redelijk normale verdeling aan, met een lichte afwijking naar rechts. De meeste kandidaten scoren tussen de 50% en 70% van het maximum aantal punten. Je kunt dan met de andere toetsanalysewaarden bekijken in hoeverre de toets of de vragen valide en betrouwbaar zijn. Wanneer het hoogste deel van de grafiek meer naar links of meer naar rechts ligt dan kun je de conclusie trekken dat de toets te moeilijk (teveel naar links) of te makkelijk (teveel naar rechts) is geweest. Let erop dat de grafiek geen rekening houdt met de cesuurbepaling. We gaan er bij een normale verdeling vanuit dat de cesuurgrens ligt rond de 55% van het maximum aantal te behalen punten. Als de cesuurgrens hoger ligt, bijvoorbeeld op 70% dan is het fijn als de het hoogste punt van de grafiek rond die plek ligt (bijvoorbeeld tussen de 60% en 80%).

Cronbachs alfa

Na een toetsafname rekent RemindoToets de Cronbachs alfa uit. De Cronbachs alfa geeft aan hoe betrouwbaar de toets is. Het toont de stabiliteit van de toetsscores en geeft aan of de meting iets betekent.

Om te controleren of de toets betrouwbaar is, zou het ideaal zijn om onder dezelfde omstandigheden de toets nogmaals af te nemen en die scores met elkaar te vergelijken (de test-hertest-methode), maar helaas is dat in de praktijk vaak niet mogelijk of wenselijk. Daarvoor is Cronbachs alfa een mooi alternatief. Cronbachs alfa deelt bij de berekening van de score de toets op in allemaal deeltoetsen. Iedere vraag wordt daarbij gezien als een losse deeltoets. Met behulp van een formule (een berekening van standaarddeviaties van de vraagscores – zie het tekstvak hieronder) wordt uitgerekend in hoeverre de score op de verschillende vragen met elkaar samenhangen. Het geeft antwoord op de vraag of er sprake is van interne consistentie. Hoe meer vragen hetzelfde meten, hoe hoger de Cronbachs alfa.

Het resultaat van de Cronbachs alfa is maximaal 1. Er is geen minimale waarde, deze kan namelijk kleiner zijn dan 0.

Figuur 3 Een voorbeeldscore van Cronbachs alfa in RemindoToets

Idealiter is de Cronbachs alfa groter dan 0,70. In de praktijk is een score van 0,60 al mooi. Hoe kleiner de Cronbachs alfa hoe meer ruis er is in het examen. Dan wordt op de verschillende vragen heel verschillend gescoord, met weinig interne consistentie. Kandidaten beantwoorden de ene keer een vraag goed, maar scoren op een andere vraag ‘opeens’ niet goed. Kortom, de toets is weinig voorspelbaar over hoe het kennisniveau van de kandidaten precies is. Dat kan betekenen dat het examen weinig betrouwbaar is en de meting dus weinig betekenis heeft. Dat geldt dan alleen voor de groep kandidaten die de toets hebben gemaakt. De Cronbachs alfa kan er voor een andere afname weer heel anders uit zien.

Wanneer een lage Cronbachs alfa is berekend, hoeft dat echter niet altijd direct te betekenen dat de toets onbetrouwbaar is geweest. Vooral de lengte van de toets heeft veel invloed op de Cronbachs alfa, omdat alle vragen als deeltoetsen worden vergeleken en er bij meer vragen veel te vergelijken is. Maar ook de samenstelling van de groep kandidaten en de betrouwbaarheid van de toetsvragen hebben allemaal invloed op de betrouwbaarheid van de toets.

Voor een betrouwbare berekening van de Cronbachs alfa is het belangrijk dat alle kandidaten (grotendeels) dezelfde vragen/vraagversies hebben gemaakt. RemindoToets geeft een waarschuwing wanneer dit niet het geval is.

Dit is de formule die wordt gebruikt om de Cronbachs alfa te berekenen:

r_kk           de berekende Cronbachs alfa

k             het aantal vragen

s_i²           de variantie over elk afzonderlijk vraag

s_t²           de variantie over alle vragen

De frequentieverdeling en de Cronbachs alfa gebruik je samen om een oordeel te geven over de betrouwbaarheid van de toets. Vervolgens kijk je naar de analyse van de toetsvragen.

Analyse van de vragen

RemindoToets geeft 5 vraagindices weer: de p’- waarde, de r_ir-waarde (en de r_it-waarde), de standaardafwijking, de a-waarde, de r_ar– (en de r_at-waarde). Vraagindices bekijk je altijd gezamenlijk. Dan kun je een juiste conclusie trekken over het betreffende vraag.

De p’-waarde

De p’-waarde geeft de moeilijkheidsgraad van de vraag aan. De waarde laat zien wat het gemiddeld aantal punten is die kandidaten hebben behaald met deze vraag. Het wordt berekend door de gemiddelde score van alle kandidaten op deze vraag te delen door het maximum aantal te behalen punten. Een p’-waarde ligt tussen de 0 en 1.

Een p’-waarde van 0,39 geeft bijvoorbeeld aan dat de kandidaten gemiddeld 39% van het maximum aantal punten voor deze vraag hebben gescoord. Dat zou kunnen duiden op een te moeilijke of niet-relevante vraag. Maar dat hoeft niet zo te zijn. Het is belangrijk dat er genoeg variatie in een examen zit. Een vraag met een p’-waarde van 0,39 is bijvoorbeeld prima tussen vragen met een p’-waarde van bijvoorbeeld 0,7.

Je kunt ernaar streven om de p’-waarde ergens tussen de 0,4 en 0,6 te krijgen.

Houdt er rekening mee dat verschillende zaken invloed hebben op de p’-waarde. Herkansers veroorzaken vaak een lagere p’-waarde en vragen die als laatste in het examen worden gesteld, kunnen ook een lagere p’-waarde vertonen (vanwege gebrek aan concentratie of te weinig tijd). Het hoeft niet altijd een slechte vraag te zijn.

De r_it en r_ir-waarden

Een goede vraag in een toets heeft onderscheidend vermogen. Daarmee wordt bedoeld dat het vraag onderscheid maakt tussen kandidaten die de kennis hebben en kandidaten die de kennis niet hebben. Als dat niet zo is, dan is er iets vreemds aan de hand. De rit- en de rir-waarden geven dat onderscheidend vermogen weer, het staat voor relatie vraag toets (rit) en relatie vraag rest (rir).

Om te bepalen wie een goede kandidaat is, wordt de totaalscore van de toets gebruikt. De rit-waarde wordt berekend door het resultaat van het vraag te vergelijken met het resultaat van de toets. Als een kandidaat met een hoge score een goed antwoord heeft gegeven op de vraag en een kandidaat met een lage score een fout antwoord heeft gegeven op de vraag, dan is er sprake van een vraag met onderscheidend vermogen en ziet je een hoge rit-waarde. De vraag heeft dan de goede kandidaten van de slechte kandidaten gescheiden. In dat geval draagt de vraag bij aan de validiteit van de toets.

Het nadeel van de rit-waarde is dat de vraag waar de waarde over gaat ook is meegerekend bij de vergelijking met de toetsscore. Dat is eigenlijk niet correct, hoewel het verschil in de waarden vaak verwaarloosbaar is. De rir-waarde is in dat opzicht beter (relatie vraag rest). Daarbij zijn de punten van de specifieke vraag weggelaten uit de score waarmee wordt vergeleken.

De rit- en rir-waarden liggen tussen de -1 en +1. Hoe hoger de rit en rir-waarden, hoe groter het onderscheidend vermogen. Een rir-waarde van 0,25 of hoger laat voldoende onderscheidend vermogen zien. Het advies is om bij negatieve rit- en rir-waarden kritisch naar de vraag te kijken. Dan hebben kandidaten die laag scoren op de toets de vraag dus vaker juist beantwoord dan kandidaten die hoog scoren op de toets. Misschien zit er een fout in het correctiemodel of is de vraag niet goed geformuleerd.

Standaardafwijking

De standaardafwijking (in RemindoToets getoond als STD als afkorting van standaarddeviatie) geeft aan hoe ver de behaalde scores op de vraag uiteen liggen. Hoe lager de standaardafwijking, hoe dichter de scores bij elkaar liggen. Bij een standaardafwijking van 0 heeft iedere kandidaat exact dezelfde score behaald. Dat zou wel een kritische blik waard zijn. Waarom zouden alle 100 kandidaten bijvoorbeeld 6 van de 10 punten hebben gehaald, dan zou er misschien iets fout kunnen gaan bij de puntentoekenning. Een hoge standaardafwijking duidt op een grote spreiding tussen goede en slechte scores en geeft dus een groot onderscheidend vermogen weer.

De a-waarde

Bij gesloten vragen, zoals meerkeuzevragen, is de a-waarde een interessant hulpmiddel om de kwaliteit van de afleiders te meten. Iedere afleider in een toets heeft een eigen a-waarde, die weergeeft welk deel van de kandidaten heeft gekozen voor deze afleider. Het aantal kandidaten dat voor een fout antwoord kiest, zegt iets over de aannemelijkheid van de afleiders.

Het voorbeeld in Figuur 4 gaat uit van een vraag met vier antwoordopties waarvan één antwoord juist is. In de analyse is te zien dat de a-waarde van het juiste antwoord (B) 0,38 is, wat betekent dat 38% van de kandidaten het juiste antwoord heeft gegeven.
NB: omdat één punt wordt toegekend aan één juist antwoord, is de p’-waarde in dit voorbeeld gelijk aan de a-waarde van het juiste antwoord. Deze waarden zullen uiteenlopen bij een complexere puntenverdeling.

Figuur 4 voorbeeld interactie-analyse RemindoToets

De drie foutieve afleiders hebben samen een a-waarde van 1 – 0,38 = 0,62. Idealiter zouden alle foutieve afleiders ongeveer dezelfde a-waarde hebben, in dit geval 0,62 / 3 = 0,21. Dit zou betekenen dat ze allemaal even plausibel zijn. In het voorbeeld zie je dat de a-waarden van de foute antwoorden respectievelijk 0,36 (D), 0,19 (C) en 0,07 (A) zijn. Mogelijk lijkt de onjuiste afleider D veel op het juiste antwoord. Ook kan het zijn dat de kandidaten op het verkeerde been zijn gezet of het verkeerde antwoord hebben aangeleerd. Afleider D vraagt dus om nadere analyse. Afleider A heeft een relatief lage a-waarde en is kennelijk niet erg aannemelijk als antwoord op de vraag. Je zou er daarom voor kunnen kiezen deze afleider te verwijderen.

De r_at– en r_ar-waarden

De rat- en de rar-waarden zijn verbonden aan de rit- en de rir-waarden. Rat staat voor relatie afleider toets en rar voor relatie afleider rest (waarbij de laatste een betere meting geeft, zie uitleg over rit en rir). Aan deze waarden zie je in hoeverre de keuze voor een bepaalde afleider zich verhoudt tot de rest van de toets.

De rar-waarde is interessant omdat je daarmee kunt zien of kandidaten die goed presteren op de toets bij een specifieke vraag wellicht eerder een foutieve afleider hebben gekozen. Zijn de goede kandidaten dan misschien op het verkeerde been gezet? Of misschien is er een fout geslopen in het antwoordmodel, of leidt de vraagstelling teveel naar een onjuist antwoord.

De toetsanalyse beoordelen

Bij het bekijken van de analysewaarden, stel je jezelf de volgende vragen:

1. Wat is jouw indruk van de examenresultaten?

Voorafgaand aan het bekijken van de analyse heb je meestal al een gevoel bij de toetsresultaten. Past het slagingspercentage bijvoorbeeld bij het beeld dat je vooraf had van de groep kandidaten? Wat is jouw indruk van de kwaliteit van de toets? Vind je de vorm (schriftelijk bijvoorbeeld, of met veel gebruik van video) passen bij de toetscriteria? Wat vind je van de toetsvragen, als je kijkt naar de toetscriteria? Jouw eigen beleving van de toets en het toetsresultaat geeft je vaak focus bij het bekijken van de analyse in RemindoToets.

2. Over hoeveel kandidaten gaan deze waarden?

Bij meer dan 100 kandidaten, kun je de waarden met vertrouwen onderzoeken. Dan hebben de waarden betrekking op een grote groep personen/afnames. Dan mag je er vanuit gaan dat de waarden iets zeggen over de toets en de vragen. Bij kleinere aantallen zijn de waarden teveel afhankelijk van toevalligheden. Zo kan er toevallig een goede groep studenten tussen zitten of juist veel herkansers, die vaak andere scores laten zien. Je kunt bij kleinere aantallen natuurlijk ook met de analyse aan de slag en ervoor kiezen om vragen te verbeteren, maar neem de waarden meer met een korreltje zout.

3. Is er sprake van een normale verdeling?

Kijk goed naar de schaal van de frequentieverdeling. Begint deze bij de laagst mogelijke score en eindigt hij bij de hoogst mogelijke score? Kan de student bijvoorbeeld een cijfer halen tussen de 1 en 10 voor zijn toets, dan moet de schaal beginnen bij 1 en eindigen bij 10. RemindoToets past de schaal automatisch aan naar de behaalde scores (zodat het inzichtelijk blijft) en deze kan dus verschillen. Als de schaal klopt en de grafiek laat een normale verdeling zien, dan kun je met vertrouwen de rest van de analysewaarden bekijken.

De grafiek kan een afwijking naar rechts laten zien. Dan kun je de conclusie trekken dat de toets te makkelijk is geweest (dit is natuurlijk pas de conclusie als er sprake is van meer dan 100 kandidaten). Maar dit hoeft niet altijd het geval te zijn. Factoren in het onderwijs spelen daar uiteraard een grote rol in. Is er bijvoorbeeld een strenge intake geweest voorafgaand aan de opleiding of wordt er veel tijd besteed aan examentraining, dan mag je een hogere score verwachten.

Wanneer de grafiek afwijkt naar links, kan de toets te moeilijk zijn geweest. Natuurlijk is het hier ook belangrijk dat je de context waarin de toets is afgenomen goed meeweegt. Hoe is het onderwijs verlopen? Wat waren de omstandigheden tijdens de toets? Zijn er specifieke kenmerken te noemen over de kandidaten die de toets hebben gemaakt? Welke rol heeft de toets in de gehele opleiding van de kandidaten? Al deze zaken spelen een rol wanneer je de analyse bekijkt.

4. Hoe betrouwbaar is de toets volgens Cronbachs alfa?

Bij een Cronbachs alfa die lager is dan 0,6 kun je de conclusie trekken dat het resultaat van de toets weinig betrouwbaar is (afhankelijk van het antwoord op de vorige vragen). De betrouwbaarheid kun je vergroten door de vragen te verbeteren. Maar het kan er ook op duiden dat de toets bijvoorbeeld uit te weinig vragen bestaat. Wanneer je het aantal vragen in de toets vergroot, zal de Cronbachs alfa toenemen.

5. Wat zijn dubieuze vragen?

Vervolgens kijk je naar de vragen. RemindoToets markeert een aantal vragen die afwijkende waarden laten zien. Allereerst kijk je naar de p’- en de rir-waarden. Welke vragen worden slecht beantwoord (p’-waarde)? En hoe is het gesteld met de rir-waarde van deze vragen? Negatieve rir-waarden en lage p-waarden vragen altijd om aandacht. Kun je een oorzaak vinden? Het kan bijvoorbeeld voorkomen dat het antwoordmodel niet juist is of dat de vraag op meerdere manieren te interpreteren is. Of misschien moeten er toch meer antwoordopties goed gerekend worden. Wanneer je kijkt naar de rir-waarden, kun je met behulp van de interactie-analyse van RemindoToets ook direct de a- en rar-waarden bekijken. Zo zie je welke antwoordopties vaak gekozen zijn. En kun je een mogelijke oorzaak van de afwijkende waarden vinden.

Direct repareren

Een goede kwaliteitscontrole op de toets vindt liever voorafgaand aan de afname plaats. Toch kunnen door de afname achteraf onvoorziene fouten in toetsen opduiken. De toetsanalyse is daarvoor een ideale methode. Het is altijd belangrijk om kritisch naar de toets te kijken en vragen regelmatig te verbeteren. Ook wanneer de waarden binnen de normen vallen, kun je achteraf vaak veel verbeteren aan de vragen. Analyse van de afname geeft vaak veel meer inzicht in de kwaliteit van de toets.

Daarnaast is er een aantal aanwijzingen uit de toetsanalyse die om directe reparatie vragen. Hier volgt een aantal voorbeelden:

1. Vragen waarbij je tot de conclusie komt dat het antwoordmodel onjuist is. Dit kun je achteraf in RemindoToets eenvoudig aanpassen en ook voor de al afgenomen toetsen herstellen.
2. Vragen die studenten bewust of onbewust op het verkeerde been zetten, de zogenaamde strikvragen, zijn niet wenselijk in een toets. Je wilt per slot van rekening meten of de kandidaat aan de toetscriteria voldoet en niet bewust naar een verkeerd antwoord leiden. Strikvragen ontdek je door afwijkende rit- en rar-waarden. Deze vragen kun je achteraf uit de toets halen en niet laten meetellen in het eindresultaat. Vragen uit de toets halen kun je niet onbeperkt doen, dit heeft namelijk direct effect op de betrouwbaarheid van de toets.
3. Als p’-waarden van veel vragen erg laag zijn, zie je dit waarschijnlijk ook terug in het slagingspercentage. Afhankelijk van het toetsbeleid van de organisatie kan dit betekenen dat de cesuur achteraf nog wordt aangepast. Toch hoeft dat niet altijd nodig te zijn. Bepaal altijd kritisch of je meer mensen een voldoende wilt laten behalen door de cesuur lager in te stellen.
4. Vragen met een p’-waarde van (bijna) 1. Dat betekent dat (bijna) iedereen deze vraag juist heeft beantwoord. Was hij dan niet veel te makkelijk? Je zou kunnen zeggen dat deze vraag in ieder geval geen functie heeft gehad in de toets. Je zou ook tot de conclusie kunnen komen dat het onderwijs op dit onderwerp goed is geweest. Afhankelijk van de situatie kan het tot een reparatie leiden, maar dat hoeft niet.

Het vervolg

Een goede toetsanalyse leidt vaak tot onderwerpen of aandachtspunten die op systematische wijze geëvalueerd moeten worden. De lengte van de toetsen, de wijze waarop toetsen worden afgenomen, de rol die een specifieke toets in een heel toetsplan heeft, ze kunnen allemaal ter discussie staan na een goede toetsanalyse.

Merk je iets op tijdens het analyseren van de toets, dan is het aan te bevelen om hierover aantekeningen te maken. Zodat je later concreet suggesties kunt doen voor het structureel verbeteren van de examinering binnen de organisatie.

Wij wensen je veel succes bij het analyseren van de toetsresultaten.

Goed onderwijs en mooie toetsen beginnen bij het opstellen van leerdoelen, maar dat kan nog best lastig zijn. Want hoe zorg je dat je leerdoel concreet genoeg is en de inhoud dekt? De volgende hink-stap-sprong helpt je hierbij.

1.    Hink: Maak een taakanalyse

Wanneer je vooraf een taakanalyse maakt, zorg je ervoor dat alle inhoud in je leerdoelen opgenomen wordt. Een taakanalyse bestaat uit een analyse van de onderwerpen die aan bod moeten komen (onderwerpanalyse), een analyse van de procedures die de lerende moet uitvoeren (procedurele analyse) en eventueel een analyse van een realistische situatie. De inhoud kun je classificeren in kenniscomponenten (feiten, concepten, principes en regels), procedures, interpersoonlijke vaardigheden en attitudes.

Eerst maak je een onderwerpanalyse, waarin je een deel van de inhoud in plaatst, namelijk de kenniscomponenten. Maak voor jezelf eerst een lijst met alle onderwerpen. Daarna beschrijf je hoe deze aan elkaar gerelateerd zijn. Op deze manier komen de feiten, concepten, principes en regels tevoorschijn. Een voorbeeld om te laten zien hoe dit er uit kan zien:

Vervolgens maak je een procedurele analyse, waar je de procedures in plaatst die de lerende moet uitvoeren. Procedures kan een lerende uitvoeren met de kennis die hij heeft, dus daarom moeten ook de kenniscomponenten hierin terug komen.

Schrijf voor de procedures die de lerende moet uitvoeren, precies op wat hij in elke stap moet doen. Daarnaast beschrijf je welke kenniscomponenten hij moet bezitten.

Kenniscomponenten en procedures behoren tot redelijk concrete inhoud. Je kunt deze inhoud makkelijk in kaart brengen en meetbaar maken. Doordat het makkelijk meetbaar is, kun je observeren of de lerende de inhoud beheerst. Interpersoonlijke vaardigheden en attitudes zijn daarentegen abstracter. Het is lastiger te bepalen welke vaardigheden en houdingen de lerende moet beheersen om te kunnen interacteren met de andere persoon. Stel dat je een lerende wilt leren hoe hij een interview uitvoert, een adviesgesprek voert of een klant te woord staat aan de telefoon. Hoe moet de lerende communiceren met de andere persoon, welk non-verbaal gedrag moet hij daarbij vertonen en welke houdingen moet hij daarvoor bezitten? Daarnaast is het ook moeilijker om deze inhoud te meten, omdat het minder goed te observeren is.

Om de benodigde interpersoonlijke vaardigheden en attitudes te achterhalen die nodig zijn, is het aan te raden om een expert de situatie uit te laten voeren op een succesvolle én een niet succesvolle manier. Vraag de expert tijdens de situatie en na de situatie welke interpersoonlijke vaardigheden en attitudes ervoor zorgen dat de situatie succesvol of niet succesvol was. Op deze manier krijg je een duidelijk beeld van de interpersoonlijke vaardigheden en attitudes die de lerende moet beheersen.

2.    Stap: Bepaal het domein

Leerdoelen kun je onderverdelen in drie domeinen, namelijk het cognitieve, psychomotorische en affectieve domein. Feiten, concepten, principes en regels, procedures, interpersoonlijke vaardigheden en attitudes kunnen allemaal onderverdeeld worden in een domein. Voor ieder domein bestaan bijpassende taxonomieën. Een taxonomie geeft niveaus of classificaties aan, die je helpen bij het opstellen van je leerdoel. Het zet je aan het denken over welk gedrag je graag wilt zien bij de lerende.

Het cognitieve domein

Het cognitieve domein is gericht op kennis en wat de lerende met het hoofd doet. De feiten, concepten en principes/regels kun je allemaal dekken in het cognitieve domein. Wanneer je de kenniscomponenten wilt plaatsen in een leerdoel, kun je gebruikmaken van de Taxonomie van Bloom, die onderscheid maakt in niveaus: kennen, begrijpen, toepassen, analyseren, synthetiseren en evalueren. Stel, je wilt dat een lerende begrijpt dat ‘wanneer je iets met potlood hebt getekend, je het met gum weer uit kunt gummen’. Dan kun je ervoor kiezen om je leerdoel te plaatsen op het niveau begrijpen, zodat de lerende moet uitleggen wat er gebeurt als je met gum over een potloodstreep heen gaat. Als je wilt dat de lerende dit principe toepast, kun je ervoor kiezen om de lerende een potloodstreep uit te laten gummen en het effect ervan zelf te laten ervaren.

Het psychomotorisch domein

Het psychomotorisch domein bevat procedures en vaardigheden die een lichamelijke beweging vereisen. Een taxonomie die je hiervoor kunt gebruiken is die van Kibler. Deze taxonomie groepeert soorten lichaamsbewegingen: grote lichaamsbewegingen, fijne lichaamsbewegingen, non-verbale communicatie en spraak. Denk bijvoorbeeld aan de procedure voor het maken van een tekening. Dit is een fijne beweging met de handen en vingers. Of jezelf voorstellen aan een klant aan de telefoon. Dit is een interpersoonlijke vaardigheid op het niveau van spraak.

Het affectieve domein

Het affectieve domein bevat attitudes en emoties. Een geschikte taxonomie voor het opstellen van leerdoelen in het affectieve domein is de taxonomie van Krathwohl, Bloom en Masia. De niveaus lopen op van simpel bewustzijn van een houding, tot het bewustzijn dat je een houding echt eigen hebt gemaakt.

De domeinen zijn verbonden aan elkaar. Als de lerende een procedure uitvoert (het psychomotorisch domein), dan zal hij daarvoor onderliggende kennis moeten hebben (het cognitieve domein). Het is slim om daarom te bepalen op welk niveau je kennis wilt aanleren, zodat de lerende de kennis kan gebruiken in een procedure.

3.    Sprong: Schrijven van het leerdoel

Wanneer je werkt vanuit een domein dat voorschrijft op welke niveaus je leerdoelen kunt opstellen, kun je beginnen met schrijven van het leerdoel.

Nu je met zorgvuldigheid je leerdoel gaat beschrijven, kun je je leerdoel nog concreter maken door een prestatieniveau toe te voegen en voorwaarden te bepalen. Door deze twee elementen aan je leerdoel toe te voegen, weet de lerende precies waar hij aan toe is en kan een leerdoel beter gemeten worden.

Bijvoorbeeld: ‘De lerende benoemt de niveaus van de taxonomie van Bloom precies in de juiste volgorde.’ Het deel ‘precies in de juiste volgorde’ geeft het prestatieniveau aan. Wanneer de lerende twee niveaus mag omdraaien, zou het leerdoel als volgt geformuleerd kunnen worden: ‘De lerende benoemt de niveaus van de taxonomie van Bloom in de juiste volgorde en mag daarbij twee fouten maken.’

Door het toevoegen van ‘binnen één minuut’ weet de lerende onder welke voorwaarde hij moet kunnen aantonen dat hij aan dit leerdoel voldoet: ‘De lerende benoemt de niveaus van de taxonomie van Bloom precies in de juiste volgorde, binnen één minuut.’ Ook voorwaarden als ‘op X locatie’, ‘met behulp van materiaal X’ of ‘in teamverband’ kunnen opgenomen worden in het leerdoel.

Cognitieve leerdoelen

Het ene cognitieve leerdoel is makkelijker te meten dan het andere. Een leerdoel dat zichtbaar gemaakt kan worden door de lerende, is dan ook meestal gedragsmatig. Een voorbeeld hiervan is de uitwerking van het leerdoel op het niveau begrijpen uit het cognitieve domein: ‘De lerende kan uitleggen wat er gebeurt met de structuur van papier wanneer je meerdere keren potloodstrepen uitgumt’.

Gedragsmatig

Bij gedragsmatige leerdoelen kijk je letterlijk naar het gedrag dat een lerende moet laten zien, om aan te tonen dat hij de kennis beheerst. Het is belangrijk om het leerdoel te beginnen met een werkwoord. Morrison, Ross, Kalman en Kemp hebben op basis van de taxonomie van Bloom voor ieder niveau passende werkwoorden opgesteld. Bij het niveau Kennis passen werkwoorden als definiëren en benoemen en bij Analyse passen werkwoorden als bereken en vergelijken. Als je dus in de vorige stap het juiste niveau in de taxonomie hebt gekozen, kun je nu gericht een passend werkwoord kiezen.

Na het werkwoord moet het leerdoel vervolgd worden met het onderwerp of de inhoud waar het leerdoel over gaat (bijvoorbeeld: ‘Benoem zeven onderdelen van een fiets’).

Cognitief

Cognitieve leerdoelen die niet direct zichtbaar gemaakt kunnen worden door de lerende, zijn cognitief. Bijvoorbeeld: ‘de lerende begrijpt de werking van een motor’. Hoe kun je nou zien of de lerende dit leerdoel beheerst?

Veel gebruikte werkwoorden die ingezet worden bij een cognitief leerdoel zijn selecteren, begrijpen, interpreteren en evalueren. Wanneer je deze werkwoorden gebruikt in een leerdoel, wordt het leerdoel niet heel concreet. Om voor de lerende toch duidelijk te maken wat je wilt dat hij aantoont, kun je extra informatie opnemen bij het leerdoel. Deze extra informatie kunnen bijvoorbeeld gedragingen zijn die de lerende noodzakelijk moet volgen om aan het leerdoel te voldoen. Bijvoorbeeld:

• Leerdoel: De lerende evalueert de werking van een fiets
• Gedraging 1: Controleren of de ketting niet aanloopt (handeling)
• Gedraging 2: Controleren of de trappers soepel ronddraaien (handeling)

Probeer leerdoelen zoveel mogelijk te schrijven met de focus op de uitkomst en niet op het proces. Voornamelijk bij cognitieve leerdoelen ligt deze valkuil voor de hand. Leerdoelen als ‘de lerende verkrijgt kennis over onderwerp X’ focust op het proces en niet op de uitkomst.

Psychomotorische leerdoelen

Psychomotorische leerdoelen zijn makkelijk te observeren. Je ziet namelijk wat de lerende doet en zo kun je goed bepalen of de lerende aan het leerdoel voldoet of niet. Wanneer je een psychomotorisch leerdoel gaat beschrijven is het handig om concrete prestatieniveaus en voorwaarden te beschrijven, zodat de lerende precies weet waar hij rekening mee moet houden als hij de fysieke uitvoering van het leerdoel vertoont.

Affectieve leerdoelen

Affectieve leerdoelen zijn vaak lastig om te meten. Hoe meet je nou of iemand ergens waarde aan hecht, of iets leuk vindt? Om een stap in de richting te komen van het kunnen meten van een affectief leerdoel, kun je specifieke gedragingen opstellen die passen bij het leerdoel. Bijvoorbeeld:

• Leerdoel: De lerende hecht waarde aan een schoon milieu
• Gedraging 1: De lerende gooit afval in de afvalbak
• Gedraging 2: De lerende neemt de fiets in plaats van de auto

Meer weten?

Wil je meer leren over het opstellen van leerdoelen? Schrijf je dan in voor de training ‘Dat zal je leren!’, die gegeven wordt op 27 september a.s. Deze training zal, net als dit artikel, gebaseerd zijn op het Instructional Design model van Morrison, Ross, Kalman en Kemp. Meer informatie over deze training en hoe je je hiervoor aanmeldt, vind je hier.

Hoe je deelnemers kunt activeren op de MessageWall

“Bespreek jouw uitwerking van deze opdracht met alle groepsleden op de MessageWall.” Het lijkt zo’n eenvoudige instructie, maar waarom gebeurt er dan niets op het forum? Wat je wél leest zijn onzinnige, of soms asociale berichten van de deelnemers onderling. Zoals dat ook vaak gebeurt op social media. Zo ben je wekelijks bezig met het verwijderen van die berichten en deelnemers te stimuleren met de lesstof aan de slag te gaan op het forum. Waarom lukt het nu steeds niet en wat moet je daarmee als docent?

Wanneer scholen overgaan van klassikaal onderwijs naar digitaal of blended leren, zijn er twee aannames die niet meehelpen:

1. Je gaat er vanuit dat sociaal contact op het online forum automatisch zal ontstaan, omdat het technisch mogelijk is en we het aanbieden.

Wanneer deelnemers face-to-face makkelijk met elkaar in contact komen, hoeft dat niet direct te betekenen dat dit online ook het geval is. Sterker nog: onderzoek laat zien dat dit verband niet bestaat. Sociaal handig zijn in levenden lijve, zegt niets over het gebruik van de MessageWall en online goed kunnen communiceren.

2. Alle sociale interactie die plaatsvindt op het online forum moet over de lesstof gaan.

Het is vaak geen bewuste keuze, maar je wilt de deelnemers nu eenmaal iets leren, dus verwijs je naar de MessageWall met gerichte opdrachten over de lesstof. Hiermee sla je onbewust alle sociaal-emotionele processen over; de communicatie die gevraagd wordt is dan steeds heel taakgericht. Er is nauwelijks een mogelijkheid om als deelnemer ‘zomaar wat te chatten’, wat nu bij uitstek de manier is om te werken aan vertrouwensrelaties en groepsvorming. Je ziet dat groepen daarom soms een aparte app-groep starten, waarmee ze een manier vinden tot sociaal contact. Prima natuurlijk, maar ze zijn wel weg van de MessageWall en dat is jammer.

Daar bovenop komt het probleem dat er meestal wordt gevraagd om uitwerkingen van een opdracht te plaatsen. Dus pas wanneer de deelnemer klaar is. De weg naar de uitwerking toe, wordt niet gevraagd. Dat helpt niet bij het bouwen aan een groep en de vertrouwensrelaties. Henri kan dagen bezig zijn geweest om vervolgens zijn uitwerking te delen, terwijl Martijn ondertussen nog niets heeft gedaan en met veel minder moeite hetzelfde werk kan opleveren.

Het resultaat is dat het online samenwerken aan opdrachten nauwelijks tot stand komt. Er is meer nodig. Dus wat zou je daarin als begeleider of docent kunnen doen?

• Er moet niet alleen een reden zijn om met elkaar in contact te komen, maar ook gelegenheid zijn om met elkaar te werken aan samenwerkingsrelaties. Dat kun je doen door in de leeromgeving te bevorderen dat groepsleden elkaar betrekken bij het werk, elkaar vragen stellen en hun bijdragen over en weer beoordelen. Het is belangrijk dat er een afhankelijkheid ontstaat tussen de deelnemers. Bijvoorbeeld wanneer je groepsleden zodanig met elkaar verbindt dat de ene deelnemer pas kan slagen voor de opdracht als hij een andere deelnemer heeft geholpen. Een andere manier is om een groepsdoel te stellen en als groep ook te reflecteren op ieders rol tijdens de opdracht. Daarnaast kunnen groepwerk-methodes zoals Jigsaw goed werken.
• Het is belangrijk om naast taakgericht contact ook aandacht te besteden aan de sociale contacten tussen groepsleden. Deelnemers moeten elkaar vertrouwen en zich betrokken voelen, voor ze actief een samenwerking aangaan. Docenten hebben de neiging om zelfs dit onderdeel taakgericht aan te pakken. Ze vragen dan bijvoorbeeld aan iedereen om iets persoonlijks te delen via het forum, met weinig resultaat. Beter is het om zelf het juiste voorbeeld te geven en klein te beginnen. Zie onderstaand voorbeeld.

Maak het in ieder geval mogelijk dat deelnemers ook op sociaal gebied met elkaar in gesprek kunnen op de MessageWall en wees er kritisch op welke berichten je verwijdert. Is het niet aanstootgevend, laat het dan lekker staan.

Geef zelf het goede voorbeeld, alle ogen zijn in het begin op jou gericht, dus moet je als docent zelf zichtbaar zijn in de MessageWall.

Als het gaat leven op de MessageWall, is het een hele effectieve en waardevolle manier om het leren buiten het klaslokaal gericht te activeren. We wensen je veel succes!

Op 4, 5 en 6 juli kwamen in Utrecht een groot aantal veterinaire professionals samen, die actief zijn in het veterinair medisch onderwijs. Het VetEd symposium werd voor het eerst in Nederland gehouden, op de faculteit Diergeneeskunde van Universiteit Utrecht. Op 4 juli was de Pre-conferentie, met verschillende workshops. Op 5 en 6 juli de Conferentie met verschillende workshops, presentaties én natuurlijk Paragin. Er kwamen deelnemers uit onder andere de Verenigde Staten, Senegal, Cambridge, Finland en Canada een bezoek brengen aan de stand. Zij konden kennismaken met onze software en meedoen aan een prijsvraag.

Het meest veelzijdige platform dat Paragin aanbiedt, is MijnPortfolio.nl. De meer dan 75 verschillende modules kunnen ingezet en gecombineerd worden, om een omgeving op maat in te richten. Zo kan het platform perfect ondersteunen bij elke werkgerelateerde uitdaging binnen het onderwijs, bedrijfsleven en arbeidsmarkt.

Voor welke doeleinden wordt dit platform dan bijvoorbeeld gebruikt? Drie organisaties aan het woord, die -met heel uiteenlopende doelen en doelgroepen- werken met MijnPortfolio.nl.

Maaike de Caluwé onderwijskundig medewerker KCH Projectleider ‘Praktijkgericht Examen Portfolio’

Even voorstellen

“KCH Examens houdt zich bezig met examinering, certificering en kwaliteitsborging. KCH richt zich op bedrijven en branches in de handel of logistiek en voert daar diverse onderwijskundige opdrachten voor uit. Een belangrijk onderdeel van KCH is het certificeren van leerlingen binnen het praktijkonderwijs of het voortgezet speciaal onderwijs, in handel en logistiek op MBO 1 of MBO 2 niveau.”

Met welk(e) doel(en) wordt MijnPortfolio.nl gebruikt binnen KCH Examens?

“Veel van de leerlingen van praktijkscholen of VSO scholen zijn niet in staat een MBO 1 diploma te halen, maar werken in de praktijk/ stage wel op dit niveau. Het Praktijkgericht Examen Portfolio biedt deze leerlingen de kans om bewijzen te verzamelen en in het portfolio te uploaden, waardoor de assessor (vanuit KCH) kan bepalen of deze bewijzen voldoen aan de prestatiestandaard (MBO 1 of MBO 2), om hierop een branchecertificaat uit te kunnen geven.”

Waarom is voor MijnPortfolio.nl gekozen en niet voor andere software?

“Wij werken al jaren samen met Paragin, ook met andere software zoals RemindoContent, RemindoToets en in het verleden RemindoEVC. Wij hadden dus al veel ervaring met MijnPortfolio.nl, we kennen de werkwijze en vinden de software gebruikersvriendelijk.”

Omschrijf eens een traject van een deelnemer?

“De gegevens van een leerling van een praktijkschool of VSO school worden ingevoerd in het systeem en er wordt een begeleidende docent en/of stagebegeleider en een examinator (assessor) aan gekoppeld. Verder wordt de keuze voor de kwalificatie (prestatiestandaard) gemaakt.
De leerling vult vervolgens zijn eigen portfolio aan. De bewijzen uit de praktijk/ stage en uit de theorie/ school worden verzameld en in het portfolio geüpload. Als het portfolio compleet is, dan klikt de docent de eerste processtap aan.
Hierdoor ontvangt de examinator van KCH een mailtje. De examinator beoordeelt het portfolio, de hoeveelheid, de inhoud en de validiteit van de bewijzen en geeft goedkeuring voor afname van het praktijkexamen, door de tweede processtap aan te klikken.
De begeleidende docent zorgt dat het praktijkexamen wordt afgenomen, uploadt dit weer in het portfolio en klikt de derde processtap aan.
De examinator van KCH controleert of het examen met minimaal een voldoende is afgesloten en checkt de validiteit van het bewijs. Daarna wordt de rapportage, in dit geval het certificaat voor deze kwalificatie, uitgedraaid en verstuurd. De leerling kan in hetzelfde portfolio en nieuwe kwalificatie kiezen en het portfolio aanvullen met de juiste bewijzen hiervoor. Het portfoliotraject wordt, meestal aan het einde van het schooljaar, feestelijk afgesloten met een certificaatuitreiking.”

Welke functionaliteit binnen MijnPortfolio.nl vind je erg mooi?

“Mooi is dat iedere school zijn eigen omgeving met bijbehorende “look & feel” heeft. Dit is voor de praktijkschool en VSO leerlingen prettig en veilig door de herkenbaarheid. Ik vind de processtappen die automatisch een signaal naar de juiste persoon sturen een effectieve en praktische functie. Daarnaast ben ik erg blij met de bibliotheek waarin KCH, naast formats voor de bewijzen, ook servicedocumenten beschikbaar kan stellen.”

Wat is je ervaring met Paragin?

“Mijn ervaring met de servicedesk van Paragin is heel goed. De servicedesk is telefonisch goed bereikbaar, maar ook via de mail krijg ik meestal snel antwoord. De gewenste aanpassingen in het systeem duren vaak wat langer, maar ik heb wel altijd het gevoel dat men probeert mee te denken.”

Als je ons één tip mag geven, wat zou je ons dan mee willen geven?

“Op dit moment kan ik niet echt iets bedenken, maar wij gaan in de zomermaanden het systeem opschonen en kijken of wij dit voor onze doelgroep nóg gebruikersvriendelijker kunnen maken. Ik verwacht dat daaruit wel wensen of tips naar voor zullen komen.”

Emanuella Bus medewerker bij InCtrl

Even voorstellen

“InCtrl is een dienstverlenende organisatie, we zijn ervan overtuigd dat een mens meer is dan een verzameling diploma’s! Talenten tellen net zo hard mee en onze ambitie is dit voor organisaties en individuen zichtbaar te maken. Ik adviseer, implementeer en train groepen om optimaal gebruik te maken van alle mogelijkheden binnen ons digitale portfolio.”

Met welk(e) doel(en) wordt MijnPortfolio.nl gebruikt binnen InCtrl?

“We willen dat mensen zelf eigenaar zijn van hun talenten en dat ze dit overal en altijd kunnen meenemen en kunnen laten zien. MijnPortfolio.nl is voor ons het ideale platform om dit in vorm te geven.”

Waarom is voor MijnPortfolio.nl gekozen en niet voor andere software?

“Omdat het een interoperabel (uitwisselbaar) ePortfolio is, dat voldoet aan de NEN2035. (NTA 2035: De Nederlandse Technische Afspraak voor optimale data-uitwisseling en portabiliteit – red.) En omdat de contacten met Paragin heel prettig zijn. Korte lijntjes, zeggen wat je doet en doen wat je zegt, is voor ons heel belangrijk.”

Omschrijf eens een traject van een deelnemer?

“Dat is altijd anders. We doen zelf geen individuele trajecten, dat laten we aan de professionals over. Op het moment dat een klant besluit met ons in zee te gaan, gaan we het gesprek aan over de inrichting van de omgeving. Het zogenaamde ‘tekentafel gesprek’. De inrichting van het ePortfolio wordt bepaald door het doel en is sterk afhankelijk van de opdracht van de organisatie. Wij sluiten aan bij de bestaande situatie, vanuit de overtuiging dat elke context andere talenten vraagt. Van hieruit versterken we bestaande processen van talentmanagement en we zetten waar nodig deskundige adviseurs in. Ons doel is dat organisaties talentmanagement zelf ter hand nemen en binnen hun context het beste uit hun mensen halen.”

Welke functionaliteit binnen MijnPortfolio.nl vind je erg mooi?

“Sowieso het eigenaarschap, maar dat is niet echt een functionaliteit. Paragin blijft constant ontwikkelen naar aanleiding van wensen die we uitspreken. De recent ontwikkelde PE (Permanente Educatie) en Scholingsmodule vind ik heel mooi. Maar de matchingstool waarin we ook heel veel ruimte hebben om te matchen op voor onze klant belangrijke talenten zetten we vaak in.”

Wat is je ervaring met Paragin?

“Prima, communicatie is vlot en prettig, de lijnen zijn kort. Ze staan altijd open voor input van onze kant, zodat we samen blijven ontwikkelen.”

Als je ons één tip mag geven, wat zou je ons dan mee willen geven?

“Blijf het vooral doen zoals jullie het nu doen. In een groeiende organisatie is het vaak moeilijk om het te blijven doen zoals je gewend was, omdat je natuurlijk ook een professionaliseringsslag moet maken. Maar blijf persoonlijk contact houden, zoals nu.”

Edo Hiemstra Projectmanager FNV Werken aan Werk

Even voorstellen

“De FNV (Federatie Nederlandse Vakbeweging) is de grootste vakbond van Nederland. De FNV komt op voor de belangen van mensen op het gebied van werk en inkomen. Ruim 1 miljoen mensen zijn lid, van scholier tot en met gepensioneerde. Ik ben als Projectmanager verbonden aan FNV Werken aan Werk. FNV Werken en Werk is nu nog een pilot in 5 regio’s en is er voor iedereen die binnenkort zijn of haar baan verliest of minder dan 6 maanden werkloos is.”

Met welk(e) doel(en) wordt MijnPortfolio.nl gebruikt binnen FNV?

“MijnPortfolio.nl wordt bij FNV Werken aan Werk ingezet als deelnemervolgsysteem. Het gehele begeleidingstraject dat door onze trajectadviseurs aan deelnemers wordt aangeboden, wordt door MijnPortfolio.nl gefaciliteerd.”

Waarom is voor MijnPortfolio.nl gekozen en niet voor andere software?

“MijnPortfolio.nl biedt de door FNV Werken aan Werk gevraagde functionaliteit. Indien de functionaliteit nog niet aanwezig is, is Paragin bereid dit kosteloos te ontwikkelen.”

Omschrijf eens een traject van een deelnemer?

“Een deelnemer meldt zich in 1 van de 5 deelnemende regio’s aan, voor begeleiding door FNV. Tijdens deze aanmelding zal door de trajectadviseur een intakegesprek worden gevoerd met de deelnemer en op basis hiervan zal een profiel worden aangemaakt.
De deelnemer kan vervolgens zelf een account aanmaken en alles in MijnPortflio.nl volgen. Na het aanmaken van het account zal de deelnemer gevraagd worden een online-test uit te voeren. De testen zijn door FNV Werken aan Werk ingekocht en zijn door Paragin opgenomen in MijnPortfolio.nl.
Na het uitvoeren van de online-test wordt het begeleidingsplan opgesteld. In het begeleidingsplan staat vermeld aan welke activiteiten en andere online-testen de deelnemen gaat deelnemen. Zowel de activiteiten, in de vorm van trainingen en workshops, als de online-testen worden vastgelegd in MijnPortfolio.nl en hierin kan zowel door de deelnemer, de trajectadviseur als de trainer de voortgang worden vastgelegd.
Na het afronden van de begeleiding heeft de deelnemer nog steeds de mogelijkheid gebruik te maken van MijnPortfolio.nl.”

Welke functionaliteit binnen MijnPortfolio.nl vind je erg mooi?

“De mogelijkheid waarbij deelnemers kunnen aangeven aan welke activiteit of training zij willen meedoen, waarbij de trajectadviseur dit begeleidt en de trainer de aanwezigheid bijhoudt.”

Wat is je ervaring met Paragin?

“Paragin is een organisatie die altijd het belang van de gebruikers van MijnPortfolio.nl voorop stelt en daardoor ook continu nieuwe functionaliteiten kan toevoegen aan MijnPortfolio.nl.”

Als je ons één tip mag geven, wat zou je ons dan mee willen geven?

“Blijf vooral doorgaan!”

Wil je graag meer weten over MijnPortfolio.nl? Kijk dan op de pagina over MijnPortfolio.nl op onze website of neem contact met ons op!

Op 7 juli is Release 18-2 beschikbaar gesteld aan alle RemindoToets gebruikers. 

In korte tijd zijn er een aantal mooie nieuwe toevoegingen gedaan aan RemindoToets, sinds Release 18-1 van 21 april dit jaar.

• Zo komt er een nieuw vraagtype bij, waarbij externe media gekoppeld kan worden;
• Meerkeuzevragen kunnen voortaan op verschillende wijze weergegeven worden;
• Een toetsmoment kan gepland worden zónder dat er al een matrijs gekoppeld hoeft te worden;
• Er komen er meer standaard instellingen om je RemindoToets omgeving passend en naar wens in te richten.

Wil je meer informatie over RemindoToets of de volledige Releasenotes ontvangen? Bekijk dan onze website, of neem contact met ons op!