Inzetten van 360 graden feedback

Feedback heeft een belangrijke rol in de ontwikkeling van mensen. Feedback ontvang je bijvoorbeeld van collega’s, je manager, of docent. Het kan spontaan worden gegeven of georganiseerd, wanneer je bijvoorbeeld werkt aan een bepaalde competentie of vaardigheid. Feedback heeft altijd een subjectief karakter. Het referentiekader van de feedbackgever speelt mee in de inhoud van de boodschap. Om iemand toch te kunnen voorzien van volledig en een objectiever beeld, is 360° graden feedback een mooie methode.

De 360° feedback wordt gebruikt om iemands functioneren letterlijk van alle kanten te belichten. Alle mensen die betrokken zijn bij het functioneren van een medewerker of student worden gevraagd een beoordeling te geven, aan de hand van een vragenlijst met antwoordcategorieën. Dit kunnen bijvoorbeeld praktijkbegeleiders, werkbegeleiders, docenten, studenten, klanten en collega’s zijn. Het voordeel is dat je deze methode redelijk makkelijk kunt organiseren, wanneer de leerpunten/ vragen duidelijk zijn. Daarnaast komen verschillende perspectieven op iemands functioneren in beeld en krijgt de persoon een completer beeld van zijn prestaties en leerpunten.

Genoeg voordelen om de methode te overwegen. Net als bij alle personeels- en opleidingsmaatregelen is het ook hier belangrijk om het inzetten van de methode goed voor te bereiden, zodat het instrument zijn werk kan doen. Waar moet je dan rekening mee houden?

  1. Laat mensen eerst wennen aan het geven en ontvangen van feedback

Zowel het geven als het ontvangen van feedback is waardevol, maar kan ook bedreigend zijn. Het nadeel van alle meetinstrumenten (zoals de 360° feedback) is dat de non-verbale communicatie weg valt. De boodschap is plat, zakelijk en daar moet de ontvanger mee kunnen omgaan. Het helpt wanneer men in de organisatie al gewend is aan het geven en ontvangen van feedback, wanneer er een open cultuur bestaat. Wanneer dit (nog) niet het geval is, is het verstandiger om eerst te werken aan het mondeling feedback geven.

  1. Denk goed na over wat je wilt meten

Je kunt 360° feedback voor allerlei vraagstukken gebruiken. Als je wilt dat het binnen de school of organisatie gaat werken, is het belangrijk om je vooraf af te vragen: wat willen we nu precies ontwikkelen en waar gaan we onze mensen dus feedback op geven? Dat kunnen voor verschillende studenten/ medewerkers functie-specifieke vragen zijn, of misschien zijn er voor een hele organisatie of het gehele vakgebied basiscompetenties te benoemen waarin alle medewerkers/ studenten zich moeten ontwikkelen.

  1. Gebruik het voor de ontwikkeling en niet voor de beoordeling

Het is heel belangrijk om de 360° feedback alleen wordt gebruik om medewerkers en studenten de gelegenheid te geven om zich verder te ontwikkelen. Het is niet ontwikkeld als beoordelingstool en is daar dan ook niet geschikt voor. Dat heeft vooral te maken met het subjectieve karakter van de feedback. Daarnaast verliest het ook zijn functie wanneer mensen het als een straffend instrument gaan zien. De kans is groot dat het dan geen eerlijke en betrouwbare feedback meer oplevert. Gebruik het daarom nooit als onderdeel tijdens een beoordelingsgesprek, maar het kan wel goede input zijn voor een functioneringsgesprek.

  1. Beschrijf de competenties of vaardigheden in gewenst gedrag

Als je iedereen vraagt een mening te geven over bijvoorbeeld jouw organisatievaardigheden, dan kunnen de reacties heel uiteenlopend zijn. Er zijn zoveel vormen en aspecten die horen bij organisatievaardigheden, dat het lastig is om te bepalen waar de feedback over moet gaan. De resultaten die dan uit de feedbackronde komen, zijn dan zo divers dat je er als ontvanger geen duidelijke boodschap uit krijgt. Beter is het om een criterium te omschrijven als gewenst gedrag. Wat wil je graag zien van deze medewerker of student als het gaat om communicatie. Dat kan dan bijvoorbeeld zijn: “Alle betrokkenen worden op tijd geïnformeerd wanneer hij iets organiseert.” Zo is concreet geworden waar de feedbackgevers hun oordeel over moeten geven. Wanneer een dergelijke lijst met stellingen is geformuleerd, kun je deze voorleggen aan een groep mensen om te horen of het herkenbaar en duidelijk is.

  1. Schep duidelijkheid over de procedure

Voordat je met het instrument aan de slag kunt, moet eerst duidelijk zijn hoe de procedure gaat verlopen. Mag de medewerker of student bijvoorbeeld zelf de personen uitzoeken van wie hij feedback wil ontvangen? Binnen hoeveel tijd moet de feedback gegeven worden? Wie krijgt inzage in het feedbackrapport van medewerkers en studenten? Is dat alleen de medewerker, of ook de begeleider of manager? Wordt het rapport dan vervolgens ook nabesproken of moet de medewerker of student zelf zijn conclusies trekken? En wordt zo’n rapport dan onderdeel van het dossier van de medewerker of student? Allemaal vragen die beantwoord moeten zijn voordat je kunt beginnen. De procedure bepaalt vaak ook of het nodig is om eerst betrokkenen te trainen. Zijn ze in staat om goede feedback te geven of de rapporten na te bespreken met hun studenten/ medewerkers?

  1. Ontwikkelmogelijkheden in kaart brengen

Constateren dat je nog onvoldoende presteert op een bepaalde competentie of vaardigheid is de eerste stap. Daarna wil je je hierop als medewerker of student (hopelijk) ontwikkelen. Daar moet je als organisatie vooraf goed over nadenken. Welke ontwikkelbehoeften zouden er voort kunnen komen uit de 360° feedback? Hoe wil je daar als organisatie gehoor aan geven? Hoe sneller een student of medewerker aan de slag kan met zijn ontwikkelpunt, hoe meer je gebruik maakt van de hoge motivatie van deze persoon. Dat kan de ontwikkeling ten goede komen.

  1. Eerst even oefenen?

Afhankelijk van de grootte van de organisatie en de vraagstukken die tijdens de voorbereiding op tafel zijn gekomen, kom je erachter of je de procedure misschien eerst even wilt oefenen voordat je het direct in de organisatie uitvoert. Je voert dan wel of niet een pilot uit. Het voordeel van zo’n pilot is dat je de eerste moeilijkheden al kunt opvangen, voordat je alle medewerkers of studenten ‘belast’ met de procedure.

Als organisatie wil je dat medewerkers of studenten zich zelf verantwoordelijk voelen voor hun ontwikkeling. De 360° feedback kan daar een enorme bijdrage aan leveren. Het geeft mensen zicht op hun prestaties. Je kunt het instrument zo inrichten dat het leidt tot regelmatiger feedback en het relatief weinig tijd van mensen vraagt. Paragin levert de software voor 360° feedback. Wil je er mee aan de slag of heb je er vragen over, laat het ons dan weten. We denken graag met je mee!


De vraagindices uit RemindoToets toegelicht

De p’-, rit– of rir-, rat– of rar– en de a-waarde, RemindoToets geeft al deze vraagindices weer in de toetsanalyse. Veel informatie, maar wat moet je ermee? In dit artikel lees je een toelichting over de vraagindices, zodat je méér uit je toetsanalyse kunt halen.

Indices is het meervoud van index. Vraagindices zijn dus eigenlijk meerdere getallen die een verhouding weergeven. Het klinkt heel ingewikkeld, maar eigenlijk kijk je naar allerlei gegevens over de afname van je vraag. En dat is interessant, want je wilt graag weten of je vraag goed is geweest en bijvoorbeeld onderscheid heeft gemaakt tussen kandidaten die de kennis wel hebben en kandidaten die dat niet hebben. Dat bepaalt of je de vraag wilt blijven gebruiken, hem aanpast of helemaal archiveert.

Voordat je de vraagindices gaat bekijken, kijk je eerst naar de betrouwbaarheid van de toets en de analyse-waarden van de toets. Je wilt namelijk eerst weten hoe serieus je de waarden moet nemen. Wil je precies weten hoe je de toetsanalyse stap voor stap aanpakt, lees dan ons artikel ‘Toetsanalyse in RemindoToets‘.

Vraagindices bekijk je altijd gezamenlijk. Dan kun je een juiste conclusie trekken over het betreffende vraag.

De p’-waarde

De p’-waarde geeft de moeilijkheidsgraad van de vraag aan. De waarde laat zien wat het gemiddeld aantal punten is dat kandidaten hebben behaald met deze vraag. Het wordt berekend door de gemiddelde score van alle kandidaten op deze vraag te delen door het maximum aantal te behalen punten. Een p’-waarde ligt tussen de 0 en 1.

Een p’-waarde van 0,39 geeft bijvoorbeeld aan dat de kandidaten gemiddeld 39% van het maximum aantal punten voor deze vraag hebben gescoord. Dat zou kunnen duiden op een te moeilijke of niet-relevante vraag. Maar dat hóeft niet zo te zijn. Het is belangrijk dat er genoeg variatie in een examen zit. Een vraag met een p’-waarde van 0,39 is bijvoorbeeld prima tussen vragen met een p’-waarde van bijvoorbeeld 0,7.

Je kunt ernaar streven om de p’-waarde ergens tussen de 0,4 en 0,6 te krijgen.

Houd er rekening mee dat verschillende zaken invloed hebben op de p’-waarde. Herkansers veroorzaken vaak een lagere p’-waarde en vragen die als laatste in het examen worden gesteld, kunnen ook een lagere p’-waarde vertonen (vanwege gebrek aan concentratie of te weinig tijd). Het hoeft niet altijd een slechte vraag te zijn.

De rit en rir-waarden

Een goede vraag in een toets heeft onderscheidend vermogen. Daarmee wordt bedoeld dat de vraag onderscheid maakt tussen kandidaten die de kennis hebben en kandidaten die de kennis niet hebben. Als dat niet zo is, dan is er iets vreemds aan de hand. De rit- en de rir-waarden geven dat onderscheidend vermogen weer, het staat voor relatie item toets (rit) en relatie item rest (rir).

Om te bepalen wie een goede kandidaat is, wordt de totaalscore van de toets gebruikt. De rit-waarde wordt berekend door het resultaat van het vraag te vergelijken met het resultaat van de toets. Als een kandidaat met een hoge score een goed antwoord heeft gegeven op de vraag en een kandidaat met een lage score een fout antwoord heeft gegeven op de vraag, dan is er sprake van een vraag met onderscheidend vermogen en zie je een hoge rit-waarde. De vraag heeft dan de goede kandidaten van de slechte kandidaten gescheiden. In dat geval draagt de vraag bij aan de validiteit van de toets.

Het nadeel van de rit-waarde is dat de vraag waar de waarde over gaat, ook is meegerekend bij de vergelijking met de toetsscore. Dat is eigenlijk niet correct (hoewel het verschil in de waarden vaak verwaarloosbaar is). De rir-waarde is in dat opzicht beter (relatie item rest). Daarbij zijn de punten van de specifieke vraag weggelaten uit de score waarmee wordt vergeleken.

De rit- en rir-waarden liggen tussen de -1 en +1. Hoe hoger de rit en rir-waarden, hoe groter het onderscheidend vermogen. Een rir-waarde van 0,25 of hoger laat voldoende onderscheidend vermogen zien. Het advies is om bij negatieve rit- en rir-waarden kritisch naar de vraag te kijken. Dan hebben kandidaten die laag scoren op de toets de vraag dus vaker juist beantwoord dan kandidaten die hoog scoren op de toets. Misschien zit er een fout in het correctiemodel of is de vraag niet goed geformuleerd.

Standaardafwijking

De standaardafwijking (in RemindoToets getoond als STD, als afkorting van standaarddeviatie) geeft aan hoe ver de behaalde scores op de vraag uiteen liggen. Hoe lager de standaardafwijking, hoe dichter de scores bij elkaar liggen. Bij een standaardafwijking van 0 heeft iedere kandidaat exact dezelfde score behaald. Dat zou wel een kritische blik waard zijn. Wanneer alle 100 kandidaten bijvoorbeeld 6 van de 10 punten hebben gehaald, dan zou er misschien iets fout kunnen gaan bij de puntentoekenning. Een hoge standaardafwijking duidt op een grote spreiding tussen goede en slechte scores en geeft dus een groot onderscheidend vermogen weer.

De a-waarde

Bij gesloten vragen, zoals meerkeuzevragen, is de a-waarde een interessant hulpmiddel om de kwaliteit van de afleiders te meten. Iedere afleider in een toets heeft een eigen a-waarde, die weergeeft welk deel van de kandidaten heeft gekozen voor deze afleider. Het aantal kandidaten dat voor een fout antwoord kiest, zegt iets over de aannemelijkheid van de afleiders.

Het onderstaande voorbeeld gaat uit van een vraag met vier antwoordopties waarvan één antwoord juist is. In de analyse is te zien dat de a-waarde van het juiste antwoord (B) 0,38 is, wat betekent dat 38% van de kandidaten het juiste antwoord heeft gegeven.
NB: omdat één punt wordt toegekend aan één juist antwoord, is de p’-waarde in dit voorbeeld gelijk aan de a-waarde van het juiste antwoord. Deze waarden zullen uiteenlopen bij een complexere puntenverdeling.

De drie foutieve afleiders hebben samen een a-waarde van 1 – 0,38 = 0,62. Idealiter zouden alle foutieve afleiders ongeveer dezelfde a-waarde hebben, in dit geval 0,62 / 3 = 0,21. Dit zou betekenen dat ze allemaal even plausibel zijn. In het voorbeeld zie je dat de a-waarden van de foute antwoorden respectievelijk 0,36 (D), 0,19 (C) en 0,07 (A) zijn. Mogelijk lijkt de onjuiste afleider D veel op het juiste antwoord. Ook kan het zijn dat de kandidaten op het verkeerde been zijn gezet of het verkeerde antwoord hebben aangeleerd. Afleider D vraagt dus om nadere analyse. Afleider A heeft een relatief lage a-waarde en is kennelijk niet erg aannemelijk als antwoord op de vraag. Je zou er daarom voor kunnen kiezen deze afleider te verwijderen.

De rat– en rar-waarden

De rat- en de rar-waarden zijn verbonden aan de rit- en de rir-waarden. Rat staat voor relatie afleider toets en rar voor relatie afleider rest (waarbij de laatste een betere meting geeft, zie uitleg over rit en rir). Aan deze waarden zie je in hoeverre de keuze voor een bepaalde afleider zich verhoudt tot de rest van de toets.

De rar-waarde is interessant omdat je daarmee kunt zien of kandidaten die goed presteren op de toets bij een specifieke vraag wellicht eerder een foutieve afleider hebben gekozen. Zijn de goede kandidaten dan misschien op het verkeerde been gezet? Of misschien is er een fout geslopen in het antwoordmodel, of leidt de vraagstelling teveel naar een onjuist antwoord.

Als je al deze gegevens over je vraag hebt bekeken, kun je een goede conclusie trekken. Was de vraag van goede kwaliteit? Neem dan een beslissing over wat jouw analyse betekent voor de afname die is geweest. Pas je bijvoorbeeld het antwoordmodel aan? Of verwijder je de vraag helemaal uit het examen? Vergeet dan niet om de vraag in ieder geval in de vragenbank te verbeteren, zodat je in de toekomst met een betere vraag verder kan.

We wensen je veel succes bij het analyseren van je toets. Lees voor meer informatie ook nog dit artikel ‘Toetsanalyse in RemindoToets‘ en houd onze events in de gaten voor leuke trainingen over toetsanalyse.


Werken aan het teamleervermogen

Als we kijken naar leren in organisaties, gaat het vaak over het leren en ontwikkelen van individuele personen. Dat is natuurlijk een heel belangrijk aspect, maar wanneer mensen veel met elkaar moeten samenwerken (binnen een team bijvoorbeeld) is het gezamenlijk leren minstens zo belangrijk.

Voorbeeld:

“De werkverdeling verliep eigenlijk nooit optimaal, maar voor Ingrid was het ineens teveel. We gingen als team bij elkaar zitten om er een nieuw plan voor te bedenken. Acht medewerkers om de tafel en het probleem was helder: het werk moet evenredig verdeeld worden en sneller worden opgepakt. Hoe gaan we dat organiseren? Iedereen had een persoonlijke voorkeur. Paul dacht aan een ICT-systeem, waarbij één iemand de taken zou verdelen; heel efficiënt. Maar dat zag Hanne niet zitten. Want wie zou dan de leider moeten zijn? En zou die dan niet alle leuke taken aan zichzelf geven? Ingrid dacht aan een post-it systeem, waarbij alle taken op het gezamenlijke werkbord worden geplakt en die dan ’s morgens in overleg worden verdeeld. Ze had het al helemaal uitgewerkt. Zo kon je direct zien wie wat deed en had iedereen de kans om iets in te brengen. Echt ideaal vind ik het niet, je zou maar een post-it kwijtraken. Maar ja, niemand zei verder iets, dus we hebben het maar gedaan.”

“Leren als team? Nee, dat wil ik absoluut niet!” Zo’n opmerking zul je niet snel horen. Iedereen ziet wel wat positiefs in het leren als team. Maar niet iedereen vindt het nodig om daar bewust aandacht aan te besteden of vindt de nadelen van het teamleren te groot (want die zijn er ook). Meestal wordt er pas aandacht aan besteed wanneer zich problemen voordoen. Bijvoorbeeld wanneer de situatie in het voorbeeld uit de hand loopt en teamleden in conflict raken met elkaar, omdat Ingrid altijd haar eigen zin doordrijft of omdat de anderen nooit iets durven zeggen en later niet meer meedoen. Juist dan zijn al die lessen zo beladen, met alle conflicten die er tussen teamleden hebben afgespeeld, waardoor het rendement dat uit zo’n leerproces komt, tegenvalt.

Een beter plan is om in de organisatie structureel aandacht te besteden aan het leren als team. Afhankelijk van de uitdagingen van de organisatie en de samenstelling van de team, beslis je wat daarvoor nodig is. Peter Senge geeft in zijn boek De vijfde discipline (1992) aan dat teamleren ontstaat wanneer er sprake is van een dialoog in de groep. Onder dialoog verstaat hij: een vrije doorstroom van gedachten door een groep.

Volgens Senge zijn er 5 aspecten nodig om in een team tot een goede dialoog te komen:

  1. Er is een heldere vraagstelling geformuleerd.

Wanneer voor team niet duidelijk is waar het dialoog precies over gaat, kunnen teamleden moeilijk deelnemen.

In het voorbeeld was de vraagstelling helder: hoe verdelen we het werk evenredig en hoe wordt het sneller opgepakt?

  1. Er zijn communicatieve vaardigheden nodig.

Communicatief vaardig zijn is enorm belangrijk voor het dialoog. Zo kan een teamgesprek helemaal uit de hand lopen, door het gebrek aan communicatieve vaardigheden en wordt er meer schade aangebracht dan dat er geleerd wordt.

In het voorbeeld zijn er teamleden die niet meepraten, dat zou kunnen wijzen op een gebrek aan communicatieve vaardigheden.  

  1. Spontane gedachten worden gestimuleerd.

Teamleden denken vaak binnen dezelfde kaders, vanuit wat er al wordt gedaan of wat er in het verleden is gebeurd. Buiten die kaders om denken is dus ontzettend belangrijk om te kunnen leren, want dat is nu juist wat teamleden nog niet kennen.

In het voorbeeld had Ingrid al haar plan klaar, dat werkte beperkend. Er is een sfeer nodig waarbij iedereen zich veilig voelt en mee kan doen, dat leek in dit team niet aan de orde.

  1. Er is leiderschap (formeel of informeel), waardoor het werkproces wordt begeleid.

De manier waarop en mate waarin iemand de leiding neemt, heeft te maken met de organisatiestructuur. Om het dialoog tussen teamleden te stimuleren, moet iemand de leiding nemen. Het liefst iemand die werkt op afstand van dagelijkse team-werkzaamheden, zodat het team zich verantwoordelijk blijft voelen voor het resultaat en de uitkomst niet bepaald wordt door iemands persoonlijke voordeel daaraan.

In het voorbeeld wat er niet echt sprake van een gespreksleider.

  1. Er wordt adequaat gereageerd op defensief gedrag.

“Ja, maar dat hebben we al twintig keer geprobeerd”, “Ik heb dat probleem nooit, je moet het gewoon zo doen” defensief gedrag is vernietigend voor open gesprekken tussen teamleden. Iemand in het team moet daar alert op zijn, zodat ideeën niet direct onder de tafel worden geschoven.

In het voorbeeld werd het gesprek meer een debat dan een dialoog, dat werkte weinig stimulerend.

Teamleren is heel waardevol voor organisaties, het leidt tot betere producten en stimuleert daarnaast ook het individuele leren van teamleden. Iedereen wordt gezien en dat vergroot de effectiviteit van medewerkers, met name bij het uitvoeren van complexe taken, zie onderzoek van Edmondson, 1999.

Het begint volgens Senge met een goed dialoog tussen de teamleden, daarnaast moet er gewerkt worden aan een gemeenschappelijke visie en bijvoorbeeld leiderschapskwaliteiten.

Maar er kleven ook nadelen aan het stimuleren van teamleren op deze manier. Bijvoorbeeld:

  • Het kost de organisatie (in het begin veel) overlegtijd.
  • Veel teamleden vinden het (vooral in het begin) erg ongemakkelijk.

MijnPortfolio.nl van Paragin kan het proces van teamleden met betrekking tot het teamleren ondersteunen. Wil je met het leervermogen van je team aan de slag en wil je dat we bij Paragin met je meedenken, laat het ons dan weten.


Nadat een toets of examen is afgenomen in RemindoToets, wordt deze beoordeeld (automatisch of met behulp van één of meer correctoren). Wanneer dit is gebeurd, is het belangrijk dat toetsresultaten worden geanalyseerd. Toetsen die in RemindoToets zijn afgenomen of met behulp van de Print&Scan-optie zijn ingelezen, leveren een uitgebreide toetsanalyse op. In deze uitleg lees je meer over de toetsanalyse die je kunt vinden in RemindoToets. Je leest wat de waarden betekenen en wat redenen kunnen zijn om de toets op basis hiervan te repareren.

Analyse van de toets

Je kunt de toetsanalyse bekijken van alle afnames van één specifieke toetsmatrijs. Wanneer een toetsmatrijs vaker dan één keer wordt gebruikt, is dit prettig omdat de meeste analysegegevens pas waardevol worden wanneer 100 of meer kandidaten de vraag of toets hebben gemaakt. RemindoToets geeft je daarbij wel de mogelijkheid om de analyse van de toetsmatrijs verder te specificeren. Je kunt de analyse dan bekijken van een specifieke kandidaat, kandidaatgroep of van een periode. Daarmee kun je een vergelijking maken of de toets bijvoorbeeld in het afgelopen jaar beter of slechter is gemaakt dan het jaar ervoor.

Wat zie je dan vervolgens aan waarden?

Frequentieverdeling: behaalde scores, percentage van maximum score

Allereerst wordt een grafiek getoond, zoals in figuur 1. Deze grafiek geeft een overzicht van de behaalde scores. De grafiek geeft antwoord op de vraag in hoeverre je de gegevens uit de toetsanalyse kunt gebruiken.

In een ideale situatie geeft de grafiek een normale verdeling weer. Dan heeft de grafiek zoveel mogelijk een klokvorm, zoals in figuur 2.

Figuur 1 Frequentieverdeling in RemindoToets

Figuur 2 Normale verdeling

De figuur is dan hoog in het midden en aflopend naar links en rechts. Figuur 1 geeft dus een redelijk normale verdeling aan, met een lichte afwijking naar rechts. De meeste kandidaten scoren tussen de 50% en 70% van het maximum aantal punten. Je kunt dan met de andere toetsanalysewaarden bekijken in hoeverre de toets of de vragen valide en betrouwbaar zijn. Wanneer het hoogste deel van de grafiek meer naar links of meer naar rechts ligt dan kun je de conclusie trekken dat de toets te moeilijk (teveel naar links) of te makkelijk (teveel naar rechts) is geweest. Let erop dat de grafiek geen rekening houdt met de cesuurbepaling. We gaan er bij een normale verdeling vanuit dat de cesuurgrens ligt rond de 55% van het maximum aantal te behalen punten. Als de cesuurgrens hoger ligt, bijvoorbeeld op 70% dan is het fijn als de het hoogste punt van de grafiek rond die plek ligt (bijvoorbeeld tussen de 60% en 80%).

Cronbachs alfa

Na een toetsafname rekent RemindoToets de Cronbachs alfa uit. De Cronbachs alfa geeft aan hoe betrouwbaar de toets is. Het toont de stabiliteit van de toetsscores en geeft aan of de meting iets betekent.

Om te controleren of de toets betrouwbaar is, zou het ideaal zijn om onder dezelfde omstandigheden de toets nogmaals af te nemen en die scores met elkaar te vergelijken (de test-hertest-methode), maar helaas is dat in de praktijk vaak niet mogelijk of wenselijk. Daarvoor is Cronbachs alfa een mooi alternatief. Cronbachs alfa deelt bij de berekening van de score de toets op in allemaal deeltoetsen. Iedere vraag wordt daarbij gezien als een losse deeltoets. Met behulp van een formule (een berekening van standaarddeviaties van de vraagscores – zie het tekstvak hieronder) wordt uitgerekend in hoeverre de score op de verschillende vragen met elkaar samenhangen. Het geeft antwoord op de vraag of er sprake is van interne consistentie. Hoe meer vragen hetzelfde meten, hoe hoger de Cronbachs alfa.

Het resultaat van de Cronbachs alfa is maximaal 1. Er is geen minimale waarde, deze kan namelijk kleiner zijn dan 0.

Figuur 3 Een voorbeeldscore van Cronbachs alfa in RemindoToets

Idealiter is de Cronbachs alfa groter dan 0,70. In de praktijk is een score van 0,60 al mooi. Hoe kleiner de Cronbachs alfa hoe meer ruis er is in het examen. Dan wordt op de verschillende vragen heel verschillend gescoord, met weinig interne consistentie. Kandidaten beantwoorden de ene keer een vraag goed, maar scoren op een andere vraag ‘opeens’ niet goed. Kortom, de toets is weinig voorspelbaar over hoe het kennisniveau van de kandidaten precies is. Dat kan betekenen dat het examen weinig betrouwbaar is en de meting dus weinig betekenis heeft. Dat geldt dan alleen voor de groep kandidaten die de toets hebben gemaakt. De Cronbachs alfa kan er voor een andere afname weer heel anders uit zien.

Wanneer een lage Cronbachs alfa is berekend, hoeft dat echter niet altijd direct te betekenen dat de toets onbetrouwbaar is geweest. Vooral de lengte van de toets heeft veel invloed op de Cronbachs alfa, omdat alle vragen als deeltoetsen worden vergeleken en er bij meer vragen veel te vergelijken is. Maar ook de samenstelling van de groep kandidaten en de betrouwbaarheid van de toetsvragen hebben allemaal invloed op de betrouwbaarheid van de toets.

Voor een betrouwbare berekening van de Cronbachs alfa is het belangrijk dat alle kandidaten (grotendeels) dezelfde vragen/vraagversies hebben gemaakt. RemindoToets geeft een waarschuwing wanneer dit niet het geval is.

Dit is de formule die wordt gebruikt om de Cronbachs alfa te berekenen:

rkk           de berekende Cronbachs alfa

k             het aantal vragen

si2           de variantie over elk afzonderlijk vraag

st2           de variantie over alle vragen

De frequentieverdeling en de Cronbachs alfa gebruik je samen om een oordeel te geven over de betrouwbaarheid van de toets. Vervolgens kijk je naar de analyse van de toetsvragen.

Analyse van de vragen

RemindoToets geeft 5 vraagindices weer: de p’- waarde, de rir-waarde (en de rit-waarde), de standaardafwijking, de a-waarde, de rar– (en de rat-waarde). Vraagindices bekijk je altijd gezamenlijk. Dan kun je een juiste conclusie trekken over het betreffende vraag.

De p’-waarde

De p’-waarde geeft de moeilijkheidsgraad van de vraag aan. De waarde laat zien wat het gemiddeld aantal punten is die kandidaten hebben behaald met deze vraag. Het wordt berekend door de gemiddelde score van alle kandidaten op deze vraag te delen door het maximum aantal te behalen punten. Een p’-waarde ligt tussen de 0 en 1.

Een p’-waarde van 0,39 geeft bijvoorbeeld aan dat de kandidaten gemiddeld 39% van het maximum aantal punten voor deze vraag hebben gescoord. Dat zou kunnen duiden op een te moeilijke of niet-relevante vraag. Maar dat hoeft niet zo te zijn. Het is belangrijk dat er genoeg variatie in een examen zit. Een vraag met een p’-waarde van 0,39 is bijvoorbeeld prima tussen vragen met een p’-waarde van bijvoorbeeld 0,7.

Je kunt ernaar streven om de p’-waarde ergens tussen de 0,4 en 0,6 te krijgen.

Houdt er rekening mee dat verschillende zaken invloed hebben op de p’-waarde. Herkansers veroorzaken vaak een lagere p’-waarde en vragen die als laatste in het examen worden gesteld, kunnen ook een lagere p’-waarde vertonen (vanwege gebrek aan concentratie of te weinig tijd). Het hoeft niet altijd een slechte vraag te zijn.

De rit en rir-waarden

Een goede vraag in een toets heeft onderscheidend vermogen. Daarmee wordt bedoeld dat het vraag onderscheid maakt tussen kandidaten die de kennis hebben en kandidaten die de kennis niet hebben. Als dat niet zo is, dan is er iets vreemds aan de hand. De rit- en de rir-waarden geven dat onderscheidend vermogen weer, het staat voor relatie vraag toets (rit) en relatie vraag rest (rir).

Om te bepalen wie een goede kandidaat is, wordt de totaalscore van de toets gebruikt. De rit-waarde wordt berekend door het resultaat van het vraag te vergelijken met het resultaat van de toets. Als een kandidaat met een hoge score een goed antwoord heeft gegeven op de vraag en een kandidaat met een lage score een fout antwoord heeft gegeven op de vraag, dan is er sprake van een vraag met onderscheidend vermogen en ziet je een hoge rit-waarde. De vraag heeft dan de goede kandidaten van de slechte kandidaten gescheiden. In dat geval draagt de vraag bij aan de validiteit van de toets.

Correlatiecoëfficiënt

Voor het berekenen van de rit-, rir-, rat- en rar-waarden maakt RemindoToets gebruik van het Pearson productmoment correlatiecoëfficiënt. Dit is de maat, waarmee samenhang wordt gemeten tussen twee variabelen: de vraagscores en de toetsscores. Dat is de reden van de score van -1 tot +1 loopt. Negatieve waarde zegt dan iets over de negatieve samenhang tussen vraagscore en toetsscore. Als de ene omhoog gaat, gaat de andere omlaag.

Het nadeel van de rit-waarde is dat de vraag waar de waarde over gaat ook is meegerekend bij de vergelijking met de toetsscore. Dat is eigenlijk niet correct, hoewel het verschil in de waarden vaak verwaarloosbaar is. De rir-waarde is in dat opzicht beter (relatie vraag rest). Daarbij zijn de punten van de specifieke vraag weggelaten uit de score waarmee wordt vergeleken.

De rit- en rir-waarden liggen tussen de -1 en +1. Hoe hoger de rit en rir-waarden, hoe groter het onderscheidend vermogen. Een rir-waarde van 0,25 of hoger laat voldoende onderscheidend vermogen zien. Het advies is om bij negatieve rit- en rir-waarden kritisch naar de vraag te kijken. Dan hebben kandidaten die laag scoren op de toets de vraag dus vaker juist beantwoord dan kandidaten die hoog scoren op de toets. Misschien zit er een fout in het correctiemodel of is de vraag niet goed geformuleerd.

Standaardafwijking

De standaardafwijking (in RemindoToets getoond als STD als afkorting van standaarddeviatie) geeft aan hoe ver de behaalde scores op de vraag uiteen liggen. Hoe lager de standaardafwijking, hoe dichter de scores bij elkaar liggen. Bij een standaardafwijking van 0 heeft iedere kandidaat exact dezelfde score behaald. Dat zou wel een kritische blik waard zijn. Waarom zouden alle 100 kandidaten bijvoorbeeld 6 van de 10 punten hebben gehaald, dan zou er misschien iets fout kunnen gaan bij de puntentoekenning. Een hoge standaardafwijking duidt op een grote spreiding tussen goede en slechte scores en geeft dus een groot onderscheidend vermogen weer.

De a-waarde

Bij gesloten vragen, zoals meerkeuzevragen, is de a-waarde een interessant hulpmiddel om de kwaliteit van de afleiders te meten. Iedere afleider in een toets heeft een eigen a-waarde, die weergeeft welk deel van de kandidaten heeft gekozen voor deze afleider. Het aantal kandidaten dat voor een fout antwoord kiest, zegt iets over de aannemelijkheid van de afleiders.

Het voorbeeld in Figuur 4 gaat uit van een vraag met vier antwoordopties waarvan één antwoord juist is. In de analyse is te zien dat de a-waarde van het juiste antwoord (B) 0,38 is, wat betekent dat 38% van de kandidaten het juiste antwoord heeft gegeven.
NB: omdat één punt wordt toegekend aan één juist antwoord, is de p’-waarde in dit voorbeeld gelijk aan de a-waarde van het juiste antwoord. Deze waarden zullen uiteenlopen bij een complexere puntenverdeling.

Figuur 4 voorbeeld interactie-analyse RemindoToets

De drie foutieve afleiders hebben samen een a-waarde van 1 – 0,38 = 0,62. Idealiter zouden alle foutieve afleiders ongeveer dezelfde a-waarde hebben, in dit geval 0,62 / 3 = 0,21. Dit zou betekenen dat ze allemaal even plausibel zijn. In het voorbeeld zie je dat de a-waarden van de foute antwoorden respectievelijk 0,36 (D), 0,19 (C) en 0,07 (A) zijn. Mogelijk lijkt de onjuiste afleider D veel op het juiste antwoord. Ook kan het zijn dat de kandidaten op het verkeerde been zijn gezet of het verkeerde antwoord hebben aangeleerd. Afleider D vraagt dus om nadere analyse. Afleider A heeft een relatief lage a-waarde en is kennelijk niet erg aannemelijk als antwoord op de vraag. Je zou er daarom voor kunnen kiezen deze afleider te verwijderen.

De rat– en rar-waarden

De rat- en de rar-waarden zijn verbonden aan de rit- en de rir-waarden. Rat staat voor relatie afleider toets en rar voor relatie afleider rest (waarbij de laatste een betere meting geeft, zie uitleg over rit en rir). Aan deze waarden zie je in hoeverre de keuze voor een bepaalde afleider zich verhoudt tot de rest van de toets.

De rar-waarde is interessant omdat je daarmee kunt zien of kandidaten die goed presteren op de toets bij een specifieke vraag wellicht eerder een foutieve afleider hebben gekozen. Zijn de goede kandidaten dan misschien op het verkeerde been gezet? Of misschien is er een fout geslopen in het antwoordmodel, of leidt de vraagstelling teveel naar een onjuist antwoord.

De toetsanalyse beoordelen

Bij het bekijken van de analysewaarden, stel je jezelf de volgende vragen:

  1. Wat is jouw indruk van de examenresultaten?

Voorafgaand aan het bekijken van de analyse heb je meestal al een gevoel bij de toetsresultaten. Past het slagingspercentage bijvoorbeeld bij het beeld dat je vooraf had van de groep kandidaten? Wat is jouw indruk van de kwaliteit van de toets? Vind je de vorm (schriftelijk bijvoorbeeld, of met veel gebruik van video) passen bij de toetscriteria? Wat vind je van de toetsvragen, als je kijkt naar de toetscriteria? Jouw eigen beleving van de toets en het toetsresultaat geeft je vaak focus bij het bekijken van de analyse in RemindoToets.

  1. Over hoeveel kandidaten gaan deze waarden?

Bij meer dan 100 kandidaten, kun je de waarden met vertrouwen onderzoeken. Dan hebben de waarden betrekking op een grote groep personen/afnames. Dan mag je er vanuit gaan dat de waarden iets zeggen over de toets en de vragen. Bij kleinere aantallen zijn de waarden teveel afhankelijk van toevalligheden. Zo kan er toevallig een goede groep studenten tussen zitten of juist veel herkansers, die vaak andere scores laten zien. Je kunt bij kleinere aantallen natuurlijk ook met de analyse aan de slag en ervoor kiezen om vragen te verbeteren, maar neem de waarden meer met een korreltje zout.

  1. Is er sprake van een normale verdeling?

Kijk goed naar de schaal van de frequentieverdeling. Begint deze bij de laagst mogelijke score en eindigt hij bij de hoogst mogelijke score? Kan de student bijvoorbeeld een cijfer halen tussen de 1 en 10 voor zijn toets, dan moet de schaal beginnen bij 1 en eindigen bij 10. RemindoToets past de schaal automatisch aan naar de behaalde scores (zodat het inzichtelijk blijft) en deze kan dus verschillen. Als de schaal klopt en de grafiek laat een normale verdeling zien, dan kun je met vertrouwen de rest van de analysewaarden bekijken.

De grafiek kan een afwijking naar rechts laten zien. Dan kun je de conclusie trekken dat de toets te makkelijk is geweest (dit is natuurlijk pas de conclusie als er sprake is van meer dan 100 kandidaten). Maar dit hoeft niet altijd het geval te zijn. Factoren in het onderwijs spelen daar uiteraard een grote rol in. Is er bijvoorbeeld een strenge intake geweest voorafgaand aan de opleiding of wordt er veel tijd besteed aan examentraining, dan mag je een hogere score verwachten.

Wanneer de grafiek afwijkt naar links, kan de toets te moeilijk zijn geweest. Natuurlijk is het hier ook belangrijk dat je de context waarin de toets is afgenomen goed meeweegt. Hoe is het onderwijs verlopen? Wat waren de omstandigheden tijdens de toets? Zijn er specifieke kenmerken te noemen over de kandidaten die de toets hebben gemaakt? Welke rol heeft de toets in de gehele opleiding van de kandidaten? Al deze zaken spelen een rol wanneer je de analyse bekijkt.

  1. Hoe betrouwbaar is de toets volgens Cronbachs alfa?

Bij een Cronbachs alfa die lager is dan 0,6 kun je de conclusie trekken dat het resultaat van de toets weinig betrouwbaar is (afhankelijk van het antwoord op de vorige vragen). De betrouwbaarheid kun je vergroten door de vragen te verbeteren. Maar het kan er ook op duiden dat de toets bijvoorbeeld uit te weinig vragen bestaat. Wanneer je het aantal vragen in de toets vergroot, zal de Cronbachs alfa toenemen.

  1. Wat zijn dubieuze vragen?

Vervolgens kijk je naar de vragen. RemindoToets markeert een aantal vragen die afwijkende waarden laten zien. Allereerst kijk je naar de p’- en de rir-waarden. Welke vragen worden slecht beantwoord (p’-waarde)? En hoe is het gesteld met de rir-waarde van deze vragen? Negatieve rir-waarden en lage p-waarden vragen altijd om aandacht. Kun je een oorzaak vinden? Het kan bijvoorbeeld voorkomen dat het antwoordmodel niet juist is of dat de vraag op meerdere manieren te interpreteren is. Of misschien moeten er toch meer antwoordopties goed gerekend worden. Wanneer je kijkt naar de rir-waarden, kun je met behulp van de interactie-analyse van RemindoToets ook direct de a- en rar-waarden bekijken. Zo zie je welke antwoordopties vaak gekozen zijn. En kun je een mogelijke oorzaak van de afwijkende waarden vinden.

Direct repareren

Een goede kwaliteitscontrole op de toets vindt liever voorafgaand aan de afname plaats. Toch kunnen door de afname achteraf onvoorziene fouten in toetsen opduiken. De toetsanalyse is daarvoor een ideale methode. Het is altijd belangrijk om kritisch naar de toets te kijken en vragen regelmatig te verbeteren. Ook wanneer de waarden binnen de normen vallen, kun je achteraf vaak veel verbeteren aan de vragen. Analyse van de afname geeft vaak veel meer inzicht in de kwaliteit van de toets.

Daarnaast is er een aantal aanwijzingen uit de toetsanalyse die om directe reparatie vragen. Hier volgt een aantal voorbeelden:

  1. Vragen waarbij je tot de conclusie komt dat het antwoordmodel onjuist is. Dit kun je achteraf in RemindoToets eenvoudig aanpassen en ook voor de al afgenomen toetsen herstellen.
  2. Vragen die studenten bewust of onbewust op het verkeerde been zetten, de zogenaamde strikvragen, zijn niet wenselijk in een toets. Je wilt per slot van rekening meten of de kandidaat aan de toetscriteria voldoet en niet bewust naar een verkeerd antwoord leiden. Strikvragen ontdek je door afwijkende rit- en rar-waarden. Deze vragen kun je achteraf uit de toets halen en niet laten meetellen in het eindresultaat. Vragen uit de toets halen kun je niet onbeperkt doen, dit heeft namelijk direct effect op de betrouwbaarheid van de toets.
  3. Als p’-waarden van veel vragen erg laag zijn, zie je dit waarschijnlijk ook terug in het slagingspercentage. Afhankelijk van het toetsbeleid van de organisatie kan dit betekenen dat de cesuur achteraf nog wordt aangepast. Toch hoeft dat niet altijd nodig te zijn. Bepaal altijd kritisch of je meer mensen een voldoende wilt laten behalen door de cesuur lager in te stellen.
  4. Vragen met een p’-waarde van (bijna) 1. Dat betekent dat (bijna) iedereen deze vraag juist heeft beantwoord. Was hij dan niet veel te makkelijk? Je zou kunnen zeggen dat deze vraag in ieder geval geen functie heeft gehad in de toets. Je zou ook tot de conclusie kunnen komen dat het onderwijs op dit onderwerp goed is geweest. Afhankelijk van de situatie kan het tot een reparatie leiden, maar dat hoeft niet.

Het vervolg

Een goede toetsanalyse leidt vaak tot onderwerpen of aandachtspunten die op systematische wijze geëvalueerd moeten worden. De lengte van de toetsen, de wijze waarop toetsen worden afgenomen, de rol die een specifieke toets in een heel toetsplan heeft, ze kunnen allemaal ter discussie staan na een goede toetsanalyse.

Merk je iets op tijdens het analyseren van de toets, dan is het aan te bevelen om hierover aantekeningen te maken. Zodat je later concreet suggesties kunt doen voor het structureel verbeteren van de examinering binnen de organisatie.

Waar kun je de analysegegevens vinden in RemindoToets?

RemindoToets kent twee omgevingen: de beheeromgeving (waarin de inhoud van de toets wordt gemaakt en beheerd) en één of meer afnameomgevingen (waar de toets wordt gepland en afgenomen). In beide omgevingen vind je na de afname analysegegevens.

Afname-omgeving:

In de afname-omgeving vind je de toetsanalyse in het menu onder ‘Resultaten’ en ‘Analyses’. In deze omgeving kun je de analyse op verschillende manieren zichtbaar maken: de analyse van de gehele toetsmatrijs, van een specifiek toetsmoment en van papieren toetsresultaten.

Beheeromgeving:

In de beheeromgeving kun je de toetsanalyse bekijken van de toetsmatrijs. Dat kan interessant zijn wanneer je de toets verstrekt aan verschillende afname-omgevingen. Je klikt dan op de betreffende matrijs en kiest voor het tabblad ’Statistieken’. Dan kun je de keuze maken om de analyse te bekijken van de vragen die tijdens de laatste afname zijn gebruikt of een aangepaste analyse (van eerdere afname-momenten). In de beheeromgeving kun je er ook voor kiezen om de vraagindices te bekijken per vraag. Je gaat dan via ‘Beheer inhoud’ naar de specifieke vraag en klikt daar vervolgens op het tabblad ‘Statistieken’ bij elke vraag.

Wij wensen je veel succes bij het analyseren van de toetsresultaten.


Hoe je deelnemers kunt activeren op de MessageWall

“Bespreek jouw uitwerking van deze opdracht met alle groepsleden op de MessageWall.” Het lijkt zo’n eenvoudige instructie, maar waarom gebeurt er dan niets op het forum? Wat je wél leest zijn onzinnige, of soms asociale berichten van de deelnemers onderling. Zoals dat ook vaak gebeurt op social media. Zo ben je wekelijks bezig met het verwijderen van die berichten en deelnemers te stimuleren met de lesstof aan de slag te gaan op het forum. Waarom lukt het nu steeds niet en wat moet je daarmee als docent?

Wanneer scholen overgaan van klassikaal onderwijs naar digitaal of blended leren, zijn er twee aannames die niet meehelpen:

  1. Je gaat er vanuit dat sociaal contact op het online forum automatisch zal ontstaan, omdat het technisch mogelijk is en we het aanbieden.

Wanneer deelnemers face-to-face makkelijk met elkaar in contact komen, hoeft dat niet direct te betekenen dat dit online ook het geval is. Sterker nog: onderzoek laat zien dat dit verband niet bestaat. Sociaal handig zijn in levenden lijve, zegt niets over het gebruik van de MessageWall en online goed kunnen communiceren.

  1. Alle sociale interactie die plaatsvindt op het online forum moet over de lesstof gaan.

Het is vaak geen bewuste keuze, maar je wilt de deelnemers nu eenmaal iets leren, dus verwijs je naar de MessageWall met gerichte opdrachten over de lesstof. Hiermee sla je onbewust alle sociaal-emotionele processen over; de communicatie die gevraagd wordt is dan steeds heel taakgericht. Er is nauwelijks een mogelijkheid om als deelnemer ‘zomaar wat te chatten’, wat nu bij uitstek de manier is om te werken aan vertrouwensrelaties en groepsvorming. Je ziet dat groepen daarom soms een aparte app-groep starten, waarmee ze een manier vinden tot sociaal contact. Prima natuurlijk, maar ze zijn wel weg van de MessageWall en dat is jammer.

Daar bovenop komt het probleem dat er meestal wordt gevraagd om uitwerkingen van een opdracht te plaatsen. Dus pas wanneer de deelnemer klaar is. De weg naar de uitwerking toe, wordt niet gevraagd. Dat helpt niet bij het bouwen aan een groep en de vertrouwensrelaties. Henri kan dagen bezig zijn geweest om vervolgens zijn uitwerking te delen, terwijl Martijn ondertussen nog niets heeft gedaan en met veel minder moeite hetzelfde werk kan opleveren.

Het resultaat is dat het online samenwerken aan opdrachten nauwelijks tot stand komt. Er is meer nodig. Dus wat zou je daarin als begeleider of docent kunnen doen?

  • Er moet niet alleen een reden zijn om met elkaar in contact te komen, maar ook gelegenheid zijn om met elkaar te werken aan samenwerkingsrelaties. Dat kun je doen door in de leeromgeving te bevorderen dat groepsleden elkaar betrekken bij het werk, elkaar vragen stellen en hun bijdragen over en weer beoordelen. Het is belangrijk dat er een afhankelijkheid ontstaat tussen de deelnemers. Bijvoorbeeld wanneer je groepsleden zodanig met elkaar verbindt dat de ene deelnemer pas kan slagen voor de opdracht als hij een andere deelnemer heeft geholpen. Een andere manier is om een groepsdoel te stellen en als groep ook te reflecteren op ieders rol tijdens de opdracht. Daarnaast kunnen groepwerk-methodes zoals Jigsaw goed werken.
  • Het is belangrijk om naast taakgericht contact ook aandacht te besteden aan de sociale contacten tussen groepsleden. Deelnemers moeten elkaar vertrouwen en zich betrokken voelen, voor ze actief een samenwerking aangaan. Docenten hebben de neiging om zelfs dit onderdeel taakgericht aan te pakken. Ze vragen dan bijvoorbeeld aan iedereen om iets persoonlijks te delen via het forum, met weinig resultaat. Beter is het om zelf het juiste voorbeeld te geven en klein te beginnen. Zie onderstaand voorbeeld.
Je wilt dat deelnemers met elkaar de stage-opdrachten gaan bespreken, elkaar om hulp vragen en feedback geven. Als de groep nog niet lang bestaat en er nog geen groepsvorming heeft plaatsgevonden, zijn alle ogen nog op de docent gericht. Je zal zelf zichtbaar moeten zijn in de MessageWall. Om de eerste inzendingen te stimuleren, kan je eerste bericht zijn:

“Beste deelnemers, de eerste stage-opdracht gaat over jouw stageplek. Stageplekken kunnen enorm van elkaar verschillen. Het kost altijd even wat tijd om gewend te raken aan zo’n werkplek. Ik vond mijn eerste stage bijvoorbeeld heel erg spannend. Ik maakte mee dat (….) Hebben jullie al zo’n ervaring meegemaakt?”

Let op: je vraagt dus niet naar een uitwerking, maar iets wat daarvoor plaatsvindt. Dat is klein beginnen: niet vragen naar grote uitwerkingen, maar één simpele vraag ‘wat vind je er tot nu toe van?’. Grote kans dat er na zo’n bericht een reactie (kort of lang) tot stand komt.

Probeer deze positief te bekrachtigen, zodat iedereen weet dat het bericht altijd goed wordt benaderd. Reageer in het begin op iedere inzending en zorg dat je reactie belonend is.

Daarna kun je langzaam groepsleden meer op elkaar laten reageren, door zelf niet te veel antwoord te geven op vragen, maar anderen te stimuleren. Zoals:

“Peter, wat fijn dat je je ervaringen met ons deelt. Wie kan Peter op weg helpen?”

Wacht vervolgens een paar dagen en geef daarna alsnog zelf een reactie. Je zal merken dat de groep steeds meer op elkaar gaat reageren en jouw reactie steeds korter kan zijn.

Maak het in ieder geval mogelijk dat deelnemers ook op sociaal gebied met elkaar in gesprek kunnen op de MessageWall en wees er kritisch op welke berichten je verwijdert. Is het niet aanstootgevend, laat het dan lekker staan.

Geef zelf het goede voorbeeld, alle ogen zijn in het begin op jou gericht, dus moet je als docent zelf zichtbaar zijn in de MessageWall.

Als het gaat leven op de MessageWall, is het een hele effectieve en waardevolle manier om het leren buiten het klaslokaal gericht te activeren. We wensen je veel succes!


Hoe maak je van een Persoonlijk Ontwikkelplan een krachtig instrument?

“Mijn manager vindt dat ik te lang doe over het afhandelen van mailtjes, dus tijdens de komende 4 maanden ga ik werken aan het sneller en efficiënter wegwerken van de binnengekomen mails.”

Dit kan zomaar het begin van een doel zijn uit een Persoonlijk Ontwikkel Plan (POP) van één van jouw medewerkers. Je zou kunnen denken: “mooi, deze medewerker heeft het begrepen en gaat er wat aan doen.” Klopt dit wel zo en wát heeft de medewerker er dan van geleerd? Onduidelijkheid over of men echt iets van de gestelde doelen gaat leren, is misschien wel de grootste reden waarom een POP in zoveel organisaties zo’n onbemind instrument is. Tijd voor verandering!

Een POP (Persoonlijk Ontwikkel Plan) is een overzicht waarin medewerkers of bijvoorbeeld studenten hun ontwikkeldoelen weergeven. Het is de bedoeling dat een POP een persoonlijk werkdocument is, bijvoorbeeld als onderdeel van het ePortfolio of binnen RemindoContent van een leer- of studietraject. Tijdens alle leer- en werkjaren groeit een POP met de medewerker mee. Hij omschrijft daarin wat hij wil ontwikkelen en hoe hij dat gaat aanpakken.

De nadruk ligt op ‘persoonlijk’: een POP is geen opdracht vanuit iemand anders, maar werkt alleen als de medewerker zélf de eigenaar is van het document én van de doelen die daarin staan. De praktijk laat helaas vaak iets anders zien. Een POP wordt door de medewerker in het slechtste geval gezien als een extra taak om af te handelen en wordt vaak niet serieus genomen. Wat je dan als werkgever ziet, zijn sociaal wenselijke doelen. Zonde, want dat is juist niet de bedoeling van dit plan.

Hoe kun je dat als manager veranderen?

Wat heb ik eraan?

Het klinkt wat banaal, maar als je wilt dat een POP binnen je organisatie gaat werken is het belangrijk om na te denken over wat de medewerker daar zelf aan heeft. Waarom zou hij tijd willen vrijmaken voor het beschrijven van een POP, terwijl de werkagenda al overloopt? De moeilijkheid van dit vraagstuk is dat wat mensen aan een POP kunnen hebben, per persoon verschillend kan zijn. Je zal je moeten verdiepen in wat je medewerker beweegt: waar komt hij zijn bed voor uit, waar besteedt hij zijn vrije tijd aan, waar zou hij over vijf jaar willen staan, wat wil hij bereiken in zijn loopbaan of juist nooit meer doen, hoe ziet zijn privésituatie eruit en waar liggen zijn prioriteiten? Het wordt heel krachtig wanneer doelstellingen in een POP gekoppeld kunnen worden aan doelen die de medewerker intrinsiek al aan zichzelf stelt. Is het bijvoorbeeld een medewerker die veel bezig is met gezond leven, het vinden van een goede balans tussen inspanning en ontspanning? Dan kun je dat met een POP goed koppelen aan het werk. Hoe bereik je balans en gezondheid op werkgebied? Hoe richt je het werk efficiënter in, welke vaardigheden kunnen er geleerd worden om daar vorm aan te geven? Daar kun je samen met de medewerker over nadenken.

Inzicht vóór uitzicht

Om persoonlijke doelen te kunnen opstellen, heeft de medewerker inzicht nodig in zijn kwaliteiten en valkuilen. Hoewel ze soms omstreden zijn, kunnen persoonlijkheidstesten daar enorm bij helpen. Bemoei je daar als leidinggevende niet teveel mee. Geef ze als instrument aan je medewerker mee, maar zorg dat het niet lijkt op een beoordelingsinstrument. Daar zijn dergelijke testen ook niet voor bedoeld. Dat wat de medewerker drijft, daar waar hij goed in is of waar hij zich enorm aan ergert, kan een hele mooie bron zijn voor doelen in een POP en dat kan alleen maar zichtbaar worden in een test als de medewerker zichzelf kan zijn en open en eerlijke antwoorden kan geven.

Niet teveel sturen

Een POP is een PERSOONLIJK Ontwikkelplan, dat betekent dat je medewerker het niet fout kan doen.

Als leidinggevende kun je er van alles van vinden. Jij ziet bijvoorbeeld enorme groeimogelijkheden in de communicatie, maar jouw medewerker vult doelen in die gaan over het structureren van het werk. Dan kun je daar in een gesprek nog eens naar vragen, maar ga er niet teveel op door.

Als de medewerker niet heel enthousiast wordt van jouw tip over verbeteren van communicatieve vaardigheden, laat het dan los. Als je zo’n doel over communicatie dan toch zou laten opnemen in het plan, dan wordt het document al snel een papieren tijger en laat de medewerker het vaak links liggen (of pakt het snel even erbij, vlak voor de functioneringsgesprekken). Wanneer het voor het werk belangrijk is dat de medewerker zich ontwikkelt op een specifiek gebied, stel dit dan vast in het (werk)jaarplan.

Kleine stapjes

Als de medewerker enthousiast is over het plan dat hij heeft opgesteld, zal hij er (zeker in het begin) graag mee aan de slag willen. Het helpt dan als de doelstellingen SMART zijn opgesteld. Dan is er concreet geformuleerd wat de eerste acties moeten zijn. Daarbij kan die ontwikkeling ineens spaak lopen, omdat de medewerker bijvoorbeeld tegen lastige situaties aanloopt of die specifieke ontwikkeling veel van hem vraagt. Om te voorkomen dat zijn POP dan in een bureaulade verdwijnt, is het belangrijk dat je regelmatig samen in gesprek gaat. Richt je in dat gesprek dan steeds weer op zijn intrinsieke motivatie om aan deze doelen te werken en vier alle (kleine) stappen die al genomen zijn.

SMART-doelen

Doelen worden soms onscherp geformuleerd, waardoor er tijdens een POP-gesprek wel duidelijkheid lijkt te zijn, maar de medewerker daarna niet altijd weet waar hij moet beginnen. Het helpt dan om doelen SMART op te stellen.

Specifiek            Het doel moet duidelijk en concreet zijn, een waarneembare actie, gedrag of resultaat omschrijven.

Meetbaar           Je moet het resultaat van het doel kunnen meten. Wanneer weten we bijvoorbeeld of men beter is gaan communiceren?

Acceptabel         Als de medewerker zelf de doelstelling in zijn POP heeft geformuleerd, is de kans groot dat hij hem acceptabel vindt. Hij moet het doel willen halen en de organisatie moet daar achter kunnen staan.

Realistisch          Is het doel wel haalbaar? Moeten we misschien eerst kleinere stappen omschrijven. Is er tijdens het werk bijvoorbeeld genoeg tijd om aan dit doel te kunnen werken?

Tijdgebonden     Een SMART-doel heeft een duidelijk omschreven start- en einddatum.

Hoewel de SMART-methodiek veel voordelen heeft, zijn er ook nadelen. Wanneer er genoeg intrinsieke motivatie aanwezig is om met de doelen aan de slag te gaan, kan het SMART formuleren mensen wat afremmen. Realistische doelen zijn bijvoorbeeld niet erg ambitieus en meetbare doelen geven mensen soms het gevoel te worden afgerekend. Gebruik de SMART-methodiek daarom zorgvuldig. Zet het in waar je het kunt gebruiken en laat het los als je merkt dat het mensen afremt.

Een POP kan medewerkers helpen bij het groeien in hun werk. Als werkgever zorg je er met een POP voor dat persoonlijke doelen en wensen van je medewerker enigszins aansluiten bij de wensen en doelen van de organisatie, zodat je gebruik maakt van alle intrinsieke motivatie. Genoeg redenen om een POP binnen de organisatie als hulpmiddel te gebruiken en we hopen met dit artikel een aantal bruikbare handvatten te hebben gegeven om te komen tot waardevolle en persoonlijke ontwikkelplannen.


Vijf situaties waarin je géén online onderwijs aanbiedt

Bij Paragin geloven we erg in de toekomst van online leren en vooral online onderwijs dat je altijd en overal kunt volgen. Studenten kunnen reiskosten en -tijd besparen, er is weinig ruimte voor nodig, de lesstof is 24/7 beschikbaar en er is meer ruimte om eigen tempo te bepalen. Digitale communicatie is inmiddels verweven in alle aspecten van ons leven en moet ook een rol krijgen in het onderwijs. Maar is online leren dan altijd een slimme keuze?

Kiezen voor online leren loopt in de praktijk vaak uit op een mengvorm: delen van het onderwijs worden fysiek in klaslokalen aangeboden en andere delen vinden online plaats. Deze mengvorm wordt blended learning genoemd. Het is bedoeld om een krachtige, studentgerichte leeromgeving te creëren, waarbij je gebruik maakt van fysieke en online leeractiviteiten.

Er zijn verschillende vormen van blended learning:

  1. Online voorbereiden en in de klas verwerken: studenten bereiden online hun huiswerk voor waar ze later fysiek in de klas mee verder gaan.
  2. Online verwerken: studenten gaan online verder met de lesstof die ze in de klas aangeboden hebben gekregen.
  3. Online voorbereiden en verwerken: studenten worden wisselend gevraagd om leeractiviteiten online of fysiek in de klas uit te voeren. Het voorbereiden van lesstof en het verwerken van de lesstof kan geheel online plaatsvinden of geheel in de klas.

Het biedt altijd voordelen om blended learning te overwegen als opleider. Leren gebeurt meer continu en moet verweven zijn met de dagelijkse praktijk. Daarnaast zijn nieuwe generaties studenten gewend om meer controle te hebben over het eigen leren en leren zij makkelijker in een netwerkomgeving, die ook makkelijk én 24/7 online te realiseren is. Het wordt dus vanzelfsprekender om blended learning aan te bieden, naast alle voordelen op gebied van efficiëntie, zoals realtime voortgangsoverzichten, makkelijker samenwerken, alle inhoud en gegevens voor iedereen altijd beschikbaar, en vele andere. RemindoContent van Paragin biedt alle mogelijkheden om een mooi blended leerprogramma aan te bieden.

En toch zijn er genoeg redenen om delen van het onderwijs juist niét in het online programma aan te bieden. Bijvoorbeeld in de volgende vijf situaties:

  1. Als de behoefte aan blended learning voortkomt uit het oplossen van het docententekort.

Soms kiezen opleiders voor het overstappen naar blended learning om een docententekort op te lossen. Het idee daarachter is dat er minder begeleide onderwijstijd nodig zou zijn en de docenten meerdere studenten tegelijkertijd kunnen begeleiden. In de praktijk werkt dat niet meteen zo. In het begin vraagt het overstappen naar blended learning de nodige tijd van de docenten en komt er meer druk op te liggen, voordat ze van de voordelen gebruik kunnen maken. Het online lesprogramma moet gevuld worden en daarnaast moeten studenten in het begin nog erg wennen aan nieuwe lesmethode, wat iets vraagt van de begeleiding.

Wanneer iedereen gewend is aan de leermethode, merk je pas dat er efficiënter gewerkt wordt en heb je vaak minder docenturen nodig om hetzelfde te bereiken. Maar dan is er meestal al een heel leerjaar voorbij.

  1. Als er geen tijd is voor docenten om zich voor te bereiden op de overgang.

Veel reistijd, niet goed lopende roosters en veel lesuren op school zijn vaak redenen voor studenten om te klagen over het onderwijs op school. Steeds vaker zijn ze zelf al gewend om thuis met de lesstof bezig te zijn en zien dan het nut niet in van de reis naar school. Soms leidt dat tot ontevreden studenten. Wanneer een school een digitale leeromgeving ziet als manier om dat op te lossen, leidt dat in het begin meestal tot meer ontevredenheid. Dat komt dan door de onwennigheid van docenten en begeleiders met het werken in een online platform. Wanneer het online leren niet goed werkt, missen studenten juist het directe en persoonlijke contact.

Als je dit kunt ondervangen door docenten de tijd te geven en goed te trainen voorafgaand aan de overgang, kan het invoeren van blended learning ook studentontevredenheid oplossen. Als die tijd er niet is, zal het snel heel rommelig overkomen. Gun alle betrokkenen dus de tijd om zich goed voor te kunnen bereiden en goed getraind te worden.

  1. Als het gaat om het toepassen van allerlei vaardigheden.

Er zijn opleiders die in hun enthousiasme teveel doorschieten naar het online leren en denken dat alles online kan. Ze vergeten zichzelf af te vragen: is dit nu de meest ideale manier om deze handeling/ taak te leren? Je ziet dan allerlei online modules die gaan over het uitvoeren van vaardigheden, bijvoorbeeld het geven van injecties, gespreksvaardigheden of het stuken van een wand. Je kunt er allerlei oplossingen voor bedenken: studenten moeten zichzelf filmen als ze de handeling uitvoeren of gesprekken opnemen. Je kunt ook de werkzaamheden in filmmateriaal demonstreren. Maar is dit nu echt de meest ideale manier? Meestal niet.

Tijdens het uitvoeren van de nieuwe vaardigheden is het voor studenten van essentieel belang dat ze direct feedback krijgen, dus meteen wanneer ze de rechterarm omhoog bewegen of wanneer ze die ene vraag stellen. Dan wordt er direct geleerd. Dat zijn bij uitstek juist de onderdelen om fysiek samen te oefenen, zodat de student vertrouwen krijgt. Je kan later dan alsnog de handeling laten uitvoeren en filmen. Dan is er een basis gelegd waarmee de student zelfstandig kan gaan oefenen.

  1. Als de doelgroep het lastig vindt om zelfstandig aan het werk te gaan.

Wanneer je studenten iets vraagt te doen wat ze erg lastig vinden, dan ligt fraude op de loer. De neiging van studenten om iets van internet bij elkaar te rapen is soms erg groot (afhankelijk van de doelgroep). Zorg ervoor dat je de zwaarte van de onderdelen uit je opleiding goed kent. Geen student zit erop te wachten om voor biologie thuis zelf een kikker te ontleden. Daar ligt te veel spanning op, dus die onderdelen doe je liever samen in de klas. Als de druk eraf is, dan kun je ze altijd online nog wat aanvullende opdrachten meegeven.

Daarnaast zijn er doelgroepen te bedenken die het sowieso lastig vinden om zelfstandig aan het werk te gaan: studenten die nauwelijks computervaardig zijn, zichzelf moeilijk kunnen motiveren of die het lastig vinden om direct te begrijpen wat er van hen wordt verwacht. Je kunt ze daar vooraf bij helpen, bijvoorbeeld als deze vaardigheden in de toekomst ook belangrijk zijn voor hen, of anders toch meer fysiek blijven opleiden.

  1. Als er voor de doelgroep weinig mogelijkheden zijn om online te leren.

Voor blended learning heb je als student een internetverbinding, een telefoon of computer nodig. Zonder deze elementen is het voor studenten een hele uitdaging om goed tot leren te komen. Als ze steeds naar de bibliotheek moeten om erachter te komen wat ze voor de opleiding moeten doen, dan moet je daar als opleider iets voor verzinnen. Maak de omstandigheden zo ideaal mogelijk, zodat de student zich kan focussen op alles wat er nog geleerd moet worden.

Met de vraag van studenten ‘kunnen we dit niet thuis doen’ komt inzicht in een belangrijk onderwijsthema. Waarom doen we dit niet thuis? Wat houdt ons als opleiders tegen? Soms zijn het goede redenen, zoals de vijf redenen in dit artikel. Maar ook zijn er talloze oplossingen te bedenken waarmee je studenten online goed aan het leren krijgt. Wil je dat Paragin daar over meedenkt, laat het ons dan weten.


In 3 stappen naar een toetsmatrijs

Wat je studenten wilt leren is vaak wel duidelijk, maar hoe toets je nu aan het einde of dit is gelukt? Een toetsmatrijs kan je daarbij helpen. Het geeft inzicht in wat er precies getoetst moet worden en helpt je bij het vinden van de juiste inhoud, vorm en manier.

Een toetsmatrijs maak je altijd voordat je met de toetsontwikkeling begint. Het helpt je namelijk bij het ontwikkelen van die toets. Hoe je de matrijs invult, heeft te maken met het type toets dat je wilt ontwikkelen. Voor alle toetstypen kun je een matrijs maken (zoals formatieve en summatieve toetsen, praktische en theoretische toetsen).

In RemindoToets kun je kiezen uit twee soorten toetsmatrijzen: een matrijs op basis van regels en een matrijs op basis van een matrix. In beide matrijzen kun je alle informatie kwijt over de toets die je wilt maken.

Een toetsmatrijs kan zo een heel nuttig gereedschap zijn. De volgende stappen helpen je bij het maken van een toetsmatrijs.

Stap 1   Toetscriteria formuleren

Om tot een goede toetsmatrijs (en daarmee ook een goede toets) te komen, is het van belang dat er duidelijke toetscriteria zijn geformuleerd waar je de student op gaat toetsen. Meestal komen deze voort uit de leerdoelen die zijn omschreven voor de opleiding. Kijk kritisch naar de leerdoelen: zijn deze toetsbaar? Een voorbeeld:

De student kan de inhoud van de taxonomie van Bloom benoemen en uitleggen welke rol deze taxonomie speelt in het onderwijs.

Dit leerdoel bestaat eigenlijk uit twee leerdoelen. Namelijk de inhoud van de taxonomie benoemen én uitleggen welke rol deze speelt in het onderwijs. Om dit leerdoel op te nemen in een toetsmatrijs, kun je er beter twee criteria van maken. Kijk er dan nog eens kritisch naar: wat moet de student van de taxonomie precies kunnen benoemen? Een globale omschrijving, of de exacte niveaus op de juiste volgorde? Maak de leerdoelen SMART, zodat je precies weet wat je wilt toetsen.

Nog een voorbeeld:

De student kan veelvoorkomende medicatie benoemen en weet waarvoor deze medicijnen worden gebruikt.

Ook hier gaat het eigenlijk om twee verschillende doelen. Is dat eigenlijk wel nodig? Als de student kan benoemen waarvoor bepaalde medicatie wordt gebruikt, dan is hij ook in staat om de medicatie te benoemen. En over welke medicatie hebben we het eigenlijk? Benoem dus specifiek wat je precies verwacht aan het einde.

Stap 2   Kies een systematiek voor het aanduiden van het niveau

Nu je een mooie lijst hebt met toetscriteria, wil je weten op welk niveau de criteria moeten worden getoetst. Met behulp van deze niveaus richt je straks je matrijs in en krijg je inzicht in de zwaarte van de toets (zodat je later toetsen van gelijke zwaarte kunt maken).

Er zijn verschillende manieren om niveaus aan te duiden. Vaak wordt de taxonomie van Bloom gebruikt, maar ook andere taxonomieën, zoals de taxonomie van Romiszowski of de taxonomie van Gagné kunnen heel geschikt zijn. Daarnaast zijn er nog andere methodieken die kunnen helpen om niveaus aan te duiden, zoals de RTTI-systematiek. Welke methodiek je gebruikt, heeft vaak te maken met de onderwijsvisie van het team, de organisatie of de school waar je werkt.

Stap 3  Vul de matrijs in

Wanneer je voor een matrijs kiest op basis van een matrix, maak je een overzicht van alle toetscriteria en zet je deze in de eerste kolom. Daarnaast stel je de systematiek van stap 2 in. In het onderstaande voorbeeld is gekozen voor de RTTI-systematiek (te zien aan de kolommen).

Nu is de tijd gekomen om per criterium te bepalen: hoe wil ik dit toetsen? Hoeveel vragen ga ik stellen over de verschillende leerdoelen en op welk niveau wil ik dat doen?

Je zou kunnen denken: het leerdoel is toch al gesteld op een bepaald niveau, waarom moet ik dit dan nog aangeven? Als voorbeeld het leerdoel ‘de kandidaat kan uitleggen hoe de taxonomie van Bloom wordt gebruikt bij het vormgeven van lesmateriaal’.  Dit leerdoel is gericht op toepassingsgericht 2 van de RTTI systematiek. Maar je zou hiervoor ook een vraag kunnen stellen op reproductieniveau. Dan maak je een vraag, waarbij het antwoord in het studieboek van de kandidaat letterlijk terug te vinden is. Je kan ook een vraag stellen op het niveau toepassingsgericht 1: dan geef je een casus die de kandidaat herkent van allerlei voorbeelden die in de opleiding zijn gepasseerd en vraag je naar een oplossing met behulp van Bloom. Ditzelfde kan ook op niveau toepassingsgericht 2, door een hele nieuwe casusvorm aan de kandidaat voor te leggen en dezelfde vraag te stellen. Zo zie je dat elk leerdoel op verschillende niveaus getoetst kan worden. Het ene niveau vraagt meer van de kandidaat dan het ander, het is dus belangrijk dat daar een goede balans in zit.

Deze matrijs kun je in RemindoToets ook in regels uitwerken. Je kiest wat je zelf prettig vindt.

Bij theorietoetsen zónder matrijs, zie je vaak dat gesloten vragen teveel op het laagste niveau worden gesteld (bijvoorbeeld ‘reproductie’ in de RTTI of ‘kennis’ in Bloom). Hierdoor wordt de hele toets vrij eenzijdig en toetst deze niet helemaal wat het hoort te toetsen. Het is belangrijk om te streven naar een mooie balans van vragen over alle niveaus en in ieder geval vragen te stellen op het niveau waarop het toetscriterium is geschreven.

Nu je een overzicht hebt van wat je wilt toetsen en op welk niveau, kun je goed zien wat er nodig is. Is de matrijs geschikt om in een theorie-toets uit te voeren? En welke vraagtypes zijn dan het meest geschikt? Soms is het beter om een casus te schrijven met open vragen. Of een mix van verschillende typen gesloten vragen. Of zou het beter een mondeling- of een praktijkexamen moeten zijn? Dan is het tijd om het examen in te richten. Je zal zien dat de matrijs je helpt bij het maken van de toets en het een stuk overzichtelijker maakt.


Vijf valkuilen bij het maken van toetsvragen

Als je het juiste antwoord niet weet, kies dan het langste antwoord. Of: kun je kiezen uit een reeks getallen, kies dan het getal in het midden. Adviezen voor kandidaten om een toetsvraag goed te beantwoorden zijn er genoeg, maar dat wil je als toetsontwikkelaar natuurlijk niet laten gebeuren. Je wilt met je toets echt iets toetsen. Voorkom dan deze 5 veelgemaakte fouten.

1 3 4 5