De werkdruk in het onderwijs ligt hoog. Naast alle lesuren, moeten leerkrachten ook hun lessen voorbereiden, administratie bijwerken en natuurlijk is er het steeds doorlopende nakijkwerk. Gericht op dat nakijkwerk zijn er nog wel wat oplossingen te verzinnen. Maar wat is daarvan het effect? Immers is feedback geven de meest nuttige activiteit in het onderwijs.

Stel je voor, je geeft les in een vak, waarbij studenten iedere drie weken tien formatieve opdrachten moeten maken, die behoren bij een specifiek thema.
Als docent kun je jezelf de vraag stellen of je iedere afzonderlijke opdracht tussentijds apart wilt nakijken of slechts eenmalig aan het einde van de drie weken. Als je de opdrachten eenmalig wilt nakijken aan het einde van de drie weken, heeft dit als voordeel dat je geen beoordelingsverzoek meer krijgt voor iedere afzonderlijke opdracht van iedere student. Hierdoor kun je bijvoorbeeld op een andere manier je tijd inplannen en efficiënter je tijd besteden aan andere onderwijsaspecten die aandacht behoeven.

Aan de keuze voor het eenmalig nakijken aan het einde van de drie weken, kleven een aantal onderwijskundige vraagstukken:

    • Als ik als docent aan het einde van de drie weken na wil kijken, in plaats van iedere opdracht apart, krijgen de studenten dan nog wel voldoende mogelijkheden om vragen te stellen en feedback te ontvangen?

Je kunt ervoor kiezen tussentijdse momenten te plannen op school waarop studenten hun vragen kunnen stellen aan jou of aan hun medestudenten. Zo kunnen studenten toch hun vragen stellen, en krijgen ze meer regie over hun leertraject. Bovendien kun je op deze manier als docent ook controle blijven houden over de voortgang van je studenten en eventueel bijsturen.
Het is raadzaam om de studenten voor te bereiden op zo’n gezamenlijk tussen moment. Sommige studenten vinden het namelijk lastig om ‘uit het niets’ vragen te verzinnen die ze aan jou of medestudenten kunnen stellen. Zo bestaat de kans dat de gezamenlijke tussen momenten niet optimaal worden benut. Je kunt de studenten voorbereiden door middel van het opstellen van een begrijpelijke rubric. Voor ieder criterium dat belangrijk is in de opdracht(en) bepaal je bijvoorbeeld vooraf wat onvoldoende, matig, voldoende of goed is. De studenten kunnen zo hun eigen opdracht beoordelen, voordat zij naar het tussenmoment komen. Zo leren zij inzien waar ze goed in zijn en waar ze beter op moeten letten. Op deze manier kunnen de studenten tijdens het gezamenlijke moment specifieke en relevante vragen stellen, die hen helpt om de opdracht beter te maken.

Ook kun je de studenten elkaar feedback laten geven. Dit wordt peer feedback genoemd. Ook hiervoor kun je de rubric inzetten. Peer feedback levert meerdere voordelen op. Door het (leren) geven van feedback op andermans werk, leren studenten te reflecteren op hun eigen werk. Vinden je studenten het lastig om feedback te geven? Het kan dan helpen om ze uitleg te geven over wat feedback is en hoe je dit kan geven. Wil je meer over feedback lezen? Lees dan eens dit artikel.

In RemindoContent is het mogelijk om bij iedere afzonderlijke opdracht de ‘Feedbackoptie’ in te stellen. Studenten zouden dan aan de docent of een medestudent feedback kunnen vragen en hun vragen kunnen stellen. Ook kun je een oogje in het zeil te houden op de voortgang van de opdrachten. Je kunt als docent namelijk zien óf de opdracht is gemaakt en wát er precies is gemaakt; is er bijvoorbeeld een verslag geüpload of hebben de studenten iets ingevuld?

    • Als ik als docent aan het einde van de drie weken na wil kijken, in plaats van iedere opdracht apart, in hoeverre geef ik studenten dan (nog) een terugkoppeling op hun (tussentijdse) opdrachten?

Je kunt in meer of mindere mate een terugkoppeling geven op de (tussentijdse) opdrachten. Een factor die van invloed is op de mate van feedback die van belang is, is het belang van een opdracht.

Het belang van een opdracht kun je beoordelen aan de hand van een aantal criteria. Bijvoorbeeld, worden er bij de opdracht competenties (kennis, vaardigheden en houdingen) aangeleerd, die voorwaardelijk zijn voor een hoger competentieniveau? Is de opdracht voorwaardelijk voor het mogen/ kunnen maken van een volgende opdracht? Welke consequenties hangen er aan het resultaat van een student (bijvoorbeeld zakken of slagen)? Hoe groter het belang van een opdracht, hoe belangrijker het is om feedback te geven.

De meest beperkte optie is het geven van een eindoordeel of overkoepelende feedback op alle opdrachten gezamenlijk.
Bij de meest uitgebreide optie geef je studenten op het einde feedback op iedere tussentijdse opdracht. Als de student iets goed beheerst, kun je de student positieve feedback geven. Denk aan een compliment, waarbij je de student aangeeft wat hij of zij goed heeft gedaan. Dit kan resulteren in meer intrinsieke motivatie en zelfvertrouwen bij de student. Als de student iets nog niet goed beheerst, kun je als docent uitleg geven waarom de student dat specifieke onderdeel nog niet beheerst. Feedback met extra uitleg kan resulteren in positieve leerresultaten bij de studenten. Ook kun je hier rubrics toepassen, zodat studenten weten waar zij op beoordeeld worden.

Wil je meer weten over feedback geven, het maken van rubrics of het beoordelen van opdrachten? Neem dan eens contact met ons op, wij denken graag met je mee!


In een e-portfolio kun je heel eenvoudig documenten en andere bewijsstukken toevoegen. Het nadeel van deze eenvoud is, dat deelnemers de neiging hebben om té veel toe te voegen. Voor begeleiders en beoordelaars wordt het dan lastig om overzicht te krijgen. Vier vragen kunnen je daarbij helpen. Hoe beteugel je de input van de deelnemer in het e-portfolio?

Het maken van portfolio’s is al jaren heel gebruikelijk in het onderwijs. Portfolio’s op papier, maar ook online portfolio’s, zoals met behulp van MijnPortfolio.nl, komen steeds vaker voor. Het maken van een portfolio komt oorspronkelijk uit de kunstwereld. Kunstenaars konden met een verzameling van hun ontwerpen en producten potentiële opdrachtgevers laten zien, wat ze aan vaardigheden in huis hebben. Dit principe rondom portfolio’s is nog hetzelfde: je verzamelt bewijzen die laten zien wat je in huis hebt.

Het werken met een digitaal portfolio biedt hele handige voordelen ten opzichte van een portfolio op papier, zoals het eenvoudig kunnen aanvullen en bewaren van documenten, het toevoegen van andere bestanden zoals audio en video en het overal kunnen raadplegen van het portfolio. Digitale portfolio’s laten één valkuil zien: het nodigt uit tot het opnemen van (te) veel materialen. De volgende vier vragen kunnen je helpen bij het voorkomen dat deelnemers in deze valkuil stappen.

1. Hoeveel mag er toegevoegd worden?
Elke organisatie stelt weer andere eisen aan wat er in een portfolio aanwezig moet zijn. Gebruik je het e-portfolio bijvoorbeeld om toegelaten te kunnen worden voor een opleiding, dan zal de inhoud er anders uitzien dan een e-portfolio dat gebruikt wordt voor loopbaanontwikkeling. Wanneer een e-portfolio wordt gebruikt voor erkenning of toelating, is het slim om na te denken over een maximumaantal bewijsstukken. Zo zijn er bijvoorbeeld (onderwijs)instellingen waar een deelnemer niet meer dan 20 bewijsstukken mag opnemen in het e-portfolio. Het voordeel daarvan is dat de deelnemer heel bewust kiest voor de kwalitatief betere stukken.

2. Moet het werk af zijn?
De doelstelling van het e-portfolio bepaalt of er ook onvoltooid werk in wordt opgenomen. Hier gaat het vaak over het verschil tussen proces en product. Is het nodig om het proces (en daarom tussentijdse versies) in beeld te brengen, of laat het eindproduct voldoende zien wat iemand aan vaardigheid heeft? Geef duidelijk aan wat je hierin verwacht. Zo voorkom je dat het document 5 keer wordt opgenomen in verschillende versies, als dit niet nodig is.

3. Waar ben je trots op?
Voor beoordelaars is het vaak belangrijk om niet alleen te zien waar de deelnemer zelf het meest trots op is, maar ook de wat meer middelmatige bewijsstukken. Zo kan iemand bijvoorbeeld heel erg goed zijn in het geven van presentaties en dit uitgebreid aantonen in een bewijsstuk, maar is het ook belangrijk om te zien dat deze persoon een prima adviesrapport kan schrijven. Alleen de bewijsstukken opnemen waar iemand zelf het meest trots op is, is daarom vaak niet voldoende. Maar geef de deelnemers wel de gelegenheid om aan te geven waar zij het meest enthousiast over zijn. Daar kan de showcase in MijnPortfolio.nl bijvoorbeeld een uitstekende mogelijkheid voor bieden. Het e-portfolio toont dan een verzameling van bewijsstukken over de breedte en de showcase geeft de deelnemer de gelegenheid om te presenteren wat in zijn ogen de meeste waarde heeft.

4. Welke bewijsstukken wil je minimaal zien?
Het is niet erg om precies aan te geven wat er minimaal in het e-portfolio opgenomen moet worden. Deelnemers vinden het vaak lastig om onbevooroordeeld te zijn over eigen prestaties. Ze focussen vaak op datgene waar ze veel moeite voor hebben gedaan. Kwaliteiten die ze van nature bezitten, worden soms niet meegenomen. Daarom is het verstandig om altijd te vragen naar een volledig overzicht, zoals bijvoorbeeld in een cv. Daarbij is het handig om te zien hoe de loopbaan van de deelnemer eruitziet. Mis je nog iets in het portfolio, dan kun je eenvoudig zien of de deelnemer dat op een andere manier nog zou kunnen bewijzen. In het e-portfolio van MijnPortfolio.nl kun je door de kwalificaties ook heel makkelijk die sturing aanbieden. Vanuit een te bewijzen leerdoel of competentie wordt de deelnemer uitgedaagd hiervoor bewijsstukken op te nemen. Zo ontstaat er een breder en gerichter beeld van de vaardigheden van de deelnemer.

Wil je meer weten over de mogelijkheden van MijnPortfolio.nl? We vertellen je er graag meer over.


Een toets heeft vaak belangrijke gevolgen voor toetskandidaten. Daarom is het noodzakelijk, dat de toets gericht op zijn doel is vormgegeven en meet wat er gemeten moet worden. Om hier zeker van te zijn, is het verstandig om een toetsmatrix samen te stellen. We vertellen je graag meer over de toetsmatrix en hoe je deze in RemindoToets kunt gebruiken.

Leerdoelen

Het beschrijven van leerdoelen is een belangrijke eerste stap in het toetsen. Leerdoelen zijn doelstellingen waarvan je hoopt dat de kandidaat deze in de opleiding of training gaat behalen. Deze leerdoelen worden niet alleen gebruikt voor het ontwerpen van een toets, maar ook voor het ontwerpen en uitvoeren van het onderwijs voorafgaand aan de toets. Het is belangrijk dat leerdoelen richting geven en duidelijk zijn. Je kunt meer over het opstellen van leerdoelen lezen in dit artikel.

De omschreven leerdoelen vormen de basis van de toets. Vanuit deze leerdoelen wordt de toets samengesteld.

Taxonomie

Leerdoelen kunnen bestaan uit verschillende niveaus.

Voorbeeld:

“De kandidaat kan uitleggen welke maatregelen de Nederlandse politiek treft, tegen de gevolgen van vergrijzing.”

Een toetsvraag als ‘Welke maatregelen treft de Nederlandse politiek tegen de gevolgen van vergrijzing?’ is het meest doelgericht, maar niet altijd wenselijk. Vaak zijn er meerdere vragen nodig om eerlijk en afgewogen te kunnen toetsen. Of ligt er veel kennis onder het leerdoel, die je ook graag wilt terugzien in het antwoord van de toetskandidaat. Daarom worden in een toetsmatrix niet alleen de leerdoelen, maar ook de begripsniveaus waarop het leerdoel wordt getoetst vermeld. Zo wordt in één overzicht duidelijk wat de cognitieve zwaarte van de toets zou moeten zijn.

Om een niveau-aanduiding te kunnen geven, worden vaak taxonomieën gebruikt. De taxonomie van Bloom is een hele bekende, maar ook andere taxonomieën komen voor en kunnen heel nuttig zijn, zoals de taxonomie van Krathwohl of het RTTI- of OBIT-model. Een taxonomie is een ordening. Zo geeft de taxonomie van Bloom de ordening weer van de complexiteit van kennis/cognitieve processen, waarbij Bloom aangeeft dat het laagste niveau ‘onthouden’ is en het hoogste niveau ‘creëren’. Op het laagste niveau moet de kandidaat zich de informatie kunnen herinneren en benoemen, op het hoogste niveau bevragen we de kandidaat op het niveau van nieuwe ideeën vormen, nieuwe concepten te creëren of te kunnen ontwerpen.

De toetsmatrix

De leerdoelen (of onderwerpen) en taxonomieniveaus komen samen in de toetsmatrijs.

De kolom aan de linkerkant bevat alle leerdoelen die in de toets aan bod moeten komen. In de andere kolommen staan de taxonomieniveaus (Bloom in het voorbeeld hierboven). Toetsontwikkelaars hebben vaak de neiging om zich te richten op de lagere cognitieve processen, zoals ‘onthouden’ in de afbeelding. Door meer of alle taxonomieniveaus op te nemen in de toetsmatrijs, bereik je een bredere spreiding van cognitieve processen in de toets.

Tijdens het invullen van de toetsmatrix denk je na over het aantal vragen die binnen het betreffende leerdoel gesteld moet worden en op welk cognitief niveau elke vraag gericht moet zijn. Dit zie je terug in de aantallen in de cellen in bovenstaande afbeelding. In de afbeelding zie je bijvoorbeeld dat er over het eerste leerdoel twee vragen op niveau ‘onthouden’ opgenomen moeten worden in de toets.

Rechtsonder wordt bijgehouden uit hoeveel vragen het totale examen zou bestaan.

Wanneer je de kolommen hebt ingevuld en hier tevreden over bent, kun je van start gaan met het ontwikkelen van de vragen. Het kan voorkomen dat er binnen de exameninstelling of school afspraken zijn gemaakt over bijvoorbeeld de toetsvorm. Je kunt dan een extra validatiecriterium toevoegen aan deze toetsmatrijs. Een voorbeeld hiervan gaat over de vraagtypen. De school of exameninstelling kan hierover afspraken hebben gemaakt, om bijvoorbeeld te voorkomen dat de toets volledig bestaat uit meerkeuzevragen en je als ontwikkelaar wordt gestimuleerd ook andere vraagtypen op te nemen.

Zo laat dit voorbeeld zien dat de vragen in deze toets mogen bestaan uit de vraagtypen ‘meerkeuzevraag’, ‘sorteervraag’, ‘invulvraag’ en hotspotvraag’. Het grootste deel (40%) bestaat uit meerkeuzevragen. De andere vraagtypen zijn meer uitwisselbaar. Ze mogen 5 tot maximaal 20% van de toets uitmaken.

Wanneer al deze instellingen zijn gemaakt, kun je beginnen met het ontwikkelen van de vragen (wanneer deze nog niet bestaan). Vanuit de toetsmatrix kunnen in RemindoToets direct lege toetsvragen worden aangemaakt in de juiste vragenbank, die voldoen aan de specificaties uit de matrix, zodat je direct kunt beginnen.

Zodra de toets wordt samengesteld, zullen de regels in de toetsmatrijs steeds bijhouden of er wordt voldaan aan de afspraken in de toetsmatrix. Zo vindt er steeds een controle plaats over de ontwerpdoelstellingen, die je zelf hebt ingevuld in de toetsmatrix.

Stappenplan Toetsmatrix

Voordat de toetsmatrix gebruikt kan worden, is het nodig om deze eerst aan te zetten in de ‘algemene instellingen’ van de beheeromgeving. Je vindt de optie onder het tabblad ‘toetsmatrijsinstellingen’.

Stap 1: Matrijs toevoegen

Om een toetsmatrix toe te voegen kies je in ‘beheer opleidingen’ voor ‘nieuwe matrijs toevoegen’. Je vult alle instellingen in en kiest bij ‘type’ voor ‘toetsmatrijs op basis van matrix’. Er verschijnt een leeg veld waarin je de matrix opbouwt.

Stap 2: Instellingen

Voordat je de toetsmatrix kunt invullen, maak je eerst een keuze uit de toetsmatrix-instellingen die je wilt gebruiken, om de matrix gegevens in weer te geven. Je ziet standaard het vraagtype als criterium om de toetsmatrix op te bouwen, maar vaak wil je de toetsmatrix opbouwen met behulp van vraagniveaus, oftewel taxonomieën. Om deze te kunnen gebruiken, voer je dit eerst in als vraageigenschap. Let erop dat de vragen dan ook aan deze eigenschappen gekoppeld zijn. Je klikt op ‘toetsmatrix-instellingen aanpassen’ en kiest de vraageigenschappen die je wilt gebruiken voor de toetsmatrix.

Stap 3: Leerdoelen aanmaken

Om de toetsmatrix van inhoud te voorzien, maak je leerdoelen aan. Dit zijn de leerdoelen die je gaat toetsen. Je klikt op leerdoel toevoegen en kiest de vragenbankcategorie waar je de vraag of vragen uit wilt halen. Je kunt daarnaast nog andere leerdoelen opgeven en direct zie je onderaan hoeveel vragen op basis van deze leerdoelen nu al in de itembankcategorie beschikbaar zijn.

Stap 4: Toetsmatrix invullen

Wanneer de leerdoelen zijn aangemaakt, worden de aantallen beschikbare vragen per kolom getoond. Je vult dit naar eigen inzicht in. Eventueel voeg je nog een extra validatiecriterium toe. Sla vervolgens de toetsmatrix op.

Stap 5: Genereer lege vragen

Wanneer je tevreden bent over de toetsmatrix die is ontworpen, kun je lege vragen aan laten maken in de itembank, die voldoen aan de invoerde criteria. Klik hiervoor op ‘genereer lege vragen’.

In de opgegeven vragenbank worden lege vragen aangemaakt die voldoen aan de criteria die zijn ingesteld. De lege vragen hebben als tekst het leerdoel waar de vraag op gericht moet zijn.

Wanneer alle vragen zijn ontwikkeld en goedgekeurd, kan de toetsmatrix worden geactiveerd om te gebruiken.

Stap 6: Maak de toets aan

Afhankelijk van de doelstelling van de toetsmatrix, maak je nu de toetsen aan. Dit doe je door een variant toe te voegen aan de toetsmatrix. Je kunt hier twee keuzes in maken:

  1. Kopieer alle instellingen en bepaal een vaste set vragen volgens de matrix

Nu worden met behulp van de instellingen in de matrix, de vragen geselecteerd die hier het best bij passen. Per leerdoel laat de toets zien of de geselecteerde vragen voldoen aan jouw ingevulde matrix.

Je kunt nog toevoegen en verwijderen, totdat je een toets hebt samengesteld die past bij de matrix. Alle regels kleuren dan groen.

  1. Kopieer alle instellingen en maak een template om te vullen

Met deze optie worden alle leerdoelen en niveaus gekopieerd naar de toets en selecteer je handmatig de vragen die je wilt toevoegen aan deze toets.

De toets houdt tijdens het toevoegen van de vragen bij of je al voldoet aan de vereisten uit de toetsmatrix. Je kunt op basis van de toetsmatrix meerdere toetsen samenstellen. De energie die je steekt in de toetsmatrix blijft op deze manier nuttig voor alle toetsen die je gaat afnemen over dit leerstofdomein. Je maakt pas weer een nieuwe matrix wanneer de leerdoelen inhoudelijk veranderen.

We vertellen je graag meer over het werken met een toetsmatrix. Je kunt hiervoor altijd even contact met ons opnemen.


Nu we examens online kunnen afnemen en studenten dit ook kunnen doen op hun eigen computer, waarom zouden we ze dan nog naar school laten komen voor het examen? Omdat we dan een enorm risico lopen op examenfraude. Hoe weet je nu of de student thuis zelf zijn examen maakt, hier geen boeken bij gebruikt en/of geen hulp krijgt bij het maken. We missen een surveillant. Dat probleem wordt verholpen door ProctorExam. Het is mogelijk om toetsen in RemindoToets af te nemen met de online proctoring van ProctorExam. Daniel Haven, CEO van ProctorExam vertelt hoe het in zijn werk gaat.

ProctorExam is vijf jaar geleden opgericht door Daniel Haven en is nu de grootste Europese organisatie die zich richt op online proctoring (online surveilleren). “Ik ben begonnen vanuit mijn eigen frustratie. Naast mijn studie aan de Universiteit van Amsterdam deed ik ook een onlinestudie in Amerika. Dat ging goed totdat ik examen moest doen; toen werd verlangd dat ik een ticket zou boeken om dat examen op de campus te maken. Het is een probleem dat het hele onderwijs inflexibel maakt. Met ProctorExam hebben we dat probleem overbrugd.”

ProctorExam werkt met de nieuwste technologieën. Het is volledig webbased en daarom zijn er geen speciale applicaties nodig op de computer van de student, maar enkel een plugin voor de browser.

De procedure

Een week voordat het examen plaatsvindt, ontvangt de student een mail van ProctorExam. Met de link in deze mail wordt de hardware van de student gecontroleerd. Werkt de webcam naar behoren, is de computer snel genoeg, werkt de microfoon goed? Als dat is gecheckt, krijgt de student een mail waarin de datum en tijd van het examen staat vermeld. De student kan op de geplande datum klikken op de link in deze mail. Hij doorloopt dan het proces van ProctorExam waarin hij een snapshot maakt van zichzelf en een snapshot van zijn id-bewijs of collegekaart (naar behoefte van de instelling). Via een QR-code wordt de camera van de mobiele telefoon van de student geactiveerd. Met zijn mobiel filmt de student zijn omgeving. “We vragen hem onder andere zijn oren te laten zien, zodat we weten of hij geen oortje in heeft. Daarnaast wordt de kamer gefilmd, onder het bureau en het plafond. In het verleden zagen we nog wel dat een student het plafond vol had geplakt met sticky notes”, aldus Daniel. Vervolgens plaatst de student de telefoon op ongeveer 3 meter afstand naast of achter zich, zodat er volledig zicht is op de ruimte. De student kan op de link klikken, waarmee hij zijn toets start in RemindoToets. Er is dan geen inlog meer nodig. De student komt via de koppeling met ProctorExam in zijn toets.

Twee manieren

ProctorExam vindt het belangrijk om maatwerk te bieden. “We zien dat in het bedrijfsleven vaker gekozen wordt voor een methode zonder de tweede (mobiele) camera, omdat dit niet altijd werkt bij de doelgroep die wordt bediend. Daarnaast kunnen we het platform in taal aanpassen, zodat het past bij de organisatie die ons inzet. Denk aan het aanpassen van de taal of het whitelablen van ProctorExam.
Het is niet een one-size-fits-all, maar we passen ons graag aan naar de sector”, legt Daniel uit.

In de praktijk wordt er meestal gebruik gemaakt van twee manieren van online proctoring:

  1. Live proctoring

Een proctor kijkt live mee tijdens de toetsafname. De proctor kan dan live ingrijpen als dat nodig is. Vaak zijn dit proctors van ProctorExam, maar dit kunnen ook mensen zijn die de school zelf toewijst.

  1. Record & Review

De volledige examenafname wordt opgenomen, zowel de audio (microfoon), video (webcam) als opnamen van het computerscherm. Tijdens de examenafname is er wel toegang tot de chat support met ProctorExam, zodat de student eventuele problemen direct kan melden. De opname wordt achteraf bekeken door proctors van ProctorExam. Zij maken van hun bevindingen een rapport.

“We merken dat Record & Review in de praktijk het meest wordt gebruikt. Deze optie is altijd beschikbaar. Je kunt dan op ieder willekeurig moment examen doen. Omdat niemand live hoeft mee te kijken, is het minder kostbaar. De chat support is bovendien wel toegankelijk. Het is ook mogelijk om via de chatfunctie docenten zelf de gelegenheid te geven om te reageren op vragen, wanneer dat wenselijk is”, legt Daniel uit.

Controle en veiligheid is van essentieel belang bij digitaal toetsen. Daniel: “Omdat de proctor zich helemaal richt op die ene student, is de controle op examenfraude velen malen beter dan in het klaslokaal. Maar veiligheid heeft ook te maken met zaken als privacywetgeving. ProctorExam is een Nederlands bedrijf, we zijn gevestigd in Amsterdam. Je kunt ons altijd contacten. Daarnaast helpen we graag als het gaat om vragen over veiligheid en privacy rondom online proctoring. Drie jaar geleden is er speciaal een consortium opgericht, om samen met universiteiten en hogescholen onderzoek te doen naar online proctoring. Er is documentatie gecreëerd. Je kunt dat vinden via www.onlineproctoring.eu. Je vindt daar bijvoorbeeld informatie over welke vragen je moet stellen aan je softwareleverancier als je wilt beginnen met online proctoring. Maar ook welke ervaringen al zijn opgedaan. Als je interesse hebt in het starten met online proctoring is dat een aanrader.” Voorbeelden van gebruik via RemindoToets zijn daar ook vindbaar.

Daniel: “Examens op afstand bieden veel flexibiliteit. Je kunt eenvoudig de digitale examens afnemen bij studenten die in het buitenland wonen of daar vanwege stage zijn. Daarnaast vinden studenten het fijn om in hun eigen vertrouwde omgeving het examen te maken. Je wilt met een gerust hart van de examenresultaten op aan kunnen en diploma’s uitreiken. Daar helpen we graag bij.“

Wil je meer weten over ProctorExam? Kijk dan op hun website.


Docenten weten als geen ander hoe ze studenten aan het leren krijgen en toch halen niet alle studenten een voldoende. Het is helder dat dit meestal niet de schuld is van de docent, maar toch wordt dat nog wel eens zo ervaren. Het creëert een onnodige druk bij de docent. Als docent kun je het gevoel krijgen dat je ervoor moet zorgen dat je studenten goed presteren. Wat gebeurt er wanneer je je als docent zo richt op de prestaties van je studenten? Bevordert dat het leren wel of juist niet?

Of een student goed presteert is afhankelijk van veel factoren, zoals het doorzettingsvermogen en de motivatie van de student. Toch voelen veel docenten zich persoonlijk verantwoordelijk als het slagingspercentage van hun klas laag is. Sommige docenten kunnen daarmee de neiging krijgen om meer resultaatgericht les te geven. Is dat wel zo wenselijk voor de student?

Flink, Boggiano & Barrett lieten in 1990 in een experiment zien dat de effecten best verrassend zijn. Tijdens het experiment werden docenten gevraagd verschillende groepen leerlingen een instructie te geven voor het oplossen van een aantal taken, waaronder een puzzel.

De ene groep docenten kreeg deze instructie:

“Je moet ervoor zorgen dat de kinderen leren om deze opdrachten te volbrengen. Jouw taak is het helpen van deze leerlingen, om problemen op te lossen.”

De andere groep docenten kreeg deze instructie:

“Je moet ervoor zorgen dat de kinderen goed presteren bij deze opdrachten. Het is de verantwoordelijkheid van de docent om leerlingen op een bepaald niveau te krijgen. Als de leerlingen worden getest op deze opdrachten, moeten ze goed presteren.”

Daarna kregen docenten de tijd om even te oefenen met de opdrachten en de instructie voor te bereiden. Tijdens het uitvoeren van het experiment werden alle instructies op video opgenomen, zodat ze geanalyseerd konden worden. Na afloop werd aan de leerlingen gevraagd in hoeverre ze de taken leuk vonden om te doen en of ze bereid waren om na school nog even verder te werken hieraan.

Dit waren de resultaten:

Resultaat 1: De leerlingen van de docenten die gericht waren op het leren, scoorden significant beter op de taken.

Wanneer je wilt dat je studenten beter presteren, is het dus beter om als docent minder gericht te zijn op die prestatie.

Resultaat 2: Leerlingen van beide docentgroepen waren bereid om na de les verder te werken.

Of je als docent nu wel of niet gericht bent op de prestatie, levert weinig risico voor de motivatie van leerlingen.

Resultaat 3: Docenten die gericht zijn op de prestatie, geven meer hints.

Resultaat 4: Leerlingen die een prestatie moeten leveren, zijn tijdens de opdracht meer aan het praten.

Resultaat 5: Docenten die gericht zijn op de prestatie, zijn enthousiaster en ogen meer geïnteresseerd.

Resultaat 6: Docenten die gericht zijn op de prestatie, waren zelf beter in het uitvoeren van de opdracht. Ze beheersten de inhoud beter.

Wanneer je je als docent richt op de prestatie, heb je een enorme behoefte aan het terugzien van een inzicht of het observeren wanneer een student een stap maakt. Het geheel komt onder een tijdsdruk te staan. Want ergens komt het moment dat de student wordt getoetst en is hij er dan wel klaar voor? Al deze resultaten laten daar het effect van zien. Docenten geven sneller een hint, zijn actiever bezig met studenten en dagen ze uit om meer te praten, zodat docenten kunnen monitoren of er vooruitgang is. Het zorgt er daarnaast voor dat docenten zich heel goed voorbereiden op de opdracht.

Resultaat 7: Docenten die gericht zijn op het leren, zorgden voor meer zelf-ontdekkingen en neigden meer naar zelfstandig werken.

Leren is heel erg gebaat bij autonomie en zelf ontdekken. Dat krijgt dus meer de ruimte, wanneer docenten de prestatiedruk niet of minder voelen.

Ander onderzoek laat zien dat docenten die gericht zijn op prestatie, door studenten vaak gezien worden als meer competent dan docenten die studenten graag zelf laten ontdekken. Dat terwijl dit experiment laat zien dat het zelf-ontdekken voor het resultaat van studenten heel belangrijk is en een beter resultaat oplevert.

Het zou een goed voornemen kunnen zijn voor het nieuwe schooljaar: minder gericht zijn op de prestaties. Het is fijner voor het welzijn van de docent én voor de prestaties van de student.

 

Bronnen:

Boggiano, A. K., Flink, C., Shields, A., Seelbach, A., & Barrett, M. (1993). Use of techniques promoting students’ self-determination: Effects on students’ analytic problem-solving skills. Motivation and emotion, 17(4), 319-336.

Flink, C., Boggiano, A. K., & Barrett, M. (1990). Controlling teaching strategies: Undermining children’s self-determination and performance. Journal of personality and social psychology, 59(5), 916.

 


In bijna iedere opleiding komen ze voor: reflectie-opdrachten. In het hoger onderwijs wordt vaak verwacht dat studenten een verslag schrijven, waarin ze reflecteren op het product dat is opgeleverd en het proces dat hieraan voorafging. Maar ook in het basisonderwijs zie je reflectie terug, wanneer kinderen wordt gevraagd te kijken naar het gemaakte werk en zich af te vragen wat er beter kan. Veel studenten en leerlingen hebben er weerstand tegen en toch houden we er ons in het onderwijs vaak aan vast, omdat we graag willen zien dat er is nagedacht en geleerd tijdens het uitvoeren van de opdracht. Het effect van de reflectieopdrachten is echter niet groot en er zijn zelfs risico’s aan verbonden.

Reflecteren betekent ‘het nadenken over eigen functioneren, om dit te verbeteren’ (Luken, 2011). In de afgelopen tien jaar is het onderwijs zich steeds meer gaan richten op de vaardigheid van het reflecteren. Het is zelfs geformaliseerd, door het op te nemen in kwalificatiedossiers en andere regelgeving die bepalend zijn voor het curriculum.

Een aantal onderzoeken spreken van voorzichtig positieve resultaten over reflectie in het onderwijs. Zo laat onderzoek van Delany en Watkin (2009) zien, dat onder studenten fysiotherapie een intensief reflectieprogramma positief effect had op het vertrouwen dat ze hebben in hun ontwikkeling als therapeut. Het gaf hen een persoonlijk beeld van de rol die ze gaan uitvoeren in de medische wereld en het zorgde voor een persoonlijke band met hun medestudenten en docenten.

Helaas levert het reflecteren ook negatieve resultaten op, die laten zien dat het inzetten van reflectie-opdrachten goed doordacht moet worden.

  1. Bewust nadenken leidt tot slechtere keuzes

Een flink aantal experimenten laat zien, dat wanneer we bewust nadenken over bijvoorbeeld beoordelingen, dit leidt tot slechtere eindresultaten. Bewust nadenken is een klein deel naast heel veel onbewuste processen. Dijksterhuis (2008) legt in zijn boek uit dat we het beste veel kunnen overlaten aan het onbewuste. De onbewuste processen kunnen 200.000 keer zoveel informatie-eenheden verwerken als het bewuste. Het bewuste brein zoekt naar patronen en beperkt de werkelijkheid tot een aantal logische aspecten. Wanneer je studenten vraagt om te reflecteren op een handeling die ze net met grotendeels onbewuste processen hebben uitgevoerd, zullen ze dit in een reflectie reduceren tot een aantal chronologische stappen. Wat heeft zo’n reflectie dan voor zin? Het gevaar is dat studenten met het oog op de reflectie de gehele opdracht met het bewuste brein uitvoeren. Het resultaat is dan naar alle waarschijnlijkheid minder goed dan het had kunnen zijn.

  1. Reflecteren kan leiden tot piekeren en depressie

Volgens psychiater Christophe André (2009) komt het veel voor dat mensen denken te reflecteren, terwijl ze in feite aan het piekeren zijn. Ook Takano en Tanno (2009) laten zien dat reflecteren en piekeren veel samengaan. Het heeft te maken met de aanname, dat nadenken helpt tegen problemen. Mensen gaan dan te lang door met reflecteren en nadenken en eindigen daarmee in piekeren, waar ze in een beginstadium kunnen verkeren van een depressie. Reflecteren en piekeren gaan hand in hand, stellen Takano en Tanno, daarmee kun je je afvragen of het nuttig is om je vast te houden aan reflecteren in het onderwijs.

  1. Verminderd welzijn

Zelfreflectie is iets anders dan zelfinzicht (Grant, Franklin & Langford, 2002). Zelfreflectie gaat over inspectie en evaluatie van eigen gedachten, gevoelens en gedrag en het nadenken daarover. Zelfinzicht gaat over de helderheid van het begrip van eigen gedachten, gevoelens en gedrag. Volgens dit onderzoek hangen deze twee niet samen. Letten op jezelf en denken over jezelf leiden dus niet tot een beter begrip van jezelf. Het hebben van zelfinzicht leidt tot een positief effect op welzijn, maar zelfreflectie liet precies het tegenovergestelde zien.

Luken (2011) concludeert in zijn onderzoek dat het reflecteren in het onderwijs minder kan en beter moet. Beter kan het door eerst een goede basis te leggen bij studenten met betrekking tot het beter leren waarnemen en beschrijven. Daarna het evalueren en onderscheiden van eigen en andermans rol en van feiten en interpretatie. En pas daarna zaken als verschillende perspectieven hanteren, onderliggende aannames herkennen en inzien. Dat kost veel tijd. Luken geeft daarbij aan dat die tijd niet altijd beschikbaar is in het onderwijs. In dat geval kun je volgens Luken beter helemaal geen reflectieopdrachten meer aanbieden.

 

Bronnen:

Grant, A. M., Franklin, J., & Langford, P. (2002). The self-reflection and insight scale: A new measure of private self-consciousness. Social Behavior and Personality: an international journal, 30(8), 821-835.

Luken, T. (2011). Zin en onzin van reflectie. Supervisie en coaching, 28(4), 153-166.

Takano, K., & Tanno, Y. (2009). Self-rumination, self-reflection, and depression: Self-rumination counteracts the adaptive effect of self-reflection. Behaviour research and therapy, 47(3), 260-264.

 

 


Een groep met studenten die moedig en energiek is, die zichzelf kan motiveren, die snel geïnspireerd raakt, streeft naar nieuwe vaardigheden en talenten verstandig inzet, op zo’n groep hoopt iedere docent. In de praktijk zitten klassen ook vol met mensen die zich weinig verantwoordelijk voelen, zich soms buiten sluiten en zich onverantwoordelijk gedragen, starend vanaf de achterste stoelen in het klaslokaal. Dat gedrag zit ons niet alleen in de weg in de schoolbanken, maar ook op het werk. Mensen die lusteloos op hun werk zitten en wachten tot het weer weekend is. Het heeft veel te maken met (een gebrek aan) motivatie. Motivatie levert productie en daarom loont het om je te verdiepen in het bevorderen van de motivatie in jouw organisatie.

Motivatie is onder andere verbonden aan plezier, energie, houding, doorzettingsvermogen, intenties en actief bijdragen. Er zijn verschillende typen motivatie. Zo is er een verschil tussen motivatie die voorkomt uit iemand zelf (intrinsieke motivatie) en motivatie die voorkomt uit externe prikkels (extrinsieke motivatie).

Intrinsieke motivatie

Mensen worden geboren met de nodige intrinsieke motivatie. Dat is de reden dat kinderen leren bewegen, praten en lopen. Het komt vanuit hun wil om die vaardigheden te leren. Niemand hoeft het ze op te dragen, ze gaan zich ontwikkelen vanuit hun eigen behoeften. Naarmate we ouder worden laat onderzoek zien dat de intrinsieke motivatie zowel onderhouden en vergroot kan worden, maar ook kan worden verminderd door allerlei externe prikkels en omstandigheden.

Het is dus van belang om ervoor te zorgen dat de omstandigheden en prikkels waar aan mensen worden blootgesteld, zoveel mogelijk bijdragen aan hun intrinsieke motivatie. Je kunt daarbij denken aan bijdragen aan optimale uitdagingen, het werken aan eigen doelstellingen en het weghouden van negatieve feedback. Onderzoek laat bijvoorbeeld ook zien dat het aanbieden van tastbare beloningen voor prestaties op taken de intrinsieke motivatie van medewerkers ondermijnt. Hetzelfde geldt voor opgelegde doelstellingen en het vastleggen van deadlines, omdat deze te maken met een factoren die personen niet zelf beheersen.

Om intrinsieke motivatie bij personen tot uiting te brengen is het belangrijk aandacht te besteden aan gevoelens, mensen keuzes te geven en kansen om zelf richting te bepalen. Een gevoel van autonomie en een relationele band blijken positief te zijn voor het bevorderen en ondersteunen van de intrinsieke motivatie. Zo werd duidelijk in een onderzoek naar studenten die weinig intrinsiek gemotiveerd waren, dat ze hun docenten beschreven als ‘koud en onverschillig’.

Wanneer intrinsieke motivatie bij mensen de ruimte krijgt, zie je veel positieve eigenschappen, zoals energie, interesse, plezier en tevredenheid. Mensen kunnen alleen intrinsiek gemotiveerd raken voor activiteiten waarin ze geïnteresseerd zijn; activiteiten die ze zien als een uitdaging, als iets nieuws of die passen bij een andere waarde die ze hebben. Toch zullen mensen ook activiteiten moeten uitvoeren die hier niet aan voldoen. Dat maakt dat streven naar alleen intrinsieke motivatie zinloos is. Net als intrinsieke motivatie je in actie zet, zo doet extrinsieke motivatie dat ook.

Extrinsieke motivatie

Veel activiteiten die mensen doen, zijn niet gebaseerd op hun intrinsieke motivatie. Al heel jong wordt intrinsieke motivatie gedempt door sociale druk of een variatie aan verantwoordelijkheden.

De vraag is dan ook hoe de motivatie extrinsiek bevorderd kan worden en welk effect dit heeft op bijvoorbeeld het welzijn en het doorzettingsvermogen van mensen. Extrinsieke motivatie laat een variatie zien. Zo is een student extrinsiek gemotiveerd wanneer hij met veel enthousiasme zijn huiswerk maakt, omdat hij ziet dat dit belangrijk is voor zijn toekomstige baan. Maar ook de student die het huiswerk doet, omdat hij anders een probleem heeft met zijn ouders, is extrinsiek gemotiveerd.

In de afbeelding hieronder uit het onderzoek van Deci en Ryan wordt die variatie in beeld gebracht.

 

Afbeelding uit Ryan, R. M., & Deci, E. L. (2000). Self-determination theory and the facilitation of intrinsic motivation, social development, and well-being. American psychologist, 55(1), 68.

 

Van links naar rechts zien we de mate waarin motivatie uitgaat van de persoon zelf.

Amotivation: de status waarin iemand in zijn geheel geen intentie heeft om te handelen. Dit kan komen omdat hij de waarde van de activiteit niet inziet, denkt dat hij de activiteit niet naar behoren kan uitvoeren of verwacht dat het niets zal opleveren.

Daarnaast zie je 5 classificaties van gemotiveerd gedrag die voortkomt uit externe prikkels.

External regulated: gedrag dat getoond wordt om te voldoen aan een externe eis, verwachting of beloning. Mensen voelen zich in deze situatie vaak gecontroleerd of buitengesloten.

Introjected regulation: de taak is aangenomen, maar niet volledig geaccepteerd als eigen. Hier zie je bijvoorbeeld gedrag dat wordt getoond om schuldgevoel of spanning te voorkomen of om de eigen status te behouden (zoals trots). Het gedrag komt daarmee voort uit henzelf, maar wordt niet ervaren als een deel van henzelf. Dit type motivatie wordt in verband gebracht met faalangst en (over)spanning.

Identified regulation: in deze situatie wordt het doel van de taak bewust gewaardeerd. De activiteit wordt dus geaccepteerd als belangrijk.

Integrated regulation: dit is de hoogst gewaardeerde status van extrinsieke motivatie. De externe prikkel is door de persoon geëvalueerd en ingebracht in zijn eigen waarden en behoeften. Dit type kent dezelfde voordelen als intrinsieke motivatie.

Deze theorie van Deci en Ryan laat zien dat het verschil in motivatie gelijk staat aan de vraag in hoeverre het gedrag door de persoon is geïnternaliseerd en geïntegreerd. Dat wil zeggen dat het voor mensen belangrijk is om een taak over te nemen of het om te zetten naar hun eigen waarde en behoeften, zodat het uitgaat van hun zelfbewustzijn. Hoe ondersteun of stimuleer je dat?

Deci en Ryan geven aan dat het belangrijk is om de volgende drie behoeften te vervullen:

  1. Relatie

Omdat de activiteiten die we vragen van mensen niet altijd hun interesse wekken, is de band die we hebben met de mensen aan wie we de taak geven van cruciaal belang. Zo laat onderzoek bijvoorbeeld zien dat kinderen beter internaliseren wanneer ze zich in veiligheid verbonden voelen met hun ouders en leerkrachten.

  1. Competentie

Daarnaast zijn de competenties belangrijk. Mensen internaliseren de taak meer wanneer ze zich competent genoeg voelen om deze taak uit te voeren.

  1. Autonomie

Dit is een kritiek element. Mensen moeten de taak verbinden aan hun eigen waarden en behoeften. Om dat te kunnen doen is keuzevrijheid, eigen wil en het vermijden van externe druk en vastomlijnd denken heel belangrijk.

Het is een illusie om te denken dat we mensen zo kunnen stimuleren dat ze alleen te werk gaan vanuit intrinsieke of geïnternaliseerde extrinsieke motivatie. Het onderzoek van Deci en Ryan geeft op zijn minst aan dat de sociale context de verschillen tussen personen, maar ook de verschillen binnen een persoon kan vergroten. Dat heeft effect op de mate waarin mensen meer of minder zelfgemotiveerd en actief zijn dan anderen. Dat is genoeg reden om te werken aan het optimaliseren van groei en internaliseren van taken te ondersteunen.

 

Bron:  Ryan, R. M., & Deci, E. L. (2000). Self-determination theory and the facilitation of intrinsic motivation, social development, and well-being. American psychologist55(1), 68.


Wanneer we Marijke beoordelen op klantgericht werken met behulp van 360 graden feedback, zien we het volgende resultaat: Marijke beoordeelt zichzelf met een 3, haar manager geeft haar een 2, haar directe collega een 5 en een willekeurige klant geeft haar een 4. Wie heeft dan gelijk? En wat moet je nu met zo’n oordeel als het gaat om het functioneren van Marijke op dit punt?

Voor het streven naar een groter zelfbewustzijn tijdens het werk en het eventueel wijzigen van het beeld over eigen functioneren, kan 360 graden feedback bijzonder nuttig zijn. Veel van onze klanten zetten daarom deze tool met veel plezier in. Waar verschillende mensen worden gevraagd een oordeel te geven, kom je uiteindelijk uit op verschillende visies over dezelfde eigenschap, zoals klantgericht werken. De beoordeling lijkt daarmee weinig consistent.

Beoordelingen van anderen

Toch hebben alle respondenten wel geprobeerd eerlijk te oordelen, maar is er vanuit verschillende type respondenten dus kennelijk sprake van een andere visie over ‘klantgericht werken’. Onderzoek laat zien dat dit meestal gaat over wat zij vinden dat in een beoordeling moet worden meegenomen. Zo blijkt dat managers meer oordelen op basis van succes, promotie en algehele effectiviteit. Collega’s vinden over het algemeen contact en samenwerking belangrijk. Klanten beoordelen meestal op basis van vriendelijkheid en kwaliteit. Dit is juist een mooie kwaliteit van 360 graden feedback: het oordeel over ‘klantgericht werken’ komt op deze manier vanuit verschillende gezichtspunten. Maar omdat ze moeilijk te verbinden zijn met elkaar kun je aan het einde heel moeilijk een conclusie trekken over de mate waarin Marijke klantgericht werkt.

Zelfbeoordeling

Daarnaast is de zelfbeoordeling ook niet vrij van subjectiviteit. Onderzoek laat zien dat sommigen de neiging hebben zichzelf over te waarderen. Hier is vaker sprake van wanneer iemand op dit punt ondermaats presteert. Andersom is hetzelfde aan de hand. Hoge presteerders hebben de neiging zichzelf onder te waarderen. Dus wanneer Marijke heel slecht is in klantgericht werken, is ze eerder geneigd zichzelf hiervoor een hoger oordeel te geven. Wanneer ze dit juist heel goed kan, zal ze zichzelf een lagere beoordeling geven. Je zou denken dat dit wellicht een semi-bewuste keuze is. Om te verbloemen dat je misschien niet capabel bent of om te proberen om bescheiden te blijven. Dat hoeft niet zo te zijn. Vaak worden competenties die je heel goed beheerst door jezelf als heel gewoon beschouwd. Je hoeft er geen moeite voor te doen, dus stelt het niet veel voor. Daar kan de lagere beoordeling vandaan komen. Mensen zijn sterker geneigd zichzelf in het midden te plaatsen van de scoreschaal.

Wat te doen als je met die verschillende beoordelingen tot een persoonlijk ontwikkelplan moet komen en je vindt dat Marijke zich vooral moet ontwikkelen op ‘klantgericht werken’? Wanneer er een dergelijk gevolg vanaf hangt, is een niet-consistente beoordeling heel storend. Instappen in een ontwikkelingstraject wordt bij dit soort beoordelingen veel minder makkelijk geaccepteerd door medewerkers.

De feedbackbespreking speelt dan een cruciale rol. De verschillende beoordelingen zullen in dit gesprek aan de orde moeten komen. Er wordt vastgesteld waar de verschillen liggen en gezamenlijk gezocht naar een oorzaak hiervoor. Vervolgens kom je tot conclusies over de ontwikkeling van Marijke.

In het algemeen worden beoordelingsinstrumenten waarin meerdere beoordelaars betrokken worden (multi rater-instrumenten) in onderzoek hooggewaardeerd. Het geeft een beeld over het functioneren van medewerkers. Zelf als er geen consistent oordeel uitkomt, geeft het behoorlijk wat informatie die ingebracht kan worden in een ontwikkelgesprek.


Bij gesloten vragen hebben kandidaten de kans om het juiste antwoord te raden. Het juiste antwoord is namelijk ergens te vinden, of het nu in een antwoordalternatief (meerkeuzevraag), in een combinatie (sorteervraag) of ergens op de afbeelding (hotspotvraag) is. Deze raadkans is een doorn in het oog van alle exameninstellingen. Je weet namelijk nooit zeker in hoeverre de score van de kandidaat een weergave is van zijn kennis of van zijn geluk. De enige manier om van die raadkans af te komen, is het overstappen op open vraagtypen en dat is natuurlijk niet altijd wenselijk. Daarom kan de score van de kandidaat gecorrigeerd worden voor raden.

Raadkans heeft te maken met het normeren van een toets. Uit een toets komen toetsscores. Toetsscores hebben op zichzelf geen betekenis. Door een toets te normeren, krijgen toetsscores pas betekenis. Dat normeren doe je wanneer je de cesuur bepaalt: de grens tussen zakken en slagen.

Een toets levert vrijwel altijd scores op, maar de betekenis die je geeft aan de score, bepaalt of je meting van waarde is. Er zijn diverse methodes beschikbaar om toetsen te normeren. Veel van die methodes zijn arbeidsintensief en daarom zie je in de praktijk vaak een intuïtieve benadering van de toets en wordt de norm bepaald door de toetsmaker. Je ziet dan vaak een standaard van cesuur op 55% en vragen die allemaal 1 punt waard zijn. Raadkanscorrectie speelt met name in deze variant van normeren een grote rol.

Bij het afnemen van gesloten vragen, is er altijd sprake van een raadkans. De enige uitzondering hierop is de invulvraag, bij alle andere gesloten vragen kun je door gokken/raden punten behalen. Bij meerkeuzevragen is dat voor veel mensen heel logisch. Er is bij 4 antwoordopties 25% kans dat de kandidaat de juiste kiest, simpelweg doordat de kans 1 op 4 is. Maar ook bij andere gesloten vragen (zoals de matrixvraag, de hotspotvraag, de meervoudig-juistvraag en de matchingvraag) is er sprake van een raadkans. Of men rekening wil houden met de raadkans in de normering, wordt bepaald door de toetsmaker. Uit literatuur blijken verschillende argumenten te zijn om niet voor raadkans te corrigeren. In Nederland is het echter gebruikelijk om dit wel te doen.

We doen dat omdat we betekenis willen geven aan de toetsscores. Wanneer er sprake zou zijn van een toets met alleen open vragen, kun je na de afname zeggen: deze kandidaat beheerst zoveel procent van het inhoudsdomein. Het beheersingspercentage is dan gelijk aan de toetsscore. Bij het gebruik van gesloten vraagtypen, kun je die vergelijking vanwege de raadkans niet maken. De kandidaat heeft per slot van rekening ook alle antwoorden bij toeval juist kunnen kiezen. Hoe kun je dan betekenis geven aan zijn score? We doen dat door de score van de kandidaat te corrigeren voor de raadkans.

Raadkanscorrectie is geen ideale oplossing. Het houdt bijvoorbeeld geen rekening met de vraag of iemand écht heeft geraden. Het is een wiskundige oplossing over iets wat eigenlijk niet wiskundig is op te lossen. Je wilt namelijk weten of de kandidaat over de kennis beschikt en dat doe je niet door een formule los te laten, dan doe je door zijn antwoorden te analyseren.

Het kan namelijk zomaar zo zijn dat een kandidaat het antwoord op de vraag niet weet, maar wel zeker weet dat alternatief 3 en alternatief 4 onjuist zijn. Dan heeft hij voor die vraag (in het geval van een vierkeuzevraag) al 50% raadkans. Maar je berekening houdt rekening met 25%. Strikt gezien is zijn kennis (nog) niet voldoende. Ben je zijn score dan wel juist aan het interpreteren wanneer je rekening houdt met 25% raadkans? Door zijn beperkte kennis kan hij waarschijnlijk meer antwoorden wegstrepen dan iemand met geen kennis (waar de raadkans op is berekend).

Raadkanscorrectie gaat er dus vanuit dat een kandidaat een gesloten vraag benaderd en de kennis heeft of niet heeft. Er zit geen betekenis hiertussen. Je beheerst het of niet. Dat is op zich al niet waar. Kandidaten hebben vaak wel enige kennis over het onderwerp, maar weten het juiste antwoord dan toch net niet te kiezen. Daarnaast hoeft de kans niet 25% te zijn dat de kandidaat kiest voor het juiste antwoord, dan zouden onze vragen zo gelijkmatig beschreven moeten zijn, dat gebeurd eigenlijk nooit. Er zijn altijd antwoordalternatieven die meer aandacht trekken dan anderen.

Daarnaast is het niet zo gezegd dat een kandidaat met geen enkele kennis over het leerstofdomein wel 25% van de vragen juist gaat beantwoorden. Het is immers een kansberekening, maar de werkelijkheid laat vaak iets anders zien.

En toch doen we het zo, omdat er in het geval van intuïtieve normering één van de weinige ingrepen zijn die je kunt doen om de score meer betekenis te geven.

Als het gaat om raadkanscorrectie zijn er drie manieren:

  1. Correctie voor raden

Willekeurig raden is funest voor de validiteit van de score-interpretatie. In deze methode is alles er vooral op gericht om kandidaten ervan te weerhouden om willekeurig te raden, wanneer ze de vraag niet met zekerheid kunnen beantwoorden. Het is een actie die gericht is op het gedrag van de kandidaat.

Voor een fout antwoord wordt de kandidaat bestraft (1 punt aftrek), voor een goed antwoord beloond (1 punt) en wanneer de kandidaat het juiste antwoord niet zeker weet, kiest hij voor ik-weet-het-niet en heeft het geen effect (0 punten).

Er zijn veel nadelen aan deze methode. Een fout antwoord komt niet altijd voort uit het willekeurig gokken. Het kan ook zijn dat een kandidaat wel enige kennis hebt over dit onderwerp, maar nu net deze toepassing verkeerd heeft begrepen. Het kan ook zijn dat hij zich echt teveel heeft laten afleiden door de afleiders in de vraag.

Verder is het vreemd om een kandidaat een strafpunt te geven voor een fout antwoord (kennelijk weet hij het juiste antwoord niet) en ook voor een ik-weet-het-niet-antwoord. In beide gevallen weet hij het juiste antwoord niet, maar voor de ene wordt hij bestraft en de andere telt niet mee.

Het grootste nadeel van deze methode is in meerdere onderzoeken aangetoond en gaat over het bevoordelen van specifieke kandidaten ten opzichte van andere kandidaten. Dat komt voort uit het feit dat er een antwoordstrategie nodig is bij het beantwoorden van dergelijke vragen. Naast het feit dat een kandidaat de vraag moet beantwoorden, moet hij er ook over nadenken hoe zeker hij is van zijn antwoord. Onderzoek laat zien dat dit leidt tot grote verschillen tussen voorzichtige kandidaten (die snel kiezen voor weet-niet antwoorden) en (vaak mannelijke) risiconemers. De risiconemers kwamen er in alle gevallen beter vanaf.

Deze raadkans-methode maakt een toets multi-dimensionaal. Je meet niet alleen de kennis van de kandidaat, maar ook zaken als beslisvaardigheid, risico nemen, strategisch inzicht. Dat bevordert de validiteit van je beslissing niet.

Daarom zie je in de praktijk deze methode niet vaak terug.

  1. Gedwongen raden

In de praktijk zie je meestal de methode ‘gedwongen raden’ terug. De methode dankt zijn titel aan de instructie die kandidaten krijgen wanneer ze een toets maken met deze raadkanscorrectie. Die instructie luidt: geef altijd een antwoord, ook als je het niet weet. Ze worden dus gedwongen om te raden als ze niet goed antwoord kunnen geven op de vraag.

In deze methode wordt berekend hoeveel punten een kandidaat zou hebben als hij ‘blind’ zou gokken op basis van aantal antwoordalternatieven (of scoregebieden in andere gesloten vragen). De scores die vallen binnen dit gok-bereik wordt bestempeld als niet-betekenisvol. En dus adviseren ze om pas boven deze grens de scores om te rekenen naar cijfers. Een aantal scorepunten dat precies op deze grens ligt, levert dan 0 punten op (en alle scores onder deze grensscore ook). De cesuur ligt dan in het scorebereik tussen de gecorrigeerde score en de maximale score.

De normering ziet er dan als volgt uit:

 

Wanneer je de raadkanscorrectie aanzet in RemindoToets is dit de methode die wordt toegepast.

  1. Opnemen in normering

Wanneer we in onze normering inhoudelijk rekening houden met de raadkans, dan wordt deze opgenomen in de cesuurbepaling. Dat gebeurt bijvoorbeeld bij normeringsmethoden zoals de Angoff methode, zie voor meer informatie ons artikel over Normeren in RemindoToets. Deskundigen nemen in hun advies voor het vastleggen van de grens tussen zakken en slagen, de raadkans mee. Je ziet dat in de praktijk de cesuurgrens verder ligt dan de gebruikelijke 55%. Een voorbeeld hiervan, zie je in deze afbeelding.

Welke methode je kiest voor het corrigeren van de score vanwege raadkans is vaak afhankelijk van het doel en de opzet van je toets. Wil je daar hulp bij, aarzel niet om het ons te vragen. We denken graag met je mee.


We zijn trots op de nieuwe functionaliteiten die de afgelopen maanden zijn ontwikkeld voor RemindoToets. Afgelopen zaterdag, 4 mei zijn deze middels release 19-1 beschikbaar gekomen voor alle RemindoToets gebruikers. 

Naast de diverse optimalisaties, bevat deze release een aantal mooie, nieuwe toevoegingen.

Een greep uit de toevoegingen:

  • In de beheeromgeving is het nu mogelijk om op basis van de bestaande vraagtypes, vraagsjablonen aan te maken. Denk hierbij bijvoorbeeld aan een standaardsjabloon voor ‘Ja/Nee vragen’ of een meerkeuzevraag met drie antwoordopties welke nooit gehusseld mogen worden. Deze standaardsjablonen kunnen vervolgens ook door andere gebruikers binnen de omgeving worden gebruikt.
  • Er is een workflow toegevoegd rondom het proces van het ontwikkelen en goedkeuren/vaststellen van een toets(matrijs). Er bestond al een ‘Goedkeuring’ voor toetsen/toetsmatrijzen, maar aan dit proces zijn meerdere stappen toegevoegd en komt nu overeen met het ontwikkel- en goedkeuringsproces van vragen. Daarnaast is de nieuwe rol van ‘Vaststeller’ toegevoegd, bijvoorbeeld voor het enkel vaststellen van een toetsmatrijs.
  • Er zijn diverse uitbreidingen aan de toetsmatrix gedaan. De toetsmatrix is nu ook als dynamische toets te gebruiken en het is bijvoorbeeld mogelijk om op basis van de toetsmatrix lege vragen aan de vragenbank toe te voegen, op basis van de ingestelde leerdoelen en criteria. Deze lege vragen zijn dan meteen aan de juiste categorie en eventueel aan de juiste vraageigenschappen gekoppeld.
  • Bij het afnemen van toetsen waarin media wordt gebruikt, is het mogelijk om het aantal keer dat een mediabestand kan worden afgespeeld door de deelnemer, te limiteren  Hierdoor kan een kandidaat een videobestand bijvoorbeeld maar 2 keer bekijken en wordt deze daarna geblokkeerd. Daarnaast kan een kandidaat tijdens de toets in casusteksten tekst markeren met verschillende kleuren en er opmerkingen bij plaatsen.
  • Bij oefeningen en oefentoetsen met open vragen is het nu mogelijk dat de kandidaat deze zelf nakijkt. Dit is ook te combineren met een correctieronde, welke door een corrector nagekeken moet worden.
  • De nakijkpagina is voorzien van paginering, markeringsopties en filters, waardoor de corrector makkelijk kan wisselen naar kandidaten die nog niet zijn nagekeken en/of waar hij/zij een markering bij heeft geplaatst.
  • De corrector heeft tijdens het nakijken de optie gekregen, om eerder gebruikte feedback in het tekstveld bij de ene kandidaat, eenvoudig te kunnen hergebruiken bij het nakijken van de resultaten van andere kandidaten, om zo sneller en efficiënter soortgelijke feedback te kunnen geven.
  • Nadat de toetsen zijn afgenomen en de resultaten bekend zijn, bevat de analyse nu naast de cronbach’s alpha ook de ‘standaard meetfout’, om een idee te krijgen over de betrouwbaarheid van de toets.

Ben je benieuwd naar de volledige Release Notes, of wil je meer weten over RemindoToets, neem dan vooral even contact met ons op!

1 2 3 7