De werkdruk in het onderwijs ligt hoog. Naast alle lesuren, moeten leerkrachten ook hun lessen voorbereiden, administratie bijwerken en natuurlijk is er het steeds doorlopende nakijkwerk. Gericht op dat nakijkwerk zijn er nog wel wat oplossingen te verzinnen. Maar wat is daarvan het effect? Immers is feedback geven de meest nuttige activiteit in het onderwijs.

Stel je voor, je geeft les in een vak, waarbij studenten iedere drie weken tien formatieve opdrachten moeten maken, die behoren bij een specifiek thema.
Als docent kun je jezelf de vraag stellen of je iedere afzonderlijke opdracht tussentijds apart wilt nakijken of slechts eenmalig aan het einde van de drie weken. Als je de opdrachten eenmalig wilt nakijken aan het einde van de drie weken, heeft dit als voordeel dat je geen beoordelingsverzoek meer krijgt voor iedere afzonderlijke opdracht van iedere student. Hierdoor kun je bijvoorbeeld op een andere manier je tijd inplannen en efficiënter je tijd besteden aan andere onderwijsaspecten die aandacht behoeven.

Aan de keuze voor het eenmalig nakijken aan het einde van de drie weken, kleven een aantal onderwijskundige vraagstukken:

• • Als ik als docent aan het einde van de drie weken na wil kijken, in plaats van iedere opdracht apart, krijgen de studenten dan nog wel voldoende mogelijkheden om vragen te stellen en feedback te ontvangen?

Je kunt ervoor kiezen tussentijdse momenten te plannen op school waarop studenten hun vragen kunnen stellen aan jou of aan hun medestudenten. Zo kunnen studenten toch hun vragen stellen, en krijgen ze meer regie over hun leertraject. Bovendien kun je op deze manier als docent ook controle blijven houden over de voortgang van je studenten en eventueel bijsturen.
Het is raadzaam om de studenten voor te bereiden op zo’n gezamenlijk tussen moment. Sommige studenten vinden het namelijk lastig om ‘uit het niets’ vragen te verzinnen die ze aan jou of medestudenten kunnen stellen. Zo bestaat de kans dat de gezamenlijke tussen momenten niet optimaal worden benut. Je kunt de studenten voorbereiden door middel van het opstellen van een begrijpelijke rubric. Voor ieder criterium dat belangrijk is in de opdracht(en) bepaal je bijvoorbeeld vooraf wat onvoldoende, matig, voldoende of goed is. De studenten kunnen zo hun eigen opdracht beoordelen, voordat zij naar het tussenmoment komen. Zo leren zij inzien waar ze goed in zijn en waar ze beter op moeten letten. Op deze manier kunnen de studenten tijdens het gezamenlijke moment specifieke en relevante vragen stellen, die hen helpt om de opdracht beter te maken.

Ook kun je de studenten elkaar feedback laten geven. Dit wordt peer feedback genoemd. Ook hiervoor kun je de rubric inzetten. Peer feedback levert meerdere voordelen op. Door het (leren) geven van feedback op andermans werk, leren studenten te reflecteren op hun eigen werk. Vinden je studenten het lastig om feedback te geven? Het kan dan helpen om ze uitleg te geven over wat feedback is en hoe je dit kan geven. Wil je meer over feedback lezen? Lees dan eens dit artikel.

In RemindoContent is het mogelijk om bij iedere afzonderlijke opdracht de ‘Feedbackoptie’ in te stellen. Studenten zouden dan aan de docent of een medestudent feedback kunnen vragen en hun vragen kunnen stellen. Ook kun je een oogje in het zeil te houden op de voortgang van de opdrachten. Je kunt als docent namelijk zien óf de opdracht is gemaakt en wát er precies is gemaakt; is er bijvoorbeeld een verslag geüpload of hebben de studenten iets ingevuld?

• • Als ik als docent aan het einde van de drie weken na wil kijken, in plaats van iedere opdracht apart, in hoeverre geef ik studenten dan (nog) een terugkoppeling op hun (tussentijdse) opdrachten?

Je kunt in meer of mindere mate een terugkoppeling geven op de (tussentijdse) opdrachten. Een factor die van invloed is op de mate van feedback die van belang is, is het belang van een opdracht.

Het belang van een opdracht kun je beoordelen aan de hand van een aantal criteria. Bijvoorbeeld, worden er bij de opdracht competenties (kennis, vaardigheden en houdingen) aangeleerd, die voorwaardelijk zijn voor een hoger competentieniveau? Is de opdracht voorwaardelijk voor het mogen/ kunnen maken van een volgende opdracht? Welke consequenties hangen er aan het resultaat van een student (bijvoorbeeld zakken of slagen)? Hoe groter het belang van een opdracht, hoe belangrijker het is om feedback te geven.

De meest beperkte optie is het geven van een eindoordeel of overkoepelende feedback op alle opdrachten gezamenlijk.
Bij de meest uitgebreide optie geef je studenten op het einde feedback op iedere tussentijdse opdracht. Als de student iets goed beheerst, kun je de student positieve feedback geven. Denk aan een compliment, waarbij je de student aangeeft wat hij of zij goed heeft gedaan. Dit kan resulteren in meer intrinsieke motivatie en zelfvertrouwen bij de student. Als de student iets nog niet goed beheerst, kun je als docent uitleg geven waarom de student dat specifieke onderdeel nog niet beheerst. Feedback met extra uitleg kan resulteren in positieve leerresultaten bij de studenten. Ook kun je hier rubrics toepassen, zodat studenten weten waar zij op beoordeeld worden.

Wil je meer weten over feedback geven, het maken van rubrics of het beoordelen van opdrachten? Neem dan eens contact met ons op, wij denken graag met je mee!

In een e-portfolio kun je heel eenvoudig documenten en andere bewijsstukken toevoegen. Het nadeel van deze eenvoud is, dat deelnemers de neiging hebben om té veel toe te voegen. Voor begeleiders en beoordelaars wordt het dan lastig om overzicht te krijgen. Vier vragen kunnen je daarbij helpen. Hoe beteugel je de input van de deelnemer in het e-portfolio?

Het maken van portfolio’s is al jaren heel gebruikelijk in het onderwijs. Portfolio’s op papier, maar ook online portfolio’s, zoals met behulp van MijnPortfolio.nl, komen steeds vaker voor. Het maken van een portfolio komt oorspronkelijk uit de kunstwereld. Kunstenaars konden met een verzameling van hun ontwerpen en producten potentiële opdrachtgevers laten zien, wat ze aan vaardigheden in huis hebben. Dit principe rondom portfolio’s is nog hetzelfde: je verzamelt bewijzen die laten zien wat je in huis hebt.

Het werken met een digitaal portfolio biedt hele handige voordelen ten opzichte van een portfolio op papier, zoals het eenvoudig kunnen aanvullen en bewaren van documenten, het toevoegen van andere bestanden zoals audio en video en het overal kunnen raadplegen van het portfolio. Digitale portfolio’s laten één valkuil zien: het nodigt uit tot het opnemen van (te) veel materialen. De volgende vier vragen kunnen je helpen bij het voorkomen dat deelnemers in deze valkuil stappen.

1. Hoeveel mag er toegevoegd worden?
Elke organisatie stelt weer andere eisen aan wat er in een portfolio aanwezig moet zijn. Gebruik je het e-portfolio bijvoorbeeld om toegelaten te kunnen worden voor een opleiding, dan zal de inhoud er anders uitzien dan een e-portfolio dat gebruikt wordt voor loopbaanontwikkeling. Wanneer een e-portfolio wordt gebruikt voor erkenning of toelating, is het slim om na te denken over een maximumaantal bewijsstukken. Zo zijn er bijvoorbeeld (onderwijs)instellingen waar een deelnemer niet meer dan 20 bewijsstukken mag opnemen in het e-portfolio. Het voordeel daarvan is dat de deelnemer heel bewust kiest voor de kwalitatief betere stukken.

2. Moet het werk af zijn?
De doelstelling van het e-portfolio bepaalt of er ook onvoltooid werk in wordt opgenomen. Hier gaat het vaak over het verschil tussen proces en product. Is het nodig om het proces (en daarom tussentijdse versies) in beeld te brengen, of laat het eindproduct voldoende zien wat iemand aan vaardigheid heeft? Geef duidelijk aan wat je hierin verwacht. Zo voorkom je dat het document 5 keer wordt opgenomen in verschillende versies, als dit niet nodig is.

3. Waar ben je trots op?
Voor beoordelaars is het vaak belangrijk om niet alleen te zien waar de deelnemer zelf het meest trots op is, maar ook de wat meer middelmatige bewijsstukken. Zo kan iemand bijvoorbeeld heel erg goed zijn in het geven van presentaties en dit uitgebreid aantonen in een bewijsstuk, maar is het ook belangrijk om te zien dat deze persoon een prima adviesrapport kan schrijven. Alleen de bewijsstukken opnemen waar iemand zelf het meest trots op is, is daarom vaak niet voldoende. Maar geef de deelnemers wel de gelegenheid om aan te geven waar zij het meest enthousiast over zijn. Daar kan de showcase in MijnPortfolio.nl bijvoorbeeld een uitstekende mogelijkheid voor bieden. Het e-portfolio toont dan een verzameling van bewijsstukken over de breedte en de showcase geeft de deelnemer de gelegenheid om te presenteren wat in zijn ogen de meeste waarde heeft.

4. Welke bewijsstukken wil je minimaal zien?
Het is niet erg om precies aan te geven wat er minimaal in het e-portfolio opgenomen moet worden. Deelnemers vinden het vaak lastig om onbevooroordeeld te zijn over eigen prestaties. Ze focussen vaak op datgene waar ze veel moeite voor hebben gedaan. Kwaliteiten die ze van nature bezitten, worden soms niet meegenomen. Daarom is het verstandig om altijd te vragen naar een volledig overzicht, zoals bijvoorbeeld in een cv. Daarbij is het handig om te zien hoe de loopbaan van de deelnemer eruitziet. Mis je nog iets in het portfolio, dan kun je eenvoudig zien of de deelnemer dat op een andere manier nog zou kunnen bewijzen. In het e-portfolio van MijnPortfolio.nl kun je door de kwalificaties ook heel makkelijk die sturing aanbieden. Vanuit een te bewijzen leerdoel of competentie wordt de deelnemer uitgedaagd hiervoor bewijsstukken op te nemen. Zo ontstaat er een breder en gerichter beeld van de vaardigheden van de deelnemer.

Wil je meer weten over de mogelijkheden van MijnPortfolio.nl? We vertellen je er graag meer over.

Een toets heeft vaak belangrijke gevolgen voor toetskandidaten. Daarom is het noodzakelijk, dat de toets gericht op zijn doel is vormgegeven en meet wat er gemeten moet worden. Om hier zeker van te zijn, is het verstandig om een toetsmatrix samen te stellen. We vertellen je graag meer over de toetsmatrix en hoe je deze in RemindoToets kunt gebruiken.

Leerdoelen

Het beschrijven van leerdoelen is een belangrijke eerste stap in het toetsen. Leerdoelen zijn doelstellingen waarvan je hoopt dat de kandidaat deze in de opleiding of training gaat behalen. Deze leerdoelen worden niet alleen gebruikt voor het ontwerpen van een toets, maar ook voor het ontwerpen en uitvoeren van het onderwijs voorafgaand aan de toets. Het is belangrijk dat leerdoelen richting geven en duidelijk zijn. Je kunt meer over het opstellen van leerdoelen lezen in dit artikel.

De omschreven leerdoelen vormen de basis van de toets. Vanuit deze leerdoelen wordt de toets samengesteld.

Taxonomie

Leerdoelen kunnen bestaan uit verschillende niveaus.

Voorbeeld:

“De kandidaat kan uitleggen welke maatregelen de Nederlandse politiek treft, tegen de gevolgen van vergrijzing.”

Een toetsvraag als ‘Welke maatregelen treft de Nederlandse politiek tegen de gevolgen van vergrijzing?’ is het meest doelgericht, maar niet altijd wenselijk. Vaak zijn er meerdere vragen nodig om eerlijk en afgewogen te kunnen toetsen. Of ligt er veel kennis onder het leerdoel, die je ook graag wilt terugzien in het antwoord van de toetskandidaat. Daarom worden in een toetsmatrix niet alleen de leerdoelen, maar ook de begripsniveaus waarop het leerdoel wordt getoetst vermeld. Zo wordt in één overzicht duidelijk wat de cognitieve zwaarte van de toets zou moeten zijn.

Om een niveau-aanduiding te kunnen geven, worden vaak taxonomieën gebruikt. De taxonomie van Bloom is een hele bekende, maar ook andere taxonomieën komen voor en kunnen heel nuttig zijn, zoals de taxonomie van Krathwohl of het RTTI- of OBIT-model. Een taxonomie is een ordening. Zo geeft de taxonomie van Bloom de ordening weer van de complexiteit van kennis/cognitieve processen, waarbij Bloom aangeeft dat het laagste niveau ‘onthouden’ is en het hoogste niveau ‘creëren’. Op het laagste niveau moet de kandidaat zich de informatie kunnen herinneren en benoemen, op het hoogste niveau bevragen we de kandidaat op het niveau van nieuwe ideeën vormen, nieuwe concepten te creëren of te kunnen ontwerpen.

De toetsmatrix

De leerdoelen (of onderwerpen) en taxonomieniveaus komen samen in de toetsmatrijs.

De kolom aan de linkerkant bevat alle leerdoelen die in de toets aan bod moeten komen. In de andere kolommen staan de taxonomieniveaus (Bloom in het voorbeeld hierboven). Toetsontwikkelaars hebben vaak de neiging om zich te richten op de lagere cognitieve processen, zoals ‘onthouden’ in de afbeelding. Door meer of alle taxonomieniveaus op te nemen in de toetsmatrijs, bereik je een bredere spreiding van cognitieve processen in de toets.

Tijdens het invullen van de toetsmatrix denk je na over het aantal vragen die binnen het betreffende leerdoel gesteld moet worden en op welk cognitief niveau elke vraag gericht moet zijn. Dit zie je terug in de aantallen in de cellen in bovenstaande afbeelding. In de afbeelding zie je bijvoorbeeld dat er over het eerste leerdoel twee vragen op niveau ‘onthouden’ opgenomen moeten worden in de toets.

Rechtsonder wordt bijgehouden uit hoeveel vragen het totale examen zou bestaan.

Wanneer je de kolommen hebt ingevuld en hier tevreden over bent, kun je van start gaan met het ontwikkelen van de vragen. Het kan voorkomen dat er binnen de exameninstelling of school afspraken zijn gemaakt over bijvoorbeeld de toetsvorm. Je kunt dan een extra validatiecriterium toevoegen aan deze toetsmatrijs. Een voorbeeld hiervan gaat over de vraagtypen. De school of exameninstelling kan hierover afspraken hebben gemaakt, om bijvoorbeeld te voorkomen dat de toets volledig bestaat uit meerkeuzevragen en je als ontwikkelaar wordt gestimuleerd ook andere vraagtypen op te nemen.

Zo laat dit voorbeeld zien dat de vragen in deze toets mogen bestaan uit de vraagtypen ‘meerkeuzevraag’, ‘sorteervraag’, ‘invulvraag’ en hotspotvraag’. Het grootste deel (40%) bestaat uit meerkeuzevragen. De andere vraagtypen zijn meer uitwisselbaar. Ze mogen 5 tot maximaal 20% van de toets uitmaken.

Wanneer al deze instellingen zijn gemaakt, kun je beginnen met het ontwikkelen van de vragen (wanneer deze nog niet bestaan). Vanuit de toetsmatrix kunnen in RemindoToets direct lege toetsvragen worden aangemaakt in de juiste vragenbank, die voldoen aan de specificaties uit de matrix, zodat je direct kunt beginnen.

Zodra de toets wordt samengesteld, zullen de regels in de toetsmatrijs steeds bijhouden of er wordt voldaan aan de afspraken in de toetsmatrix. Zo vindt er steeds een controle plaats over de ontwerpdoelstellingen, die je zelf hebt ingevuld in de toetsmatrix.

Stappenplan Toetsmatrix

Voordat de toetsmatrix gebruikt kan worden, is het nodig om deze eerst aan te zetten in de ‘algemene instellingen’ van de beheeromgeving. Je vindt de optie onder het tabblad ‘toetsmatrijsinstellingen’.

Stap 1: Matrijs toevoegen

Om een toetsmatrix toe te voegen kies je in ‘beheer opleidingen’ voor ‘nieuwe matrijs toevoegen’. Je vult alle instellingen in en kiest bij ‘type’ voor ‘toetsmatrijs op basis van matrix’. Er verschijnt een leeg veld waarin je de matrix opbouwt.

Stap 2: Instellingen

Voordat je de toetsmatrix kunt invullen, maak je eerst een keuze uit de toetsmatrix-instellingen die je wilt gebruiken, om de matrix gegevens in weer te geven. Je ziet standaard het vraagtype als criterium om de toetsmatrix op te bouwen, maar vaak wil je de toetsmatrix opbouwen met behulp van vraagniveaus, oftewel taxonomieën. Om deze te kunnen gebruiken, voer je dit eerst in als vraageigenschap. Let erop dat de vragen dan ook aan deze eigenschappen gekoppeld zijn. Je klikt op ’toetsmatrix-instellingen aanpassen’ en kiest de vraageigenschappen die je wilt gebruiken voor de toetsmatrix.

Stap 3: Leerdoelen aanmaken

Om de toetsmatrix van inhoud te voorzien, maak je leerdoelen aan. Dit zijn de leerdoelen die je gaat toetsen. Je klikt op leerdoel toevoegen en kiest de vragenbankcategorie waar je de vraag of vragen uit wilt halen. Je kunt daarnaast nog andere leerdoelen opgeven en direct zie je onderaan hoeveel vragen op basis van deze leerdoelen nu al in de itembankcategorie beschikbaar zijn.

Stap 4: Toetsmatrix invullen

Wanneer de leerdoelen zijn aangemaakt, worden de aantallen beschikbare vragen per kolom getoond. Je vult dit naar eigen inzicht in. Eventueel voeg je nog een extra validatiecriterium toe. Sla vervolgens de toetsmatrix op.

Stap 5: Genereer lege vragen

Wanneer je tevreden bent over de toetsmatrix die is ontworpen, kun je lege vragen aan laten maken in de itembank, die voldoen aan de invoerde criteria. Klik hiervoor op ‘genereer lege vragen’.

In de opgegeven vragenbank worden lege vragen aangemaakt die voldoen aan de criteria die zijn ingesteld. De lege vragen hebben als tekst het leerdoel waar de vraag op gericht moet zijn.

Wanneer alle vragen zijn ontwikkeld en goedgekeurd, kan de toetsmatrix worden geactiveerd om te gebruiken.

Stap 6: Maak de toets aan

Afhankelijk van de doelstelling van de toetsmatrix, maak je nu de toetsen aan. Dit doe je door een variant toe te voegen aan de toetsmatrix. Je kunt hier twee keuzes in maken:

1. Kopieer alle instellingen en bepaal een vaste set vragen volgens de matrix

Nu worden met behulp van de instellingen in de matrix, de vragen geselecteerd die hier het best bij passen. Per leerdoel laat de toets zien of de geselecteerde vragen voldoen aan jouw ingevulde matrix.

Je kunt nog toevoegen en verwijderen, totdat je een toets hebt samengesteld die past bij de matrix. Alle regels kleuren dan groen.

2. Kopieer alle instellingen en maak een template om te vullen

Met deze optie worden alle leerdoelen en niveaus gekopieerd naar de toets en selecteer je handmatig de vragen die je wilt toevoegen aan deze toets.

De toets houdt tijdens het toevoegen van de vragen bij of je al voldoet aan de vereisten uit de toetsmatrix. Je kunt op basis van de toetsmatrix meerdere toetsen samenstellen. De energie die je steekt in de toetsmatrix blijft op deze manier nuttig voor alle toetsen die je gaat afnemen over dit leerstofdomein. Je maakt pas weer een nieuwe matrix wanneer de leerdoelen inhoudelijk veranderen.

We vertellen je graag meer over het werken met een toetsmatrix. Je kunt hiervoor altijd even contact met ons opnemen.