MijnPortfolio.nl is constant in ontwikkeling. Updates en nieuwe functionaliteiten binnen het platform delen we graag proactief met de gebruikers. Elke maand kun je bekijken wat er nieuw is. Benieuwd waar je dit kunt vinden?

Het is mogelijk om vanuit de rol van beheerder te bekijken welke functionaliteiten en updates er de afgelopen maand zijn gedaan aan MijnPortfolio.nl. Wanneer je bent ingelogd in je omgeving en gaat naar menu ‘Instellingen’, kom je op tabblad ‘Functionaliteiten en updates’. Na het aflopen van de maand, zullen we hier zo spoedig mogelijk een nieuwe update plaatsen van waar we de afgelopen maand aan gewerkt hebben.

MijnPortfolio.nl is een ontzettend veelzijdig platform. De meer dan 75 verschillende modules kunnen ingezet en gecombineerd worden, om een omgeving op maat in te richten en zo ter ondersteunen bij elke werkgerelateerde uitdaging. We melden op de ‘Functionaliteiten en updates- pagina’, álle updates en nieuwe functionaliteiten die we toegevoegd hebben. Je zult dus platformbrede ontwikkelingen lezen en niet alleen ontwikkelingen rondom modules die je zelf gebruikt.

Wanneer je werkt met een hoofdomgeving en verschillende sub-omgevingen, dan zul je de functionaliteiten en updates-pagina alleen vinden als beheerder in de hoofdomgeving.

Heb je vragen over (ontwikkelingen in) MijnPortfolio.nl? We helpen je graag verder!


Portfolio’s worden in de praktijk vaak gebruikt als ondersteuning voor het leren (formatief) en ook als formeel toetsinstrument (summatief). Wanneer portfolio’s voor beide doeleinden gebruikt wordt, heeft dat een groot effect op het formatieve doel. Dit doel wordt dan nog nauwelijks bereikt. Belangrijk dus om over na te denken wanneer het (digitale) portfolio zijn intrede doet.

In het medisch onderwijs worden portfolio’s gebruikt voor studenten om tot reflectie te komen en het zelfsturend vermogen van studenten te vergroten. Het resultaat zijn rijke portfolio’s, waarin incidenten en ervaringen beschreven zijn met daarop een betekenisvolle reflectie. De neiging is dan groot om deze zichtbare ontwikkeling van studenten ook mee te laten wegen in het eindoordeel. Wat gebeurt wanneer een portfolio niet meer alleen een formatief doel, maar ook een summatief doel krijgt? Dat werd onderzocht door Snadden en Thomas.

Het resultaat was dat studenten in een portfolio voor summatief gebruik veel minder geneigd zijn om incidenten te vermelden die niet zo goed gingen, maar waar ze wel veel van hebben geleerd. Daarnaast zijn er nog twee andere kwesties die overbrugt moeten worden, voordat een portfolio summatief ingezet kan worden:

  1. Portfolio’s bevatten persoonlijk materiaal met meestal maar weinig objectieve punten, waarmee vergelijkingen gemaakt kunnen worden tussen studenten.
  2. Het is heel arbeidsintensief om een portfolio te beoordelen. Er moet gecontroleerd worden of met de ingeleverde producten de doelen zijn behaald.

Daarmee zou je kunnen concluderen dat portfolio’s weliswaar effectief zijn als mechanisme om persoonlijk leren en groeien te ondersteunen, maar slecht functioneren in een vergelijkend assessment. Toch zou het zonde zijn om ze in het geheel niet mee te nemen in de beoordeling, omdat ze juist zicht geven op de prestatie van studenten over een lange periode van tijd.

Camp concludeerde al in 1998 dat portfolio’s het meest te bieden hebben voor leren en toetsing als ze studenten uitnodigen tot eigenaarschap. Het aspect van eigenaarschap zorgt ervoor dat de student zelf selecteert en dat het niet gestandaardiseerd materiaal oplevert. Dit is nogal een uitdaging voor de meting en validiteit, vooral omdat we in onze huidige visie op toetsing vooral gericht zijn op het vergelijken van studenten. Dat betekent dat toetsing die is gebaseerd op het vergelijken van studenten met elkaar niet makkelijk past bij portfolio’s. Daarvoor zou eerst een andere toetsingsmethode ontwikkeld moeten worden.

Afhankelijk van de toetsvisie die wordt gebruikt, kun je op dit moment portfolio’s misschien het beste gebruiken als aanvulling op andere vormen van toetsing. Waarmee portfolio’s kunnen illustreren dat verschillende aspecten van persoonlijke groei zijn behaald, die je niet kunt vinden in traditionele toetsvormen.

Bronnen:

Camp, R. (1998). Portfolio reflection: The basis for dialogue. The Clearing House, 72(1), 10-12.

Snadden, D en Thomas, M. (1998). The use of portfolio learning in medical education. Medical teacher, 20(3), 192-199.

 


Je doet een opleiding, aan het einde doe je examen, je krijgt je diploma en gaat aan het werk. Dat is de traditionele aanpak van toetsen in het onderwijs. Veel onderwijsinstellingen zien dat graag veranderen. We kunnen meer doen rondom het leren van toetsen, maar hoe kun je het dan inrichten? Misschien is programmatisch toetsen daar de oplossing voor.

Wanneer je een enkele toets afneemt bij studenten is er altijd sprake van een compromis als het gaat om de kwaliteitscriteria.  Het is onmogelijk om een perfecte betrouwbaarheid, validiteit en acceptatie te behalen. Wanneer je een kennistoets afneemt kun je streven naar perfecte betrouwbaarheid, wanneer je een praktijk-assessment inzet zul je meer streven naar authenticiteit en neem je genoegen met een minder objectief oordeel. De keuze van het compromis heeft te maken met de context en het doel van de toets.

Wanneer toetsen worden ingezet, is er dus vaak sprake geweest van een compromis. Toch worden er dagelijks zware beslissingen genomen op basis van deze toetsen: diploma, studieadvies, overgaan naar het volgende jaar. Programmatisch toetsen probeert hiervoor een oplossing te bieden door verschillende toetsmethoden samen te voegen, die samen het eindresultaat bepalen.

Wat is er mis met de traditionele manier?

Wanneer een student zakt, moet hij vaak het hele examen herkansen. Wanneer de student meerdere keren zakt, moet hij het hele vak opnieuw doen. Als je een aantal toetsen hebt behaald, mag je door naar de grote eindtoets. Hoewel studenten vaak wel worden gestimuleerd door dergelijke examens, wordt er onterecht vanuit gegaan dat studenten hetgeen er is getoetst voor de rest van hun leven beheersen. In de meeste gevallen zal dit niet zo zijn. Volgens psychologen zijn de meeste studenten 50% van het geleerde al binnen een paar weken vergeten.

Daarnaast is het de vraag of ze datgene wat is geleerd ook in de praktijk kunnen toepassen: het transferprobleem. Stel je voor dat je iemand een cursus geeft over communicatie, die bestaat uit 4 lesdagen. Daarna beoordeel je hem met een mondeling examen. De conclusie op basis van onze traditionele manier van toetsen is dat deze student voldoende kan communiceren. Maar de praktijk laat ons zien dat dit soort vaardigheden zich ontwikkelen over een langere periode van tijd. Wanneer je het demonstreert in de praktijk en hierover feedback ontvangt. Bij de huidige manier van toetsing is de feedback vaak mager. Soms bestaat de feedback alleen uit een cijfer.

Principes van programmatisch toetsen

Programmatisch toetsen is gebaseerd op een aantal toetsprincipes:

Enkele toets representeert één datumpunt

In programmatisch toetsen wordt er niet gesproken over examenresultaten, maar over data-punten. Eén toetsresultaat staat gelijk aan één datumpunt. Er bestaat geen perfecte toets. Dus je hebt behoorlijk wat datumpunten nodig om een oordeel te geven over jouw student.

Ieder datumpunt is bedoeld om van te leren

Ieder datumpunt is rijk aan feedback en informeert de student over zijn voortgang. Soms wordt de leertaak zelf gebruikt als datumpunt. De voorwaarde is dat het de studiehouding bevordert en de student verder kan helpen. Daarmee is het geoorloofd om iedere toetsmethode toe te passen, waarmee zicht gegeven kan worden op de voortgang. Dus ook dat mondelinge examen en die hele lange casus, die eerst te subjectief werd bevonden.

Consequenties zijn gebaseerd op een ononderbroken reeks van resultaten

Programmatisch toetsen kent geen onderscheid tussen formatieve en summatieve toetsen. Ze spreken over high-stake en low-stake datapunten. Een low-stake datumpunt kan samen met andere datapunten gebruikt worden voor een high-stake beslissing.

Zwaarte van de beslissing en het aantal datumpunten zijn gerelateerd

Hoe zwaarder de beslissing is die genomen moet worden (bijvoorbeeld diplomeren) hoe meer datapunten er nodig zijn om deze beslissing te nemen.

Studenten worden geholpen bij het gebruiken van feedback

Programmatisch toetsen heeft als doel om het zelfsturend leren van studenten te bevorderen. Dit wordt gedaan met behulp van een dialoog, meestal met behulp van een mentor. Mentoren helpen de student bij het verwerken van de gegeven feedback. Dit doen zij door veel vragen te stellen. Maar ook medestudenten kunnen hierin een grote rol spelen.

Samenvoegen van beoordelingen met behulp van betekenisvolle entiteiten

Programmatisch toetsen richt zich vaak op competenties of andere entiteiten die vakoverstijgend zijn. Hoe kun je datapunten die voortkomen uit een specifiek vak samenvoegen met andere datapunten? Meestal is daar een overkoepelde term voor nodig (zoals een competentie). Zo kan een resultaat uit het vak statistiek misschien een datumpunt zijn onder de competentie analyseren.

Procedurele maatregelen dragen bij aan de betrouwbaarheid van de beslissingen

Wanneer er veel datapunten beschikbaar zijn en er een belangrijke beslissing genomen moet worden over de student, is het van belang dat deze beslissing geaccepteerd kan worden. Een oordeel geven hierover is niet eenvoudig. Er wordt geadviseerd om een comité op te richten die verantwoordelijk is voor het nemen van die beslissingen. De leden van dit comité zijn onafhankelijk van de docenten en studenten. Je kunt daarbij toestaan dat de mentor het comité voorziet van een advies, maar de leden van het comité nemen een beslissing over de student. Daarmee wordt de relatie tussen de mentor en de student beschermd.

Benieuwd hoe dit in de praktijk ingericht kan worden? De Universiteit van Maastricht gebruikt programmatisch toetsen voor hun medisch onderwijs. In deze film legt één van de onderzoekers uit hoe dit werkt.

Bron: Van der Vleuten, C., Heeneman, S., & Schuwirth, L. (2017). Programmatic assessment. A Practical Guide for Medical Teachers, 295.


Paraginner Willeke van Essen is onderwijskundige en volgt daarnaast de masteropleiding ‘Toetsdeskundige’ bij Fontys Tilburg. Haar kennis zet ze graag in voor gebruikers van Paragin software, maar wat houdt deze opleiding eigenlijk in?

Een onderwijskundige kan op veel activiteiten in het onderwijs ingezet worden. Willeke haar ervaring als onderwijskundige ligt vooral op het gebied van het ontwikkelen en verbeteren van opleidings- en leertrajecten.
“Ik rondde mijn opleiding Onderwijskunde al af in 2011. Dat was nog voordat de commissie externe validering examenkwaliteit hoger beroepsonderwijs een groot onderzoek deed naar de examenkwaliteit in het HBO en daarmee veel in beweging bracht rondom examinering in het onderwijs. Ik denk dat er nu veel meer aandacht besteed wordt aan examinering in de onderwijskunde-opleidingen, maar dat was helaas nog niet in 2011. Gelukkig kon ik me als voorzitter van de examencommissie in het MBO nog wat bijscholen op dit gebied, maar de kennis die ik nu heb over toetsing had ik daarmee nooit kunnen verwerven.”

Vorig jaar is Willeke begonnen aan de opleiding ‘Toetsdeskundige’ bij Fontys in Tilburg. “Het is een hele klus, maar ik ben blij dat ik de stap heb gezet en de masteropleiding tot Toetsdeskundige ben gaan volgen.
In het onderwijs worden we ons steeds bewuster van de noodzaak van toetskwaliteit en de borging ervan. Onze klanten krijgen daardoor ook steeds meer verstand van toetsen. Dat is een mooie ontwikkeling. Het is daarom belangrijk om ons als Paragin verder te specialiseren op dat gebied. Zodat we onze klanten kunnen voorzien van gedegen en professioneel advies. Op die manier kunnen we gebruikers van onze software ondersteunen en verder helpen.

Zodra je besluit als opleider om technologie in te zetten voor het afnemen van examens, komen veel kwesties op tafel. De praktijk leert ons dat er vraagtekens komen te staan bij alle handelingen in het proces die men voorheen zomaar deed. Wie beoordeelt de opdrachten? Is dat één beoordelaar of zijn dat er meer? En doen ze dat dan op basis van een steekproef of is dat alle keren? Als er verschil is tussen de beoordelingen, hoe wordt dan bepaald wat het eindcijfer is? Deze vragen moeten bijvoorbeeld beantwoord worden als je praktijkopdrachten digitaal wilt beoordelen. Wanneer je dat bespreekt, krijgen klanten vaak ook meer zicht op wat het proces in de praktijk eigenlijk inhoudt. Dan is het goed om je deskundigheid te kunnen gebruiken en mee te denken. Zodat het gebruik maken van de technologie niet alleen een praktische verbetering is, maar ook een kwaliteitsverbetering kan zijn.

Een ander voorbeeld gaat over wanneer klanten besluiten om over te stappen op digitaal toetsen. De toetsen worden ingevoerd en de cesuur wordt ingesteld. Omdat de cesuur nu niet meer verstopt zit in een Excel document, maar zichtbaar wordt in een grafiek, merk je dat klanten dan vaak denken: waarom doen we dit zo? Er komen dan allemaal vragen op tafel. Hoe bepaal je nu goed waar de grens moet liggen tussen zakken en slagen. Is dit wel logisch? Daarnaast levert een digitale toetsafname altijd hele mooie toetsanalyses op. Die geven direct veel informatie. Informatie waarmee je de toetsen kunt verbeteren en ook een goede beslissing kan nemen over het resultaat. Het is zo belangrijk dat we daar pro-actief bij ondersteunen. Daar wil ik me graag de komende tijd voor inzetten.”

De opleiding ‘Toetsdeskundige’ duurt twee jaar. Tijdens de opleiding doen de studenten kennis op en leren vaardigheden aan, waarmee ze een bijdrage kunnen leveren aan de ontwikkeling, toepassing en evaluatie van toetsinstrumenten, -procedures en andere relevante toetsproducten. Er wordt gewerkt aan een flink aantal beroepsproducten, zoals onderzoeksverslagen, artikelen, een adviesrapport, adviesgesprekken, een toetsontwerp en een instrumentevaluatie. De opleiding richt zich op alle onderwijssectoren van het primair onderwijs tot wetenschappelijk onderwijs. “Het is superleuk om te zien hoe verschillend men in die verschillende sectoren omgaan met examinering. Aan het einde van dit schooljaar hoop ik dat ik de opleiding afrond. Daarvoor ga ik vanaf januari een masterproef uitvoeren. Als mijn onderzoeksvoorstel wordt goedgekeurd, hoop ik dat ik onderzoek mag doen naar het inzichtelijk maken van de betrouwbaarheid van praktijkopdrachten en assessments. Zodat we in de toekomst hopelijk ook voor deze toetsvormen een mooie toetsanalyse kunnen opleveren.”

Om de twee a drie weken is er een lesdag in Tilburg bij Fontys Hogeschool. De lessen worden verzorgd door grote namen in de toetswereld, bijvoorbeeld Desirée Joosten-ten Brinke, Gerard Straetmans en Tamara van Schilt-Mol. Zij verzorgen in totaal 6 modules, waarna de masterproef begint. “De eerste module ging over het toetslandschap. Daarin leerde je hoe het toetslandschap eruit ziet over al die verschillende onderwijssectoren heen. Waar de verschillen zitten tussen die onderwijssectoren en waar ze overeen komen. Hoe ze worden gestuurd door externe invloeden. En vooral hoe je dat kun zien in het grote geheel. Het was een mooie kapstok van kennis, waaraan je later alle voorbeelden kon ophangen.

De tweede module ging over het systematisch ontwerpen van assessments. Het ging voornamelijk over de klassieke testtheorie en bevatte een flinke wiskundige uitdaging. Dat was pittig, maar ontzettend nuttig. In de derde module stond de balans tussen leren en toetsen centraal. Formatief toetsen krijgt gelukkig steeds meer aandacht. Je kunt zoveel leren door regelmatig te toetsen. Hoe doe je dat goed? Hoe houd je dat in balans? Welke toetsvormen lenen zich daarvoor.
Daarna gingen we verder met een module over toegepaste testtheorie. Waarin ik vooral de item respons theorie heel interessant vond. Ik heb voor die module een toetsproduct geschreven, waarin ik samen met een klasgenoot onderzoek heb gedaan naar hoe we op basis van de item respons theorie in de toekomst wellicht met RemindoToets adaptief kunnen toetsen. Dat was heel nuttig.

Op dit moment volg ik module accountability. Dat gaat over zowel het borgen van de kwaliteit van toetsing, maar ook hoe toetsing kan worden gebruikt als verantwoording van het onderwijs. Daar komen bijvoorbeeld veel juridische aspecten van toetsing aan het licht. Iedere module rond je af met minimaal twee beroepsproducten of tentamens. Het is eerlijk gezegd flink aanpoten. Echt een pittige studielast. Maar gelukkig ben ik al op de helft.
Ik vind het heel belangrijk dat deze opleiding bestaat. Ik denk dat iedere opleider in Nederland een goede toestdeskundige kan gebruiken. Om de opleiding te ondersteunen, ben ik studentlid van de opleidingscommissie geworden. Ik mag dan meedenken over de Onderwijs- en Examenregeling, maar ook alle inhoudelijke verbeterwensen.”

Willeke denkt gebruikers van Paragin software zeker verder te kunnen helpen met de opgedane kennis en zet zich hier ook graag voor in.
“Ik wil klanten van Paragin heel graag ondersteuning bieden wanneer ze bezig zijn met het verbeteren van hun toetskwaliteit of het inzichtelijk maken daarvan. Ik kan ze helpen door trainingen te geven over bijvoorbeeld goede toetsvragen maken, het analyseren van toetsresultaten of het normeren van toetsen (cesuur bepalen). Of aan te sluiten in een examencommissievergadering, wanneer het inzetten van technologie daar op de agenda staat. Maar het mag ook kleiner zijn. Je mag mij altijd vragen om even mee te kijken. Als je een toetsvraag hebt gemaakt en je weet niet zeker of die van die van goede kwaliteit is. Of je wilt het e-portfolio gebruiken als assessmenttool, maar je weet niet goed waar je dan op moet letten. Ik denk graag mee.
Op termijn zou ik graag nog wat meer ondersteunende middelen willen ontwerpen, waar onze klanten eenvoudig gebruik van kunnen maken. Een uitlegfilm over toetsen analyseren bijvoorbeeld of documenten waarin we een aantal tips voor toetsmakers beschrijven. Ik zie zelf voor me dat we een heel platform kunnen vullen met materialen waar je uit kunt putten wanneer je werkt aan toetsen.”

Kunnen we je verder helpen met je toetsproces binnen RemindoToets? Je kunt dan altijd even contact opnemen!


“Wat als iemand een vraag stelt en ik weet het antwoord niet?” Deze vraag levert misschien wel de meeste spanning op onder nieuwe leerkrachten. Jij bent de leraar. Wat als je daar nu staat, alle ogen op je gericht zijn, iemand stelt een terechte en nuttige vraag en je weet het antwoord niet. Je zou niet de eerste zijn die op de bluf een antwoord geeft of een wollig verhaal vertelt in de hoop dat dit wordt geaccepteerd als antwoord. Natuurlijk is dat niet wat je wilt, maar een betere oplossing is er niet voor handen.

Wanneer je leraren vraagt waarom ze ooit hebben gekozen voor dit beroep, hoor je meestal: “Omdat ik het fijn vind om mensen iets te leren.” Het is een prachtige gedachte. Je bereidt een les voor met behulp van literatuur, kiest een mooie instructiemethode (zo gaan we het aanpakken) en dan komen de leerlingen bij elkaar, leg je het uit, je helpt hier en daar en klaar! Dat wat geleerd moest worden is geleerd. Toch werkt het in de praktijk maar zelden zo. Dat heeft te maken met het feit dat je als leraar nooit volledige controle hebt over wat je leerlingen doen met jouw leeractiviteiten. Het belangrijkste onderdeel van leren ligt nu eenmaal niet bij de leraar, maar bij de leerling.

Het risico van het onderwijs

Toch streven we als leraren vaak naar de perfecte scores. Als je een toets afneemt, kijk je direct naar het slagingspercentage. Hoe de klas het heeft gedaan, geeft zicht op hoe je het als leraar hebt gedaan. Maar dat is natuurlijk niet zo. Wat je ook doet als leraar om resultaten te bereiken bij leerlingen, je zult nooit de perfecte score halen.

De spanning van het lesgeven ontstaat omdat politici, beleidsmakers, inspecteurs en andere controlerende instanties wel streven naar die perfecte score. Dat proberen ze door alle risico van het onderwijs te verbannen. Er wordt gecontroleerd op bijvoorbeeld het opleidingsrendement. Hoeveel van jouw leerlingen verlaten gediplomeerd de school binnen een afzienbare tijd? Volgens Gert Biesta is dit waanzin.

Gert Biesta schrijft dat het risico van onderwijs niet ligt bij leraren die onvoldoende opgeleid zijn, of bij onderwijs dat onvoldoende gebaseerd is op wetenschap. En ook niet dat de leerlingen niet hard genoeg werken of onvoldoende gemotiveerd zijn. Het risico van het onderwijs bestaat, volgens Biesta, omdat:

  • het niet gaat om het vullen van een emmer, maar om het aansteken van een vuur;
  • onderwijs geen interactie is tussen robots, maar een ontmoeting tussen mensen;
  • leerlingen geen objecten zijn die moeten worden getraind en gedisciplineerd, maar handelende en verantwoordelijke subjecten.

De leraar volgens Biesta

Biesta stelt dat het lesgeven is als het geven van een cadeau, dat je als leraar zelf niet bezit. Het cadeau ontstaat door als leraar iets nieuws toe te voegen aan de onderwijssituatie, iets wat daar nog niet eerder aanwezig was.

Onderwijs is volgens Biesta een moeilijk proces. Als leraar moet je je volgens hem niet beperken tot alleen het domein van kwalificatie, maar je ook bezighouden met wereldvraagstukken, de leerling als individu en lid van de gemeenschap. Dat gaat veel verder dan de schoolboeken en het eindexamen.

Zo kunnen er met regelmaat terechte vragen opdoemen in de klas. Vragen die je als leraar niet altijd kunt beantwoorden. Biesta geeft aan dat er ruimte gegeven moet worden aan deze vragen. Samen zoeken naar de juiste vraag, naar het antwoord erop en zo nieuwe vragen ontdekken. Zo veranderen leerlingen in, zoals Biesta noemt, volwassen subjecten.

 

Bron: Biesta, G. J. J. (2015). Het prachtige risico van onderwijs. Phronese.


Digitaal toetsen kent veel voordelen. Voordelen die gaan over efficiëntie en nauwkeurigheid. Je zou op sommige punten zelfs kunnen zeggen dat het veiliger is. Toch is een veilige toetsafname in een digitale applicatie niet vanzelfsprekend. Daarom werden op donderdag 26 september, met gebruikers van RemindoToets, alle maatregelen doorgenomen die je kunt nemen om de toetsafname te beveiligen. Roan Boer Rookhuiszen verzorgde deze training.

Allereerst is het belangrijk om na te denken over de vraag: wat willen we beveiligen? Het antwoord op die vraag heeft vaak te maken met één van de volgende thema’s:

  1. Het tegengaan van afkijken: bij elkaar of uit externe bronnen, zoals spiekbriefjes;
  2. Het voorkomen van uitlekken van vragen, zodat deze niet vooraf bekend zijn of op een ander moment hergebruikt kunnen worden;
  3. Impersonatie: voorkomen dat iemand anders het examen maakt, dan de persoon die het examen moet maken.

Deze thema’s staan ook centraal bij het afnemen van toetsen op papier, maar hebben vaak een andere uitwerking.

Voordelen van digitale afname

Als je kijkt naar deze 3 onderwerpen in het licht van digitaal toetsen, dan zijn er een aantal voordelen waar RemindoToets in ondersteunt.

Tegengaan van afkijken bij elkaar kun je voorkomen door vragen en toetsen voor iedereen uniek te maken. Je kunt instellen dat de antwoordopties van een meerkeuzevraag voor iedere student in een willekeurige volgorde worden weergegeven. Ook kun je de volgorde van vragen in een toets willekeurig instellen waardoor iedereen de toets in een andere volgorde maakt.

Is je vragenbank groot genoeg, dan kun je ook een willekeurige selectie van vragen in de toets laten opnemen. Zo kan er voor iedereen in de toetszaal een unieke toets getoond worden en wordt afkijken bij elkaar nutteloos.

Digitale afname heeft ook bij het voorkomen van uitlekken van vragen voordelen. Niet alleen blijven toetsen nooit meer onder het kopieerapparaat liggen, je kunt ook precies instellen wie vragen mag inzien. Door random getrokken toetsen heeft het weinig zin om vragen uit te wisselen na de afname omdat je niet weet welke vragen in een volgende toets terecht komen.

Aandachtspunten

Als je digitaal gaat toetsen zijn er wel een aantal zaken waar je over na moet denken. Studenten zitten achter een computer waar je naast de toetsafname nog meer mee kan. Ze zouden informatie op een website kunnen opzoeken of een (chat)programma kunnen gebruiken. Het is belangrijk om daar maatregelen tegen te treffen. Computers bieden daarnaast eenvoudige hulpmiddelen tot kopiëren en plakken. Moest je vroeger nog de gehele vraag overschrijven, nu zou je dat eenvoudig met een “printscreen” voor elkaar kunnen krijgen.

Daarnaast kun je overal ter wereld gebruik maken van RemindoToets, je moet dus voorkomen dat iemand vanaf een externe locatie inlogt en het examen maakt voor één van de studenten in de toetszaal.

Veilige afname in RemindoToets

Los van diverse technische oplossingen die in combinatie met RemindoToets gebruikt kunnen worden, bevat RemindoToets ook al een flink aantal mogelijkheden die je direct kunt inzetten om je toetsafname te beveiligen.

Toetsmomenten

  • Beschikbaarheid: je geeft aan wanneer de toets gemaakt kan worden en door wie;
  • Limiteren op IP-adres: het IP-adres zegt iets over de locatie waar iemand zich bevindt. Je zou de toetsafname kunnen beveiligen door aan te geven dat studenten alleen mogen starten wanneer ze gebruik maken van een specifiek netwerk en dus IP-adres;
  • Toestemming geven om te starten: studenten kunnen pas starten met hun toets wanneer de toezichthouder hiervoor toestemming geeft. Voorafgaand kan de toezichthouder bijvoorbeeld eerst de id-bewijzen in de zaal controleren.

Naam student/studentnummer zichtbaar

  • Tijdens de toetsafname kan de surveillant de id-controle eenvoudig doen, omdat de naam en/of het studentnummer van de student zichtbaar is op het scherm.

Dashboard toezichthouder

  • De toezichthouder houdt tijdens de toetsafname volledig overzicht. Hij kan logboeken inzien en voortgang bewaken. Het is snel inzichtelijk wanneer iets opvallends gebeurd;
  • De toezichthouder kan zo nodig direct actie ondernemen door toestemming te verlenen of juist afbreken. Bij onregelmatigheden kan de toets direct worden stopgezet.

Volledig schermbeveiliging

  • Volledig schermbeveiliging weerhoudt de student ervan om vragen te kopiëren of naar andere websites te gaan. Wanneer het volledige scherm wordt gesloten, wordt de toets stopgezet en kan men pas verder na toestemming van de surveillant.

Overige technische oplossingen

Er zijn diverse technische oplossingen die je kunt inzetten in combinatie met RemindoToets om een toetsafname nog verder te beveiligen. Tijdens de bijeenkomst op 26 september zijn een aantal van deze oplossingen besproken waaronder: de Safe Exam Browser, de STEP-methode en het gebruik van Chromebooks. In de komende Paragin Updates zullen we meerdere van deze mogelijkheden uitgebreider bespreken.


Heb je Paraginner Sylvia gehoord op Qmusic? Ze deed mee aan het item ‘Het slimste bedrijf van Nederland‘.

Benieuwd hoe goed ze gespeeld heeft namens Paragin? Je kunt het fragment hier terug luisteren.


In ons dagelijks leven maken we veel gebruik van ons gehoor bij het nemen van beslissingen en het inschatten van situaties. Toch zijn onze toetsen vaker gebaseerd op tekst. Een groot voordeel van digitaal toetsen, is het gebruik kunnen maken van geluidsfragmenten. Geluid is nu een onderdeel geworden van de toets. Waar moet je op letten wanneer je audio toevoegt aan het (digitale) examen?

Hoewel we steeds vaker audio en ook video gebruiken in onze leermaterialen, gebeurt het nog maar weinig in onze toetsen. Er zijn toetsen waarin audio altijd noodzakelijk is geweest, zoals examens in luistervaardigheid van taalopleidingen en bij muziek-examens. Het digitaal examineren heeft het gebruik van audio hier enorm verbeterd. Waar surveillanten voorheen met cd’s in de weer waren en iedereen tegelijk hetzelfde fragment kreeg te horen, is dat nu niet meer nodig. De kwaliteit van de audio is verbeterd, maar ook is het mogelijk geworden om de timing en controle over het beluisteren bij de examenkandidaat te leggen.

Nu audio zo binnen handbereik ligt, is het slim om te overwegen of het toevoegen van geluid aan jouw toetsen logisch is. Per slot van rekening gaat een groot deel van ons dagelijks leven over het verwerken van informatie die via geluid tot ons komt.

Wanneer je besluit om audio toe te voegen aan een toets, zijn er een aantal overwegingen waar je rekening mee houdt:

  1. Past het bij je toetscriterium?

Het toevoegen van audio heeft alleen zin wanneer het past bij de situatie die wordt getoetst. Het heeft dus geen zin om audio toe te voegen over handelingen die normaal gesproken alleen over tekst gaan.

Zo kun je denken aan vragen in juridische opleidingen, waarbij kandidaten naar een pleidooi of getuigenis luisteren waarna ze over deze zaak een aantal vragen beantwoorden. Geluid toevoegen aan een examen over kennis over wetgeving is dan weer minder geschikt.

Het toetscriterium bepaalt ook hoe lang het fragment mag zijn. Meestal geldt: hoe korter, hoe beter. Dat komt omdat geluid (meer dan tekst) een zwaardere belasting heeft op ons werkgeheugen. Wanneer het gaat over een inhoudelijke kwestie dan is een geluidsfragment van maximaal 30 seconden gebruikelijk. Wanneer luistervaardigheid centraal staat, mag een fragment wel meerdere minuten duren.

  1. Het perspectief van de kandidaat

Het moet voor de kandidaat direct duidelijk zijn vanuit welk perspectief hij naar het fragment gaat luisteren. Als wie moet hij de situatie beoordelen? Meestal kun je dit beschrijven in de tekst die voorafgaat aan het fragment.

  1. Hoe vaak mag het beluisterd worden?

Denk na over hoe vaak de kandidaat het fragment mag beluisteren. Je neemt daarbij de praktijk in gedachten, maar wees dan ook realistisch. In de praktijk kun je een klant aan de telefoon natuurlijk niet terugspoelen. Maar de examensetting is in alle opzichten anders dan de praktijk. Je kunt in de praktijk een klant wel vragen om nog iets te herhalen. Daarom is het fijn om de kandidaat in ieder geval de mogelijkheid te geven om nog één keer extra te kunnen luisteren, zodat hij minimaal de gelegenheid heeft om te wennen aan de stemmen in het fragment en eventueel het geluid harder of zachter te zetten.

  1. Realistische situaties

Het kan soms grappig zijn om geluidsfragmenten te maken voor een examen. Daarom hoor je in de praktijk nog steeds fragmenten die overdreven geacteerd zijn. Dat is heel storend voor de kandidaat. Probeer zo realistisch mogelijk te zijn. Niet te overdreven situaties, maar wel duidelijk.

  1. Voorkom afleiding

Er zijn veel zaken die een examenkandidaat kunnen afleiden. Hoewel achtergrondgeluid heel realistisch is, is dat niet aan te bevelen in fragmenten die gebruikt worden voor een examen. Ook moeten de stemmen goed te onderscheiden zijn. Dus één mannelijke en één vrouwelijke stem geeft dan het beste resultaat. Let er ook op of de stemmen prettig zijn om naar te luisteren. Zorg ervoor dat er geen accenten hoorbaar zijn (tenzij dit past bij het toetscriterium).

 

Wanneer luisteren een belangrijke vaardigheid is in het vakgebied dat wordt getoetst, is het logisch om gebruik te maken van audiofragmenten in (digitale) toetsen. Zorg natuurlijk wel voor koptelefoons.

 

 


Portfolio’s worden steeds vaker ingezet bij het ontwikkelen en toetsen van competenties. De student verzamelt hierbij op een systematische wijze producten/bewijzen die passen bij competenties, leerdoelen of taakomschrijvingen die vooraf worden gegeven. Het werken met een (digitaal) portfolio kent veel voordelen. Deze voordelen zijn er vooral wanneer je een goede start maakt en hebt nagedacht over een aantal principes van het werken met een portfolio. 

Het werken met een (digitaal) portfolio kent veel voordelen:

  • Het portfolio helpt studenten bij het aantonen van groei en prestaties over een langere periode.
  • Het portfolio kan studenten motiveren en meer betrekken bij het eigen leerproces.
  • Door het werken met een portfolio leren studenten vaak hun eigen prestaties en producten te beoordelen.
  • Omdat docenten zich gedurende de lessen ook richten op de toekomstige opbrengsten voor het portfolio, verbetert het portfolio soms op indirecte wijze de inhoud van de lessen.
  • Docenten verbeteren door het begeleiden van het portfolio vaak de communicatie met studenten en/of ouders.

In de praktijk wordt een portfolio op talloze manieren ingezet. Om een goede start te kunnen maken met het portfolio adviseren we om vooraf stil te staan bij de volgende 5 vragen:

  1. Wat is het doel van het portfolio?

Portfolio’s kunnen meerdere doelen hebben. Wanneer dit doelen zijn die zich richten op de groei van studenten dan is er vaak minder instructie of uitleg nodig dan wanneer het bedoeld is om te meten of studenten de leerdoelen hebben behaald en hieraan een beslissing wordt verbonden zoals bijvoorbeeld zakken of slagen.

  1. Welk type bewijzen/documenten moeten in het portfolio worden geplaatst?

Er zijn verschillende typen mogelijk:

  • Het beste werk: de student plaatst over het leerdoel alleen zijn ‘beste werk’.
  • Representatief deel: de student plaatst over al zijn werk een representatief deel. Zoveel als nodig is om aan te tonen wat hij heeft gedaan.
  • Groei- en leerportfolio: hierin plaatst de student zijn volledige werk, zodat de docent zijn groei en voortgang kan monitoren.
  • Evaluatie: alleen de documenten worden verzameld waarmee de student bewijst aan de leerdoelen te voldoen.
  1. Wie mag het portfolio vullen?

Wie het portfolio vult, is vaak afhankelijk van het antwoord op de twee voorgaande vragen. In veel gevallen vult de student zijn eigen portfolio. Wanneer het portfolio wordt gebruikt voor een beslissend oordeel (summatieve beoordeling) kan het slim zijn om ook de docent documenten te laten selecteren. Dan is het belangrijk dat de beoordelaar op basis van de documenten een oordeel kan geven over de vaardigheden en kennis van de student. Docenten kunnen vaak beter overzien wat een beoordelaar hiervoor nodig heeft.

  1. Welke procedure ga je gebruiken om het portfolio te beoordelen of te evalueren?

Wanneer een portfolio wordt gebruikt voor een beoordeling, is het slim om hiervoor beoordelingscriteria te formuleren, bijvoorbeeld in de vorm van een rubric. Daarnaast is het fijn om vooraf te bepalen hoe vaak en wanneer je het portfolio gaat evalueren.

  1. Hoe kun je de student zoveel mogelijk betrekken in het proces?

Werken met een portfolio heeft als voordeel dat het studenten enorm betrekt bij hun leerproces en beoordelingen. Het is fijn om dit voordeel te gebruiken en te vergroten. Dit kun je doen door regelmatig een student-begeleider-bijeenkomsten in te plannen, waarbij de inhoud van het portfolio wordt besproken en eventuele beoordelingen (die van de begeleider en zelfbeoordelingen) te vergelijken.

 

Een portfolio past heel goed in de huidige visie op onderwijs, waarin studenten betrokken zijn bij hun leerproces en het leren vaak individueler en meer op maat plaatsvindt. Door vooraf stil te staan bij het doel en de invulling van het portfolio kan effect worden vergroot.

Op donderdag 31 oktober verzorgt Paragin een training over de principes van het e-portfolio. Daarin staan we stil bij de vragen uit dit artikel en ontdek je welke mogelijkheden passend zijn bij jouw situatie. Meld je hier aan voor dit event.

 

Bron:  Reynolds, C. R., Livingston, R. B., Willson, V. L., & Willson, V. (2010). Measurement and assessment in education. Upper Saddle River: Pearson Education International.


De werkdruk in het onderwijs ligt hoog. Naast alle lesuren, moeten leerkrachten ook hun lessen voorbereiden, administratie bijwerken en natuurlijk is er het steeds doorlopende nakijkwerk. Gericht op dat nakijkwerk zijn er nog wel wat oplossingen te verzinnen. Maar wat is daarvan het effect? Immers is feedback geven de meest nuttige activiteit in het onderwijs.

Stel je voor, je geeft les in een vak, waarbij studenten iedere drie weken tien formatieve opdrachten moeten maken, die behoren bij een specifiek thema.
Als docent kun je jezelf de vraag stellen of je iedere afzonderlijke opdracht tussentijds apart wilt nakijken of slechts eenmalig aan het einde van de drie weken. Als je de opdrachten eenmalig wilt nakijken aan het einde van de drie weken, heeft dit als voordeel dat je geen beoordelingsverzoek meer krijgt voor iedere afzonderlijke opdracht van iedere student. Hierdoor kun je bijvoorbeeld op een andere manier je tijd inplannen en efficiënter je tijd besteden aan andere onderwijsaspecten die aandacht behoeven.

Aan de keuze voor het eenmalig nakijken aan het einde van de drie weken, kleven een aantal onderwijskundige vraagstukken:

    • Als ik als docent aan het einde van de drie weken na wil kijken, in plaats van iedere opdracht apart, krijgen de studenten dan nog wel voldoende mogelijkheden om vragen te stellen en feedback te ontvangen?

Je kunt ervoor kiezen tussentijdse momenten te plannen op school waarop studenten hun vragen kunnen stellen aan jou of aan hun medestudenten. Zo kunnen studenten toch hun vragen stellen, en krijgen ze meer regie over hun leertraject. Bovendien kun je op deze manier als docent ook controle blijven houden over de voortgang van je studenten en eventueel bijsturen.
Het is raadzaam om de studenten voor te bereiden op zo’n gezamenlijk tussen moment. Sommige studenten vinden het namelijk lastig om ‘uit het niets’ vragen te verzinnen die ze aan jou of medestudenten kunnen stellen. Zo bestaat de kans dat de gezamenlijke tussen momenten niet optimaal worden benut. Je kunt de studenten voorbereiden door middel van het opstellen van een begrijpelijke rubric. Voor ieder criterium dat belangrijk is in de opdracht(en) bepaal je bijvoorbeeld vooraf wat onvoldoende, matig, voldoende of goed is. De studenten kunnen zo hun eigen opdracht beoordelen, voordat zij naar het tussenmoment komen. Zo leren zij inzien waar ze goed in zijn en waar ze beter op moeten letten. Op deze manier kunnen de studenten tijdens het gezamenlijke moment specifieke en relevante vragen stellen, die hen helpt om de opdracht beter te maken.

Ook kun je de studenten elkaar feedback laten geven. Dit wordt peer feedback genoemd. Ook hiervoor kun je de rubric inzetten. Peer feedback levert meerdere voordelen op. Door het (leren) geven van feedback op andermans werk, leren studenten te reflecteren op hun eigen werk. Vinden je studenten het lastig om feedback te geven? Het kan dan helpen om ze uitleg te geven over wat feedback is en hoe je dit kan geven. Wil je meer over feedback lezen? Lees dan eens dit artikel.

In RemindoContent is het mogelijk om bij iedere afzonderlijke opdracht de ‘Feedbackoptie’ in te stellen. Studenten zouden dan aan de docent of een medestudent feedback kunnen vragen en hun vragen kunnen stellen. Ook kun je een oogje in het zeil te houden op de voortgang van de opdrachten. Je kunt als docent namelijk zien óf de opdracht is gemaakt en wát er precies is gemaakt; is er bijvoorbeeld een verslag geüpload of hebben de studenten iets ingevuld?

    • Als ik als docent aan het einde van de drie weken na wil kijken, in plaats van iedere opdracht apart, in hoeverre geef ik studenten dan (nog) een terugkoppeling op hun (tussentijdse) opdrachten?

Je kunt in meer of mindere mate een terugkoppeling geven op de (tussentijdse) opdrachten. Een factor die van invloed is op de mate van feedback die van belang is, is het belang van een opdracht.

Het belang van een opdracht kun je beoordelen aan de hand van een aantal criteria. Bijvoorbeeld, worden er bij de opdracht competenties (kennis, vaardigheden en houdingen) aangeleerd, die voorwaardelijk zijn voor een hoger competentieniveau? Is de opdracht voorwaardelijk voor het mogen/ kunnen maken van een volgende opdracht? Welke consequenties hangen er aan het resultaat van een student (bijvoorbeeld zakken of slagen)? Hoe groter het belang van een opdracht, hoe belangrijker het is om feedback te geven.

De meest beperkte optie is het geven van een eindoordeel of overkoepelende feedback op alle opdrachten gezamenlijk.
Bij de meest uitgebreide optie geef je studenten op het einde feedback op iedere tussentijdse opdracht. Als de student iets goed beheerst, kun je de student positieve feedback geven. Denk aan een compliment, waarbij je de student aangeeft wat hij of zij goed heeft gedaan. Dit kan resulteren in meer intrinsieke motivatie en zelfvertrouwen bij de student. Als de student iets nog niet goed beheerst, kun je als docent uitleg geven waarom de student dat specifieke onderdeel nog niet beheerst. Feedback met extra uitleg kan resulteren in positieve leerresultaten bij de studenten. Ook kun je hier rubrics toepassen, zodat studenten weten waar zij op beoordeeld worden.

Wil je meer weten over feedback geven, het maken van rubrics of het beoordelen van opdrachten? Neem dan eens contact met ons op, wij denken graag met je mee!

1 2 3 7