Deze maand stellen we graag drie nieuwe collega’s voor! Ze zijn alle drie tegelijkertijd in november bij Paragin komen werken. Ze hebben daarom ook samen het inwerktraject doorlopen. Ze vertellen graag wat over zichzelf en over hun ervaringen tot nu toe.

Mijn naam is Frédérique! Afkomstig uit Rozendaal, een klein dorpje bij Arnhem. Bij Paragin ben ik nu werkzaam binnen het Sales & Implementatieteam. Ik heb best een bijzonder carrièrepad gevolgd, want ik ben eigenlijk afgestudeerd in neuropsychologie. De onderzoeksrichting die ik in ging paste toch niet helemaal bij mij. Ik ben wel in de medische hoek gebleven en heb eerder met E-health gewerkt. Dat is software die bijvoorbeeld bij huisartsen wordt gebruikt.

De eerste drie maanden bij Paragin zijn super fijn verlopen. Iedereen is aardig en behulpzaam, het voelde echt als een warm bad! Prettig om samen met Lobke en Tamara er bij te komen, omdat we ook samen het inwerktraject konden doorlopen. Daar was echt goed over nagedacht, er zat een fijne balans tussen informatie krijgen en praten of overleggen met collega’s. Mensen nemen echt de tijd om je wegwijs te maken. Binnen het team merk ik dat ook.

Met de werkzaamheden gaat het goed! Recentelijk heb ik veel contact met Stichting Examenplatform UV, waar ik mij bezig houdt met de implementatie van digitaal toetsen. Hier komt bij kijken dat ik het platform en de examens inricht, training geef in hoe het platform werkt, en de werkwijze afstem met Examenplatform UV zodat de software het beste aansluit bij hun wensen. Dit is één van de klanten waar ik voor werk. Een ander voorbeeld is de Coöperatie Examens MBO. Daar ben ik bezig met bijvoorbeeld de opzet van rekenexamens. De organisaties en type klanten zijn ontzettend divers, precies wat het werken bij Paragin zo leuk maakt!

Frédériques feitje: Ik doe mee aan de gemeenteraadsverkiezingen in Rozendaal!

Hoi allemaal, ik ben Lobke, geboren en getogen in het welbekende Nijkerk! Ik ben bij Paragin aan de slag gegaan als toetsdeskundige en ik zal op dat gebied ook beschikbaar zijn in de tweede lijn van de servicedesk.

Ik heb de Onderwijskunde-master afgerond aan de Universiteit van Groningen. Bij eerdere organisaties heb ik leermiddelen en examens ontwikkeld. Daar werkte ik samen met inhoudsdeskundigen en hield ik me bezig met de vraag wat en hoe we mensen (laten) leren. Daar hield me dus al veel bezig met de vraag wat we mensen nou eigenlijk aanleren. Bij Paragin houdt dat me nog steeds bezig!

Het instromen met Tamara en Frédérique beviel ook erg goed! Samenwerken was (en is) echt ideaal om met z’n drieën te doen, zeker omdat de software zo uitgebreid is. We konden elkaar vragen en bevragen over alles wat we leerden. Sowieso was het hele inwerktraject goed opgezet. De informatie die we kregen was veel, maar met behulp van de opdrachten en samenwerking kwamen we er uit. Er werd constant gevraagd of we het nog konden volgen, dus je merkt de betrokkenheid van iedereen meteen. Paragin heeft een heel open communicatiestructuur, dat is echt bijzonder.

Op dit moment kijk ik mee met collega’s en leer ik een hoop, wat goed gaat en erg gezellig is. Zo luister ik mee met de servicedesk, dan weet ik waar klanten over bellen en hoe ik ze het beste te woord kan staan. Daarnaast zit ik in een wekelijks overleg, waar we bespreken of er bepaalde onderdelen van RemindoToets in de toekomst versterkt kunnen worden. Erg leuk en interessant om daar in mee te denken!

Lobkes feitje: Ik heb twee jaar lang op een schip gewoond en gewerkt!

Hallo, ik ben Tamara! Ik woon in Amersfoort Vathorst, net als een hoop andere collega’s bij Paragin, dicht bij de vestiging. Net als Frédérique ben ik werkzaam binnen het Sales & Implementatieteam.

In het verleden heb ik event management aan de HKU afgerond. Leuke opleiding, maar in de economische crisis ging het in dat werkveld niet goed. Uiteindelijk ben ik in de IT terecht gekomen, bij een softwarebedrijf waar ik ruim 10 jaar heb gewerkt.  In november heb ik de overstap gemaakt naar Paragin. Het is een uitdaging om met andere software bezig te zijn, maar wel een heel leuke!

Bij het inwerken heb ik zelf ook veel informatie gehad! Dat was soms wat overweldigend, maar allemaal goed gekomen. Ik vond de eerste weken erg leuk en het verbaasde me zelf een beetje hoe goed het geregeld was. Ik kreeg nu een laptop waar alles al op geïnstalleerd was en ik kon meteen overal inloggen. Dat gaat bij andere organisaties wel anders… Dat ik het inwerken samen met Frédérique en Lobke kon volgen was super fijn! We hebben veel gehad aan elkaar. Dingen samen uitzoeken is leuker en het motiveert ook: “Wat doet dit knopje? Dit kunnen we toch aanpassen?”. Het zijn simpele dingen, maar leuk om samen te doen. Ook met de andere collega’s spreken is erg leuk en ik vind het belangrijk om iedereen gezien te hebben. Echt wel jammer dat dat door corona nog lastig is.

Inmiddels veel gesprekken met klanten gevoerd, zowel online als offline. Dit was om mee te kijken en zelf operationeel bezig te zijn, onder andere om onze software te laten zien en wat we verder kunnen betekenen. Een tijdje terug zijn wij bij een organisatie geweest die software wil gaan aanbieden. Het afnemen van toetsen ging al via Paragin, maar de e-learning hadden ze nog niet. We hebben een opzet gemaakt om te laten zien wat we hen te bieden hebben. We peilen altijd wat de klant dan graag wil hebben en ze hebben een proefperiode om te software te bestuderen. In de tussentijd kijken zij wat ze willen en als zo’n proefperiode dan klaar is gaan we verder kijken hoe zij dit later zelf op kunnen pakken! Inmiddels heb ik ongeveer tien implementatietrajecten lopen, zoals praktijkexamens opzetten bij Aeres Tech.

Tamara’s feitje: Ik heb mijn eigen website (www.tinyfoodies.nl) waarop ik recepten deel voor jonge gezinnen!

Twijfels, twijfels… Bij het maken van een toets heeft iedereen wel eens getwijfeld tussen de antwoorden. Er gaan verschillende suggesties rond voor wat je dan het beste kunt doen. “Laat het antwoord open en vul het later in”, “Kies altijd antwoord C als je het niet weet” of “Blijf altijd bij je eerste antwoord”. Naar deze laatste uitspraak is ooit wetenschappelijk onderzoek gedaan.

Waar komt het vandaan?

In 1984 waren drie Amerikaanse onderzoekers benieuwd of het inderdaad logisch was om bij een vraag bij je eerst gekozen antwoord te blijven. Voor het uitvoeren van de studie lieten ze zien dat deze suggestie wijdverspreid was onder studenten. Een verzameling van eerdere studies toont aan dat zo’n driekwart van de studenten niet gelooft dat het veranderen van antwoord hun score zou verbeteren.

Waar haalden ze dit geloof dan precies vandaan? De onderzoekers zochten naar antwoorden in literatuur, maar daar niet veel te vinden. De meeste onderzoeken raden alleen aan om niet van antwoord te wisselen als de student op het randje van gokken zit. De literatuur raadt verder docenten aan om studenten niet te weerhouden om antwoorden te veranderen. Dat hangt er maar van af of docenten dit soort tactieken om te beginnen al klassikaal bespreken.

Zijn de docenten schuldig?

De betreffende onderzoekers gingen hier zelf nog een keer achteraan. Ze ondervroegen docenten of zij zelf van antwoord zouden wisselen en of ze dit met hun studenten hadden besproken. De helft van de docenten gaf aan dat ze geloofden dat van antwoord wisselen minder punten zou opleveren. Ongeveer 20% van alle ondervraagden heeft studenten aangeraden om bij het eerste antwoord te blijven. Het overgrote deel raadt alleen aan om een ander antwoord te kiezen nadat alle antwoorden volledig overwogen zijn.

Op basis van hun eigen onderzoek, leek het er vooral op dat de studenten het geloof van elkaar overnamen. Deden ze hier goed aan?

Metastudie

De onderzoekers hebben vervolgens een metastudie gedaan naar het veranderen van antwoorden. Dit was niet altijd even betrouwbaar, omdat onderzoekers in die tijd elke aanpassing met eigen ogen moesten registreren. RemindoToets bestond nog niet!

Uit de verzamelde data bleek dat gemiddeld 84% van de studenten minstens één antwoord op een toets wisselen. Per toets veranderden zij gemiddeld 3.3% van de totale respons. Verder werd duidelijk hoeveel van deze studenten er op vooruitgingen wat betreft de eindscore van de toets. De geschatte mediaan voor alle onderzoeken in de metastudie is dat 67.5% van de studenten er op vooruitging nadat zij een ander antwoord selecteerden. Zo’n 15% ging er op achteruit en het overige gedeelte veranderde niet van score. Dit hangt nog wel af van het vraagtype: meerkeuzevragen zagen relatief minder vooruitgang in score dan vragen met slecht twee antwoordmogelijkheden.

Wie verandert meer?

Er zijn een aantal variabelen onderzocht die mogelijk het wisselen van antwoorden konden verklaren. Als eerste wordt academische vaardigheid besproken. De conclusie was dat studenten die hogere cijfers haalden minder antwoorden veranderden. Als je bedenkt dat degenen die goed studeren vaak hoger scoren op een toets, is dat ook vanzelfsprekend: de kans is veel groter dat ze het goede antwoord al weten. In hetzelfde straatje is het logisch dat je geen tien haalt door al je antwoorden te veranderen.

Daarnaast leken vrouwen iets vaker van antwoord te wisselen dan mannen, maar er kon niet bewezen worden dat vrouwen er relatief meer profijt van hadden. Een aantal studies in de metastudie hebben naar persoonlijkheden van studenten gekeken. Er wordt gesuggereerd dat impulsieve mensen meer geneigd zijn om aanpassingen te doen, er zijn echter geen significante resultaten gevonden.

Bron:

Benjamin Jr, L. T., Cavell, T. A., & Shallenberger III, W. R. (1984). Staying with initial answers on objective tests: Is it a myth?. Teaching of Psychology, 11(3), 133-141.

Deze maand spreken we met Frank Aretz over programmatisch toetsen. Na het eerste, introducerende artikel en het tweede artikel over de module in MijnPortfolio vertelt Frank ons nu meer over zijn ervaring met programmatisch toetsen in de praktijk. Frank is sinds 2009 verbonden aan de International Business School Maastricht, onderdeel van Zuyd University of Applied Sciences. Deze opleiding behandelt thema’s als marketing, sales en bedrijfseconomie en wordt geheel in het Engels gegeven. Frank is destijds gevraagd om les te komen geven, zodat het onderwijs wat dichter bij de ‘echte’ wereld zou komen te staan. Frank heeft dit altijd parttime gedaan, omdat hij ook (software)bedrijven heeft die te maken hebben met business en marketing. We vragen hem naar zijn ervaringen vanuit IBS Maastricht. Waarom hebben ze voor programmatisch toetsen gekozen? Welke mogelijkheden heeft het geboden? Zal programmatisch toetsen in de toekomst door meer organisaties gebruikt worden?

IBS Maastricht is de eerste organisatie waar Paragin de module voor programmatisch toetsen aanbiedt! Hoe ben je met de organisatie op deze vorm van onderwijs uitgekomen?

We hebben onderzoek gedaan naar probleemgestuurd onderwijs, maar dat was niet naar wens. Die vorm ging er nog steeds van uit dat wij als aanbieder van onderwijs voor de student bepalen wat ze leren. We kregen het gevoel dat het daarom niet zo lang relevant zou blijven. Vervolgens hebben we gekeken naar high impact learning that lasts. Hier hebben we een belangrijke les uit kunnen halen, namelijk dat studenten graag inzien waarom zij bepaalde dingen moeten leren. Dit is in het onderwijs vaak niet duidelijk. Waarom zou de student een bepaald onderwerp moeten kennen, als ze denken dat ze er later geen gebruik van maken? We noemen dit urgency, of urgentie in het Nederlands. Als voor studenten duidelijk is waarom iets geleerd moet worden, worden zij meer gemotiveerd om meer met leerstof te doen naast het reproduceren voor een tentamen.

Verder richtten we ons ook meer op intersubjectiviteit. Samengevat houdt dat in dat mensen verschillende meningen over iets kunnen hebben. Ook in het onderwijs kan dit zo zijn en we kunnen daarom niet altijd verwachten dat verschillende correctors altijd dezelfde beoordeling moeten geven. Wij vinden het daarom belangrijker dat verschillende mensen naar de afgeronde taken van een student kijken. Dit wordt binnen programmatisch toetsen goed geregeld. De software van Paragin helpt daar perfect bij. We hebben alle onderdelen in één systeem zitten, in plaats van verschillende systemen te moeten gebruiken voor verschillende onderdelen. Ook voor de studenten is het handig om alles op een plek te hebben.

Mijn ideaalbeeld zou zijn dat we afstappen van de docent als baken van kennis en deze meer gaan zien als begeleider van ontwikkeling.

Je gaf aan dat je al geruime tijd werkzaam voor IBS Maastricht. Wanneer begon voor jou persoonlijk de urgentie om iets te veranderen in het onderwijs?

Rond 2016 merkte ik dat we vooral bezig waren om het onderwijssysteem tevreden te houden. Daarmee bedoel ik dat we in mijn beleving te weinig bezig waren met studenten ontwikkelen. We waren veel tijd kwijt aan dingen als evalueren, formulieren maken en toetscommissies bespreken. Hierdoor werd er minder op het onderwijs zelf gelet, het lesgeven viel bijvoorbeeld meer op de achtergrond. Het gaat er uiteindelijk om dat studenten zo goed mogelijk worden opgeleid, zodat ze in de toekomst goed aan het werk kunnen. Goed onderwijs aanbieden is daar essentieel in.

Waren er misschien specifieke signalen die je aanspoorden om iets anders te proberen?

In diezelfde periode worstelden we met de opkomst in de klassen. Studenten kunnen in deze tijd veel informatie bij elkaar googelen, wat de kennisoverdracht in de klas minder relevant maakt. Ik heb ooit een les gegeven waarin de kostprijs van een telefoon aan bod kwam. Ik zei geloof ik iets van 25 dollar. Een student zei snel daarna “Dat klopt niet, het is 21.85”. Een mooi voorbeeld van hoe eenvoudig het tegenwoordig is om simpele dingen direct op te zoeken. Je zou zelfs zo ver kunnen gaan dat docenten dit soort informatie niet meer hoeven te geven, omdat studenten dat zelf wel kunnen opzoeken als je ze aanleert hoe dat moet.

Als we zo veel theoretische informatie aanbieden, vinden de studenten het minder belangrijk om de lessen te volgen. Het was jammer om te zien dat de interesse er niet meer was, omdat de mensen die out-of-the-box kunnen denken dan niet terugkomen. Traditioneel zijn die er juist erg veel bij onze opleiding en dat zijn de studenten die je wilt aantrekken en opleiden.

Het lastige hieraan is dat wij eerst niet konden identificeren waar dit aan lag. Aan het begin dachten we dat het aan de studenten zelf lag. “De moderne student was gewoon niet geïnteresseerd genoeg”, zeiden we. Dit ging zelfs zo ver dat we aanwezigheidsplichten hebben ingesteld, met consequenties eraan verbonden. Achteraf gezien is dat erg scheef. Als de studenten van het onderwijs wegblijven, waarom zou het forceren ervan het dan wel aantrekkelijk maken? We hebben toen besloten iets anders te gaan doen. We wilden af van het ‘moeten’. We wilden af van die regels.

Je zou zo ver kunnen gaan dat docenten bepaalde informatie niet meer hoeven te geven, omdat studenten dat zelf wel kunnen opzoeken als je ze aanleert hoe dat moet.

Studenten zijn verschillend in wat zij prettig onderwijs vinden. Waarom geloof je dat het niet aan hen lag?

De studenten die bij ons binnenkomen zijn van verschillende leeftijden, de meesten tussen 17 en 23 jaar oud. De helft van hen komt uit het buitenland. We geloven dat het overgrote deel van deze studenten intrinsiek gemotiveerd is om onze opleiding te volgen en af te maken. We weten dat deze studenten deugen. Om die reden denk ik dat we het onderwijs niet goed aanboden. Het onderwijs in het algemeen gaat te weinig uit van die motivatie. Daarom vind ik vraagstukken zoals plagiaatsoftware ook erg onnodig. Het gaat om mensen die een persoonlijke groei doormaken en we moesten de opleiding met die gedachte gaan verbeteren. We mogen echt wel wat meer vertrouwen hebben in onze studenten. Het is dan ook onze verantwoordelijkheid om onderwijs aan te bieden wat bij hen past.

In ons vorige artikel keken we naar de verschillende worlds die in de omgeving van IBS Maastricht zijn opgezet. Daarin worden de overkoepelende leerdoelen van de opleiding beschreven. Hoe verhoudt een beoordelingsprocedure zich hiermee?

Studenten hebben eigen verantwoordelijkheid over het leerproces, dus opdrachten bedenken ze zelf. In onze omgeving worden ze challenges genoemd. Ze stellen een of meerdere challenges voor, waarmee zij kunnen aantonen dat ze het niveau voor hun leerdoelen hebben behaald. Ook deze hebben ze zelf opgesteld. Uiteindelijk komen de challenges en indiviudele leerdoelen samen om de overkoepelende doelstellingen, de worlds, van de opleiding af te kunnen strepen.

Bij elk leerdoel hoort dus een of meerdere challenges. Een challenge wordt door de student zelf aan een feedback provider gekoppeld. Dit zijn voornamelijk docenten, hoewel ze in deze rol ook als coach fungeren. Deze persoon kijkt samen met de student naar de gegevens die zij hebben aangeleverd. Dit zijn uitgevoerde opdrachten zoals rapporten, gegeven presentaties of feedback van externe organisaties. Zoals in de aard van programmatisch toetsen ligt, is dit geheel aan de student welke invulling er aan gegeven wordt.

We geloven dat het overgrote deel van deze studenten intrinsiek gemotiveerd is om onze opleiding te volgen en af te maken.

Je gaf aan dat je zelf twee dagen per week les geeft. Ben jij dan ook beschikbaar voor het geven van feedback? Heb je misschien een voorbeeld?

Als docent hoor ik er inderdaad ook bij! Recentelijk heeft een student mij gevraagd om feedback te geven op een rapport wat hij met een aantal medestudenten had geschreven. Ik heb ervaring in het werkveld als consultant en dat weten studenten van mij. Het is daarom logisch dat degenen die bezig zijn met dit onderwerp naar mij toe komen en ik help daar graag mee.

Dit specifieke rapport had betrekking op het bevoorradingsproces van een extern bedrijf waar de student contact mee had. Na het lezen geef ik de student feedback, in dit geval met de suggestie om het rapport wat leesbaarder te maken en heldere conclusies te noteren. De student schrijft mijn feedback op, plaatst een nieuw datapunt met een samenvatting van ons gesprek en/of de feedback en dient het in. Ik bevestig vervolgens dat dit klopt en ik relateer het datapunt aan de worlds die gekoppeld waren. Ik kan bij elk onderdeel vervolgens aangeven op welk niveau de student zit. Zo wordt voor mijn collega’s ook direct zichtbaar of de student vooruitgang boekt, aan de hand van alle datapunten.

Hoe werkt de verdeling dan precies voor het geven van feedback?

Een student kiest er zelf voor om bij iemand om feedback te vragen. Het is mogelijk om telkens dezelfde persoon te selecteren, maar we bespreken dan om ook andere docenten te benaderen. Het blijft natuurlijk goed om zo veel mogelijk docenten naar je werk te laten kijken. Mij collega’s zullen misschien heel verschillende feedback geven, het is goed voor de student om daar zelf op te letten.

Het is voor studenten best een ding om zo veel verantwoordelijkheid te hebben in het leerproces.

Zeker! Wat ik er zelf erg leuk aan vind, is dat het leerproces heel duidelijk twee kanten op gaat. Studenten hebben het bijvoorbeeld over NFT’s, een nieuwe ontwikkeling die samenhangt met blockchain-technologie en dat soort zaken. Ik heb echt geen idee hoe dat werkt, dus studenten kunnen mij daar juist weer over vertellen. Als het een onderwerp is waar zij graag in ontwikkelen, vind ik dat alleen maar mooi om te zien. Wij zijn er om hen daarbij te helpen. Ze houden zelf de verantwoordelijkheid om voor ons die ontwikkeling zichtbaar te maken.

Hoe zie jij programmatisch toetsen in de toekomst? Denk je dat het door meer organisaties opgepakt zal worden?

We hebben contact gehad met grote organisaties die zelf ook merken dat recent afgestudeerden regelmatig moeite hebben met hun eerste baan. Het huidige onderwijs sluit in dat geval niet goed aan, zeggen ze. Soms gaat dit zo ver dat mensen opnieuw opgeleid moeten worden. Dat is gewoon zonde. Ze zijn daarom benieuwd hoe we bij IBS Maastricht het programmatisch toetsen hebben ingebracht en hoe dit zich uiteindelijk vertaalt naar het werkveld.

Op dit moment zijn wij een van de weinige opleidingen die programmatisch toetsen geïntegreerd hebben in de opleiding. Het is ook niet eenvoudig om zomaar om te schakelen naar een ander systeem. Docenten die al 20 tot 25 jaar in het vak zitten kunnen het lastig vinden om te wisselen. Ik zie het wel voor me dat we over een tijd, wanneer meer organisaties programmatisch toetsen hebben opgepakt, er een grotere verschuiving zal plaatsvinden. Ik denk dat we het traditionele onderwijs, met alle kwantificaties die erbij komen kijken, achter ons laten. We gaan ons gezamenlijk meer richten op de mensen die we opleiden.

Mijn ideaalbeeld zou zijn dat we afstappen van de docent als baken van kennis en deze meer gaan zien als begeleider van ontwikkeling. Ik denk dat mensen veel gemotiveerder zullen zijn, omdat ze meer inspraak hebben in hoe ze worden opgeleid. Op dit moment zijn we zelf in ieder geval heel tevreden over de software van Paragin, het biedt ons alles om programmatisch toetsen op een prettige manier aan te kunnen bieden. We gaan zien hoe het zich de komende jaren gaat ontwikkelen!

Er zijn verschillende methoden om het opstellen en verbeteren van toetsen soepel te laten verlopen. Een van deze methoden heet De Toetsing Getoetst. Het projectteam wat deze methode heeft ontwikkeld is afkomstig van de HAN, in samenwerking met Zuyd Hogeschool. In dit artikel wordt deze methode kort toegelicht.

Het doel van de methode De Toetsing Getoetst is zorgen dat de kwaliteit van toetsing binnen het hoger onderwijs verhoogd zou worden. Toen het project in 2011 van start ging, stond deze kwaliteit regelmatig ter discussie. De afgelopen jaren zijn aan de hand van het project verschillende vormen van ondersteuning opgesteld, waaronder praktische handvatten voor opleidingen om zelf aan de slag te gaan. Hieronder lees je daar een korte samenvatting van.

Een proces met een cyclus

In het boek van Sluijsmans, Joosten-ten Brinke en van Schilt-Mol (2015) wordt het stappenplan van de methode weergegeven als cyclus. Hier zit een gedachte achter, namelijk dat toetsen constant verbeterd kunnen worden. De cyclus bestaat uit vier stappen met één losstaande voorbereiding. Elke stap maakt een belangrijk onderdeel uit van de cyclus ten behoeve van het analyseren, verbeteren en waarborgen van toetsen.

Stap 0. Voorbereiding

Hoewel deze stap niet direct in de cyclus wordt geplaatst, is voorbereiding nog steeds noodzakelijk. Er wordt voorgesteld om een persoon aan te stellen als moderator. Deze is verantwoordelijk voor een goed verloop van alle opeenvolgende stappen. In de voorbereiding kan het nuttig zijn om deze persoon als voorzitter van bijeenkomsten aan te stellen, zodat alle betrokkenen tot een gezamenlijk plan kunnen komen.

Verder moet van tevoren duidelijk zijn welke actoren gedurende het proces de kwaliteit van toetsing op zich nemen. Voor elk onderdeel van toetsing kan dit verschillend zijn, omdat actoren hierbij een verschillende mate van betrokkenheid hebben. Een examencommissie is bijvoorbeeld gedurende het gehele proces betrokken, terwijl een opleidingscoördinator vooral bij de toetsorganisatie iets inbrengt.

Stap 1. Toetsingskwaliteit analyseren

De Toetsing Getoetst schrijft voor dat elke ‘laag’ binnen het toetsingsproces apart op kwaliteit geanalyseerd wordt. Dit zijn de volgende zes lagen:

• Toetsbeleid
• Toetsprogramma
• Toetsen
• Toetstaken
• Toetsbekwaamheid
• Toetsorganisatie

De actoren die betrokken zijn bij een laag, komen gezamenlijk tot een kwaliteitsoordeel door individueel bewijsstukken aan te leveren. De soorten stukken zijn voor elke laag anders. Denk bij toetsbeleid bijvoorbeeld aan een beleidsplan en bij een toets zelf aan toetsmatrijzen en -analyses.

De moderator neemt alle oordelen samen en legt deze voor aan de actoren. Het overleg wordt vastgelegd, zodat alle besproken informatie gemakkelijk gebruikt kan worden in de volgende stap.

Stap 2. Doelen en ambities vaststellen

Aan de hand van stap 1 stellen de actoren doelen en ambities op die zij op het gebied van toetskwaliteit willen bereiken. Denk bijvoorbeeld aan de relevantie van de toets in verhouding tot de maatschappij. Zijn er bepaalde onderwerpen die onvolledig of verouderd zijn? Als dit het geval is, stellen de actoren bijvoorbeeld als doel om dit aan te scherpen.

Ook in dit onderdeel kunnen de actoren van mening verschillen. Dit kan zijn omdat zij een andere positie hebben in het proces of vanwege verschil in perceptie van het onderwerp. Studenten die het onderwijs ontvangen hebben misschien een andere blik dan degenen die het toetsbeleid opstellen. In dit geval zorgt de moderator opnieuw dat er een gezamenlijke beslissing komt.

Stap 3. Het uitwerken van doelen en activiteiten

In de derde stap werken de actoren aan het schrijven van plannen van aanpak. Hierin geven zij aan welke actoren welke taken op zich nemen en op welke manier die uitgevoerd worden. Net als bij de eerdere stappen is dit afhankelijk van de relevantie van de actoren bij een specifiek onderdeel. Het specifiek maken van de taken kan opnieuw gezamenlijk worden bepaald, waarbij de moderator coördineert. Er moet aan het eind van deze stap duidelijk zijn op welke manier de activiteiten bij gaan dragen aan verbeterde toetskwaliteit.

Stap 4. Uitvoeren en monitoren van activiteiten

Het uitvoeren van de activiteiten vindt als laatste onderdeel van de cyclus plaats. Het is de bedoeling dat deze volgens de omschrijving in het plan van aanpak worden gevolgd. De methode doet als suggestie om de examencommissie als verantwoordelijke voor het monitoren aan te stellen. De moderator zal regelmatig in overleg met de commissie zijn over het navolgen van de activiteiten door de actoren. Dit is wel afhankelijk van wat de activiteiten precies inhouden, omdat dit per opleiding sterk kan verschillen. Uiteindelijk moeten de activiteiten er toe leiden dat de kwaliteit van de toetsing meetbaar is verbeterd.

Een nieuwe cyclus

Wanneer de cyclus in zijn geheel is doorlopen, zal men weer bij stap 1 uitkomen. Er wordt geen specifiek tijdsbestek genoemd waarbinnen een cyclus zich zal afspelen. Dit kan afhankelijk zijn van de grootte van de opleiding, het aantal betrokken actoren en de geconstateerde kwaliteit van de toetsen. De Toetsing Getoetst maakt het met deze methode eenvoudiger om een stappenplan met routine op te stellen, onafhankelijk van de tijdsperiode.

Kijk voor een uitgebreide omschrijving van de gehele methodiek in de onderstaande bron, of op de website van de HAN: https://www.han.nl/projecten/2011/de-toetsing-getoetst/

Bron:

Sluijsmans, D., Joosten-ten Brinke, D., & van Schilt-Mol, T. (2015). Kwaliteit van toetsing onder de loep. Handvatten om de kwaliteit van toetsing in het hoger onderwijs te analyseren, verbeteren en borgen. Maklu.

Als een kandidaat voor een toets niet de vereiste score haalt, heeft deze de toets niet gehaald. Er wordt vaak een herkansing aangeboden, zodat de kandidaat zich opnieuw kan bewijzen. Het is verstandig om goed na te denken op welk moment deze wordt aangeboden.

Er zijn verschillende redenen te bedenken waarom iemand een toets niet heeft gehaald. Het kan zijn dat de kandidaat erg zenuwachtig was, slecht heeft geslapen of er zijn andere persoonlijke omstandigheden die de resultaten hebben beïnvloed. Misschien had de kandidaat hard gestudeerd, maar was de stof erg moeilijk.

Wat de reden ook is, het is wenselijk dat kandidaten die de gewenste kennis bezitten slagen en dat degenen die cruciale kennis of vaardigheden missen niet onterecht slagen. Heeft de planning van herkansingen hier invloed op?

Op welk moment bied je een herkansing aan?

Tussen de afname van het originele toetsmoment en de herkansing zit altijd een periode van tijd. Er is onderzocht of een langere periode negatieve invloed had op het uiteindelijke cijfer (Slater, 2008). Het idee erachter was: een langere periode tussen toetsen beïnvloedt de resultaten van de herkansing, omdat de kandidaten de leerstof of -vaardigheden na verloop van tijd (gedeeltelijk) vergeten. Hoewel in het onderzoek naar voren kwam dat een kortere periode iets betere resultaten opleverde, kon dit niet definitief bewezen worden. Hoeveel tijd er tussen de eerste afname en de herkansing zit zou daarom niet van belang moeten zijn.

Wat wel invloed heeft, is of de mogelijkheid tot herkansen bij kandidaten bekend is gemaakt. Hier komt een fenomeen bij kijken wat het herkansingseffect wordt genoemd. Dit houdt in dat wanneer een kandidaat weet dat er een mogelijkheid is om te herkansen, deze minder uren besteedt aan studeren voor de eerste afname. Dit verschilt wel per kandidaat, afhankelijk van de leerstrategie en motivatie. Wat interessant is, is dat wanneer de kandidaat door heeft dat er veel tijd tussen de pogingen zit, het herkansingseffect kleiner lijkt te zijn. Dit kan zijn omdat kandidaten verwachten meer stof te vergeten, naarmate de periode tussen de toetsmomenten groter is. Hoewel hier dus geen bewijs voor is, kan het goed zijn om er rekening mee te houden. Je wilt voorkomen dat kandidaten een tactische keuze maken om voor bepaalde toetsen niet te studeren, omdat ze er toch wel een herkansing voor krijgen.

Herkansingen in een toetsperiode of erbuiten?

Onderwijsinstellingen kunnen vaak zelf kiezen op welke momenten herkansingen plaatsvinden. In veel gevallen worden herkansingen in de volgende toetsperiode afgenomen, bijvoorbeeld om de komende lessen zo min mogelijk in de weg te zitten. Het kan ook een praktische reden hebben, zoals niet voldoende ruimte hebben voor meer toetsen of tentamens. Het kan voor docenten een voordeel hebben, omdat het nakijkwerk tegelijk valt met de toetsen van het aankomende blok. Maar wat is volgens wetenschappelijk onderzoek het beste om te doen?

Het uitspreiden van toetsen over een jaar heeft mogelijk een negatieve invloed hebben op de toetsresultaten (Slater, 2008). Toets- of tentamenweken in het hoger- en voortgezet onderwijs bieden daar een mogelijke oplossing voor. Er zijn wel onderzoekers die pleiten om niet te veel toetsmomenten dicht op elkaar te zetten. Dit is zeker relevant bij onderwerpen die op elkaar lijken, omdat kandidaten de leerstof door elkaar zullen halen (Little, Storm, & Bjork, 2011). Dat wordt interferentie genoemd. De inhoud van een toets is daarmee ook van belang voor het inplannen van een passend herkansingsmoment. Zorg dat kandidaten zo min mogelijk ‘last’ hebben van een herkansing door de interferentie zo goed als mogelijk te voorkomen, zeker in periodes met veel toetsen of tentamens.

Bronnen:

Little, J. L., Storm, B. C., & Bjork, E. L. (2011). The costs and benefits of testing text materials. Memory, 19(4), 346-359.

Slater, R. (2009). The timing of referred examinations. Bioscience Education, 13(1), 1-9.

John Hattie is een bekende naam in het onderwijsonderzoek. Vooral zijn boek ‘Visible Learning’ (‘Leren Zichtbaar Maken’ in het Nederlands) is veel geciteerd. Wat maakte zijn onderzoek zo bijzonder en baanbrekend?

In het boek ging Hattie (2008) in op de data die hij had verzameld voor meta-analyses. Dat is op zich niet bijzonder, totdat je het totale aantal studenten bekijkt. Zijn analyses omvatten meer dan 50.000 studies, met een totaal aantal leerlingen van 240 miljoen!

Effectgrootte van handelingen

Wat wilde Hattie precies uit deze data halen? Hij onderzocht welke ingrepen van docenten een bepaald effect hadden op het leergedrag van studenten. Elke ingreep die opgenomen was in het onderzoek kreeg een bepaalde score, ook wel de effectgrootte genoemd. Wanneer deze een effectgrootte had van 0,4 of meer, dan viel het binnen de zone van gewenste effecten. 0,4 was namelijk het gemiddelde van alle ingrepen samen. Alles wat boven de nullijn zat, maar onder de grens van 0,4, is minder wenselijk. Hoewel deze ingrepen bijdragen aan een verbetering van het leergedrag, stelt Hattie dat het beter is om ze te vervangen voor handelingen die wel de 0,4-grens passeren.

Er zijn veel onderdelen opgenomen voor analyse, waarvan er drie een effectgrootte van boven de 1,0 hadden. Vooraf vragen naar de verwachtingen van studenten heeft het grootste effect. Dit kan te maken hebben met het maken van inschattingen door studenten, waarop een docent weer kan anticiperen en doorvragen. Tweede in de lijst is het toepassen van de cognitieve ontwikkelingstheorie van Piaget. Deze theorie deelt de ontwikkeling van een kind op in verschillende stadia. In elk stadium staat een andere ontwikkeling centraal. Het derde onderdeel is reactie op een interventieprogramma. Dit zijn interventies voornamelijk gericht op jongere leerlingen, zodat ze zich kunnen ontwikkelen op verschillende zaken, zoals sociale competenties en algemene gezondheid.

Wat doen de experts?

Hattie haalde vijf belangrijke onderwerpen uit de studie. Dit zijn de dingen die de beste docenten consistent konden uitvoeren.

1. Deskundige docenten identificeren de belangrijkste manieren om de onderwerpen te presenteren. Het bijzondere aan de excellerende docenten is dat zij dit ook doen bij onderwerpen waar zij zelf weinig van af weten. Ze kunnen snel de verbinding maken met andere onderwerpen, om de stof beter te begrijpen en duidelijk uit kunnen leggen. Ze leggen zo connecties voor zichzelf en de studenten om de kennis beter op te kunnen nemen. Deze docenten zijn sterk in het ontwikkelen van dit soort strategieën om leren te bevorderen.
   
2. Het opzetten en behouden van een prettige werksfeer lijkt een gegeven. Denk hierbij aan foute antwoorden durven geven, wat voor veel leerlingen lastig is, omdat ze een vervelende reactie verwachten. Het is daarom niet vreemd dat docenten die de prettige werksfeer vast kunnen houden betere leerprestaties kunnen bieden, doordat er meer deel wordt genomen aan de les.
3. Ook het constant monitoren en feedback geven aan leerlingen lijkt voor de hand liggend. Hatties onderzoek benadrukt dat de beste docenten hier beter in zijn. Ze zijn beter in anticiperen op veranderingen en weten welke leerlingen achter dreigen te lopen.
4. Een interessant gegeven is dat deskundige docenten vaak van mening zijn dat elke leerling intelligent kan zijn. Hattie stelt dat dit een gevolg is van het respect dat deze docenten hebben voor de leerlingen. Daarnaast lijken ze ook meer passie te tonen voor hun vak. Hoewel het onderzoek aangeeft dat passie lastig te meten is, merken leerlingen het zeker wanneer een docent gedreven is.
5. Een goede docent meet prestaties niet alleen met cijfers. Ze helpen leerlingen ontwikkelen op het gebied van leerstrategieën, creativiteit en leren ze respect te hebben voor anderen en zichzelf.

Vanwege de enorme schaal van het onderzoek is het erg goed generaliseerbaar. Docenten en scholen kunnen met al deze data zich beter richten op de belangrijkste taken en minder belangrijke zaken achterwege laten.

Vorige maand kon je een introducerend artikel lezen over wat programmatisch toetsen precies inhoudt. Deze manier van toetsing is erg verschillend van de huidige, meest gangbare vorm van toetsing door middel van eindtoetsen. Deze maand lees je meer over de werking van onze oplossing voor deze interessante invulling van het onderwijs.

We weten dat elke (onderwijs)instelling een eigen, unieke manier van werken heeft. Dit zal met programmatisch toetsen niet anders zijn. De informatie en afbeeldingen in dit artikel vormen de basis voor het gebruik bij programmatisch toetsen. Zoals je van ons gewend bent, is het mogelijk om aanpassingen te doen en een omgeving naar wens in te richten. Daarnaast zijn de functionaliteiten voor programmatisch toetsen binnen MijnPortfolio nu in gebruik maar worden ook nog doorontwikkeld, op basis van feedback via scholen, partners en studenten. We willen deze eerste blik graag delen, omdat we trots en enthousiast zijn op wat deze oplossing nu al te bieden heeft.

De nieuwe module voor programmatisch toetsen

Met programmatisch toetsen is het voor elke gebruikersrol mogelijk om een uitdaging (of challenge) toe te voegen. Het is dus voor zowel studenten als begeleidende rollen mogelijk om deze aan te maken.

Het doel van een uitdaging is om een student iets te laten bereiken. Dit kan een algemeen doel zijn wat bijvoorbeeld een jaar in beslag neemt, of een specifieke taak die een maand of zelfs korter duurt. Een uitdaging zou er als volgt kunnen uitzien:

Klik op de afbeelding om deze in een tabblad te openen.

Je ziet dat er bij de uitdaging verschillende vragen worden voorgelegd. In dit geval gaat het om een student die graag de Spaanse taal wil leren.

Elke uitdaging kan voltooid worden door er bewijsstukken aan toe te voegen en feedback van experts, professionals en coaches te verzamelen. Begeleidende rollen kunnen dit inzien. Er kunnen ook opmerkingen bij een uitdaging worden geplaatst, bijvoorbeeld om suggesties te doen voor verdere aanscherping.

De gedachte achter het opstellen van deze uitdagingen is dat studenten zelf kunnen aangeven hoe zij willen ontwikkelen. De overkoepelende leerdoelen van een opleiding blijven bestaan, maar de manier waarop deze bereikt worden kan voor elke student uniek zijn. De begeleiders, docenten en coaches kijken samen met de student naar de challenges van de student om te beslissen of deze passend zijn en wat, als de student er mee bezig is, het niveau is waar de student zich naar toe ontwikkelt.

Overkoepelende en individuele leerdoelen

Er zijn individuele leerdoelen die opgesteld moeten worden. Een student kan een individueel leerdoel aan één of meerdere overkoepelende leerdoelen koppelen. Deze worden door de organisatie beschikbaar gesteld. Studenten kunnen ook werkprocessen selecteren, die je in MijnPortfolio terugvindt bij de module voor Kwalificaties. In de onderstaande afbeelding zie je een voorbeeld uit de omgeving van IBS Maastricht.

Klik op een afbeelding om deze in een tabblad te openen.

Hierboven worden de ‘Worlds’ weergegeven. Hiermee heeft deze opleiding haar PLO (programme learning outcomes) vertaald naar 10 ‘werelden’ waarbinnen de leerdoelen van de opleiding zijn ondergebracht en samengevat. Elke MijnPortfolio-omgeving kan deze termen een eigen benaming geven, het mooie hiervan is dat zo exact de taal van de opleiding gesproken wordt. Zo is er optimale herkenbaarheid voor de studenten aan de ene kant, maar door de koppeling aan de formele onderwijskwalificatie is er ook inzicht op de groei van de student op de formele leeruitkomsten of werkprocessen.

Net als bij uitdagingen moet de student beschrijven op welke manier het leerdoel wordt bereikt. In dit geval gaat het over het maken van een interne analyse voor een organisatie. De student wil aantonen dat het leerdoel is behaald door een rapport te laten zien, waarin deze analyse wordt gepresenteerd. Begeleiders kunnen dit bekijken, het bespreken met de student en deze van feedback en een inschaling voorzien.

De concrete uitwerking van dit leerdoel wordt verder verfijnd met behulp van de uitdagingen. In dit voorbeeld wil de student dit doen door een bedrijf of organisatie te benaderen. De omschrijving in de uitdaging moet voor de begeleider duidelijk maken waar dit plaatsvindt en met wie er contact is. Hierbij moet natuurlijk informatie komen op welke wijze de student aan het doel gaat werken, welke stappen hij of zij plant daar naartoe en welke bronnen gebruikt gaan worden. Hieronder vindt je een voorbeeld van een uitdaging uit de omgeving van IBS Maastricht.

Klik op de afbeelding om deze in een tabblad te openen.

De uitdaging wordt vervolgens gekoppeld aan één of meerdere persoonlijke leerdoelen, wat allemaal visueel is terug te vinden in een totaaloverzicht. De afbeelding hieronder is een gedeelte van die pagina.

Klik op de afbeelding om deze in een tabblad te openen.

Het overzicht toont voor elke uitdaging de datums waarbinnen de student deze wil afronden. De datapunten zijn momenten waarop de student het huidige niveau kan aantonen (lees het artikel van vorige maand voor verdere toelichting) en zo de voortgang laat zien. Het aantal gekoppelde uitdagingen staat ernaast. De cijfers in de volgende kolom zijn de eerder genoemde ‘Worlds’ waar dit leerdoel aan is verbonden. Er ontstaat zo een hiërarchie, beginnend met de uitdagingen van de studenten en eindigend met de leerdoelen van de opleiding.

Gebruik van andere modules

MijnPortfolio bevat natuurlijk veel andere modules, waarvan een aantal heel nuttig kunnen zijn voor het gebruik bij programmatisch toetsen.

• De module voor trainingen maakt het voor studenten eenvoudig om een bepaalde om een les, voorlichting, bedrijfsbezoek of presentatie bij te wonen. Iemand kan zich in de MijnPortfolio-omgeving inschrijven, waardoor begeleiders dit ook direct in het overzicht kunnen zien. Het maakt het aanbieden en zoeken van een bepaalde bijeenkomst makkelijk door het gebruik van filters en categorieën.
• Wil je informatie of bestanden beschikbaar maken voor de studenten? De bibliotheekmodule ondersteunt dit. Elk onderdeel in de bibliotheek kan verschillende teksten en/of bestanden bevatten. IBS Maastricht heeft de bibliotheek bijvoorbeeld opgedeeld, zodat elke ‘World’ (leerdoel) een eigen sectie met bestanden heeft. Dit maakt het voor de studenten overzichtelijk, doordat alle bestanden op één plek terug te vinden zijn.
• Aankondigingen op een centrale plek zetten kan met behulp van de prikbordmodule. Zijn er nieuwe evenementen beschikbaar, of is er een speciale voorlichting? Of zoekt een student mede-studenten om een challenge op te pakken? Een tekst plaatsen op het prikbord is eenvoudig en alle gebruikers in de omgeving kunnen er op reageren.
• Heb je als student feedback nodig of wil je even snel sparren met een docent, coach of domeinexpert? Dan is de “Boek een afspraak”-module een heel handige. Hiermee kan een afspraak direct worden ingepland in de Outlook-agenda’s van docenten en externen. Uiteraard kan dat dan alleen op de dagen en tijdstippen die de docenten en externen hiervoor hebben vrijgegeven.

De ervaring van Frank Aretz, Senior Lecturer Entrepreneurship and Business Growth van Zuyd Hogeschool

In de Paragin Update van januari zal Frank Aretz van IBS Maastricht meer vertellen over zijn ervaringen met programmatisch toetsen met behulp van MijnPortfolio. We delen hier graag alvast een stuk over zijn ervaringen tot nu toe:

“De studenten die er nu mee werken doen het erg goed. Ik ben blij om te zien dat zij echt heel actief hun ontwikkelproces in eigen hand nemen. De MijnPortfolio-omgeving van Paragin werkt er uitstekend voor. Andere organisaties waar ik het aan heb voor gelegd zijn ook erg benieuwd. Zuyd als overkoepelende organisatie kijkt constant mee hoe de ontwikkeling binnen IBS Maastricht verloopt.”

“Programmatisch toetsen is een grote onderneming. Ik merk dat het onderwijs als het ware is vastgeroest in de huidige aanpak. Iedereen is het zo gewend dat het moeilijk is om er van af te stappen, maar in mijn ogen is programmatisch toetsen een enorme verbetering voor de kwaliteit van het onderwijs. Ik heb bij slimme leerlingen met toetsangst gezien dat zij totaal niet tot hun recht kwamen. Op deze manier hoop ik er aan bij te dragen dat ook zij zich optimaal kunnen ontwikkelen.”

Er zijn veel verschillende doeleinden waar MijnPortfolio nuttig voor is. Een daarvan is het bevorderen van zelfsturing, wat nodig is om iemand zelfstandig te laten leren. Je leest in dit artikel wat we onder zelfsturing verstaan en hoe MijnPortfolio ingezet kan worden om dit te ondersteunen.

Het begrip zelfsturing

Met behulp van zelfsturing is iemand in staat om op eigen kracht het leerproces te sturen. Denk hierbij aan zelf taken plannen, reflecteren op opdrachten en het bijstellen van eigen werkwijzen. Met (afbouwende) ondersteuning van de begeleider of docent moet uiteindelijk gezorgd worden dat alle leerdoelen behaald worden.

Er zijn drie leerstrategieën die gebruikt kunnen worden om zelfsturing te verbeteren (Zimmerman, 2002). In de Paragin Update van september las je al wat metacognitieve strategieën zijn en hoe je die inzet om sturing te geven aan het leerproces. Ze richten zich voornamelijk op plannen, evalueren en reflecteren. Vooral dat laatste is enorm belangrijk voor zelfsturing.

De motivationele strategie richt zich op motivatie en het tonen van doorzettingsvermogen. Het is belangrijk dat iemand zich goed kan oriënteren op de leerdoelen en gelooft dat deze zelfstandig bereikt kunnen worden. Daarnaast is er nog de cognitieve strategie, waarmee onthouden en integreren van informatie wordt bevorderd.

Begeleiders en docenten hebben een belangrijke rol bij het ontwikkelen van zelfsturing. Allereerst moeten er goede leerdoelen geformuleerd worden (zie bijvoorbeeld Van den Bergh & Ros, 2017). Dit helpt studenten om in te zien wat er wordt verwacht. Daarmee kunnen ze al snel bepalen welke strategieën ze het beste in kunnen zetten. Achteraf helpt het studenten om te reflecteren op het beoogde doel, en waarom het wel of niet is behaald.

Waarom MijnPortfolio?

MijnPortfolio helpt studenten om zelfsturing toe te passen. Door gebruik te maken van deze software worden bepaalde zaken, waaronder plannen en evalueren, toegankelijker. Dit geldt ook voor begeleiders en docenten, die bijvoorbeeld ook gemakkelijk in kunnen zien welke opdrachten zijn afgerond. Voor deze taken zijn er in MijnPortfolio verschillende functies ontwikkeld die deze taken kunnen regelen. Het bevat daarbij veel functies die zeer geschikt zijn voor de verschillende onderdelen van zelfregulatie.

Studenten kunnen met MijnPortfolio werken aan de metacognitieve strategieën. Een voorbeeld hiervan is het opstellen van een Persoonlijk OntwikkelPlan, ook wel POP genoemd. In MijnPortfolio is een mogelijkheid ontwikkeld waar een deelnemer een eigen POP kan opstellen. Hiervoor moet een doel worden opgesteld met een duidelijke uitleg hoe dit bereikt moet worden. De deelnemer geeft daarbij aan welke activiteiten er nodig zijn en wat er nodig is om deze af te kunnen ronden. Verder kan aangegeven worden welke belemmeringen hierbij komen kijken, zodat de deelnemer meteen anticipeert op moeilijke situaties. Deze informatie is in te zien door begeleiders en zij kunnen zo met de deelnemer bespreken of het POP goed is, of nog verbeterd kan worden. Dit helpt de deelnemer vervolgens om de zelfregulatie sterker te maken.

Op het gebied van motivatie kan een deelnemer gebruik maken van het omschrijven van ambities. Hierbij kunnen zij aangeven welke doelen zij in de toekomst willen bereiken. Dit kan betrekking hebben op het leerproces en op persoonlijke doelen. Zij kunnen hierbij hun motivatie opgeven, waarmee begeleidende rollen meteen in zien wat de beweegredenen zijn.

Een andere mogelijkheid is het gebruik van de showcase. Er zijn hier meerdere gegevens in op te nemen en te presenteren, zoals bijvoorbeeld behaalde diploma’s en het eerder genoemde POP. Begeleiders kunnen stimuleren om deze showcase in te vullen. Het kan deelnemers mogelijk motivatie geven om een totaalplaatje te maken van alle afgeronde opdrachten.

In MijnPortfolio zijn leerdoelen erg belangrijk en staan dan ook in veel klantomgevingen centraal. In de meeste omgevingen worden ze kwalificaties genoemd. Een kwalificatie wordt opgebouwd uit kerntaken en werkprocessen. Dit zijn de onderdelen die je ook terug zou vinden bij leerdoelen die gesplitst worden in verschillende processen en subdoelen. Gebruikers van MijnPortfolio gebruiken ze om opdrachten aan te verbinden die de deelnemers moeten uitvoeren. Zij kunnen alle kwalificaties volledig inzien en dus van te voren anticiperen op de taken die hen in de toekomst te wachten staan.

MijnPortfolio heeft daarnaast mogelijkheden voor communicatie en het geven van suggesties voor zowel docenten als studenten. Dit maakt het geven van evaluatie voor beide partijen eenvoudig.

Binnenkort zal MijnPortfolio ondersteuning kunnen bieden bij programmatisch toetsen. Deze vorm van toetsing richt zich sterk op zelfsturend leren. Kijk hiervoor ook bij het andere artikel van deze maand!

Bronnen:

Jenson, J. D. (2011). Promoting Self-Regulation and Critical Reflection through Writing Students’ Use of Electronic Portfolio. International Journal of ePortfolio, 1(1), 49-60.

Van den Bergh, L. & Ros, A. (2017). Begeleiden van actief leren. Theorie en praktijk van zelfsturing en samenwerking. Bussum: Coutinho

Vohs, K. D., & Baumeister, R. F. (Eds.). (2016). Handbook of self-regulation: Research, theory, and applications. Guilford Publications.

Zimmerman, B. J. (2002). Becoming a self-regulated learner: An overview. Theory into practice, 41(2), 64-70.

Momenteel werken we met een aantal ROC’s en Hoger Onderwijs instellingen samen om programmatisch toetsen in MijnPortfolio vorm te geven. MijnPortfolio is daarmee een van de weinige software die er ondersteuning voor zal bieden. In dit artikel wordt toegelicht wat programmatisch toetsen precies inhoudt en waarom het een nuttige ontwikkeling is.

Wat is programmatisch toetsen precies?

Programmatisch toetsen is een specifieke vorm van toetsing waarbij de ontwikkeling van de student centraal staat. Het richt zich op een proces van continue feedback en assessment tijdens het gehele leerproces. Het wijkt daarmee af van de structuur die het meest gangbaar is, namelijk het afronden van een leertraject met een definitief summatief toetsmoment.

Een leerlijn of curriculum op basis van programmatisch toetsen spreidt de momenten voor assessment uit en maakt deze integraal onderdeel van het leertraject. Deze momenten van feedback en assessment worden vaak datapunten genoemd. In plaats van een vast toetsmoment aan het einde van een blok worden tussendoor datapunten opgesteld om kennis, vaardigheden of beheersing te testen. De beslissing voor het slagen of zakken voor een opleiding of module is daarmee niet langer gekoppeld aan een afsluitend toetsmoment. De student wordt in plaats daarvan over de gehele periode getoetst, zonder daar een summatieve beoordeling voor te ontvangen.

Elk afgerond datapunt geeft de student en docent inzicht in het huidige niveau, zodat zij beiden weten wat er verbeterd kan worden. Aan het einde van het blok controleert de docent of begeleider of een student voldoet aan de gestelde leerdoelen. Op basis daarvan wordt een beslissing genomen of iemand slaagt of zakt. Door de verschillende informatiepunten in acht te nemen zou deze beslissing een goede weerspiegeling moeten zijn van wat een student weet en kan.

De beslissing voor het slagen of zakken voor een cursus is niet langer gekoppeld aan een enkele toets.

Waarom is het interessant voor het onderwijs? Welke vernieuwing brengt het?

Programmatisch toetsen biedt de mogelijk om leren een continu proces te laten zijn en onbenutte informatie te gebruiken. Beoordelingen en cijfers toekennen maakt plaats voor zaken als continue feedback, gepersonaliseerd leren en zelfregulerend vermogen. Hier speelt programmatisch toetsen op in door het sociaal-constructivistisme als uitgangspunt te nemen. Volgens deze stroming moet het leerproces actief gericht zijn op kennisverwerving en sociale handelingen. Dit is terug te zien in programmatisch toetsen via continue reflectie door de lerende met behulp van de mensen om de student heen: docenten, coaches, medestudenten en/of domeinexperts.

Zoals eerder genoemd werkt programmatisch toetsen op basis van datapunten, die bestaan uit toetsen, lessen, stages en andere leermomenten. Bij elk datapunt hoort een terugkoppeling vanuit de student, in de vorm van feedback of een bepaalde leeruitkomst. De docent bekijkt deze informatie en bespreekt deze met de student om zo eventueel bij te kunnen sturen. In het huidige onderwijs is deze manier van handelen nog niet sterk ingezet. Programmatisch toetsen kan daar verandering in brengen.

De ontwikkeling van de student staat centraal.

Wat vraagt het van de student?

Door programmatisch toetsen worden de studenten uitgedaagd om zich meer bezig te houden met hun eigen ontwikkeling en met wat zij nu daadwerkelijk aan het leren en ontwikkelen zijn. In het huidige (hoger) onderwijs ontbreekt de uitdaging hiervoor regelmatig, waardoor ook de ontwikkeling er in minder sterk is.

Studenten zullen een actieve houding moeten hebben als zij willen dat programmatisch toetsen voor hen effectief is. Het gebruik van datapunten en continue feedback vereist dat zij informatie en ervaringen noteren zodat de docenten hun voortgang kunnen inzien. Een online portfolio dat is ingericht om leerdoelen vast te leggen en daarbinnen op een overzichtelijke manier datapunten op te stellen, is daarbij een heel waardevol gereedschap.

Het vraagt meer van de docent als coach, inspirator, en kritische uitdager.

Wat vraagt het van de docent?

De docent moet op de eerste plaats zorgen dat de student de juiste informatie verzamelt en hier op reflecteert. Als docent dien je niet alleen als ondersteuning hiervoor, maar je moedigt het actief aan. Dit betekent dat er ook een mate van coaching bij komt kijken. Met het aanmoedigen stimuleer je dat de studenten bezig blijven met het constant reflecteren en het doorlopen van alle datapunten.

Het vraagt van docenten daarnaast dat zij op continue basis bezig zijn met de begeleiding van studenten. Dit betekent dat momenten voor feedback en nakijken veel meer voor zullen komen. Dat vraagt doorgaans meer van de docent als coach, inspirator, en kritische uitdager dan in het huidige onderwijs gevraagd wordt. Daar worden vooral vaste feedbackmomenten gepland, zodat alle studenten tegelijkertijd behandeld worden.

Wat vraagt het van de onderwijsinstelling?

Het is belangrijk dat een onderwijsinstelling duidelijk voor ogen heeft waarom programmatisch toetsen nuttig is en wat het van studenten en docenten verwacht. Het moet aansluiten bij de visie en de inhoud van de opleidingen en bij de studenten die het moeten volgen.

Het is aan de onderwijsinstelling om te zorgen dat het volledige team van docenten de mogelijkheid heeft om te wennen aan programmatisch toetsen. De omschakeling kost tijd en het brengt mogelijk ook een verandering in de organisatiecultuur. Geef medewerkers daarom de ruimte om nieuwe dingen te proberen en sta open voor feedback.

Essentieel is dat de leeromgeving de omschakeling naar continue feedback moet bevorderen. Zorg dat ondersteunende systemen, zoals bijvoorbeeld MijnPortfolio, correct opgezet zijn.

Hoe begin je er aan?

Natuurlijk moet voorafgaand aan de inzet van programmatisch toetsen stil worden gestaan bij de eisen en uitdagingen. Bijvoorbeeld:

• Hoe geef je constructieve feedback?
• Hoe schaal je de beheersing van een student op een leerdoel goed in?
• Welke eisen stel je aan datapunten?
• Wanneer is het genoeg?

Zoals eerder genoemd moet het idee van programmatisch toetsen passen bij het werkveld, de opleiding en de visie op hoe er geleerd moet worden. De sociaal-constructivistische basis is niet automatisch passend voor elke studierichting. Deze vraag zal altijd als eerst gesteld moeten worden.

Het wordt aangeraden om een strategie op te zetten voor het implementeren van programmatisch toetsen. Hierbij moet aandacht zijn voor macro-, meso- en microniveau, van de onderwijsinstelling en het curriculum tot de individuele student, leerdoelen en datapunten. In elk stadium is het goed om uit te gaan van onverwachte problemen. Door docenten en eventueel studenten in het implementatieproces te betrekken wordt de kans op een succesvolle en vruchtbare inzet van programmatisch toetsen vergroot.

In een vervolgartikel zullen we meer vertellen over het gebruik van programmatisch toetsen in MijnPortfolio. We laten dan ook zien hoe de module in de omgevingen wordt ingezet.

Ben je al benieuwd naar de inzet van programmatisch toetsen in MijnPortfolio? Neem dan contact op met Paragin voor meer informatie!