Deze maand spreken we met Frank Aretz over programmatisch toetsen. Na het eerste, introducerende artikel en het tweede artikel over de module in MijnPortfolio vertelt Frank ons nu meer over zijn ervaring met programmatisch toetsen in de praktijk. Frank is sinds 2009 verbonden aan de International Business School Maastricht, onderdeel van Zuyd University of Applied Sciences. Deze opleiding behandelt thema’s als marketing, sales en bedrijfseconomie en wordt geheel in het Engels gegeven. Frank is destijds 
gevraagd om les te komen geven, zodat het onderwijs wat dichter bij de ‘echte’ wereld zou komen te staan. Frank heeft dit altijd parttime gedaan, omdat hij ook (software)bedrijven heeft die te maken hebben met business en marketing. We vragen hem naar zijn ervaringen vanuit IBS Maastricht. Waarom hebben ze voor programmatisch toetsen gekozen? Welke mogelijkheden heeft het geboden? Zal programmatisch toetsen in de toekomst door meer organisaties gebruikt worden?
IBS Maastricht is de eerste organisatie waar Paragin de module voor programmatisch toetsen aanbiedt! Hoe ben je met de organisatie op deze vorm van onderwijs uitgekomen?
We hebben onderzoek gedaan naar probleemgestuurd onderwijs, maar dat was niet naar wens. Die vorm ging er nog steeds van uit dat wij als aanbieder van onderwijs voor de student bepalen wat ze leren. We kregen het gevoel dat het daarom niet zo lang relevant zou blijven. Vervolgens hebben we gekeken naar high impact learning that lasts. Hier hebben we een belangrijke les uit kunnen halen, namelijk dat studenten graag inzien waarom zij bepaalde dingen moeten leren. Dit is in het onderwijs vaak niet duidelijk. Waarom zou de student een bepaald onderwerp moeten kennen, als ze denken dat ze er later geen gebruik van maken? We noemen dit urgency, of urgentie in het Nederlands. Als voor studenten duidelijk is waarom iets geleerd moet worden, worden zij meer gemotiveerd om meer met leerstof te doen naast het reproduceren voor een tentamen.
Verder richtten we ons ook meer op intersubjectiviteit. Samengevat houdt dat in dat mensen verschillende meningen over iets kunnen hebben. Ook in het onderwijs kan dit zo zijn en we kunnen daarom niet altijd verwachten dat verschillende correctors altijd dezelfde beoordeling moeten geven. Wij vinden het daarom belangrijker dat verschillende mensen naar de afgeronde taken van een student kijken. Dit wordt binnen programmatisch toetsen goed geregeld. De software van Paragin helpt daar perfect bij. We hebben alle onderdelen in één systeem zitten, in plaats van verschillende systemen te moeten gebruiken voor verschillende onderdelen. Ook voor de studenten is het handig om alles op een plek te hebben.
Mijn ideaalbeeld zou zijn dat we afstappen van de docent als baken van kennis en deze meer gaan zien als begeleider van ontwikkeling.
Je gaf aan dat je al geruime tijd werkzaam voor IBS Maastricht. Wanneer begon voor jou persoonlijk de urgentie om iets te veranderen in het onderwijs?
Rond 2016 merkte ik dat we vooral bezig waren om het onderwijssysteem tevreden te houden. Daarmee bedoel ik dat we in mijn beleving te weinig bezig waren met studenten ontwikkelen. We waren veel tijd kwijt aan dingen als evalueren, formulieren maken en toetscommissies bespreken. Hierdoor werd er minder op het onderwijs zelf gelet, het lesgeven viel bijvoorbeeld meer op de achtergrond. Het gaat er uiteindelijk om dat studenten zo goed mogelijk worden opgeleid, zodat ze in de toekomst goed aan het werk kunnen. Goed onderwijs aanbieden is daar essentieel in.
Waren er misschien specifieke signalen die je aanspoorden om iets anders te proberen?
In diezelfde periode worstelden we met de opkomst in de klassen. Studenten kunnen in deze tijd veel informatie bij elkaar googelen, wat de kennisoverdracht in de klas minder relevant maakt. Ik heb ooit een les gegeven waarin de kostprijs van een telefoon aan bod kwam. Ik zei geloof ik iets van 25 dollar. Een student zei snel daarna “Dat klopt niet, het is 21.85”. Een mooi voorbeeld van hoe eenvoudig het tegenwoordig is om simpele dingen direct op te zoeken. Je zou zelfs zo ver kunnen gaan dat docenten dit soort informatie niet meer hoeven te geven, omdat studenten dat zelf wel kunnen opzoeken als je ze aanleert hoe dat moet.
Als we zo veel theoretische informatie aanbieden, vinden de studenten het minder belangrijk om de lessen te volgen. Het was jammer om te zien dat de interesse er niet meer was, omdat de mensen die out-of-the-box kunnen denken dan niet terugkomen. Traditioneel zijn die er juist erg veel bij onze opleiding en dat zijn de studenten die je wilt aantrekken en opleiden.
Het lastige hieraan is dat wij eerst niet konden identificeren waar dit aan lag. Aan het begin dachten we dat het aan de studenten zelf lag. “De moderne student was gewoon niet geïnteresseerd genoeg”, zeiden we. Dit ging zelfs zo ver dat we aanwezigheidsplichten hebben ingesteld, met consequenties eraan verbonden. Achteraf gezien is dat erg scheef. Als de studenten van het onderwijs wegblijven, waarom zou het forceren ervan het dan wel aantrekkelijk maken? We hebben toen besloten iets anders te gaan doen. We wilden af van het ‘moeten’. We wilden af van die regels.
Je zou zo ver kunnen gaan dat docenten bepaalde informatie niet meer hoeven te geven, omdat studenten dat zelf wel kunnen opzoeken als je ze aanleert hoe dat moet.
Studenten zijn verschillend in wat zij prettig onderwijs vinden. Waarom geloof je dat het niet aan hen lag?
De studenten die bij ons binnenkomen zijn van verschillende leeftijden, de meesten tussen 17 en 23 jaar oud. De helft van hen komt uit het buitenland. We geloven dat het overgrote deel van deze studenten intrinsiek gemotiveerd is om onze opleiding te volgen en af te maken. We weten dat deze studenten deugen. Om die reden denk ik dat we het onderwijs niet goed aanboden. Het onderwijs in het algemeen gaat te weinig uit van die motivatie. Daarom vind ik vraagstukken zoals plagiaatsoftware ook erg onnodig. Het gaat om mensen die een persoonlijke groei doormaken en we moesten de opleiding met die gedachte gaan verbeteren. We mogen echt wel wat meer vertrouwen hebben in onze studenten. Het is dan ook onze verantwoordelijkheid om onderwijs aan te bieden wat bij hen past.
In ons vorige artikel keken we naar de verschillende worlds die in de omgeving van IBS Maastricht zijn opgezet. Daarin worden de overkoepelende leerdoelen van de opleiding beschreven. Hoe verhoudt een beoordelingsprocedure zich hiermee?
Studenten hebben eigen verantwoordelijkheid over het leerproces, dus opdrachten bedenken ze zelf. In onze omgeving worden ze challenges genoemd. Ze stellen een of meerdere challenges voor, waarmee zij kunnen aantonen dat ze het niveau voor hun leerdoelen hebben behaald. Ook deze hebben ze zelf opgesteld. Uiteindelijk komen de challenges en indiviudele leerdoelen samen om de overkoepelende doelstellingen, de worlds, van de opleiding af te kunnen strepen.
Bij elk leerdoel hoort dus een of meerdere challenges. Een challenge wordt door de student zelf aan een feedback provider gekoppeld. Dit zijn voornamelijk docenten, hoewel ze in deze rol ook als coach fungeren. Deze persoon kijkt samen met de student naar de gegevens die zij hebben aangeleverd. Dit zijn uitgevoerde opdrachten zoals rapporten, gegeven presentaties of feedback van externe organisaties. Zoals in de aard van programmatisch toetsen ligt, is dit geheel aan de student welke invulling er aan gegeven wordt.
We geloven dat het overgrote deel van deze studenten intrinsiek gemotiveerd is om onze opleiding te volgen en af te maken.
Je gaf aan dat je zelf twee dagen per week les geeft. Ben jij dan ook beschikbaar voor het geven van feedback? Heb je misschien een voorbeeld?
Als docent hoor ik er inderdaad ook bij! Recentelijk heeft een student mij gevraagd om feedback te geven op een rapport wat hij met een aantal medestudenten had geschreven. Ik heb ervaring in het werkveld als consultant en dat weten studenten van mij. Het is daarom logisch dat degenen die bezig zijn met dit onderwerp naar mij toe komen en ik help daar graag mee.
Dit specifieke rapport had betrekking op het bevoorradingsproces van een extern bedrijf waar de student contact mee had. Na het lezen geef ik de student feedback, in dit geval met de suggestie om het rapport wat leesbaarder te maken en heldere conclusies te noteren. De student schrijft mijn feedback op, plaatst een nieuw datapunt met een samenvatting van ons gesprek en/of de feedback en dient het in. Ik bevestig vervolgens dat dit klopt en ik relateer het datapunt aan de worlds die gekoppeld waren. Ik kan bij elk onderdeel vervolgens aangeven op welk niveau de student zit. Zo wordt voor mijn collega’s ook direct zichtbaar of de student vooruitgang boekt, aan de hand van alle datapunten.
Hoe werkt de verdeling dan precies voor het geven van feedback?
Een student kiest er zelf voor om bij iemand om feedback te vragen. Het is mogelijk om telkens dezelfde persoon te selecteren, maar we bespreken dan om ook andere docenten te benaderen. Het blijft natuurlijk goed om zo veel mogelijk docenten naar je werk te laten kijken. Mij collega’s zullen misschien heel verschillende feedback geven, het is goed voor de student om daar zelf op te letten.
Het is voor studenten best een ding om zo veel verantwoordelijkheid te hebben in het leerproces.
Zeker! Wat ik er zelf erg leuk aan vind, is dat het leerproces heel duidelijk twee kanten op gaat. Studenten hebben het bijvoorbeeld over NFT’s, een nieuwe ontwikkeling die samenhangt met blockchain-technologie en dat soort zaken. Ik heb echt geen idee hoe dat werkt, dus studenten kunnen mij daar juist weer over vertellen. Als het een onderwerp is waar zij graag in ontwikkelen, vind ik dat alleen maar mooi om te zien. Wij zijn er om hen daarbij te helpen. Ze houden zelf de verantwoordelijkheid om voor ons die ontwikkeling zichtbaar te maken.
Hoe zie jij programmatisch toetsen in de toekomst? Denk je dat het door meer organisaties opgepakt zal worden?
We hebben contact gehad met grote organisaties die zelf ook merken dat recent afgestudeerden regelmatig moeite hebben met hun eerste baan. Het huidige onderwijs sluit in dat geval niet goed aan, zeggen ze. Soms gaat dit zo ver dat mensen opnieuw opgeleid moeten worden. Dat is gewoon zonde. Ze zijn daarom benieuwd hoe we bij IBS Maastricht het programmatisch toetsen hebben ingebracht en hoe dit zich uiteindelijk vertaalt naar het werkveld.
Op dit moment zijn wij een van de weinige opleidingen die programmatisch toetsen geïntegreerd hebben in de opleiding. Het is ook niet eenvoudig om zomaar om te schakelen naar een ander systeem. Docenten die al 20 tot 25 jaar in het vak zitten kunnen het lastig vinden om te wisselen. Ik zie het wel voor me dat we over een tijd, wanneer meer organisaties programmatisch toetsen hebben opgepakt, er een grotere verschuiving zal plaatsvinden. Ik denk dat we het traditionele onderwijs, met alle kwantificaties die erbij komen kijken, achter ons laten. We gaan ons gezamenlijk meer richten op de mensen die we opleiden.
Mijn ideaalbeeld zou zijn dat we afstappen van de docent als baken van kennis en deze meer gaan zien als begeleider van ontwikkeling. Ik denk dat mensen veel gemotiveerder zullen zijn, omdat ze meer inspraak hebben in hoe ze worden opgeleid. Op dit moment zijn we zelf in ieder geval heel tevreden over de software van Paragin, het biedt ons alles om programmatisch toetsen op een prettige manier aan te kunnen bieden. We gaan zien hoe het zich de komende jaren gaat ontwikkelen!
