Voor onderwijsinstellingen is de stap naar blended learning vaak al enige tijd geleden genomen. Voor een kleine brancheorganisatie die al jaren klassikale cursussen aanbiedt, is dat een heel ander verhaal. Wanneer er geen onderwijskundig personeel is, wie gaat er dan voor zorgen dat die stap wordt gezet? Vereniging ION ging de uitdaging aan. Op 7 februari j.l. presenteerden zij vol trots hun digitale opleiding in een splinternieuwe leeromgeving.

Vereniging ION is de brancheorganisatie voor iedereen die actief is in de oppervlaktebehandeling industrie. Voorbeelden van oppervlaktebehandelingen zijn natlakken, poedercoaten, anodiseren en verzinken. Vereniging ION heeft zo’n 300 leden, bestaande uit organisaties die deze werkzaamheden uitvoeren. Voor hun leden verzorgt de vereniging al sinds jaren verschillende klassikale opleidingen. De start van een opleiding was altijd afhankelijk van het aantal inschrijvingen.

Bij voldoende inschrijvingen (6 cursisten) kon de opleiding van start gaan. Dat zorgde er wel eens voor dat een cursist even moest wachten, voordat hij kon beginnen. Jacques Schreuder, sectorsecretaris, branchemanager en opleidingscoördinator van Vereniging ION, vond dat altijd ontzettend jammer. “Het is belangrijk als een medewerker graag een cursus wil volgen, die nodig is voor het bedrijf waar hij werkt, hij dan ook snel kan beginnen. Dat konden we met onze cursussen niet voor elkaar krijgen en dat was één van de redenen om te kijken naar een andere manier van opleiden.”

Op basis van die wens heeft de vereniging de beleidsvisie ‘Vakgericht Opleiden 2018-2019’ uitgebracht. “Voor het reguliere onderwijs is het heel lastig om ons vak te doceren. Het is vaak niet kostendekkend. Vereniging ION ziet het daarom als haar plicht om de cursussen aan te bieden, zodat de branche wel de gelegenheid heeft om zijn personeel op te leiden”, zegt Jacques. Voor de verschillende cursussen die de vereniging aanbiedt, ontvangen zij jaarlijks zo’n 300 cursisten. Cursisten zijn altijd werkzaam in de praktijk, daarom is aansluiting van het lesmateriaal bij de praktijk ontzettend belangrijk. “We hebben vorig jaar besloten om met RemindoContent ons cursusmateriaal digitaal aan te bieden. Ik ontdekte als groot voordeel dat je daar alle inhoud in een contentbibliotheek opslaat. Het worden dan losse kralen, die ik later samenvoeg als een ketting die de cursus vormt. Dat betekent dat ik de losse kralen dus ook op andere manieren kan samenvoegen, zodat we beter bij de praktijk van de individuele cursist kunnen aansluiten”, aldus Jacques.

Het valt niet mee voor Jacques om de opleiding om te zetten naar de digitale leeromgeving. “We zitten hier op kantoor met z’n tweeën. Er zijn genoeg ideeën, maar eigenlijk te weinig tijd om het uit te voeren. Nu gaan alle cursusmaterialen door mijn handen en krijg ik de neiging om direct alles te verbeteren, maar ik ben nu tot de conclusie gekomen dat het niet kan. Je kunt niet alles in één keer aanpakken. Dus hebben we besloten om doorgaan met de verbouwing, terwijl de winkel open is. Dat betekent dat ik nu al het lesmateriaal er eerst ‘gewoon’ in plaats en we daarna met behulp van de docenten het gaan verbeteren en verrijken met andere werkvormen.

Het gaat niet zonder slag of stoot, maar ik word er wel heel enthousiast van. Ik zie dat we op deze manier toewerken naar een flexibel opleidingssysteem, dat betaalbaar is en aansluit bij de belevingswereld van nu. Het kost alleen tijd.”

De hele klas maakt een toets over de geschiedenis van Frankrijk, voor de toets kun je 100 punten halen. Marieke haalt 30 punten, Renske haalt 60 punten. Kun je dan zeggen: Renske weet twee keer meer over de geschiedenis van Frankrijk dan Marieke? Nee, die conclusie is onjuist.

Uit een toets komen scores. Die scores worden verdeeld over een meetschaal. Er zijn verschillende schaaltypen mogelijk. Zo bestaan er nominale, ordinale, interval- en ratioschalen. De meeste toetsscores worden geïnterpreteerd met behulp van een intervalschaal. Alle schalen hebben hun voor- en nadelen.

Nominale schaal

De nominale schaal is de simpelste schaal. Een nominale schaal deelt informatie op in categorieën, maar volgorde van de categorieën hebben geen betekenis. Bijvoorbeeld: een groep mensen wordt verdeeld op basis van geboorteplaats. De ene geboorteplaats is niet belangrijker of hoger dan de andere geboorteplaats. Het enige wat je kunt doen met deze schaal is de aantallen in de verschillende categorieën tellen en vergelijken welke getallen even groot zijn.

Ordinale schaal

Ordinale schalen rangschikken gegevens met behulp van een aantal of een eigenschap. Bijvoorbeeld: iedereen krijgt een schooladvies vmbo/havo/vwo. Omdat deze schaal wel een logische volgorde heeft, kun je er wat meer mee. Zo kun je wel zien wie een hoger advies heeft gekregen, maar je kunt niet exact zeggen hoeveel hoger. Want de intervallen tussen vmbo en havo, tussen havo en vwo, hoeven niet gelijk te zijn. Je zou wel kunnen zeggen: Herman heeft een hoger advies gekregen dan André.

Intervalschaal

Een intervalschaal rangschikt de informatie zoals een ordinale schaal, maar dan met gelijke eenheden. Op deze schaal worden de meeste toetsscores gelegd, zoals in het voorbeeld uit de inleiding. Het verschil tussen een score van 70 en een score van 71 is op een intervalschaal hetzelfde als het verschil tussen een score van 83 en een score van 84. Daarom kun je met de resultaten uit deze schaal veel berekeningen doen.

En toch mag je niet de conclusie trekken ‘Renske weet twee keer meer dan Marieke’. Dat komt omdat de intervalschaal geen absoluut nulpunt heeft. Daarmee wordt bedoeld dat wanneer iemand op 0 staat in deze schaal, dat dit niet betekent dat de gemeten eigenschap in zijn geheel niet aanwezig is. Dus iemand die op de toets 0 punten scoort kan wel degelijk enige kennis hebben over Frankrijk.

Wanneer je dergelijke conclusies wel wilt trekken, moet je een ratioschaal gebruiken.

Ratioschaal

Een ratioschaal heeft de eigenschappen van een intervalschaal, maar dan met een absoluut nulpunt. Het absolute nulpunt betekent dat de eigenschap die wordt gemeten bij een score van 0 compleet afwezig is. Een ratioschaal gebruik je bijvoorbeeld bij gewicht. Bij 0 kilo is er geen gewicht. Met een ratioschaal mag je wel zeggen: Thijn weegt twee keer zoveel als Astrid. Helaas zijn er maar weinig educatieve toetsen te bedenken met een ratioschaal.

Wat je wel kunt doen, is je houden aan percentage correct. Het is wel mogelijk om in de geschiedenis toets 0% juist te beantwoorden. Daarmee heeft Renske wel twee keer meer punten gehaald dan Marieke.

“In de praktijk zie ik veel onzekerheid als het gaat om toetsanalyse en om het bepalen van cesuur. Het zijn beide veelal rekenkundige onderwerpen en dat maakt het voor veel mensen complex, zelfs wanneer alle gegevens beschikbaar zijn. Ik zie het als mijn taak om kennis hierover te delen, zodat we studenten terecht laten zakken of slagen, bovendien is het niet zo ingewikkeld als velen denken”, zegt Harry Molkenboer. Op 28 maart a.s. geeft hij een gratis training bij Paragin voor alle gebruikers van RemindoToets. 

Harry Molkenboer is de eigenaar van Bureau voor Toetsen & Beoordelen. Veel mensen kennen Harry als auteur van boeken over toetsontwikkeling. Dit jaar ontving Harry als één van de eerste personen in Nederland zijn masterdiploma als Toetsdeskundige.

Op donderdag 28 maart a.s. is Harry bij Paragin in Nijkerk. Hij verzorgt die middag een training over toetsanalyse en cesuur bepalen. Tijdens de training krijgen deelnemers concrete handvatten, waarmee ze in hun eigen praktijk toetsen en vragen kunnen verbeteren.

Toetsanalyse

“Ik heb voor het onderwerp toetsanalyse gekozen, omdat een analyse van de zogenaamde toets- en itemindices zoals een p-waarde (moeilijkheid) en een Rir-waarde (onderscheidend vermogen van een vraag), handvatten geven om naar de kwaliteit van de vragen en de toets te kijken. Hiermee kunnen vragen en de toets verbeterd worden voor een volgende afname. Werken met lastige formules is helemaal niet nodig om de analysegegevens uit RemindoToets te kunnen gebruiken. Het gaat om het kunnen geven van betekenis aan de verschillende indices, mede in relatie tot elkaar. Die betekenis ga ik toelichten aan de hand van verschillende voorbeelden. Aan het einde van de middag hebben de indices geen geheimen meer voor je en kun je ze zelf toepassen”, vertelt Harry.

Cesuur

Harry: “Mensen zeggen vaak: de cesuur is een 5,5. Dan zeg ik altijd: wat jij noemt, is een cijfer, maar bij welke score heb je een 5,5? Die score is de cesuur. En waarom wordt daar vaak gedachteloos 55% voor gebruikt? Hoe zit dat bij gesloten vragen en bij open vragen? Door de cesuur te bepalen, neem je als toetsmaker een hele belangrijke beslissing. Je moet het op een goede manier vaststellen, anders weet je niet of de beslissingen zoveel als mogelijk recht doen aan terecht gezakte of terecht geslaagde studenten. Daarom neem ik dit onderwerpen graag mee in de training.”

Het ontwikkelen en afnemen van een goede toets is volgens Harry complex. “Er komt veel bij kijken en het is afhankelijk van veel factoren. Ook van factoren die je niet kunt beïnvloeden. We hebben één ding wel redelijk in de hand: het ontwikkelen van een toetstechnisch goede toets, maar zelfs als je dat helemaal goed doet, is het nog niet 100%.”

Tot slot

“Het is voor mij de uitdaging om die kennis en inzichten aan te reiken die nodig zijn om toetsontwikkelaars goed te kunnen laten toetsen. Omdat we dan de beste beslissing nemen over welke student slaagt en welke zakt. Ik leer je zelf de kwaliteit van je toets te beoordelen. De toetsanalyse is de röntgenfoto van je toets en je vragen. Je moet hem alleen nog goed beoordelen.”

Er is nog een aantal plaatsen vrij voor de training op 28 maart. Wees er snel bij en schrijf je in via Paragin events.