De hele klas maakt een toets over de geschiedenis van Frankrijk, voor de toets kun je 100 punten halen. Marieke haalt 30 punten, Renske haalt 60 punten. Kun je dan zeggen: Renske weet twee keer meer over de geschiedenis van Frankrijk dan Marieke? Nee, die conclusie is onjuist.

Uit een toets komen scores. Die scores worden verdeeld over een meetschaal. Er zijn verschillende schaaltypen mogelijk. Zo bestaan er nominale, ordinale, interval- en ratioschalen. De meeste toetsscores worden geïnterpreteerd met behulp van een intervalschaal. Alle schalen hebben hun voor- en nadelen.

Nominale schaal

De nominale schaal is de simpelste schaal. Een nominale schaal deelt informatie op in categorieën, maar volgorde van de categorieën hebben geen betekenis. Bijvoorbeeld: een groep mensen wordt verdeeld op basis van geboorteplaats. De ene geboorteplaats is niet belangrijker of hoger dan de andere geboorteplaats. Het enige wat je kunt doen met deze schaal is de aantallen in de verschillende categorieën tellen en vergelijken welke getallen even groot zijn.

Ordinale schaal

Ordinale schalen rangschikken gegevens met behulp van een aantal of een eigenschap. Bijvoorbeeld: iedereen krijgt een schooladvies vmbo/havo/vwo. Omdat deze schaal wel een logische volgorde heeft, kun je er wat meer mee. Zo kun je wel zien wie een hoger advies heeft gekregen, maar je kunt niet exact zeggen hoeveel hoger. Want de intervallen tussen vmbo en havo, tussen havo en vwo, hoeven niet gelijk te zijn. Je zou wel kunnen zeggen: Herman heeft een hoger advies gekregen dan André.

Intervalschaal

Een intervalschaal rangschikt de informatie zoals een ordinale schaal, maar dan met gelijke eenheden. Op deze schaal worden de meeste toetsscores gelegd, zoals in het voorbeeld uit de inleiding. Het verschil tussen een score van 70 en een score van 71 is op een intervalschaal hetzelfde als het verschil tussen een score van 83 en een score van 84. Daarom kun je met de resultaten uit deze schaal veel berekeningen doen.

En toch mag je niet de conclusie trekken ‘Renske weet twee keer meer dan Marieke’. Dat komt omdat de intervalschaal geen absoluut nulpunt heeft. Daarmee wordt bedoeld dat wanneer iemand op 0 staat in deze schaal, dat dit niet betekent dat de gemeten eigenschap in zijn geheel niet aanwezig is. Dus iemand die op de toets 0 punten scoort kan wel degelijk enige kennis hebben over Frankrijk.

Wanneer je dergelijke conclusies wel wilt trekken, moet je een ratioschaal gebruiken.

Ratioschaal

Een ratioschaal heeft de eigenschappen van een intervalschaal, maar dan met een absoluut nulpunt. Het absolute nulpunt betekent dat de eigenschap die wordt gemeten bij een score van 0 compleet afwezig is. Een ratioschaal gebruik je bijvoorbeeld bij gewicht. Bij 0 kilo is er geen gewicht. Met een ratioschaal mag je wel zeggen: Thijn weegt twee keer zoveel als Astrid. Helaas zijn er maar weinig educatieve toetsen te bedenken met een ratioschaal.

Wat je wel kunt doen, is je houden aan percentage correct. Het is wel mogelijk om in de geschiedenis toets 0% juist te beantwoorden. Daarmee heeft Renske wel twee keer meer punten gehaald dan Marieke.

“In de praktijk zie ik veel onzekerheid als het gaat om toetsanalyse en om het bepalen van cesuur. Het zijn beide veelal rekenkundige onderwerpen en dat maakt het voor veel mensen complex, zelfs wanneer alle gegevens beschikbaar zijn. Ik zie het als mijn taak om kennis hierover te delen, zodat we studenten terecht laten zakken of slagen, bovendien is het niet zo ingewikkeld als velen denken”, zegt Harry Molkenboer. Op 28 maart a.s. geeft hij een gratis training bij Paragin voor alle gebruikers van RemindoToets. 

Harry Molkenboer is de eigenaar van Bureau voor Toetsen & Beoordelen. Veel mensen kennen Harry als auteur van boeken over toetsontwikkeling. Dit jaar ontving Harry als één van de eerste personen in Nederland zijn masterdiploma als Toetsdeskundige.

Op donderdag 28 maart a.s. is Harry bij Paragin in Nijkerk. Hij verzorgt die middag een training over toetsanalyse en cesuur bepalen. Tijdens de training krijgen deelnemers concrete handvatten, waarmee ze in hun eigen praktijk toetsen en vragen kunnen verbeteren.

Toetsanalyse

“Ik heb voor het onderwerp toetsanalyse gekozen, omdat een analyse van de zogenaamde toets- en itemindices zoals een p-waarde (moeilijkheid) en een Rir-waarde (onderscheidend vermogen van een vraag), handvatten geven om naar de kwaliteit van de vragen en de toets te kijken. Hiermee kunnen vragen en de toets verbeterd worden voor een volgende afname. Werken met lastige formules is helemaal niet nodig om de analysegegevens uit RemindoToets te kunnen gebruiken. Het gaat om het kunnen geven van betekenis aan de verschillende indices, mede in relatie tot elkaar. Die betekenis ga ik toelichten aan de hand van verschillende voorbeelden. Aan het einde van de middag hebben de indices geen geheimen meer voor je en kun je ze zelf toepassen”, vertelt Harry.

Cesuur

Harry: “Mensen zeggen vaak: de cesuur is een 5,5. Dan zeg ik altijd: wat jij noemt, is een cijfer, maar bij welke score heb je een 5,5? Die score is de cesuur. En waarom wordt daar vaak gedachteloos 55% voor gebruikt? Hoe zit dat bij gesloten vragen en bij open vragen? Door de cesuur te bepalen, neem je als toetsmaker een hele belangrijke beslissing. Je moet het op een goede manier vaststellen, anders weet je niet of de beslissingen zoveel als mogelijk recht doen aan terecht gezakte of terecht geslaagde studenten. Daarom neem ik dit onderwerpen graag mee in de training.”

Het ontwikkelen en afnemen van een goede toets is volgens Harry complex. “Er komt veel bij kijken en het is afhankelijk van veel factoren. Ook van factoren die je niet kunt beïnvloeden. We hebben één ding wel redelijk in de hand: het ontwikkelen van een toetstechnisch goede toets, maar zelfs als je dat helemaal goed doet, is het nog niet 100%.”

Tot slot

“Het is voor mij de uitdaging om die kennis en inzichten aan te reiken die nodig zijn om toetsontwikkelaars goed te kunnen laten toetsen. Omdat we dan de beste beslissing nemen over welke student slaagt en welke zakt. Ik leer je zelf de kwaliteit van je toets te beoordelen. De toetsanalyse is de röntgenfoto van je toets en je vragen. Je moet hem alleen nog goed beoordelen.”

Er is nog een aantal plaatsen vrij voor de training op 28 maart. Wees er snel bij en schrijf je in via Paragin events.

De valkuilen van feedback geven

A: “Zeg, ik wil iets met je bespreken, maar je moet het niet al te persoonlijk opvatten.”

B: “Ok, nou zeg het maar dan.”

A: “Tja, als ik heel eerlijk moet zijn, heb je dit niet echt handig aangepakt.”

B: “Oh ja? Ik vond het eigenlijk heel slim van mezelf.”

A: “Echt waar? Oh, nou… het is natuurlijk maar gewoon mijn mening.”

In het onderwijs, het bedrijfsleven en zelfs thuis, overal ben je ermee bezig: feedback geven. Als je wilt dat iets verandert of verbetert, zul je er wel aan moeten beginnen. Je zou het kunnen zien als een cadeautje; je helpt de ander zichzelf te verbeteren, maar is dat wel zo? Is het wel zo’n cadeautje? Vaak levert het helemaal niet zo’n fijn gevoel op, zowel bij jezelf als bij de ander.

De bedoeling van feedback geven is dat de ander inzicht krijgt in zijn gedrag. Daar kan hij dan van leren en iets aan veranderen, maar dat gebeurt eigenlijk alleen maar als die ander dat zelf wil. Als hij feedback krijgt over iets wat hij graag zou willen leren, is dat mooi meegenomen. Maar als het gaat over iets waar zijn interesse helemaal niet ligt, of waarvan hij denkt dat hij dat prima heeft opgelost? Lekker cadeautje is dat. Dan voelt het meer als kritiek en daar worden we allemaal niet veel beter van. Het gevolg is dat het hele feedback geven een nare bijsmaak krijgt. Dat is zonde, want het kan best eenvoudig zijn. Probeer de volgende drie valkuilen te voorkomen:

• Feedback geven wordt verward met iemand aanspreken op gedrag

Iemand feedback geven of iemand aanspreken op zijn gedrag, zijn twee verschillende dingen. Bij het geven van feedback is het doel om de ander inzicht te geven in zijn gedrag en geef je aan wat daar het effect  van is, zodat die persoon zich daar bewust van wordt. Er zit geen oordeel aan vast. Bijvoorbeeld: “Je kwam te laat op de afspraak, ik zat daar met de klant op jou te wachten en voelde me behoorlijk ongemakkelijk.”

Als je iemand aanspreekt op zijn gedrag heeft dat een corrigerend doel. Bijvoorbeeld: “Je bent te laat, zo gaan we in deze organisatie niet om met afspraken. Dit mag niet meer gebeuren.” Als iemand wordt aangesproken op zijn gedrag is dat niet meer vrijblijvend en dat is ook precies de bedoeling. Als je feedback geeft, wil je dat effect niet. Je geeft de ander inzicht en het is aan hem om te bepalen of hij daar iets mee wil doen. Het is bedoeld voor zijn ontwikkeling.

• Teveel sandwichen

Veel mensen hebben geleerd om de feedback te sandwichen. Een negatief punt wordt dan tussen twee positieve punten verpakt. Bijvoorbeeld: “Wat heb jij veel werk verzet aan dit project zeg. Ik merk wel dat je deadlines niet haalt, daar word ik wel onrustig van. Maar het is wel leuk om te zien hoe enthousiast je bent over het project.” Als je teveel sandwiched, dan kunnen er twee dingen gebeuren:

• Mensen horen de complimenten niet meer, maar vragen zich af wat nu precies je punt is;
• Mensen horen het verbeterpunt niet meer, want het lijkt alsof je het zelf al goedpraat.

Vergeet de sandwichmethode en wees concreet. “Ik zie dat je de deadlines niet haalt en daar word ik een beetje onrustig van.” Dan kun je altijd in het gesprek dat hierna volgt je complimenten alsnog geven (als ze gemeend zijn).

In het algemeen is het belangrijk om negatieve feedback goed af te wisselen met positieve feedback, waarbij de positieve feedback iets meer de aandacht krijgt.

• Mag ik je feedback geven?

Niet alleen voor de feedback-ontvanger, maar ook voor de feedback-gever komt er vaak veel spanning bij kijken. Ergens op de dag moet je er als feedback-gever ineens over beginnen. Wanneer doe je dat en hoe begin je dan? In de praktijk hoor je dan nog vaak de vraag: “mag ik je feedback geven?” Of andere varianten zoals: “mag ik je een tip geven?” Daarmee zet je de feedback-ontvanger meteen op scherp. Hier staat iets te gebeuren en dat wordt niet fijn. Bovendien is het antwoord op die vraag niet verrassend en kan ook voor problemen zorgen. Zegt de feedback-ontvanger ‘ja’, dan kun je beginnen aan het verwoorden van je feedback. Is het ‘nee’, dan heb je eigenlijk meteen een nieuw punt wat je niet fijn vindt aan deze persoon. Sla die vraag daarom maar over. Begin meteen met je constatering, bijvoorbeeld: “Je hebt de stukken niet aangeleverd, zie ik.” of “Je praat wel vaak over haar en niet zo aardig.”

Feedback geven en ontvangen is ontzettend waardevol, niet alleen binnen organisaties en het onderwijs, maar ook in de persoonlijke omgeving van mensen. Het zou zonde zijn wanneer je terughoudend wordt door de complexiteit van de feedback-techniek of het nare gevoel dat je ervan krijgt. De basis van goed feedback geven, ligt bij jouw intentie. Wil je de ander ermee helpen? Dan kan het bijna niet verkeerd gaan.

“De toets moet valide zijn”, daar zijn de meeste toetsmakers het wel over eens. Maar wat als een valide toets helemaal niet bestaat? Waar ben je dan mee bezig als het gaat om validiteit?

Validiteit is misschien wel het belangrijkste kwaliteitsaspect van een goede toets. In de meest eenvoudige beschrijving van validiteit geeft het een antwoord op de vraag: ‘meet de toets wat het beoogt te meten?’ We spreken dan vaak over een valide toets. Hoewel het heel verleidelijk is om te zeggen, klopt het niet helemaal: het bereiken van een valide toets is niet mogelijk. Validiteit heeft te maken met de interpretatie die wordt gegeven aan de toetsscore. Uit de toets komt een score, wat betekent die score? Is iemand geslaagd of gezakt? Kun je op basis van die score met zekerheid zeggen dat iemand die gezakt is niet in staat is om het vak in de praktijk uit te oefenen? Klopt de toets wel bij wat je wilde meten? Je spreekt daarmee dus niet over valide toetsen, maar een valide interpretatie van de toetsscore. Je valideert de beslissing die je neemt op basis van de scores die uit de toets komen.

Validiteit heeft altijd een context nodig en dus een interpretatie. Dezelfde toets kan zowel in grote mate valide zijn als in gebreke zijn, als het gaat om validiteit. Als toetsresultaten voor meerdere doelen worden gebruikt kan dat het geval zijn. Bijvoorbeeld voor het monitoren van iemands voortgang en kijken of iemand geschikt is voor een bepaalde vervolgtraining. In dat geval heeft een toets meerdere doelen en kan de toets voor het ene doel in grote mate valide zijn en voor een ander doel weinig valide zijn.

Een toets kan zelfs voor hetzelfde doel in twee afnames verschillend zijn in mate van validiteit. Zo heeft de ene groep wellicht veel last gehad van de drukte in de examenzaal. Kun je dan wel van de toetsresultaten op aan? Meet het dan nog steeds de toetscriteria die je wilde meten of meet je de mate waarin iemand zich in die onrust kon concentreren op de toets? Terwijl dezelfde toets die afgenomen werd onder goede omstandigheden, een behoorlijk valide interpretatie opleverde.

Er zijn volgens Messick (1994) twee grote bedreigingen voor validiteit:

• Construct underrepresentation

In dit geval meet de toets niet de belangrijke aspecten van het te meten construct. Het kan bijvoorbeeld zo zijn dat de toets alleen sommige toetscriteria uitgebreid meet en andere toetscriteria helemaal niet aan bod komen. Bijvoorbeeld wanneer een docent een toets maakt en vooral veel vragen stelt over het onderwerp waar hij heel enthousiast over is. Er is ook sprake van construct underrepresentation, wanneer je op basis van de toetsresultaten niet kunt zeggen of de kandidaat het leerstofdomein ook daadwerkelijk beheerst. Dat is bijvoorbeeld het geval wanneer iemand alleen een schriftelijk examen krijgt over iets wat hij in de praktijk altijd fysiek zal moeten uitvoeren. Kun je dan wel met zekerheid zeggen dat deze toets meet of de kandidaat in de praktijk de vaardigheden kan uitoefenen?

• Construct-irrelevant variance

Er is sprake van construct-irrelevante variance wanneer de toets ook zaken meet die voor het doel van de toets niet van belang zijn. Een voorbeeld van construct-irrelevant variance is wanneer een toets rekenvaardigheid hoort te toetsen, maar de vragen zijn zo lang en uitgebreid beschreven dat het eerder leesvaardigheid toetst. 

Beide bedreigingen kunnen effect hebben op de interpretatie van dezelfde toets. Je vraagt je daarbij steeds af: zijn de interpretaties van de toetsscores geschikt voor het doel van de toets en kloppen ze? Neem ik op basis van de toetsscores in combinatie met het doel van de toets nu de juiste beslissing?

Om goed antwoord te kunnen geven op deze vraag is het belangrijk om validiteit als gezamenlijke verantwoordelijkheid te zien van zowel toetsontwikkelaars, docenten, examencommissie-leden als zelfs de surveillanten en de kandidaten. Je zult zien dat iedereen in zijn rol een andere visie heeft op de validiteit. Met die informatie kun je werken aan het verbeteren van je toetskwaliteit.

Bronnen: 

• Reynolds, C. R., Livingston, R. B., Willson, V. L., & Willson, V. (2010). Measurement and assessment in education. Upper Saddle River: Pearson Education Internation
• Messick, S. (1994). The interplay of evidence and consequences in the validation of performance assessments. Educational Researcher, 23, 13-23.

Is het zinvol voor examenkandidaten om de examenvragen nog eens na te lopen en hun antwoorden te verbeteren? Er worden verschillende adviezen over gegeven. Van “Doe dat niet, want je eerste ingeving is meestal de beste” tot “Je kunt de vragen beter wél nalopen, omdat je gedurende het examen tot beter inzicht kunt komen.”
Maar welk advies geef je nu aan je examenkandidaten: moeten ze wel of niet hun antwoorden verbeteren? Onderzoek geeft hierop een antwoord.

Er zijn veel kandidaten die gedurende het examen hun antwoorden aanpassen. Ze gaan dan nog eens terug en wijzigen hun gekozen antwoord. Dat is niet altijd in hun voordeel. Als het gaat om meerkeuzevragen hebben de afleiders in dat geval goed hun werk gedaan. Examenkandidaten krijgen regelmatig het advies om antwoorden op meerkeuzevragen niet aan te passen. “Houd je vast aan je eerste ingeving”, wordt dan gezegd. Uit onderzoek blijkt echter dat kandidaten dat advies beter in de wind kunnen slaan.

Pike (1979) heeft de bevindingen over dit onderwerp van een aantal onderzoekers samengevat en vond een verrassende uitslag.

Wanneer examenkandidaten hun antwoorden aanpassen, is dat volgens het onderzoek meestal in hun voordeel. Tegenover éénmaal waarop het antwoord wordt veranderd naar incorrect, staan twee keren waarop hij zijn antwoord verandert naar correct. Dit is wel vaker het geval bij moeilijkere vragen. Minder moeilijker vragen worden dus minder vaak ten goede verbeterd. Dat lijkt logisch te zijn, omdat je bij moeilijke vragen wellicht met wat langer nadenken tot een betere analyse en dus een beter antwoord komt. Eenvoudige vragen gaan vaak over feitenkennis, wat moet komen uit het semantisch geheugen van kandidaten. Wanneer die kennis er niet is, kun je dat gedurende de toets moeilijk ophalen (tenzij het in een andere vraag toevallig weg wordt gegeven, wat natuurlijk niet de bedoeling is).

Daarnaast komt er uit het onderzoek naar voren dat hoogscorende kandidaten meer profiteren van het aanpassen van een antwoord, dan laagscorende kandidaten. In het algemeen worden er weinig antwoorden gewijzigd, namelijk in gemiddeld 4% van de vragen.

Wat moet dan het advies zijn? Om zomaar te zeggen dat kandidaten vooral hun antwoorden moeten aanpassen, zou behoorlijk kort door de bocht zijn. Waaróm doen zij dat? Dat kan bijvoorbeeld zijn door een beter inzicht, of omdat ze gedurende de toets zich ineens iets herinneren. Maar het kan ook voortkomen uit een onzekerheid en dan kan een aanpassing nadelig effect hebben. Misschien is het beste om er helemaal geen advies over te geven. Kandidaten moeten zich gesteund voelen wanneer ze hun antwoord willen aanpassen, maar het is ook goed wanneer ze dat niet willen. Dan zal, áls men het eerder gegeven antwoord alsnog aanpast, het aanpassen volgens onderzoek zeker kunnen leiden naar een beter resultaat.

Bron: Pike, L. W. (1979). Short-term instruction, testwiseness, and the Scholastic Aptitude Test: A literature review wilt research recommendations. Princeton, NJ: Educational Testing Service

Wijze lessen van de functioneel beheerder

“We werden zo enthousiast en wilden direct beginnen, maar dat ging veel te snel.” Een wijze les van Hans Stoltz, docent en functioneel beheerder van de Hogeschool van Arnhem en Nijmegen (HAN). Vorig jaar ging de HAN voor alle propedeuse studenten van het instituut Financieel Management van start met MijnHANportfolio. Hans Stoltz deelt met ons de vier belangrijkste lessen die hij heeft geleerd van het afgelopen jaar.

1.      De student staat centraal

“De student centraal, dat is ons doel binnen HAN. Vanuit die gedachte vinden we het belangrijk om studenten de beschikking te geven over een ePortfolio. Op die manier kunnen studenten samen met hun begeleidende docenten hun ontwikkeling volgen en meten. In 4 jaar tijd bouwt de student een mooi portfolio op, waar hij op kan terugvallen. Het is van hem en het blijft van hem. Daarin zitten al zijn projecten, beoordelingen en documenten waar hij trots op is.

Voor onze stagiairs en afstudeerders Bedrijfseconomie werkten we al met MijnPortfolio.nl van Paragin en dat bevalt ons enorm, dus het was heel logisch om Paragin uit te nodigen en samen na te denken over de inrichting van MijnHANportfolio.”

2.      Temper je enthousiasme

“We kwamen bij elkaar met de juiste mensen en het balletje ging rollen. Jeroen (directeur Paragin) werd uitgenodigd om MijnHANportfolio te presenteren en iedereen was daar erg van gecharmeerd. Toen Jeroen eenmaal begon te praten, raakte iedereen zó enthousiast dat we allemaal meteen wilden beginnen. Dat was het moment dat we ons misschien hadden moeten afvragen of we niet te snel van start gingen, terwijl nog niet alles was uitgedacht en uitgewerkt. Het was wellicht slimmer geweest om eerst met een klein groepje van één of twee propedeuseklassen een pilot te draaien en niet direct alle 400 studenten toegang te geven.”

3.      Gebruik wat je nu nodig hebt

“De software van Paragin kan zoveel, er zijn ontzettend veel mogelijkheden en opties. De ene optie nog mooier dan de andere. We wilden alles wel gebruiken. Dat was eigenlijk te veel in een te korte tijd. We hadden veel beter eerst kunnen nadenken over wat we precies nodig hadden in dat stadium en het gefaseerd uitbreiden. Wat heb je nodig en hoe krijg je dat zo simpel mogelijk geïmplementeerd? Ik heb gedurende dit proces steeds de steun gehad van Henri en Monique van Paragin. Ik heb zelden een partij ontmoet die zo snel schakelt, meedenkt en oplossingsgericht werkt. Dat heeft enorm geholpen.”

4.      Houd rekening met mogelijk weerstand van gebruikers

“Hoe enthousiast je ook bent over het programma en hoe goed het ook wordt geïmplementeerd, je krijgt altijd te maken met weerstand. De docenten en beheerders zijn degenen die ermee moeten werken. Wanneer zij om de haverklap worden geconfronteerd met een nieuw systeem, zul je daar toch weerstand bij merken. Je loopt altijd tegen wat startproblemen aan. Nu, na een jaar, beginnen docenten te merken dat er wat betreft dit systeem heel snel geschakeld wordt en hebben ze er een groeiend vertrouwen in. Het wordt steeds mooier voor ze om ermee te werken. Ontwikkeling van studenten is zichtbaarder en meetbaarder. We hebben er meer grip op en zijn er nu ontzettend blij mee. ”

Het opstellen van concrete leerdoelen is niet altijd even makkelijk. Om onze klanten hiervoor handvatten te bieden, organiseerden we 27 september een training.

Waarom is het zo belangrijk goed af te kaderen wat het instructieprobleem of de behoefte is én of instructie daadwerkelijk de oplossing is? Op welke manier breng je precies in beeld wat een lerende hiervoor moet kunnen en kennen? En hoe stel je vervolgens de leerdoelen zo concreet mogelijk op?

Aan de hand van theorie, casussen, interessante discussies en opdrachten hebben de deelnemers de kennis en vaardigheden eigen gemaakt.

De training werd afgesloten met een drankje en een hapje. “Ik heb meer inzicht gekregen in de stappen tot het komen tot een concreet leerdoel”, “Leerzaam en goede interactie” en “Ik kan het gaan toepassen in mijn werkzaamheden” waren enkele reacties.

Je biedt zelden één examenpoging aan. Vaak zijn er één of meerdere herkansingsmogelijkheden nodig om de grote groep kandidaten door een toetsprogramma te helpen. Wat is nu het effect van die herkansingen?

Soms zijn er examenkandidaten die echt wel de kennis, vaardigheid en mogelijkheden hebben om te kunnen slagen voor een toets, maar toch zakken. Soms met alle gevolgen van dien (niet overgaan, geen diploma, enzovoorts). Dit worden fout-negatieve beslissingen genoemd. Zij zijn dan onterecht gezakt.

Andersom geldt hetzelfde: er zijn examenkandidaten die de kennis, de vaardigheid en de mogelijkheden missen die nodig zijn om te kunnen slagen voor de toets, maar toch slagen. Dit worden fout-positieve beslissingen genoemd. Misschien nog wel erger dan de eerste groep, want deze groep is onterecht geslaagd.

Het is belangrijk om hier als toetsontwikkelaars bij stil te staan, omdat je de fout-negatieve en fout-positieve beslissingen vaak niet kan opsporen. Als dat wel zo was, dan had je dat al gedaan en gecorrigeerd.

De meeste onderwijs- en exameninstellingen staan kandidaten toe om toetsen te herkansen, wanneer ze hier niet bij de eerste poging voor slagen. Onder andere Millman (1989) heeft in een onderzoek aangetoond wat het effect is van herkansingen en concludeert: hoe meer herkansingen toegestaan zijn, hoe groter de kans op fout-positieve beslissingen

Dus hoe meer herkansingen, hoe meer kandidaten onterecht slagen. Dit wordt aangetoond in de onderstaande figuur.

Figuur 1 Bron: Millman

Voor deze toets is een beheersingsniveau van 70% vereist. In de verschillende lijnen zie je aantallen kandidaten met verschillende beheersingsniveau ’s. Daarvan zie je dat de lijn van 70% en 75% beheersing (dus de geschikte kandidaten) niet allemaal de toets halen in de eerste poging (dat zijn dus fout-negatieve beslissingen). Maar vooral de lijn van de kandidaten waarvan het beheersingsniveau onder de maat is (60% en 65%) is erg interessant. Deze stijgt bij de 65% groep bijvoorbeeld aanzienlijk per poging. En zie je bijvoorbeeld bij poging 10 dat maar liefst 80% van deze groep toch het examen haalt.

Je kunt dit helaas niet volledig voorkomen. Je wilt ten slotte wel een herkansing aanbieden, omdat (zo laat de grafiek ook zien) er een hele groep geschikte kandidaten het examen niet haalt tijdens de eerste poging, maar het is wel belangrijk om het aantal herkansingen goed te overwegen.

Er valt iets voor te zeggen om het aantal herkansingen te beperken. Als je het alleen zou baseren op de grafiek van Millman, zou je misschien al na de tweede poging een andere toetsvorm moeten inzetten. Dan worden de fout-positieve beslissingen groter dan de fout-negatieve beslissingen. Dit heeft natuurlijk alles te maken met het doel van de toets. Gaat het om een formatieve toets of om een summatieve toets in een rijk toetsprogramma, dan is het misschien minder belangrijk. Ook speelt de doelgroep mee: gaat het bijvoorbeeld om een examen voor artsen of verpleegkundigen? Dan is het misschien slimmer om al na één examenpoging een andere toetsvorm in te zetten.

Bronnen:

• Cizek, G. & Bunch, M. (2007). Standard Setting. Thousand Oaks: Sage Publications
• Millman, J. (1989). If at first you don’t success: Setting passing scores when more than one attempt is permitted. Educational Researcher, 18(6), 5-9

Hoe richt je een digitale leeromgeving in voor speciaal- en praktijkonderwijs?

Wanneer je gebruik maakt van papieren studiemappen, word je bijna vreemd aangekeken. Tegenwoordig is het online leren meer standaard dan uitzondering. Maar wat moet je doen als jouw groep studenten digitaal niet vaardig is en je wilt toch met een digitale leeromgeving aan de slag? Calibris Advies stond precies voor deze uitdaging en wist met RemindoContent hele handige keuzes te maken. We vroegen Marieke Heijkoop (adviseur van Calibris Advies) om de belangrijkste tips.

Het gebeurt zelden dat er wordt gevraagd om binnen RemindoContent zoveel mogelijk functies uit te zetten, waardoor er zo min mogelijk knoppen overblijven. Voor de opleiding WoonHulp stelde Calibris Advies precies deze vraag. De opleiding WoonHulp wordt ingezet binnen PrO- (PraktijkOnderwijs) en VSO-scholen (Voortgezet Speciaal Onderwijs) en is daarnaast geschikt voor cliënten van GHZ instellingen (Gehandicaptenzorg). Tijdens de opleiding worden de studenten voorbereid op het uitvoeren van eenvoudige, routinematige werkzaamheden in de woonomgeving van een GHZ instelling of de Ouderzorg. De functie WoonHulp past hiermee binnen de banenafspraak voor een ‘inclusieve arbeidsmarkt’ (de afspraak van werkgevers om werkplekken te creëren voor mensen met een arbeidsbeperking).

De opleiding bestaat enkele jaren, maar wordt sinds kort digitaal aangeboden in RemindoContent. Calibris Advies koos er bewust voor om deze studenten een digitale leeromgeving aan te bieden.
Marieke Heijkoop, adviseur van Calibris Advies, vertelt: “Het is de tijd om meer online te doen. Ook van onze studenten wordt steeds meer online gevraagd. Dan kun je ze niet weghouden bij de computer en biedt dit juist alle kansen om ook digitale vaardigheden aan te leren. Maar dat moet natuurlijk niet in de weg staan van het diploma WoonHulp, waardoor we heel vaak hebben stilgestaan bij de inrichting van deze omgeving. Hoe krijgen we die zo simpel mogelijk. Dat is nu goed gelukt.”

Marieke deelt met ons haar belangrijkste tips:

1. Zet alleen aan wat echt gebruikt wordt

Het is heel verleidelijk om alle functies van een platform te gebruiken, maar daar helpen we de studenten niet bij. Denk goed na over wat echt gebruikt gaat worden. Probeer zoveel mogelijk functies weg te laten en dat geldt ook voor plaatjes. Houd het simpel.

2. Voorlezen

Je kunt in RemindoContent een voorleesfunctie gebruiken. Dan worden alle teksten voor de studenten voorgelezen. Voor ons was dat heel belangrijk, omdat hiermee mensen die moeite hebben met lezen en schrijven ook de mogelijkheid krijgen om de opleiding te volgen.

3. Icoontjes

Gebruik niet teveel afbeeldingen, maar wat wel werkt zijn icoontjes. Wij gebruiken in onze opleiding 9 icoontjes. Die geven aan wat de bedoeling is van de opdracht. Zo is er een icoontje voor het lezen, opschrijven, voor het bekijken van een film en voor het bespreken met je klasgenoten. Het helpt de doelgroep enorm. Ook al staat er: ‘bespreek dit met je klasgenoot’, dan kunnen sommigen zich toch afvragen of ze het moeten opschrijven. De icoontjes helpen ze hierbij.

4. Ga het doen!

Mijn belangrijkste tip is: ga het doen! Probeer het op z’n minst. Je kunt van tevoren niet met zekerheid zeggen dat jouw doelgroep niet digitaal kan leren. Soms onderschatten we mensen ook. Wanneer je kunt werken met Facebook, Instagram en Twitter, dan kun je dit ook!

“Voor ons was het belangrijk dat studenten op hun eigen tempo kunnen leren, wanneer ze maar willen, dat is nu gelukt. Daar zijn we heel blij mee,” zegt Marieke.