Examenfraude is een groot probleem. Wanneer je (digitaal) gaat toetsen, zijn er vooraf allerlei maatregelen te treffen om examenfraude te voorkomen. Helaas heb je nooit de zekerheid dat je proces volledig waterdicht is. Gelukkig zijn er manieren om examenfraude achteraf op te sporen. Zoals het analyseren van de responstijd. Hoe snel hebben de kandidaten het antwoord gegeven en in hoeverre is dit afwijkend?

RemindoToets toont na de afname, bij iedere vraag de gemiddelde responstijd op de vraag. Dit is de tijdsduur die de kandidaten gemiddeld nodig hebben gehad om de vraag te beantwoorden. De responstijd kun je vinden bij de itemindices van de toetsanalyse. Je ziet voor iedere vraag de gemiddelde responstijd en wanneer je klikt op het klokje, zie je de exacte responstijd per kandidaat.

Bij het bekijken van de responstijd is de belangrijkste vraag: is de responstijd van deze kandidaat realistisch? Kandidaten die examenfraude plegen, zouden bijzonder snel of juist heel langzaam kunnen reageren. Snel antwoorden zou kunnen wijzen op voorkennis van het examenmateriaal. Langzaam antwoorden zou kunnen wijzen op het gebruik van niet-toegestane hulpmiddelen, zoals een mobiele telefoon.

RemindoToets geeft automatisch een melding weer bij de responstijd wanneer de reactiesnelheid van één van de kandidaten meer dan twee standaarddeviaties afwijken van de gemiddelde responstijd. Dat is heel prettig, omdat je eventuele afwijkingen direct in beeld krijgt, maar het werkt natuurlijk niet als de hele klas fraudeert. Dan is de gemiddelde responstijd geen goede graadmeter.

Toch kun je niet zomaar de conclusie trekken: de responssnelheid van deze kandidaat is afwijkend en dus heeft hij gefraudeerd. Er zullen altijd kandidaten zijn die structureel erg snel reageren of juist heel lang doen over het geven van een antwoord.

Daarom is het belangrijk om op zoek te gaan naar andere aanwijzingen.

1. Bekijk of de kandidaat wel het juiste antwoord heeft gegeven

De responstijd van foute antwoorden wordt ook getoond. Een kandidaat kan soms vrij snel besluiten dat hij de vraag niet kan beantwoorden en dan snel een keuze maken. Dat zorgt voor een afwijkende responstijd, maar heeft niets te maken met examenfraude.

2. Is de responstijd realistisch, gekeken naar de vraag en de moeilijkheid hiervan?

Een moeilijke berekeningsvraag in meerkeuze-vorm, kost meer tijd dan een makkelijke vraag in hetzelfde vraagtype naar een definitie.

3. Wat is er bekend over de algemene responstijd van deze kandidaat?

Zijn er nog meer toetsresultaten bekend van deze kandidaat, bekijk dan hoe zijn responstijd er doorgaans uitziet. Is hij altijd erg snel of juist heel langzaam?

4. Bekijk het logboek, hoe vaak is er van antwoord gewisseld?

Ook wisselgedrag blijkt een goede indicator te zijn voor examenfraude. Heeft de kandidaat zijn antwoord vaak gewisseld? Dan kan er sprake zijn van fraude. In het logboek van de vraag kun je zien hoeveel interacties er zijn geweest.

Alles bij elkaar kan duidelijkheid geven over of er sprake is geweest van examenfraude. Dat begint meestal bij een verdenking op basis van andere binnengekomen informatie. Met alleen de responstijd kun je een dergelijke conclusie meestal niet trekken. Het kan wel nuttig zijn om te achterhalen over vragen wellicht al bekend zijn en om extra maatregelen te treffen voor komende examenmomenten.

Bron: De Klerk, S., Van Noord, S., Van Ommering, C., Vegt, K., Mulder, A., & Boonman, K. (2019). Educational data forensics. Examens, 1, 15-19.

De tekst is af, de opdracht is duidelijk beschreven, nog even een leuk plaatje erbij, misschien nog een filmpje en klaar! We doet het heel vaak. We kleden ons lesmateriaal mooi aan. En nu het digitaal wordt aangeboden, dan maken we daar graag gebruik van. Toch is het belangrijk om daar vooraf goed over na te denken. Wees zorgvuldig met het inzetten van multimedia voor leermaterialen. Het kan ook enorm in de weg staan.

De laatste jaren is er een flinke hoeveelheid onderzoek geweest over leren met multimedia. Gebaseerd op de resultaten zijn er verschillende aanbevelingen gekomen over hoe tekst, afbeeldingen en andere multimedia gepresenteerd moeten worden om het leren te stimuleren.

Vooral de Cognitive Theory of Multimedia Learning (CTML) van Mayer en zijn collega’s is de meest bekende theorie over de inzet van multimedia.

De principes van Mayer bouwen voort op eerdere theorieën over het opslaan van informatie in ons geheugen.

Gebaseerd op een aantal basisprincipes werkte Mayer 7 ontwerpprincipes uit, waarin hij adviezen geeft over het toepassen van multimedia in onderwijsmateriaal. Met het volgen van deze principes zou het leren met behulp van multimedia maximaal ondersteund worden.

1. Het multimedia principe

Dit principe houdt in dat studenten beter kennis verwerken, wanneer tekst verrijkt wordt met beelden.

Dus vooral multimedia inzetten waar dat kan.

2. Het ‘spatial contiguity principe’

De beschikbare afbeeldingen moeten zo dicht mogelijk bij de bijbehorende tekst staan. Zodat de tekst en de afbeelding geïntegreerd opgenomen kan worden.

Dat betekent dat we de tekst en bijbehorende multimedia dicht bij elkaar moeten plaatsen. In de praktijk zie je dat informatie soms verdeeld over verschillende pagina’s.  Dan lezen we eerst de tekst en zien we een pagina later de bijbehorende afbeelding. Dat is niet effectief. Plaats het zoveel mogelijk op één pagina. Denk na over wat bij elkaar hoort en in één keer opgenomen moet worden.

3. Het ‘temporal contiguity principe’

Het leren wordt effectiever wanneer de tekst en bijbehorende multimedia simultaan wordt aangeboden. Dat betekent dat de student kijkt naar de afbeelding en tegelijkertijd de bijbehorende audio moet horen. Hierbij gaat het vooral om de combinatie van visuele en auditieve informatie. In een filmpje gebeurt dat automatisch. Wanneer een student moet luisteren naar een audio-fragment, dan is het belangrijk om eraan te denken de bijbehorende afbeelding(en) op hetzelfde moment te tonen.

4. Het modaliteitsprincipe

Dit principe stelt dat audio effectiever is dan tekst. Dat betekent dat je lange teksten wellicht beter ingesproken kunt aanbieden als audio fragment. Dit principe is gebaseerd op de werking van het werkgeheugen. Informatie komt binnen via het sensorisch geheugen en gaat vervolgens naar het werkgeheugen. Hier wordt de binnengekomen informatie verwerkt om daarna opgeslagen te worden in het lange termijn geheugen. De verwerking in het werkgeheugen gebeurt met behulp van twee kanalen. De fonologische lus die de auditieve informatie verwerkt en het visio-spatieel kladblok die de teksten en beelden verwerkt.

Het probleem met het werkgeheugen is dat het maar beperkte capaciteit aankan. Bied je teveel informatie aan, dan wordt er maar een kleine selectie verwerkt door het werkgeheugen en opgeslagen. De rest is dan verloren gegaan. Er is voor het werkgeheugen al vrij snel sprake van overbelasting. Daarom wil je de twee kanalen ten volste benutten. Wanneer je tekst en afbeeldingen aanbiedt, vindt de verwerking alleen plaats via het visio-spatieel kladblok. Wanneer je in plaats daarvan de tekst vervangt door audio, belast je beide kanalen. En maak je efficiënter gebruik van de capaciteit van het werkgeheugen.

Er is veel onderzoek gedaan naar het modaliteitsprincipe. Het effect kan teniet worden gedaan door details. Bijvoorbeeld het stemgeluid en het niet opnieuw kunnen beluisteren van de audio kunnen juist een negatief effect geven. Het is dus vooral belangrijk om het in te zetten wanneer dat logisch lijkt.

5. Het coherentieprincipe

Leermaterialen zijn optimaler wanneer er geen overbodige informatie aan is toegevoegd. Je moet dan denken aan het leuke achtergrondgeluidje in een video of de opmaak van de e-learning omgeving. Alle informatie die afleidt van de daadwerkelijke lesstof, veroorzaakt onnodige belasting van het werkgeheugen en moet je dus zoveel mogelijk voorkomen. Dat betekent dat je dus toch niet die grappige smiley ertussen plakt. Volgens het coherentieprincipe is een saaie opmaak, juist een hele ondersteunde opmaak.

6. Het redundantieprincipe

Volgens dit principe is het niet wenselijk om dezelfde informatie tegelijkertijd twee keer te presenteren. Je moet hierbij denken aan bijvoorbeeld de filmpjes waarin je de gesproken tekst ook onderin het scherm mee kunt lezen. Onderzoek van Mayer toonde aan dat het effectiever is om dit niet te doen. Studenten kunnen niet goed focussen wanneer er op zoveel manieren informatie binnenkomt via het sensorisch geheugen. Je kunt dus niet echt goed luisteren, wanneer je ook geneigd bent om te lezen en tegelijk ook naar het beeld moet kijken. Dat gaat ten koste van één van de aangeboden informatiebronnen. Dat betekent dat je de overbodige informatie (de tekst die gelezen kan worden) achterwege laat.

7. Het principe van individuele verschillen

Het effect van de hierboven beschreven principes verschilt per student. Onderzoek laat zien dat deze principes een grotere impact hebben op studenten met veel ruimtelijk inzicht en weinig voorkennis.

Bron: Mayer, R., & Mayer, R. E. (Eds.). (2005). The Cambridge handbook of multimedia learning. Cambridge university press.

De werking van onze hersenen heeft een groot effect op studieresultaten. Vind je dit interessant en wil je hier meer over weten? Kom dan naar ons Paragin Event op 27 februari ‘leerprincipes van het brein.’ 

Zelfsturend leren zou een centrale rol moeten hebben in het huidige onderwijs. Door te werken aan zelfsturend leren, bereid je studenten voor op een levenlang leren. Je zorgt ervoor dat studenten zelf leren initiatief te nemen, zicht krijgen op hun eigen leerbehoeften en daar planmatig aan kunnen werken. Een e-portfolio is een mooi hulpmiddel bij het ontwikkelen van zelfsturend leren. En toch werpt het niet altijd zijn vruchten af. Waar komt dat door?

Of een e-portfolio daadwerkelijk zelfsturend leren bevordert en/of ondersteunt, heeft te maken met factoren op 5 verschillende niveaus.  Al deze factoren bepalen of het e-portfolio daar een succesvolle rol in kan spelen.

1. Institutionele factoren

Onderzoek van Beckers et al. (2016) laat zien dat op institutioneel niveau twee factoren een negatieve invloed kunnen hebben op het doelgericht inzetten van het e-portfolio.

De eerste factor die van negatieve invloed is, zijn ‘niet passende institutionele richtlijnen’. Het succesvol ondersteunen van de ontwikkeling van zelfsturend leren begint bij een onderwijsvisie waarin zelfsturend leren gewaardeerd wordt en actief wordt ondersteund. Dit bepaalt of de school haar tijd en middelen beschikbaar stelt om te werken aan zelfsturend leren. Wanneer dit in orde is, zal ook minder sprake zijn van de tweede negatieve invloed: ‘ongetrainde docenten’. Docenten moeten uiteraard weten hoe zij studenten het beste kunnen begeleiden.

De rol van de docent bij het begeleiden van zelfsturend leren kan anders zijn. Het vraagt om een meer coachende rol, waarin vooral de studenten gestimuleerd worden om vervolgstappen te bedenken. Onder anderen Beckers geeft daarom het advies om faculteitsontwikkeling aan te bieden om docenten te helpen bij het veranderen naar een rol die past bij zelfsturend leren.

2. Curriculum factoren

Belangrijk op curriculumniveau is dat het portfolio naadloos geïntegreerd moet zijn in het curriculum. Omdat zelfsturend leren in hele curriculum een rol speelt, speelt het portfolio daarmee ook een rol in alle lessen. Hoe meer het e-portfolio een onderdeel uitmaakt van de hele opleiding, hoe groter het succes ervan.

Wanneer het e-portfolio wordt ingezet ter bevordering van zelfsturend leren moet je goed nadenken over de inzet van het portfolio bij toetsing. Een e-portfolio wordt intensiever gebruikt, wanneer het een toets-status krijgt. Maar het effect hiervan kan ook van negatieve invloed zijn op de ontwikkeling van zelfsturend leren (zie ook ons eerdere artikel hierover). Portfoliogebruik past goed bij samenwerkend en competentiegericht toetsen. Zorg altijd voor een duidelijk onderscheid tussen de momenten en handelingen waarvan geleerd wordt en de momenten waarop dit dient voor toetsing. Laat bij voorkeur de student zelf bepalen wat hij wanneer inzet voor de toets.

3. Leerproces factoren

In potentie is een e-portfolio een krachtig leermiddel. Het is dan wel belangrijk dat gebruikers ermee overweg kunnen. Het is verstandig om ervoor te zorgen dat de omgeving niet onnodig complex is, en technisch weinig verwacht van gebruikers. Dus denk goed na: hebben we deze module echt nodig om te bereiken wat we willen bereiken?  En zorg ervoor dat gebruikers voldoende getraind zijn.

4. Persoonlijke factoren

Wanneer de school alles heeft gefaciliteerd om een succes te maken van het zelfsturend leren met behulp van het e-portfolio, bestaan er nog altijd persoonlijke factoren die soms voor problemen kunnen zorgen. Er zullen studenten zijn die weinig motivatie hebben om te werken aan het portfolio of het niet noodzakelijk achten. Actieve coaching kan dat beperken. Ook laat het onderzoek van Beckers et al. zien dat scholen waar actief gewerkt wordt aan scaffolding betere resultaten geven op het gebied van zelfsturend leren met e-portfolio’s. Het zou dus de moeite waard kunnen zijn om scaffolding op te nemen in de instructiestrategieën van de school. Leraar24 geeft meer uitleg over scaffolding.

5. Portfolio factoren

Ook het e-portfolio zelf kan van negatieve invloed zijn. Het is belangrijk om te kiezen voor een e-portfolio dat technisch in orde is. Portfolio’s waarin je doelen kunt stellen, plannen kunt maken en die je helpen bij zelfevaluatie, toonden het beste resultaat op het gebied van zelfsturend leren. Het met name van belang dat het e-portfolio ondersteunend is aan de doelstellingen die je wilt bereiken. Naast zelfsturend leren zijn er vaak ook andere doelen verbonden aan het e-portfolio. Hoe meer doelen, hoe meer wensen, hoe complexer de keuzes die gemaakt moeten worden. Bij Paragin helpen we je graag bij het destilleren van alle wensen en doelen die er zijn. Neem gerust contact met ons op.

Bron: Beckers, J., Dolmans, D.H.J.M., & van Merriënboer, J.J.G. (2016). e-Portfolios enhancing students’ self-directed learning: A systematic review of influencing factors. Australasian Journal of Educational Technology, 32(2), 32-46

Een mooi moment om terug en vooral ook vooruit te kijken!

Het is 20 jaar geleden dat Paragin werd ingeschreven bij de Kamer van Koophandel, in eerste instantie als ontwikkelaar van websites. Rond 2007 werden de eerste stappen gezet in de wereld van toetsen en examineren in het MBO. Inmiddels richt Paragin zich op het met software ondersteunen van groei en ontwikkeling van mensen en organisaties. Met softwareplatforms voor onder andere digitaal toetsen, het ondersteunen van online opleidingstrajecten, het uitvoeren van EVC- trajecten en het vormgeven van loopbaan- en talentontwikkeling, is er een brede basis om mensen te helpen het beste uit zichzelf te halen.

De afgelopen jaren hebben we een mooie groei meegemaakt. We zijn trots op onze platforms, die door de jaren heen steeds completer zijn geworden. Veiligheid en betrouwbaarheid zijn hierbij altijd heel belangrijke thema’s geweest. In dit kader is onder andere de ISO 27001 certificering behaald, nu alweer vier jaar geleden. Het team is natuurlijk gegroeid, zowel qua omvang als qua soorten functies, waardoor er bijvoorbeeld sinds een paar jaar een servicedesk voor onze klanten klaar staat. Er is veel kennis in huis die we graag delen, bijvoorbeeld op onderwijskundig gebied en over de markten waarbinnen we werken. Daarnaast proberen we te ondersteunen, enthousiasmeren én inspireren middels onze nieuwsbrief en gratis events en workshops. Naast veel nieuwe gebruikers van onze platforms, zijn we ook heel blij met de organisaties waarmee we na vele jaren nog steeds met veel plezier samenwerken.

Groeistuipen en kernwaarden

Ook de komende jaren verwachten we deze groei door te zetten. We doen ons best om te groeien op een manier die bij ons past. Dat brengt groeistuipen en groeipijnen met zich mee. Er is niet meer evenveel tijd per project als vroeger, niet iedereen weet meer alles, en er is meer interne communicatie nodig om iedereen op de hoogte te laten zijn. We willen zo goed mogelijk blijven voldoen aan de verwachtingen van mensen die soms al ruim tien jaar met ons samenwerken, wat af en toe een flinke uitdaging kan vormen omdat we nu meer op een werkdag moeten doen dan vroeger. Ook qua communicatie en mensen goed informeren brengt een grotere schaal weer nieuwe uitdagingen met zich mee. We hebben daar goede ideeën voor en werken daar al enige tijd hard aan, maar het blijven aandachtspunten naar de toekomst toe.

We blijven het belangrijk vinden dat mensen graag met ons en onze producten (blijven) werken. En dat onze kernwaarden herkenbaar blijven, of je nu advies krijgt over hoe we je kunnen ondersteunen met onze software, je een servicedesk medewerker spreekt, een van de trainingen bijwoont of belt over een factuur. Klanten mogen van ons verwachten dat ze vriendelijk te woord worden gestaan. En dat wij open, betrouwbaar en integer zijn. Of het nu gaat om veiligheid van gegevens binnen onze platforms, de dingen die besproken worden met Paragin- medewerkers of de beschikbaarheid van de software.

Kenmerkend voor Paragin is en blijft ons tariefmodel, waarbij je énkel betaalt voor daadwerkelijk gebruik en bijvoorbeeld niet voor hosting, setup, training, onze servicedesk of onderwijskundig advies. We willen graag prettig en langdurig samenwerken. Onze klanten vooruit helpen en het verschil kunnen maken. Natuurlijk middels mooie, betrouwbare en flexibele software, maar ook door een goed advies, meedenken waar nodig, en het leggen van verbindingen tussen mensen en organisaties.

Nieuwe collega’s en nieuwe workshops

In 2020 verwachten we flink te groeien qua aantal medewerkers. Onlangs is Simone er op de Servicedesk bij gekomen en per januari zijn Naziha en Stefano begonnen, twee ervaren nieuwe programmeurs. Ook zijn we bezig met uitbreiding van het team dat nieuwe klanten helpt met implementatie van de software. Wanneer een nieuwe omgeving klaar staat voor jou als klant, mooi vormgegeven in je eigen huisstijl, en je gaat aan de slag met het vullen en in gebruik nemen hiervan, dan adviseren en ondersteunen we hier bij waar mogelijk. Persoonlijk, en per mail, telefonisch en ook steeds meer via video conferencing.

Aansluitend starten vanaf februari maandelijks algemene workshops voor onze platforms RemindoToets, RemindoContent en MijnPortfolio.nl. We lichten tijdens deze bijeenkomsten telkens voor één van onze producten de (basis)functionaliteiten toe en vertellen je hoe je zo optimaal mogelijk van onze software gebruik kunt maken. Nieuwe gebruikers zijn natuurlijk welkom, maar zeker ook bestaande gebruikers die een opfrisser of wat extra ondersteuning kunnen gebruiken.
Deze trainingen worden gegeven naast de al bestaande Paragin Events, die wat bredere onderwerpen bevatten. Deze trainingen en workshops blijven kosteloos, als onderdeel van onze service naar onze klanten en partners.
Ook zullen we gaan werken aan een kennisbank binnen onze platforms, om als gebruiker makkelijke informatie over de werking en mogelijkheden van onze producten te kunnen vinden.

Nachtrust bieden en nieuwe ideeën ontwikkelen

Verder willen we kijken of we onze uptime van 99.96% (op basis van 24/7 over al onze producten) nog verder omhoog kunnen brengen, door nog meer (externe) risico’s verder uit te sluiten. Hoewel het uptime percentage al erg hoog is en we een scala aan maatregelen tegen de effecten van downtime hebben getroffen, realiseren we ons dat ook een kleine periode aan downtime enorm vervelend is voor onze klanten en gebruikers. We willen onderzoeken of we hier nog meer in kunnen betekenen.

Natuurlijk wordt er ook verder ontwikkeld aan onze software. We houden de markt scherp in de gaten, luisteren naar wensen en ideeën van onze gebruikers en combineren dit met onze eigen visie. Op deze manier besluiten we waar we het komende jaar met plezier aan gaan werken.

Er ligt met 2020 dus weer een spiksplinternieuw jaar vol mooie en uitdagende plannen op ons te wachten. We kijken er naar uit om onze ontwikkeling verder vorm te geven, waarbij we natuurlijk heel graag in contact blijven met onze bestaande klanten en partners, op een steeds grotere schaal nieuwe klanten mogen verwelkomen, en verder onderzoeken hoe we samen kunnen blijven groeien!