Voor het ontwerpen van onderwijs bestaan veel verschillende methoden en manieren. Sommige zijn groot en uitgebreid, andere zijn juist simpel en klein opgezet. Maar wist je dat er een ontwerpmethode is die eigenlijk niet officieel bestaat?

Het zogeheten ADDIE-model is vooral in het onderwijs een bekend begrip. Het dient voor ontwerpers als houvast om een lesmethode op te zetten en te evalueren. Het bijzondere is dat dit model nooit door iemand is opgeschreven of gepubliceerd. Er is niet zoiets als ‘het’ ADDIE-model. Wat is het dan wel?

Het ADDIE-model kun je zien als een basis voor veel andere modellen, voor instructie-ontwerp. Het is zo bekend omdat het al zo’n 40 jaar mondeling wordt overgedragen. De fasen van het model zijn gedurende die tijd nagenoeg hetzelfde gebleven. Onderzoekers hebben er wel op voortgebouwd, waardoor meer gespecificeerde modellen naast het ADDIE-model zijn ontstaan.

Waar staat ‘ADDIE’ voor?

Elke letter van de afkorting staat voor een van de fasen in het cyclische proces van het ADDIE-model. Door dit proces te volgen kun je een lesmethode sterk onderbouwen en evalueren.

1. Analyse (analyseren)

Je begint met het uitvoeren van een aantal analyses. Zo verzamel je informatie over verschillende aspecten die je moet weten, omdat je instructie daar op aangepast zal moeten worden. Hierbij moet je denken aan:

• het (onderliggende) probleem in kaart brengen
• voor welke doelgroep je de instructie maakt en in welke context deze doelgroep zit
• wat de behoeften zijn van zowel de doelgroep als de opdrachtgever
• hoeveel kennis je al hebt over het betreffende onderwerp

2. Design (ontwerpen)

Als je tevreden bent over de analyse ga je ontwerpen. Je gaat aan de slag met het maken van de leerdoelen, de opzet van de lessen, welke media je nodig hebt, welk platform je gaat inzetten, enzovoorts. Aan het eind van deze fase moet je een duidelijk doel hebben met bijbehorende overeenstemming voor de vorm en inhoud van de instructie.

3. Development (ontwikkelen)

In deze fase ga je bezig met het daadwerkelijk maken van de instructie zoals die in de ontwerp-fase is bedacht. Tussendoor is het belangrijk om bezig de blijven met het testen van je producten, zie hiervoor ook de laatste ‘fase’.

4. Implementation (implementatie)

Bij het implementeren van de instructie ga je de ontwikkelde instructie gebruiken. Je kunt er hier voor kiezen om één of meerdere testen te doen voordat je het eindproduct inzet. In deze fase betrek je de instructeurs en de leerlingen of kandidaten erbij, zij kunnen namelijk belangrijke feedback geven. Daarnaast zouden zij goed door moeten hebben hoe ze met de instructie om moeten gaan. Denk bijvoorbeeld aan een docentenhandleiding met bijbehorende lesboeken voor leerlingen.

5. Evaluation (evaluatie)

Als laatste ‘fase’ ga je evalueren. Fase tussen aanhalingstekens, omdat het ADDIE-model voorschrijft dat je na elke fase evaluatie toepast. Dit zou ervoor moeten zorgen dat je tijdens het hele ontwerpproces nadenkt over hoe je het nog sterker kan verbeteren.

Er zijn twee manieren waarop je evalueren kunt aanpakken: formatieve en summatieve evaluatie.

• Formatieve evaluatie vindt plaats gedurende het gehele stappenplan. Denk bij de analyse- en designfasen bijvoorbeeld aan een expert uit het betreffende domein, die informatie en feedback kan geven waarmee je de instructie kan verbeteren.
• Summatieve evaluatie kan voor zowel ontwerpers als gebruikers nuttig zijn. Dit kan al met iets simpels als een toets of examen. De uitkomsten daarvan kunnen inzicht geven aan ontwerpers, omdat er duidelijk wordt in welke mate men de opgestelde leerdoelen beheerst. Aan de hand van die gegevens kunnen er weer aanpassingen worden gedaan als dat nodig is.

Deze fasen zijn een globale weergave van het ADDIE-model. Niet elke stap hoeft gevolgd te worden, maar het is wel van belang dat je je bewust bent van de fase waarin je als ontwerper zit. Probeer bij het ontwerpen van je instructie hier eens aan terug denken, misschien krijg je er nieuwe inzichten door!

Met de RemindoToets release van 27 september, is tevens de nieuwe kennisbank online gekomen. Vooralsnog bevat de kennisbank informatie over RemindoToets, maar deze zal de komende tijd uitgebreid worden met ook informatie over onze andere producten.

In RemindoToets kun je in de Kennisbank kijken door rechtsboven in je scherm te klikken op het informatiesymbool ( i ).

Nadat je de Kennisbank hebt geopend, kom je terecht op de algemene handleiding. Deze bevat de informatie die nodig is om met RemindoToets aan de slag te gaan. Gebruik hiervoor ook de zoekfunctie om zo snel een artikel te vinden over een bepaald onderwerp.

Je zult hier ook toelichtingen vinden voor de verschillende vraagtypen die in RemindoToets worden aangemaakt. Een nieuwe toevoeging hieraan is de werkbladvraag. Dit vraagtype komt met een uitgebreide handleiding met afbeeldingen en voorbeelden. Ben je benieuwd hoe dit vraagtype in elkaar zit? Kijk dan vooral op de bijbehorende pagina!

Als je de Kennisbank buiten RemindoToets om wil bekijken, is dat ook mogelijk.

We zullen bezig blijven om de Kennisbank zo goed mogelijk aan te vullen en te verbeteren. Heb je een tip, opmerking of verzoek? Laat het ons vooral weten!

Met de release van 27 september is er een nieuwe vraagsoort toegevoegd aan RemindoToets: de werkbladvraag. Met dit vraagtype zijn er nieuwe mogelijkheden beschikbaar in RemindoToets, zoals het aanmaken van een werkblad en het instellen van antwoordlijsten. Dit kan heel handig zijn voor het aanmaken van vragen waarin een kandidaat een balans moet opmaken, maar denk bijvoorbeeld ook aan het vervoegen van woorden.

In dit artikel vind je een kort overzicht van wat de werkbladvraag precies kan toetsen, hoe je lijsten maakt en op welke manier je een antwoordmodel opzet. Een gedetailleerde handleiding kun je hier vinden, in de nieuwe Kennisbank.

De werkbladvraag

Als auteur kun je een werkbladvraag helemaal instellen zoals je zelf wilt. Je kunt cellen vullen met tekst, ze samenvoegen met andere cellen en de randen arceren. Er is een speciale instelling voor een cel die aangeeft dat een kandidaat zelf een antwoord moet invullen. Als ontwerper van een vraag heb je de mogelijkheid om aan te geven waar de kandidaat dit moet doen.

Op de afbeelding hierboven is dit te zien. De knop “Sta kandidaat-invoer toe” markeert een cel met een lichtgele kleur, wat duidelijk maakt dat hier een antwoord ingevuld kan worden.

Het invullen van een antwoord hangt af van de instellingen van een cel. Dit kan tekst zijn, maar ook een getal of bedrag.

Stel, je wilt dat de kandidaat een bedrag invult, selecteer dan het euro teken (€) om de ingevoerde gegevens als bedrag te behandelen. Als in die cel een getal wordt ingevoerd, zal er automatisch een euroteken voor komen te staan. Het zorgt er ook voor dat wanneer een kandidaat hier tekst invult, deze automatisch wordt weggehaald. Als ontwerper kun je zo de controle houden over hoe jouw vraag beantwoord moet worden.

Je kunt ook kiezen voor een opzoeklijst als antwoordmogelijkheid.

Lijsten

Met een opzoeklijst geef je een kandidaat de mogelijkheid om uit een aantal opties te kiezen. Er zijn twee belangrijke functies voor het inschakelen van een opzoeklijst, die je kunt zien in de onderstaande afbeelding:

1. Hiermee behandel je de cel als opzoeklijst, welke door de ontwerper wordt ingesteld. Dit betekent dat een kandidaat de betreffende lijst te zien krijgt wanneer op de cel wordt geklikt. Hier stel je ook in welke gegevens uit de lijst worden gepresenteerd na een selectie door de kandidaat.
2. Met deze functie maak je een lijst aan. In een lijst kun je antwoorden invoeren waar een kandidaat uit kan kiezen. Je kunt hier ook antwoorden maken die verschillende kolommen achter elkaar invullen. Je kunt de lijst een naam geven, je kunt de kolom waarin de antwoorden staan een naam geven en deze in- of uitschakelen voor een opzoeklijst.

Hier rechts zie je een voorbeeld van een lijst. De lijst in het voorbeeld kan worden gebruikt voor het opmaken van een balans, waarbij de kandidaat de juiste antwoorden op de bijbehorende plek op het werkblad moet invullen.

Alleen kolom 1 zal worden getoond in de opzoeklijst, waarbij je als ontwerpen kan beslissen of kolom 2 op het werkblad zal verschijnen.

Antwoordmodel

Het antwoordmodel is voor de werkbladvraag uitgebreider dan voor andere vraagtypen. Je kunt rekening houden met combinaties van antwoorden en je kunt de kandidaat meer vrijheid geven door antwoorden binnen een bepaald bereik goed te keuren.

In het antwoordmodel hiernaast is het vervoegen van het werkwoord ‘lopen’ als voorbeeld genomen.

Het antwoordmodel zal in de cellen A2 t/m B7 zoeken naar de combinatie van kolom A en kolom B. “Ik loop” wordt in dit geval goedgekeurd. “Ik lopen” wordt als fout gemarkeerd, omdat deze combinatie niet in het antwoordmodel staat.

Wil je graag weten hoe al deze schermen er precies uit zien in RemindoToets? Probeer vooral eens een werkbladvraag te maken in je eigen RemindoToets-omgeving.

Ben je op zoek naar een uitgebreidere handleiding voor de werkbladvraag met een aantal voorbeelden? Kijk dan eens in de nieuwe Kennisbank!

Er zijn allerlei aspecten van invloed op de toetsresultaten van studenten: het geluid in de zaal, de temperatuur, de vraagstelling, het tijdstip waarop de toets wordt afgenomen.
Maar wist je dat ook de gekozen computer of het toetsenbord de student positief of negatief kan beïnvloeden?

Bij het afnemen van een toets, wil je iets meten. Dat ‘iets’ wordt meestal een construct genoemd. Een construct kan bijvoorbeeld zijn: iemands kennis over de middeleeuwse geschiedenis of iemands vaardigheid in het rekenen met breuken.

Om dat te meten, stellen we toetsen samen. Deze toetsen bestaan uit meetapparatuur: de vragen. In de praktijk meten deze vragen vaak ook iets anders dan enkel het bedoelde construct.
Wanneer de vragen erg lang zijn, meet het bijvoorbeeld ook iemands taalvaardigheid. Dit noemen we construct irrelevante variantie. De gemeten variantie is namelijk niet relevant voor het construct. Het heeft niets te maken met de middeleeuwse geschiedenis of vaardigheid in het rekenen met breuken.

Construct irrelevante variantie kan ook optreden door andere keuzes die je hebt gemaakt. Het kan optreden door bijvoorbeeld te kiezen voor een toetsafname op de computer. Zo is niet iedereen even computervaardig. Het gevolg is dat je dan niet zomaar de papieren toetsresultaten kan vergelijken met de digitale toetsresultaten. Het is belangrijk om je te beseffen hoe verschillen veroorzaakt kunnen worden.

Verschillende factoren hebben invloed op de digitale toetsafname:

1. Het gekozen apparaat

   Er kan construct irrelevante variantie optreden wanneer studenten verschillende apparaten gebruiken voor de toetsafname. Het gaat dan om de kenmerken van het apparaat, zoals het formaat, de vorm en de lay-out en hoe de student hiermee omgaat. De kenmerken van het apparaat bepalen hoe de informatie wordt bekeken en hoe de student antwoord moet geven op de vragen. Een toets maken op een laptop of op een telefoon is bijvoorbeeld heel verschillend en er kan nader bekeken worden of je die resultaten dan wel op dezelfde manier kunt gebruiken.

2. Schermgrootte

   Ook schermgrootte is een belangrijker factor om zorgvuldig te bekijken. Op een kleiner scherm zal er wellicht vaker gescrold moeten worden om informatie op te nemen, dan op een groter scherm. Onderzoek laat zien dat studenten toetsen vanaf een groter scherm als prettiger ervaren.

3. Ergonomie en positie

   Wanneer studenten een toets thuis maken, wordt er wel eens geconstateerd dat ze dit met de laptop liggend op de bank aan het doen zijn. Dit heeft doorgaans een effect op het toetsresultaat. Wanneer je wordt gedwongen een actief zittende houding aan te nemen, ben je meer geconcentreerd aan het werk.

4. Touchscreen

   Werken met een touchscreen, zoals een tablet, is heel fijn voor veel toepassingen. Zo kun je de tablet draaien voor een beter beeld en je kunt de afbeelding vergroten die je beter wilt bekijken. Voor toetsen is het niet altijd handig. De precisie van je vinger ten opzichte van een computermuis is niet hetzelfde. Daarnaast is het aanraken van de touchscreen al direct verbonden aan het antwoorden van de vraag, terwijl een computermuis eerst nog naar het specifieke gebied bewogen moet worden om vervolgens te klikken.
   Er is een voorbeeld bekend van een toets waarin studenten de komma via een touchscreen op de juiste plek in een zin moest plaatsen. De touchscreen is minder precies, waardoor de komma vaak niet op de goede plek terecht kwam en de studenten raakten hierdoor zo gefrustreerd dat ze de hele vraag maar hebben overgeslagen.
   Dit is overigens per doelgroep verschillend. Jongere mensen waarderen een touchscreen doorgaans beter en kunnen er ook beter mee overweg.

5. Toetsenbord

   Er zijn verschillende toetsenborden beschikbaar. De grootste verschillen worden gemeten wanneer er gebruik wordt gemaakt van een touchscreen of onscreen toetsenbord. Dit frustreert studenten en vertraagt hen bij het typen. Het typen zou zo natuurlijk mogelijk moeten verlopen. Gebruik vooral toetsenborden waar de studenten regelmatig mee werken. En let erop dat het toetsenbord niet teveel herrie maakt, wanneer je in grote zalen tegelijk toetst.

Bron: Way, W. D., Davis, L. L., Keng, L., & Strain-Seymour, E. (2016). From Standardization to Personalization. In F. Drasgow, Technology and tesing (pp. 260-285). New York: Routledge.

Concreet en Paragin tekenden onlangs de overeenkomst voor uitbreiding van de samenwerking, met een nieuwe leeromgeving!

Concreet Onderwijsproducten onderhoudt, vernieuwt en ontwikkelt leermiddelen en examenproducten voor de vmbo-en mbo-instellingen die opleiden voor een beroep in de bouw, infra en gespecialiseerde aannemerij.

De bestaande digitale leeromgeving Bouwinfranet was aan flinke vernieuwing toe, waarop Concreet middels een aanbestedingsprocedure op zoek ging naar een partner voor het vernieuwen van de digitale leeromgeving.
Paragin werd met een aantal andere aanbieders uitgenodigd om haar leeromgeving te presenteren en om mee te denken over de visie op onderwijs en ontwikkelen.

Er bestond reeds een nauwe samenwerking tussen Concreet en Paragin, doordat Concreet al een aantal jaren volop gebruik maakt van het Examenplatform bouw en infra voor kennis- en praktijkexamens en van de Digitale Trajectmap, beide vormgegeven binnen MijnPortfolio.nl.

Na een uitgebreide selectieprocedure werd onlangs de overeenkomst getekend door directeur Erik Meijering (Concreet) en Jeroen Bakker (Paragin). Momenteel wordt hard gewerkt aan het doorontwikkelen van de ideeën en de inrichting van de software.

We zijn er erg trots op dat een bestaande klant haar gebruik van onze software zo flink uitbreidt, met een nieuwe leeromgeving waarbinnen de nadruk ligt op gebruiksgemak en op onderwijs volgens het didactische 4C/ID-model.

De verschillende platforms die Concreet nu gebruikt, komen bij elkaar in één omgeving. Studenten vinden al het lesmateriaal van hun opleidingen op één plek en houden eenvoudig een portfolio bij met duidelijk inzicht in de voortgang.
Niet alleen helpt dit de studenten, ook de docenten worden ondersteund om onderwijs op maat te bieden en studenten goed te begeleiden.

Concreet werkt momenteel inhoudelijk aan het vernieuwen van de opleiding Timmeren. De verschillende modules binnen deze opleiding zijn straks te gebruiken via de vernieuwde digitale leeromgeving. In samenwerking met Paragin en diverse ROC’s en leerbedrijven laat Concreet dit zo goed mogelijk bij de praktijk aansluiten.

Ook is er oog voor de docent met een speciale docentomgeving die gaat ondersteunen bij het geven van lessen, en wordt gekeken naar interessante ontwikkelingen als 3D en augmented reality.

Wil je meer weten over de mogelijkheden van de leeromgeving van Paragin? We informeren je graag!

Er wordt een beslissing genomen over een aanpassing in het curriculum of een beleidsverandering in de school. “We gaan het anders doen”, is de boodschap. Hoe zorg je ervoor dat deze beslissing niet eindigt in ontevredenheid, geklaag binnen teams, tegenwerking van collega’s, ‘ja zeggen en nee doen’ en het afschermen van eigen werk. De oorzaak hiervan ligt niet altijd in de beslissing, maar vaak ook in manier waarop beslissingen worden genomen. Een ander besluitvormingsproces zou de redding kunnen zijn.

Iedere medewerker in een organisatie heeft een ander beeld. De schoolleiding, de docenten of de conciërge: ze hebben allemaal een ander beeld van de school en van wat belangrijk is voor de school. Ten onrechte denken mensen in de bovenste lagen van de organisatie vaak dat ze zicht hebben op al deze perspectieven, maar de werkelijkheid kan hier erg van verschillen.

Dit betekent dat we van elkaar moeten leren en open moeten staan voor de informatie die de ander heeft. Hoe meer de beelden verschillen, hoe meer spanning dat oplevert. Dat voelt vaak onprettig en negatief, maar kan juist het startpunt zijn van een passende en creatieve oplossing, waar iedereen mee kan leven.

Besluitvorming vindt regelmatig lineair plaats. Het stroomt één richting uit: van leidinggevenden naar medewerkers. Dat zorgt soms voor weerstand in de organisatie, maar ook kan dit dat de organisatie minder makkelijk bestuurbaar maken. Er kan een beslissing worden genomen, maar we weten niet of het ook daadwerkelijk uitgevoerd wordt. Want hoe weet je of mensen iets gaan doen, wanneer je niet weet of ze erachter staan?

Cyclisch besluitvormingsproces

Een oplossing volgens Endenburg & Van der Meché is niet het uitbannen van het lineaire besluitvormingsproces, maar hiervan een cyclisch proces maken, waarin alle betrokkenen gelijkwaardig zijn.

In zo’n cyclisch besluitvormingsproces krijgt iedere organisatorische eenheid een eigen kring (bijvoorbeeld alle teams). Alle leden van de eenheid maken deel uit van de kring en daaraan wordt een afgevaardigde uit een naastgelegen kring toegevoegd.

De kring maakt beslissingen over het beleid voor hun eenheid. Beslissingen worden genomen op basis van het consentbeginsel. Dat betekent dat wanneer er ‘geen overwegend bezwaar’ is, de beslissing wordt genomen. Niet iedereen hoeft het er volledig mee eens te zijn en er is ook geen vetorecht. Iedereen wordt gevraagd bij bezwaren met argumenten te komen, zodat de deelnemers in de kring daarover een oordeel kunnen geven.

Er zijn kringen op verschillende niveau’s. Zo wordt bijvoorbeeld in de directiekring besloten om het curriculum aan te passen, maar in een andere kring wordt besloten met welke lesmethode er gewerkt gaat worden.

De kern van de besluitvormings-methode bestaat uit 4 principes:

1. Het consent (er is geen overwegend bezwaar) bepaalt de besluitvorming;
2. De organisatie wordt opgebouwd uit kringen. Besluitvorming voor beleid vindt plaats in deze kring, binnen de grenzen van de direct bovenliggende kring;
3. Kringen zijn dubbel gekoppeld: elke kring is gekoppeld met een naastgelegen kring, door een leidinggevende en een afgevaardigde uit een andere naastgelegen kring toe te voegen.
4. Er is een open verkiezing voor functies en taken binnen de kring.

Zo’n cyclisch besluitvormingsproces is niet alleen geschikt voor grote organisaties. Ook op kleinere schaal wordt het gebruikt om afspraken te maken. Bijvoorbeeld in gezinnen, door huisvergaderingen te houden over zakgeld of klusjes.

Bron: Endenburg, G., & van der Meché, P. Hoe geef je een lerende organisatie succesvol vorm?

Het samenstellen van een toets gebeurt vaak handmatig door de docent of de toetsontwikkelaar. Het is een tijdrovend en nauwkeurig werk. RemindoToets kan de vragen ook voor je selecteren. Waar moet je dan rekening mee houden?

Het samenstellen van een toets wordt vaak gedaan op basis van een toetsmatrijs. De inhoudsexperts bekijken deze toetsmatrijs en kiezen (of maken) hierbij de passende vragen. De vragen worden gesorteerd, met elkaar vergelijken en in een juiste volgorde geplaatst. Eventueel worden er direct meerdere versies van de toets gemaakt, waarbij gelet wordt op gelijke zwaarte. Wanneer iedere versie van de toets voldoet aan de vereisten en de beschrijving uit de toetsmatrijs, gaan de toetsen naar de vaststeller en worden ze afgenomen.

Het maken van goede vragen kost veel meer tijd dan het samenstellen van een toets. Maar toch is het de moeite waard om de werkwijze eens goed door te nemen. Waar kun je in dit proces de hulp van de software inzetten? Voor het samenstellen van een toets, maak je vaak gebruik van een expert. Is het samenstellen van de toets echt iets wat bij de inhoudsexpert thuis hoort? De tijd die je hebt met de inhoudsexpert kun je wellicht veel nuttiger inzetten.

Daarnaast kun je software ook gebruiken om het proces van toetsen samenstellen te verbeteren. Voor mensen is het mogelijk om bij het samenstellen van een toets rekening te houden met de moeilijkheid van de vraag, de inhoudsdimensie, het vraagtype en misschien nog de kwaliteit. Meer dan dat wordt heel lastig. Je kunt dat als mens bijna niet overzien.

Toets laten samenstellen door RemindoToets

Wanneer je de toets samenstelt met behulp van RemindoToets kun je dit nog gedetailleerder doen dan handmatig. Het is mogelijk om meerdere vraageigenschappen aan vragen toe te voegen, zoals een taxonomie-niveau, een onderwerp, maar bijvoorbeeld ook eventuele genderverschillen, zoals vragen die jongens meer aanspreken dan meisjes en andersom. Of vraaglengte, waardoor de toetsen ook qua leeswerk met elkaar vergelijkbaar zijn.

In RemindoToets heb je de beschikking over de toetsmatrix (toetsmatrijs op basis van een matrix). Wanneer je een toetsmatrix ontwerpt, kan RemindoToets automatisch een toets samenstellen, gebaseerd op de vereisten die omschreven staan in de toetsmatrix.

Daarna heb je de keuze om de geselecteerde vragen in de toets als vaste set aan te bieden. Hierdoor heb je vooraf precies in beeld welke vragen de kandidaten krijgen. Je kunt meerdere varianten laten samenstellen, waarmee je verschillende versies kunt afnemen, die gebaseerd zijn op dezelfde toetsmatrix.

Je kunt er ook voor kiezen om de toets ad random vragen te laten selecteren op basis van de toetsmatrix. Je bent er dan van verzekerd dat de vragen die worden gepresenteerd aan de kandidaten bij de vereisten in de toetsmatrix passen, maar je weet niet welke set vragen de kandidaten zullen krijgen.

Dit levert een aantal praktische voordelen op, zoals het voorkomen van spiekgedrag en je hoeft dan geen nieuwe toetsen meer samen te stellen. Maar het vermindert je zicht op de kwaliteit van de toets vooraf en je moet er zeker van zijn dat alle vragen goed gelabeld zijn. Zoals bijvoorbeeld de uitsluitingen: vragen die niet bij elkaar in één toets mogen komen, omdat ze bijvoorbeeld teveel op elkaar lijken.

Wanneer je RemindoToets de vragen laat selecteren, of dit nu in een vaste set gebeurt of ad random, is het van belang dat je achteraf de volgende twee zaken controleert:

1. 1. Worden vragen overgeslagen?
      Je kunt je toetsmatrix zodanig hebben ingesteld dat bepaalde vragen in de vragenbank nauwelijks worden ingezet. Dat is zonde. Het kost veel tijd en geld om die vragen te ontwikkelen en je wilt ze graag laten rouleren. Je kunt vaak door aanpassing aan de instellingen of het koppelen van een vraageigenschap deze vragen weer laten meedoen.
   2. Zijn er vragen die altijd worden gekozen?
      Het kan ook andersom gebeuren: de toetsmatrix is zo ingesteld dat sommige vragen altijd worden geselecteerd. Dat is ook onwenselijk, omdat het de exposure van je vraag vergroot. Hoe meer kandidaten deze vraag maken, hoe sneller de vraag ‘op straat’ bekend is. Ook hierbij geldt: kijk eens goed naar de vraageigenschappen en probeer handig om te gaan met de instellingen van de toetsmatrix.

Over het algemeen is het nuttig om bij flexibel samengestelde toetsen ervoor te zorgen, dat de vragenbank waaruit geput wordt groot is en goed gecategoriseerd. Wil je daar meer over weten? SURF heeft er een mooi handboek over gepubliceerd.

Gebruik maken van RemindoToets bij het samenstellen van de toetsen, zorgt ervoor dat je veel beter kunt aansluiten bij de toetsmatrijs en dat parallelle toetsen veel meer op elkaar lijken. En dat geldt natuurlijk niet alleen voor digitaal afgenomen toetsen. Ook bij de papieren toetsen van RemindoToets kun je hier gebruik van maken.

Bron: Drasgow, F. (2015). Technology and testing: Improving educational and psychological measurement. Routledge.

Toen Stichting Praktijkleren de overstap wilde maken van papieren naar digitale toetsen, werden verschillende toetsapplicaties bekeken en getest. Er werd gekozen voor RemindoToets en inmiddels is de pilotfase bijna achter de rug. We spreken Franca Zijlstra van Stichting Praktijkleren over haar ervaringen.

Stichting Praktijkleren ondersteunt roc’s door les- en examenmateriaal te ontwikkelen voor praktijkleren, binnen én buiten de school. Dat doen zij voor de sectoren Zakelijke dienstverlening, Veiligheid & Vakmanschap, ICT en Commercie van het middelbaar beroepsonderwijs, in nauwe samenwerking met de roc’s.

De wens ontstond om de kwaliteit van de examens te verhogen door middel van toets- en itemanalyse, het examenproces beter te beveiligen en de administratieve lasten te verlagen van zowel de eigen organisatie als de roc’s. Hierdoor werd besloten om een overstap te maken van examens op papier naar digitaal examineren.

Waarom is de keuze gemaakt om te gaan werken met RemindoToets?

Franca: “Bij het digitaliseren van alle processen rondom examineren, komt een hoop kijken. Doordat we al wat ervaring hadden opgedaan met diverse pilotafnames, konden we de verschillende aspecten van ons interne constructieproces en het afnameproces op het roc vertalen naar een uitgebreide eisen- en wensenlijst. Deze lijst hebben we vervolgens aan verschillende leveranciers van toetssystemen voorgelegd. Wat direct opviel aan Remindotoets, was hoe compleet het systeem al was. Alle noodzakelijke functionaliteiten (onze musthaves) waren aanwezig en dat was lang niet bij alle systemen het geval.

Opvallend in het contact met Paragin, was de mate waarin zij met ons mee wilden denken. Ook als zij ons een ‘nee, dat kan (nog) niet’ moesten verkopen, werd er meegedacht over alternatieve opties. Daarnaast werd de aard van onze vraag uitgebreid onderzocht: waarom hadden we deze functionaliteit nodig, wat wilden we daarmee bereiken? Als nieuwe gebruiker ben je nog niet volledig op de hoogte van alle mogelijkheden die de software te bieden heeft en dus is het extra belangrijk dat een leverancier kritisch met je meekijkt.

Om een systeem zowel intern als extern ‘over de bühne’ te krijgen, is het van groot belang dat het gebruiksvriendelijk en intuïtief is. Zowel onze eigen medewerkers als de gebruikers op de roc’s moeten er op een prettige en eenvoudige manier mee kunnen werken. Onze eerste korte test met de verschillende systemen bestond daarom uit het construeren en samenstellen van een toets en het inplannen, maken en beoordelen van diezelfde toets in een afnameomgeving. Onze insteek was dat dit zou moeten lukken zonder handleidingen en zonder ondersteuning van een supportdesk. RemindoToets kwam als enige systeem met vlag en wimpel door deze test heen. Na deze eerste positieve ervaringen besloten we dan ook met RemindoToets een proof of concept uit te voeren.”

Hoe verliep de implementatie van RemindoToets?

Franca: “Voor elke stap in het proces – van constructie van het examen tot de examenafname op het roc – hebben we met de gebruikers getest of voor hun specifieke taak alle benodigde voorwaarden aanwezig waren in het systeem. In de praktijk loop je namelijk tegen andere dingen aan dan je van tevoren kunt bedenken. Alle betrokkenen hebben ons van uitgebreide feedback voorzien en dit hebben wij vervolgens meegenomen in de gesprekken met Paragin. De ervaringen waren zo positief, dat we direct een contract voor een pilotjaar hebben afgesloten.

De pilot zijn we gestart met één opleidingsgebied, waarvan de kennisexamens uitsluitend gesloten vragen bevatten. ‘Eerst maar eens een afgebakende test met gesloten vragen succesvol laten verlopen, voordat we met de rest van de opleidingsgebieden en open vragen beginnen’, was onze gedachtegang.

Omdat dit opleidingsgebied toevallig ook net een nieuw kwalificatiedossier kreeg en wij aan de start stonden van het construeren van nieuwe examens, hebben we in overleg met de betreffende roc’s besloten om die constructie direct digitaal te laten plaatsvinden. Naast dat dit de uiteindelijke implementatie zou bespoedigen, was onze verwachting ook dat dit extra waardevolle ervaringen en inzichten op zou leveren tijdens de pilot. We moesten immers de gehele beheeromgeving al inrichten, passend bij onze processen en bij de vorm en inhoud van onze examens.

Dit is iets wat in één keer goed moet gebeuren en hierbij heeft Paragin ons dan ook begeleid en uitgebreid geadviseerd. Denk aan het indelen van je opleidingen, vragenbanken, rollen en rechten en de instellingen van zowel de beheeromgeving als de afnameomgevingen. Dat was overigens ook één van de doorslaggevende factoren in onze keuze voor RemindoToets: de mogelijkheid tot een afnameomgeving per roc en het kunnen aanpassen van instellingen aan schoolspecifieke situaties. Geen roc is immers hetzelfde dus het is prettig dat zij bepaalde instellingen zelf kunnen beheren en dat RemindoToets deze flexibiliteit biedt.

Tijdens de pilot heeft RemindoToets zich als betrouwbaar systeem bewezen, waar de roc’s goed mee uit de voeten konden. Hierdoor konden we al snel de andere opleidingsgebieden uitrollen (inclusief examens met open vragen) en de pilot gebruiken om overige zaken te testen die bij het digitaliseringsproces komen kijken. Denk bijvoorbeeld aan handleidingen, instructiefilmpjes en trainingen voor zowel de interne als de externe gebruikers; ook die wil je graag getest hebben voordat ze officieel deel uit gaan maken van je trainingsaanbod.”

Hoe hebben jullie RemindoToets uitgerold richting de roc’s?

Franca: “Bij een overgang van papier naar digitaal is het belangrijk dat je de gebruikers intensief betrekt. Daarom hebben we naast het geven van presentaties, workshops en trainingen ook diverse bijeenkomsten georganiseerd voor docenten, managers, examenbureaus, beleidsmedewerkers en examencommissies.

Veel besproken thema’s waren onder andere het vaststellen van examens, inzagerecht, het archiveren van resultaten, koppelingen met leerling administratiesystemen en een hele belangrijke: beveiliging, zeker in combinatie met BYOD (Bring Your Own Device).

Daarnaast hebben we een aparte werkgroep in het leven geroepen, waarmee we specifiek de business case van digitaal toetsen hebben besproken. Wat zijn de kosten en baten van digitaal toetsen, zowel kwantitatief als kwalitatief?
Het doel van deze bijeenkomsten was om te informeren, input op te halen en om samen helder te krijgen wat er allemaal nodig is om de overgang van papier naar digitaal te kunnen maken (en op welke termijn).
Uiteindelijk hebben we besloten dat we verder gaan met RemindoToets.

Gedurende het schooljaar 2020-2021 maken de digitale kennis- en vaardigheidsexamens onderdeel uit van ons reguliere aanbod, maar hebben scholen nog de keuze hebben of ze onze papieren examens of digitale examens willen gebruiken. Voor ons kleeft hier een echter een groot nadeel aan; namelijk dat van dubbel onderhoud. Je laat in feite twee processen naast elkaar bestaan, wat foutgevoelig, arbeidsintensief en niet efficiënt is. We merkten echter dat veel scholen het niet zouden redden om op tijd klaar te zijn voor deze digitalisering en we vonden dat we die geluiden serieus moesten nemen.”

Hoe zijn jullie ervaringen met Paragin?

Franca: “Tijdens dit gehele proces hebben we nauw contact gehad met Paragin, waarbij ze intensief met ons hebben meegedacht en zowel onze feedback als dat van onze gebruikers zeer serieus hebben genomen. De supportdesk was zeer goed bereikbaar en de drempel om contact op te nemen en om advies te vragen hebben we als zeer laag ervaren. Daarnaast was het erg fijn dat ze ons in contact konden brengen met andere gebruikers, zodat we ook met hen eens van gedachten konden wisselen.

We hebben Paragin eigenlijk niet alleen als leverancier, maar ook als samenwerkingspartner ervaren. Een gedreven partner die met veel enthousiasme met verschillende partijen samenwerkt én veel ervaring heeft in het MBO. En dat zie je terug in hun software.”

Ben je ook benieuwd naar de mogelijkheden van RemindoToets? Neem dan vooral even contact op. We informeren je graag!

RemindoToets release 20-3 is deze week online gekomen voor alle gebruikers! Hierin hebben we een aantal mooie nieuwe toevoegingen opgenomen, die we de ‘Corona-release’ zijn gaan noemen.

Er is een viertal veelgevraagde toevoegingen opgenomen in deze release, die specifiek van pas komen in de huidige crisis. We zijn er trots op hiermee onderwijsinstellingen, examenaanbieders en opleiders te mogen helpen bij het vormgeven van nieuwe en aangepaste vormen van onderwijs, beoordelen en examineren.

Zo is er plagiaatcontrole toegevoegd, in samenwerking met Turnitin. Met deze toevoeging kan direct gecontroleerd worden of het werk van de kandidaat overeenkomsten heeft met dat van andere studenten óf met teksten van het internet.

Ook is het nu mogelijk om op afstand videotoezicht te houden op tijdens een toets of examen. Dit kan met behulp van ProctorExam of Proctorio.

Verder is de mogelijkheid toegevoegd om te voorkomen dat deelnemers kunnen terugbladeren in een toets, en de optie tot het versturen van mededelingen naar kandidaten tijdens de toetsafname.

Wil je meer informatie over deze nieuwe functionaliteiten, of ben je benieuwd naar de overige toevoegingen binnen RemindoToets? We informeren je graag!