We zijn trots op de nieuwe functionaliteiten die de afgelopen maanden zijn ontwikkeld voor RemindoToets. Afgelopen zaterdag, 4 mei zijn deze middels release 19-1 beschikbaar gekomen voor alle RemindoToets gebruikers. 

Naast de diverse optimalisaties, bevat deze release een aantal mooie, nieuwe toevoegingen.

Een greep uit de toevoegingen:

• In de beheeromgeving is het nu mogelijk om op basis van de bestaande vraagtypes, vraagsjablonen aan te maken. Denk hierbij bijvoorbeeld aan een standaardsjabloon voor ‘Ja/Nee vragen’ of een meerkeuzevraag met drie antwoordopties welke nooit gehusseld mogen worden. Deze standaardsjablonen kunnen vervolgens ook door andere gebruikers binnen de omgeving worden gebruikt.
• Er is een workflow toegevoegd rondom het proces van het ontwikkelen en goedkeuren/vaststellen van een toets(matrijs). Er bestond al een ‘Goedkeuring’ voor toetsen/toetsmatrijzen, maar aan dit proces zijn meerdere stappen toegevoegd en komt nu overeen met het ontwikkel- en goedkeuringsproces van vragen. Daarnaast is de nieuwe rol van ‘Vaststeller’ toegevoegd, bijvoorbeeld voor het enkel vaststellen van een toetsmatrijs.
• Er zijn diverse uitbreidingen aan de toetsmatrix gedaan. De toetsmatrix is nu ook als dynamische toets te gebruiken en het is bijvoorbeeld mogelijk om op basis van de toetsmatrix lege vragen aan de vragenbank toe te voegen, op basis van de ingestelde leerdoelen en criteria. Deze lege vragen zijn dan meteen aan de juiste categorie en eventueel aan de juiste vraageigenschappen gekoppeld.
• Bij het afnemen van toetsen waarin media wordt gebruikt, is het mogelijk om het aantal keer dat een mediabestand kan worden afgespeeld door de deelnemer, te limiteren  Hierdoor kan een kandidaat een videobestand bijvoorbeeld maar 2 keer bekijken en wordt deze daarna geblokkeerd. Daarnaast kan een kandidaat tijdens de toets in casusteksten tekst markeren met verschillende kleuren en er opmerkingen bij plaatsen.
• Bij oefeningen en oefentoetsen met open vragen is het nu mogelijk dat de kandidaat deze zelf nakijkt. Dit is ook te combineren met een correctieronde, welke door een corrector nagekeken moet worden.
• De nakijkpagina is voorzien van paginering, markeringsopties en filters, waardoor de corrector makkelijk kan wisselen naar kandidaten die nog niet zijn nagekeken en/of waar hij/zij een markering bij heeft geplaatst.
• De corrector heeft tijdens het nakijken de optie gekregen, om eerder gebruikte feedback in het tekstveld bij de ene kandidaat, eenvoudig te kunnen hergebruiken bij het nakijken van de resultaten van andere kandidaten, om zo sneller en efficiënter soortgelijke feedback te kunnen geven.
• Nadat de toetsen zijn afgenomen en de resultaten bekend zijn, bevat de analyse nu naast de cronbach’s alpha ook de ‘standaard meetfout’, om een idee te krijgen over de betrouwbaarheid van de toets.

Ben je benieuwd naar de volledige Release Notes, of wil je meer weten over RemindoToets, neem dan vooral even contact met ons op!

Op 16 april werd na een uitgebreide aanbesteding een overeenkomst getekend tussen directeuren van de Hogeschool Arnhem Nijmegen (HAN) en Paragin. Onderwerp van de schoolbrede aanbesteding was het contracteren van een online inlever- en beoordelingsplatform voor summatieve toetsproducten. Het platform van Paragin bleek na een gedegen proces de beste oplossing.

Vanaf september 2019 starten de eerste 8.000 studenten verdeeld over 16 opleidingen, met de nieuwe inlever- en beoordelingsapplicatie. Vervolgens zullen later in het schooljaar de overige 22.000 studenten en alle opleidingen van de HAN ermee aan de slag gaan. Binnen de applicatie kunnen individuele en groepsproducten ingeleverd worden door studenten, welke door één of meerdere beoordelaars beoordeeld kunnen worden. De applicatie biedt uitgebreide feedbackmogelijkheden, beoordelaars zien een duidelijk overzicht van de te beoordelen producten en krijgen inzicht in de voortgang van de studenten. Daarnaast zijn er koppelingen gemaakt met onder meer de plagiaatsoftware SimCheck van Turnitin en het studentinformatiesysteem Aluris.

Hogeschool Arnhem Nijmegen en Paragin werken al langer samen binnen verschillende Paragin-producten, onder meer voor peerfeedback, beoordelen en archivering. We zijn blij om ook te kunnen ondersteunen bij het inleveren en beoordelen van sunmmatieve toetsproducten!

Soms is hij lid van een examencommissie, andere keren is hij de externe betrokkene, de inhoudsdeskundige of iemand die steeds een andere pet op heeft: de vaststeller. Het lijkt in het hele toetsproces soms een functie die een formaliteit afhandelt. Maar niets is minder waar. Zonder vaststeller, geen examenkwaliteit.

Wanneer het vaststellen een formele stap is in de totstandkoming van een examen, dan gebeurt dit vaak op twee momenten tijdens het examenproces:

1. Het vaststellen van de toets

Het vaststellen van de toets gebeurt voor de toetsafname. Hier kijkt de vaststeller of de toets voldoet aan de kwaliteitscriteria die zijn gesteld. Wanneer de toets is goedgekeurd dan wordt deze vastgesteld, en kan de toets daadwerkelijk afgenomen worden.

2. Het vaststellen van de toetsresultaten

Na de afname worden de toetsresultaten geanalyseerd. Dan wordt op basis van de toetsresultaten gekeken, in welke mate een valide en betrouwbare beslissing genomen kan worden.  Als dit binnen de gestelde kwaliteitsgrenzen ligt, kunnen de toetsresultaten vastgesteld worden. Soms hebben de kandidaten al een voorlopige uitslag gekregen, welke dan definitief wordt gemaakt.

Om een toets vast te stellen beoordeelt de vaststeller of de toets voldoet aan de kwaliteitscriteria. De school of de examencommissie stelt deze kwaliteitscriteria meestal vast in het toetsbeleid, of in losse documenten die gaan over de examenorganisatie. De school kan daarbij rekening houden met de context waarin wordt gewerkt. Zo kan de invloed van de school op de toetsing veel minder zijn, wanneer examens worden ingekocht of wanneer er onderwijs wordt gegeven in een vakgebied dat zich nu eenmaal moeilijk laat toetsen. Dat zie je terug in mildere kwaliteitscriteria.

In de praktijk zie je meestal de volgende kwaliteitscriteria terugkomen, die de vaststeller bij de hand houdt om te beslissen of het examen kan worden vastgesteld:

• Past de toetsvorm en -inhoud bij de leerdoelen?

Om een vak te toetsen worden vooraf leerdoelen opgesteld, die soms nog worden vertaald naar toetscriteria. Zowel de docent die de inhoud van de lessen verzorgt als de toetsmaker moeten zich houden aan deze leerdoelen. Daarmee voorkom je dat de inhoud van de toets niet herkend wordt door de studenten. Dat betekent dat de vragen die in een toets worden gesteld, moeten passen bij de leerdoelen waar deze toets over gaat.

De toetsvorm speelt hierbij ook een grote rol. Als de student aan het einde van de opleiding een vogelhuisje moet kunnen timmeren, dan kun je dat niet toetsen met een theorie-examen. Dat klinkt heel logisch, maar in de praktijk blijkt er door allerlei praktische redenen niet altijd een goede toetsvorm te worden gekozen.

• Is de toetssamenstelling representatief, eerlijk en heeft het een passende omvang?

De vaststeller duikt in de inhoud. De vragen moeten inhoudelijk passen bij de leerdoelen, maar ook van een goed niveau zijn. Wanneer van studenten wordt verwacht dat ze theorie moeten kunnen toepassen in een praktijksituatie, dan kan niet het hele examen bestaan uit kennisvragen. Dan zou je op zijn minst bijvoorbeeld enkele casusvragen, het maken van berekeningen of het toepassen van kennis willen terugzien. Dat betekent dat de vaststeller controleert of de vragen representatief zijn qua inhoud en niveau, als hij kijkt naar de leerdoelen.

Daarnaast wil de vaststeller zien dat de toets eerlijk is voor alle studenten in de doelgroep. Dat betekent dat de vragen in de toets geen studenten voortrekken. Dat zie je bijvoorbeeld nog wel eens gebeuren wanneer herkansingsexamens eenvoudiger zijn dan de eerste-kans-examens. De herkansers krijgen hiermee een voordeligere situatie en dat is niet wenselijk. Ook kan een toets ongemerkt jongens, meisjes of studenten met een andere etnische afkomst bevoor- of benadelen. Wanneer een casus ingaat op de transfersituatie van de voetballers van een specifieke voetbalclub en daar 10 vragen over stelt, dan beoordeelt de vaststeller of dit voor ongelijkheid van toetsing zorgt.

Daarnaast is het belangrijk dat een toets een passende lengte heeft. Een te korte toets kan moeilijk meten of de leerdoelen echt zijn behaald. Een te lange toets kan ervoor zorgen dat een student in tijdnood komt, waardoor je ook niet meet of de leerdoelen zijn behaald. Past deze toets binnen de beschikbare tijd?

• Is voldaan aan alle afspraken?

De vaststeller kan tot slot controleren of er met betrekking tot deze toets is voldaan aan alle afspraken die zijn gemaakt rondom de toetsontwikkeling en -afname. Je kunt hierbij denken aan vragen als:

• Is de normering op een juiste manier tot stand gekomen?
• Heeft een inhoudelijk deskundige deze toets beoordeeld en wat was zijn oordeel?
• Krijgt de student voldoende instructies (toegestane hulpmiddelen, duur en omvang)?

Als alle vragen zijn beantwoord en het beeld van de vaststeller is positief, dan kan de toets worden afgenomen. Helaas is het gevaar dan nog niet geweken. Tijdens de afname kan er van alles gebeuren waarmee we de student een eerlijke toetsing ontnemen. In ieder geval is er dan aan de voorkant alles gedaan om dit te voorkomen.

Na afloop wordt de toets geanalyseerd. Hierbij komt de vaststeller weer in actie. Kunnen we op basis van deze toetsresultaten een valide en betrouwbaar oordeel geven? Dan zullen de resultaten worden vastgesteld en kan de cyclus opnieuw beginnen.

In de nieuwe release van RemindoToets heeft de vaststeller zijn eigen gebruikersrol gekregen. De vaststeller kan daarmee in RemindoToets de toetsmatrijzen die voor hem beschikbaar zijn vaststellen. Op zaterdag 4 mei 2019 is de nieuwe release met de rol van de vaststeller erin, uitgerold en online beschikbaar gekomen.

Steeds meer onderwijsinstellingen werken aan de 21^e-eeuwse vaardigheden van hun studenten. Deze vaardigheden zouden de studenten moeten bezitten om succesvol deel te nemen aan de arbeidsmarkt en maatschappij. Om je als student te kunnen ontwikkelen in deze vaardigheden, is het goed om inzicht te krijgen waar je nu staat en waar je je in kan en wilt ontwikkelen. KOMPAS21 helpt studenten inzicht te krijgen in hun 21^e-eeuwse vaardigheden en laat net als een echt kompas zien waar je nu staat en waar je heen wilt.

KOMPAS21 (Kennis Over Mijn Persoonlijke Attitudes en Skills21) is een project waarbij CINOP-ecbo en ROC Friese Poort samen met 11 andere mbo-instellingen en Paragin aan een nieuw (digitaal) instrument werken. Paragin heeft Pieter Baay, projectleider van KOMPAS21 namens CINOP-ecbo, een aantal vragen gesteld over KOMPAS21 om de lezers van de Paragin Update een kijkje te geven in de ontwikkeling van KOMPAS21.

Hoe is KOMPAS21 ontstaan?

“Begin 2017 troffen de bestuurder van ROC Friese Poort en ik elkaar. ROC Friese Poort was vanuit haar visie op Brede Vorming innovatieve ideeën aan het uitwerken rondom 21^ste-eeuwse vaardigheden en zij wilden daarvoor graag een reflectie-instrument. Voor vaardigheden als kritisch denken, ondernemendheid en sociale- en culturele vaardigheden. We wisten meteen: dat gaan we niet voor elke school apart doen. Heel snel hebben we toen andere mbo-instellingen benaderd en hadden we een groep bij elkaar. Samen financierden zij de ontwikkeling van het instrument en vormden we de projectgroep die er anderhalf jaar aan zouden werken.”

Waar staat KOMPAS21 eigenlijk voor?

“KOMPAS21 staat voor het symbool van een kompas, waarmee je je huidige locatie en toekomstige richting kunt ontdekken. Het staat ook voor Kennis Over Mijn Persoonlijke Attitudes en Skills21. Je leert jouw vaardigheden en attitudes kennen. 21^ste-eeuwse vaardigheden zijn namelijk een mix van kennis, vaardigheden, attitudes, waarden en ethiek; die proberen we te vangen in het instrument.”

Wie is de doelgroep?

“Het instrument richt zich in eerste instantie op studenten. Maar als we op 2 juli fase 1 afronden, bepalen we met welke nieuwe ideeën we aan de slag gaan. Een versie voor docenten en andere onderwijsprofessionals; een versie voor het bedrijfsleven; voor voortgezet onderwijs of hoger onderwijs? We hebben al zin in de volgende stap!”

Hoe is het instrument tot stand gekomen? 

“Elke maand van 2018 stond één vaardigheid centraal. We startten telkens met literatuuronderzoek, omdat er veel bekend is over de vaardigheden. Daarna hielden we een online peiling onder studenten en docenten. Hierin legden we de belangrijkste elementen voor en vroegen we deelnemers welke elementen zij het belangrijkst vonden en hoe ze dat terugzagen in het mbo. Daarna was het tijd voor een Group Design Room: een bijeenkomst met studenten, docenten en vertegenwoordigers uit het bedrijfsleven. Zij reflecteerden op de resultaten uit de literatuur en online peiling, om zo per vaardigheid te duiden waar deze in het mbo uit bestond en welke niveaus te onderscheiden zijn. Zo kwamen we tot rubrics per vaardigheid, die we gebruikten voor het maken van het reflectie-instrument.”

Wat waren de reacties van studenten?

“We hadden een Klas21, met studenten uit de verschillende scholen. Zij maakten vlogs over de vaardigheden en dachten mee over de vaardigheden. Voor hen leuk om eens met studenten uit het hele land op te trekken en voor ons heel fijn om zo een frisse en kritische blik op onze materialen te krijgen!”

Waar staat het project nu, in mei 2019?

“Paragin doet nu de digitalisering van het instrument en die gaan we proefdraaien in de scholen. We kijken dan of studenten uit de voeten kunnen met het instrument en de terugkoppeling die het programma biedt. Na de aanpassingen, is het instrument klaar voor de lancering op 2 juli op Urk! Alle bestuurders en projectgroepleden komen dan bij elkaar om het eind van fase 1 te vieren en het vervolg in te luiden.”

Straks is de eerste versie van het instrument dus klaar. Kun je wat meer vertellen hoe dit op de scholen gaat plaatsvinden?

“De scholen hebben hierin veel keuzevrijheid en je ziet dus ook verschillen ontstaan. Van de toepassing binnen LOB-gesprekken en Burgerschapslessen tot evaluatie van de stageperiode of een excellentieprogramma; studenten gaan er op verschillende manieren mee werken. Maar er zijn ook al ideeën om het instrument te gebruiken bij professionalisering van medewerkers en zelfs bij de beoordelingsgesprekken van het management!”

Jullie willen KOMPAS21 inzetten als reflectie-instrument en niet als beoordelingsinstrument. Hoe wordt voorkomen dat docenten het instrument als beoordelingsinstrument gaan zien?

“We hebben als projectgroep inderdaad gezegd dat het een reflectie-instrument moet zijn, dat vanuit een waarderend perspectief naar mensen kijkt. Niet de onvoldoendes proberen uit te vegen, maar (ook) kijken waar mensen goed in zijn en zich verder in willen ontwikkelen. Het instrument is daarom niet zomaar te gebruiken; dat vraagt goede begeleiding. We zijn nu de training aan het ontwikkelen om het instrument te gebruiken volgens ‘de bedoeling’.”

Wat vraagt KOMPAS21 van een school (de visie van een school, het curriculum, de docent, de student)?

“We zullen de komende tijd gaan ervaren waar scholen tegenaan lopen bij het gebruik van het instrument. Vanuit veranderkunde weten we dat het niet zomaar zal landen. We kijken met de scholen hoe zij zich het verbinden aan hun onderwijsvisie, hun professionaliseringsactiviteiten en de aanknopingspunten in het curriculum. De komende jaren zullen we nog veel onderzoeks- en praktijkvragen naar voren komen hoe we hiermee verder willen!”

Wil je meer lezen over KOMPAS21, bekijk dan de website.