Toen Stichting Praktijkleren de overstap wilde maken van papieren naar digitale toetsen, werden verschillende toetsapplicaties bekeken en getest. Er werd gekozen voor RemindoToets en inmiddels is de pilotfase bijna achter de rug. We spreken Franca Zijlstra van Stichting Praktijkleren over haar ervaringen.
Stichting Praktijkleren ondersteunt roc’s door les- en examenmateriaal te ontwikkelen voor praktijkleren, binnen én buiten de school. Dat doen zij voor de sectoren Zakelijke dienstverlening, Veiligheid & Vakmanschap, ICT en Commercie van het middelbaar beroepsonderwijs, in nauwe samenwerking met de roc’s.
De wens ontstond om de kwaliteit van de examens te verhogen door middel van toets- en itemanalyse, het examenproces beter te beveiligen en de administratieve lasten te verlagen van zowel de eigen organisatie als de roc’s. Hierdoor werd besloten om een overstap te maken van examens op papier naar digitaal examineren.
Waarom is de keuze gemaakt om te gaan werken met RemindoToets?
Franca: “Bij het digitaliseren van alle processen rondom examineren, komt een hoop kijken. Doordat we al wat ervaring hadden opgedaan met diverse pilotafnames, konden we de verschillende aspecten van ons interne constructieproces en het afnameproces op het roc vertalen naar een uitgebreide eisen- en wensenlijst. Deze lijst hebben we vervolgens aan verschillende leveranciers van toetssystemen voorgelegd. Wat direct opviel aan Remindotoets, was hoe compleet het systeem al was. Alle noodzakelijke functionaliteiten (onze musthaves) waren aanwezig en dat was lang niet bij alle systemen het geval.
Opvallend in het contact met Paragin, was de mate waarin zij met ons mee wilden denken. Ook als zij ons een ‘nee, dat kan (nog) niet’ moesten verkopen, werd er meegedacht over alternatieve opties. Daarnaast werd de aard van onze vraag uitgebreid onderzocht: waarom hadden we deze functionaliteit nodig, wat wilden we daarmee bereiken? Als nieuwe gebruiker ben je nog niet volledig op de hoogte van alle mogelijkheden die de software te bieden heeft en dus is het extra belangrijk dat een leverancier kritisch met je meekijkt.
Om een systeem zowel intern als extern ‘over de bühne’ te krijgen, is het van groot belang dat het gebruiksvriendelijk en intuïtief is. Zowel onze eigen medewerkers als de gebruikers op de roc’s moeten er op een prettige en eenvoudige manier mee kunnen werken. Onze eerste korte test met de verschillende systemen bestond daarom uit het construeren en samenstellen van een toets en het inplannen, maken en beoordelen van diezelfde toets in een afnameomgeving. Onze insteek was dat dit zou moeten lukken zonder handleidingen en zonder ondersteuning van een supportdesk. RemindoToets kwam als enige systeem met vlag en wimpel door deze test heen. Na deze eerste positieve ervaringen besloten we dan ook met RemindoToets een proof of concept uit te voeren.”
Hoe verliep de implementatie van RemindoToets?
Franca: “Voor elke stap in het proces – van constructie van het examen tot de examenafname op het roc – hebben we met de gebruikers getest of voor hun specifieke taak alle benodigde voorwaarden aanwezig waren in het systeem. In de praktijk loop je namelijk tegen andere dingen aan dan je van tevoren kunt bedenken. Alle betrokkenen hebben ons van uitgebreide feedback voorzien en dit hebben wij vervolgens meegenomen in de gesprekken met Paragin. De ervaringen waren zo positief, dat we direct een contract voor een pilotjaar hebben afgesloten.
De pilot zijn we gestart met één opleidingsgebied, waarvan de kennisexamens uitsluitend gesloten vragen bevatten. ‘Eerst maar eens een afgebakende test met gesloten vragen succesvol laten verlopen, voordat we met de rest van de opleidingsgebieden en open vragen beginnen’, was onze gedachtegang.
Omdat dit opleidingsgebied toevallig ook net een nieuw kwalificatiedossier kreeg en wij aan de start stonden van het construeren van nieuwe examens, hebben we in overleg met de betreffende roc’s besloten om die constructie direct digitaal te laten plaatsvinden. Naast dat dit de uiteindelijke implementatie zou bespoedigen, was onze verwachting ook dat dit extra waardevolle ervaringen en inzichten op zou leveren tijdens de pilot. We moesten immers de gehele beheeromgeving al inrichten, passend bij onze processen en bij de vorm en inhoud van onze examens.
Dit is iets wat in één keer goed moet gebeuren en hierbij heeft Paragin ons dan ook begeleid en uitgebreid geadviseerd. Denk aan het indelen van je opleidingen, vragenbanken, rollen en rechten en de instellingen van zowel de beheeromgeving als de afnameomgevingen. Dat was overigens ook één van de doorslaggevende factoren in onze keuze voor RemindoToets: de mogelijkheid tot een afnameomgeving per roc en het kunnen aanpassen van instellingen aan schoolspecifieke situaties. Geen roc is immers hetzelfde dus het is prettig dat zij bepaalde instellingen zelf kunnen beheren en dat RemindoToets deze flexibiliteit biedt.
Tijdens de pilot heeft RemindoToets zich als betrouwbaar systeem bewezen, waar de roc’s goed mee uit de voeten konden. Hierdoor konden we al snel de andere opleidingsgebieden uitrollen (inclusief examens met open vragen) en de pilot gebruiken om overige zaken te testen die bij het digitaliseringsproces komen kijken. Denk bijvoorbeeld aan handleidingen, instructiefilmpjes en trainingen voor zowel de interne als de externe gebruikers; ook die wil je graag getest hebben voordat ze officieel deel uit gaan maken van je trainingsaanbod.”
Hoe hebben jullie RemindoToets uitgerold richting de roc’s?
Franca: “Bij een overgang van papier naar digitaal is het belangrijk dat je de gebruikers intensief betrekt. Daarom hebben we naast het geven van presentaties, workshops en trainingen ook diverse bijeenkomsten georganiseerd voor docenten, managers, examenbureaus, beleidsmedewerkers en examencommissies.
Veel besproken thema’s waren onder andere het vaststellen van examens, inzagerecht, het archiveren van resultaten, koppelingen met leerling administratiesystemen en een hele belangrijke: beveiliging, zeker in combinatie met BYOD (Bring Your Own Device).
Daarnaast hebben we een aparte werkgroep in het leven geroepen, waarmee we specifiek de business case van digitaal toetsen hebben besproken. Wat zijn de kosten en baten van digitaal toetsen, zowel kwantitatief als kwalitatief?
Het doel van deze bijeenkomsten was om te informeren, input op te halen en om samen helder te krijgen wat er allemaal nodig is om de overgang van papier naar digitaal te kunnen maken (en op welke termijn).
Uiteindelijk hebben we besloten dat we verder gaan met RemindoToets.
Gedurende het schooljaar 2020-2021 maken de digitale kennis- en vaardigheidsexamens onderdeel uit van ons reguliere aanbod, maar hebben scholen nog de keuze hebben of ze onze papieren examens of digitale examens willen gebruiken. Voor ons kleeft hier een echter een groot nadeel aan; namelijk dat van dubbel onderhoud. Je laat in feite twee processen naast elkaar bestaan, wat foutgevoelig, arbeidsintensief en niet efficiënt is. We merkten echter dat veel scholen het niet zouden redden om op tijd klaar te zijn voor deze digitalisering en we vonden dat we die geluiden serieus moesten nemen.”
Hoe zijn jullie ervaringen met Paragin?
Franca: “Tijdens dit gehele proces hebben we nauw contact gehad met Paragin, waarbij ze intensief met ons hebben meegedacht en zowel onze feedback als dat van onze gebruikers zeer serieus hebben genomen. De supportdesk was zeer goed bereikbaar en de drempel om contact op te nemen en om advies te vragen hebben we als zeer laag ervaren. Daarnaast was het erg fijn dat ze ons in contact konden brengen met andere gebruikers, zodat we ook met hen eens van gedachten konden wisselen.
We hebben Paragin eigenlijk niet alleen als leverancier, maar ook als samenwerkingspartner ervaren. Een gedreven partner die met veel enthousiasme met verschillende partijen samenwerkt én veel ervaring heeft in het MBO. En dat zie je terug in hun software.”
Ben je ook benieuwd naar de mogelijkheden van RemindoToets? Neem dan vooral even contact op. We informeren je graag!
