Reeds een eeuw wordt veel gepubliceerd over de vraagvorm ‘meerkeuzevragen’. (1) De aanbevelingen over de constructie van deze vragen zijn weinig gewijzigd doorheen deze periode. (2) Vooral om grote groepen studenten te examineren is de vraagvorm populair wegens de hoge betrouwbaarheid, de tijdwinst voor het verbeteren van deze examens en de vele mogelijkheden voor doorgedreven itemanalyse. In het digitale tijdperk is de verbreiding van examens met meerkeuzevragen sterk toegenomen en is de kwaliteit van deze examens opnieuw ter discussie omdat al te vaak de indruk gewekt wordt dat het examen een quiz is waarbij je handig moet gokken en wat geluk hebben. Er kleven onmiskenbaar negatieve aspecten aan deze examenvorm zoals de beperkte validiteit omdat eerder feitenkennis dan hogere cognitieve processen zoals kritisch denken worden getest, de toename van het gissen naar het correcte antwoord en de tijdsintensieve opdracht om volgens de geldende kwaliteitscriteria deze examens te construeren. (3)
(1) Landrum, R. E., Cashin, J. R., & Theis, K. S., (1993). More evidence in favor of three-option multiple-choice tests. Educational and Psychological Measurement, 53, 771– 778.
(2) Ebel, R. L. (1951). Writing the test item. In E. F. Lindquist (Ed.), Educational measurement (pp. 185–249). Washington, DC: American Council on Education.
Wesman, A.G. (1971), Writing the test item. In R.L. Thorndike (Ed.), Educational measurement (pp. 91-129). Washington, DC: American Council on Education.
(3) http://benwilbrink.nl/publicaties/77KeuzevragenORD.htm
https://www.facultyfocus.com/articles/educational-assessment/multiple-choice-tests-pros-cons/
Doorheen deze lange traditie van meerkeuzevragen als examenvorm merken we enkele trends op.
1. Over de formele kenmerken van de vragen of items bestaat een consensus.
2. De ontwikkeling van examens wordt benaderd in het globale kader van kwaliteitszorg van de onderwijsinstelling. Zowel interne procedures als externe visitaties besteden ruime aandacht aan de component evaluatie. Juridische betwistingen door studenten over de evaluatieprocedures in hun instelling hebben eveneens de aandacht aangescherpt voor het kwaliteitsvol evalueren.
Met het nieuwe NVAO – Vlaanderen (2018) kader voor instellingsreview komt de aandacht te liggen bij de wijze waarop de instelling borg staat voor de kwaliteit van haar opleidingen. De instellingsreview beoordeelt de wijze waarop een universiteit of hogeschool onderwijsbeleid voert. Als onderdeel van dat onderwijsbeleid voert elke instelling een regie om zelf de kwaliteit van de opleidingen te borgen. Voor elke opleiding wordt verwacht dat de instelling o.a. kan aantonen dat volgend kwaliteitskenmerk wordt behaald: “De beoordeling van studenten weerspiegelt het leerproces en concretiseert de beoogde leerresultaten”.
https://www.nvao.net/files/attachments/.91/Beoordelingskader_instellingsreview_2019_2025.pdf
Zie ook: Oberon B.V. rapport over Fundamentele vragen over examens en toetsing (2019) https://www.rijksoverheid.nl/binaries/rijksoverheid/documenten/rapporten/2019/04/18/fundamentele-vragen-over-examens-en-toetsing/fundamentele-vragen-over-examens-en-toetsing.pdf
3. Volgende opties blijven discussie oproepen:
3.1 Toepassen van de correctie voor gissen
http://docplayer.nl/61020848-Examens-met-meerkeuzevragen.html
3.2 Aanduidingen vragen over de zekerheid van de antwoorden
3.3 Absolute of relatieve beoordelingen toepassen
4. Interne en/of externe handleidingen zijn in hogescholen en universiteiten beschikbaar om meerkeuzevragen volgens ‘the state of the art’ te construeren, verbeteren en analyseren. (1) Bij de redactie en selectie van de vragen is een grote vooruitgang merkbaar met het gebruik van een toetsmatrijs of toetsmatrix (2) waarbij bijvoorbeeld de doelen van een opleidingsonderdeel per hoofdstuk worden gekoppeld aan de constructie van de items. Zo kunnen belangrijke doelen door meer items worden vertegenwoordigd in het examen of kan een groter gewicht gegeven worden aan de score van deze items.
(1)
https://www.kuleuven.be/onderwijs/evalueren/mke
https://www.arteveldehogeschool.be/studielicht/meerkeuzeExamen/
https://cft.vanderbilt.edu/guides-sub-pages/writing-good-multiple-choice-test-questions/
(2)
https://husite.nl/toetsing/toetsmatrijs/
https://www.schoolmakers.be/differentieren/rubrics/
https://onderwijs-studentenzaken.vub.ac.be/sites/default/files/ID_Toetsmatrijs_2.pdf
https://toetsing.sites.uu.nl/modules/toetsmatrijs/theorie/
5. Bij de constructie van meerkeuzevragen wordt meer dan vroeger beroep gedaan op toets-experten. De itemanalyse wordt ingezet om zowel de kwaliteit van de items te verbeteren als om docenten en studenten feedback te geven over de behaalde resultaten. Naast de vele handleidingen die beschikbaar zijn voor de redactie van meerkeuzevragen voorzien instellingen ook in professionaliseringstrajecten voor hun docenten. Bijvoorbeeld de e-learnmodule Basiskwalificatie Examinering van de Hogeschool van Amsterdam. (https://score.hva.nl/Bronnen/BKE%20zelfstudiemodules.pdf)
Het zijn immers de docenten die de inhoudelijke component het beste kennen om te bepalen wat getoetst moet worden en de flankering met experten draagt o.m. bij om de vraagvorm adequaat te gebruiken en psychometrisch de examens te analyseren.
6. Opvallend is ook dat studenten voorbereid worden op deze examenvorm. Lijsten met tips om deze vraagvorm succesvol aan te pakken zijn erg makkelijk te ‘googelen’ of maken deel uit van de info die onderwijsinstellingen zelf geven over de evaluatie van opleidingsonderdelen.
https://soc.kuleuven.be/fsw/studentenportaal/studietips/Meerkeuzevragen
Cornell University, The Learning Strategies Center : How to tackle exam questions.
Toen we zelf onderzoek deden (1976) over de constructie van meerkeuzevragen hebben we een lans gebroken om foutenanalyse te koppelen aan de redactie van de afleiders. Na een representatieve steekproef studenten te examineren met open vragen heb je een beter zicht op de fouten die studenten maken en kan je de veel voorkomende fouten als afleiders aanbieden in meerkeuzevragen die je aanbiedt aan een grotere populatie studenten. Deze onderwijskundige benadering heeft weinig ingang gevonden omdat het een tijdsintensieve aangelegenheid is. Maar je mist dan ook interessante feedback voor de docent. Met de foutenanalyse kan je de focus verleggen van een kwantitatieve naar een kwalitatieve benadering van de leerresultaten. Een analyse naar het waarom studenten bepaalde fouten maken is een aanknoping om te reflecteren over hoe de docent de leerstof heeft aangeboden. De kwantitatieve analyses benaderen de studenten als subgroepen met sterke en zwakke scores.
Zie:
Een lichtpunt in deze onderwijskundige benadering van examineren is Gradescope. Gradescope is een methodiek en softwaretool ontwikkeld om meer mogelijkheden te bieden tot kwalitatieve feedback aan studenten en docenten en dit voor verschillende vraagvormen.
In een blogbericht van Katy Dumelle (2020) in Faculty Focus vinden we volgende conclusie:
Concrete data to shape instruction
Gradescope provides us with very fine grain data for each question regardless of type, from multiple choice to open-response questions. This allows instructors to modify instruction, reconsider test questions, and easily compare the similarity between versions of exams.
Having an easy way to sort each question and the response into groups of similar answers allows the instructional team to see instantly how many different responses students gave and how popular each one was—insights that are invaluable when planning follow-up instruction. It also saves team members precious time when providing students feedback. They can apply the same comment with one single click to every student who answered a question the same way.
With the insights we get from this approach, we can see exactly what students are doing well and where they’re going wrong. Whereas before, we were only guessing about the misconceptions that existed across all 800 students in the course, now we have concrete data to shape and inform our instruction.
Zie ook:
https://ctl.stanford.edu/use-learning-technology/gradescope
https://teaching.cornell.edu/learning-technologies/assessment-tools/gradescope