Toetsing en feedback De kwaliteit en implementatie in het hoger onderwijs Augustus | 2015
Samenvatting In het hoger onderwijs is er veel aandacht voor het verbeteren van toetsing. Voor studenten is goede toetsing heel belangrijk, omdat het uiteindelijke diploma een optelsom is van de resultaten van toetsen. Dit onderzoek biedt een overzicht van belangrijke bevindingen over kaders van toetsing en feedback. In de methodiek de toetsing getoetst wordt een kader voor toetsing beschreven waar het ISO zich goed in kan vinden. In deze methode maken toetsen onderdeel uit van toetsing, waarbij het van belang is dat de toetsing past bij de visie van de opleiding als geheel. In het Universal Design for Learning wordt daarnaast beschreven hoe het onderwijs en de toetsing zo ingericht kunnen worden dat het zo goed mogelijk aansluit bij studenten met verschillende leerstijlen. Om feedback een waardevoller onderdeel te laten uit maken van het leerproces van studenten, is het van belang dat studenten meer en op continue basis feedback ontvangen. In plaats van feedback geven op een toets in de vorm van een cijfer moet feedback gegeven worden op het leerproces van de student. Het vervangen van summatieve toetsen door formatieve voortgangstoetsen en tussentijdse toetsen is een goede ontwikkeling. Digitalisering kan de toetskwaliteit verbeteren, de intrinsieke motivatie van studenten verhogen en het geven van feedback vergemakkelijken. Bovendien zal door digitalisering de rol van docenten veranderen van kennisoverdrager naar feedbackgever. Het begeleiden van studenten zal namelijk niet vervangen kunnen worden door digitale leermiddelen. Dit blijkt onder andere uit de kenmerken waar goede feedback aan moet voldoen. De context waarin de feedback gegeven wordt is bijvoorbeeld erg belangrijk. De docent heeft de taak om een leeromgeving te creĂŤren waarin het leerproces centraal staat. Peer-feedback en middelen voor digitale feedback kunnen een aanvulling zijn op de feedback van de docent. Met dit onderzoek vraagt het ISO aandacht voor goede implementatie van bovenstaande kaders van toetsing en feedback. Er worden de volgende aanbevelingen gedaan: -
Toetsing dient aan te sluiten bij de visie van de opleiding; Formatieve tussentijdse of voortgangstoetsen moeten vaker worden ingezet in plaats van summatieve toetsing; Digitalisering moet meer worden ingezet bij toetsing; Er moet meer transparantie zijn in de beoordeling en meer gebruik worden gemaakt van feedback; Standaardisatie en afstemming van beoordelingscriteria en feedbackpunten is nodig; Docenten moeten op de hoogte zijn van de kenmerken van effectieve feedback ; Feedback moet zijn geĂŻntegreerd in het curriculum.
Toetsing en feedback | 2015
3
Inhoudsopgave Samenvatting ..........................................................................................................3 Inhoudsopgave........................................................................................................3 Inleiding...................................................................................................................5 Doel van het onderzoek................................................................................5 Methode .................................................................................................................6 Leeswijzer .....................................................................................................7 Toetsing...................................................................................................................8 Toetsvormen .................................................................................................9 Toetskader; wat is belangrijk? ....................................................................10 Digitalisering ...............................................................................................13 Samenvatting ..............................................................................................15 Feedback ...............................................................................................................16 Kwaliteit van feedback................................................................................16 Kenmerken goede feedback .......................................................................18 Peer-feedback .............................................................................................20 Digitalisering ...............................................................................................21 Samenvatting ..............................................................................................23 Conclusie en aanbevelingen .................................................................................25
Toetsing en feedback | 2015
4
Inleiding Of studenten recht hebben op hun diploma na jaren studeren wordt bepaald door de opstelsom van alle resultaten op toetsen. Hoe die toetsen worden ingericht, bepaalt echter ook voor een groot deel het leerproces van een student. Toetsing en toetskaders zijn hot items in de onderwijswereld. Er zijn ten eerste wetswijzigingen gedaan die het belang van toetsing onderstrepen. In 2011 werd toetsing bijvoorbeeld als aparte standaard opgenomen in het accreditatiestelsel, met zelfs twee standaarden sinds 2015 1 . Er worden ten tweede talloze onderzoeken gedaan naar de beste manier van toetsing, bijvoorbeeld door de Onderwijsinspectie en door lectoren Sluijsmans, Joosten-ten Brinke en van SchiltMol. Ten derde draagt de aandacht van instellingen voor het behalen van rendement bij aan belangstelling voor toetsing. Goede beoordeling is daarbij van groot belang, omdat opleidingen met een goede combinatie van toetsing en feedback relatief hoge rendementen2 halen. Het ISO onderstreept het belang van goede toetsing en feedback en wil zorgen dat deze ook optimaal worden ingezet door de bevindingen in kaart te brengen. Naast goede toetsing is het krijgen van goede feedback gedurende het leerproces van groot belang voor studenten. Wanneer feedback op een juiste manier geïmplementeerd wordt is het voor studenten een krachtig leermiddel3. Het ISO merkt in gesprekken met studenten en op congressen echter dat vergeleken met de vele aandacht die er is voor toetsing, het fenomeen ‘feedback’ onderbelicht blijft. Dit terwijl er wel veel mogelijkheden zijn. Met de huidige digitale middelen kunnen studenten en docenten makkelijker feedback genereren en kan deze ook makkelijker onder de studenten worden verspreid. Het ISO brengt de mogelijkheden in kaart en kijkt hoe deze het beste ten gunste van de student kunnen worden ingezet. De vraag die in dit onderzoek centraal staat is: wat is effectieve toetsing en effectieve feedback in het hoger onderwijs? Deze vraag wordt in dit onderzoek gesplitst in twee delen, namelijk een gedeelte over effectieve toetsing en een gedeelte over effectieve feedback. Doel van het onderzoek Het doel van dit onderzoek is tweeledig. Ten eerste biedt dit onderzoek een overzicht van recente, belangrijke best practices en theorieën over toetsing. Ten 1
NVAO, (2014). Beoordelingskaders accreditatiestelsel hoger onderwijs Nederlan.d Den Haag: NVAO. Gibbs, G. (2010). Does assessment in open learning support students? Open Learning: The Journal of Open and Distance Learning. 3 Gabelica, C.; Bossche, van den, P.; Segers, M. & Gijselaers, W. (2012). Feedback, a powerful level in teams: a review. Educational research review. 2
Toetsing en feedback | 2015
5
tweede wordt inzicht gegeven in de beste manier om feedback te integreren in het onderwijs, zodat het voor studenten een waardevol(ler) onderdeel van hun leerproces is. Het ISO wil met dit onderzoek aandacht vragen voor de goede implementatie van toetsing en feedback, zodat uiteindelijk de kwaliteit van het onderwijs voor de student verbetert.
Methode Voor dit onderzoek is gebruik gemaakt van een drietal onderzoeksmethoden, namelijk een literatuurstudie, een panelgesprek met studenten en interviews met verschillende mensen in het werkveld. Voor het literatuurstudie is gebruik gemaakt van wetenschappelijke artikelen. Deze Nederlandse en Engelstalige artikelen werden gezocht via Google Scholar en ERIC of aangeraden via de ge誰nterviewden. Er is gezocht op de zoektermen: toetsing in hoger onderwijs, goede toetsing, assesment testing in higher education/college, [effective] feedback in higher education/university en digitalisering. Zover mogelijk is gebruik gemaakt van de resultaten van metaanalyses en literatuurreviews. Daarnaast is de voorkeur uitgegaan naar recente publicaties (vanaf 2005). Het panelgesprek werd gehouden met 25 studenten die zes verschillende universiteiten en hogescholen vertegenwoordigen. Het gesprek begon met een korte uitleg van de definitie van feedback zoals gehanteerd in dit onderzoek en de verschillende vormen van feedback. Daarna werden de studenten uitgenodigd om na te denken over manieren om de kwaliteit van feedback op hun instelling te verbeteren. Tot slot vertelden de studenten in een kringgesprek welke goede en minder goede ervaring zij hebben (gehad) met feedback en wat zij graag verbeterd willen zien. In totaal zijn er vier interviews afgenomen, telkens semigestructureerd door twee onderzoekers van het ISO. Het doel van de interviews was om inzicht te krijgen in wat er in de praktijk speelt als het gaat om toetsing en feedback: wat is de stand van zaken nu, welke ontwikkelingen zijn er gaande en hoe ziet de ideale toekomst eruit? De interviews duurden ongeveer een uur. Drie van de vier interviews zijn digitaal afgenomen via Skype, het vierde gesprek vond op het pand van het ISO plaats. Interviews zijn gevoerd met Ewoud de Kok van Feedbackfruits, docente Saskia Jonker aan de Hogeschool van Arnhem en Nijmegen en met professor Mien Segers van de afdeling Educational Research and Development aan de Maastricht University. De uitkomsten van de interviews zijn voornamelijk gebruikt om
Toetsing en feedback | 2015
6
richting te geven aan dit onderzoek. Daarnaast illustreren de ge誰nterviewden vaak goed wat ook uit de literatuurstudie naar voren komt. Leeswijzer Het eerste gedeelte zal gaan over toetsing op basis van onderzoeken, wetenschappelijke literatuur, best practices en informatie van congressen. In dit gedeelte bieden we een samenvatting over de kaders van goed toetsbeleid. Het tweede gedeelte omvat een onderzoek naar feedback. Er wordt beschreven wat er al over bekend is en er is een framework opgesteld: wat is volgens literatuur belangrijk als het gaat om feedback? Ook wordt het perspectief van de student op feedback beschreven. Hoe kan het hoger onderwijs optimaal gebruik maken van feedback volgens studenten? Tot slot worden aanbevelingen gedaan in de conclusie.
Toetsing en feedback | 2015
7
Toetsing Het is voor studenten van groot belang dat de kwaliteit van toetsing goed is om verantwoorde beslissingen te nemen over hun kennis en/of vaardigheden. In 2009 deed het ISO een onderzoek naar toetsing, waaruit bleek dat er bij veel instellingen en opleidingen nog onvoldoende aandacht uitging naar goede implementatie van toetsing4. Zoals in de inleiding is te lezen zijn er in de tussentijd vele verschillende ontwikkelingen plaatsgevonden. Toch zijn er nog steeds stappen te maken in het verbeteren van de toetskwaliteit. Uit het onderzoek ‘De kwaliteit van toetsing onder de loep’ blijkt dat toetsen slechts een onderdeel uitmaken van toetsing. Andere elementen van toetsing zijn bijvoorbeeld: kwaliteitscriteria, toetsontwerp en kwaliteitsborging. Toetsing is daarom onlosmakelijk verbonden met de visie van een opleiding5. Kwaliteit van toetsen Er wordt bij toetsen een onderscheid gemaakt tussen formatief en summatief toetsen. Het doel van summatief toetsen is om op basis van de resultaten een beslissing te nemen over de student, bijvoorbeeld of hij/zij het vak gehaald heeft. Formatieve toetsen zijn een onderdeel van het leerproces. Deze toetsen worden niet beoordeeld met een cijfer, maar zijn bedoeld om de student en docent inzicht te geven in het leerproces van de student6. De kwaliteit van een toets wordt bepaald op basis van de volgende kenmerken: validiteit, betrouwbaarheid, efficiëntie en transparantie7. Validiteit: het tentamen meet wat gemeten moet worden. Er is een relatie tussen leerdoelen, toetsinhoud en toetsvorm, dat is vastgelegd in bijvoorbeeld een toetsmatrijs. In een toetsmatrijs staat beschreven hoe de opgaven in een toets zijn verdeeld over de leerstof en hoe dit in verhouding staat met de vooropgestelde doelstelling(en). Ook op welk niveau getoetst wordt, in welke toetsvorm en het aantal vragen staat hierin beschreven. Betrouwbaarheid heeft betrekking op de criteria voor beoordeling, afgeleid van de leerdoelen. Dit wordt in een beoordelingsmodel vastgelegd. Efficiëntie is de spreiding van toetsen, de balans tussen toets en onderwijs en het aanbod van herkansingen.
4
Interstedelijk Studenten Overleg (2009). Toetsing, een vak apart . Utrecht: Interstedelijk Studenten Overleg. Sluijsmans, D. M. A., Peeters, A., Jakobs, L., & Weijzen, S. (2012). De kwaliteit van toetsing onder de loep. Onderwijsinnovatie Open Universiteit. 6 Jaspers, M. & Van Zijl, E. (2011). Kwaliteit van toetsing in het Hoger Onderwijs. Eindhoven: Fontys Hogescholen. 7 Interstedelijk Studenten Overleg (2009). Toetsing, een vak apart . Utrecht: Interstedelijk Studenten Overleg. 5
Toetsing en feedback | 2015
8
Transparantie betekent dat studenten op de hoogte zijn van de leerdoelen, de vorm van de toets, de beoordeling en binnen een bepaald termijn feedback krijgen op het resultaat.
In het laatstgenoemde kenmerk, de transparantie, is volgens studenten de grootste verbeterslag te maken8. De leerdoelen en vorm van de toets worden door middel van studiehandleidingen aan studenten gecommuniceerd. De transparantie in de beoordeling en feedback binnen een bepaald termijn bleek echter voor studenten een struikelblok/knelpunt, blijkt uit het panelgesprek met studenten. Uit een panelgesprek met studenten bleek bijvoorbeeld dat feedback op een tussentijds tentamen pas na afronding van het gehele vak wordt gegeven. Verder zouden voor een toets, zowel multiple choice tentamens als tentamens met open vragen, papers en presentaties, studenten graag zien dat er een algemeen scoremodel is: een model waarop staat aangegeven hoeveel punten toegekend worden voor (welke delen van) een goed antwoord. Nu zijn er vaak alleen scoremodellen beschikbaar voor multiple choice tentamens. Naast de kwaliteit van de toetsen zelf, is het ook van groot belang dat de borging van toetskwaliteit goed is. Examencommissies hebben het borgen van de toetskwaliteit als één van de belangrijkste taken. Uit onderzoek van de Inspectie van het Onderwijs blijkt dat examencommissies zich de laatste jaren hebben versterkt9. Dit uit zich in het opstellen van richtlijnen door de examencommissies, het doen van steekproeven om de kwaliteit van tentamens te bewaken en het toenemen van de deskundig- en onafhankelijkheid. Toetsvormen Toetsen worden vaak door docenten gemaakt. Uit een onderzoek naar multiple choice toetsen die door docenten gemaakt zijn, bleek dat multiple choice toetsen vaak niet voldoende geanalyseerd worden waardoor de toetsitems moeilijk onderscheid maken tussen studenten die de stof wel en niet beheersten10. Het belangrijkste bij het kiezen voor een bepaalde toetsvorm is dat het aansluit bij het doel van het vak en dat het binnen het curriculum past. Saskia Jonker, docente Hogeschool van Arnhem en Nijmegen: ‘De aandacht voor toetsing lijkt doorgeslagen en voorbij te gaan aan het leren. Studenten worden in een keurslijf gedrukt. Wanneer studenten zelf zouden mogen kiezen op welke manier zij aantonen dat ze iets beheersen, stimuleer je talent’. Binnen opleidingen wordt 8
LSVb (2014). Toetskwaliteit in het hoger onderwijs. Utrecht: Bureau ICE. Inspectie van het Onderwijs (2015) Verdere versterking examencommissies hoger onderwijs. Utrecht: Inspectie van het Onderwijs. 10 DiBattista, D., & Kurzawa, L. (2011) Examination of the Quality of Multiple-Choice Items on Classroom Tests. Canadian Journal for the Scholarship of Teaching and Learning. 9
Toetsing en feedback | 2015
9
vaak gekozen voor een afwisseling in toetsvormen en functies van toetsen om ervoor te zorgen dat studenten op verschillende manieren kunnen aantonen aan het eind van een vak te beheersen over de leerdoelen11. De voortgangstoets is een vorm van examineren waar vragen gesteld worden over de gehele kennisbasis van het beroep waartoe een student wordt opgeleid12. Ook op de universiteit wordt deze toets ingezet, bijvoorbeeld bij geneeskunde. Hoeveel procent een student goed moet hebben hangt af van de fase waarin de student zich bevindt. Kenmerkend voor de voortgangstoets is dat het curriculumonafhankelijk is en gedurende de gehele opleiding periodiek wordt afgenomen. Op die manier stimuleert deze toets een continu leerproces. Zo worden de vorderingen van de individuele student en van studentenpopulaties inzichtelijk. Dit levert veel mogelijkheden op voor het geven van feedback en het bijstellen van het onderwijs voor komend jaar. Daarnaast is tussentijdse toetsing een belangrijke vorm van toetsing. Door niet alleen incidentele piekmomenten in te zetten, worden studenten gestimuleerd om ander leergedrag te vertonen. Studenten zullen hun studie-inspanning meer spreiden, waardoor zij bij dezelfde totale inspanning meer profiteren van het gegeven onderwijs en dus uiteindelijk ook meer van de stof zullen onthouden13. Bij deze manier van toetsing speelt feedback een belangrijke rol, omdat er nog verbetering mogelijk is tot de afsluiting van de cursus. Toetskader; wat is belangrijk? Er worden veel toetskaders ontwikkeld. De methodiek “De Toetsing Getoetst� biedt een kader voor toetsing14. In dit kader wordt beschreven hoe toetsen onderdeel uitmaken van de opleiding en daarmee toetskwaliteit waarborgen. Het kader is verwerkt in een zogenaamde kwaliteitspiramide, zie figuur 1 en tabel 1.
11
Bruijns, V.; Kayze, R.l.; Morsch, I. & Ruis, P. (2014). Leidraad studeerbaar en robuust onderwijs. Amsterdam: Hogeschool van Amsterdam. 12 Voortgangstoets (z.d.). Verkregen op 17 augustus, 2015 van https://score.hva.nl/docent/15_toetsvormen/Paginas/Voortgangstoets.aspx 13 Hendricks, F.; Kok, J. & Bruijn, J.A. (2008). Hoger onderwijs hanteert plan Dijsselbloem. Expertice. 14 Sluijsmans, D. M. A., Peeters, A., Jakobs, L., & Weijzen, S. (2012). De kwaliteit van toetsing onder de loep. Onderwijsinnovatie.
Toetsing en feedback | 2015
10
Figuur 1 De kwaliteitspiramide van eigentijds toetsen en beoordelen (Joostenten Brinke, 2011; Sluijsmans et al., 2012). Piramidelaag
Toelichting
Toetstaken
Een toetstaak is een item of opdracht binnen een toets waarmee studenten worden uitgedaagd hun kennis en vaardigheden te tonen.
Toetsen
Een toets is een meetinstrument dat in het onderwijs wordt ingezet om na te gaan of de doelen van onderwijs door studenten worden en zijn bereikt.
Toetsprogramma
Een toetsprogramma is een bewuste en beargumenteerde combinatie van toetsvormen, passend bij de doelen en opbouw van een opleiding.
Toetsbeleid
Toetsbeleid is het geheel aan vastgestelde afspraken, zowel inhoudelijk als procedureel, over toetsen en beoordelen.
Toetsorganisatie
Toetsorganisatie verwijst naar de wijze waarop docenten, examencommissie, toetscommissie, management en
Toetsing en feedback | 2015
11
ondersteunende medewerkers doelgericht met elkaar samenwerken om de gewenste toetskwaliteit te realiseren. Toetsbekwaamheid
Toetsbekwaamheid is de deskundigheid die bij opleidingen aanwezig moet zijn om te zorgen voor kwaliteit van toetsing op alle lagen van de kwaliteitspiramde.
Tabel 1 Korte definities van de zes piramidelagen (Joosten-ten Brinke, 2011; Sluijsmans et al., 2012) De piramide is opgebouwd uit verschillende lagen die samen de kwaliteit bepalen. Kwaliteit als geheel wordt bepaald door de kwaliteit op alle lagen, waarbij de kwaliteit als geheel zo sterk is als de zwakste schakel. Toetsorganisatie en toetsbekwaamheid zijn nodig om de vier lagen in het midden te kunnen realiseren. In de praktijk blijkt dat met name aandacht besteed wordt aan de lagen toetsen en toetstaken, terwijl de andere lagen ook essentieel zijn voor het borgen van de totale toetskwaliteit15. Het belangrijkste dat hieruit blijkt is dat toetsen moeten aansluiten bij de visie van de opleiding als geheel. In de praktijk betekent dit dat de frequentie, timing en vorm van toetsen logisch voortvloeien uit de opbouw van het gehele curriculum en passen bij de aard van de opleiding. Het ISO vindt het daarom belangrijk dat opleidingen bewust aandacht besteden aan hun toetsbeleid en toetsprogramma’s. Naast dit toetskader dat in het algemeen geldt voor de kwaliteit van toetsing, is er ook een kader dat ingaat op het ontwerpen van toetsen. In het Universal Design for Learning (UDL) worden onderwijs en toetsing op een dusdanige manier ontworpen dat het voor een zo groot mogelijke groep studenten toegankelijk is16. In tabel 2 staat de theorie van UDL uitgelegd. Het doel van dit kader is dat studenten met verschillende leerstijlen op deze manier het beste van zichzelf kunnen laten zien in de toets, ook studenten met bijvoorbeeld dyslexie.
15
Sluijsmans, D. M. A., Peeters, A., Jakobs, L., & Weijzen, S. (2012). De kwaliteit van toetsing onder de loep. Onderwijsinnovatie.. 16 Rose, D. (2001). Universal design for learning. Journal of Special Education Technology.
Toetsing en feedback | 2015
12
Figuur 2 De richtlijnen van het Universal Design for Learning17 (tabel van SURF, 2014). In de tabel is te zien dat het Universal Design for Learning is gebaseerd op drie ontwerpprincipes, die ieder weer in drie richtlijnen zijn uitgewerkt. De ontwerpprincipes richten zich op verschillende delen van de hersenen die er samen voor zorgen dat studenten optimaal kunnen leren. Door ervoor te zorgen dat studenten op verschillende manieren stof aangeboden krijgen, of in het geval van toetsing, op verschillende manieren kunnen laten zien de stof te beheersen, sluit dit model aan bij de verschillende leerstijlen die studenten hebben. Zo verbetert de betrouwbaarheid om daadwerkelijk te meten of studenten de stof beheersen, in plaats van goed zijn in het afleggen van toetsen18. Digitalisering Studenten die moeten aanvragen als zij een toets niet digitaal maar op papier moeten maken; bij de opleiding radiologie is toetsen op papier een uitzondering in plaats van de regel19. Digitalisering biedt voor zowel toetsing als feedback veel mogelijkheden. Ten eerste kan digitalisering zorgen voor het verhogen van de kwaliteit van toetsing, doordat instellingen makkelijker samen kunnen werken. In 17
Schuwer, R. (2014). SURF Academy Seminar Universal Design of Learning. Verkregen van https://www.surfspace.nl/artikel/1495-surf-academy-seminar-universal-design-of-learning/ 18 Rose, D. (2001). Universal design for learning. Journal of Special Education Technology, 16(4), 64. 1919 SURF (2014) Inzichten in de effecten van digitaal toetsen; ervaringen uit het programma toetsing en toetsgestuurd leren, 2010 – 2014. Verkregen van https://www.surf.nl/binaries/content/assets/surf/nl/2014/effectrapportage-digitaal-toetsen-kansen-voor-hethoger-onderwijs-2014.pdf
Toetsing en feedback | 2015
13
databestanden worden toetsvragen door verschillende instellingen verzameld en opengesteld voor het opstellen van toetsen. Doordat itembanken gezamenlijk worden vormgegeven, verhoogt de validiteit van toetsen, levert het een efficiënter toetsprogramma op en vergroot het de toetsdeskundigheid20. Op het congres DigiPlus werd bijvoorbeeld een tool gepresenteerd die de kwaliteit van toetsen verhoogt 21. De qDNA, question Design aNd Analyses tool ondersteunt bij het ontwerpen en analyseren van toetsen en toetsvragen22. Deze tools helpen de kwaliteit van toetsing te verbeteren. Ten tweede maakt digitale toetsing het mogelijk dat studenten niet fysiek aanwezig hoeven zijn om een toets af te leggen. Dat betekent voor studenten dat het makkelijker wordt hun horizon te verbreden zonder studievertraging. Daarnaast maken digitale toetsoefeningen het mogelijk gerichte feedback te geven en kunnen studenten en docenten het niveau monitoren 23 . Volgens Ewoud de Kok, medeoprichter van het bedrijf FeedbackFruits dat onder andere tools ontwikkelt om interactie tussen docent en student te bevorderen, leidt digitalisering niet per definitie tot tijdsbesparing voor docenten. ‘Wat digitalisering kan doen, is zorgen dat onderwijs een feestje wordt waar je eigenlijk tot één uur wil blijven, maar uiteindelijk pas om half vijf naar huis gaat. De volgende dag heb je een kater, maar heb je een super gave ervaring gehad’. Met deze uitspraak wordt bedoeld dat digitalisering dus de intrinsieke motivatie van studenten kan verhogen. Digitalisering maakt het namelijk makkelijker om onderwijs op maat aan te bieden, waardoor het mogelijk wordt voor studenten om adaptief te leren. Doordat studenten niet onder of boven hun niveau leren, verhoogd de intrinsieke motivatie24. Op de TU Delft wordt digitale tentaminering al ingezet voor sommige vakken. Via tools als MapleTA of Sonate wordt digitaal getentamineerd. Het digitaal afnemen van toetsen vraagt wel om een veilige omgeving; toetsing via computers is fraudegevoeliger dan toetsing via papier. Op sommige opleidingen wordt digitale toetsing ingezet om het beter te laten aansluiten bij de praktijk. Het voordeel van deze manier van tentamineren is dat met behulp van bijvoorbeeld filmpjes en afbeeldingen die vanuit alle kanten bekeken kunnen worden zorgen voor een realistischere weergave. Dit verhoogt de betrouwbaarheid en toetst op een realistische manier die nauw aansluit bij de praktijk in het werkveld25.
20
Riksen, D. (2014). Samenwerken aan digitaal toetsen verhoogt kwaliteit. Surf Magazine. Digiplus. (z.d.). Verkregen van http://www.iso.nl/digiplus/ 22 Wat is de qDNA tool? (z.d.). Verkregen van http://docs.qdnatool.org/ 23 Oefenvolgsysteem Statistiekfabriek: oefenen in een spelomgeving. (2013). Verkregen van https://www.surf.nl/kennis-en-innovatie/kennisbank/2013/oefenvolgsysteem-statistiekfabriek-oefenen-in-eenspelomgeving.html 24 Kawachi, P. (2003). Initiating intrinsic motivation in online education: Review of the current state of the art. Interactive Learning Environments. 25 Ravesloot, C., & Van der Grijp, A. (2014). Eindrapportage Projecten programma Toetsing en Toetsgestuurd Leren. Utrecht: Universitair Medisch Centrum. 21
Toetsing en feedback | 2015
14
Samenvatting Ten eerste moeten instellingen zich het belang van goede toetsing realiseren voor studenten. Het uiteindelijke diploma is een optelsom van de resultaten van toetsen. Zoals beschreven in het onderzoek ‘de toetsing getoetst’ moeten opleidingen toetsen zien als onderdeel van toetsing; een toetsprogramma op basis van de visie van de opleiding. Aan de hand van een helder toetsprogramma moeten opleidingen een bewuste keuze maken voor een toetsvorm. Training om de toetsdeskundigheid te verhogen en daarmee de toetskwaliteit is volgens studenten gewenst. Bij de methode ‘de toetsing getoetst’ en het model Universal Design for Learning sluit het ISO zich aan. Ten tweede is het van belang dat studenten meer en op continue basis feedback ontvangen op hun leerproces. In plaats van summatieve toetsing, waar studenten vaak alleen feedback gegeven wordt op de toets in de vorm van een cijfer, moet feedback gegeven worden op het leerproces van de student. Het kiezen voor formatieve voortgangstoetsen en tussentijdse toetsen is een goede ontwikkeling om gedurende het vak studenten van feedback te voorzien. Tot slot wijst dit onderzoek op de mogelijkheden die digitalisering biedt om toetskwaliteit te verbeteren, de intrinsieke motivatie van studenten te verhogen en het geven van feedback te vergemakkelijken. Volgens studenten is bovendien meer transparantie nodig in de beoordeling en in het termijn waarin feedback ontvangen op hun gemaakte opdrachten of toetsen. Ook hierbij zou digitalisering belangrijke mogelijkheden bieden om dat te verbeteren in de vorm van snelle en directe feedback.
Toetsing en feedback | 2015
15
Feedback Waar aan toetsing al veel aandacht wordt besteed in het hoger onderwijs, lijkt aandacht voor feedback achter te blijven. Het ISO definieert effectieve feedback als een proces dat ervoor zorgt dat de student voortdurend bij de leerstof betrokken is en waardoor het gat tussen het huidige niveau van de student en het gewenste eindniveau gedicht26. Dit gebeurt wanneer studenten actief bezig zijn met de stof en hierover het gesprek aangaan met medestudenten en de docent27. Hierdoor wordt het belangrijkste gedeelte van feedback gegeven tijdens de lessen/colleges en is het geïntegreerd in de overdracht van het curriculum. Feedback die studenten ontvangen op hun leerproces leidt tot prestatieverbeteringen als de kwaliteit ervan goed is en deze optimaal is geïmplementeerd28. Onderzoek naar de rol van goede feedback laat zien dat dit zelfs een van de belangrijkste factoren is in het leerproces, belangrijker nog dan de kwaliteit van instructie en doceerstrategieën29. Echter, feedback kan ook negatieve effecten hebben voor studenten als het op een verkeerde manier wordt gebruikt30. Uit een panelgesprek van het ISO met studenten blijkt dat de kwaliteit van feedback van docenten sterk verschilt. Daarnaast zegt Professor Segers: ‘Bij leren is er te veel nadruk komen te liggen op kennisoverdracht. Informatie doorgeven is niet hetzelfde als kennisontwikkeling. De rol van de docent is feedback geven, niet kennis overdragen. Kennis overdragen kan vervangen worden door digitale hulpmiddelen, maar voor het geven van feedback is een menselijke factor nodig’. Hiermee onderstreept zij de verandering in de rol van docenten van kennisoverdrager naar feedbackgever. Studenten zullen veel meer en vaker feedback ontvangen, niet alleen na het inleveren van een (toets)opdracht. Kwaliteit van feedback De mechanismen achter feedback worden verklaard vanuit verschillende leertheorieën. Vanwege beperkingen in de omvang van dit onderzoek worden deze leertheorieën buiten beschouwing gelaten. Om het gewenste effect van feedback te krijgen, worden drie vormen
26
Nicol, D. J. & Macfarlane-Dick, D. (2006) Formative Assessment and Self-Regulated Learning: A Model and Seven Principles of Good Feedback Practice. Studies in Higher Education. 27 Meyers, C., & Jones, T. B. (1993). Promoting Active Learning. Strategies for the College Classroom. San Francisco: Jossey-Bass Inc., Publishers. 28 Gabelica, C.; Bossche, van den, P.; Segers, M. & Gijselaers, W. (2012) Feedback, a powerful level in teams: a review. Educational research review. 29 Hattie, J. (2012). Visible Learning for Teachers: Maximizing Impact on Learning. New York: Routledge. 30 Shute, V. J. (2008). Focus on formative feedback. Review of educational research.
Toetsing en feedback | 2015
16
onderscheiden31, zie ook Figuur 4. Voor het geven of ontvangen van volledige en effectieve feedback moet rekening gehouden worden met deze drie vormen: ● ● ●
Feed up: waar ga ik naar toe, hoe word ik getoetst? Deze vraag beschrijft het doel waar naartoe gewerkt wordt. Feedback: hoe heb ik een opdracht uitgevoerd, welke vooruitgang heb ik geboekt? Hier wordt een terugblik gedaan op het uitgevoerde werk. Feed forward: hoe ga ik verder, welke aanpak is nodig om me verder te ontwikkelen? Bij deze vraag wordt stil gestaan bij het verbeteren voor in de toekomst.
Deze drie vormen van feedback kunnen worden gegeven op vier niveaus. Ten eerste is er het taak-niveau, wat onderzoekt of de taak begrepen is en hoe de taak tot nu toe verloopt. Ten tweede is er het proces-niveau, wat gaat over het proces dat nodig is om die taak te begrijpen en uit te voeren. Ten derde is er het zelfregulatie-niveau, wat gaat over het zelf monitoren, sturen en reguleren van acties. Tot slot is er het zelf-niveau, wat zich focust op persoonlijke evaluatie. In de ideale situatie wordt er binnen het ontwikkelen het curriculum aandacht besteed aan deze drie feedback vormen en niveaus. Op welke van de drie vormen van feedback (feed up, feedback, feed forward) de meeste nadruk wordt gelegd, hangt in de praktijk sterk af van de opvattingen over leren en het leerproces van de docent of het docententeam32.Elke docent zal immers zijn eigen kwaliteiten hebben en persoonlijk belang hechten aan een bepaald aspect van feedback. Uit het panelgesprek met studenten werd naar voren gebracht dat de aandacht voor de drie verschillende vormen inderdaad sterk wisselt per docent en opleiding, al wordt in vakken over het algemeen de meeste tijd besteed aan de traditionele feedback. De vraag feed forward komt wisselend aanbod, en dan vaak als losstaande leerlijn, bijvoorbeeld in de vorm van een portfolio dat gedurende het jaar moet worden opgebouwd.
31
Hattie, J. & Timperley, H. (2007) The power of feedback. Review of Educational Research. Price, M., Handley, K., Millar, J., & O'Donovan, B. (2010). Feedback: all that effort, but what is the effect?. Assessment & Evaluation in Higher Education. 32
Toetsing en feedback | 2015
17
Effectieve feedback:
Vier niveaus:
Feed Up
Taak
Wat is het einddoel?
Hoe goed wordt de taak begrepen/uitgevoerd?
Proces Feedback Hoe sta ik er nu voor?
Welke stappen zijn nodig om de taak te begrijpen /uit te voeren?
Zelfregulatie Zelf monitoren, bijstellen en reguleren van gedrag
Feed Forward Hoe nu verder?
Zelf Persoonlijke evaluatie en effecten van leerproces op de student
Figuur 3 Vormen en niveaus van feedback. (Naar: Hattie, J. & Timperley, H. (2007) The power of feedback. Review of Educational Research.)
Zoals in het vorige gedeelte over toetsing zijn er ook twee soorten feedback: formatief en summatief. Formatieve feedback wordt gebruikt om het leerproces bij te sturen. Bij summatieve feedback wordt het leren zelf geĂŤvalueerd, omdat een beslissing wordt gemaakt of de student de vaardigheden en/of kennis beheerst. Summatieve feedback blijkt niet, of zelfs negatief, bij te dragen aan het leerproces. Het geven van cijfers blijkt de behoefte aan feedback namelijk weg te nemen, waardoor feedback minder effectief is33 . Formatieve feedback is dus een veel effectievere vorm als het gaat om het verbeteren van het leerproces van studenten. Kenmerken goede feedback In het algemeen voldoet goede feedback aan een viertal kenmerken. Feedback moet specifiek, frequent, positief zijn en binnen een de context passen3435. De specificiteit van feedback gaat over de hoeveelheid informatie die erin verwerkt
33
Lipnevich, A. A., & Smith, J. K. (2008). Response to assessment feedback: The effects of grades, praise, and source of information. Princeton: Educational Testing Service.. 34 DeNisi, A. S., & Kluger, A. N. (2000). Feedback effectiveness: can 360-degree appraisals be improved? Academy of Management Executive. 35
Eom, S. B., Wen, H. J., & Ashill, N. (2006). The determinants of students’ perceived learning outcomes and satisfaction in university online education: an empirical investigation. Decision Sciences Journal of Innovative Education.
Toetsing en feedback | 2015
18
is. Feedback is effectiever wanneer het gedetailleerd ingaat op hoe een antwoord of gedraging verbeterd kan worden. Dit in tegenstelling tot algemene feedback die alleen aangeeft of iets goed is of niet. Deze algemene feedback kan door de student worden ervaren als nutteloos en frustrerend, omdat er onzekerheid kan ontstaan wanneer het niet duidelijk is wat precies verbeterd kan worden. Dit kan vervolgens leiden tot verminderde leermotivatie en lagere leerprestaties. Studenten willen zelf ook graag gedetailleerde feedback die zowel goede als zwakke punten belichten36. Over de frequentie van feedback is bekend dat het beter aan komt bij de student en langer blijft hangen wanneer taken worden herhaald, onderdeel zijn van een takenreeks. Deze feedback hoeft niet altijd gegeven te worden na afloop van een taak. Een docent kan ook gebruik maken van geanticipeerde feedback, door studenten vooraf tips te geven en hen te wijzen op veelvoorkomende fouten en valkuilen, bijvoorbeeld met een voorbeeld van een goed volbrachte opdracht37. Positieve feedback heeft te maken met het emotionele effect dat feedback kan hebben op een student 38 . Negatieve opmerkingen kunnen voornamelijk bij onzekere studenten een gevoel van schaamte oproepen en daarmee verdere ontwikkeling remmen. Dit ten opzichte van een gebalanceerde verhouding tussen negatieve en positieve feedback, feedback waarin ook goede punten worden benoemd en de feedback op een constructieve wijze wordt overgebracht, de motivatie en het leerresultaten verhogen36. De impact van negatieve/opbouwende kritiek kan verminderd worden door de feedback mondeling toe te lichten. Ook is het mogelijk om klassikaal veelvoorkomende kritiekpunten uit te leggen. Hierdoor weten studenten dat zij niet de enige zijn die nog volop in het leerproces zitten. Hoe studenten feedback ervaren, hangt ook af van de context waarin de feedback gegeven wordt. Allereerst moet de student begrijpen waarom de feedback gegeven wordt en waarvoor ze de feedback kunnen gebruiken. Als ze de relevantie ervan niet inzien is de kans namelijk klein dat het gebruikt wordt om hun prestaties te verbeteren. Onder context valt ook het leerklimaat van de omgeving waarin de feedback gegeven wordt39. Een student zal meer leren als zij veel oefent en fouten durft te maken. In een leerklimaat waarin de nadruk wordt
36
Lizzio, A., & Wilson, K. (2008). Feedback on assessment: Students’ Perception of Quality and Effectiveness. Assessment & Evaluation in Higher Education. 37 Hounsell, D. (2007). Towards more sustainable feedback to students. In: Rethinking Assessment in Higher Education: Learning for the Longer Term. New York: Routledge. 38 Robinson, S., Pope, D., & Holyoak, L. (2013). Can we meet their expectations? Experiences and perceptions of feedback in first year undergraduate students. Assessment & Evaluation in Higher Education. 39 Brookhart, S. M. (2008). How to give effective feedback to your students. Alexandria: ASCD.
Toetsing en feedback | 2015
19
gelegd op het leerproces in plaats van het leerresultaat zal de student constructieve feedback eerder als positief ervaren en dus ook van leren. In figuur 4 zijn de belangrijkste bovengenoemde kenmerken van effectieve en niet-effectieve feedback samengevat.
Do's
Dont's
Goede antwoord
Specifieke feedback
Doelgericht
Herhalingen
Geanticipeerde feedback
Concrete aanbevelingen
Mondelinge toelichting
Frequente feedbackmomenten
Leerprocesgericht leerklimaat
Negatieve feedback
Feedback na beoordeling
Algemene feedback
Inconsequent
Prestatiegericht leerklimaat
Figuur 4 Feedback-kenmerken die de docent wel en niet zouden moeten toepassen40 (naar Shute, 2008). Peer-feedback De laatste jaren maken steeds meer opleidingen gebruik van peer-feedback en peer- beoordelingen41. Hierbij geven studenten elkaar feedback of een cijfer. Deze trend past binnen het idee dat de opleiding een goede basis moet vormen voor het latere werkveld. Het beoordelen en helpen van collega’s maakt daar
40
Shute, V. J. (2008). Focus on formative feedback. Review of educational research, 78(1), 153-189
41
Van der Pol, J., Van den Berg, B. A. M., Admiraal, W. F., Simons, P. R.J. (2008). Online formative peer assessment in higher education: Relating the nature, reception, and use of feedback. Computers & Education.
Toetsing en feedback | 2015
20
onderdeel van uit. Daarnaast wordt peer-feedback ook gezien als een manier om de werkdruk van de docent te verlagen. Het onderzoek naar de effectiviteit van peer-feedback heeft zich vooral gericht op het onderzoeken van verschillen in beoordeling tussen studenten en docenten. Pas de laatste jaren is er meer aandacht voor peer-feedback als doel op zichzelf42. Uit het onderzoek naar peer-beoordeling komt naar voren dat studenten vrij goed elkaars werk kunnen beoordelen43. Dit is het geval als het gaat om het beoordelen van academisch werk aan de hand van duidelijke, vooraf kenbaar gemaakte criteria. Echter, er is een probleem met peer-beoordelingen: studenten houden er niet van41. Studenten vinden het namelijk niet prettig om verantwoordelijk te zijn voor het slagen of zakken van hun studiegenoten. Daarnaast voelen ze zich onvoldoende expert om zulke beslissingen te nemen. De weerstand ten opzichte van peer-feedback is lager bij studenten42. Al vrezen zij dat de feedback die ze van medestudenten krijgen niet overeenkomt met de beoordelingscriteria van de docent die het eindcijfer geeft. Uit een onderzoek naar de effectiviteit van peer-feedback aan de Universiteit van Utrecht blijkt dat de kwaliteit en omvang van feedback door studenten afhangt van de opdracht die hen gegeven wordt44. De studenten die deelnamen aan dit onderzoek richtten zich vooral op het evalueren van de opdracht als er geen specifieke instructie werd gegeven door de docent over het belang van feedback op het leerproces als geheel. De waarop feedback werd gegeven verschilde ook tussen schriftelijke en mondeling overgedragen feedback. Bij schriftelijke feedback gaven studenten vooral commentaar en gingen ze in op de inhoud. Bij mondelinge feedback gaven ze ook de argumenten achter hun commentaar en suggesties voor verbetering. Mondelinge feedback richtte zich ook vaker op stijl. De onderzoekers bevelen dan ook aan om gebruik te maken van een combinatie van mondelinge en schriftelijke peer-feedback en om studenten duidelijke instructies te geven over het doel van de peer-feedback. Digitalisering
42
Liu, N., & Carless,D. (2006). Peer feedback: The learning element of peer assessment. Teaching in Higher Education. 43 Falchikov, J., & Goldfinch, J.(2000). Student Peer Assessment in Higher Education: A Meta-Analysis Comparing Peer and Teacher Marks. Review of educational research. 44 Van der Pol, J., Van den Berg, B. A. M., Admiraal, W. F., Simons, P. R.J. (2008). Online formative peer assessment in higher education: Relating the nature, reception, and use of feedback. Computers & Education.
Toetsing en feedback | 2015
21
Door digitalisering is het aantal feedbackmogelijkheden enorm toegenomen. Enerzijds zijn bestaande feedbackvormen gedigitaliseerd, anderzijds is er de mogelijkheid bijgekomen om geautomatiseerde directe feedback aan studenten te geven. SURF heeft middels pilots onderzoek gedaan naar de effectiviteit en gebruiksvriendelijkheid van digitaal feedback geven45. Als een van de uitkomsten van deze pilots komt naar voren dat digitaal feedback geven geen tijdsbesparing voor de docent oplevert. Dit is een belangrijk gegeven, omdat tijdsefficiëntie vaak wel wordt genoemd als reden om digitale feedback in te voeren. De geteste tools leveren volgens 40% van de docenten tot een kwaliteitsverbetering van hun feedback, al kwamen deze verbeteringen vooral voort uit standaardisering van feedback en een betere afstemming met collega’s. De meeste studenten die deelnamen aan de pilots zouden in het vervolg weer met de digitale feedbackmiddelen willen werken, zij gaven gemiddeld een 7,1 voor de digitale middelen. Naast deze gedigitaliseerde en gestandaardiseerde traditionele feedbackmiddelen, zijn er ook nieuwe adaptieve feedbacktools bijgekomen. Deze tools verschillen van de traditionele feedback omdat ze geautomatiseerd zijn46. Hierdoor ontvangen studenten direct na een digitaal gemaakte taak feedback. Deze tools streven ernaar om feedback te geven die past bij de leerbehoefte van het individu. Deze tool moet dus kunnen differentiëren tussen verschillende studenten47. Iedere student heeft onderwerpen waar ze beter en minder goed in zijn, deze digitale tools kunnen hierop inspelen door vervolgvragen te gegeven op basis van de eerder gegeven antwoorden. De theorie hierachter gaat ervan uit dat studenten langer gemotiveerd blijven als ze taken maken die telkens net boven hun eigen niveau ligt. Hierdoor raken ze niet gefrustreerd door een veelvoud aan taken die te makkelijk of veel te moeilijk zijn. Ook geeft de directe feedback de student inzicht in zijn of haar voortgang. Adaptief digitaal leren is een trend in het onderwijs van de laatste paar jaar. Verschillende grote studieboek-uitgeverijen hebben hierop ingespeeld door hun eigen digitale leeromgeving te maken met mogelijkheid tot directe feedback48. De uitkomsten van onderzoek naar de effectiviteit van dit soort tools in het hoger onderwijs zijn tot nu toe gemixt. Dit komt waarschijnlijk omdat de tools alleen effectief zijn wanneer ze goed in elkaar zitten. Er moeten voldoende taken in de database zitten, de feedback die gegeven wordt op verkeerde antwoorden moet
45
Projectgroep SCALA. (2014). Sneller en beter feedback geven met digitale tools. Eindrapportage SCALAScaffolding Assessment for Learning. Utrecht: Centrum voor Onderwijs en Leren. 46 Brown, M. (2015). Trajectories for digital technology in higher education. Educause Review. 47 Brown, M. (2015). Trajectories for digital technology in higher education. Educause Review. 48 Brown, M. (2015). Trajectories for digital technology in higher education. Educause Review.
Toetsing en feedback | 2015
22
voldoen aan de regels van goede feedback en het algoritme voor het selecteren van nieuwe taken moet werken.
Samenvatting Feedback is een essentieel onderdeel in het leerproces van studenten. Goede feedback kan studenten verder motiveren en de leerprestaties verhogen49, terwijl minder goede feedback het tegenovergestelde effect kan bereiken50. Feedback kan worden opgedeeld in drie vormen 51 : feed up (naar welk doel wordt toegewerkt), feedback (hoe is de opdracht uitgevoerd) en feed forward (welke verbeterslag kan in de toekomst gemaakt worden). Deze drie vormen van feedback kunnen worden gegeven op vier niveaus, namelijk: taak-, proces-, zelfregulatie- en zelf-niveau. Goede feedback is specifiek, frequent, positief zijn en past binnen de (vooraf bepaalde) context 52 53 . Goede feedback wordt ook mondeling toegelicht. Daarnaast is ook een op leerproces gericht leerklimaat waarin de feedback wordt gegeven van belang54. Peer-feedback wordt in het hoger onderwijs steeds vaker gebruikt55. Studenten blijken ook vrij goed elkaars werk kunnen beoordelen56. Dit is het geval als het gaat om het beoordelen van academisch werk aan de hand van duidelijke, vooraf kenbaar gemaakte criteria. Feedback wordt een steeds belangrijker onderdeel van het leerproces van studenten. Door de mogelijkheden die digitalisering biedt zal de rol van docenten veranderen van kennisoverdrager naar feedbackgever. Het begeleiden van studenten door een docent zal namelijk niet kunnen worden vervangen door digitale leermiddelen. Dit blijkt onder andere uit het belang van context waarin de feedback gegeven wordt en het feit dat feedback beter begrepen wordt wanneer het mondeling wordt toegelicht. Digitale feedback middelen kunnen een
49
Gabelica, C.; Bossche, van den, P.; Segers, M. & Gijselaers, W. (2012) Feedback, a powerful level in teams: a review. Educational research review. 50 Shute, V. J. (2008). Focus on formative feedback. Review of educational research. 51 Hattie, J. & Timperley, H. (2007) The power of feedback. Review of Educational Research. 52 DeNisi, A. S., & Kluger, A. N. (2000). Feedback effectiveness: can 360-degree appraisals be improved? Academy of Management Executive. 53 Eom, S. B., Wen, H. J., & Ashill, N. (2006). The determinants of students’ perceived learning outcomes and satisfaction in university online education: an empirical investigation. Decision Sciences Journal of Innovative Education. 54 Brookhart, S. M. (2008). How to give effective feedback to your students. Alexandria: ASCD. 55 Van der Pol, J., Van den Berg, B. A. M., Admiraal, W. F., Simons, P. R.J. (2008). Online formative peer assessment in higher education: Relating the nature, reception, and use of feedback. Computers & Education 56 Falchikov, J., & Goldfinch, J.(2000). Student Peer Assessment in Higher Education: A Meta-Analysis Comparing Peer and Teacher Marks. Review of educational research.
Toetsing en feedback | 2015
23
aanvulling zijn op de feedback van de docent57. Met name tools die directe feedback geven en het niveau van taken aanpassen aan het niveau van de student zijn veelbelovend. Echter, ook bij deze vormen van feedback is een goede voorbereiding en duidelijke instructie aan de student van belang5859.
57
Brown, M. (2015). Trajectories for digital technology in higher education. Educause Review. Brown, M. (2015). Trajectories for digital technology in higher education. Educause Review. 59 Projectgroep SCALA. (2014). Sneller en beter feedback geven met digitale tools. Eindrapportage SCALAScaffolding Assessment for Learning. Utrecht: Centrum voor Onderwijs en Leren. 58
Toetsing en feedback | 2015
24
Conclusie en aanbevelingen Dat een diploma bestaat uit een optelsom van toetsresultaten onderstreept het belang van goede toetskwaliteit. De hoofdvraag ‘wat is effectieve toetsing en effectieve feedback?’ wordt in dit onderzoek beantwoord. Aan de hand van een viertal kenmerken kan de kwaliteit van de toets worden gewaarborgd. Belangrijk is dat toetsen aansluiten bij de doelstellingen van de opleiding als geheel, zoals beschreven in de methodiek ‘de toetsing getoetst’. Hoe studenten met verschillende leerstijlen goed getoetst kunnen worden, wordt vervolgens beschreven aan de hand van de Universal Design for Learning theorie. Ook voor feedback bestaan kaders waarin de kenmerken worden beschreven waaraan feedback moet voldoen om het effectief te laten zijn. Het belang van context en de rol van de docent staan hierin centraal. Het ISO is tevreden dat instellingen bezig zijn met het verbeteren van de toetskwaliteit. Toch blijven er naar aanleiding van dit onderzoek nog punten ter verbetering. Toetsing dient aan te sluiten bij de visie van de opleiding; in de methodiek ‘de toetsing getoetst’ staat beschreven dat opleidingen moeten zorgen dat hun toetsprogramma aansluit bij de visie van de opleiding als geheel. Formatieve tussentijdse of voortgangstoetsing moet vaker worden ingezet in plaats van summatieve toetsing; feedback in de vorm van een cijfer moet worden vervangen door continue feedback op het leerproces. Het kiezen voor meer formatieve tussentijdse en/of voortgangstoetsen helpt het huidige niveau inzichtelijk maken voor studenten en docent en maakt het makkelijk om studenten vaker van feedback te voorzien. Digitalisering moet meer worden ingezet bij toetsing; de invoering van digitale hulpmiddelen kan ondersteunen bij bovenstaande aanbevelingen. Meer gebruik maken van digitalisering bij toetsing kan namelijk de toetskwaliteit verhogen, vergemakkelijkt het analyseren en geven van feedback aan studenten en verhoogd de intrinsieke motivatie van studenten omdat adaptief leren vergemakkelijkt wordt. Er moet meer transparantie zijn in de beoordeling en meer gebruik worden gemaakt van feedback; studenten geven aan dat de transparantie in de beoordeling verbeterd kan worden. Nog te vaak ontvangen studenten slechts ‘feedback’ in de vorm van een cijfer. Zo weten studenten niet waarop de beoordeling gebaseerd is en kunnen zij hun leerproces niet verbeteren. Feedback pas ontvangen op een tussentijdse toets nadat het blok is afgelopen moet voor studenten echt verbeterd worden. Standaardisatie en afstemming van beoordelingscriteria en feedbackpunten is nodig; Studenten en docenten hebben er baat bij om vooraf te weten waarop zij Toetsing en feedback | 2015
25
moeten letten bij het maken van een opdracht en het geven van feedback. Zo weten studenten binnen welke context zij de gegeven feedback kunnen plaatsen. Standaardisatie van feedback wordt ook als een van de voordelen van digitale feedbacktools genoemd. Docenten moeten op de hoogte zijn van de kenmerken van effectieve feedback; Feedback geven is een essentieel onderdeel in het takenpakket van een docent. Het is daarom van belang dat elke (nieuwe) docent getraind wordt in het geven van goede feedback. Vooral ook omdat feedback ook negatieve effecten kan hebben op de student. Feedback moet zijn geĂŻntegreerd in het curriculum; wanneer, hoe vaak, hoe en in welke vorm studenten feedback ontvangen, moet aansluiten bij de leerlijn van de opleiding. Formele feedback momenten moeten daarom zorgvuldig worden gepland en voorbereid door opleidingscoĂśrdinatoren en docenten zodat er aandacht wordt besteed aan de verschillende vormen en niveaus waarop feedback kan worden gegeven.
Toetsing en feedback | 2015
26
Toetsing en feedback | 2015
27
Auteurs Aart Claassens Lisanne van Kessel Simon Theeuwes Susan Vromans Naam auteur 2 Ontwerp Jasper Sonderen Over ISO Het Interstedelijk Studenten Overleg is de grootste landelijke studentenorganisatie en behartigt de belangen van studenten uit het hoger onderwijs. Bij het ISO zijn 35 (aspirant) lidorganisaties en acht convenantpartners aangesloten, die samen ruim 688.000 studenten vertegenwoordigen. Het ISO is vaste gesprekspartner van onder andere het ministerie van Onderwijs, Cultuur en Wetenschap, de politieke partijen en de koepels van universiteiten en hogescholen.